基于SPD多尺度輸入的ST-MASA的肺炎智能檢測模型

李芳芳,束建華,闞峻嶺,殷云霞,孫大勇,馬 春

安徽中醫(yī)藥大學(xué)醫(yī)藥信息工程學(xué)院,安徽合肥,230012

肺炎是一種常見的肺部感染疾病,如果不能及時(shí)診斷和治療,會(huì)造成很高的致死率,特別是對兒童和老年人。肺炎的病因有30多種,而2019年底開始流行的一種新型冠狀病毒,人類感染極易導(dǎo)致肺炎,即COVID-19肺炎。此肺炎會(huì)導(dǎo)致有基礎(chǔ)疾病的人有較高的死亡率。為了提高肺炎現(xiàn)有的檢測效率,提升檢查準(zhǔn)確率,醫(yī)務(wù)人員經(jīng)過臨床實(shí)驗(yàn)發(fā)現(xiàn),肺部X光片可以清晰顯示COVID-19患者肺部的影像學(xué)病灶特征,并可以最大程度減少對孕婦和兒童的傷害。因此,肺部X光檢測成為肺炎診斷的有效手段之一。但傳統(tǒng)的影像科醫(yī)生利用閱片燈來閱片,這要求醫(yī)生具有豐富的臨床經(jīng)驗(yàn)才能實(shí)現(xiàn)高質(zhì)量診斷;此外高強(qiáng)度的閱片也容易導(dǎo)致誤診和漏診。為了提高肺炎的檢測效率,降低醫(yī)生的漏診、誤診率,借助醫(yī)學(xué)影像AI輔助檢測來提高肺炎檢測的效率和精確度對現(xiàn)有的肺部疾病治療有著深遠(yuǎn)意義。

自2016年,深度學(xué)習(xí)技術(shù)步入了快速發(fā)展通道,已被廣泛應(yīng)用于醫(yī)學(xué)影像處理——例如肺部X光片的疾病檢測中,并成功提高了COVID-19肺炎早期檢出率。Shervin等[1]在5 000張X射線圖像數(shù)據(jù)集上訓(xùn)練了4個(gè)最先進(jìn)的卷積網(wǎng)絡(luò)用于COVID-19的檢測,并實(shí)現(xiàn)了超過90%的靈敏度和特異度。Wang等[2]介紹了一種名為COVID-Net的深度卷積神經(jīng)網(wǎng)絡(luò),可以從胸部X光圖像中檢測COVID-19病例,該網(wǎng)絡(luò)是開源的,并對公眾開放。Jain等[3]使用Inception net V3、XCeption net和ResNeXt進(jìn)行分類。Zhang 等[4]利用幾種CNN模型開發(fā)了一個(gè)智能系統(tǒng),可以識別COVID-19,并將其與普通肺炎和健康的肺部區(qū)分開來。Li[5]等構(gòu)建了一個(gè)診斷系統(tǒng),該系統(tǒng)結(jié)合了若干種二維的CNN模型,對COVID-19、社區(qū)獲得性肺炎(CP)和健康人群進(jìn)行了分類;診斷結(jié)果的敏感度和特異度分別達(dá)到了90%和96%。

雖然這些模型使肺炎的智能檢測質(zhì)量得到了很大的提升,但如何提高多類型肺炎診斷的精度,降低漏診、誤診率仍然是一個(gè)巨大的挑戰(zhàn)。現(xiàn)有的肺炎檢測模型通常面臨著如下問題:其一,目前的研究多集中在一到兩種特定類型的肺炎,即COVID-19與CAP或健康肺的區(qū)別;因此,怎樣同時(shí)檢測多種類型肺炎是所要解決的問題之一。其二,不同肺炎胸部X光片的視覺特征比較相似,或者有時(shí)早期的病灶特征并不明顯;這些都導(dǎo)致檢測較為困難。為了解決這些問題,提出了一種融合了空間金字塔分解(SPD)模塊[6]和在Swin Transformer[7]中應(yīng)用軸向多頭自注意力機(jī)制ST-MASA(Swin Transformer with Multi-Head Axial-Self-Attention)的網(wǎng)絡(luò)模型來進(jìn)行新冠肺炎(COVID)、非COVID的病毒性肺炎(Viral_Pneumonia)、肺不透明(Lung_Opacity)和正常(Normal)的分類操作。先利用SPD生成肺部X光片的多尺度圖像輸入,然后對每個(gè)輸入圖像進(jìn)行ST-MASA處理,接下來通過全局平均池化(Global Average Pooling)GAP和Concatenate Layer后,再通過分類模塊進(jìn)行分類。

實(shí)驗(yàn)在一個(gè)公開的多種肺炎胸片數(shù)據(jù)集進(jìn)行訓(xùn)練和測試,實(shí)驗(yàn)結(jié)果對比ResNet50、ResNet101[8]、Inception net-V3[9]和Swin Transformer模型,其準(zhǔn)確率、召回率、F1-Measure等指標(biāo)均有一定的提升。

1 相關(guān)概念

1.1 空間金字塔分解(Spatial pyramid decomposition,SPD)模塊

SPD可以提供一種靈活、方便、多分辨率的格式,模擬人類視覺系統(tǒng)中的多尺度圖像處理;它被廣泛應(yīng)用于醫(yī)學(xué)影像領(lǐng)域。在肺部X光片中既有小的肺炎病變,也有大的肺炎病變;小的病變(低對比度)的檢測通常需要較高的分辨率;相反,檢測大的病變則需要低分辨率的圖像,這樣才能抓住深層特征,具有全局感受野。所以選擇使用SPD來生成肺部X光片的多尺度視圖,這樣才能更好地表示出肺炎病變在不同尺度上表現(xiàn)出的關(guān)鍵的影像學(xué)特征。

1.2 Swin Transformer

Transformer[10]是谷歌團(tuán)隊(duì)首次于2017年提出的用純Attention搭建的經(jīng)典模型,其擯棄了RNN[11]的順序結(jié)構(gòu),使得模型可以并行化處理,大幅提高了訓(xùn)練速度。Vision Transformer (ViT)是Dosovitskiy于2020年提出的可用于圖像處理任務(wù)的模型,ViT的出現(xiàn)突破了CV和NLP在模型上的壁壘,開啟了計(jì)算機(jī)視覺領(lǐng)域的一個(gè)新時(shí)代。傳統(tǒng)的Transformer的核心Scaled Dot-Product Attention模塊機(jī)制如式(1)[10]所示。

(1)

Swin Transformer中使用的不再是普通的Transformer,它修改了Transformer中的Multi-Head Self-Attention(MSA)層,成為一個(gè)基于Shifted Windows的方法,即借鑒了卷積神經(jīng)網(wǎng)絡(luò)中的層次化構(gòu)造的方法(Hierarchical feature maps),這樣的設(shè)計(jì)有助于在做視覺場景任務(wù)中取得較好的效果。其中,把特征圖劃分為多個(gè)大小可以不一致且不相交的窗口,每個(gè)窗口內(nèi)使用Multi-Head Self-Attention,這樣可以減少計(jì)算量,尤其在底層較大的特征圖上(傳統(tǒng)的ViT是對整個(gè)特征圖進(jìn)行Multi-Head Self-Attention),因此這種新的方式叫做Windows Multi-Head Self-Attention,即W-MSA。而Swin Transformer的創(chuàng)新策略也就是W-MSA、SW-MSA,本質(zhì)上是基于Windows和Shfit-Windows計(jì)算MSA。ViT從單一低分辨率提取特征,其全局計(jì)算自注意力的復(fù)雜度是O(n2);而Swin Transformer通過分層架構(gòu),使得model可以在不同的scale中使用,其計(jì)算復(fù)雜度是線性的O(n);這樣的特性使得Swin Transformer應(yīng)用于大范圍的視覺任務(wù)變得可行。分層設(shè)計(jì)和移動(dòng)窗口方法也證明對所有的MLP架構(gòu)是有幫助的。

1.3 軸向注意力機(jī)制

軸向注意力機(jī)制[12]是將自注意力機(jī)制分解成兩個(gè)一維的自注意力機(jī)制,即分別為高度軸注意力機(jī)制和寬度軸注意力機(jī)制。這樣的分解不僅減小了計(jì)算量,而且可在全局注意力網(wǎng)絡(luò)中恢復(fù)較大的感受野。可以讓注意力覆蓋到大的區(qū)域,這使得對全局關(guān)系建模成為可能。

2 提出的肺炎智能檢測模型

提出的模型是對胸部X光片進(jìn)行分類,模型主要融合了空間金字塔分解模塊和在Swin Transfor-mer中應(yīng)用軸向多頭自注意力機(jī)制——Swin Transformer with Multi-Head Axial-Self-Attention(ST-MASA)的網(wǎng)絡(luò)模型來進(jìn)行分類操作。對數(shù)據(jù)集中的新冠肺炎(COVID)、非COVID的病毒性肺炎(Viral_Pneumonia)、肺不透明(Lung_Opacity)和正常(Normal)的X光片進(jìn)行分類。其架構(gòu)圖如圖1。

圖1 所提網(wǎng)絡(luò)模型架構(gòu)圖

利用空間金字塔分解(SPD)模塊的策略,可以多尺度的輸入肺部X光片,這樣可以更好地提取關(guān)鍵的影像學(xué)特征,從而對大小形狀各異的病灶進(jìn)行檢測、定位或分割等,提高了病灶檢測的準(zhǔn)確性。圖中l(wèi)0-l2分別代表金字塔的0、1、2三層。

將Swin Transformer中的W-MSA和SW-MSA編碼器的多頭自注意力機(jī)制(Multi-Head Self-Attention)部分改為多頭軸向自注意力機(jī)制(Multi-Head Axial-Self-Attention mechanism,MASA)。其編碼器結(jié)構(gòu)圖和軸向自注意力示意圖見圖2、圖3。圖2示意了使用了兩個(gè)Transformer Blocks的輸入輸出情況,圖3示意了其中的軸向自注意力機(jī)制。圖2中,主要組件就是W-MASA、SW-MASA、Layer-Norm(LN)[13]和MLP;所有的Transformer結(jié)構(gòu)都是一個(gè)軸向多頭自注意力機(jī)制連一個(gè)前饋網(wǎng)絡(luò)MLP,只不過在這兩個(gè)組件之前要多加一個(gè)LN層,再增加一個(gè)殘差連接。圖中的殘差網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)可以減少有效信息的損失,防止梯度消失或者爆炸。

圖2 Two Transformer Blocks 圖3 軸向注意力機(jī)制

其相應(yīng)公式如式(2)到式(5)所示:

(2)

(3)

(4)

(5)

模型應(yīng)用的軸自注意力機(jī)制是將自注意力機(jī)制分解成兩個(gè)一維的,即分別在高度和寬度方向上實(shí)施注意力機(jī)制。從兩個(gè)維度計(jì)算,具有更好的計(jì)算效率,也可以適應(yīng)原始的自注意力機(jī)制維度匹配,適用于反向傳播。另外,提出的模型添加了位置偏移項(xiàng);從而使得注意力值對位置信息更加敏感。這個(gè)位置偏移項(xiàng)就是通常所說的相應(yīng)位置編碼;此位置編碼可以通過訓(xùn)練來學(xué)習(xí)。模型中,對所有的q、k、v都使用了相對位置編碼。對于任何給定的輸入特征圖x,加入了位置編碼并沿寬度軸更新的軸向注意力機(jī)制可以用如下公式表示:

(6)

其中,輸入向量為(h*w*c),位置為o={i,j|i∈{1,2,…,h},j∈{1,2,…,w}},其輸出為yij。rq、rk、rv是可學(xué)習(xí)向量,分別表示查詢、鍵、值的位置編碼。高度軸的注意力機(jī)制和寬度軸定義相同,一個(gè)軸向自注意力層在特定軸傳播信息,兩個(gè)軸向自注意力層都采用了多頭注意力機(jī)制。與傳統(tǒng)的自注意力機(jī)制相比,在軸向注意力機(jī)制添加位置偏移項(xiàng)后,可以實(shí)現(xiàn)全局感受野獲得特征。

不同尺度圖像經(jīng)過每一個(gè)Swin Transformer with Multi-Head Axial-Self-Attention的網(wǎng)絡(luò)塊后使用一個(gè)全局平均池化(GAP)層來替代CNN中常用的全連接層,GAP層可以增強(qiáng)Feature Map和Categories之間的對應(yīng)關(guān)系,從而能避免過度擬合[13]。然后,將各GAP層的輸出沿指定的維度組合,以獲得更好的特征表示。最后,對輸出進(jìn)行全連接層和Relu操作,經(jīng)過Softmax后得到分類的結(jié)果[14]。

3 實(shí)驗(yàn)結(jié)果和分析

3.1 數(shù)據(jù)集

使用的數(shù)據(jù)集是來自飛槳公共數(shù)據(jù)集中的多種肺炎胸片數(shù)據(jù)集。此數(shù)據(jù)集包括10 192個(gè)健康以及3 616個(gè)COVID-19陽性病例、6 012個(gè)肺部渾濁(非COVID肺部感染)和1 345個(gè)病毒性肺炎圖像。實(shí)驗(yàn)從中隨機(jī)選取80%作為訓(xùn)練集,剩余20%作為測試集。

3.2 評價(jià)指標(biāo)

實(shí)驗(yàn)使用了準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)和F1-Measure等幾個(gè)技術(shù)指標(biāo)[15]。其中TP、FP、TN、FN分別為真陽性、假陽性、真陰性、假陰性的數(shù)量。Accuracy是指模型正確分類的樣本數(shù)與樣本總數(shù)之比;Precision評價(jià)模型預(yù)測正面標(biāo)簽的精度,Recall衡量的是正確預(yù)測正面標(biāo)簽的比例,Recall高意味著漏診率低;F1-Measure是Precision和Recall的調(diào)和平均值,當(dāng)F1值較高時(shí),說明實(shí)驗(yàn)方法更加優(yōu)異。此外,采用ROC曲線來檢驗(yàn)分類性能,實(shí)驗(yàn)?zāi)Ｐ偷腞OC曲線如圖14—18所示。ROC曲線圖是反映敏感性與特異性之間關(guān)系的曲線。曲線下部分的面積被稱為AUC(Area Under Curve),用來表示預(yù)測準(zhǔn)確性。AUC值越高,曲線下方面積越大,說明預(yù)測準(zhǔn)確率越高。指標(biāo)定義如表1所示。

表1 評價(jià)指標(biāo)

3.3 實(shí)施細(xì)節(jié)

實(shí)驗(yàn)基于Windows 10系統(tǒng)下,GPU為NVIDIA Tesla K80,實(shí)驗(yàn)環(huán)境為基于Windows的Pytorch深度學(xué)習(xí)框架。通過transform.Resize將圖像縮放為128×128、256×256、512×512三種尺寸大小作為輸入;采用Adam優(yōu)化器進(jìn)行模型訓(xùn)練,其中初始學(xué)習(xí)率、批處理大小分別設(shè)置為0.001和8;L=8為Transformer編碼器數(shù)量;Epoch為300次。

3.4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)設(shè)計(jì)采用上述評價(jià)指標(biāo)對ResNet50、ResNet101、Inception net-V3和Swin Transformer四種比較有代表性的模型做對比實(shí)驗(yàn),圖4至圖8顯示了五種網(wǎng)絡(luò)模型下的準(zhǔn)確率值。

圖4 ResNet50網(wǎng)絡(luò)模型下的準(zhǔn)確率圖

圖5 Swin Transformer網(wǎng)絡(luò)模型下的準(zhǔn)確率圖

圖6 Inception net-V3網(wǎng)絡(luò)模型下的準(zhǔn)確率圖

圖7 ResNet101網(wǎng)絡(luò)模型下的準(zhǔn)確率圖

圖8 proposed網(wǎng)絡(luò)模型下的準(zhǔn)確率圖

為了更方便表示實(shí)驗(yàn)結(jié)果,特設(shè)置每一個(gè)e-poch代表迭代10次,共迭代300次。不同模型對應(yīng)的混淆矩陣見圖9至圖13,從混淆矩陣中可以計(jì)算出每個(gè)模型的精確度、召回率及F1-Measure。

圖9 ResNet50網(wǎng)絡(luò)模型下的混淆矩陣

圖10 Swin Transformer網(wǎng)絡(luò)模型下的混淆矩陣

圖11 Inception net-V3網(wǎng)絡(luò)模型下的混淆矩陣

圖12 ResNet101網(wǎng)絡(luò)模型下的混淆矩陣

圖13 proposed網(wǎng)絡(luò)模型下的混淆矩陣

不同模型對應(yīng)的ROC曲線如圖14至圖18。由圖可知,所提模型的曲線下面積最大,因此說明所提模型的性能最好。

圖14 ResNet50網(wǎng)絡(luò)模型下的ROC曲線圖

圖15 Swin Transformer網(wǎng)絡(luò)模型下的ROC曲線圖

圖16 Inception net-V3網(wǎng)絡(luò)模型下的ROC曲線圖

圖17 ResNet101網(wǎng)絡(luò)模型下的ROC曲線圖

圖18 proposed網(wǎng)絡(luò)模型下的ROC曲線圖

各評價(jià)指標(biāo)的具體參數(shù)如表2 所示。從表2中可以看出,和四種經(jīng)典的網(wǎng)絡(luò)模型相比,所提出的模型的準(zhǔn)確度最高,達(dá)到96.7%。其準(zhǔn)確度、精確度、召回率及F1-Measure值比ResNet50分別高出5.1%、4.2%、8.5%和7.0%;比Swin-Transformer分別高2.4%、3.7%、2.8%和3.7%;比Inception net-V3分別高1.7%、1.5%、1.8%和2.0%;比ResNet101分別高2.1%、3.2%、1.8%和2.5%。可以看到,所提出的網(wǎng)絡(luò)結(jié)構(gòu)在這個(gè)評價(jià)指標(biāo)上都取得了最好的性能。

表2 五種網(wǎng)絡(luò)模型下的評價(jià)指標(biāo)參數(shù)值

所提模型的部分預(yù)測結(jié)果如圖19所示,其中上方為實(shí)際標(biāo)簽值,下方為預(yù)測結(jié)果。

圖19 部分預(yù)測結(jié)果圖

4 結(jié) 論

提出了一種融合SPD模塊進(jìn)行多尺度輸入的ST-MASA的肺炎智能檢測模型,用于COVID-19、Lung_Opacity、Viral_Pneumonia和Normal的多類型肺炎的自動(dòng)分類。該模型能夠自動(dòng)關(guān)注肺炎病灶的多尺度所表現(xiàn)出的關(guān)鍵特征,并利用軸向多頭注意力機(jī)制,同時(shí)添加位置偏移項(xiàng);從而能夠充分實(shí)現(xiàn)全局感受野獲得特征,得到特征圖的空間信息。通過上面所提的定量實(shí)驗(yàn)及對比,其結(jié)果表明,該模型在訓(xùn)練集和測試集上均表現(xiàn)出更好的識別能力和泛化能力。相對于傳統(tǒng)的CNN神經(jīng)網(wǎng)絡(luò),提出的模型在輔助肺炎診斷的工作中表現(xiàn)出更優(yōu)的性能;從而能更好地幫助放射科醫(yī)生進(jìn)行醫(yī)療檢測工作。