基于Transformer網絡的氣胸圖像分類方法＊

王 劍，樊 敏

(山西醫科大學汾陽學院，山西 汾陽 032200)

0 引言

伴隨著卷積網絡的不斷發展，卷積網絡在醫學領域得到了廣泛的應用，在氣胸分類方面取得了較好的分類結果。其中2017年NIH[2]的研究人員使用自然語言處理的方法構建了一個醫學圖像數據集，并命名為Chest X-ray 14，該團隊使用在ImageNet 上預訓練好的深度學習框架在該數據集上完成氣胸分類的訓練，最終獲得了80.6%的AUC 分數。Jun[3]等提出了一種基于CNN 網絡的集成框架來診斷正常X 射線照片和含有氣胸的X 射線照片，該方法使用了不同的數據分辨率進行網絡的訓練，使得最后獲得了91.1%的AUC分數。該實驗使用的是NIH 胸部數據集，正常胸片樣本和氣胸樣本之間存在著較大的數據不平衡問題。吳恩達[4]團隊利用CheXNet 網絡在Chest X-Ray 14數據集上進行了訓練，其模型在肺炎診斷中表現優異，但是在氣胸分類上的AUC 值只有88.7%。Sze[5]等提出了一種基于CheXNet 網絡的氣胸檢測模型，利用二元交叉熵損失函數解決數據不平衡的問題，最終在包含7 個氣胸數據集以及195 個正常胸片的測試集上達到了70.8%的AUC 分數。Park[6]等基于預訓練的YOLO Darknet-19網絡，采用SGD優化器在氣胸數據集上進行微調，并且保持輸入分辨率為1024×1024。經過訓練在內部測試數據集上的AUC 分數為98.4%。Geva[7]等基于紋理分析技術和監督學習技術，提出了一種面向胸部X 射線照片自動診斷氣胸的專用框架。該框架使用了局部二值模式（LBP）和最大響應濾波器（MR）算法，并且使用AdaBoost 分類器和KNN 分類器進行訓練，最終在含有108 例病例，其中48 例為氣胸病例的本地數據集上獲得了81%的敏感性和87%的特異性值。

VisionTransformer 網絡是由Transformer 網絡發展而來的，目前VIT 網絡在圖像處理的各個領域包括分類、檢測、分割中都展現出了較好的性能，本文將基于Transformer網絡完成氣胸圖像的分類任務。

1 數據集介紹

1.1 Chestx-ray 14數據集

Chest X-ray 14 數據集含有12 萬張分辨率為1024×1024 的圖像，數據的格式為png。該數據集包含有3 萬例病例信息，由專業的醫生對14 種常見的肺部疾病進行篩選和標注，篩選之后氣胸數據集為5298張，其他疾病數據為28774 張，正常圖像為60412 張，其準確率超過了90%。

1.2 CheXpert數據集

CheXpert 數據集包含了2002 年10 月到2017 年7月之間，斯坦福醫院的22萬張胸片數據。該數據來自65240 個就醫者，該數據集被標記為14 個標簽，其中12 個為常見的肺部疾病，另外兩個，一個是健康標簽，一個是輔助設備標簽。其中氣胸數據為17313 張，非氣胸數據為167665張。

CheXpert 數據集與Chest X-ray 14 集最大不同點在于，CheXpert 數據集含有側體位胸片，但是側體位胸片一般是用來做輔助分析的，而不直接用于疾病診斷。因此當我們使用圖像做氣胸分類任務時，只選擇正位胸片即可。

1.3 MIMIC-CXR-JPG數據集

MIMIC-CXR 數據集是由斯坦福大學發布的，該原始數據集中包含了65379 例就診者的胸片，共計377110張胸部X光片。該數據集也有14個標簽，每張圖片被標記為，陽性、陰性或不確定。MIMIC-CXRJPG數據集是由原始數據集轉換為JPG格式的數據集，共計222750張數據集，其中氣胸數據集為9317張。該數據集和CheXpert數據集一樣，也存在側體位胸片。

2 圖像增強

由于醫學圖像數據采集的特殊性，醫學圖像往往樣本數量偏少并且圖像質量參差不齊，然而數據集的多少以及圖像質量的高低對深度學習起著至關重要的作用。針對圖像質量，本文通過對四種常用的圖像增強技術進行實驗，最終選用了效果較好的直方圖均衡化方法，實驗證明利用該方法對氣胸數據進行處理可以提高氣胸分類的結果。

4.外歸因思想。十年間，很多協解人員思想和行為在現實自愿和心理非自愿的情況下長期交互游離。協解人員普遍將矛頭指向油田和各二級單位，將協解問題歸因于政策不合理、執行欠公正、人情太冷漠、命運多坎坷等外部因素，而很少在自我的性格特征、主觀思想、行為習慣上找根源。如有些人協解前工作不勤奮、規章不遵守、人際不協調；有些人協解時總想獲自由闖事業，貪圖大額補償，躲避工作壓力。但是真正到協解后又開始創業嫌艱難、擇業怨機遇、再就業挑崗位講待遇，所以總是將自己困在一個周而復始的消極循環里，造成工作生活中的挫敗感、自卑感和不愉悅感。

2.1 直方圖均衡化（HE）

直方圖均衡化（HE）技術[8]是圖像處理中常用的圖像增強技術，高對比度的圖像具有近似均勻分布的直方圖，即每個灰色級別都有相同的概率出現。為了創建更均勻分布的直方圖，可以對較暗的圖像區域進行灰度的重新分布，這可以使圖像更加清晰。假設一幅圖像M×N 的灰度值在[0,L]范圍內，那么它的直方圖計算公式如下：

其中，rk的取值范圍為[0,L]，代表像素的灰度值，nk表示該灰度值所包含的像素個數。M×N 代表圖像的總像素個數，p(rk) 即概率論中所說的頻率。在直角坐標系中畫出rk與p(rk) 的關系圖形，即為直方圖。

2.2 圖像反轉

圖像反轉是圖像處理中常用的圖像增強技術之一，在二進制的圖像中，像素值由0變為1，由1變為0，圖像會黑白反轉。對于8Bite 的灰度圖像，則會使用255 減去原始像素，得到的差值為新圖像的像素值。對于X 光圖像，該操作會使暗點變亮，亮點變暗，具體計算公式如下：

其中，x和y是原始圖像和轉換后的圖像像素值。通過該操作，胸片中的感興趣區域（肺部區域）會變得更亮，骨骼會更暗。在臨床中，該方法得到了放射科醫生的青睞。

2.3 平衡對比度增強技術（BCET）

平衡對比度增強技術(BCET)[9]可以在不改變圖像數據直方圖模式的情況下拉伸或壓縮圖像的對比度。該方法的解是基于從圖像數據中獲取的拋物線函數，具體公式如下：

其中，y表示最終的輸出圖像，x表示輸入圖像。該拋物線包含三個系數a,b和c，該系數由輸入和輸出圖像的最小值和最大值獲得。具體公式如下：

其中，l表示輸入圖像的最小值，h表示輸入圖像的最大值，e表示輸入圖像的平均值，L表示輸出圖像的最小值，H表示輸出圖像的最大值，E表示輸出圖像的平均值，s為圖像的均方和。

2.4 Gamma校正

攝像設備在獲取圖像的過程中，會對圖像產生非線性轉化。公式如下：

其中，g(u)為變化后的像素值，r即Gamma 值，可見該變化會對圖像造成非線性的影像。理想狀態下，即如果知道r的值，那么就可以進行還原其真實值，具體公式如下：

當r值大于1 時，圖像的整體亮度會下降，圖片會變暗，原因是圖像的灰度級經過變換后整體向低灰度級延展。當r值小于1時，經過變換后的圖像整體亮度會上升，圖像會變亮，原因是圖像經過變換后灰度級整體向高灰度級延展。Gamma 校正的效果如圖1 所示。當r值小于1 時，圖像亮度會增強，圖像整體效果會變白。當r值大于1 時，圖像亮度會減弱，圖像整體效果會變暗。

圖1 r參數值對圖像增強效果的對比

如圖2 所示，將原始氣胸圖像分別利用直方圖均衡化、圖像反轉、BCET、gamma 校正進行處理后，可以看出直方圖均衡化操作要好于圖像反轉、ECET 方法及Gamma 校正，更能突出氣胸病兆的區域特征，所以本文選取了直方圖均衡化操作作為圖像增強的方法。

圖2

3 模型方法

基于VIT 網絡的氣胸圖像分類框架如圖3 所示，首先從Chestx-ray 14 數據集、CheXpert 數據集和MIMIC-CXR 數據集中隨機抽取氣胸樣例，經過篩選剔除側位胸片，最終獲得2萬張氣胸數據，為了使數據集保存平衡，從非氣胸數據集中以1:1的比例抽取2萬張非氣胸數據集，然后調整圖像大小、并使用直方圖均衡化方法進行圖像增強，最后經過圖像切塊即可輸入到VIT 網絡當中，VIT 網絡選用VIT-L/16 版本，將MLP 模塊中的網絡進行修改，最后一層網絡改為二分類網絡即可。

圖3 基于Transformer網絡的氣胸分類框架

4 實驗及結果

4.1 實驗細節

將所選的4萬張圖像進行分類標記，并進行劃分，具體的94%的數據集為訓練集，3%的數據集為驗證集，3%的數據集為測試集，梯度優化采用SGD 優化器，損失函數使用交叉熵函數，學習速率設置為0.001，設置批量大小為24，epoch為30，使用ImageNet數據集的預訓練權重進行初始化。

4.2 評價指標

圖像分類的評價指標很多，但是對于醫學圖像分類輔助診斷的問題，分類模型的準確率、精確率及AUC 值起著最為重要的作用。因此本文選擇準確率和精確率作為評價所提模型的指標。

準確率定義為正確識別的正樣本和負樣本占總樣本的比例。公式如下：

精確率是所有正確識別的正樣本與所有網絡認為是正樣本的比率，公式如下：

AUC 值為ROC 曲線下的面積，作為評估指標，AUC 值越大，說明模型越好，AUC 值更加看重正樣本的比率。

式⑺、式⑻中，TP 表示正樣本中預測為正樣本的樣本數，TN 表示負樣本中預測為負樣本的樣本數，FP 為負樣本中預測為正樣本的樣本數，FN 為正樣本中預測為負樣本的樣本數。

4.3 實驗結果與分析

如圖4 所示為VIT 網絡的訓練集誤差、驗證集誤差與驗證集分類準確率，表1 為網絡在測試集上的準確率、精確率、AUC值，從表1可以看出，DenseNet-121網絡的準確率為86.4%，比VIT 網絡低3.6%，其中VIT網絡的AUC 值達到了0.93，而DenseNet-121 的AUC值為0.89。由此驗證了本文所提方法的有效性。

圖4 訓練集損失和驗證集準確率

表1 測試集氣胸分類結果

5 結論

本文充分利用了直方圖均衡化進行圖像增強改變圖像質量以及VisionTransformer網絡在特征提取方面的優勢，并且為了使模型具有更好的泛化性，從三個開源胸部數據集中選取了訓練數據集，同時為了使模型有更好的分類效果，在訓練時采用了SGD 優化器，調整了MLP的結構，使用了遷移學習的思想，實驗結果表明，所提方法的準確率達到了90.1%，AUC值達到了0.93，優于DenseNet-121 卷積網絡，為臨床診斷提供了可靠的依據。如何利用Transformer 網絡進行多分類任務，將是下一步的研究方向。