基于遷移學習的上肢骨骼X射線片異常分類與定位

黨維濤，馬 進，張利利，張太輝，程 珊，惠鐸鐸，胡文東

（空軍軍醫大學航空航天醫學系，西安710032）

0 引言

醫學影像在疾病的檢測、診斷和治療中起著重要作用，在醫療診斷和臨床治療中不可或缺。近年來，隨著硬件技術的突破和人工智能技術的發展，深度學習已成為計算機視覺領域研究的新潮流，基于深度學習的計算機影像分析系統能夠對醫學圖像進行預處理和分類，自動提取隱含在圖片中的特征信息，從而輔助影像科醫師進行診斷，在提高診斷準確率、減少影像科醫師工作量方面具有重要意義[1]。

目前，基于遷移學習的深度神經網絡技術已被廣泛應用于醫學圖像的分割、診斷、分類、預測和檢測等方面的研究[2]，其在阿爾茨海默癥、肺癌、乳腺癌、視網膜病變等疾病的輔助診斷上已經取得顯著效果[3]。在骨骼異常檢測方面，國內外學者也進行了相關研究，潘雪峰[4]基于遷移學習的卷積神經網絡（convolution neural networks，CNN）進行手骨X射線片異常分類，并開發了相應的輔助診療系統；Raghavendra等[5]提出了一種使用CNN的自動胸腰椎骨折檢測技術，在其私有數據集上具有良好的分類效果。

目前，深度神經網絡在骨骼異常方面的研究主要為圖像分類，異常定位方面的研究不多。本文采用遷移學習的方法，引入經過預訓練的深度神經網絡模型，針對上肢骨骼X射線片的分類任務進行再訓練，提取骨骼X射線片的特定圖像特征，基于梯度加權類激活映射圖（gradient-weighted class activation mapping，Grad-CAM）求得特征圖的加權系數，構建類激活圖，實現異常區域的判斷與定位。

1 實驗方法

1.1 數據來源及分析

本研究使用的數據來自斯坦福大學機器學習團隊公布的大型肌肉骨骼X射線數據庫MURA（Musculoskeletal Radiographs）[6]，MURA是由2001—2012年間斯坦福醫院12 173名患者的14 863個病例組成的肌肉骨骼影像學數據集，包含上肢7個部位（肘部、手指、前臂、手部、肱部、肩部和腕部）的X射線片，每張圖像都由多名斯坦福醫院放射學專家手動標記為正?；虍惓?。

MURA數據分為訓練集和測試集2個部分，每部分包括7組數據，具體的X射線片數目如圖1所示。

圖1 MURA數據集組成

由圖1可知，MURA數據庫圖像數目多，最少的肱部也有1 200多張訓練圖像，為模型訓練提供了充足數據。各部位測試集數據占比合理，可有效測試模型性能及泛化能力。在訓練數據平衡性方面，除手部異常與正常圖像比例為2.69外，其余各部位的異常與正常圖像比例均小于1.76。

為消除數據不平衡帶來的分類精度誤差并更加準確地描述模型性能，本文采取Kappa系數作為模型性能的衡量指標。Kappa系數是用來評價模型可靠性的統計指標，對于非平衡數據集，該指標比準確率評價更為健壯[7]。Kappa系數取值范圍為-1～1，值越大表示模型的分類性能越好。

1.2 數據增強

數據增強（data augmentation，DA）是指對已有訓練數據進行一定變換以增加訓練樣本數，從而提高模型性能的方法。對于圖像數據，常用的數據增強方法有翻轉、旋轉、縮放、裁剪、移位、高斯噪聲等[8]。

圖像的翻轉不會產生信息損失，而旋轉、縮放、裁剪、移位等變換都有可能造成原始圖像信息丟失。考慮到圖像小角度旋轉只會造成圖像邊緣信息的丟失，而X射線片中骨骼異常部位一般處于圖像中心區域，因此小角度的旋轉不會造成有用信息的丟失，理論上對分類結果不會產生影響。本文只采用翻轉和30°范圍內隨機旋轉2種數據增強方式。數據增強圖像對比如圖2所示。

圖2 數據增強圖像對比

1.3 基于DenseNet的圖像分類模型

遷移學習是一種通過已有的知識解決目標領域中標簽樣本較少的學習問題的方法[9]。深度神經網絡往往具有上百萬個模型參數，訓練集規模較小容易造成過擬合，因此遷移學習先將模型在相似領域規模較大的基礎數據集上進行預訓練，擬合模型參數，然后在目標領域數據集上再訓練，對網絡參數進行微調優化，提高模型在具體目標任務上的細節特征識別能力，從而達到理想的分類效果[10-12]。

本文將DenseNet網絡[13]在ImageNet數據集上學習的特征提取能力作為先驗知識遷移至上肢骨骼X射線片的特征提取上。DenseNet網絡是一種深度卷積神經網絡，具有參數少、模型不易過擬合的優點，其核心是基于特征圖密集連接結構的DenseBlock單元[14]。

整體分類模型框架如圖3所示，主要包括特征提取模塊、特征融合模塊和分類模塊。特征提取模塊是經過預訓練的DenseNet網絡，包含4個Dense－Block單元，以預處理過的X射線片作為輸入，計算提取圖像特征，獲得多層特征圖。特征融合模塊包含池化層（Pool layer）和Flatten層（Flatten layer），通過池化、矩陣變換對特征提取模塊得到的多層特征圖進行壓縮和融合。池化層是將單張特征圖內部信息進行壓縮，通過平均池化降低單張特征圖的分辨力以減少特征值數目；Flatten層對多張特征圖特征信息進行合成降維，將池化獲得的三維特征矩陣轉化為一維特征向量。Flatten層不改變特征值的數目，只是將特征矩陣轉換為向量以方便下一步操作。分類模塊由2個全連接層（FC layer）組成，將一維特征向量作為輸入，通過全連接層對各特征值進行加權求和，計算圖像的分類概率，獲得預測結果。

圖3 整體分類模型框架

1.4 基于Grad-CAM的異常定位

深度學習網絡是一種端到端的“黑盒”系統，在醫療領域，提高網絡模型的可解釋性能夠增加使用者對系統的信任度，對輔助醫療決策具有重要意義。本文通過基于Grad-CAM的類激活圖[15]進行特征可視化，實現影像的異常區域精準定位，為影像科醫生的快速識圖與決策提供支撐。

Grad-CAM原理是將提取的多個特征圖按其對最終分類的貢獻程度加權疊加為一張熱力圖，將熱力圖熱點分布與原始圖片進行對比，可看出原始圖片各區域對分類的影響，對于模型分類結果為異常的圖像，其對應熱力圖中的高亮位置即可認為是異常區域。

基于Grad-CAM的類激活圖L計算過程如下：假設圖片的異常概率為y，通過反向傳播算法計算其對于第k張特征圖Ak中某一特征像素Akij的梯度其中（i，j）表示該特征像素對應的坐標。計算特征圖所有特征像素的梯度，然后應用全局平均池化（global-average-pooled，GAP）算法求平均值，得到該特征圖對應的權重系數ak：

式中，Z為單個特征圖的像素數。權重系數ak代表第k張特征圖Ak對于異常分類的重要程度。圖片的類激活圖L表示該圖片所有特征圖的加權和，其中線性整流函數ReLU確保類激活圖各點無負值：

經過特征圖的加權和得到類激活圖，類激活圖的大小與特征圖相同，DenseNet網絡的類激活圖大小為10×10，通過插值將類激活圖放大至原始圖像大小，即可獲得表示圖片各像素對異常分類重要程度的熱力圖，從而實現異常區域定位。

2 實驗配置及結果分析

2.1 實驗配置及策略

2.1.1 模型參數與硬件配置

實驗在MURA訓練數據集中隨機選取80%樣本作為訓練數據進行模型擬合和參數調節，剩余20%樣本作為驗證集進行模型評估和超參數調節，用MURA數據集中測試圖像數據進行模型最終性能分析。

實驗輸入圖片分辨率統一縮放為320×320，一次迭代樣本數BatchSize為16。模型以交叉熵（cross entropy loss）作為損失函數進行反向傳播，選擇自適應矩估計（adaptive moment estimation，ADAM）作為優化器（指數衰減率采用默認值：β1=0.9，β2=0.999），最大學習率設為0.001。學習率更新策略如圖4所示，學習率按深度學習庫fastai框架默認策略[16]隨迭代次數更新。

圖4 學習率更新策略

本文模型基于Windows 10操作系統下的Python 3.7和深度學習庫fastai實現，模型訓練服務器的硬件配置為1塊RTX2080Ti GPU、顯示內存為11 GiB、處理器為I9-9900X。

2.1.2 訓練策略

本文采取整體遷移學習加分類細化訓練的策略，具體如下：（1）整體遷移學習階段。將所有上肢圖片分為正常與異常2類建立訓練集，引入經過ImageNet預訓練的DenseNet網絡作為特征提取模塊，先對分類模塊進行訓練，訓練輪數epoch設為15，以Kappa值為指標保存最優參數。然后將預訓練網絡最后2層DenseBlock解凍進行訓練，epoch設為10，對特征提取模塊參數進行微調，提取任務相關的醫學圖像特征。（2）分類細化訓練階段。分別以7個部位圖片作為訓練集，針對特定部位進行細化訓練，epoch設為20，最終保存各個部位的最優模型。

2.2 分類結果

為驗證訓練出來模型的性能，本文使用MURA數據集中測試圖像數據進行分類效果測試，各部位測試圖像數目如圖1所示。通過前述訓練，得到最優模型后，將所有測試圖像依次輸入模型進行計算，得到異常概率值，當異常概率大于0.5時，認為該圖像為異常分類。表1為模型對各部位的分類精度及Kappa值，除指部圖像的分類準確率為78.3%外，其余各部位準確率都超過80%，平均分類準確率達到85%。

表1 模型分類結果

為了進一步驗證模型性能，本文將模型在測試集上的分類結果與放射科專家人工分類結果進行了對比。以斯坦福大學機器學習團隊公布的測試數據集準確類別作為評判標準，將模型計算的分類結果與MURA公布的3名斯坦福醫院放射科醫生的判讀結果進行對比，評價指標為Kappa值。

表2 為放射科專家與本文模型在不同部位上的分類結果對比，對手指的判別，本文模型性能最優，優于3名放射科專家的判讀結果；對于肘部的判別，模型性能接近3名專家的平均水平，優于2名專家的判讀結果；對于肱部的判別，模型性能低于專家平均水平，但優于其中1名專家的判讀結果；對于其他部位的判別，模型判別準確率低于所有放射科專家的判讀結果，未達到人工判讀水平。

表2 模型分類性能對比（Kappa值）

2.3 異常區域定位

將單張X射線片輸入至訓練完成的網絡模型進行特征提取，計算其異常概率，在此過程中通過前述Grad-CAM方法計算該X射線片對應的類激活圖，即可獲得X射線片各像素點對最終分類概率的影響程度。對于預測結果為異常的圖像，對分類影響最大的區域即可認定為異常區域。

利用Grad-CAM方法對異常X射線片進行異常區域定位的效果如圖5所示。

從圖5可以看出，對于分類精度較高的異常圖像，基于Grad-CAM的異常定位算法能夠精準定位異常區域。在非異常區域熱力圖亮度較低，說明異常部位對分類的影響遠大于其他部位。

2.4 結果分析

實驗結果表明，基于遷移學習的上肢X射線片自動判別在準確率上雖然達不到影像科專家的判讀結果，但已經接近于專家判讀的準確率，并且在某些難度較大的部位判讀上，自動判別的結果優于人工判讀。

基于Grad-CAM方法將模型提取的特征圖進行融合得到的類激活圖能夠精準定位出圖像的異常區域，并通過熱力圖展示出對分類結果具有關鍵作用的圖像部位，能夠大大提高網絡模型的可解釋性，增加使用者對模型的信任度。

3 結語

本文將預訓練網絡遷移至X射線片的分類任務，在上肢骨骼數據集MURA上進行特征學習，訓練后的模型分類性能已接近影像科專家的人工判讀結果。此外，本研究基于Grad-CAM算法進行特征圖融合得到類激活圖，以熱力圖的形式直觀呈現出圖像各像素點對分類概率的貢獻，從而實現了異常區域的準確定位。

圖5 Grad-CAM異常定位效果圖

從實驗結果可以看出，雖然模型的分類精度已經接近專家水平，但距離真實的智能醫療還有很大的提升空間。模型性能難以提升的原因有2個方面：一方面，深度神經網絡是數據驅動模型，其性能依賴于大樣本數據的訓練，而醫療影像的獲取及標注難度較大，相比其他領域，醫學圖像數據集規模往往較小，這也成為模型性能提升的瓶頸；另一方面，目前通用的神經網絡結構都是針對自然圖像處理的模型，而醫學圖像單通道、對比度小、多紋理特征的特點使得通用模型的遷移學習難以達到理想效果。因此，統一行業標準，建立共享醫學影像數據庫才能挖掘出深度學習在醫學影像分析中的巨大潛力。此外，還需構建適用于醫學圖像的專用網絡模型以進一步改進性能。