深度學習在影像學診斷膝關節病變中的應用進展

余可妍，張曉東

(南方醫科大學第三附屬醫院影像科，廣東 廣州 510630)

深度學習(deep learning, DL)是基于包含多個層級的、復雜的神經網絡實現機器學習方法，能高效、快捷地處理大量數據，避免人工處理過程中因疲勞等因素而導致錯誤。近年來，DL飛速發展，現已可用于自動分割圖像的器官、處理圖像及診斷疾病。膝關節是骨關節炎的重要好發部位，晚期具有致殘性和不可逆性。本文對DL在影像學診斷膝關節病變的研究進展進行綜述。

1 DL概述

DL模型是以深度神經網絡為結構基礎的計算機模型。不同于傳統的需要先驗知識架構及大量預處理的機器學習模型，DL不僅能自動提取原始數據中特征，亦能分析特征之間的復雜關系，故可在無先驗特征定義的情況下提取有意義的圖像特征[1-2]。卷積神經網絡(convolutional neural network, CNN)是用于醫學影像學研究的主要神經網絡結構，擅長提取高級特征，隨著網絡深度增加，CNN模型精度越來越高，DL由此得名[3]。醫學影像中DL模型的任務目標主要包括疾病分類、檢測及定位和病灶分割組織器官。

DL模型在訓練過程中通常將數據分為訓練集、驗證集及測試集，訓練集用于模型擬合，驗證集用于調整參數及初步評估模型效能，測試集則用于測試模型的泛化能力。當樣本量較小時，可進行K倍交叉驗證，以對模型進行充分訓練，也可先以其他數據對模型進行訓練，獲得初始權值后再于樣本中進行訓練，以對模型加以調整[4-6]，即遷移學習。

2 DL在膝關節影像學診斷中的應用及其評估指標

各種DL研究主要針對MRI進行，包括形態學MRI及定量MRI，對于發現并準確評估OA的發生、發展過程以及評價療效等具有重要作用[7]。DL在膝關節影像學診斷中的主要應用包括分割器官、定量測量病灶、分類診斷病變、預測病變發展以及圖像重建等。

2.1 分割器官及定量測量病灶 分割任務通常指識別構成目標對象的輪廓或內部的體素集[8]。構建自動分割模型需要大數據樣本。各種人工智能挑戰賽及大型膝關節影像數據庫的建立，如膝關節圖像2010(segmentation of knee images 2010, SKI10)、骨關節倡議(osteoarthritis initiative, OAI)以及多中心骨關節炎研究(multicenter osteoarthritis study, MOST)等[9-11]促進了高精度分割膝關節結構研究的發展。目前已主要基于MRI實現了分割膝關節骨與軟骨[12-13]、分割半月板[5,11-12]及分割全膝關節[14]的二維(two dimension, 2D)和三維(three dimension, 3D)圖像分割。2D模型輸入單幅圖像，具有分割速度較快、計算量小及顯卡內存需求較低[15]等優點；3D模型則需輸入多幅圖像，其分割結果可真實、直觀地體現組織形態，但分割速度較慢，對計算機硬件要求較高。目前主要分割網絡結構包括U-net及VGG16，并在此基礎上衍生出多種網絡結構[16]。

評估分割精確性的指標包括Dice相似系數(Dice similarity coefficient, DSC)、平均表面距離(average surface distance, ASD)、交并比(intersection over union, IoU)、體積差(volume difference, VD)以及體積重疊誤差(volume overlap error, VOE)等。DSC=(真實目標A與預測目標B的重疊面積)×2/(A+B總面積)，用以評價A與B的重疊情況，適用于評價所有分割任務，DSC越接近1，模型效果越好[9]；目前應用較多。VD及VOE用于評估3D模型整體分割效能，ASD等邊界距離相關指標則主要用于評價分割邊緣細節。已有多項研究[5,12,15,17]在自動分割基礎上實現了自動評估半月板或軟骨的T1ρ、T2*弛豫值或形態，以定量分析相應組織變性。

2.2 分類診斷病變及預測進展 膝關節病變初期多較細微，診斷耗時、費力。DL模型用于診斷軟骨病變[18-19]、半月板撕裂[19-22]及前交叉韌帶(anterior cruciate ligament, ACL)撕裂[20,23-24]，有助于提高診斷效能，減少人為因素所致誤差，且部分模型[5,12,20]的診斷效能已可與臨床醫師相媲美。X線檢查是臨床篩查膝關節骨性關節炎(knee osteoarthritis, KOA)的常用手段，采用Kellgren-Lawrence等級(Kellgren-La wrence grade, KLG)，可根據X線平片所見對KOA進行分級[10]。也有研究者[25]試圖通過自動識別KOA的生物標記物預測KOA進展。一般采用受試者工作特征(receiver operating characteristic, ROC)曲線下面積(area under the curve, AUC)為標準評價模型的預測性能，AUC越接近1則性能越好。

2.3 重建圖像 有學者[26]以3D雙回波穩態(double-echo steady-state, DESS)序列采集膝關節圖像，其層厚為傳統DESS序列的3倍，而后采用深度CNN進行超分辨率重建，以用較短的掃描時間獲得高分辨率圖像。

3 相關研究進展

3.1 軟骨 骨關節炎臨床表現通常為軟骨退行性變和消失，識別軟骨變化可實現早期診斷骨關節炎[27]。LIU等[15]采用2D SegNet結合3D單純可變模型于多序列MRI上分割膝關節骨和軟骨，在極大降低計算量及內存需求的基礎上細化了邊緣效果，其分割結果優于傳統U-net，其以SegNet自動分割軟骨后測量的T2值與手工分割后測值無顯著差別。CARDENAS等[16]采用2個相連的2D CNN，其中一個CNN用于分割，于快速自旋回波序列圖像上對軟骨進行分割，并將其自動識別為17 395個小的ROI，分為訓練集、驗證集及測試集，另一個CNN用于分類，對數據集進行訓練及驗證，將各個ROI分為病變或正常，對測試集數據重復進行2次測試，其AUC分別為0.92、0.91，分類CNN模型的分類敏感度(0.81～0.84)高于具有17年肌骨影像學診斷經驗的醫師(0.71)，但其特異度(0.85～0.88)低于后者(0.97)；能準確自動分割軟骨并識別病變，但未對軟骨病變進行定位；其所用模型的核心為VGG16，相比U-net計算成本更低，且在分割及分類任務中的通用性更佳。AMBELLAN等[9]采用2D及3D CNN結合3D統計形狀模型(statistical shape model, SSM)對來自不同MR設備及以不同序列采集的膝關節MRI進行骨與軟骨高精度分割，其精度與臨床專家相當。SSM可利用先驗解剖知識對病變嚴重且形態失常的組織、偽影及不同序列所致圖像改變進行正則化，填充分割掩模的孔洞和缺口，以增強模型的魯棒性。

人工對軟骨損傷進行評分甚為復雜，且費時、易出錯，需對評價者進行專門培訓。自動分割及評分模型可顯著節省人力，并減少因疲勞而出現誤差的可能。BURTON等[13]應用半監督方法以36例帶標注及51例未帶標注膝關節的MRI訓練2D+3D CNN分割膝關節骨與軟骨，發現訓練病例中帶標注病例達10例(占全監督模型訓練集1/3)時，2D CNN分割效果與全監督網絡相當，DSC為0.974，而3D CNN結合Monte Carlo patch的半監督分割模型效果最佳，DSC為0.99。PEDOIA等[17]以2D U-net分割1 478例MRI中的髕骨軟骨與股骨軟骨，并采用3D CNN進行軟骨損傷程度分級，其分級AUC為0.88。

3.2 半月板 半月板病變為KOA危險因素。PEDOIA等[19]對半月板進行2D分割，并進一步以3D CNN進行損傷程度分級，其AUC為0.89。TACK等[11]采用2D及3D CNN結合SSM分割半月板，內側半月板的DSC為0.84，外側半月板的DSC為0.89。ROBLOT等[22]采用矢狀位膝關節T2WI對fast-reigon CNN和faster-reigon CNN進行訓練及驗證，以自動判斷半月板有無撕裂及撕裂方向(垂直或水平)，其AUC為0.90；但該研究僅選擇1個層面代表每個半月板，且僅納入半月板3級高信號作為病例組，存在局限性。COUTEAUX等[21]將mask R-CNN與一個淺層卷積神經網絡結合，對半月板進行定位，進而判斷有無撕裂及撕裂方向，其AUC達0.91。BIEN等[20]建立名為MRNet的CNN網絡，對3個方位多個序列膝關節MRI進行分類，并應用邏輯回歸模型結合MRI分類結果評估是否存在半月板撕裂，其在含120例膝關節患者的測試集中的診斷AUC為0.847。

NORMAN等[12]以U-net對軟骨進行分割，對不同區域軟骨的DSC為0.77～0.88，手動分割與自動分割所測弛豫值差異無統計學意義。BYRA等[5]通過遷移學習，以61例膝關節MRI對模型進行訓練，半月板分割任務的DSC為0.86；在此基礎上測量半月板的T1、T1ρ、T2*弛豫值，結果的準確度與人工測量相當。

3.3 ACL BIEN等[20]和CHANG等[23]分別開發了ACL撕裂自動診斷模型，其AUC分別為0.97及0.96。GERMANN等[24]比較分析DL模型在不同醫療機構或不同場強設備MR圖像診斷ACL撕裂的效能，發現其AUC均顯著低于醫師水平，但在1.5T與3T MRI之間差異無統計學意義。

3.4 KOA 目前診斷KOA多采用放射學所用KLG標準。DL模型常用于診斷、分級KOA及預測KOA進展。PEDOIA等[17]針對4 328例T2 mapping自動分割軟骨及并基于體素分析T2值，以DL模型評估是否存在放射學意義上的KOA，其AUC為0.82，明顯優于淺層特征提取模型的0.78。TIULPIN等[10]基于X線平片構建自動評估KLG的DL模型，其平均診斷準確度為0.67，有助于臨床醫師進行診斷；雖未勾畫ROI，但熱點圖提示DL模型可通過識別骨贅、關節間隙狹窄等進行診斷，其效能與人工判斷相仿。GUAN等[25]訓練的DL模型通過識別基線時間膝關節正位X線片的圖像特征來預測48個月后關節間隙狹窄進展，其AUC為0.80，而結合邏輯回歸可將預測的AUC提高至0.86，效能優于隨機森林樹或邏輯回歸等傳統模型(AUC=0.66)。CHANG等[28]構建2D CNN模型，以在MRI上區分單側膝關節疼痛KOA患者的疼痛與非疼痛膝，AUC達0.853，并導出熱點圖以識別導致疼痛的原因，發現86%診斷正確者膝關節疼痛最明顯區域存在積液滑膜炎。目前對于DL模型分類的依據尚不得而知，但熱點圖中的偽彩有助于模型判斷組間差異以及評價分類結果是否可靠，且模型在無先驗特征前提下發現的差異可能有助于臨床關注該病的致病因素。

4 小結與展望

DL模型對于提取膝關節病變特征及節省人工成本方面具有獨特優勢，近年來相關研究熱點聚焦于圖像分割與分類結合以及多分類任務等。目前DL用于膝關節成像仍存在限制：①對數據量要求高，數據越多，模型性能越好，泛化能力越強，但迄今為止尚缺少膝關節影像數據庫；②圖像勾畫及標注耗時，且缺乏金標準；③多數研究僅選擇某一序列圖像中的某一層面，導致模型的適用范圍狹窄，需進一步關注多序列研究；④DL模型的可解釋性較差。

總之，DL為影像學診斷膝關節病變提供了全新的方法，也是未來影像學研究的趨勢所在。期待更多高性能模型出現，促進及早診斷、及早干預膝關節病變，并發揮更大臨床作用。