基于深度卷積神經網絡的甲狀腺超聲圖像良惡性結節識別方法研究

姚文君,殷超然,朱宏慶,江健敏,龐小溪,孫怡寧

近幾十年來,甲狀腺癌的發病率在全世界范圍內迅速上升[1],由于早期甲狀腺癌治愈的可能性極大,因此,對甲狀腺良惡性結節的早期鑒別至關重要[2]。超聲雖然被廣泛應用于甲狀腺結節的診斷和隨訪,但視覺評估的圖像耗時、主觀性強,迫切需要一種準確、高效、客觀的輔助診斷方法。目前計算機輔助診斷已有一定的研究基礎[3],而卷積神經網絡的興起使其表現出了更多的實用價值[4],如GoogLeNet常用于醫學圖像的分類[5]。然而,超聲圖像分辨率低、對比度低,識別難度較大,且目前大部分利用手動分割,故診斷的精度和自動化水平有待提高。基于此,該研究利用YOLOv5神經網絡的深度學習方法,構建甲狀腺結節區域卷積神經網絡檢測模型,自動獲取結節區域圖像并利用GoogLeNet圖像分類網絡對結節進行良惡性分類,從而實現影像全過程的自動化診斷,有效縮短閱片時間,規避主觀因素對診斷造成的影響,提高甲狀腺結節的識別和診斷水平,避免過度治療帶來的損傷。

1 材料與方法

1.1 病例資料回顧性選取安徽省第二人民醫院及安徽醫科大學第二附屬醫院2019年6月—2022年6月的甲狀腺超聲圖像,共1 012例,其中男性352例,女性660例。納入標準:超聲圖像清晰。排除標準:超聲資料不完整;同時患有其他腫瘤疾病;橋本氏甲狀腺炎;甲狀腺彌漫性鈣化性結節;偽影較多影響圖像質量。本研究經安徽醫科大學第二附屬醫院倫理委員會通過,免除知情同意書(批準號:YX2021-001)。超聲儀器為GE S8、GE S9及邁瑞 R7T,采用7～12 MHz高頻線陣探頭。

1.2 甲狀腺結節的分類與標注由2名高年資影像醫師共同對結節范圍進行定位標注,并進行良惡性分類,再由1名副主任醫師對上述結果進行判別修正。良性分類標準為:TI-RADS 2級或有2次以上隨訪無變化的3級結節、或確診為良性的結節。惡性分類標準為:穿刺活檢或手術后病理為惡性或TI-RADS 4b以上的結節。最終建立甲狀腺結節數據集,共1 012個結節,其中703個標注為良性,309個被標注為惡性。本研究將數據集按照8 ∶2的比例劃分為訓練集與測試集,其中數據集的分布情況見表1。

表1 數據集分布表(個)

1.3 數據預處理

1.3.1數據篩選 數據集中含有1 012幅原始甲狀腺結節超聲圖像,由于不同制造商生產的各種型號的超聲波設備生成超聲圖像格式不盡相同,首先將所有甲狀腺超聲圖像轉換為JPG格式。為了確保數據集中原始圖像具有較高質量,對所有甲狀腺圖像進行篩選,去除含有嚴重偽影(如運動偽影、折射偽影等)或圖像分辨率顯著過低的低質量原始圖像。

1.3.2提取感興趣區域(region of interest,ROI) 原始超聲圖像包含噪聲信息(如超聲設備的參數、原始圖像的測量標尺等)通常分布在原始圖像的外圍部分,本研究將原始圖像外圍包含噪聲信息的部分手動去除,并對圖像進行對比度增強,以提升圖像質量,突出甲狀腺結節特征,幫助網絡更好檢測結節位置和判斷結節良惡性。

1.4 模型建立

1.4.1甲狀腺結節區域檢測模型 首先采用YOLOv5目標檢測網絡,構建適合甲狀腺影響的甲狀腺結節區域檢測模型。YOLOv5是單階段目標檢測方法,其在模型訓練以及推理時間上具有良好的表現,并且已經成為了最為廣泛應用的目標檢測網絡之一。YOLOv5網絡包含輸入端、骨干網絡、頸部網絡和輸出端四部分,結構見圖1。

圖1 YOLOv5甲狀腺結節檢測網絡流程圖

1.4.2甲狀腺結節良惡性分類模型 GoogLeNet分類網絡提出了新的Inception深度學習結構,可以有效解決由于深度學習網絡加深帶來的梯度消失和梯度爆炸等問題,Inception結構的提出還使網絡更高效的利用計算資源。而GoogLeNet網絡中含有9個Inception結構,通過Inception結構的重復提取,能夠在一定計算資源下提取到圖像中更深層的特征。在GoogLeNet結構中,還含有兩個輔助分類器用于向前傳導梯度,避免梯度的消失。GoogLeNet網絡流程圖見圖2。

圖2 GoogLeNet甲狀腺結節圖像分類網絡流程圖

1.4.3方法流程 首先將經過預處理的甲狀腺結節圖像輸入YOLOv5檢測網絡,輸出甲狀腺結節的位置,然后自動從原圖像中裁剪出甲狀腺結節區域,并對該區域圖像進行去噪及調整大小,得到甲狀腺結節圖像,之后將圖像送入GoogLeNet分類網絡得到結節的分類結果。方法的總體流程見圖3。

圖3 方法總體流程圖

1.5 評價指標在本研究中使用了目標檢測網絡和分類網絡。對于目標檢測網絡來說,常用的性能評價指標為平均精確度均值(mean average precision,mAP),即mAP的值越大其對應的目標檢測模型的定位與識別性能越高。平均精確度均值mAP的定義公式如式(1)所示:

其中,P(R)為檢測結果的準確率與召回率曲線,N為檢測種類數。

對于分類網絡來說,本研究采用敏感度(sensitivity,SENS)、特異度(specificity,SPEC)、準確度(accuracy,ACC)、kappa系數、正確率(precision,PREC)和曲線下面積(area under curve,AUC)值衡量分類網絡性能。其中敏感度表示所有正例中被分類正確的比例,特異性表示所有負例中被分類正確的比例,準確度表示所有被分為正例中實際也為正例的比例,正確率表示所有分對的樣本占總體樣本的比例。計算公式如式(2)～(6)所示:

其中,TP和TN分別表示被分類網絡正確診斷的良性和惡性結節數,FP和FN分別表示被分類網絡錯誤診斷的良性和惡性結節數。Pe為偶然一致性誤差。

此外,通過受試者工作特征曲線(receiver operating characteristic,ROC)及AUC評估各算法的性能。

2 結果

2.1 甲狀腺結節檢測結果本研究采用了YOLOv5目標檢測網絡對甲狀腺結節的位置進行檢測。首先,利用訓練集對YOLOv5模型進行訓練,直到損失函數收斂,然后利用訓練后的模型在測試集中檢測甲狀腺結節位置。結果表明,YOLOv5檢測甲狀腺結節mAP達到了96.2%,YOLOv5網絡對甲狀腺結節的定位精度較高。訓練后的模型在測試集中部分檢測結果示例見圖4。

2.2 甲狀腺結節的圖像分類結果及一致性檢驗為了評估GoogLeNet分類方法的性能,將其與ALexNet、VGG和MobileNet三種常見的分類方法進行對比實驗。對比實驗均在本研究所構建的訓練集上進行訓練、測試集上獲得分類結果,各方法分類結果見表2,結果表明,GoogLeNet對甲狀腺結節分類的正確率達到了0.918,高于其它幾種方法。各分類網絡ROC曲線見圖5。

圖5 各網絡對甲狀腺結節分類的ROC曲線

表2 甲狀腺結節分類結果對比

3 討論

甲狀腺癌是內分泌系統最常見的惡性腫瘤之一,發病率逐年上升。2018年甲狀腺癌診療規范中推薦所有觸診或機會性篩查等方式發現甲狀腺結節者均應行超聲檢查,從而增加了影像科醫師工作強度,縮減了每位患者的平均診斷時間,直接影響結果的準確性,因此臨床迫切需要一種高效、準確的方法輔助影像醫師提高工作效率及準確性。本研究利用深度卷積神經網絡對甲狀腺超聲圖像中的結節進行自動檢測和良惡性分類,結果表明,結節位置檢測的mAP達到了96.2%;同時對良惡性結節分類敏感度為0.885,特異度為0.822,準確度為0.866,正確率為0.918,AUC值為0.92,顯著優于AlexNet、VGG及MobileNet。

深度學習尤其是卷積神經網絡已廣泛應用于圖像分類、目標檢測等各種視覺任務中,如肺結節檢測及鑒別、腦卒中及老年癡呆癥的診斷、骨折與骨齡檢測等,近年來在甲狀腺疾病的檢測、分割及鑒別等方面也取得了較好的研究進展[6-8]。張靜漪 等[9]提出利用Mask R-CNN模型為基礎加入級聯網絡,對正常及異常的甲狀腺超聲圖像進行目標檢測、分割及分類,充分顯示了卷積神經網絡在自動識別甲狀腺超聲圖像方面的優勢;喬婷婷 等[10]利用了2種深度神經網絡模型AlexNet和深度卷積生成對抗網絡對甲狀腺平面顯像圖進行特征提取和功能判斷,識別準確性較高;李潛 等[11]應用了基于卷積神經網絡的輔助診斷軟件S-Destect技術對甲狀腺結節的超聲圖像進行了良惡性鑒別,結果表明將人工智能技術用于輔助診斷可以提高低年資醫師的診斷準確率;此外,在端到端的卷積網絡模型方面也取得了良好的診斷效能[12]。本研究提出的基于深度卷積神經網絡的甲狀腺超聲圖像良惡性結節識別方法,首先使用了YOLOv5目標檢測網絡對結節位置進行檢測,繼而利用GoogLeNet圖像分類網絡對結節進行良惡性分類,此方法能在自動精確檢測甲狀腺結節位置的同時,對結節的良惡性進行分類,從而實現了影像全過程的自動化診斷。目前臨床采用TI-RADS或C-TIRADS[13]來進行分類和評估結節惡性風險,但實際操作耗時較多,準確性也依賴操作者的經驗;與之相比,基于深度卷積神經網絡的模型具備很多優勢,如“對圖像全信息的識別和利用”、“可重復性高”、“模型隨著病例數的增多會不斷優化”等,因此課題組后期會繼續搜集更多數據,以提高模型效能。

本研究具有一定的局限性:人工智能系統的開發是為了輔助診斷,而不是取代影像醫師,本研究只進行了模型之間的對比,并未評估影像醫師在模型輔助下診斷效能提高的程度,后續研究將評估不同經驗的影像醫師在模型輔助下診斷效能的變化程度。