基于改進(jìn)深度學(xué)習(xí)的乳腺癌醫(yī)學(xué)影像檢測(cè)方法

陳彤

（北方工業(yè)大學(xué)信息學(xué)院，北京100144）

0 引言

乳腺癌已逐漸成為女性患病致死的主要因素，若為早期難以預(yù)防，而晚期則難以很好治愈[1]。因此，降低致病風(fēng)險(xiǎn)的關(guān)鍵是及早治療。早期預(yù)防和診斷有助于發(fā)現(xiàn)隱患并盡快采取康復(fù)措施，提高療效果。但是，乳腺癌醫(yī)學(xué)影像確診結(jié)果往往更多依靠醫(yī)生的臨床經(jīng)驗(yàn)判斷。目前人工診斷病情受醫(yī)生主觀因素影響較大，而結(jié)合計(jì)算機(jī)檢測(cè)分割方法處理病灶圖像目標(biāo)區(qū)域，不僅節(jié)省時(shí)間精力，還能盡早根據(jù)檢測(cè)結(jié)果得出早期的治療方案，提高就診效率。

現(xiàn)階段實(shí)際應(yīng)用的乳腺癌影像檢測(cè)分割方法多為基于醫(yī)生給定的特征準(zhǔn)則，匹配檢測(cè)圖像中的病灶范圍一般基于傳統(tǒng)特征提取算法。如Cahoon T.C.等人提出的一種基于K-近鄰算法的乳腺圖像檢測(cè)方法，改善了乳腺X 光影像病灶分割結(jié)果[2]。Zhang 等人基于一類核主成分分析（KPCA）模型集成的分類方案，針對(duì)乳腺癌活檢圖像做出了有效分類[3]。Wang Pin 等人使用結(jié)合小波分解和多尺度區(qū)域增長(zhǎng)進(jìn)行ROI 定位法，針對(duì)組織病理正常的細(xì)胞中檢測(cè)出癌癥隱患[4]。然而，這些算法需要設(shè)計(jì)開發(fā)者具備一定的醫(yī)學(xué)領(lǐng)域知識(shí)，而且傳統(tǒng)特征提取方法一般應(yīng)用于特定圖像類型，很難泛化到其他檢測(cè)領(lǐng)域，因此，這在一定程度上限制了傳統(tǒng)特征提取算法在乳腺癌圖像檢測(cè)中的應(yīng)用。

與傳統(tǒng)目標(biāo)檢測(cè)方法不同，深度學(xué)習(xí)目標(biāo)檢測(cè)方法可以更好地提取圖像低層紋理和高層語(yǔ)義特征，從而提升檢測(cè)結(jié)果的準(zhǔn)確性，且遷移學(xué)習(xí)方法的提出使深度學(xué)習(xí)具有一定泛化性。如Spanhol 等人提出結(jié)合DeCaf 特征評(píng)估方法，改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)，針對(duì)乳腺癌切片圖像開發(fā)適用于惡性乳腺腫瘤的自檢系統(tǒng)[5]。LIU Xiao-ming 等人基于遷移學(xué)習(xí)方法使用自適應(yīng)支持向量機(jī)，針對(duì)X 光影像中惡性腫瘤正樣本和結(jié)構(gòu)紊亂的負(fù)樣本，解決數(shù)據(jù)樣本少的問題[6]。Chu Jinghui 等人利用二次遷移學(xué)習(xí)方法在乳腺X 光影像和MRI 影像分別構(gòu)建了輔助診斷系統(tǒng)，且檢測(cè)性能較主流系統(tǒng)有所提升[7]。基于深度學(xué)習(xí)的檢測(cè)方法能更好地獲取目標(biāo)圖像多尺度信息，然而，當(dāng)檢測(cè)目標(biāo)特征不顯著，與含有近似特征的非目標(biāo)區(qū)域易出現(xiàn)誤檢漏檢的問題。針對(duì)這些問題，本文提出了一種引入難樣本挖掘機(jī)制的深度神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了乳腺癌MRI 影像病灶區(qū)域的檢測(cè)分割，提高了原始網(wǎng)絡(luò)模型對(duì)于乳腺癌圖像的檢測(cè)精度。

1 YOLACT網(wǎng)絡(luò)結(jié)構(gòu)

在目標(biāo)檢測(cè)模型中，以R-CNN 系列網(wǎng)絡(luò)應(yīng)用最為廣泛，其主要分為兩種思路：如R-FCN[8]、Faster R-CNN[9]等二階段網(wǎng)絡(luò)注重精度；如YOLO[10]、SSD[11]等一階段網(wǎng)絡(luò)注重速度。Mask R-CNN[12]是圖像分割領(lǐng)域中效果最好的網(wǎng)絡(luò)結(jié)構(gòu)之一，它基于Faster R-CNN 引入一層Mask 分支生成檢測(cè)圖像結(jié)果區(qū)域的目標(biāo)紋理掩膜。受此影響，最新的圖像分割模型中提出了YOLACT[13]網(wǎng)絡(luò)模型，與Mask R-CNN 在Faster R-CNN 改動(dòng)不同，它摒棄了二階段模型中隱含的特征定位步驟，將圖像分割任務(wù)分為兩個(gè)并行分支。YOLACT 在現(xiàn)有的一階段型模型上添加原型mask 分支和目標(biāo)檢測(cè)分支的優(yōu)點(diǎn)在于：

（1）速度快，由于采用了并行結(jié)構(gòu)與輕量化的組合方式，使其在一階段檢測(cè)網(wǎng)絡(luò)的基礎(chǔ)上只添加了少量計(jì)算量，在主干網(wǎng)絡(luò)為ResNet-101+FPN 的情況下達(dá)到30fps；

（2）分割mask 質(zhì)量高，由于沒有使用兩階段方法中的池化操作使得可以獲得無損失的特征信息，并且在大目標(biāo)的分割場(chǎng)景下性能表現(xiàn)更優(yōu)秀；

（3）模塊通用化，模型中原型生成與mask 系數(shù)可以添加到現(xiàn)有的檢測(cè)網(wǎng)絡(luò)中去。

1.1 網(wǎng)絡(luò)模型結(jié)構(gòu)

YOLACT 網(wǎng)絡(luò)結(jié)構(gòu)中去除了特征池化操作。取而代之的是將整個(gè)任務(wù)劃分為了兩個(gè)并行的子任務(wù)：

（1）原型網(wǎng)絡(luò)分支，使用FCN 的網(wǎng)絡(luò)結(jié)構(gòu)去生成原型mask，如圖1 所示，特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)生成的特征映射P3 經(jīng)過一組FCN 網(wǎng)絡(luò)結(jié)構(gòu)，先經(jīng)過一層3×3卷積，后經(jīng)過一層1×1 卷積，再經(jīng)過上采樣生成k 個(gè)尺寸為138×138 的原型，其中k 為mask 系數(shù)；

圖1 原型網(wǎng)絡(luò)分支結(jié)構(gòu)

（2）目標(biāo)檢測(cè)分支，該分支對(duì)每個(gè)anchor 去預(yù)測(cè)mask 的系數(shù)，如公式（1）所示：其中4 個(gè)表示候選框信息，c 表示類別系數(shù)，k 為原型網(wǎng)絡(luò)生成的mask 系數(shù)，經(jīng)過mask 分支與原型mask 做線性運(yùn)算從而結(jié)合兩個(gè)分支的結(jié)果可以確定預(yù)測(cè)目標(biāo)的位置信息和mask 信息；最后，在對(duì)所有目標(biāo)生成相應(yīng)mask 系數(shù)后，與原型mask 做線性加乘運(yùn)算，再根據(jù)候選框進(jìn)行裁剪，類別進(jìn)行閾值篩選，即得到每個(gè)目標(biāo)相應(yīng)的mask 信息及位置信息，具體計(jì)算如公式（2）所示P 為原型mask 集合由特征映射的長(zhǎng)寬和mask 系數(shù)乘積所得，C 表示通過網(wǎng)絡(luò)的實(shí)例個(gè)數(shù)與mask 系數(shù)的乘積，σ 為Sigmoid 函數(shù)，M 即為原型mask 與檢測(cè)分支組合結(jié)果。流程圖如圖2 所示。

圖2 YOLACT模型結(jié)構(gòu)圖

1.2 數(shù)據(jù)庫(kù)搭建及數(shù)據(jù)預(yù)處理

訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)需要大量已標(biāo)記的圖像數(shù)據(jù)，由于網(wǎng)絡(luò)公開數(shù)據(jù)集數(shù)據(jù)量少，數(shù)據(jù)模態(tài)單一，如單一的幾組X 光或MRI 影像。故本文通過收集部分公開數(shù)據(jù)集并對(duì)其中數(shù)據(jù)做相應(yīng)預(yù)處理，解決數(shù)據(jù)類型單一，數(shù)據(jù)量不充分等問題。

數(shù)據(jù)集為Rider Breast MRI 公開數(shù)據(jù)集，數(shù)據(jù)類型為乳腺核磁共振影像（MRI），如圖3 所示為部分實(shí)驗(yàn)數(shù)據(jù)。

圖3 部分乳腺樣本圖像

選取了其中2400 幅288×288 大小尺寸的DCM 格式數(shù)據(jù)作為實(shí)驗(yàn)訓(xùn)練集，使用mDicom 軟件將數(shù)據(jù)轉(zhuǎn)換為可處理的PNG 格式圖像，并對(duì)數(shù)據(jù)集幾何變換（旋轉(zhuǎn)、鏡像、裁剪縮放）擴(kuò)充數(shù)據(jù)至6000 個(gè)含有正負(fù)樣本的不同數(shù)據(jù)進(jìn)行模型測(cè)試。如圖所示為部分預(yù)處理后數(shù)據(jù)集，其中部分?jǐn)?shù)據(jù)含有對(duì)應(yīng)全局影像的病灶區(qū)域，圖（a）為原始圖像，圖（b）為旋轉(zhuǎn)180 度圖像，圖（c）為水平鏡像圖像，圖（d）為圍繞高亮區(qū)域基于原圖1/4 裁剪圖像，圖（e）為數(shù)據(jù)集病灶標(biāo)記圖像。

圖4 預(yù)處理后部分乳腺樣本圖像

根據(jù)圖中病灶區(qū)域位置對(duì)RBM 數(shù)據(jù)集原圖像中病灶區(qū)域進(jìn)行病灶位置及形狀標(biāo)注，標(biāo)注工具使用labelme，如圖5 所示為工具界面。標(biāo)記后數(shù)據(jù)中4400個(gè)有對(duì)應(yīng)病灶標(biāo)記正樣本和1600 個(gè)含有模糊病灶區(qū)域圖像為負(fù)樣本。所有含標(biāo)記數(shù)據(jù)進(jìn)行一定比例隨機(jī)分組，其中4800 個(gè)樣本作為訓(xùn)練集，剩余1200 個(gè)為測(cè)試集。

2 網(wǎng)絡(luò)模型結(jié)構(gòu)微調(diào)

基于速度和性能方面的考慮，YOLACT 所使用的主干檢測(cè)網(wǎng)絡(luò)是參考RetinaNet 采用帶FPN 的ResNet-101 網(wǎng)絡(luò)。預(yù)測(cè)網(wǎng)絡(luò)的頭部結(jié)構(gòu)設(shè)計(jì)如圖6 所示，右側(cè)生成的三層分別代表4 個(gè)表示位置信息值，C個(gè)表示類別信息值以及k 個(gè)mask 系數(shù)值。

圖5 labelme標(biāo)注工具

圖6 YOLACT預(yù)測(cè)網(wǎng)絡(luò)頭部結(jié)構(gòu)

在實(shí)際應(yīng)用中，預(yù)訓(xùn)練網(wǎng)絡(luò)模型往往無法直接處理相應(yīng)任務(wù)，例如圖像分類任務(wù)中，MS COCO 數(shù)據(jù)集模型有80 個(gè)類別，針對(duì)小規(guī)模數(shù)據(jù)集往往類別較少，因此需在網(wǎng)絡(luò)模型參數(shù)基礎(chǔ)上進(jìn)行微調(diào)，如調(diào)整分類層類別數(shù)，建立適合實(shí)際應(yīng)任務(wù)的網(wǎng)絡(luò)模型，更快針對(duì)特定任務(wù)制定策略。

本文對(duì)于原始模型的部分訓(xùn)練參數(shù)修改進(jìn)行了修改并引入難樣本挖掘機(jī)制提升模型性能[14]。如公式（3）所示，LIoU 和Lscore分別為位置和類別誤差：

其中，總置信度1 減去分類置信度p，其結(jié)果表示分類誤差值Lscore，其中p 是由分類層輸出的概率值，計(jì)算過程如公式（4）所示。

LIoU 為目標(biāo)位置誤差，計(jì)算過程如公式（5-6）所示：

公式（6）計(jì)算得出o 為交并比（IoU），其由真實(shí)區(qū)域和預(yù)測(cè)區(qū)域的交集與并集的比值得出，且初步設(shè)置閾值為0.5，以此判斷候選框是否為目標(biāo)域。在公式（5）中取二者差值作為主要判別指標(biāo)，并在此基礎(chǔ)上引入敏感系數(shù)k，提升難樣本的判定標(biāo)準(zhǔn)，使易造成檢測(cè)結(jié)果影響的樣本間誤差更為明顯。

公式（3）中L（o，p）是最終評(píng)判結(jié)果，由樣本類別及位置誤差代數(shù)和得出。設(shè)定閾值區(qū)間判定檢測(cè)樣本是否為難樣本，具體流程如圖7 所示，在mask 合成后對(duì)產(chǎn)生樣本進(jìn)行難樣本判定，若誤差值處于設(shè)定區(qū)間則判定該樣本為難樣本，并返回至特征提取網(wǎng)絡(luò)后的檢測(cè)分支及原型分支，以此可以解決模型過擬合，數(shù)據(jù)量不足等問題，改善模型檢測(cè)精度。

圖7 引入難樣本挖掘機(jī)制流程圖

在YOLACT 網(wǎng)絡(luò)模型訓(xùn)練過程中，前端卷積層保留原有特征金字塔結(jié)構(gòu)，為保證原網(wǎng)絡(luò)結(jié)構(gòu)中原型mask 易于從最終mask 中剔除，繼續(xù)選擇使用函數(shù)區(qū)間為[-1，1]的Tanh 激活函數(shù)，函數(shù)圖像如圖8 所示。

圖8 Tanh函數(shù)曲線

在預(yù)訓(xùn)練參數(shù)設(shè)定上，根據(jù)預(yù)訓(xùn)練網(wǎng)絡(luò)初始化權(quán)重，自定義分?jǐn)?shù)閾值設(shè)置為0.5，迭代次數(shù)初步定為10000，并根據(jù)測(cè)試結(jié)果決定是否繼續(xù)斷點(diǎn)再訓(xùn)練，從而使損失值進(jìn)一步收斂。批處理參數(shù)根據(jù)實(shí)驗(yàn)顯卡型號(hào)初步設(shè)為4，防止顯存溢出，步長(zhǎng)系數(shù)和Padding 保持1，參數(shù)設(shè)置如表1 所示。

表1 實(shí)驗(yàn)參數(shù)設(shè)置

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)環(huán)境搭建基于CUDA10 并行計(jì)算平臺(tái)及CUDNN7.3 深度神經(jīng)網(wǎng)絡(luò)GPU 加速庫(kù)，編程語(yǔ)言采用Python 編寫相關(guān)功能模塊，深度學(xué)習(xí)框架基于PyTorch 1.x 版，GPU 配置為顯存11g 的NVIDIA RTX 2080TI，如圖9 所示為程序運(yùn)行的檢測(cè)結(jié)果。

圖9 程序運(yùn)行結(jié)果圖

實(shí)驗(yàn)結(jié)果檢測(cè)標(biāo)準(zhǔn)衡量指標(biāo)采用平均準(zhǔn)確率均值（mean Average Precision，mAP）。具體計(jì)算如公式（7-8）所示，精確率（P）表示模型預(yù)測(cè)出結(jié)果中檢測(cè)結(jié)果中正樣本相對(duì)含負(fù)樣本的總集比值，召回率（R）表示檢測(cè)結(jié)果中正樣本相對(duì)漏檢樣本的總集比值。公式（9）中，AP 為不同召回率下精確率最大值的均值。得出的全部均值再取平均得出最終的mAP。

本文對(duì)比YOLACT 網(wǎng)絡(luò)、Mask R-CNN 網(wǎng)絡(luò)及本文實(shí)驗(yàn)方法，對(duì)比結(jié)果如表2 所示。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后融合難樣本挖掘機(jī)制的檢測(cè)模型與原模型相比，真實(shí)患病圖像及含有模糊病灶區(qū)域圖像的檢測(cè)精度提升近3%，與Mask R-CNN 相比在運(yùn)行速度上仍更為快速，且識(shí)別精度相差不明顯。

表2 不同實(shí)驗(yàn)方法的對(duì)比結(jié)果

4 結(jié)語(yǔ)

本文針對(duì)乳腺癌醫(yī)學(xué)影像檢測(cè)方法，將YOLACT網(wǎng)絡(luò)結(jié)構(gòu)微調(diào)，使用RBM 乳腺癌數(shù)據(jù)集訓(xùn)練模型。對(duì)于正負(fù)樣本不均衡、圖像檢測(cè)特征不明顯及數(shù)據(jù)量不足等問題引入難樣本挖掘機(jī)制。通過實(shí)驗(yàn)對(duì)比兩種檢測(cè)分割模型，本文方法在測(cè)試集中真實(shí)患病圖像和含有模糊病灶區(qū)域圖像的檢測(cè)精度有一定提升，且對(duì)于二者隱含干擾因素的適應(yīng)性較好，降低了誤檢率，提高了原始網(wǎng)絡(luò)模型在醫(yī)學(xué)影像檢測(cè)分割任務(wù)中的性能。