多階U-Net甲狀腺超聲圖像自動分割方法

王 波，袁鳳強，陳宗仁，胡建華，楊家慧，劉 俠，3

1.廣東科學技術職業學院 計算機工程技術學院（人工智能學院），廣東 珠海 519090

2.哈爾濱理工大學 自動化學院，哈爾濱 150080

3.黑龍江省復雜智能系統與集成重點實驗室，哈爾濱 150080

近年來，甲狀腺癌的發病率呈逐年上升趨勢，早期發現與診斷是其治療關鍵[1]。臨床上超聲成像技術由于實時、廉價以及無創等特點，已成為甲狀腺疾病的首選檢查手段。甲狀腺結節是常見的甲狀腺疾病，發病率近年來有上升趨勢。甲狀腺結節的大小、形狀是臨床中甲狀腺結節良惡性診斷的重要依據。另外，甲狀腺腺體大小可用于分析甲狀腺激素的分泌，是甲狀腺異常診斷的重要特征[2]。因此，實現超聲甲狀腺腺體以及甲狀腺結節的精準分割，可以更準確地描述出甲狀腺病變區域及周圍組織，對有效診斷甲狀腺病變具有重要臨床意義。

雖然甲狀腺和甲狀腺結節兩者對象不同，但是兩者的分割方法相似。目前，常用的甲狀腺和甲狀腺結節分割方法大致可分為基于輪廓和形狀的方法、基于區域的方法和基于學習的方法等三種類型[3]。基于輪廓和形狀的方法利用目標邊界或形狀信息來進行分割，這類方法需要初始輪廓和先驗形狀信息來提高邊界分割精度，工作量大且效率較低。基于區域的方法利用區域間的灰度統計特性（如均值和方差等），得到最小的邊界能量函數，從而生成邊緣輪廓，這類方法假設甲狀腺超聲圖像中相同組織區域是均勻的，而不同組織區域是不均勻的。然而，在實際的甲狀腺超聲圖像中，不同組織區域之間的差異有時并不顯著，并且分割區域的邊緣也不明確。近幾年，基于學習的方法，尤其是基于深度學習的方法，例如全卷積網絡（fully convolutional networks，FCN）[4]已成為醫學影像分割領域研究的最大熱點。不同于以上兩類方法，基于學習的方法將圖像分割視為監督分類問題，通過構造分類器對甲狀腺超聲圖像中的像素或圖像塊進行分類，從而實現對目標組織區域的分割，取得了不錯的分割效果。然而，甲狀腺與甲狀腺結節邊緣模糊、超聲圖像自身的噪聲信息以及網絡學習過程中產生的附加噪聲，使得甲狀腺超聲圖像分割更具挑戰性。

鑒于目前研究中存在的這些問題，本文提出了一種新穎的多階U-Net深度網絡模型用于甲狀腺超聲圖像的自動分割。該模型以傳統U-Net[5]為基礎框架，利用k-階U-Net生成k-階特征信息，并將k-階特征跳躍累加到(k+1)-階U-Net的解碼路徑特征圖中，生成(k+1)-階特征信息，如此不斷重復該過程，直至解碼路徑中只含有一個特征層，最終實現圖像邊緣信息的深度提取。此外，為了加速模型收斂，還提出了一種融合二值交叉熵的Dice-BCE-like損失函數。通過以上方法，不同信噪比的層級獲得了不同程度的再編碼，減少了噪聲對預測結果的影響，從而可以獲得更優的分割性能。

1 相關工作

為了實現甲狀腺超聲圖像的腺體或結節分割，一些研究學者提出了基于輪廓和形狀的方法，這類方法利用最小化內部和外部能量函數驅動輪廓向目標邊界轉移并保持輪廓光滑。對于甲狀腺分割，Kaur和Jindal[6]對無邊活動輪廓（active contour without edge，ACWE）、局部區域活動輪廓（localized region based active contour，LRAC）和距離正則化水平集演化（distance regularized level set evolution，DRLSE）3種模型作了對比實驗，但未給出甲狀腺超聲圖像分割結果的定量評估指標。此后，Kollorz等[7]針對3D甲狀腺超聲圖像提出了一種半自動分割方法，在分割之前先進行強度矯正和濾波等預處理，然后設計了一種改進的平均延拓測地線活動輪廓（geodesic active contour with mean extension，GACME）模型，將初始輪廓的平均像素強度加入模型中，以減少不同組織之間的低對比度問題。另外，Poudel等[8]在活動輪廓模型中加入圖像相似性指標，以控制輪廓的擴展，在實現2D超聲圖像分割的基礎上重建了甲狀腺的3D分割結果。對于甲狀腺結節分割，Nugroho等[9]在圖像預處理階段，使用雙邊濾波器對圖像進行預處理從而平滑圖像并保留物體邊界信息，隨后使用ACWE對圖像進行分割。Gui等[10]將ACWE中的輪廓長度約束變為基于等周約束的緊湊形狀約束。這類方法雖然過程較為簡單，但需要手動設置初始化輪廓。另外，由于甲狀腺邊緣與背景的相似性，使其在邊緣輪廓的分割不夠精確。

與基于輪廓和形狀的方法不同，基于區域的方法則是利用區域的統計特性來區分不同的組織。譬如對于甲狀腺分割，Narayan等[11]利用斑點相關像素所產生的回聲信息，將超聲圖像中的不同組織量化成不同的相似反射區域（similarly reflective regions，SRR），以檢測出高回聲解剖標志，然后利用局部相位法檢測和分離出其他器官，進而實現甲狀腺腺體的分割。另有，Poudel等[12]利用圖割算法在2D超聲圖像上實現甲狀腺的分割，但需要預先手動繪制前景和背景，是一種半自動方法。對于甲狀腺結節分割，Zhao等[13]基于歸一化分割（normalized cut，NC）模型對甲狀腺結節進行分割，通過在NC模型中加入同態濾波和各向異性擴散操作最大程度上抑制噪聲對邊緣分割的影響，但未給出評價結果。Alrubaidi等[14]通過（variance reduction statistic，VRS）的方法對結節進行分割。首先，由影像醫師給出包含結節的ROI區域。隨后根據VRS確定邊緣點并將邊緣點連接起來生成結節邊緣。總體而言，基于區域的方法事先需要空間位置信息和先驗形狀信息，并假設不同組織區域具有不均勻性。然而，在實際的甲狀腺超聲圖像中，不同組織區域之間的差異并不顯著，從而導致分割效果并不理想。

以上兩類方法都缺乏自動性和機器智能，并且分割精度都不高，而在甲狀腺超聲圖像分割領域，已證實大多數基于機器和深度學習的分割方法都比傳統的分割方法更有效。其中，傳統機器學習方法中最具代表性的包括徑向基函數神經網絡（radial basis function neural network，RBFNN）、前饋神經網絡（feedforward neural network，FNN）、支持向量機（support vector machine，SVM）、極限學習機（extreme learning machine，ELM）、隨機森林決策樹（decision tree，DT）等。隨著卷積神經網絡的不斷發展，以U-Net為代表的深度學習網絡在超聲圖像分割任務中得到廣泛應用。Poudel等[15]通過3種非自動分割方法和2種機器學習方法的3D甲狀腺分割對比實驗，證實在自動化程度和分割精度上，3D U-Net都獲得了最佳效果。He等[16]在基于區域的深度學習基礎上，融入自注意力機制，提出了一種深度注意力U-Net網絡，實現了甲狀腺輪廓的自動分割。Ma等[17]使用包含15個卷積層和2個池化層的卷積網絡對甲狀腺結節進行分割。Ying等[18]首先利用U-Net提取甲狀腺結節的ROI（region of interest）區域，隨后使用VGG-19[19]對ROI區域進行進一步分割。王波等[20]提出了一種融合了空間注意力、通道注意力與多尺度特征的改進U-Net（improved U-Net，IU-Net）網絡以解決甲狀腺結節尺寸多變的問題。基于深度學習的方法在分割精度上相對其他方法得以提升。但是甲狀腺與甲狀腺結節邊緣模糊、超聲圖像自身的噪聲信息以及低對比度，使得甲狀腺超聲圖像分割仍具有挑戰性。

2 多階U-Net網絡模型

針對U-Net網絡對超聲圖像噪聲處理的不足，本文提出了一種新穎的多階U-Net深度網絡模型（multistage U-Net，MSU-Net）。該模型首先利用1-階U-Net網絡生成1-階特征信息；然后將1-階特征信息跳躍累加到2-階U-Net的解碼路徑特征圖中，生成2-階特征信息；隨后不斷重復上述特征解碼和特征跳躍累加過程，直至解碼路徑中只有一個特征層，最終實現圖像的分割。

圖1給出了一個4-階U-Net網絡框架模型及其實現過程。其中，圖1（a）~（d）分別為1-階、2-階、3-階和4-階U-Net。該網絡包含一條編碼路徑、4條解碼路徑和10次跳躍連接，通過15個卷積塊和4次最大值池化，構成一個編碼路徑共享和特征遞進累加的4-階U-Net網絡。其中Eni,j和Din,j分別表示編碼和解碼的多尺度殘差卷積模塊，i為卷積塊在模型中所在的層級數，j為卷積塊在模型中所在的路徑，n為特征通道數。

二茂鐵(分子式: Fe(C5H5)2；分子量: 186.03)，購自梯希愛(上海)化成工業發展有限公司。

圖1 4-階U-Net網絡框架模型及其實現過程Fig.1 4-stage U-Net network framework model and its implementation process.

2.1 多尺度殘差卷積模塊

GoogleNet[21]利用Inception模塊將多個尺度的卷積核整合到一起，從而自適應地獲取多尺度特征。但是Inception模塊也增加了模型的參數量。隨著卷積網絡層數的加深，模型很容易出現模型退化問題。ResNet[22]通過殘差結構，較好地解決了這個問題。為更好利用特征圖的多尺度信息，本文提出了多尺度殘差卷積模塊（multiscale residual convolution，MSRC）代替傳統UNet使用的兩次3×3卷積，MSRC結構如圖2所示。

圖2 多尺度殘差卷積模塊Fig.2 Multiscale residual convolution module

對于輸入特征圖，首先利用1×3和3×1卷積獲取圖像特征。此時，相對輸入特征感受野為3×3，但是參數量小于常規3×3卷積。繼續使用1×3和3×1卷積，此時，相對輸入特征感受野為5×5。隨后，第三次使用1×3和3×1卷積，此時，相對輸入特征感受野為7×7。最后，將這三次卷積獲得的特征相加起來得到最終輸出特征。每次卷積后都使用批標準化（batch normalization，BN）以及校正線性單元（rectified linear unit，ReLU）。

2.2 1-階U-Net網絡

圖1（a）為1-階U-Net的網絡模型，該網絡包含一條編碼路徑、一條解碼路徑和4次跳躍連接。第一層MSRC模塊的特征通道數為32，其他層級MSRC的特征通道數為前一層的二倍。具體實現過程如下：首先，在編碼路徑中，輸入圖像經過多尺度殘差卷積模塊的卷積操作后使用最大值池化用于下采樣，池化尺寸為2×2，步長為2，特征通道數為32，對池化后的特征圖繼續卷積和池化，且通道數加倍，重復此操作直至特征通道數為512；其次，在解碼路徑中，對最深層特征圖進行上采樣，上采樣使用2×2轉置卷積，步長為2；然后是一個與編碼路徑對應的特征映射的級聯過程，對級聯后的特征圖進行卷積，特征圖通道數減半。重復此過程直至特征圖恢復原輸入圖像的尺寸。1-階U-Net的輸入是預處理后的待分割圖像，輸出是1-階特征信息。

2.3 k階U-Net網絡

在1-階U-Net解碼過程中，跳躍連接使得細節信息與高語義特征得以融合，但鑒于淺層的低信噪比仍會不可避免地將淺層的噪聲信息引入到融合后的特征圖中。為減少這種影響，模型對解碼路徑進行重解碼，且跳躍連接的對象從編碼路徑換為解碼路徑，在不減少細節信息的情況下對解碼特征多次加工從而減少噪聲的影響提升特征圖信噪比。具體實現如下：

在1-階U-Net網絡的解碼特征圖基礎上，以解碼路徑中的模塊為起點再次進行特征解碼，解碼方式與1-階U-Net解碼路徑相同，但是跳躍連接的對象變為解碼路徑中的特征圖Din,2（i=3，2，1），n為特征圖的通道數，由此形成第二階U-Net特征網絡，如圖1（b）所示；隨后，在2-階U-Net網絡的解碼特征圖基礎上，以為起點開始解碼并融合Din,3,i=2,1中的特征圖，形成3-階U-Net，如圖1（c）所示；最后，對上采樣并融合特征圖形成4-階U-Net，如圖1（d）所示，由此構成最終分割模型。模型輸出層使用sigmoid函數作為激活函數，多尺度殘差卷積模塊的輸出特征圖與其他特征圖的計算關系為：

其中，σ(·)為一次MSRC操作，u(·)為上采樣。

本文網絡與U-Net++[23]網絡都為倒金字塔形狀，最大差異點在于解碼過程。U-Net++模型包含了網絡深度從2逐漸到5共計4個不同深度的U-Net通過共享編碼層連接到一起。而本文網絡由深度皆為5的不斷進階的四組U-Net連接構成。

3 實驗結果及分析

3.1 損失函數

Dice損失函數由于能夠減少類不平衡問題而被廣泛應用于圖像分割的訓練當中。模型輸出層激活函數為sigmoid函數，會將輸出映射為[0，1]范圍內，模型訓練完成后，通常以0.5為臨界點，大于0.5的預測值置1，小于0.5的預測值置0從而完成像素的二分類。因此，在網絡訓練過程中可以先將更多注意力集中在正確分類上，即讓標簽為1的像素預測值大于0.5，標簽為0的像素預測值小于0.5，以加速模型收斂。

令yn為網絡模型的預測值，線性映射?(α,k)將[0，1]擴大為[-k/2,k/2]，則將取值范圍擴大后的預測值ynk為：

本文首先通過線性映射?(yn,k)將網絡模型的預測值yn映射為ynk，將取值范圍從[0，1]擴大為[-k/2,k/2]。隨后經過sigmoid非線性映射將輸出ynk映射為yn，則輸出范圍再次恢復為[0，1]，兩次變換過程可表示為：

令?dc為改進的類Dice損失函數，其計算方法為：

其中，N是批量數據大小，yˉn為真實值。經過?(yn,k)與sigmoid映射變換，模型預測值yn中[0，0.5]的值更接近0，[0.5，1]的值更接近1。此時計算得到的類Dice損失值?dc則會增大錯分類的損失值并減少正確分類的損失值，從而使模型更專注于錯分類以加速模型收斂。另外，上述過程會減少正確分類的損失值，不利于預測的魯棒性。為進一步增強網絡模型的魯棒性，本文引入二值交叉熵損失函數?ce，其計算方法為：

為了同時保證模型訓練的收斂速度和預測的魯棒性，本文融合了二值交叉熵與類Dice損失函數，最終定義了一種融合二值交叉熵的Dice-BCE-like損失函數，記作?seg，其值為：

其中，?dc為改進的類Dice損失函數用以解決類不平衡問題并加速模型收斂，?ce為二值交叉熵損失函數用以增強模型輸出的魯棒性。

3.2 實驗數據及參數設置

甲狀腺數據集來自耶拿大學診所的16例病人的3D超聲甲狀腺數據[15]。對這些3D數據進行切片操作獲得4 063張2D超聲圖片。為增強圖像對比度，對圖像使用自適應直方圖均衡化處理，隨后對數據進行歸一化處理。實驗過程中將16個病人的數據按照12∶2∶2的比例劃分為訓練集，驗證集和測試集，隨后進行交叉驗證。

甲狀腺結節實驗數據由上海市胸科醫院提供，共3 200例甲狀腺結節超聲圖像樣本和專家標注輪廓。將圖像按照6∶2∶2的比例分為訓練集、驗證集和測試集。然后進行交叉驗證。針對超聲圖像低對比度問題，所有數據均進行限制對比度直方圖均衡化處理，以增強對比度。

實驗的硬件環境為Intel?Xeon?4216主頻2.10 GHz，6張GeForce RTX 3070顯卡；操作系統為Ubuntu 20.04，編程語言為Python 3.8，所有程序均在Pytorch框架下實現。

訓練時的批量大小為16，學習率為0.000 5，初始BaseDice值為0，損失函數中的線性變換系數k為10；其次，每次訓練結束將模型在驗證集中進行驗證，當驗證集中的dice值大于BaseDice時保存模型并更新BaseDice為此dice值。當驗證集中的dice值連續15次不再上升時，模型提前結束訓練以避免出現“過擬合”現象。

為更好地針對甲狀腺及結節超聲圖像進行分割，本文首先通過對比實驗確定最合適的多階U-Net網絡模型的階數。本文對1-階U-Net、2-階U-Net、3-階U-Net和4-階U-Net在甲狀腺數據上進行了對比實驗，實驗結果如表1所示。從表1數據可知，隨著U-Net階數的上升模型的分割精度不斷上升并在4階時達到最高，故本次實驗將使用4-階U-Net進行分割。

表1 各階U-Net模型的甲狀腺分割結果Table 1 Thyroid segmentation results of each model

3.3 評價指標

實驗從多個分割準確度指標以及參數量進行分析，并將本文方法與SegNet[24]、U-Net、U-Net++、AU-Net[25]、BCDU-Net[26]與IU-Net[20]模型進行對比。評價指標包括骰子相似系數（dice similarity coefficient，DSC）、交并比（intersection over union，IoU）、準確率（Precision）和召回率（Recall），指標的具體定義如下：

其中，TP表示真陽性，FP表示假陽性，FN表示假陰性。

3.4 分割結果及分析

表2給出了在甲狀腺測試集中不同模型在各種分割評價指標下的分割結果。由表2可以看出，在甲狀腺分割任務中，未使用MSRC的MSU-Net模型在DSC、IoU和Precision三個分割指標中相對SegNet、U-Net與U-Net++等其他算法性能達到優。其中DSC、IoU、Precision和Recall分 別 為0.768 1、0.666 9、0.825 9和0.776 0。在參數量較U-Net增加0.97×106的基礎上，DSC增加2.1%，IoU增加了3.25%。而AU-Net在參數量增加1.05×106的基礎上，僅比U-Net提高了0.86%的DSC和1.1%的IoU。與AU-Net相比，無MSRC的MSUNet可以在較少參數的情況下實現更高的分割精度。相對于分割表現次優的IU-Net，本文方法同樣在更小參數量的情況下實現更優的分割性能。在引入MSRC后，MSU-Net分割效果進一步提升，DSC、IoU、Precision和Recall分別為0.769 6、0.668 1、0.828 9和0.779 2，DSC、IoU相對U-Net分別提升了2.3%、3.4%。

表2 各模型的甲狀腺分割結果Table 2 Thyroid segmentation results of each model

表3為甲狀腺結節測試集中不同模型在各種分割評價指標下的分割結果。由表3可以看出，在甲狀腺結節的分割任務中，未使用MSRC的MSU-Net模型在DSC、IoU、Precision和Recall四個分割指標中皆取得了最優的表現。其中DSC值為0.829 8，IoU值為0.740 1，Precision值為0.861 8，Recall值為0.848 4。在引入MSRC后，MSU-Net分割效果進一步提升，DSC、IoU、Precision和Recall分別為0.831 0、0.741 0、0.862 9和0.849 7，DSC、IoU相對U-Net分別提升了1.9%、2.1%。

表3 各模型的甲狀腺結節分割結果Table 3 Segmentation results of thyroid nodules in each model

圖3和圖4分別顯示了不同分割方法對甲狀腺和甲狀腺結節的分割效果。從第一列到最后一列分別是輸入的超聲圖像、真實輪廓、SegNet、U-Net、U-Net++、AU-Net、BCDU-Net、IU-Net以及本文方法的分割結果。其中，綠框表示每個網絡在邊緣細節上的分割差異。

如圖3所示，對于甲狀腺分割。SegNet和U-Net++算法分割效果較差，分割邊緣存在模糊或過分割現象。U-Net、AU-Net、BCDU-Net、IU-Net算法以及本文算法都能達到較好的分割效果，但在邊緣細節方面，本文網絡的性能優于U-Net和AU-Net等其他算法。

圖3 不同分割方法在甲狀腺圖像上的分割表現Fig.3 Different segmentation performance of segmentation methods in thyroid image

如圖4所示，在甲狀腺結節分割實驗中。U-Net和U-Net++算法的分割效果并不好，存在邊緣模糊或欠分割現象。SegNet、AU-Net、BCDU-Net、IU-Net算法以及本文的算法都能達到較好的分割效果，但本文算法在邊緣細節方面的性能要優于其他算法。

圖4 不同分割方法在甲狀腺結節圖像上的分割表現Fig.4 Different segmentation performance of segmentation methods in thyroid nodule image

圖5和圖6展示了U-Net及其改進方法MSU-Net得到的在甲狀腺和甲狀腺結節上的四種分割指標的累積分布函數。圖中，從（a）到（d）分別為DSC、IoU、Precision和Recall的累積分布函數。橫坐標為評價指標值的變化范圍為[0，1]，縱坐標為分布函數，表示模型的評價指標大于橫坐標的概率值。

通過觀察圖5和圖6兩幅圖片中U-Net和MSU-Net的累積分布函數曲線可以發現，在甲狀腺分割和甲狀腺結節分割實驗中，MSU-Net在所有指標上的表現都優于U-Net，具備更好的分割精度與穩定性。因此，本文提出的算法確實提高了甲狀腺超聲圖像的分割性能。

圖5 U-Net與MSU-Net甲狀腺分割結果的累積分布函數Fig.5 Cumulative distribution function of thyroid gland segmentation result achieved by U-Net and MSU-Net

圖6 甲狀腺結節分割結果的累積分布函數Fig.6 Cumulative distribution function of thyroid nodule segmentation results

從以上數據可以看出，本文模型在甲狀腺與甲狀腺結節超聲圖像中的分割表現均優于其他模型。其中表1中的數據顯示，隨著U-Net階數的提升模型分割表現逐漸增優，且增長的幅度逐漸減小。該現象表明隨著U-Net階數的增加模型的分割性能也同步增加，但隨著階數的增加其所能帶來的性能提升也隨之減少，驗證了本文提出的多階U-Net模型的有效性。其原因是本文方法通過多階U-Net不斷遞進的連接方式以實現圖像邊緣的深度信息提取。在解碼的過程中，隨著特征圖尺寸的不斷擴大，淺層和深層的語義特征通過跳躍連接實現多尺度特征的不斷融合。通過高語義信息的融合從而抑制淺層特征圖中存在的噪聲并保留其中的細節信息。因此，該算法在細節特征方面優于其他算法。此外，本文模型在增加MSRC模塊后模型分割性能進一步上升同樣驗證了MSRC模塊的有效性。

4 結語

本文提出了一種新多階U-Net模型，用于甲狀腺與甲狀腺結節的超聲圖像分割。為了提高分割性能，模型對不同層次的特征進行了不同程度的再處理，包括深度高語義特征的融合并抑制淺層特征噪聲。此外，引入了多尺度殘差卷積模塊進一步提升了分割性能。實驗結果表明，該方法比以往的算法具有更高的分割準確性。對于如何減少網絡結構參數，并將該分割框架應用于其他醫學圖像分割任務是下一步的研究方向。