基于卷積神經網絡的醫學宮頸細胞圖像的語義分割

李智能 劉任任 梁光明

(湘潭大學信息工程學院 湖南 湘潭 411105)(國防科技大學計算機學院 湖南 長沙 410000)

0 引 言

當今社會中，大部分的疾病的檢測依賴于醫學影像的分析，然而最終病癥結果的得出還是依賴于病理醫生的主觀經驗判斷，這一過程容易誤診且耗時。因此通過利用計算機視覺領域的相關技術對醫學圖像進行分析，再借助病理醫生的判斷和分析將會得到更好的結果。醫學細胞圖像的語義分割存在以下難點：圖像中目標的大小方向等因素；不同類別的層次模糊度；圖像的明亮程度、模糊程度影響；細胞的粘連問題等。綜合目前國內外醫學圖像的分割方法，主要有以下幾種：(1) 基于閾值的分割方法，如針對傳統的灰度分割算法不能完整地分割細胞的問題，提出了一種自適應閾值調整粘連細胞分割方法[1];(2) 基于邊緣的分割方法，如在組織工程培養細胞圖像檢測中，需要得到較完整的清晰輪廓線及獲取生長信息，提出了一種基于Snake算法自動邊緣檢測算法[2]；(3) 基于區域的分割方法，如在貼壁細胞圖像分割中，需要得到完整的細胞邊緣，提出了一種基于Cabor濾波與區域生長的分割算法[3];(4) 基于聚類的分割方法，如在髓細胞涂片中的各類細胞，提出了一種基于小波分析的聚類算法[4]。

近年來，卷積神經網絡快速發展，它可以通過卷積操作從大量的樣本圖像數據中提取到圖像特征，避免了人工提取特征的局限性，并且可以實現從人工、半自動分割方法向自動化分割方法過渡。如針對細胞圖像尺寸大小、形態各異，導致從圖像中分割出精確的細胞十分困難的問題，提出了一種以卷積神經網絡為基礎的結合染色校正方法和簡單線性迭代的超像素聚類算法[5];為了提高腎透明細胞癌細胞核分割的質量，提出了一種基于深度卷積神經網絡的細胞核分割方法[6]。本文針對宮頸TCT顯微細胞圖像的核質分割提出了一種多尺度多層次輸入，通過卷積和反卷積的全卷積網絡進行特征提取并完成語義分割的網絡模型。

1 算法設計

1.1 網絡模型結構

卷積神經網絡中，為了讓網絡的輸出為原始圖像大小的分割后的圖像，把網絡最后的全連接層改變為卷積層，再通過上采樣得到與原始圖像大小相同的分割圖，這種網絡一般被稱為全卷積網絡[7]。本文針對目前在醫學圖像領域運用最廣泛的語義分割網絡Unet進行改進，改進后的網絡結構圖如圖1所示。

圖1 本文的網絡結構圖

Block1-Block7的具體結構如圖2所示。

圖2 Block1-Block7具體結構

Block8-Block9的具體結構如圖3所示。

圖3 Block8-Block9具體結構

Block10-Block16的具體結構如圖4所示。

圖4 Block10-Block16具體結構

Conv1的具體結構如圖5所示。

圖5 Conv1具體結構

首先，將原始輸入圖像(512×512)送入卷積神經網絡中，經過Block1下采樣過程，再將不同尺度的原始輸入圖像(360×360)送入網絡中，經過Block2之后，將不同尺度的原始輸入圖像(252×252)送入網絡中，經過Block3之后，將不同尺度的原始輸入圖像(176×176)送入網絡中，經過Block4之后，將不同尺度的原始輸入圖像(122×122)送入網絡中，其中Block1-Block7的內部結構一致，為兩個連續的卷積核為3×3的卷積層，而后再進行多尺度的feature map的提取。多尺度的feature map的提取通過對輸入feature map分別進行卷積核為1×1的卷積操作，進行卷積核為1×1的卷積操作再進行卷積核為3×3的卷積操作，進行Fractional Max-Pooling池化操作再進行卷積核為3×3的卷積操作，將上述三個多尺度的feature map的提取結果串接(concat)起來，再進行Fractional Max-Pooling池化操作。接著進入Block2-Block7的操作，具體細節等同Block1。然后將feature map進行Block8-Block9操作，Block8-Block9的內部結構一致，為一個卷積核為3×1的卷積操作，再進行一個卷積一致核為1×3的卷積操作。接著進入Block10-Block13的上采樣操作，Block7-Block13的內部結構一致，為一個上采樣操作，再接兩個卷積核為3×3的卷積操作。另外，圖1中虛線箭頭連接(Block1—Block16，Block2—Block15等)為將下采樣的feature map裁剪成對應上采樣的feature map大小并進行串接(concat)。最后進行Conv1的操作，具體為先進行卷積核個數為2的1×1的卷積操作，再進行卷積核個數為1的1×1的卷積操作得出輸出分割圖像。每一個卷積層后都使用Relu激活函數，最后一層卷積層后使用tanh激活函數。

1.2 網絡分析

對于醫學圖像分割，圖像的底層信息有助于提高精度，高層信息可以提取復雜的特征。結合上述的網絡模型，Block1-Block7可提取圖像的底層特征信息，Block8-Block9可提取圖像的高層特征信息。通過多尺度的原始圖像的輸入，可以更多保留原始圖像的信息，使得分割效果更好。通過多尺度feature map的串接，可以更好地提取圖像的特征，并且減少了計算量，提高了網絡模型的訓練速度。在網絡模型中，Pooling操作會導致信息的丟失，而且是不可逆，對于分類任務中，只需要預測每一類的概率，所以不需要考慮Pooling會導致圖像細節信息的問題，但是對于語義分割任務中，是要做到像素級的分類，所以有必要考慮Pooling操作帶來的問題。故本文使用FMP(Fractional Max-Pooling)，來減小Pooling帶來的圖像信息丟失的問題。

傳統的卷積神經網絡可以達到降低網絡參數的功能，但直接反卷積重建的效果不好。為了保證重建之后的圖像效果，本文在下采樣和上采樣過程中將下采樣尺寸相同的feature map串接到上采樣的feature map，充分地利用下采樣過程中結構信息，達到更好的語義分割效果。

本文網絡模型參數表如表1所示。

表1 網絡參數表

1.3 定量評估指標

針對細胞核質分割的結果，本文使用均交并化(Mean Intersection over Union,MIoU)定量評估指標。假設圖像數據集中有n_class個語義類別，Pii表示像素i預測為像素i的總數，Oi表示原始類別i的像素總數，Pi表示預測類別i的總數。對于單個類別的IoU，有:

(1)

那么對于整幅圖的目標的平均IoU，有:

(2)

2 實 驗

2.1 CCTCT數據集制作

本文制作了基于長沙市第二人民醫院的基于新柏氏液基細胞學檢測(Thinprep cytologic test,TCT)制片技術的宮頸TCT細胞涂片的CCTCT數據集。通過CCD采集的細胞圖像，采集的圖片大小為(512×512)，在資深病理醫生的指導下，使用labelme標記軟件對圖像進行標注，共有2 000幅圖像，標記后的圖像包含原始圖像和標簽圖像，將圖像語義分為三類：細胞質、細胞核、背景，對應的標簽分別為1、2、0。為了避免因為數據集過小造成過擬合問題，本文使用了人工增加訓練樣本的方法，將原始數據擴大了9倍。

本文主要是通過隨機旋轉圖像一定角度、左右平移、上下平移和隨機放大或縮小的變換方法同時對原始圖像和標簽圖像進行操作，保證變換后的圖像和標簽可以一一對應。變換效果如圖6所示。

圖6 樣本擴充效果圖

最終的訓練數據集大小為20 000幅。按照訓練集75%驗證集20%測試集5%的比例進行數據劃分，數據集分布如表2所示。

表2 數據集分布

2.2 實驗設計與結果分析

為了驗證算法的有效性，本文在Ubuntu18系統下進行實驗并采用Python編程語言和Pytorch深度學習框架。本文分割效果如圖7所示。

圖7 本文分割效果

為了體現本文方法的優越性，實驗中與Unet網絡模型進行對比實驗，經過50次迭代之后的結果如圖8所示。

兩種算法迭代第50次的MIoU值如表3所示。

表3 兩種算法迭代第50次MIoU值對比

可以看出，本文方法達到了94.7%的準確率，說明本文的方法在宮頸細胞核質分割上具有優越的性能。

3 結 語

本文提出的基于卷積神經網絡的醫學宮頸細胞圖像的語義分割算法，為精確識別宮頸細胞病變判別奠定了基礎。同時，建立了宮頸細胞TCT涂片細胞圖像CCTCT數據集。通過利用原始多尺度融合和多尺度feature map融合的方法，使用Fractional Max-Pooling池化操作的全卷積神經網絡，實現了對宮頸細胞核質的精確分割。實驗表明，本文算法達到了94.7%的精確度，對于宮頸癌的篩選診斷具有重大的輔助意義。