基于深度卷積神經網絡的細胞分類新方法

婁潤東，陳俊彪，侯宏花，劉艷莉，田 珠，張鵬程，桂志國

(1.中北大學 生物醫學成像與影像大數據山西省重點實驗室，山西 太原 030051； 2.中國兵器工業試驗測試研究院，陜西 華陰 714200；3.中北大學 信息與通信工程學院，山西 太原 030051)

0 引 言

在現代醫學診斷中，細胞圖像分類發揮著重要的作用.通過對細胞圖像的分類，可以快速得到細胞的部分狀態信息，對病理的診斷和確定有著重要的意義.因此，長期以來醫學診斷的發展都是人們關注的重點研究課題.

我國對于醫學診斷中的細胞分類研究也十分重視.隨著新技術的發展和應用，原有的細胞分類方法在分類效率等方面的缺陷逐漸暴露出來.為了推動細胞分類工作的發展，本文擬通過分析細胞分類方法目前存在的問題，研究一種基于深度卷積神經網絡的細胞分類新方法M-ResNet.

1 細胞分類與深度卷積神經網絡

細胞圖像分類是現代醫學診斷中常用的一種技術方法.目前細胞分類方法已經發展的比較成熟，可以滿足不同條件下的需求.在應用的過程中，現有的細胞分類方法也存在著一定的不足.

1.1 細胞分類方法現存問題

細胞學檢查法最早應用于早期宮頸癌的排查工作.通過對細胞圖像的分析實現對細胞生理信息的判斷，可以有效提高早期宮頸癌的排查效率和準確率.但該類方法不僅需要大量專業技術人員，而且工作效率低下[1].采用計算機輔助細胞學檢測的方法不僅可以提高篩選效率，也能夠有效降低誤診率和假陰性率[2].

經過多年發展，計算機輔助的細胞圖像分類方法已經比較成熟.目前應用于細胞分類的方法主要有兩種，分別是基于細胞核特征構建的分類方法和多圖像裁剪分類方法.但這兩種方法的應用都存在一定的局限性.基于細胞核特征構建的分類方法缺乏一定的準確率，而多圖像裁剪分類則容易造成信息冗余或丟失等[3-4].因此，人們需要推動新的細胞分類方法的發展.深度卷積神經網絡憑借自身的優勢受到了人們的廣泛關注.

1.2 卷積神經網絡發展現狀

針對原有的細胞分類方法存在的缺陷，人們提出了基于卷積神經網絡的細胞分類方法.作為人工神經網絡的一種，卷積神經網絡(CNN)在降低模型復雜度和權值數量的同時，可以有效保持圖像的高度不變形.因此，卷積神經網絡在圖像識別等領域的應用受到了人們的廣泛關注[5-6].

針對傳統神經網絡存在的向前傳輸神經元輸出值持續增大的問題，Glorot等人提出了Xavier算法初始化CNN[7-8].但該方法仍未完全克服網絡的不穩定性.因此，蔡楠等人提出了一種基于核主成分分析的方法，用于實現初始化CNN的權重[9].這些方法對于卷積神經網絡的結構優化和應用都有很重要的意義.

1.3 基于深度卷積神經網絡的細胞分類方法

近年來，卷積神經網絡在細胞分類中廣泛應用.實踐經驗表明：CNN在宮頸癌變的識別中可以發揮出重要的作用.CNN的應用方法比較多樣，例如根據多模態數據、細胞圖像、陰道鏡圖像等都可以實現癌變識別的目的[10-12].在重疊圖像的識別方面，CNN也有著獨特的應用[13].為了克服卷積神經網絡在圖像特征提取方面存在的準確率問題，趙越等人提出了一種將特征提取器和分類器聯級為整體的CNN 分類器，并驗證了其應用效果，明顯提升了細胞分類的準確率[14].上述研究都表明CNN可以有效提高細胞分類的效率和質量.

現有的基于卷積神經網絡的細胞分類方法在復雜背景和含有雜質的細胞分類方向上存在著比較大的局限性.對此，本文以深度學習的理論為基礎，根據卷積神經網絡的算法特點，提出了一種適用于細胞分類的深度卷積神經網絡的算法優化方法，并進行了其在細胞分類中的應用實驗.

2 本文算法

2.1 ResNet網絡介紹

CNN提供了一種端到端的深度學習模型，模型中的參數可以通過傳統的梯度下降法進行訓練，經過訓練的卷積神經網絡能夠學習到圖像的特征，并且完成對圖像特征的提取和分類.與傳統的機器學習算法相比，采用深度學習算法可以免去分割提取特征的繁瑣過程，讓算法流程變得簡單，同時也避免了傳統算法中由于預處理、分割、特征提取等操作造成的誤差，使得細胞的識別率比傳統的機器學習要高.

模型的深度在圖像分類中發揮著至關重要的作用，這導致ImageNet競賽的參賽模型都非常深.在追求網絡深度的時候，出現了一個新的問題：梯度消失/梯度爆炸.后來，通過歸一初始化和中間歸一化解決了這一問題，使得數十層的網絡在反向傳播的隨機梯度下降上能夠收斂.當深層網絡能夠收斂時，一個退化問題又出現了，ResNet網絡通過深度殘差框架解決了這個退化問題.

ResNet模型的出現是CNN史上一個里程碑事件，ResNet可以訓練出更深的CNN模型，從而實現更高的準確度.變化主要體現在ResNet直接使用stride=2的卷積做采樣，并且用global average pool層替換了全連接層.為了保持網絡層的復雜度，ResNet采用了一個重要的設計原則：當特征圖的大小降低一半時，特征圖的數量將會增加一倍.

ResNet模型的核心是通過建立前面層與后面層之間的“短路連接”(shortcuts,skip connection)，這有助于訓練過程中梯度的反向傳播，從而訓練出更深的CNN網絡.

對于短路連接，當輸入和輸出維度一致時，可以直接將輸入加到輸出上.可表示為

(1)

式中：F是殘差函數，表示學習得到的殘差，xi表示殘差單元的輸入，xL表示殘差單元的輸出，f是激活函數ReLU.

當維度不一致時，不可以直接相加.ResNet采用stride=2的卷積，然后再相加，可表示為

(2)

式中：Ws是對xl做一個變換，使其維度與F的維度匹配.

學習得到的殘差是F，原始的學習特征是F+x.從直觀上來看，殘差學習F相比原始的直接學習特征F+x更容易.當殘差為0時，此時相當于對輸入做恒等映射，至少能保證網絡的性能不會下降，實際上殘差也不會為0，這就會使得輸出層在輸入特征的基礎上學習到新的特征，從而擁有更好的性能.

從數學角度來分析，采用鏈式規則可以求得梯度函數

(3)

2.2 M-ResNet網絡

盡管ResNet模型使用了“短路連接”來實現特征重用(feature reuse)，但是由于短連接的數量比較少，特征重用的作用并沒有達到最好的狀態，通過簡單地堆疊殘余塊來構建網絡不可避免地限制了其優化能力.本文提出了深度卷積神經網絡的細胞分類新方法M-ResNet，下面將詳細介紹改進細節.

M- ResNet整體結構圖和ResNet50基本一樣，如圖1 所示，整體結構由5部分構成，分別是：conv1，conv2_x，conv3_x，conv4_x，conv5_x.每部分由指定個數的block組成，圖1 中每部分堆疊的矩形的個數即表示對應的block數量，總共有16個block，每個block為3層，所以有16×3=48層.開始有一個7×7×64的卷積，最后有一個用于分類的fc層，所以M-ResNet總共有50層.

圖1 M-ResNet整體結構圖Fig.1 Overall structure diagram of M-ResNet

本文以conv2_x為例進行分析，conv3_x，conv4_x，conv5_x與之相同，如圖2 所示.主線結構圖(除a,b的連線外)為原始ResNet中的conv2_x結構圖，a,b連線表示本文新添加的嵌套快捷連接.

圖2 conv2_x殘差圖Fig.2 Residual graph of conv2_x

相比ResNet，M-ResNet使用了一種比ResNet連接更多的機制，將conv_2x中的前兩個block輸出的特征圖全部疊加到第3個block輸出的特征圖上作為conv_3x的輸入.M-ResNet是將原先的block殘差塊進行再一次的嵌套快捷連接，疊加的方式是通過元素級的相加.conv_2x中有3個普通快捷連接和2個嵌套快捷連接，共5個快捷連接，conv3_x,conv4_x,conv5_x分別有7，11，5個快捷連接，所以M-ResNet共有28個快捷連接，相比ResNet50的16個快捷連接，多出12個嵌套快捷連接，詳細情況如表1 所示.

表1 快捷連接的分布情況Tab.1 The distribution of the shortcut connection

在同一個模塊中，最后一層的輸出公式推導為

x1=H0(x0),x2=H1(x1).

(4)

將x1代入x2表達式得

x2=H1(H0(x0)).

(5)

以此類推

xl=H0(x0)+H1(x1)+…+Hl-1(xl-1),

(6)

xl=H0(x0)+…+Hl-1(Hl-2(…H0(x0)…)),

(7)

式中：xi表示第i層的輸出，也就是第i+1層的輸入，Hi(xi)表示對xi進行一系列操作：卷積，批歸一化，ReLU.

通過上文中對創業型中小企業的剖析，我們能夠對其發展的具體過程做出一個十分明確的劃分。每一個創業型中小企業都應該對自己的真實實力有一個正確的認知，并且根據自己的具體實力為自己不同階段的發展做出一份詳細的企業戰略管理規劃。只有創業型中小企業明確自己的發展目標，重點研發和發揚自己的核心技術，不斷加強企業人力管理以及相應的企業結構管理，以及及時提升企業的整體競爭實力等等的目標，才能夠使得企業真正得到可持續性發展。總而言之，創新型中小企業應當不斷對自己相關的管理規劃和結構進行整改和創新，只有這樣，企業才能夠在激烈的競爭環境之下更好的生存。

3 實驗及結果分析

本文通過分析深度學習的理論，結合卷積神經網絡的算法特點，對基于深度卷積神經網絡的細胞分類算法進行了優化.為了驗證優化后算法M-ResNet的效果，本文進行了實驗分析.實驗共分為3部分進行，分別是數據集預處理、網絡訓練和結果分析.該測試方法也是目前廣泛采用的實驗測試方法，可以對實驗效果進行比較全面的分析.

3.1 數據集

本文采用的數據集是來自海萊烏科技大學(Herlev University Hospital,HUH)和丹麥科技大學(Technical Un iversity of Denmark,TUD)搜集的Herlev巴氏涂片新版數據集.總共917個單獨的巴氏涂片細胞圖像，分別為淺表鱗狀上皮、中層鱗狀上皮、柱狀上皮、輕度中度重度非典型增生和原位癌共7類細胞.

圖3 所示為Herlev數據集中的7類細胞圖像示例，其中a，b，c類為正常細胞，d，e，f，g類為異常細胞.

圖3 數據集中典型示例Fig.3 Typical examples of data sets

數據集預處理是細胞分類的首要工作，是指通過對數據集的增強、均衡等工作，實現對數據集的擴充.一般而言，神經網絡需要大量的參數，不少的神經網絡的參數都是數以百萬計的，而使得這些參數可以正確工作就需要大量的數據進行訓練，尤其對于宮頸癌數據集，不僅數據量少，而且權威認證的更是少之又少.本文選用的Herlev數據集數據量并不是很大，所以本文通過旋轉對數據集進行擴充.增加訓練的數據量，不僅僅是網絡訓練的需要，而且可以使得神經網絡具有更強的泛化能力，更好地適用于細胞分類，同時提高模型的魯棒性.

在本次實驗中，共選取了3 878幅細胞圖像，其中包括1 058幅正常細胞圖像和2 820幅異常細胞圖像.為了實現分類工作，圖像處理采用旋轉統一處理的方法，形成統一大小的圖像.對于大小不足的圖像，則采用外圍像素點填充0的處理方法.預處理結果為訓練集圖像3 528幅和測試集圖像350幅，如表2 所示.

表2 訓練集和測試集分布Tab.2 Distribution of training set and test set

在進行數據集預處理的過程中，本文發現柱狀上皮細胞和重度非典型增生細胞在區分特征上有比較高的相似度.這一現象可能會導致后續圖像分類中出現一定的錯誤.

3.2 評價指標

每類細胞選用50張樣本進行測試，正確率、召回率和F值是評價網絡優劣的重要指標.其定義分別為

(8)

(9)

(10)

其中，識別出的個體總數即為識別出的正確細胞個數加上識別出的判斷錯誤的細胞個數；測試集中存在的個體總數即為本文選取的各類細胞的樣本(50張).正確率是評估識別出的細胞中判斷正確的細胞所占的比例；召回率是指召回目標類別的比例；F值是綜合前兩者的評估指標，用于綜合反映整體的指標.

3.3 網絡訓練

在完成預處理工作后，本文采用M-ResNet對宮頸細胞數據集進行分類識別.設備要求：① 在Window10 X64系統上進行;② GeForce GTX1080 Ti GPU顯卡;③ 內存15 G.該實驗在TensorFlow框架下進行訓練.本文的迭代次數為20 000，動量為0.9，學習率為0.000 1.

為了防止過擬合，提高模型的泛化能力，在模型訓練的過程中，將訓練集按照5∶1的比例進一步地劃分為訓練集(train samples)和驗證集(validation samples).在本文中，訓練集的數量為2 943，驗證集的數量為585.

如圖4 所示，本文的M-ResNet模型以宮頸細胞圖像及其標簽作為輸入，通過網絡的學習，得到一個模型文件，最后輸入測試集，得到帶有標簽和概率的結果圖像.

圖4 整體框架流程圖Fig.4 Typical examples of data sets

3.4 結果分析

完成數據集預處理、訓練和測試工作后，本文對所得到的圖像數據進行了統一處理，并對基于深度卷積神經網絡的細胞分類新方法M-ResNet的應用結果進行了分析.圖5 為7類細胞的分類效果圖.圖5中標出了每個宮頸細胞的細胞核，并標注該細胞屬于哪種宮頸細胞類型及細胞屬于所標類型的概率.圖5中，所屬細胞類型及其概率分別為：(a)normalSuperficiel 1.0，(b)Normal intermediate 1.0,(c)Normal columnar 0.99,(d)Light dysplastic 1.0,(e)Moderate dysplastic 0.99,(f)Severe dysplastic 0.99,(g)Carcinoma in situ 0.99.

圖5 分類結果圖Fig.5 The results of assortment

通過對表3的測試結果進行數據分析，本文發現在細胞分類結果中共有淺表鱗狀上皮、中層鱗狀上皮、柱狀上皮、輕度非典型增生和重度非典型增生5類細胞分類完全正確.但在中度非典型增生和原位癌細胞分類中則存在一定的錯誤，均有2幅圖像分類錯誤，占比4%.從整體數據分析來看，數據集的分類平均錯誤率為1.14%(1～98.86%).與改進之前的ResNet的分類方法平均錯誤率4.29%(1～95.71%)相比，降低了3.15%，正確率有極大的提高[16].

表3 測試集正確率Tab.3 Accurary of the test set

識別出的宮頸細胞個體總數等于測試集中存在的宮頸細胞個體總數，所以求得的正確率、召回率和F值是一樣的，如表4 所示.可以看出M-ResNet的查全率和查準率都比ResNet要高的多.

為了進一步對M-ResNet的網絡性能進行分析，記錄了訓練過程中的loss值變化，并給出了loss曲線圖，如圖6 所示.可以看出，在經過10 000次訓練之后，M-ResNet算法的損失值區域平緩，幾乎沒有升降，相比ResNet算法更加穩定.

表4 客觀評價指標Tab.4 Objective evaluation criteria

圖6 Loss曲線圖Fig.6 Graph of Loss

綜上所述，本文所設計的基于深度卷積神經網絡的細胞分類新方法M-ResNet在采用合理數據處理的情況下，可以滿足細胞分類高精確度和高效率的要求，對于細胞分類的發展有著重要的意義.

4 結 論

宮頸細胞分類對醫學診斷和醫學圖像處理有著重要的意義.針對現有的細胞分類方法中存在的效率低、正確率偏低等問題，本文以深度學習理論為基礎，研究了一種基于深度卷積神經網絡的細胞分類新方法M-ResNet，并采用Herlev數據集對該方法進行了測試.測試結果表明：該方法在提高細胞分類正確率和工作效率方面有著明顯的作用.但對于中度非典型增生和原位癌的具體識別工作還有待進一步提高，可作為下一步研究的主要工作目標.