基于深度學習的秀麗隱桿線蟲顯微圖像分割方法

曾招鑫 ，劉 俊

（1.武漢科技大學計算機科學與技術學院，武漢430065；2.智能信息處理與實時工業系統湖北省重點實驗室（武漢科技大學），武漢430065）

（?通信作者電子郵箱493952184@qq.com）

0 引言

秀麗隱桿線蟲（Caenorhabditis elegans，C.elegans）是一種被廣泛研究的蠕蟲，如今已成為許多不同生物領域的公認模式生物，是發育生物學、神經生物學、衰老生物學、基因功能研究的熱點［1］。它是第一個被完整測序的多細胞真核生物，在其近2萬個蛋白編碼基因中，有60%～80%與人類基因同源，已被用于多種人類疾病的研究和藥物篩選［2］，包括腫瘤、帕金森氏癥［3］、老年癡呆、糖尿病、多囊腎病等，和其他模式生物相比，線蟲由于壽命短、突變體多使其在衰老和壽命研究方面具有顯著的優勢和特色。在秀麗隱桿線蟲相關領域研究中，需要測量大量候選樣本在不同環境下的生理變化，為基因研究、人類疾病研究和藥物篩選品種提供科學依據。線蟲體態是線蟲的本質特征，其形態與線蟲的健康壽命直接相關，所以為了研究秀麗隱桿線蟲需要對其形態分割，以便于特征提取及量化分析。

經濟高速發展的今天，人類的生命健康永遠是科技關注的焦點。研究線蟲有助于研究特定基因在許多細胞途徑中的作用，影響著未來醫學和科學的發展，秀麗隱桿線蟲在培育研究中的生理變化大部分由研究員的視覺判斷作為數據而缺乏量化標準。為了通過計算機視覺實現高通量、全自動定量評估的目標，首要步驟是從顯微圖像中分割秀麗隱桿線蟲，為了使研究人員更加精確地觀察顯微鏡下的線蟲，利用機器視覺和人工智能技術實現顯微圖像上的自動分割具有重要意義。

傳統圖像目標分割如閾值分割算法［4］利用圖像的灰度特征，認為圖像中灰度特征相近的像素屬于同一類，這個灰度特征通常是指像素的灰度值。通過一個或幾個閾值將圖像中的像素點按灰度值分為幾個類，從而實現對圖像的分割。而顯微圖像的線蟲環境復雜，常常有灰度相近的附著物與其相連，為此選擇合適的閾值能將其完整分割具有很大難度。而基于深度形態學分割算法［5］利用一個具有一定形態的結構元素作為探針來收集圖像中幾何結構和形狀的信息，并對圖像中的特定形狀進行度量和提取。算法的特點是能將圖像中復雜的幾何結構進行分解，剔除不相關結構，提取有用的信息，實現圖像分割的效果，但在處理線蟲分割上，活體線蟲的體態具有不固定性，此方法也很難執行。Liu等［6］運用形態學結合支持向量機（Support Vector Machine，SVM）的方法進行線蟲分割，但他們需要對線蟲進行明場和熒光處理增加了大量的前置工作，而且對焦不佳和復雜環境下的線蟲的圖像會大大影響算法的準確度。

近年來深度學習在圖像識別、分割領域取得了很好的效果［7］，深度學習方法通過多層網絡直接對圖像卷積和池化操作來提取圖像本質特征，在圖像識別、分割領域有突出的優勢，并取得了突破性進展，深度學習的發展，特別是卷積神經網絡（Convolutional Neural Network，CNN）［8］的出現，為圖像特征提取帶來全新的解決方法。2014年，Girshick等［9］在國際計算機視覺與模式識別會議（Conference on Computer Vision and Pattern Recognition，CVPR）大會上提出了區域卷積神經網絡（Region-Convolutional Neural Network，R-CNN），其候選區域使用Selective Search方法提取，送到模型中提取特征用于分類，該網絡在全連接層前加了一個空間金字塔池化（Spatial Pyramid Pooling，SPP）［10］層，使得該網絡在全連接層輸入不需要歸一化圖像尺寸，從而提取的特征有更好的尺度不變性，降低了過擬合的可能。2015年Girshick等和Ren等又相繼提出了快速區域卷積神經網絡（Fast Region-Convolutional Neural Networks，Fast R-CNN）［11］和更快的區域卷積神經網絡（Faster Region-Convolutional Neural Network，Faster R-CNN）［12］，Faster R-CNN則用區域生成網絡（Region Proposal Network，RPN）層取代了Selective Search，從而使網絡能端到端地學習特征，通過池化全局特征映射加速處理過程提高了準確率和檢測速度。再之后2017年He等［13］在Faster R-CNN添加了Mask分支并提出了感興趣區域（Region of Interest，RoI）Align，推出掩模區域卷積神經網絡（Mask Region-Convolutional Neural Networks，Mask R-CNN），使得實例分割上升至前所未有的高度，并取得了COCO2016挑戰賽冠軍，也使Mask-RCNN成為CVPR2017最佳論文。近兩年目標檢測、分割方法在速度和準確率不斷取得新的突破。本文在深度學習模型Mask RCNN基礎上，通過改進多級特征池化，結合大幅度softmax損失（Large-Margin Softmax Loss，LMSL）算法［14］、改進的非極大值抑制、添加全鏈接融合分支等方法進一步提高分割精度。實驗結果表明，設計的算法和改進網絡能夠解決Mask R-CNN對線蟲頭尾分割不精確、線蟲體分割不平滑和漏檢等問題，有效實現對顯微圖像下秀麗隱桿線蟲的精確分割。

1 基于深度學習的目標檢測和分割框架

1.1 深度學習分割模型

Mask R-CNN是He基于以往的Faster R-CNN架構提出的新的卷積網絡，該方法可以有效檢測目標，同時完成了高質量的語義分割。借鑒Faster R-CNN的思想，Mask R-CNN繼承了Faster R-CNN的RPN部分，并增加一個支路Mask分支，但作為同樣繼承于Faster R-CNN的FCIS（Fully Convolutional Instance-aware Semantic segmentation）［15］，不同點是 FCIS 對預測Mask和分類的參數是共享的，而Mask R-CNN是將預測Mask和分類的參數單獨分開，兩個任務各自有獨立的可訓練參數，互不干擾。對于這一點，He在文獻［13］里作了比較，結果顯示對于預測Mask和分類如果使用共享的特征圖對于某些重疊的目標可能會出現問題，并在基礎特征網絡之后又加入了全卷積的Mask分割子網，由原來的分類、回歸檢測任務，變成了分類、回歸、分割檢測任務。針對CNN在達到一定深度后網絡梯度消失的問題，He等提出了殘差網絡（Residual Neural Network，ResNet）［16］，與 Mask R-CNN、ResNet 與VGGNet（Visual Geometry Group Network）［17］、GoogleNet［18］等網絡相比，擁有更深的網絡結構，可達到150層，學習到的特征也更加深層抽象，分類能力也更強。同時引入了RoIAlign取代了Faster R-CNN所使用的RoI-Pooling，這是因為原圖在經過多次卷積池化后，所產生的特征圖的尺度會呈指數下降，因為原圖下采樣到特征時RoIPooling Layer的四舍五入取整操作導致其發生偏移。在得到特征圖后，需要經過一個全連接層，所以必須將特征圖轉換為K*K的固定維度大小的全連接層輸入，在特征圖分塊時又采用了取整操作。這種取整操作（被稱為quantization）對RoI分類影響不大，可是對逐像素的預測目標是有害的，因為對每個RoI取得的特征并沒有與RoI對齊。因此，Mask R-CNN對RoI Pooling作了改進并提出了RoI Align。RoI Align的主要創新點是，針對下采樣后兩次量化造成的區域不匹配問題，使用雙線性插值取代取整操作從而更精確地找到每個塊對應的特征。總的來說，RoIAlign的作用主要就是剔除了RoIPooling的取整操作，并且使得為每個RoI取得的特征能夠更好地對齊原圖上的RoI區域。

1.2 損失函數

損失函數（Loss function）是用來估量模型的預測值f（x）與真實值Y的不一致程度，它是一個非負實值函數，通常用L（Y，f（x））來表示，損失函數越小，模型的魯棒性越好。損失函數是經驗風險函數的核心部分，也是結構風險函數的重要組成部分。Mask R-CNN采用了多任務的損失函數，每個RoI區域的損失函數包含三部分：bounding box的分類損失值、bounding box位置回歸損失值和Mask部分的損失值，其中bounding box的分類損失值和位置回歸損失值同Faster RCNN類似，其損失函數為：L=Lcls+Lbox+Lmask。每個RoI區域會生成一個m*m*numclass的特征層，特征層中的每個值為二進制掩碼，為0或者為1。根據當前RoI區域預測的分類，含有K*m*m維度的輸出，K代表類別的數量，m*m是提取的ROI圖像的大小。Lmask被定義為平均二值交叉熵損失函數（average binary cross-entropy loss）［19］，其分割層會輸出 channel為K的Mask，每個Mask對應一個類別，利用sigmoid函數［20］進行二分類，判斷是否是這個類別，然后在計算loss時，假如RoI對應的ground-truth的類別是Ki，則計算Ki對應的loss，其他的Mask對這個loss沒有貢獻計算，這樣的定義會使得網絡對每個類別都會生成獨立Mask，不需要區分每一個像素屬于哪一類，只需要去區別在這個類中此像素點是屬于前景或者背景，然后計算該m*m區域的平均二值交叉損失熵。最后可以通過與閾值0.5作比較輸出二值Mask，將分類的任務交給專業的classification分支，這樣避免了類間的競爭。由于本文基于秀麗隱桿線蟲的分割研究，像素的類別只分為線蟲的本體和背景，故本文K=1。平均二值交叉熵損失如式（1）所示：

其中：概率分布p（代表真實概率）和q（代表模型概率）用來度量信息量；yi為標簽類別，取值為0、1，0代表此點為背景樣本，1代表此點為線蟲體樣本；yi'為模型預測概率，模型通過卷積池化提取的特征經過全連接層計算相應樣本點的特征值，根據sigmoid函數計算預測概率。sigmoid函數計算如式（2）：

2 本文方法

2.1 基于Mask-RCNN的改進網絡

由于傳統的圖像分割方法無法完成秀麗隱桿線蟲的分割，本文采用Mask R-CNN為基礎的目標檢測、語義分割模型。本文目標檢測、分割測模型的框架由兩個階段組成，首先用卷積和池化自動提取目標自動提取秀麗隱桿線蟲本質特征，本文使用ResNet34、ResNet50、ResNet101作為backbone進行對比實驗，低級特征圖和高級特征圖由ResNet不同階段的卷積得到，卷積過程由圖1所示，網絡參數如表1所示。

圖1 卷積過程圖示Fig.1 Schematic diagramof convolution process

然后利用這些特征進行目標檢測、分割。在此基礎上，本文對Mask R-CNN模型結構進行了改進，通過增加多級特征池化，每個proposal利用金字塔所有層的特征，避免了proposal的隨意分配。原始FPN中的每個proposal根據其大小分配給不同的特征層，將較小的proposal分配給低級特征層，將較大的proposal分配給高級特征層，都是基于單層特征。但這樣可能不夠好，原因如下：一是按照大小來分配本身有缺陷，大小相近的proposal可能分配到相鄰的層；二是特征的重要程度可能與層級沒什么關系，比如高級語義特征能捕獲更豐富的上下文信息，允許小型proposal訪問這些特征可以更好地利用上下文進行預測。同樣，低級特征包含許多精細細節如紋理、邊緣特征等和高定位信息，讓大型proposal訪問可以使特征定位更加準確。這金字塔上4個灰色區域對應的是同一個proposal（圖1中RoI_1～RoI_4），通過RoI Align使不同層的proposal映射成固定大小進行融合，融合操作采取SUM操作，將4個特征圖同坐標點的值相加，記pn為多級特征池化的特征圖，pi為低高級特征圖，這樣帶來的好處是每個proposal聚合了多層的信息，對分類及定位更加有利，從而提升檢測、分割精度。本文使用的秀麗隱桿線蟲檢測、分割的網絡框架如圖2所示。

表1 ResNet結構Tab.1 ResNet architecture

2.2 LMSL損失算法

經過實驗發現，原模型經過訓練后模型預測樣本的能力較差，測試集不能很好擬合正確樣本，在邊緣的預測上差異性較大，而通過觀察模型訓練細節發現，在模型訓練200個epoch后loss已經降至為很小的數值且趨于平滑產生了梯度消失，查找原因發現這是因為當訓練好一個模型之后，模型為所有的誤標簽都分配了很小的概率；然而實際上對于不同的錯誤標簽，其被分配的概率仍然可能存在數個量級的懸殊差距。這個差距，在這里直接就被忽略了，但這其實是一部分有用的信息。為此本文將Lmask采用LMSL放大用于拉大類間距離，為那部分被忽略信息賦予更大的權重，增強Softmax損失函數的判別能力。

原始的Softmax loss非常優雅、簡潔，被廣泛用于分類問題。Softmax loss公式［21］如式（3）：

圖2 秀麗隱桿線蟲檢測、分割的網絡框架Fig.2 Network framework for detection and segmentation of C.elegans

假設X屬于線蟲體，本文是要區分X這個點是屬于背景還是屬于前景，那么Softmax希望：‖‖W1||x||cosθ1＞‖‖W2||x||cosθ2(0≤θ1≤πk)，因為k是正整數，cos函數在0～π范圍又是單調遞減的，所以coskx要小于cosx，k值越大則學習的難度也越大，因此通過這種方式定義損失會使得模型學到類間距離更大的、類內距離更小的特征。因此可修改得到式（5）：

本文實驗使用的loss函數L為：L=Lcls+Lbox+LLS。

2.3 全連接融合分支

全連接（Fully connected，Fc）層和多層感知機（Multi-Layer Perceptron，MLP）被廣泛應用于實例分割［22］中，用于生成候選區域和預測Mask。有工作顯示FPN同樣也能夠預測逐像素的Mask，Mask R-CNN使用了一個小型的FPN應用于池化后特征網格用于預測對應的Mask。但是Fc層與FPN相比具有不同的屬性：FPN給出了像素級預測，這是基于局部感受野和共享的核參數；與此相反，Fc層是位置敏感的，因為對于不同空間位置的預測都是通過一組可變參數實現的［23］，故認為Fc層具有適應不同空間位置的能力。同時Fc層對于每個空間位置預測是基于整個候選區域的全局信息，這對于區分不同實例和識別屬于同一對象的分離部分很有效。考慮到Fc層和卷積層之間的不同特性，本文將這兩種層的預測結果融合以達到更好的預測效果，具體如圖3所示。

本文主要是在原來的Mask支路（圖3上面那條支路，也就是傳統的FCN結構）上增加了圖3下面那條支路作融合。

主分支是4個連續的卷積和1個反卷積，每個卷積層核大小為3×3，通道數為256，后面再接一個上采樣2倍的反卷積。這是用于預測每個類別Mask的二進制像素值。使用一個短路徑從Conv2連接到Fc層，中間經過兩個卷積層conv4_fc，Conv5，為了降低計算成本和運行速度，Conv5、Conv6通道數設置為128。Mask大小設置為28×28。Fc層產生784×1×1的向量，故變形（reshape）成和FPN預測的Mask同樣的空間尺寸，再和FPN的輸出相加得到最終預測。

圖3 全連接融合分支Fig.3 Fully connected fusion branch

2.4 Soft-NMS算法

由于傳統的非極大值抑制（NMS）方法是基于分類分數進行的，只有最高分數的預測框能留下來，但是大多數情況下交并比（Intersection Over Union，IOU）和分類分數不是強相關，很多分類標簽置信度高的框的位置都不是很準，而且本文研究對象是秀麗隱桿線蟲檢測、分割，蟲體由研究人員用光學顯微鏡拍攝，數據集中存在多條線蟲交疊的現象，由于線蟲重疊輸出多個框中存在某些另一個線蟲的框，但是也不小心被NMS去掉了。這個問題的解法最終是要落在“將某個候選框刪掉”這一步驟上，本文需要找到一種方法，更小心刪掉，而不是暴力地把所有不是最高分的框刪掉，于是對于與最高分框overlap大于閾值t的框，通過將它的置信度降低，可以使多一些框被保留下來，從而一定程度上避免overlap的情況出現。

如果是傳統的NMS操作，那么當和最高分框的IOU值大于閾值t，那么就從中去除該候選框，將分數直接設為0，NMS算法可以用式（6）表示：

其中：M為得分最高的框，bi為待處理框。如果是Soft-NMS，則對于bi也是先計算它和M的IOU，然后該IOU值作為函數f的輸入，最后和bi的Si相乘作為最后該bi的分值。Soft-NMS算法可以由式（7）表示：

這樣同一個物體周圍的框有很多，每次選擇分數最高的框，抑制其周圍的框，bi與M的IOU越大，抑制的程度越大。一般來說，表示同一個物體的框的IOU是會比另一個物體的框的IOU大，因此，這樣就會將其他物體的框保留下來，而同一個物體的框被去掉，從而提高候選框的準確率，減少線蟲的錯誤檢測。

3 實驗結果分析

3.1 實驗設置及數據

本實驗采用的是64位Ubuntu操作系統，硬件配置為I7 8700K處理器，GPU型號為NVIDIA GeForce GTX 1080TI，顯存為11 GB。本文的數據集是通過光學顯微鏡下拍攝得到的活體線蟲圖像，拍攝得到400張樣本，但是一般而言，比較成功的神經網絡需要大量的參數，而使得這些參數可以正確工作則需要大量的數據進行訓練。由于線蟲的圖像需要專業人員進行玻片處理，大批量采集較為困難，所以本文對數據進行增強［24］，即利用已有的數據比如翻轉、平移、旋轉和添加椒鹽噪聲，創造出更多的數據來使得神經網絡具有更好的泛化效果，增加噪聲數據，提升模型的魯棒性。經過數據增強操作，將其劃分為2 800張訓練集，200張測試集進行訓練。使用Labelme軟件制作訓練數據集，標注時，線蟲標注為一個獨立的連通域，標注完一張圖像后得到一個對應json文件。解析json文件，提取中位深度為24位的label標簽圖像，再將24位label圖像轉換為8位的label.png圖像，完成一幅圖像數據的標注，Labelme標注如圖4所示。

圖4 Labelme標注結果Fig.4 Labelingresultsof Labelme

本實驗參數設置如下：圖像輸入網絡進行變形（reshape）至固定尺度，IMAGE_MIN_DIM設置為 800，IMAGE_MAX_DIM設置為1 024，對尺度較少的維度進行填充（padding）。GPU每次讀取圖像IMAGES_PER_GPU設置為1。使用GPU運算。批量訓練的方法將數據集數據分為多個批次，每個批次訓練系數為128，隨著迭代次數的增加，損失數值逐漸收斂，訓練集和驗證集的準確率趨于穩定，調整動量因子參數為0.85，正則化權重衰減系數為0.000 1，網絡權重參數的基礎學習率為0.001。圖5為訓練狀態曲線。由圖5可見，實驗迭代5 000次達到最優狀態，模型的平均損失值loss基本穩定在0.06附近，并趨于穩定。

圖5 本文方法的訓練曲線Fig.5 Trainingcurveof theproposed method

3.2 實驗步驟

本文實驗基于如下步驟，如圖6所示。

1）從采集的圖像數據中抽取訓練集，且驗證集與訓練集無交叉重復數據。

2）使用Labelme對訓練集圖像進行標注，對應標簽圖像，完成訓練、測試集的制作。

3）將制作好的數據集輸入改進后網絡，通過多級特征融合和結合LMSL改進損失算法訓練250個epoch得到訓練模型。

4）使用訓練得到模型（權重文件）進行驗證樣本分割，得出分割結果。

5）采用AP（Average Precision）、AP50指標評價模型的分割結果。

6）根據實驗結果調節參數，如果損失下降太慢則適當增加學習率，如果損失處于一個波動狀態，則減小學習率使其自動尋找全局最優。

圖6 實驗步驟Fig.6 Experimental procedure

3.3 結果分析

本文利用標準COCO指標來評估結果，包括AP、AP50。檢測是否正確需要設定一個閾值，這里AP50表示IOU的閾值設置為0.50。AP表示IOU的閾值設置為0.50至0.95，步長為0.05。IOU公式為：

其中：P代表預測值，gt代表真值（ground truth），即當預測值與真實值的IOU值大于這個閾值時，該預測框才被認定為真陽性（True Positive，TP），反之就是假陽性（False Positive，FP），AP公式為：

同時使用網絡分割速度來評估網絡的分割性能。實驗結果如表2和表3所示。

表2 本文方法與原始方法的AP性能對比Tab.2 Comparison of APperformancebetween theproposed method and the original method

已訓練的改進模型在200幅測試集上的分割結果用評價指標 AP、AP50分析，如表 2所示，其中，ResNet34-FPN+Mask R-CNN效果最差，經過網絡加深效果可以得到提升。改進后網絡+ResNet-101-FPN效果最好，AP提升3.4個百分點，AP50提升4.3個百分點。mIOU相比OTSU算法［25］分割提升約17個百分點，實驗證明深度神經網絡在秀麗隱桿線蟲分割中具有巨大優勢。

表3 本文方法消融實驗結果(mIOU)Tab.3 Resultsof ablation experiments(mIOU)

3.4 效果對比

改進后模型對分割不同的形態的秀麗隱桿線蟲有較好的分割性能。如圖7所示，THRESH_OTSU優化算法作為傳統分割方法，它的缺點是無法將圖像中的附著物如線蟲鞭毛、外壁細胞泡分開，同時線蟲中較為透明的邊界線無法識別，在光線較差的情況下效果較差。而原Mask R-CNN在分割線蟲上頭尾容易缺失，細小的尖端無法分割出來，分割邊緣也不夠平滑，不能貼合線蟲體，在多條線蟲堆疊情況下容易出現漏檢，個別蟲體分割不完整，出現斷層。可以看出經過算法改進很大程度上改善了以上缺點，使分割精細程度大大提升，更加接近于GT（Ground truth）。

圖7 實驗效果對比Fig.7 Comparison of experimental results

4 結語

本文以Mask R-CNN網絡框架為基礎，建立針對顯微圖像下的秀麗隱桿線蟲檢測分割的端到端的精確分割網絡，為了提高秀麗隱桿線蟲分割精度，平滑線蟲頭、尾身和體邊緣信息，減少漏檢誤檢。本文通過多級特征池化，結合LMSL損失算法、改進的非極大值抑制、添加全鏈接融合分支等方法來改進分割效果。實驗結果表明，本方法在顯微圖像線蟲分割中速度更快、精度更高，證明了本文提出線蟲分割方法的有效性，為實現計算機高通量、全自動定量評估線蟲目標奠定基礎。