Faster RCNN 和LGDF 結合的肝包蟲病CT 圖像病灶分割*

劉志華 ，王正業 ，李豐軍 ，嚴傳波

（1.新疆醫科大學 公共衛生學院，新疆 烏魯木齊 830011；2.新疆醫科大學 醫學工程技術學院，新疆 烏魯木齊 830011）

0 引言

肝包蟲病（Hepatic Echinococcosis，HE）又稱棘球幼病，是一種人畜共患寄生蟲病，主要流行于畜牧業發達地區[1-3]。肝包蟲病患者在患病初期無特異性的癥狀及體征，隨著包囊的生長，患者出現臨床癥狀，引起自身機體的感染并發生一些并發癥，其中部分并發癥可能危及患者生命，需要醫生的及時診斷和緊急干預[4-5]。醫學影像學檢查是診斷疾病的一種方式，能夠為患者的病情提供有用的信息，對于肝包蟲病的影像學診斷是由醫生查看拍攝的CT 圖片診斷患者是否發生疾病。隨著影像設備的更新和發展，醫院每天產出大量的醫學圖片，醫生閱片時容易發生視覺疲勞現象，往往出現診斷效率低下、漏檢、誤判等問題。因此，本文基于目標檢測方法實現肝包蟲病病灶的檢測，從而輔助醫生智能診斷疾病。

隨著計算機視覺的發展，深度學習方法特別是卷積神經網絡（Convolutional Neural Networks，CNN）在計算機視覺領域上取得顯著成果，同時基于卷積神經網絡的基礎結構，衍生出了許多應用于圖像分類、目標檢測和分割的網絡。2014 年GIRSHICK R[6]將深度學習方法應用于目標檢測中，提出了R-CNN模型，是深度學習應用于目標檢測的開山之作；2015 年GIRSHICK R 和HE K[7]提出Faster RCNN模型，增加了Region Proposal Networks（RPN）網絡，使用網絡生成候選區域，實現端到端訓練。隨著卷積神經網絡技術的發展，越來越多的研究者將卷積神經網絡應用于醫學圖像目標檢測。如卞景帥等人[8]針對結核桿菌尺度小的問題，提出一種重疊子圖劃分策略應用于Faster RCNN 網絡解決小目標檢測問題，取得了較好的檢測結果；王黎等人[9]通過添加卷積層、調試網絡超參數等方法，提高了Faster RCNN 網絡對癌癥影像檢測的精度，提高了診斷效率；Ma Shaolong 等人[10]將Faster RCNN 網絡和ResNet50 及VGG16 結合檢測頸脊髓MRI病變，其檢測平均精度分別為88.6%和72.3%，在某種程度上，可以幫助放射科醫生和脊柱外科醫生的診斷；Liu Bin 等人[11]使用新的損失函數及較大的錨點改進Faster RCNN 目標檢測模型來檢測膝關節骨性關節炎病變，平均精度接近0.82，可作為臨床應用的計算機輔助診斷工具。針對上述研究結果，本文將Faster RCNN 網絡應用于肝包蟲病CT 圖像的目標檢測，使用兩種特征提取網絡提取圖像的特征，并通過數據增強方法增加樣本量，最后根據病灶的坐標點信息進一步分割病灶，從而輔助醫生更高效地診斷疾病。

1 Faster RCNN 基本結構與原理

Faster RCNN 是在Fast RCNN 網絡的基礎上增加了一個區域建議網絡（Region Proposal Networks，RPN），通過RPN 網絡生成候選區域，相比于傳統的Selective Search、Edge Boxes 等方法，有明顯的速度提升[7]。卷積神經網絡將整個圖像作為網絡的輸入，通過多層卷積設計特征，能夠更好地提取特征，增強圖像的特征表達能力。常見的CNN模型有AlexNet、LeNet、VGG16、ResNet等，本文選擇VGG16[12]和ResNet101 網絡進行圖像的特征提取。VGG網絡是在AlexNet 基礎上做了改進，整個網絡使用同樣大小的3×3 卷積核，通過逐漸增加卷積核數量來加深網絡。然而VGG 網絡在達到一定深度后，訓練效果反而變差。基于VGG 網絡的缺點，HE K 等[13]提出了深度殘差網絡，ResNet 網絡是每隔幾層進行跳躍連接，不產生額外的參數，不增加計算復雜度，在優化較深層模型時更為簡單。Faster RCNN 網絡結構圖如圖1 所示。

圖1 Faster RCNN 網絡結構圖

2 LGDF模型

局部高斯分布擬合（Local Gaussian Distribution Fitting，LGDF）模型，是經典的基于水平集活動輪廓模型的分割算法之一[14]。LGDF模型利用局部圖像灰度均值和方差信息構造能量泛函，能量泛函由局部圖像輪廓內外的高斯分布擬合項和正則項構成，擬合項驅使演化曲線向目標輪廓演化，正則項則保持演化曲線的光滑度以及避免重新初始化水平集函數[15]，LGDF模型表達式如下：

式中，第1、2 項為局部圖像輪廓內外高斯分布擬合項，后兩項為長度項和懲罰項，共同構成正則項；μ 為長度項系數，v 為距離懲罰項系數，φ 為水平集函數，▽為哈密頓算子，▽φ 是φ 的梯度，I（y）為輸入圖像的灰度值，ω（x-y）為窗函數，pi，x（I（y））為概率密度函數，Hε（φ（y））和δε（φ）分 別為Heaviside 函數、Dirac 函數的正則化形式。其中窗函數和概率密度函數表達式分別如式（2）、式（3）所示：

式中，a 為常數，|x-y|為像素距離，σ2為局部灰度方差，ρ為窗函數半徑。

式中，μ1（x）、μ2（x）為局部圖像輪廓內外灰度均值，σ1（x）2、σ2（x）2分別為局部圖像輪廓內外灰度方差。

通過最小化能量方程（1），可得到水平集演化方程，表達式如下：

其中，div（·）為散度算子，且有：

3 數據預處理

在放射科醫師的指導下，本文選取單囊型和多囊型肝包蟲病CT 圖像應用于實驗研究，實驗數據均來自新疆醫科大學各附屬醫院放射科。由于圖像攝片時各種噪聲的干擾造成圖像質量下降、清晰度不高等，本實驗對肝包蟲病CT 圖像進行了一系列預處理操作：（1）對圖像進行歸一化處理，進一步對圖像進行灰度轉換以減少后續計算量；（2）使用改進的中值濾波算法[16-17]對肝包蟲病CT 圖像進行去噪；（3）使用翻轉的方法對肝包蟲病CT圖像進行數據增強操作。本文實驗數據共3 000 張肝包蟲病CT 圖片，圖片尺寸為500×500。

4 評價準則

為了定量評價模型的性能，采用平均精度（Average Precision，AP）、均值平均精度（mean Average Precision，mAP）作為評價指標。

4.1 精確率、召回率

精確率、召回率的計算依賴于正確檢測（TP）、錯檢（FP）、漏檢（FN）3 個參數，其混肴矩陣如表1 所示。

表1 混肴矩陣

精確率計算公式如式（7）所示：

召回率計算公式如式（8）所示：

4.2 平均精度

AP 是評價模型性能的重要指標，一個模型在不同的R 下能保持較高的P，則AP 值就越高，模型對此類檢測的表現較好，計算公式如下：

式中，P 為精確率，R 為召回率。

4.3 均值平均精度

mAP 是所有類別的平均精度的均值，計算公式如下：

式中，Nc為檢測類別數，AP 能綜合考慮精確率和召回率兩方面的影響，以精確率為縱軸、召回率為橫軸可以得到PR 曲線。

5 實驗結果與分析

5.1 實驗平臺和參數設置

本實驗的實驗操作平臺為Ubuntu18.04 計算機，Intel Core i7 -7700k CPU@ 4.20 GHz，NVIDIA GeForce CTX 1080TiGPU，深度學習框架為TensorFlow。一些參數設置為：迭代次數設置為2 000 次，學習率為0.001，batch_size為256，學習率的衰減系數和動量項分別為0.1 和0.9，NMS 閾值為0.7，置信度閾值為0.8。

5.2 目標檢測模型識別結果

本實驗目標檢測模型的檢測結果使用平均精度、PR曲線等評價指標進行模型性能評價。模型PR 曲線如圖2 所示，模型性能評價結果見表2。圖2（a）表示基于VGG16 特征提取網絡的目標檢測模型在肝包蟲病兩類中的PR 曲線，圖2（b）表示基于ResNet101 特征提取網絡的目標檢測模型在肝包蟲病兩類中的PR 曲線。圖2 中，“單囊”線代表單囊型肝包蟲病的PR 曲線，“多囊”線代表多囊型肝包蟲病的PR 曲線。

由表2 可知，使用ResNet101 網絡代替原來的VGG16網絡作為特征提取網絡，綜合平均識別率提高了2.1%，由原來的0.875 提高至0.896；同時對于兩種類型肝包蟲病CT 圖像的平均識別率均有所提高，尤其是對于多囊型肝包蟲病CT 圖像的平均識別率提高了3.5%，由0.870 提高至0.905。

表2 模型對肝包蟲病CT 圖像的平均識別率

由圖2 可知，圖2（b）中兩類肝包蟲病的PR 曲線均在圖2 （a） 兩類肝包蟲病PR 曲線的上方，因此基于ResNet101 特征提取網絡的Faster RCNN 目標檢測模型具有較好的檢測精度。圖2（a）中的兩條PR 曲線均低于圖2（b）中的兩條PR 曲線，隨著召回率（Recall）的增加，圖2（a）的精確率（Precision）快速下降，而圖2（b）仍能保持較高的Precision。在單囊型和多囊型兩類上的PR 曲線表明，隨著迭代次數的增加，基于ResNet101 特征提取網絡的目標檢測模型能夠有效提取目標的特征，因此在這兩類上具有較好的檢測精度。圖3 所示為模型對兩類肝包蟲病CT 圖像的檢測結果。圖3（a）為單囊型肝包蟲病CT 圖像檢測結果，圖3（b）多囊型肝包蟲病CT 圖像檢測結果。

圖2 模型PR 曲線

圖3 模型檢測結果

5.3 病灶坐標信息

基于Faster RCNN 目標檢測模型檢測結果可得到病灶矩形框的兩個坐標點，根據中點公式可得病灶中點坐標，部分圖片坐標信息如表3 所示。

表3 部分圖片坐標信息

5.4 病灶分割結果

LGDF模型進行圖像分割時，選取的輪廓不合適會造成分割失敗，針對此問題，本文采用Faster RCNN模型檢測出的病灶信息作為LGDF模型的初始輪廓，避免算法曲線演化過程中不是收斂于全局最優而是陷入局部最小值，這一步驟提高了水平集算法的精度。本文使用準確率和文獻[18]中的Dice 系數作為病灶分割精度的評價指標，迭代時間作為分割效率的評價指標，Dice 相似性系數定義如下：

式中，|A|表示真實輪廓區域的像素個數，|B|表示實際分割輪廓區域的像素個數，|A∩B|表示A 與B 交集區域的像素個數。Dice 相似性系數值越大，表示分割結果越好，分割精度越高。

對于肝包蟲病CT 圖像病灶的分割，本文將原始的LGDF模型與基于病灶坐標信息的LGDF模型進行比較，實驗比較結果如圖4、圖5 所示，同時對分割算法的評價指標結果如表4 所示。

表4 模型分割性能評價指標

圖4 LGDF模型分割結果

圖5 本文方法分割結果

從圖4 可以看出，針對模型的初始輪廓，原始的LGDF模型單囊型肝包蟲病CT 圖像分割結果較好，存在小程度的過分割現象，對于多囊型肝包蟲病CT 圖像，分割結果不理想，存在過分割和欠分割現象。而由圖5 可知，基于病灶坐標信息的LGDF模型對兩種類型的肝包蟲病CT 圖像分割結果較好，同時從表4 分割性能評價指標可以看出，對于兩種類型的病灶分割，本文分割方法的Dice 系數和準確率均高于原始的LGDF模型，Dice 系數均提高了5%。對于多囊型的肝包蟲病CT 圖像病灶分割，本文分割方法的準確率相比于原始的LGDF模型提高了14.04%，說明本文分割方法對多囊型肝包蟲病CT 圖像病灶分割效果較好。從表4 中迭代時間可以看出，本文分割方法運行時間低于原始的LGDF模型，算法分割性能較好。

6 結論

本文將Faster RCNN 網絡應用于肝包蟲病CT 圖像的目標檢測，使用ResNet101 網絡代替VGG16 作為特征提取網絡提取圖像的特征，實驗結果表明基于ResNet101特征提取網絡的目標檢測模型能夠有效提取目標的特征，在兩類肝包蟲病CT 圖像的檢測上具有較好的檢測精度，模型檢測準確率達到了89.6%，可以輔助醫生診斷疾病，減少漏檢、錯檢的發生，從而做到早發現、早診斷、早治療。然后，根據目標檢測模型檢測出的病灶坐標點信息引入LGDF模型進一步分割病灶，基于病灶坐標信息的分割方法，在Dice 系數及準確率評價指標上均高于原始的LGDF模型，迭代時間也低于原始的LGDF模型，因此，該方法對肝包蟲病CT 圖像具有較好的分割結果，分割性能較好，可以進一步輔助醫生更高效地診斷疾病。