基于全卷積神經網絡的手術器械圖像語義分割算法

鄭騰輝，陶青川

（四川大學電子信息學院，成都610065）

0 引言

在醫學領域，手術器械是重要的輔助工具。隨著時代的進步，手術器械種類不斷增加，每種不同類型的手術器械之間存在著細節上較為明顯的差距。通常不同手術的手術盒里需要的手術器械種類不同，而每個手術盒里手術器械是否準備完全，目前是通過人眼觀察比對去實現的，但該方式比較耗時，無法及時提供結果。本文為實現手術盒里手術器械的檢測，提出了手術器械圖像語義分割，以提取目標位置，為之后手術器械的檢測提供技術支持。

隨著機器視覺和人工智能技術的發展，圖像語義分割水平獲得了快速提高[1]，但很少有人在手術器械上實現圖像語義分割。由于手術器械種類繁多，如圖1所示，手術器械和手術盒的圖像分割有著重要的研究意義。圖1中，前背景顏色近似，加上手術器械表面受光線影響，色澤亮度不均，因此無法直接使用傳統算法有效地分割出手術器械。為此，本文針對手術器械和手術盒的分割難點，結合FCN網絡結構，提出一種基于全卷積神經網絡的圖像語義分割算法。

1 實驗材料和網絡模型

1. 1 手術器械圖像獲取

固定相機拍攝試驗圖像，手術器械為一整套器械，所采集圖像手術器械全部置于手術盒中，每張圖像中手術器械若干，共300張，其中樣本集287張，測試集13張。為了便于研究，分辨率統一調整為512×512像素。圖像試驗在Anaconda3的Spyder軟件平臺上進行。部分圖像見圖1。

圖1 手術盒和手術器械

1. 2 網絡模型

（1）卷積神經網絡

卷積神經網絡是一種多層次非全連接的神經網絡，該網絡模擬人腦結構，通過有監督的深度學習，從原始圖像中直接識別視覺模式[2]。CNN模型一般有卷積層、池化層、全連接層、Softmax分類層等4個層次堆疊組成[3]。與傳統神經網絡不同，卷積神經網絡構建在多個獨立分布的神經元組成的多個二維平面上，其中相鄰兩層的神經元以非全連接方式進行卷積計算，而全連接網絡則具有較多的網絡連接數和權值參數，因此卷積神經網絡有效地降低了網絡模型的學習復雜度[4]。

①卷積層

卷積層通過若干個卷積核對輸入層或上一層輸出進行卷積操作，并通過激勵函數將卷積結果組合成特征圖像[5]。卷積運算指卷積核和輸入之間的線性計算。例如第l層卷積層的第j個特征圖的計算公式為：

式（1）中，xij表示第j個神經元通過卷積后的輸出，f表示激活函數。常用的激活函數有：relu（x）、tanh（x）、Sigmoid（x）等。表示卷積核，通常為 3×3或 5×5大小。為偏移量。

②池化層

池化層主要作用為對上一層卷積層的特征圖進行非線性下采樣操作，改善結果，有效地降低卷積特征圖維度，并大幅減少特征參數數量，減輕負擔，從而加快計算速度，并防止過擬合問題出現[6]。常用池化方法有最大池化、平均池化、重疊池化、空金字塔池化。例如步長和尺度都為2的最大池化函數為：

式（2）中，fpool特征圖經過最大池化后的輸出結果，x為各點特征值。

③全連接層

全連接層一般會在圖像經過上述兩層之后出現，將上一層所有神經元和輸出層神經元連接起來，形成一個類似淺層神經網絡的多次感知機，起到將學到的“分布式特征表示”映射到樣本標記空間的作用[7]。計算公式為：

式（3）中，w表示一個特征矩陣，b表示特征向量，x表示上一層的輸出，y表示本層輸出。

④輸出層

卷積神經網絡的輸出層通常為分類器。常用分類層有Simoid分類層、Softmax分類層[4]。以Softmax分類層為例，Softmax函數可以分類成多個類別，例如可以對數字0-9進行分類，分類成10類。本文只需分類成兩類，但為損失函數計算方便，更好的優化模型，本文分為256類。

（2）VGG19

VGG是一個經典的卷積神經網絡，有著優秀的分類性能[8]。VGG網絡是一個極其深的網絡架構，一般有16-19層，本文使用的是VGG19網絡架構。如圖2，VGG19大體由5大層卷積層和3層全連接層組成，圖中，conv1和conv2分別包含2層卷積層，conv3、conv4和conv5分別包含4層卷積層，加上3層全連接，一共19層。在VGG19里，若輸入1幅512×512×3像素級的圖像，每個卷積層采用3×3的卷積核，由1個或4個卷積層堆疊組成卷積序列，并使用邊界填充技術以達到更大感受野的效果前提下保持前后維度不變，在使用2×2池化窗口，步長為2的池化層，減少經過卷積層之后的特征參數。最后接上3個全連接層，將二維數據轉化成一維數據，通道數分別為4096、4096、1000，輸出層由Softmax函數對1000個標簽進行分類。整個網絡顯得非常的簡潔，多個3×3的卷積核的組合效果可以優于單個大卷積核。

圖2 VGG19網絡模型

在VGG19網絡的隱含層中都存在激活函數，使神經網絡有了非線性映射能力[8]。通常激活函數包括Sigmoid函數、Tanh函數、ReLU函數[9]。ReLU函數是不飽和函數，具有一定的稀疏性，但對比生物大腦的95%稀疏性，ReLU的稀疏性還是具有一定差距的。但是ReLU的稀疏性是可以訓練調節的，網絡是可以向著誤差減少方向優化的，ReLU函數可以加快網絡優化速度。因而從學習速度方面出發，ReLU函數更有效率。公式如下：

（3）FCN網絡模型

FCN網絡模型以VGG網絡為基礎，前5層是VGG19的卷積層和池化層，通常分別為pool1、pool2、pool3、pool4、conv5_3的特征圖，特征圖的尺度分別降低為原來的 1/2、1/4、1/8、1/16、1/32[10]。高層特征以語義組合為主，底層特征以局部細節為主[11]。第6-8層是轉置卷積層。卷積層依次把手術器械圖像和卷積核進行卷積操作，得到特征圖。池化層對卷積層得到的特征圖進行降維，減少特征參數，縮短訓練時間。FCN網絡使用第5層的特征圖，向上采樣結合第3、4層的淺層特征，獲取更多細節信息。

（4）本文網絡模型

FCN網絡可輸入任意大小的手術器械圖像，以端對端的學習網絡結構，完成訓練目的。但對于手術盒中的手術器械圖像的語義分割仍存在一些缺陷。FCN網絡使用VGG19的最后一層卷積層的特征圖作為后三層的輸入，但存在細節丟失過多的缺點，而手術器械不同類別之間細節信息至關重要。為了提高手術器械圖像語義分割算法的自動化性能，提出基于全卷積的神經網絡，以實現對手術器械進行相對精準的語義分割。

圖3 本文網絡模型

本文網絡一共分為7層，如圖3所示。本文以512×512×3尺寸的特征圖作為輸入，經過VGG19的前4大層，特征圖尺寸一致縮小，寬度擴大，一直到pool4層的32×32×512尺寸的特征圖。為了計算損失函數，手術器械輸入標簽圖和分割結果的輸出圖須尺度一致，所以后面3層反卷積層反卷積之后進行上采樣操作再依次和pool3、pool2層的特征圖進行線性計算，最后使用argmax函數得到預測圖。本網絡在VGG19的基礎上減去了VGG19的conv5層和后面3層全連接層，再不影響最終結果的前提下降低了特征參數數量，優化了網絡運行時間，減少網絡模型的學習復雜度。

損失函數為預測圖和輸入標簽之間的交叉熵。如圖4，損失從一開始大幅度下降到最后趨向于0，數據顯示，最后損失平均值為0.08。

圖4 損失

（5）優化器的選擇

常用優化器有梯度下降算法的GradientDescent優化器、動量梯度下降算法的Momentum優化器和實現Adam優化器。本文使用的是Adam優化器，Adam具有高效，易實現，內存要求低，參數更新的步長合理等優勢；再則，Adam能實現步長退火過程，適用于梯度稀疏或梯度存在很大噪聲的問題[12]。Adam的權值參數更新步驟如下：

（1）t時間的梯度 gt計算公式如式（4）：

式中，wt-1表示t-1時間的權值。

（2）m0初始化為0時，計算梯度指數的移動平均數 mt如式（5）：

式中，β1表示指數衰減率。

（3）v0初始化為0時，計算梯度平方的指數移動平均數 vt如式（6）：

式中，β2表示指數衰減率。

（4）訓練初期，m0和v0初始化都為0，會導致mt和vt都偏向 0，糾正公式如式（7）和式（8）：

（5）新權值參數Wt如式（9）：

式中，α表示學習率，ε是為了防止除數為0的極小數。

2 實驗結果

2. 1 運行環境

操作系統：Windows 10 x64；

Python版本：Anaconda3 Python 3.6+TensorFlow 1.12.0；

GPU型號：NVIDIA GeForce GTX 1080Ti 11G顯存；

處理器型號：Intel i5-6500 3.20GHz主頻。

2. 2 實驗數據

為了對比本文提出的模型和其他模型，我們使用Holistically-Nested Edge Detection（HED）[13]網絡模型，語義分割網絡DeepLab和傳統FCN網絡進行實驗對比，實驗樣本集和測試集是制作好的300張圖片。

使用測試集里的圖片進行測試，如表1和圖4所示，表1為網絡運行時長，圖4為3張圖片不同網絡的測試圖。對比表1、圖4，在預測圖整體效果方面，本文網絡整體效果較佳。對比HED、DeepLab、FCN網絡，其中，HED網絡在測試結果和運行時長上都比FCN網絡和本文網絡差。而對于DeepLab網絡，該網絡在本次實驗里抗光性較弱，相對于本文網絡，該網絡效果較差，但時長方面和本文網絡差不多。對比FCN網絡，本文網絡運行時長減少，網絡效果和FCN網絡無明顯區別，網絡特征參數數量減少，網絡模型的學習復雜度減少。但仔細觀察，不難發現在光照影響下，手術器械反光嚴重的區域，本文網絡容易出現誤檢測，如圖4中手術器械出現的缺口。

表1 網絡運行時長

圖4 預測圖

3 結語

本研究在FCN全卷積神經網絡的基礎上，減少VGG19層數，從實驗結果得到以下結論：

（1）手術器械特征提取的實驗結果表明，通過基于全卷積的神經網絡能有效提取出手術器械多層特征圖像，并通過Adam優化器優化參數，較好地實現手術器械圖像語義分割。

（2）手術器械特征提取的實驗結果表明，在手術器械圖像語義分割方面，本文網絡對比DeepLab網絡，效果較佳，對比FCN神經網絡，特征參數數量降低，網絡運行時長減少，預測圖效果不變。

（3）手術器械特征提取的實驗結果表明，本文網絡在抗光照能力還有待提高。