基于改進deeplabv3+的舌象分割算法

劉東華，張 偉，顧 旋，梁富娥，呂珊珊

（甘肅中醫藥大學信息工程學院，蘭州 730000）

0 引言

舌診作為中醫特色診斷方法中望診的重要組成部分，在中醫智能診斷中扮演著重要的角色。舌頭的大小、顏色、紋理等都能反映出人體對應的病癥，因此舌診在現代中醫智能診斷和計算機輔助中醫診斷中具有重要意義。當前計算機技術處理舌象圖片都是先將舌體從圖片中分割出來，然后再對舌象進行下一步的分類識別研究。舌體分割效果的好壞直接影響到后續研究的進程，舌體分割精度高可以大大提升后續研究的精度和簡便性，能夠減少許多不必要的麻煩。傳統的圖像處理方法如閾值法［1］，通過設置一個像素值來將高于此像素值或低于此像素值的部分進行分割劃分，利用單一的某個閾值來進行舌象分割的速度較快，但分割精度不高。邊緣檢測法［2］，利用像素值在某一區域內發生劇烈的變化差值，來判斷此區域為邊緣區域，從而進行舌象分割，舌象圖片復雜，色彩變換多，容易出現誤判，分割精度低。主動輪廓算法［3］，算法過度依賴輪廓線，穩定性低導致分割準確率不高。傳統圖像處理技術太過于依賴人工特征值的選擇，利用的基本都是淺層的顏色和紋理的特征信息，這使得分割精度不高，分割出的圖像效果不理想。

目前基于卷積神經網絡的深度學習技術在圖像處理領域大放異彩，卷積神經網絡從R_CNN［4］發 展 到Faster R_CNN［5］，從CNN 到FCN［6］，在圖像檢測分類等領域得到了廣泛的應用。本文提出了一種改進的deeplabv3+分割算法，采用注意力機制模塊（convolutional block attention module, CBAM）和改進條帶池化模塊（strip pooling module, SPM）［7］及 混 合 池 化 模 塊（mixed pooling module, MPM）來提取上下文信息，更好地進行舌象分割。

1 整體分割網絡模型結構

本文采用編碼器-解碼器結構來對網絡模型deeplabv3+進行語義分割，在編碼器部分引入空間金字塔模塊，對輸入特征采用多采樣率擴張卷積來獲取多尺度上下文信息，然后通過編碼器-解碼器結構來恢復空間信息并獲取目標邊界，將其有效結合進行高效語義分割。過程如圖1所示。

圖1 分割網絡流程

本文改進的deeplabv3+分割模型中采用了空洞空間金字塔池化（atrous spatial pyramid pooling,ASPP），采用不同的上采樣率進行多尺度特征提取。采用深度可分離卷積，降低參數數列，提高計算效率。同時加入了注意力機制來專注于舌體分割，抑制無關噪聲干擾，提高分割精度。改進池化模塊，加入條帶池化和混合池化模塊來提取上下文信息，更好地進行語義分割。

2 算法模型

2.1 深度可分離卷積

深度可分離卷積［8］實現起來與普通卷積一樣，但其運行所需的參數量與普通卷積相比卻大大減少，其一般應用于一些輕量級網絡模型。深度可分離卷積主要由逐通道卷積和逐點卷積組成。逐通道卷積的每一個卷積核和通道都一一對應，這樣特征圖通道數就不會改變。逐點卷積的卷積核尺寸為1 × 1 ×M，M為上一層的通道數，所以卷積會在上一步特征圖的深度方向上進行加權組合，從而輸出新的特征圖。

2.2 空洞空間金字塔池化

空洞空間金字塔池化對輸入特征圖以不同采樣率的空洞卷積并行采樣，然后將得到的結果堆疊到一起擴大通道數，最后通過1×1 的卷積將通道數降低到預期的數值，這樣的操作相當于以多個比例捕捉圖像的上下文，獲取更多的上下文信息來進行后續的分割處理。空洞卷積［9］能夠在擴大感受野的同時保證分辨率，其十分適用于檢測、分割任務，感受野的增大可檢測、分割大的目標，高分辨率則可精確定位目標?？斩淳矸e中參數dilation rate 設置不同，網絡的感受野不同，從而能夠獲取多尺度信息。

2.3 注意力機制

2.3.1 通道注意力機制

通道注意力機制的工作原理，首先對輸入進來的特征層分別進行全局平均池化和全局最大池化，獲得初始通道注意力權重。初始權重僅代表各自通道特征信息，無法體現各通道特征的差異，所以將平均池化和最大池化的結果通過共享的全連接層進行處理，以便更好地進行分類。然后對處理后的兩個結果進行相加，并取一個sigmoid，此時獲得了輸入特征層每一個通道的權值（介于0～1 之間），將權值乘上原輸入特征層即可。

通道注意力機制表達式為

式中：Ic代表輸入特征圖I的第c個通道；Wc代表產生的第c個自適應權重；TC代表經過通道注意力機制后輸出的特征圖。

2.3.2 空間注意力機制

空間注意力機制詳細原理：首先將通道本身進行降維處理，在輸入進來的每一個特征點的通道上取最大值池化和平均值池化。然后將結果特征圖進行堆疊拼接，調整通道數后取一個sigmoid，此時獲得輸入特征層每一個特征點的權值（介于0～1 之間），再將這個權值乘上原輸入特征層即可。

空間注意力機制表達式為

式中：S(x，y)表示在空間位置(x，y)處的特征值，W(x，y)則是在(x，y)處的權重值，H(x，y)是經過空間注意力機制后的輸出。

2.3.3 CBAM注意力機制

CBAM 注意力機制［10］如圖2所示，可以看到CBAM 包含兩個獨立的子模塊，通道注意力模塊和空間注意力模塊，分別進行通道與空間上的特征注意力處理。在CBAM 注意力機制中通道注意力模塊和空間注意力模塊進行串聯處理，先進行通道注意力處理再進行空間注意力處理能使模型達到最佳注意力效果。這樣不僅能夠節約參數和計算力，并且能夠使其方便地應用于其它網絡模型。

圖2 CBAM注意力機制

2.4 條帶池化

條帶池化，是將原本的池化核改進為水平垂直的條帶狀池化的方法，對池化核長條形區域所對應的特征圖上位置的像素值求平均。實際應用中目標對象可能是長條狀的信息，使用大方形窗口不能很好地處理，但條帶池化就能有效地應對，更好地提取依賴特征。條帶池化能夠獲取孤立區域的長距離關系，并且在其他空間維度上保持較窄的內核形狀，有利于獲得上下文信息。

2.4.1 條帶池化模塊

條帶池化模塊SPM 利用水平垂直方向上的池化核沿水平垂直空間兩個維度捕獲上下文信息。結構原理如圖3所示，輸入一個特征圖（C×H×W），每一通道特征分別經過水平和垂直池化核后變成了H× 1 和1 ×W，對池化核內的元素值求平均，并以該值作為池化輸出值。對兩個輸出特征圖分別沿著左右和上下進行擴容，擴容后兩個特征圖尺寸相同，對擴容后的特征圖對應相同位置求和得到H×W的特征圖。最后通過1 × 1的卷積和sigmoid處理后與原輸入圖對應像素相乘得到輸出結果。

圖3 SPM結構原理

2.4.2 混合池化模塊

混合池化模塊MPM 主要是通過利用不同內核形狀的池化模型來探索復雜場景圖像，從而收集有用的上下文信息。混合池化模塊將金字塔池化模塊和條帶池化模型相結合，通過各類池化模塊獲取不同的上下文信息，使特征更有辨別力，可以連續使用它來擴展遠程依賴關系。結構原理如圖4所示，輸入特征圖分別進行金字塔池化和條帶池化，金字塔池化生成多尺度特征，捕獲局部上下文信息。條帶池化模塊能使孤立區域之間的連接和條紋狀結構的編碼區域成為可能，然后將輸出結果進行有效融合。

將SPM 和MPM 兩模塊串聯一起嵌入具有瓶頸的網絡模型中，進行參數縮減和模塊化設計，能夠在一定程度上改善網絡模型，提升模型效果。

3 實驗研究與分析

3.1 數據集

數據主要來源于AI Studio 和Kaggle 云平臺上的比賽數據集，數據有經過專業儀器采集得到的，也有智能手機拍攝的，來源不同，復雜度也不同，可以提高模型的泛化能力?？偣策x取舌象圖片700 張，隨機抽取70 張作為測試集，并將剩下的630 張按照10∶1 的比例隨機劃分為訓練集和驗證集進行訓練。

3.2 實驗環境

深度學習卷積神經網絡模型對計算機硬件要求較高，租用云平臺進行模型訓練，GPU 型號NVIDIA RTX A2000 12GB 顯 存，CPU 型 號Intel（R）Xeon（R）CPU E5-2680 v4 2.40GH，硬盤Samsung SSD 870，主板型號X10DRG-O+-CPU，模型框架平臺TensorFlow，編程語言Python。

3.3 算法評價標準

對模型預測分割出來的結果圖與舌象真實標簽圖進行比較分析，計算出各分割模型的好壞。評價指標主要有像素準確率PA，類別像素準確率CPA，類別平均像素準確率MPA，交并比IoU，平均交并比MIoU，頻權交并比FWIoU。

其中：TP是把正標簽預測為正的數量；FP是把負標簽預測為正的數量；FN是把正標簽預測為負的數量；TN是把負標簽預測為負的數量。各評價指標值越接近于1則說明算法模型越好。

3.4 結果分析

將本文算法與傳統分割算法，包括閾值算法、邊緣檢測算法、主動輪廓算法以及卷積神經網絡模型算法SegNet 算法和PSPNet 算法進行比較分析。結果如表1和圖5所示。

表1 算法各指標對比 單位：%

圖5 算法結果對比

傳統圖像處理方法太過于依賴人工特征的選擇，并且選擇的分割特征都是淺層的顏色、形狀和紋理等，當圖像比較單調而且目標與環境有著較大的差異時，表現出的效果可能還不錯。但當遇到像舌象這樣比較復雜的圖像時，僅僅依靠單一特征來進行分割是有點困難的，容易出現因錯誤劃分導致分割結果精度不高的情況?；诰矸e神經網絡的SegNet 算法和PSPNet算法都是比較經典的語義分割算法模型，SegNet算法在編碼和解碼過程中使用same卷積，不會改變圖片的原始大小，能使在池化時丟失的信息被重修獲取。PSPNet 算法核心部件是金字塔池化模塊，這和deeplabv3+算法有些相似，但deeplabv3+在金字塔池化的基礎上進行了改進完善，使得效果得到進一步提升。

本文算法的類別平均像素準確率MPA和平均交并比MIoU值比SegNet算法和PSPNet算法的對應值都要高，并且MIoU達到了95.54%，可以很好地滿足舌象分割需求。

為了驗證本文改進算法的有效性，將其與未改進的算法進行比較分析，通過結果來驗證改進思路和算法的正確性和有效性。表2所示為加入注意力機制與未加入注意力機制的對比結果。

表2 注意力機制結果對比 單位：%

本研究在網絡模型中加入CBAM 注意力機制，它結合了通道注意力機制和空間注意力機制，能夠結合通道和空間的注意力特征信息，然后將其與原輸入特征圖進行融合并進行特征修正，產生最后的特征圖。加入注意力機制能夠使網絡更加專注于分割目標對象，抑制無關噪聲信號的干擾，更好地提升模型效果，模型的MPA和MIoU分別提升了0.11和0.64個百分點。

將條帶池化模塊SPM 和混合池化模塊MPM串聯加入網絡模型中，與CBAM注意力機制進行對比，將注意力機制模型與改進池化模型有效結合，融入網絡模型中進一步提升模型舌象分割效果。表3為改進池化模塊的對比分析結果。

條帶池化模塊和混合池化模塊通過轉換池化核的方式來改進池化模型，更好地獲取上下文信息，其本質也可以看作注意力機制。分別將CBAM 注意力機制和改進池化模型SPM、MPM 加入到deeplabv3+網絡模型中，可以看出單獨加入改進模塊對模型的提升都比較小，沒有達到預期的效果。當將CBAM 模塊和改進池化模塊SPM、MPM 一同融入deeplabv3+網絡中時，效果比單獨使用時有了不錯的提升。改進分割網絡模型相比于未改進網絡模型的MPA和MIoU分別提升了1.49 和2.02 個百分點。本文改進方法的整體效果尚可，分割準確率也可以滿足舌象分割的需求。

4 結語

本文采用deeplabv3+網絡模型對舌象進行分割處理，采用CBAM 注意力機制模塊和改進條帶池化模塊SPM 和MPM 來對網絡模型進行改進提升。將各改進模塊有效地融合加入分割網絡模型當中，相比于未改進之前有了不錯的提升，分割精度也能滿足舌象分割的需求，從而驗證本文改進算法對模型分割效果提升的有效性。