基于Double-D算法的舌像檢測

劉佳麗，孫自強

(華東理工大學 化工過程先進控制和優化技術教育部重點實驗室，上海 200237)

0 引 言

傳統的舌像識別方法基于閾值分割、灰度差分和加權二值[1]等算法來分配圖像分割子塊的權重，以此提取局部圖像特征信息，最終將處理過的所有子塊連接成完整的紋理特征圖，但這類方法破壞了圖像數據的維度特征，計算量大且泛化性能弱，不利于模型遷移。之后隨著卷積神經網絡在圖像處理上的優勢越發明顯，新的方法普遍利用卷積網絡和全連接層結構來識別圖像，以 R-CNN 和SPPnet為基礎，提出了一種并行網絡預測結構Fast R-CNN[2]，進一步設計權值共享的特征網絡RPN來預測錨框[3]，這類算法直接對圖像信息進行卷積處理，保留了維度之間的特征關系，模型的識別分類精度有了很大的提升，但缺點是檢測時間較長；Redmon等提出了一個端到端的實時檢測模型YOLO[4]，并不斷改進網絡結構，優化坐標定位，使其不僅可以滿足高精度的輸入要求[5]，而且多尺度預測的精度高，檢測實時性也得到了明顯提升。因此，本文選擇YOLOv3的特征提取框架，并借鑒DenseNet在參數處理上的優勢，改進得到Double-D網絡，對其通道剪枝以降低模型復雜度，使其更有利于舌像檢測，并討論了輸入圖像尺度和微調網絡層數等參數變化對目標檢測的影響。

1 YOLOv3方法原理

Yolov3本質上就是利用深度殘差網絡作為特征提取框架，將目標檢測和分類統一看作回歸問題，網絡訓練時直接從完整圖像上進行全局推理[6]，實現端到端的實時檢測。算法借鑒了多尺度錨框預測，使得網絡容易學習，訓練也更加高效；改進了細粒度特征融合算法，并加深了特征提取網絡，充分利用底層特征的定位細節信息，同時高層特征得到加強，使得不同尺度下的特征都含有豐富的紋理信息，檢測結果更加準確。Yolov3整體框架如圖1所示，網絡具體設計步驟如下：

步驟1 建立特征提取架構Darknet53。該部分由5個殘差塊組成，每個殘差塊分別包含1、2、8、8、4個殘差結構[7]，且每個殘差塊之間用3×3的卷積連接。對于輸入維度為416×416×3的圖像，經過5個殘差塊之后的維度分別降為{208×208×64，104×104×128，52×52×256，26×26×512，13×13×1024}；

步驟2 細粒度特征融合。將13×13×1024的特征輸出經過卷積、批量歸一化和leakly ReLU激活操作得到13×13×256，對其上采樣并與高分辨率、低語義信息的底層特征26×26×512進行通道融合[8]，經過卷積激活操作得到26×26×256，同樣對其上采樣及通道融合，最終經卷積計算得到52×52×128；

步驟3 維度聚類和多尺度識別定位。利用Kmeans維度聚類對先驗框大小進行初始化，聚類分析時以邊界框與聚類中心邊界框之間的IOU值作為距離指標，即

d(box,centroid)=1-IOU(box,centroid)

(1)

模型預測了9種不同大小的先驗框尺度{10×13，16×30，33×23，30×61，62×54，59×119，116×90，156×198，373×326}，較大的先驗框對應預測低分辨率特征，較小的先驗框對應預測高分辨率特征。最終得到N×N×(4+1+C) 的預測結果(N=13，26，52)，其中4為預測坐標參數個數，1為預測置信度，C為預測類別。

步驟4 輸入圖像進行模型訓練，經過特征提取、通道融合等操作得到訓練權重，之后對實際圖像進行預測。

圖1 YOLOv3結構

2 改進Double-D算法模型

2.1 密集連接

隨著網絡的不斷加深，訓練過程中網絡的卷積、池化操作對原始數據進行特征提取并向下傳遞的過程中，數據信息不可避免地流失，高層網絡獲得的特征信息可能缺失了一些重要線索，導致模型效果退化。同樣的，深度卷積神經網絡中的梯度消失仍是需要考慮的問題。因此，有效保留底層圖像特征信息和高效的梯度信息傳遞成為訓練深度網絡的關鍵問題。

受到dense block結構的啟發[9]，在保證YOLOv3框架的殘差塊中各卷積層之間最大程度的特征信息傳輸的前提下，將所有殘差結構的特征輸出通過add直接映射連接，得到Double-D模型。圖2顯示了殘差塊深度為4時，部分Double-D網絡的層級連接結構。

圖2 部分Double-D網絡結構(residual block=4)

可以看到，網絡的連接由原來的L變為L(L+1)/2， 每一個殘差結構的輸入來自前面所有層的輸出，即第l層的輸出xl是前 {0，1，2，…，l-1} 層的卷積計算，可表示為

xl=Hl(x0,x1,…,xl-1)

(2)

這樣的直通映射結構加強了底層特征信息的傳遞，而且每層都可以直接訪問底層輸入信號的梯度，使得網絡訓練充分利用底層特征信息和梯度信息，從而得到隱含的深度監督。

2.2 通道剪枝

考慮到添加密集映射結構可能會導致模型過參數化，大量的冗余連接使得信息傳遞更加復雜，模型計算量大大增加；同時，由于原始的YOLOv3網絡設計時針對COCO數據集80類的分類目標，模型通道數為{64，128，256，512，1024}，而實際使用時模型的檢測類別較少?？紤]以上兩點，提出通道剪枝[10]來簡化Double-D模型通道，即根據LASSO回歸來約束通道權重值，直接移除稀疏權重的冗余通道，使得模型更加精簡，節省計算空間，降低對硬件的要求，并且不會降低模型的檢測性能。Double-D網絡模型通道剪枝結構如圖3所示。

圖3 通道剪枝結構

圖3右側虛線框中表示利用優化算法對通道剪枝并重建的過程，B表示通道剪枝前的特征圖，通道數是c；W表示n個維度是c×kh×kw的卷積核；C表示通道剪枝后的特征圖，通道數是c′。算法利用L0范數選擇β值稀疏的待裁剪的權重通道，表示為W中較薄的立方體，相應需要裁剪掉輸入特征B中的對應通道，即裁剪掉輸入特征A與虛線卷積核的卷積結果，并利用最小二乘優化使得剪枝后的B和W的卷積結果能盡可能和C接近，其公式表達為

(3)

其中，Y指剪枝前圖像的特征信息，求和部分是按β剪枝后的特征信息，同時需滿足稀疏值個數少于c′。

求解時將式(3)中對β的約束加到式(4)中，同時用LASSO回歸代替L0范數，參數λ用來控制權重稀疏程度，λ越大，權重越稀疏，算法的加速比也越大

(4)

最終通過式(5)迭代求解得到最優的β值，這個過程中λ不斷增大，直到β值趨于穩定，并將β代入式(6)中計算得到唯一的裁剪權重W

(5)

(6)

2.3 Double-D算法損失函數

對于Double-D算法模型，定義其損失函數為式(7)中的均方差函數

(7)

其中，n指第n(n=1，2，3)張特征圖，m指batch size，W和H代表特征圖像的維度，A指的是anchor box數目，λobj是預測目標置信度，λborc是預測坐標權重值，iou_ignore是無檢測目標時的權重參數，E表示求cross entropy，xy,wh,xyijk,whijk分別為實際坐標和預測坐標，truthobj和predijk分別代表真實目標和預測目標概率，classtr和classpred分別為真實類別與預測類別概率。

損失函數包括置信度誤差、坐標誤差和分類誤差3部分：計算置信度誤差分為有檢測目標時和無檢測目標時，當各個先驗框與實際目標的最大IOU值小于一定閾值時即認為沒有檢測目標λobj=0，此時損失函數只有置信度誤差；當某個檢測目標與其中心對應的單元格中的先驗框的最大IOU值滿足閾值條件時，則用該先驗框來預測目標對象，并計算其坐標損失和分類損失。對于那些沒有與檢測對象匹配的，以及小于最大IOU閾值的先驗框就全部忽略，不計算任何損失。

3 實驗研究

本節中通過實驗驗證改進模型的性能。所有實驗均在CPU上使用Intel(R) Core (TM) i5-4200H四核處理器和雙GPU GeForce GTX 1080Ti，通過使用基于Tensorflow模型的Keras深度學習框架中的Python 3.6編程語言進行實現。

3.1 實驗數據

實驗數據來自上海某合作醫院和人工采集，包括各個年齡段和不同性別的采樣群體，通過設計的舌診取像儀器獲得舌像樣本，保存為JPG文件格式。樣本圖像如圖4所示，圖(a)是常規舌樣本，圖(b)、圖(c)、圖(d)、圖(e)為幾種不同舌裂紋形式的樣本，包括縱深型、縱向密集、橫向密集和不規則型。

圖4 舌頭樣本圖像

制作VOC格式的舌診圖像數據集：將獲取到的圖像數據進行篩選和增強，處理的方法包括縮放、上下左右翻轉、平移、按比例裁剪、顏色抖動、歸一化等，對處理后的數據進行標注，數據集分布見表1。

表1 舌像樣本數據集分布

3.2 評價指標

實驗結果選擇召回率(recall)、精準率(precision)、特異度(specificity)和f1分數來檢驗模型性能

(8)

(9)

(10)

(11)

其中，tp是預測為正，實際為正的樣本數；tn是預測為負，實際為負的樣本數；fp是預測為正，實際為負的樣本數；fn是預測為負，實際為正的樣本數。

3.3 參數設置

對于實驗選定的網絡框架，圖片輸入大小為416×416，設定具有1e-3初始學習率的Adam優化器時模型迅速收斂，隨機選擇16個樣本訓練更新網絡權重。網絡設置了100個epoch，同時為了防止過擬合及監測模型的泛化能力，在回調函數中調用early stopping函數，監測值為驗證集損失，設置函數激活后的10個epoch時提前終止訓練；設置reduce learning rate函數，監測值為驗證集損失，如果在3個epoch后看不到模型性能提升，則減小10倍學習率。

3.4 模型比較和分析

將BP神經網絡、徑向基神經網絡、卷積神經網絡[11]以及Faster RCNN、YOLOv3算法作為對照實驗，與本文改進的Double-D模型方法進行比較分析，具體結果見表2。實驗1、2、3所提出的方法網絡結構簡單，檢測速度比較快，但也因此造成模型檢測精度較低，泛化能力差。相比之下，Double-D算法模型更深，并加入了金字塔結構和密集直通映射，結構更加復雜，卻仍保持了較快的檢測速度，模型精準率提升了近11%，特異度提升了近14%，召回率提升了近10%，能夠正確識別出異常舌的能力顯著增強。

表2 網絡模型對比

實驗1、2、3中的方法只對舌像做分類，而實驗4、5、6在分類的同時回歸得到舌頭位置。實驗4的方法在經過特征提取之后將網絡分為兩個全連接輸出，包括分類網絡和回歸網絡，導致檢測速度變慢，而實驗5的方法只對整個分類檢測問題做一次特征提取，雖然兩者的檢測精度差異不大，但YOLOv3端到端的網絡結構極大地提高了模型的檢測速度。

與YOLOv3相比，Double-D算法的檢測性能得到了普遍提升，精準率由95.81%增加到了97.56%，特異度由97.05%增加到了98.75%，特別是模型的召回率由原來的87.47%增長到了92.93%，準確識別出病變樣本的能力進一步提高。這說明對YOLOv3框架添加的直通映射結構有效避免了退化問題和梯度消失，充分利用了底層圖像的特征信息，可以更加準確快速地檢測出目標圖像的微小病變并識別分類。同時利用通道剪枝，降低模型和參數復雜度，有效節省計算空間。分析結果表明改進后的Double-D算法的檢測效果是幾種方法中最優的。

通常醫療圖像數據較大，精度要求也比一般圖像要高，進一步研究不同輸入尺寸是否會影響舌像的檢測效果。由于原始的舌像尺寸為600×600，同時考慮到舌像細微復雜的特點，因此，根據網絡下采樣步長32的倍數設置4種輸入尺寸{320,416,512,576}進行實驗。對比表3，結果發現不同尺度下模型的精準率和特異度的波動范圍在1%左右，從召回率來看，圖像尺度為416×416時得到的檢測效果明顯是最好的，與320×320圖像尺寸的召回率相比增加了2%，總體來看仍然是圖像大小為416×416時模型的檢測性能最好。分析出現這樣的結果是因為舌像紋理十分微小復雜，當縮小或放大圖片時，舌頭上的紋理可能會縮小至難以檢測，或放大至將其誤識別為病變，因此，輸入圖片的尺度要根據具體的實驗數據進行調整，并不一定存在越大越好。

表3 圖像尺寸對模型檢測性能影響

設計3種不同的網絡凍結條件，以此來探索遷移學習微調的網絡層對模型檢測性能的影響。條件一凍結了最后3層輸出層之前的網絡；條件二凍結了特征提取網絡；條件三則對整個網絡逐層進行微調，同實驗6。從表4中可以看出，條件一到條件三的情況下模型的檢測性能穩步提升，并且條件三的表現性能是所有條件下最好的，精準率為97.56%，特異度為98.75%，召回率為92.93%。研究結果表明，微調網絡層數對模型的性能確實有一定的影響，應用遷移學習訓練Double-D模型時，凍結的網絡層數越多模型的檢測性能越差，說明對于樣本數據不平衡的情況，底層網絡提取的基本特征不一定適合所有的圖像，這就需要盡可能多地微調網絡層以得到更好的檢測效果。

表4 微調網絡對模型性能的影響

4 結束語

本文重點研究了改進的Double-D算法網絡性能，分析加入稠密直通映射連接和通道剪枝對特征信息的利用效果，將其應用于舌像的識別檢測，討論了輸入圖像大小和微調層數量對模型的影響，并且自行設計標注了一個舌像數據集。設計實驗結果表明，改進的Double-D算法充分利用了網絡的特征信息，簡化模型通道降低了計算資源，使得模型的檢測效果進一步提升。利用遷移學習訓練網絡時微調更多的卷積層可以獲得更高的性能。同時，輸入圖像的大小對深度卷積神經網絡性能的影響需要結合具體的數據分析，不能保證輸入圖像數據維度越大檢測效果越好。