基于深度遷移學習的舌象特征分類方法研究*

宋 超，王 斌，許家佗

(1.南京財經大學信息工程學院，江蘇 南京 210023；2.上海中醫藥大學基礎醫學院，上海 201203)

1 引言

中醫講究“望、聞、問、切”，而舌診作為中醫望診中一個重要組成部分，在中醫臨床診斷中起著重要的作用。舌診是指醫生通過觀察患者的舌質和舌苔形態的變化來判斷診查病癥的方法。舌象指的是舌的表象，從計算機的角度來看就是舌體圖像的特征信息，一般可以觀察到的舌象種類有舌色、舌苔、裂紋、點刺和瘀點等。

傳統中醫舌診過程是醫生通過肉眼觀察舌體的形態特征加以診斷，所以經常受環境因素和醫生主觀經驗的影響，難以達到標準化和客觀化。隨著計算機技術的飛速發展，人們嘗試通過計算機技術來解決中醫診斷客觀化問題。基于計算機技術的舌象分類方法主要由2部分組成：舌體分割和舌象識別。傳統方法對舌體的分割多采用手工或閾值法等方式，在面對大量數據時會耗費很大的成本，所以如何精確高效地將舌體部分從大量面部圖像中分割出來存在一定的困難。同時，傳統的舌象分類方法是從舌體的顏色和紋理等特征入手，通過統計學的方法進行特征分類，這些分類方法存在準確度低、泛化能力差的問題。如何更加精確地進行舌象特征分類是推進中醫舌診標準化和客觀化的一個亟需解決的問題。

自Hinton等[1]提出深度信念網絡的概念，深度學習一直是研究者們研究的熱點。2012年，Krizhevsky等[2]在ImageNet大賽上提出了AlexNet并獲得冠軍，再次證明深度學習在圖像識別與分類任務中的表現優異。而之后出現的深度網絡如VGG(Visual Geometry Group Network)[3]、GoogLeNet[4,5]和殘差網絡ResNet(Residual Network)[6]在圖像識別的能力都已經接近甚至超越了人類。隨著深度學習的發展，各種各樣的深度學習框架被研發出來，包括 TensorFlow[7]、Theano[8]、Cuda-Convnet[9]、Caffe[10]和Torch[11]等。近年來，一些學者嘗試將深度學習應用于醫學圖像分析，如將深度學習應用于腫瘤檢測任務，在腫瘤的預防、早期發現、診斷和干預、預后評估等方面都取得了成果[12]。

本文重點研究用深度學習解決中醫舌象特征分類問題，以提高中醫舌象的機器識別性能，促進中醫自動診療技術的發展。值得指出的是，盡管深度學習已成功應用于許多領域，但是醫學圖像本身樣本數量不足的問題阻礙了深度學習方法在醫學圖像分析領域的應用。針對傳統舌體分割方法費時費力以及深度學習在小樣本數據上分類效果差的問題，本文提出了一種基于深度遷移學習的舌象分類方法，即通過基于LBP(Local Binary Pattern)特征[13]的級聯分類器[14]的方法來實現舌體的自動定位分割，再在不同的卷積神經網絡上進行遷移學習，實現對不同舌象特征的分類識別，達到了94%以上的準確度。

本文的主要創新與貢獻有如下幾點：(1)雖然已有工作將深度學習方法應用于舌象特征分類問題，但由于舌象樣本的稀缺所帶來的訓練樣本不足的問題，該類方法的分類性能并不理想。本文首次提出用深度遷移學習的方法來進行舌象特征分類，有效地克服了訓練樣本不足的局限性，大幅提升了分類性能。(2)舌體目標的定位是舌象分類的重要一環，為提高分類準確度，在現有的舌象分類方法中，為了提高分類的準確度，一般采用手工定位的方式，從而不能達到舌象分類的全自動化。而傳統的圖像分割方法在應用于舌體分割時，其分割效果依賴于大量的參數設置和圖像質量，且計算復雜，不具有穩定性和魯棒性。本文首次提出用基于級聯分類器的機器學習方法來實現舌體目標的精確定位，保證了舌象分類的準確度，減少了舌象分類系統的人工干預。(3)跟其它醫學圖像一樣，舌象數據也存在稀缺性的問題，在樣本采集過程中會出現樣本量不足的情況。而本文建立了一個有2 245幅圖像的舌象數據庫，用于舌象特征分類的研究。數據庫中的圖像從專門中醫診療機構采集，并由專家標定。

2 相關工作

舌象分類主要分為舌體分割和舌象識別2個階段，其中傳統的舌體分割方法主要依據舌體的顏色、紋理和形狀等特征進行目標分割。有效分割的舌體圖像數據是提升舌象識別準確率的前提條件，而舌象識別算法的設計又是決定識別準確率的關鍵。

舌體圖像分割的主要任務是將舌體部位從人的臉部、嘴巴及牙齒等背景中分割出來，對分割后的舌象區域進行特征提取，可以有效地提升分類準確度。傳統的舌體定位分割方法有GrabCut[15]、Otsu閾值法[16]和圖論法[17]。舌體與相鄰區域(尤其是嘴唇)之間有著相似的顏色特征，傳統方法通常僅使用單一的顏色分量和先驗知識來進行舌體分割，這導致了分割結果的不穩定與不準確。為了解決這一問題，結合稀疏表示和顏色分解等技術的舌象分割方法相繼出現[18,19]。

2003年，許家倫等[20]為探討舌診客觀化的方法，應用灰度差分統計方法，結合對比度(CON)、角度方向二階矩(ASM)、熵(ENT)、平均值(MEAN)4個參數對舌象紋理進行識別。2006年，張衡翔等[21]提出把HSV顏色空間中極坐標系的H、S分量轉化為直角坐標系的X、Y分量，并以此作為顏色特征，比較了這2種顏色特征表達方法對分類結果的影響，實驗結果表明，(X，Y，V)顏色特征表示方法具有更好的分類效果。

近年來隨著計算機設備的更新和互聯網技術的進步，人工智能得到快速發展，目前在醫學影像學和臨床診斷領域取得了一定成果。2000年，王愛民等[22]提出了基于學習矢量量化LVQ(Learning Vector Quantization)神經網絡分類器，實現了舌象分析中的舌色、苔色自動分類。在分類器的設計中，提出了基于“2σ”準則的訓練樣本篩選方法，有效提高了分類準確率。2007年，肖洪濤等[23]分析了現有舌象顏色分析方法的不足之處，設計了基于像素的舌顏色分類系統結構，提出了一個基于半監督學習的像素分類算法，解決了基于像素的苔色質色分布模型的建立問題。同年，張新峰等[24]采用一種基于粗糙集與支撐向量機概率輸出相結合的方法研究中醫舌象的多特征融合。

本文提出的方法與上述方法不同:(1)在舌體分割方面,本文提出了一種基于LBP特征的級聯分類器方法來實現舌體區域的自動定位分割，有效避免了傳統分割方法針對不同數據需要單獨提取圖像特征的問題；同時也提升了方法的穩定性和性能，自動化程度高，在面對不同環境下采集的舌體圖像定位分割任務時魯棒性較高。(2)在舌體分類方面,為了解決傳統舌體分類方法識別率較低以及深度學習方法所需要的大樣本數據的困難，本文采用深度遷移學習的方法來解決中醫舌象特征分類的問題，在拓寬深度學習的應用范圍的同時進一步提高了智能中醫舌象分類的準確度。

3 舌體圖像預處理

通過圖像采集設備獲取的人的面部原始圖像，除含有舌體目標外,還有其他跟舌體目標無關的信息，如圖1所示。因此，本文提出一種基于LBP特征的級聯分類器的舌體區域自動定位分割方法。

Figure 1 Original tongue images圖1 舌體原始圖像數據

3.1 LBP特征描述算子

局部二值模式LBP是一種用來描述圖像局部紋理特征的算子，LBP特征描述的是圖像在局部范圍內對應的紋理信息，如圖2所示，它具有旋轉不變性和灰度不變性等顯著優勢。由于舌體在紋理上與面部的其他器官有著顯著的區別，所以本文通過提取原始圖像的LBP特征來對舌體圖像進行特征提取。

Figure 2 Tongue image and LBP feature extraction effect圖2 舌體圖像及其LBP特征提取效果圖

原始的LBP算子定義在3×3的區域內，以區域中心像素為閾值，相鄰的8個像素的灰度值與區域中心的像素值進行比較，若周圍像素值大于中心像素值，則該像素點的位置被標記為1，否則為0。這樣，3×3區域內的8個點經過比較可產生8位二進制數，將這8位二進制數依次排列形成一個二進制數字，這個二進制數字就是中心像素的LBP值。中心像素的LBP值反映了該像素周圍區域的紋理信息。

LBP算子的公式如式(1)所示：

(1)

其中，(xc,yc)為中心像素的坐標，p為區域中的第p個像素，ic是中心像素的灰度值，ip為鄰域像素的灰度值，s(x)為符號函數，具體定義如式(2)所示：

(2)

3.2 基于LBP特征的級聯分類器

為了降低人工提取舌體特征進行目標檢測的成本，實現舌體部位的自動定位分割，本文提出將LBP特征與AdaBoost(Adaptive Boosting)算法相結合，組合成一個篩選式的級聯分類器對舌體圖像像素進行二分類。

本文提出的級聯分類器工作流程為：將舌體部分標定為正樣本，非舌體部位標定為負樣本，訓練級聯分類器，生成強分類器。然后通過小窗口在目標圖像上不斷地滑動，每滑動到一個位置，就對該小窗口內的區域進行特征提取，設置大小為50×50的最小窗口和大小為300×300的最大窗口，按1.1倍的比例遞增地對小窗口進行增大，以獲取不同區域的圖像特征。若提取的特征通過了訓練好的強分類器的判定，則判定該小窗口所在的區域中含有舌體部分。最終將檢測到的舌體區域分割出來。具體流程如圖3所示。

Figure 3 Workflow of cascade classifier圖3 級聯分類器工作流程

本文選取了預先截取好的300幅舌體區域圖像作為正樣本和1 000幅不包含舌體區域的圖像作為負樣本，其中正樣本圖像的像素統一為40×40，負樣本圖像大小不一。

通過以下幾個指標來評判分類器的性能：

(3)

(4)

(5)

(6)

其中,TP表示正樣本被正確檢測的數量，FN表示正樣本被漏檢的數量，TN表示負樣本被正確檢測的數量，FP表示負樣本被誤檢的數量；precision表示精度，即所有被檢測到的目標中正樣本所占的比例；recall表示召回率，度量檢測器對正樣本的通過能力，越接近1越好；hitRate表示命中率，定義與召回率recall相同；falseAlarmRate表示誤檢率，表示負樣本被誤檢為目標的概率。在訓練分類器時，需要設定hitRate的最小值和falseAlarmRate的最大值，以保證訓練具有較高的效率。本文將minHitRate設定為0.999，maxFalseAlarmRate設定為0.2。在進行舌體定位分割實驗之前，本文預先將原始圖像的長和寬均縮小10倍，以適配級聯分類器訓練產生的模型。

4 基于深度遷移學習的舌象特征分類方法

對舌體區域進行目標檢測的預處理后，用深度學習的方法來提取舌體區域的特征。與傳統的機器學習方法相比，深度學習依賴大規模的數據樣本，這為數據準備和模型訓練2個階段都帶來了巨大的困難。在某些特殊的領域，數據不足更是不可避免的，比如醫學圖像，很多疾病的案例本身就比較特殊，能采集到的數據比較少，而做好標簽的醫學圖像數據就更加難以獲取。為了解決因樣本量不足而帶來的深度網絡無法提取到有效特征的問題，本文提出通過改進3種不同的具有代表性的卷積神經網絡(Inception_v3、ResNet18和ResNet50)并分別進行深度遷移學習訓練來實現舌象特征的分類，如圖4所示。

Figure 4 Flow chart of tongue feature classification圖4 舌象特征分類流程圖

傳統的卷積神經網絡中，卷積層和池化層是順序連接的。通常有2種方式提高神經網絡的性能，即增加網絡的深度和寬度。其中，深度指的是網絡層次數量，寬度指的是網絡中神經元的數量。舌象數據具有豐富的特征，因此需要一個足夠深的神經網絡來提取舌體圖像上的特征。但是，隨著網絡深度的增加會產生以下問題：(1)參數過多，在訓練集有限的情況下，很容易產生過擬合；(2)網絡越大、參數越多，計算的復雜度就越大，使得網絡本身難以應用；(3)網絡越深，容易出現梯度彌散的問題。

為了解決上述問題，本文選取了Inception_v3、ResNet18和ResNet50 3種不同的神經網絡，它們既擁有較深的網絡層次，可以提取足夠豐富的圖像特征，同時它們又具有不同的網絡優化策略，可以進一步提升網絡的性能。

4.1 用于遷移學習的3種深度神經網絡

為了在增加網絡深度和寬度的同時能夠減少參數，GoogLeNet團隊提出了Inception網絡結構，即構造一種“基礎神經元”結構來搭建一個具有稀疏性且具有高計算性能的網絡。如圖5所示，Inception模塊由4個主要結構組成：1×1卷積核、3×3卷積核、5×5卷積核和3×3池化，核心思想是通過多個卷積核提取圖像不同尺度的信息，最后進行融合，從而得到圖像更好的表征。

Figure 5 Inception module圖5 Inception模塊

由級聯分類器定位分割的舌體圖像中，舌體部分占整幅圖像的比例不定，會干擾神經網絡對舌象特征的學習訓練，而Inception_v3網絡采用不同的卷積核來代替單一的卷積核，可以提取不同尺度的圖像信息，有效地避免了因舌體在圖像中所占比例的不同而帶來的識別準確度下降的問題。

與Inception_v3相似，ResNet也是一種較深的網絡結構，如圖6所示，但與Inception_v3采用多種卷積核提取不同尺度信息不一樣，殘差網絡利用殘差模塊的思想來解決隨著網絡加深，網絡準確度反而下降的問題。殘差網絡借鑒了Highway Network思想，相當于開了個“捷徑”使得輸入矩陣X可以直達輸出，優化的目標由原來的擬合輸出變成輸出和輸入的差。因此，殘差網絡可以很好地解決隨著網絡層數的加深而導致網絡退化的問題。

Figure 6 Residual module圖6 殘差模塊

殘差網絡主要有5種不同深度的神經網絡結構，深度分別為18，34，50，101，152層。這些殘差網絡不僅在網絡深度上不同，在網絡結構上也有區別，它們由不同的基本模塊構成。其中ResNet18和ResNet34由BasicBlock(如圖7a所示)組成，而ResNet50及更深的殘差網絡由BottleNeck(如圖7b所示)組成。與BasicBlock不同，BottleNeck分別使用1×1,3×3和1×1的卷積核來壓縮維度、卷積處理和恢復維度，因為隨著網絡層數的加深，需要考慮網絡模型的計算效率，而引用BottleNeck結構可以有效節省網絡的計算成本。

Figure 7 BasicBlock and BottleNeck圖7 BasicBlock和BottleNeck

這3種深度神經網絡不僅在網絡深度上有所不同，在網絡結構上也有著各自的優化策略。因此，本文通過改進這3種網絡來進行舌象特征分類的深度遷移學習訓練，既驗證了不同的網絡在解決舌象特征分類問題上的有效性，也分析了神經網絡的深度對分類準確度的影響。

4.2 基于深度遷移學習的舌象特征分類方法

本文將深度遷移學習和舌象特征分類問題相結合，通過改進上述3種不同的神經網絡，提出了基于深度遷移學習的舌象特征分類方法。將經過分割后的舌體圖像作為神經網絡的輸入，再用不同的深度神經網絡對舌象特征進行提取，最后訓練生成舌象特征分類模型，實現對3種不同舌象特征的分類預測。本文將深度遷移學習應用于舌象特征分類問題，有效避免了因樣本量不足導致分類模型性能下降的問題，提高了網絡模型的穩定性和分類準確度。

Figure 8 Tongue feature classification based on deep transfer learning圖8 基于深度遷移學習的舌象特征分類

本文選取的3種深度神經網絡有不同的網絡優化設計，能夠對圖像數據進行有效的特征提取。但由于本文選取的舌體圖像數據集與原網絡使用的ImageNet數據集在樣本規模和分布上存在較大差異，因此這些網絡在網絡結構和訓練參數設置上無法適應本文的舌象特征分類問題，容易出現過擬合和梯度消失的情況，從而導致網絡模型無法得到有效收斂。為了實現網絡模型的有效收斂以及提升網絡的穩定性和性能，本文在原有的神經網絡上進行了如下改進：(1)保留原網絡的特征提取層，刪除網絡原有的輸出層，加上一層全局池化層(Global Average Pooling Layer)和一層全連接層(Fully-connected Layer)并通過Softmax函數進行輸出；(2)選用隨機梯度下降SGD(Stochastic Gradient Desent)算法來優化網絡訓練；(3)針對不同的網絡模型，設置不同的學習率以實現有效的特征擬合。通過對網絡的改進，有效防止了網絡模型過擬合的發生，提高了網絡的穩定性和分類準確度。

如圖8所示，首先將預處理后的舌體圖像數據按照神經網絡輸入層所需要的數據輸入尺寸進行縮放，將輸入圖像的大小分別改為224×224(ResNet)和299×299 (Inception_v3)，再通過3種不同的神經網絡對舌象特征進行特征提取，根據本文的舌象特征分類需求重寫原網絡的輸出層并進行深度遷移學習訓練，最終更新了網絡的模型參數，建立了新的舌象特征分類模型。

本文使用分割后的舌體圖像數據作為深度遷移學習的數據集，有效降低了使用原始圖像數據時背景區域對舌象特征分類識別的干擾。同時采用遷移學習的方法可以有效避免因舌體圖像樣本量的不足對網絡訓練帶來的影響。由于原有網絡中全連接層參數量過大，降低了訓練的速度，同時容易產生過擬合，因此，本文采用全局池化層代替原有的全連接層輸出，改進了原有的網絡結構，使整個網絡在結構上實現正則化，從而防止過擬合的發生。針對每一個網絡結構，選擇3種不同的舌象特征分類問題對網絡性能進行測試，以分析神經網絡在學習不同舌象特征時的表現。同時，在3種不同深度的神經網絡上進行遷移學習，通過對比3種網絡的分類準確度，分析了不同的網絡結構在解決舌象特征分類問題時的性能，同時也分析了神經網絡的深度對舌象特征分類結果的影響。

5 實驗

為了驗證本文提出的基于深度遷移學習的舌象特征分類方法的有效性，使用從專業中醫醫療機構獲取的舌體圖像作為數據集并進行測試。首先通過級聯分類器對舌體圖像進行分割處理，然后將分割好的舌體圖像數據在不同深度的神經網絡上進行遷移學習訓練，并針對3種不同的舌象特征分類問題進行了對比實驗。

5.1 數據集

本文的實驗數據由上海中醫藥大學許家佗教授實驗室提供，這些圖像數據來自多個醫院采集點，通過許家佗實驗室自主研發的中醫舌診儀進行采集，并由中醫專家進行分類標定。其中包括：齒痕舌516幅，非齒痕舌566幅，裂紋舌391幅，非裂紋舌250幅，厚苔舌392幅，薄苔舌130幅，原始舌象圖像的大小固定為5568×3172像素。在進行分類實驗之前，對數據進行數據增強，包括旋轉角度、平移、翻轉等操作，以保證不同舌象特征的舌象數據具有相同規模的訓練集、驗證集和測試集，其中訓練數據800例，測試數據100例，驗證數據100例。

本文用于分類的舌象特征分別是：齒痕舌與非齒痕舌、裂紋舌和非裂紋舌以及厚薄舌苔，它們的基本特征如圖9所示。

Figure 9 Six typical tongue features圖9 6類典型舌象特征

5.2 性能評估指標

在機器學習領域，對模型的測量和評估是至關重要的，只有選擇與問題相匹配的評估方法，才能快速地發現在模型選擇和訓練過程中可能出現的問題，迭代地對模型進行優化。而在分類問題上，通常用分類準確度來評估網絡模型的好壞，根據分類器在測試數據集上的預測或正確或不正確可以分為4種情況：TP指將正類預測為正類的數目；FN指將正類預測為負類的數目；FP指將負類預測為正類的數目；TN指將負類預測為負類的數目；P表示所有正類的數目；N表示所有負類的數目。模型的準確度計算方法如式(7)所示：

(7)

由式(7)可知，模型準確度指的是測試集中的樣本被正確預測的比例。通過分析準確度可以評估一個網絡模型是否具有良好的識別性能。

5.3 實驗結果與分析

本文在3種網絡上進行遷移學習，訓練參數如表1所示。

Table 1 Training parameters of deep transfer learning network proposed in this paper表1 本文提出的深度遷移學習網絡訓練參數表

為了研究網絡深度對舌象特征分類性能的影響，將本文方法與另外3種具有不同深度的神經網絡(LeNet-5[25]、AlexNet、VGG16)進行對比。同時直接在ResNet18、ResNet50和Inception_v3上進行特征學習，與改進后的遷移學習方法進行比較，進一步分析神經網絡深度和網絡結構對網絡分類性能的影響。

本文對不同深度的神經網絡采用非遷移學習和遷移學習的方式來進行特征提取和分類，由表2所示的分類準確度對比可見，對于淺層的網絡，隨著網絡層數的加深，特征分類的準確度總體呈現上升的趨勢，這是因為網絡層數越深，網絡能夠學習到更加抽象的特征，有利于對不同舌象進行分類識別。然而，當網絡層數繼續加深時，網絡的分類準確度卻陡然下降，這是因為訓練樣本量少，網絡產生了過擬合的情況。

Table 2 Comparison of accuracy of tongue feature classification between deep transfer learning method and other networks表2 本文提出的深度遷移學習方法 與不同網絡的舌象特征分類準確度對比 %

而本文提出的遷移學習方法在面對小樣本的數據時，依然呈現出良好的分類性能，實現了深度神經網絡下的小樣本舌象數據的遷移學習。通過對實驗結果的分析，可以得到以下幾點結論：(1)與非遷移學習的方法相比，本文提出的深度遷移學習方法在舌象特征分類準確度上得到了提升，同時降低了深度神經網絡的學習成本，加快了網絡模型的訓練速度； (2)本文改進的3種卷積神經網絡在深度遷移學習任務上表現各異，對3類不同的舌象特征達到了85%以上的平均分類準確度，其中基于Inception_v3的遷移學習方法表現最佳，平均分類準確度達到94.88%；(3)由于表2中的神經網絡層數是依次增加的，可以看出，隨著網絡層數的加深，分類識別的準確度在不斷提高，其原因是網絡層數越深，網絡能夠提取的圖像特征就越豐富，生成的分類模型就具有更好的穩定性和性能。

5.4 不同圖像預處理方法對舌象特征分類的影響

為了進一步探究不同的舌象數據集對深度遷移學習特征提取過程的影響，本文選取3種不同的訓練數據：原始舌象圖像、基于GrabCut分割的舌體圖像和基于級聯分類器定位的舌體圖像(如圖10所示)，通過在VGG16網絡上進行深度遷移學習來探究不同分割效果的數據在深度遷移神經網絡中的特征提取性能。

Figure 10 Segmentation images of 3 kinds of tongue images圖10 3種舌象分割圖

Table 3 Tongue feature classification accuracy based on different segmentation methods

通過表3所示的實驗結果可知，對比原始圖像，經過GrabCut分割和級聯分類器定位分割后的舌象圖像在進行深度遷移訓練后的分類準確度都有了明顯的提升。基于GrabCut算法雖然實現了舌體分割的自動化過程，但在分割的穩定性和準確度上有所欠缺。而本文方法在分類準確度上高于傳統分割方法，同時在時間、人力成本上又遠低于傳統分割方法。因此，本文選擇通過級聯分類器的方法來對原始數據進行自動舌體定位，為后續探究不同網絡結構和網絡深度對舌象特征分類的影響提供了良好的數據基礎。

6 結束語

本文提出了一種基于深度遷移學習的舌象特征分類方法，首先利用級聯分類器實現有效的舌體定位分割；然后再通過改進3種不同的深度神經網絡模型來對分割后的舌體數據進行遷移學習訓練；最終實現舌象特征的分類識別，提升了舌象特征分類的準確度。其中，改進后的Inception_v3網絡在3種舌象特征分類問題上都表現優異，平均準確度達到94.88%。ResNet50網絡在厚薄苔分類問題上表現突出，達到了96.88%的準確度。由此可見，深度學習方法可以很好地解決傳統中醫舌象分類問題，這將有力地推動中醫舌診的智能化和客觀化發展。