基于舌圖像多特征融合與機器學習的裂紋舌識別算法

趙 穎，李玉雙,*，武小榮

(1.燕山大學 理學院，河北 秦皇島 066004；2.北京貝葉斯健康科技有限公司，北京 100080)

0 引言

“舌診”是中醫“望、聞、問、切”四診中“望診”的重要形式之一。通過觀察舌象，專家可以鑒別患者中醫證型，進而確定合適的治療方法。裂紋舌是舌診中的重點關注癥狀，舌裂紋形態不一，位置不定、深淺不同、數量不等，多因內熱、素體陰虛、脾腎陽虛、肝氣升發、氣血失和等因素導致[1-2]，常見于溫熱病后期、2型糖尿病氣陰兩虛夾瘀證、慢性濕疹以及甲狀腺炎患者[3-6]。可見，裂紋舌能夠客觀、準確地反映某些典型疾病和中醫證候的變化，為醫生提供有價值的診斷信息。然而，傳統的裂紋舌診斷主要基于醫生的主觀觀察，易受個人經驗、環境變化的影響。將數字圖像處理和模式識別等技術應用于裂紋舌智能診斷，提高傳統診斷的客觀化、定量化、標準化已成為中醫舌診的迫切需要，具有重要的現實意義和應用價值。

裂紋舌智能識別模型是當前裂紋舌研究的主要內容之一，迄今為止依然存在很多困難。首先，在舌圖像獲取的過程中不可能完全避免嘴唇和下顎周邊區域的干擾，舌圖像預處理恰當與否直接影響后續研究。其次，相較于正常舌圖片，裂紋舌圖片的收集會更困難，這樣會出現實驗樣本中裂紋舌圖片與正常舌圖片數量比例不均衡的現象，或者實驗樣本量小，這些因素影響了識別模型的預測效果和泛化性能。最后，由于舌裂紋周圍組織的顏色分布比較復雜，導致舌裂紋與周圍組織的顏色對比度不明顯，致使真、假舌裂紋可能產生相似的識別模型，造成假陽性或假陰性。為了克服上述困難，研究者提出了多種行之有效的解決方案。一類是基于人工特征的機器學習模型，如王鵬等人提出了歐式聚類舌體分割算法，以及基于法線區域分割的舌裂紋提取算法，能夠有效地完成舌體分割和舌裂紋提取[7]；Wan Chao等人利用中值濾波、直方圖均衡化、數學形態學進行舌體分割預處理，提取舌圖像的局部二值模式特征、定向梯度直方圖特征和類haar特征，應用支持向量機實現了258張裂紋舌像與254張無裂紋舌像的高效分類[8]。Li Xiaoqiang等人提出了一種基于寬線檢測器的統計形狀特征(Wide Line Detector based statistical shape Feature, WLDF)來識別舌裂紋，將196張裂紋舌和245張無裂紋舌的WLDF特征輸入到SVM中訓練，達到0.95的準確率[9]。另一類是基于卷積神經網絡的深度學習模型，如Li Mengyi等人在U-Net的編碼器中引入全局卷積網絡模塊，解決了編碼部分相對簡單，不能提取相對抽象的高層語義特征的問題，對舌裂紋具有更好的分割效果和更高的分割精度[10]。Song Chao等人使用深度遷移學習進行舌像分析，通過預訓練網絡提取舌像特征，用全局平均池化和全連接層重寫原始網絡的輸出層，對391張裂紋舌和250張無裂紋舌的分類準確率達到了0.94[11]。除了以上兩類方法，Li Xiaoqiang等人充分利用機器學習和深度學習的優勢，聚焦舌裂紋區域和非裂紋區域，利用AlexNet提取裂紋區域的深度特征，并將裂紋舌識別問題視為多實例學習問題，借助多實例支持向量機訓練700多張舌像實現裂紋舌的有效識別[12]。

上述工作在一定程度上推動了裂紋舌智能識別的研究進程，但相對于中醫舌診在其他領域(如舌苔、舌質、舌色等)的研究進展，裂紋舌研究成果積累較少，發展緩慢，存在很大的提升和拓展空間。例如，由于劣質舌象均影響舌象顏色、形狀、質地的分析[13]，智能舌診模型往往對舌像采集提出了較高要求，包括設備、照明等條件的限制。然而中醫臨床診斷中可能不具備這些設施條件，醫生需在不同的環境下通過眼睛觀察患者舌像，確定患者的證候。因此，普適性裂紋舌識別模型更具臨床適用性。此外，舌裂紋的形狀、位置、數量、深淺的多樣性會讓舌裂紋的分割變得更加復雜而困難，基于舌裂紋提取人工特征的裂紋舌識別模型易出現不穩定性[12]。如果從舌像本身出發，則需要充分挖掘能夠反映裂紋舌全面信息的圖像特征，以及不同特征在不同分類器中的適用性。基于舌像或舌裂紋的深度學習模型雖然能夠取得理想的識別效果，但其通常要求大樣本量，且其黑盒屬性不利于臨床解釋。

鑒于以上分析，本文采集了手機拍攝的2 033張舌像，從舌像的紋理、顏色、形狀三個層面提取特征，借助四個經典的機器學習模型闡釋三類特征識別裂紋舌的適用性和泛化性，并進一步通過兩類深度學習模型驗證基于三類特征的機器學習模型識別裂紋舌的有效性。

1 材料和方法

為方便理解文章流程，圖1描述了具體的研究框架。先是對原始舌像進行舌體分割形成了文章所需的數據集。采用機器學習和深度學習兩分支對裂紋舌進行分類預測：左邊分支是機器學習模型，先是對圖像進行特征提取，然后用四類機器學習模型邏輯回歸(Logistic Regression, LR)、隨機森林(Random Forest, RF)、分布式梯度提升庫(eXtreme Gradient Boosting, XGBoost)和自適應提升樹(Adaptive Boosting, AdaBoost)對裂紋舌進行識別；右邊分支展示了基于殘差神經網絡(Residual Network, ResNet) 和密集連接的卷積網絡(Densely Connected Convolutional Networks,DenseNet)的深度學習模型進行裂紋舌識別。

圖1 流程圖Fig.1 The workflow

舌圖像數據來源于北京貝葉斯健康科技有限公司，包含1 127張裂紋舌圖像(記為正樣本)和906張無裂紋舌圖像(記為負樣本)，采集設備為智能手機。原始圖像均包含嘴唇、下顎等噪聲區域(如圖2(a)所示)，為消除這些部位對后續研究的影響，采用Grabcut方法[14]對圖像進行舌體分割(如圖2(b)所示)。為了減少模型訓練時的內存消耗，將分割后的舌圖像統一縮小到256×256像素。

圖2 舌體分割Fig.2 Tongue segmentation

1.1 舌圖像特征

舌圖像的紋理和顏色能夠反映患者身體狀況的變化[15]，裂紋與非裂紋區域存在較為明顯的紋理差異和顏色差異，并且舌裂紋的形狀多樣化(如橫裂紋，豎裂紋，網狀裂紋)。鑒于此，本文提取舌圖像的紋理、顏色和形狀特征，全面刻畫舌圖像信息。

1.1.1 基于GLCM的紋理特征

灰度共生矩陣(Gray Level Co-occurrence Matrix，GLCM)能夠反映圖象灰度關于方向、相鄰間隔、變化幅度的綜合信息，是分析圖象的局部模式及其排列規則的基礎[16]。通過統計計算舌圖像上具有特定灰度和一定距離的兩個像素的狀態確定GLCM，像素對的“偏移”取自4個不同的方向(0°，45°，90°，135°)，進而計算基于GLCM的6個統計量，即角二階矩、對比度、相關性、相異度、熵、同質性。這6個統計量在4個方向上的均值和方差構成了舌圖像的12維紋理特征，記為Texture。

1.1.2 基于顏色矩的顏色特征

RGB顏色模型中的低階顏色矩蘊含了圖像的大部分顏色信息。取三個通道分量的前三階顏色矩，即均值、方差、偏斜度(見式(1)～(3))，構成舌圖像的9維顏色特征，記為COLOR。

(1)

(2)

(3)

其中,pi,j表示在第i顏色通道分量中具有j灰度級的像素的概率，N為像素個數。

1.1.3 基于HOG的形狀特征

向梯度直方圖(Histogram of Oriented Gradient，HOG)是描述局部圖像梯度方向變化的算子，對圖像幾何和光學變形保持良好的不變性，能夠很好地描述局部目標的表象和形狀[17]。HOG特征提取涉及以下幾個步驟：計算圖像梯度；為每個細胞單元構建梯度方向直方圖；把細胞單元組合成更大的塊，塊內歸一化梯度直方圖；最后對所有直方圖進行歸一化并連接生成3 780 (2×2×9×15×7) 維特征。為了降低計算成本，進一步采用主成分分析降維，得到10維形狀特征，記為HOG。

1.2 機器學習模型

LR、RF、XGBoost和AdaBoost是常用的分類模型。LR是一個廣義線性回歸模型，它可以清楚地解釋輸入特征如何通過最終生成的方程來證明輸出的合理性。RF、XGBoost和AdaBoost都屬于集成模型。RF是一種通過構建和合并多個決策樹來獲得更準確和穩定預測的簡單方法，它可以為不平衡分類提供平衡的數據集誤差。XGBoost是梯度提升決策樹的高效實現，具有準確率高、運行效率高、泛化能力強等優點。AdaBoost具有較高的檢測效率，且不易出現過擬合現象。本文將借助這四個機器學習模型驗證三類人工特征在識別裂紋舌方面的適用性和泛化性。

1.3 深度學習模型

卷積神經網絡(CNN)是一類包含卷積計算且具有深度結構的前饋神經網絡，具有表征學習能力，在圖像分類任務中表現良好。本文使用兩類深度卷積神經網絡(DCNN)模型，即ResNet (如圖3所示)和DenseNet(如圖4所示)，作為評價機器學習模型識別裂紋舌能力的參照對象。ResNet易優化，其內部殘差塊使用了跳躍連接，緩解了由深度增加引發的梯度消失問題[18]。DenseNet致力于從特征重用的角度來提升信息和梯度在網絡中的傳輸效率，減少參數計算，緩解梯度消失，具有一定的正則效果[19]。

圖3 ResNet-18示意圖Fig.3 The schematic diagram of ResNet-18

圖4 DenseNet示意圖Fig.4 The schematic diagram of DenseNet

2 實驗

2.1 性能評估指標

為全面評估分類模型的裂紋舌識別性能，引入五個統計指標，即ROC曲線下的面積(AUC)、準確率Eaccuracy、精確率Eprecision、召回率Erecall和F1得分Ef1_score，計算公式為

(4)

(5)

(6)

(7)

其中，TP(True Positive)表示被模型正確預測為裂紋舌的數量，TN(True Negative)表示被模型正確預測為無裂紋舌的數量，FP(False Positive)表示被模型錯誤預測為裂紋舌的數量，FN(False Negative)表示被模型錯誤預測為無裂紋舌的數量。

2.2 模型參數

為避免過擬合，采用交叉驗證方法訓練模型及評估模型性能。使用ShuffleSplit隨機分割訓練集和測試集，比例為9∶1。重復這個隨機排列、分割的過程10次，取10次測試結果的平均值為最終的預測結果。

為了考察不同特征組合對機器學習模型預測性能的影響，特規定：對于給定模型，在不同的輸入特征下其參數保持不變。上述實驗均在Sklearn庫中完成。四種模型的最優參數分別如下：

1) LR：懲罰項為L1，停止迭代的標準為0.001，正則化系數的倒數為200。

2) RF：決策樹數量為600，決策樹最大深度為20，分割內部節點所需最小樣本數量為10。

3) XGBoost：基分類器為gbtree，學習率為0.1，決策樹數量為600，γ=1。

4) AdaBoost：基分類器為DecisionTree-Classifier，決策樹最大深度為7，分割內部節點所需最小樣本數量為20，葉節點上所需最小樣本數為7；算法為SAMME，決策樹數量為300，學習率為0.5。

對于深度學習模型ResNet和DenseNet，在Windows系統上使用PyTorch(1.6版本)和Python(3.7版本)進行實驗。將數據集按照8∶2的比例隨機分為訓練集和測試集。兩種模型的最優參數如下：

1) ResNet：epoch=100，batch_size=4，優化器使用Adam，學習率為0.000 1。

2) DenseNet：epoch=100，batch_size=4，優化器使用梯度下降法，動量為0.9，學習率為0.001，使用LambdaLR更新學習率。

2.3 機器學習模型識別結果

將7種不同組合形式的特征分別輸入四種機器學習模型，得到的AUC如圖5所示。

圖5 4個模型在7種特征下的AUCsFig.5 AUCs of four models with seven types of features

1) 從特征的角度可以看到：對于單一特征，HOG在三個集成學習模型中表現非常突出，遠高于其他兩個單一特征，但在LR中卻很不理想；Texture在四個模型中均優于COLOR，并且這兩個單一特征在4個模型中的預測表現差別不大，尤其是Texture；對于兩兩特征組合，HOG+Texture表現最佳，4個模型的AUC均優于單一特征Texture，在3個模型(LR、XGBoost、AdaBoost)中均優于單一特征HOG，尤其是LR的AUC有大幅提升，但RF的AUC有輕微下降；HOG+COLOR在4個模型中的表現均優于單一特征COLOR，但僅在LR中優于單一特征HOG，在XGBoost和AdaBoost中幾乎無變化，而RF的AUC卻明顯下降；Texture+COLOR雖然在四個模型中的表現均優于單一特征Texture和COLOR，但整體不太理想；對于三類特征組合，在LR和AdaBoost中展示出其多特征融合的優勢，其AUC均高于其他6種特征(組合)，但在RF和XGBoost中差強人意。

2) 從模型的角度可以看到：3個集成模型具有非常相似的AUC分布，而XGBoost和AdaBoost則更為接近，這種現象與3個模型的算法構成密切相關。3個集成模型在6種特征(組合)下的AUC明顯高于LR，充分展示出它們在分類問題中的集成優勢。最令人滿意的是AdaBoost，其在4種特征(組合)下的AUC均高于0.95。

從以上分析中不難發現，不同特征(組合)在不同機器學習模型下的識別效果不盡相同。表1匯總了4個模型在最優特征(組合)下的裂紋舌識別結果：顯然，3個集成模型在5個指標下的預測結果均優于LR；RF 和XGBoost分別在HOG特征和HOG+Texture特征組合下取得較為理想且非常接近的預測結果；AdaBoost在三類特征共同作用下取得了最令人滿意的結果，5個指標均高于0.9，AUC高達0.970 1，與LR相比較，AUC、準確率、精確率、召回率和F1得分分別提高了13%、14%、12%、12%和12%，說明AdaBoost在三類特征融合下具有很好的魯棒性和泛化能力。

表1 四種機器學習模型在最優特征(組合)下的裂紋舌識別結果Tab.1 The cracked tongue recognition results of four machine learning models with the optimal feature (combination)

2.4 深度學習模型識別結果

為進一步驗證基于多特征融合的機器學習模型在識別裂紋舌方面的適用性和有效性，計算了5個深度學習模型的識別結果，如表2所示，ResNet以微弱優勢略勝于DenseNet。顯然，深度學習模型優于機器學習模型。為反應兩類模型之間預測能力的差距，這里給出ResNet18～AdaBoost和DenseNet169～AdaBoost在5個指標下的比較結果：ResNet18的AUC、準確率、精確率、召回率和F1得分分別高于AdaBoost 2%、7%、6%、6%和6%；DenseNet169的AUC、準確率、精確率、召回率和F1得分分別高于AdaBoost 2%、5%、7%、1%和4%。

表2 五種深度學習模型的裂紋舌識別結果Tab.2 The cracked tongue recognition results of five deep learning models

以上數據表明：本文提出的最優機器學習模型的裂紋舌識別能力略低于常用的深度學習模型，再次證明本文所提方法可應用于裂紋舌識別。

3 結論

本研究的主要目的是尋找裂紋舌識別的普適性算法，重點挖掘舌圖像的紋理、顏色和形狀三類特征在不同機器學習模型中的適用性。所提算法應用于智能手機拍攝的2 033張舌圖像，驗證了多特征融合往往有助于提高機器學習模型的預測性能，確定了集成學習模型相較于基礎分類器具有更高的魯棒性和泛化性，尤其是融合三類特征的自適應提升樹(AdaBoost)取得了幾乎能與深度學習相媲美的識別效果，為輔助傳統中醫裂紋舌診斷提供了可選擇方案。提出的算法可進一步應用于其他領域，如與疾病相關聯的智能舌診。