基于深度學(xué)習(xí)的中醫(yī)舌象圖像分割研究

★ 鐘振 楊朝陽(yáng)（福建中醫(yī)藥大學(xué)中醫(yī)證研究基地 福州 350122）

中醫(yī)通過“望聞問切”四種診斷方式，獲取患者與疾病相關(guān)的體征信息，再基于辨證論治對(duì)疾病進(jìn)行診斷。舌診是中醫(yī)臨床診斷的重要內(nèi)容之一，對(duì)舌診進(jìn)行客觀化研究是中醫(yī)現(xiàn)代化研究的重要組成部分。其中，舌象圖像分割技術(shù)在舌診客觀化中扮演了一個(gè)非常重要的角色。具體來說，這種技術(shù)將舌體從中醫(yī)舌象圖像中分離出來［1］，它可以確定舌體的邊緣，減少周圍環(huán)境的影響，更能為之后的舌診客觀化研究提供方便。

1 研究背景

常用的舌象圖像分割方法主要包括基于邊緣檢測(cè)的分割法［2-3］、基于顏色與模型的分割法［4-9］、基于深度學(xué)習(xí)的分割法［10-11］。

在基于邊緣檢測(cè)的分割法中，王愛民等［2］采用矢量Prewitt算子和多尺度組合正則化，提出一種新的邊緣檢測(cè)方法。該算法先對(duì)圖像進(jìn)行正則化處理，然后結(jié)合多尺度的矢量Prewitt算子對(duì)圖像邊緣進(jìn)行檢測(cè)，最后將檢測(cè)出的邊緣對(duì)舌象圖像進(jìn)行分割。Zuo W等［3］結(jié)合邊緣檢測(cè)和主動(dòng)輪廓模型進(jìn)行分割，該方法首先檢測(cè)舌體的初始邊緣，然后過濾無用邊緣，最后結(jié)合主動(dòng)輪廓模型分離舌體與背景。

在基于顏色與模型的分割法中，Li Z等［4］提出了基于HSI和RGB色度空間的閾值化中醫(yī)舌象圖像分割方法。該方法首先對(duì)HSI（色相，飽和度和強(qiáng)度）色度空間的色相分量進(jìn)行轉(zhuǎn)換以確定初始舌體區(qū)域。然后對(duì)RGB色度空間的紅色分量進(jìn)行圖像閾值處理，找到舌根與上唇之間的間隙區(qū)域，最后進(jìn)行形態(tài)學(xué)運(yùn)算確定最終舌體區(qū)域。Ning J［5］提出了一種基于區(qū)域融合的自動(dòng)舌象圖像分割算法。該算法首先使用分水嶺算法將舌象圖像分割成許多小區(qū)域，然后將顏色相似的區(qū)域合并，最后使用Snake算法來細(xì)化區(qū)域合并結(jié)果并獲得最終的分割舌體。衛(wèi)保國(guó)等［6］首先使用半自動(dòng)分割方法大致描繪出舌體區(qū)域的邊緣輪廓線，獲得初始邊緣點(diǎn)，再對(duì)初始的邊緣點(diǎn)進(jìn)行擬合得到更平滑的舌體輪廓。孫煬等［7］提出分裂-合并算法進(jìn)行中醫(yī)舌象圖像分割。該方法基于舌像的RGB顏色特征，根據(jù)顏色將舌像分裂成不同區(qū)域，合并相似的區(qū)域，最終合并的結(jié)果為分割結(jié)果。Li W等［8］提出了一種新的主動(dòng)輪廓模型作為分割方法。通過HSV空間中的舌頭特征初始化Snake的初始輪廓。再用多分辨率小波（Gabor）生成圖像邊緣能量的主動(dòng)輪廓模型并分割出最終的舌體。Pang B等［9］提出了一種基于雙橢圓形可變形模板和活動(dòng)輪廓模型（即雙橢圓形可變形輪廓）的中醫(yī)舌象圖像分割方法，該方法先采用雙橢圓形可變形模板得到大體的形狀特征，然后使用活動(dòng)輪廓模型約束形狀特征，得到分割的舌像。然而，舌體與嘴唇顏色接近，用上述方法很難將舌體與嘴唇分開。

在基于深度學(xué)習(xí)的分割法中，王麗冉［10］采用兩階段卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行舌體分割，第一階段確定舌體定位，降低背景信息的干擾，第二階段通過Fs-net對(duì)定位的舌體進(jìn)行精細(xì)分割。該方法能較好地分割舌象圖像。Zhou C［11］針對(duì)舌體定位和分割的提出了一種端到端的網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)運(yùn)用特征金字塔網(wǎng)絡(luò)提取多尺度舌體特征。然后利用多尺度舌體特征圖分離舌體與背景。

2 方法

本網(wǎng)絡(luò)基于PyTorch框架，實(shí)驗(yàn)的具體流程為：收集舌象圖像、標(biāo)注舌象標(biāo)簽、進(jìn)行數(shù)據(jù)增強(qiáng)、部署深度學(xué)習(xí)框架。并采用數(shù)據(jù)增強(qiáng)之后的數(shù)據(jù)集進(jìn)行舌象圖像分割的訓(xùn)練與測(cè)試。

2.1 數(shù)據(jù)收集與數(shù)據(jù)準(zhǔn)備本文選用國(guó)際照明委員會(huì)（CIE）推薦使用的代表日光的標(biāo)準(zhǔn)光源D65進(jìn)行照明。自然光下使用該標(biāo)準(zhǔn)光源,采集中醫(yī)高清舌診圖像120張，像素為480×640，照片格式為jpg。在標(biāo)簽制作部分首先使用人工檢查的方式對(duì)舌體和背景進(jìn)行判斷，再使用PhotoShop對(duì)舌體和背景進(jìn)行分割生成標(biāo)簽，最后交由中醫(yī)學(xué)教授進(jìn)行二次評(píng)估篩選不合格的標(biāo)簽，并進(jìn)行重新分割，直到合格。此外，舌象圖像按數(shù)字排列順序進(jìn)行命名，起點(diǎn)為000，舌像和標(biāo)簽形式如圖1。

圖1 原始中醫(yī)舌象圖像與標(biāo)簽

2.2 數(shù)據(jù)增強(qiáng)由于深度學(xué)習(xí)的模型在小數(shù)據(jù)集下容易出現(xiàn)過擬合，因此訓(xùn)練一個(gè)成熟的模型需要大量的舌象圖像數(shù)據(jù)。本文使用數(shù)據(jù)增強(qiáng)技術(shù)獲取足夠的訓(xùn)練數(shù)據(jù)。具體來說，先用python語言編寫數(shù)據(jù)增強(qiáng)程序，然后輸入原始圖像和標(biāo)簽，并運(yùn)用數(shù)據(jù)增強(qiáng)程序旋轉(zhuǎn)，平移，縮放，添加噪聲等方法，將原始的120張帶標(biāo)簽的舌診圖片增加到12000張以進(jìn)行網(wǎng)絡(luò)訓(xùn)練。原始舌象圖像及增強(qiáng)之后的舌象圖像見圖2。

圖2 原始中醫(yī)舌象圖像與增強(qiáng)圖像

2.3 舌像分割網(wǎng)絡(luò)本文使用U-Net進(jìn)行中醫(yī)舌象圖像分割。該網(wǎng)絡(luò)包含兩個(gè)部分：編碼器和解碼器（見圖3）。編碼主要用于壓縮和提取舌像特征，它包含10層卷積核為3×3卷積層。每層卷積層之后采用批歸一化加速網(wǎng)絡(luò)訓(xùn)練，以及ReLU激活函數(shù)提高神經(jīng)網(wǎng)絡(luò)對(duì)模型的表達(dá)能力。此外，在壓縮特征步驟，筆者在每?jī)蓚€(gè)卷積層后使用池化核為2×2最大池化層，該池化層只保留每個(gè)2×2網(wǎng)格內(nèi)像素特征的最大值，通過最大池化層，特征被壓縮至原來的四分之一，以便后續(xù)的特征提取。

解碼器通過基于編碼器提取的特征重構(gòu)輸出。其中，卷積核為3×3反卷積層用于重構(gòu)需要預(yù)測(cè)的特征。此外，為了加強(qiáng)淺表特征的表達(dá)能力，筆者采用跳躍連接操作，該操作直接將對(duì)應(yīng)的編碼特征層和解碼層特征一一拼接（如圖3），該操作顯著加強(qiáng)網(wǎng)絡(luò)的分割能力。網(wǎng)絡(luò)框架如下。

圖3 U-Net網(wǎng)絡(luò)結(jié)構(gòu)圖

2.4 基于PyTorch構(gòu)建模型結(jié)合U-Net和數(shù)據(jù)增強(qiáng)技術(shù)，訓(xùn)練的中醫(yī)舌像模型能在中醫(yī)舌像分割中有良好的表現(xiàn)。為了構(gòu)建精確模型，筆者首先參照論文，用PyTorch框架構(gòu)建U-Net［12］模型。然后使用經(jīng)過人工分割的舌像圖片訓(xùn)練模型的參數(shù)。具體的訓(xùn)練流程為：初始化網(wǎng)絡(luò)權(quán)重，加載實(shí)驗(yàn)數(shù)據(jù)，提取舌象圖像特征，預(yù)測(cè)舌象圖像標(biāo)簽，判斷預(yù)測(cè)的標(biāo)簽是否與人工標(biāo)簽相符合，計(jì)算損失，反向傳遞損失并更新網(wǎng)絡(luò)參數(shù)，迭代前面的步驟直到達(dá)到目標(biāo)迭代次數(shù)，完成訓(xùn)練，生成中醫(yī)舌象圖像分割模型，在測(cè)試集上進(jìn)行測(cè)試，評(píng)估模型的性能。

在訓(xùn)練過程中，訓(xùn)練迭代次數(shù)為1 000次，學(xué)習(xí)率為10-3，訓(xùn)練批量設(shè)置為8，網(wǎng)絡(luò)優(yōu)化器設(shè)置為Adam，損失函數(shù)為交叉熵?fù)p失函數(shù)。該網(wǎng)絡(luò)的實(shí)驗(yàn)環(huán)境：CPU處理器為i7八代處理器，GPU處理器為NVIDIA 1080ti，內(nèi)存為16G，硬盤500G。實(shí)驗(yàn)平臺(tái)為Window 10。

3 結(jié)果

3.1 模型效果評(píng)估為了評(píng)估白細(xì)胞分割算法的性能，本次實(shí)驗(yàn)采用精確率（Precision）、Dice系數(shù)（Dice coefficient）、mIoU（MeanIntersection over Union）、以及錯(cuò)分類誤差（Misclassification Error, ME）進(jìn)行評(píng)價(jià)。這些參數(shù)通過網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果與人工分割的標(biāo)簽進(jìn)行對(duì)比以判別結(jié)果。例如，同一張舌象圖像，預(yù)測(cè)的舌體與人工標(biāo)簽相同則為真陽(yáng)性（TP），若不同則為加假陰性（FN），若人工標(biāo)注的舌體像素沒有被預(yù)測(cè)則稱為真陰性（FP），若預(yù)測(cè)的和人工標(biāo)注的都為背景則為真陰性（TN）。計(jì)算公式為：

3.2 實(shí)驗(yàn)結(jié)果為了驗(yàn)證本文算法的有效性，筆者把本文的算法、基于深度學(xué)習(xí)及數(shù)據(jù)增強(qiáng)的FCN［13］算法和未進(jìn)行數(shù)據(jù)增強(qiáng)的U-Net算法在包含30張舌像數(shù)據(jù)集上進(jìn)行測(cè)試。筆者采用了4個(gè)評(píng)估指標(biāo)：精確率（Precision）、Dice系數(shù)（Dice coefficient）、mIoU（MeanIntersection over Union）、以及錯(cuò)分類誤差（Misclassification Error, ME）來評(píng)價(jià)分割效果。其中精確率、Dice、mIoU越高效果越好，錯(cuò)分類誤差越低效果越好。表1是幾個(gè)算法的測(cè)度平均值，筆者把最好的結(jié)果進(jìn)行加粗標(biāo)記。從表1可以看出，本文算法的精確率為0.9545、Dice系數(shù)為0.967 3、mIoU系數(shù)為0.956 3、錯(cuò)分類誤差為0.017 8。從實(shí)驗(yàn)結(jié)果分析，相較其他算法，本文算法取得了最優(yōu)的結(jié)果。

表1 舌像分割結(jié)果

從可視化結(jié)果分析（見圖4），在宏觀上，基于深度學(xué)習(xí)的算法均可以精準(zhǔn)定位舌體方位，且對(duì)舌體周圍環(huán)境不敏感，對(duì)中醫(yī)舌象圖像表現(xiàn)出較強(qiáng)的適應(yīng)性。但在微觀上，本文算法對(duì)于舌體邊緣的分割好于FCN及未進(jìn)行數(shù)據(jù)增強(qiáng)的U-Net。

圖4 中醫(yī)舌象圖像分割測(cè)試結(jié)果可視化圖

4 討論

舌診是中醫(yī)辨證論治的一個(gè)重要核心之一，它在中醫(yī)臨床診斷中起著重要的作用。通過舌診中醫(yī)醫(yī)生可以了解人體臟腑的虛實(shí)，辨別病邪的深淺，病性的寒熱，判斷病勢(shì)的輕重變化。然而，傳統(tǒng)的中醫(yī)舌象辨識(shí)依賴醫(yī)生肉眼的觀察與經(jīng)驗(yàn)［14］，容易被個(gè)人的主觀意志、外部環(huán)境（比如光線、溫度等）影響［15］。中醫(yī)舌診客觀化旨在建立客觀統(tǒng)一的辨識(shí)標(biāo)準(zhǔn)。中醫(yī)舌象圖像分割是舌診客觀化的基礎(chǔ)之一，主要用于分割舌體和背景，減少周圍環(huán)境的影響，為后續(xù)的舌象圖像處理打下基礎(chǔ)。傳統(tǒng)的算法在它們的數(shù)據(jù)集上展現(xiàn)了不錯(cuò)的性能，但它們依賴一些特定的光照條件和環(huán)境，且容易混淆舌體和嘴唇，這將為后續(xù)的舌診客觀化帶來困難。本研究模型首先通過編碼器進(jìn)行舌象圖像特征提取，再通過解碼器進(jìn)行舌象圖像分割預(yù)測(cè)，以端到端的方式精確分割舌象圖像的舌體和背景，且結(jié)合數(shù)據(jù)增強(qiáng)技術(shù)解決了中醫(yī)舌像數(shù)據(jù)量少的問題，具有較強(qiáng)的泛化能力，能較好地完成舌診客觀化下的舌象圖像分割。

從實(shí)驗(yàn)結(jié)果分析，本模型可以較好地分割從中醫(yī)舌象圖像中分割出舌體和背景，且不受舌象圖像位置的影響，當(dāng)舌體位置或舌體方向不一致時(shí)，該模型仍能進(jìn)行較好的分割。同其他深度學(xué)習(xí)分割算法相比，本算法對(duì)舌體邊緣的分割優(yōu)于FCN。這是由于FCN結(jié)構(gòu)簡(jiǎn)單，細(xì)節(jié)分割較差；此外，本算法顯著優(yōu)于未進(jìn)行數(shù)據(jù)增強(qiáng)的U-Net，這是因?yàn)樵紨?shù)據(jù)的訓(xùn)練數(shù)據(jù)較少。因此未進(jìn)行數(shù)據(jù)增強(qiáng)的U-Net很容易出現(xiàn)過擬合，導(dǎo)致分割結(jié)果不佳。

此外，從可視化結(jié)果（圖4）可以看出，本模型分割的舌體邊緣常附帶背景像素或缺失少量的舌體像素，因此本模型對(duì)舌體邊緣分割的精確度還需加強(qiáng)。雖然本研究已經(jīng)通過跳躍連接融合淺層特征和深層特征，但融合的淺層特征不夠充足，這也是導(dǎo)致舌象圖像的邊緣精度不夠高的原因。盡管本模型對(duì)舌體邊緣的分割稍顯不足，但0.954 5的精確率，Dice系數(shù)為0.967 3、mIoU系數(shù)為0.956 3、0.017 8的錯(cuò)分類率，以及對(duì)周圍環(huán)境較強(qiáng)的適應(yīng)性說明：本模型可以較好的完成中醫(yī)舌象圖像分割。

雖然基于深度學(xué)習(xí)和數(shù)據(jù)增強(qiáng)技術(shù)舌象圖像分割具有一定優(yōu)點(diǎn)，但仍存在一些問題。（1）標(biāo)簽問題，深度學(xué)習(xí)的標(biāo)簽來源于人工分割，但是人為的分割會(huì)不可避免的帶來一些誤差，因此需要設(shè)計(jì)一種程序客觀地評(píng)估誤差的范圍是否合理。（2）應(yīng)用問題，舌象圖像分割在舌診客觀化中扮演了一個(gè)十分重要的角色，但它主要起輔助作用。因此需要設(shè)計(jì)一種新的網(wǎng)絡(luò)，結(jié)合分割網(wǎng)絡(luò)自動(dòng)進(jìn)行舌象診斷。例如，輸入圖片，系統(tǒng)自動(dòng)診斷舌象圖像的舌質(zhì)與舌苔。（3）邊緣精度問題，雖然基于深度學(xué)習(xí)的舌象圖像分割取得了較好的結(jié)果，但網(wǎng)絡(luò)淺層特征提取欠缺，邊緣分割精度較差。因此需要設(shè)計(jì)一種更有效的淺層特征提取層結(jié)合U-Net，減少舌體邊緣分割的誤差。此外，深度網(wǎng)絡(luò)模型對(duì)邊緣的分割精度較差，如何設(shè)計(jì)一種更有效的淺層特征提取模型，如何結(jié)合分割網(wǎng)絡(luò)對(duì)舌象圖像進(jìn)行自動(dòng)診斷，使之能實(shí)地的應(yīng)用，仍值得進(jìn)一步研究。