基于視覺和深度學習的智能化中醫檢測系統

萬 治，鄒 遜，張家齊，李紋婷，韋月鮮

（桂林電子科技大學，廣西 桂林 541004）

1 背景

隨著人工智能成為學術界的熱門研究課題，將智能巧妙地融入生活變得更加重要。同時，人們對皮膚在醫學檢測和日常護理方面的關注日益提升。因此，我們啟動了關于基于視覺和深度學習的智能化中醫檢測系統的研究項目，它是將圖像識別和深度學習與傳統中醫相結合的系統，可以搭載在多種處理設備上，為用戶提供實用的人臉健康檢測和狀態監測。

人們在使用智能系統的時候，可通過其檢測自己的容貌，并自我判斷精神狀態和狀態，還可以通過智能系統獲取面部圖像，如拍照或錄取視頻等，來實現一些便利性功能和應用[1]。

在實現本系統過程中，發現現有技術中至少存在如下問題。

在使用智能鏡子的過程中，盡管用戶能夠對自我狀態進行一個初步評估，但由于無法與之前自我狀態進行比較，以及缺乏相應的健康知識，用戶并不能較準確地獲知自己的身體健康狀態。因此，如何使用戶在照鏡子或采集面部圖像的同時，能夠較準確地獲知自身健康狀態，是需要解決的問題。

2 系統的總體設計

系統整體模塊層次圖，如圖1所示。首先通過攝像頭和部分傳感器對數據進行采集，將采集到的人臉等數據傳入人臉識別模塊得到使用者的的相關歷史數據，然后通過膚質檢測模塊、膚色檢測模塊和中醫辯證模塊對采集的數據進行分析得到本次健康檢測的結果，然后將實時監測當前的精神狀態，并與上述的健康檢測結果一起進行實時顯示[2]。

圖1 系統模塊層次圖

3 系統的詳細設計與實現

3.1 人臉識別模塊

我們首先使用人臉錄入模塊將用戶的人臉圖像進行采集與保存，然后自動為用戶在云端創建新的用戶賬戶，將采集到的相關數據進行保存。

接著設備會先對用戶進行人臉識別從而對用戶的身份進行確定，以實現對用戶的健康跟蹤，在人臉識別的過程中，使用的方法是基于不同圖片的特征向量的比對的方法，該系統將本次需要檢測的人臉的圖片特征向量與云端保存和本地保存的圖片的特征向量進行依次的比對，計算不同圖片之間的二范數的大小作為兩張圖片之間的相似度，通過多次實驗得到一個較為準確的相似度閾值作為人臉識別的判斷條件。

3.2 健康檢測模塊

3.2.1 膚質檢測模塊

皮膚痤瘡可以在一定程度上反映一個人的當前健

康狀況，其生成的原因包括局部細菌感染、營養不良、內分泌失調等。面部痤瘡數量越多，則表示當前皮膚狀況越差、相應的健康狀況更需要進行關注；

膚質監測模塊主要以人臉上的痤瘡的數量以及痤瘡的分布位置作為膚質狀態的評判標準。

該模塊采用yolov5進行檢測臉部痤瘡的數量并且定位，但是如果直接使用yolov5模型進行檢測會因環境的干擾而導致檢測結果不準確的情況，故我們在該模塊中使用使用face_recognition.face_locateion對人臉進行定位，然后采取face_recognition.face_endings對獲取圖像文件中的面部進行編碼，先以此來判斷是否存在人臉以及對人臉的位置進行定位，然后將系統采集到的圖像裁剪為只有人臉的圖像，再使用yolov5進行檢測，以提高檢測的準確度[3]。

3.2.2 膚色檢測模塊

根據中醫理論，可將各區域的膚色分為青、黃、白、赤、黑五種，并將每種再分為亮色和暗色兩級，即形成了亮青、亮白、暗赤等十個等級，將每個等級可以做一個量化打分，例如從0～9。根據每個區域的分值，即可判定當前ROI區域所對應的器官的健康狀況，例如是否存在濕熱、血瘀等癥候[4]。

在該系統中使用的是改進alexnet模型[5]，首先將采集到的圖像進行預處理[6]，其過程具體為將用戶的臉劃分為不同的感興趣區域（ROI）[7]，主要通過模型對人臉的各個器官進行定位標記得到坐標，然后使用圖片分割的方法來對各個確定的ROI區域進行分割，然后將ROI輸入到alexnet模型中使用得到不同區域的人臉識別的顏色結果。該功能工作流程如圖2所示。

圖2 膚色檢測模塊

3.2.3 中醫辯證模塊

這種設計可以記錄痤瘡的數量和不同ROI區域的面貌，并結合用戶長期積累的數據，利用基于中醫思想的辯證思維算法做出分析。最后，獲得身體不同部位的健康跟蹤結果，并給出相應建議，并將所有這些結果顯示在屏幕上，反饋給用戶。

在中醫辯證模塊中主要使用的是層次分析法（AHP）作為該系統的主要分析方法。層次分析法具體過程如下。

（1）概述。具體過程概述如下，先訂立全面評價一位用戶的幾條準則，如面色、臉部痤瘡情況、用戶歷史數據等，并且確定各準則在給出中醫合理化建議這個總目標中所占的權重，然后按照每一個準則對每位用戶進行比較和判別，最后將準則的權重與比較、判別的結果加以綜合，得到每個方案的最終排序，作為系統給出用戶的建議。

（2）建立層次結構圖。將該問題自上而下地分為目標、準則、方案3個層次，并用一個層次結構圖表示。該功能工作流程如圖3所示。

圖3 層次分析圖

（3）準則層對目標層的相對權重向量。

確定以上3個準則臉部痤瘡情況X1、面色X2、用戶歷史數據X3對目標（基于中醫學和保健建議）的權重時，需將X1、X2、X3兩兩進行比較，按表1尺度寫出準則層對目標層的兩兩比較矩陣假設為

表1 各標度的含義

基于矩陣A使用特征根法求出A的最大特征根。求出最大特征根后，可求相應的特征向量，接著通過一致性檢驗判斷此特征向量能不能作為準則層對目標層的比較矩陣，具體做法如下。

（1）一致性指標。

（2）隨機一致性指標RI，通常由實際經驗給定，如圖4。

圖4 RI的取值表

（3）隨機一致性指標結果。

當CR〈0.1時，認為判定矩陣的一致性是可以接受的。

通過一致性檢驗后，將特征向量對應的特征值進行歸一化，得到準則層對目標層的權重向量w1。假設w1=(0.141, 0.530,0.329)，即可說明面色最重要。

（4）綜合權重向量及排序結果。用兩兩比較矩陣得到第2層3個準則對第1層目標的權重w之后，用同樣的方法確定第3層的多種癥狀對第二層每一準則的權重。同樣計算出每一個矩陣Bi（i=1,2,3,…,n）的特征根并進行一致性檢驗，最終確定對第二層的權重向量w2。

最終將每一個矩陣Bi得到的權重向量的每一個指標與w1對應的相乘再求和，即可得到方案n對目標的權重。最后再通過用戶的癥狀是否達到閾值來確定用戶癥狀，從而選出最佳中醫保健建議并反饋給用戶。

3.3 疲勞監測模塊

當人在疲勞狀態下，眼睛的形態會發生變化，會不自覺的發生“瞇眼”的動作，從而使眼睛左右角點間距離變長、同時使眼睛上下眼瞼間距變小，即眼長與眼寬的比值變大。通過對當前圖像的分析，確定出人眼的長寬比，并且通過與預存的標準圖像中（即正常狀態下）的長寬比進行比較，來判斷當前用戶是否為疲勞狀態。當這種長寬比的變化超過設定閾值時，即可認定當前用戶處于疲勞狀態，并及時地以聲音、圖像等警告方式通知用戶[8]。若用戶處于非疲勞狀態，也可通過顯示裝置告知用戶。

為了準確的對用戶實時的眼睛長寬比進行疲勞狀態與非疲勞狀態兩種狀態的劃分，可以進行多次圖像采集，并結合多次檢測結果的加權作為結果，計算用戶單位時間的精神狀態。

具體的方法是，通過對人臉的眼睛的位置的定位，將眼睛用多個點來進行定位，然后通過測定不同的點與點之間的距離關系對人眼的長寬比進行確定。

在此系統采用的對實時圖像的多次采集中，當采集到的圖像達到指定的數目時作為一次實時的眼眶比數據，然后通過實時的大量的不斷的眼眶比數據計算得到單位時間的眼眶比數據，然后與正常的眼眶比數據區間進行比較來進行判斷用戶所處的精神狀態。

4 結束語

本文提出了一種基于視覺和深度學習的中醫智能檢測系統，討論了此種檢測系統的在日常生活中應用的前景，將系統具體功能的實現做了細致的闡述，并巧妙的將中醫思想中的望診思想與計算機視覺和深度學習等新型技術有效的結合起來，且達到了預期的目標，如對輸入信息的采集和處理、相關數據的交互、中醫辨證算法的實現、不同設備上的數據輸出與展示。

在未來的工作中，我們將繼續擴大數據庫，完善模型準確度，并不斷優化中醫辯證算法，與經驗豐富的中醫進行交流，使系統的功能更加完善和準確，更好地實現人性化和智能化，為人們的健康做出貢獻。■