基于多特征融合結合深度學習模型的藥材切片鑒別＊

周麗媛，高紅梅，趙啟軍，3，高定國＊＊

（1.西藏大學信息科學技術學院 拉薩 850000；2.藏文信息技術創新人才培養示范基地 拉薩 850000；3.四川大學計算機學院 成都 610065）

藏醫藥是人類醫藥的寶貴遺產，生活在雪域高原的藏族人民在與自然和各種疾病斗爭中積累了豐富的經驗，通過世世代代不斷傳承、創新與發展，逐步形成了現代的獨具民族特色的藏醫藥文化體系[1]。藏藥材切片種類繁多，早期的經驗鑒別作為其主要的分辨方法，在過去實踐中已被證明能夠有效地分辨不同切片，但傳統人工識別結果的準確性深度依賴于技術人員的累積經驗很容易出錯，不利于高效和大批量識別與鑒定，很難適應信息化環境下的鑒別需求[2]。隨著深度學習技術發展，深度學習方法已經在農業、工業、醫學等多個領域廣泛應用[3]。通過計算機作為輔助手段對藏藥材切片進行識別鑒定，是當前實現藏藥材切片快速鑒別的有效方法。

吳沖等[4]使用YOLO 算法實現中藥飲片的定位與檢出，使用ResNet50 的平均識別準確度達到97%。王健慶等[5]使用GoogLeNet對100種常見中藥飲片進行訓練與識別，平均識別準確率大于92%。陳仕妍等[6]利用中藥飲片圖像中顏色的種類和分布特征，構建與尺度和旋轉無關的顏色匹配模板，對20種中藥飲片進行識別，均可獲得較好的識別分類結果。劉加峰等[7]使用SSD模型建立中藥飲片圖像檢測識別系統，該系統對于3種中藥飲片（枸杞、甘草、陳皮）進行識別驗證，平均識別率高于80%。張誼等[8]使用ShuffleNet V2、ResNet50、MobileNet V2 等模型對12 種中藥飲片進行識別，其中ShuffleNet V2 表現最佳，準確率為91.4%。孫鑫等[9]使用VGG16網絡對自然場景下的桂枝、辛夷、菊花等50種中藥飲片圖像進行識別，平均識別準確率達到70%。陳雁等[10]使用對抗神經網絡（GAN）對復雜背景下的60種中藥飲片進行甄別，平均甄別精準度最高達到85.9%。周麗媛等[11]使用帶有注意力機制的AlexNet網絡對復雜背景下的藏藥材切片進行識別，識別準確率達到86%。

現有的飲片自動識別方法為藏藥材切片圖像識別提供了重要參考，但是大部分都是針對理想環境（單一背景上多個中藥飲片散布排列）下拍攝的單個切片的圖像，導致在復雜背景（實際生活中的中藥飲片狀態，背景環境復雜、多個中藥飲片堆積）下拍攝的圖像上的識別效果會顯著下降。理想環境與復雜背景下拍攝的藏藥切片圖像對比如圖1所示。本文提出多特征融合結合深度學習方法的識別模型，在收集的32種藏藥材切片圖像數據集上識別準確率達到91.68%，為中藥、藏藥切片的鑒別提供了新的方法和手段。

圖1 理想環境與復雜背景下拍攝的藏藥切片圖像對比圖

1 材料和設備

1.1 實驗材料

通過查閱《中國藏藥材大全》本文選定了紅景天、藏天麻、藏菖蒲等32 種植物類藏藥材炮制后的根、莖切片作為研究對象，藥材名稱與圖像數量如表1所示。本文通過到拉薩街頭特產店實地拍攝以及使用python[12]在必應搜索引擎、各大藏藥材網站獲取每種藏藥材切片的圖片。收集的藏藥材切片圖像經過專業人員進行了辨認以確保原始數據集中的圖片都能正確對應相應的藏藥材，最后，通過圖像處理軟件將圖像大小統一調整為512×512像素。

表1 本文收集的復雜背景藏藥材切片圖像數據集信息

1.2 實驗設備

本文方法進行實驗所用到的硬件部分包括iPhone11 相機（用于實地圖像拍攝）和GPU 工作站（包含InterRCoreTMi9-12900K 型中央處理器（CPU）和NVIDIA GeForce GTX 3090型顯卡，32G運行內存，1TB固態硬盤和8TB 容量的硬盤）。通過獲取藏藥材切片圖像構建數據集，對藏藥材切片圖像處理，最終獲得藏藥材切片識別結果。

2 方法

2.1 數據集設置

本文收集了3610 張藏藥材切片圖像，共有32 種。圖1展示了部分藏藥材切片圖像。收集的數據集圖像具有藥材切片分辨特征相似度較高、同一種藥材切片形狀不一、圖像低質等問題。為驗證本文多特征融合結合深度學習模型的識別效果，單獨挑選480 張圖像建立了藏藥材切片圖像復雜測試集。判別特征高度相似、圖像環境顏色與切片切面顏色相近、切片大量堆疊等特點。圖2展示了部分復雜與簡單測試集的部分圖像。圖像數據集圖像按8∶2的比例分為訓練集和測試集（簡單測試集）。

圖2 簡單測試集與復雜測試集示例圖像

2.2 圖像特征提取

藏藥材分布廣泛、種類繁多，藏藥材的生長地區、氣候的差異、加工方法的不同會導致藏材切片的顏色、形狀、紋理等特征有所不同，這些差異為藏藥材切片圖像分類識別提供了重要的依據。

2.2.1 顏色特征提取

圖像的顏色特征對大小、方向較不敏感且具有明顯、直觀、易于描述的物理特性[13]。顏色特征作為藏藥材切片種類識別的重要的要素，本文使用RGB（Red Green Blue）顏色特征方法對圖像的顏色特征進行提取。在RGB 編碼中，每種顏色的強度分別用紅、綠、藍三個變量來表示。編碼后將RGB顏色空間轉換為HSI顏色空間進行圖像特征向量提取，得到顏色特征向量并進行歸一化處理。與RGB 模型相比，HSI 模型加入了飽和度與亮度、兩個特征參量，假設RGB 顏色空間中顏色分量的值分別為（R,G,B），（R,G,B）∈[0,1]，從RGB 顏色空間轉換到HSI 顏色空間的計算公式如下[14]：

2.2.2 改進的HOG算法進行形狀特征提取

HOG（Histogram of oriented gradient）算法[15]廣泛應用于圖像的形狀特征提取。本文提出一種改進的HOG 方法進行形狀特征提取。具體地，本文將圖像進行分塊處理，使提取的特征向量包含更多的信息。將圖像分為3×3 塊，讓相鄰的分塊區域有部分重疊。通過步長設置使重疊部分為每分塊的一半。形狀特征提取的具體方法為首先對圖像進行歸一化處理，然后對彩色圖像進行Gamma壓縮，降低陰影和光照變化的影響。再進行梯度計算，對歸一化的彩色圖像進行梯度計算，得到水平和垂直方向梯度分量Gx、Gy，并計算當前像素梯度幅值G，計算公式如下[16]：

提取像素點的梯度值后對分塊后的9個小塊分別計算梯度直方圖并進行向量歸一化，將歸一化后的9個分塊特征向量合成一個改進的HOG特征向量。

2.2.3 LBP算法提取紋理特征

局部二值模式（Local binary patterns，LBP）最早由Ojala 等[17]提出，之后廣泛應用于紋理特征提取任務。LBP算法能較為理想地提取圖像中大量堆疊的切片的紋理特征。本文使用LBP 算法對圖像進行紋理特征分塊提取，充分提取利用圖像中切片切面的局部紋理特征。文中所用LBP算法公式[17]如下：

其中，gc為像素c 在局部鄰域中心點的灰度值；gp(p =0, 1, …,p- 1)表示表示距離中心點c 為R 的領域內P個采樣像素的灰度值；s(gp-gc)為鄰域中的每個周圍像素分配的二項式權重2p，用于將局部鄰域的對比度信息轉換為LBP特征值。

2.3 圖像多特征融合

藏藥材切片種類繁多且相似度較高，使用單一的特征只能表達圖像某一特性，無法兼顧顏色、形狀和紋理多個特征。因此進行多特征融合，會對圖像的特征描述更加全面[18]。本文針對RGB、HOG 和LBP 算法各自的特點和優勢，根據藏藥材切片識別對切片顏色、邊緣輪廓和局部紋理信息的要求，通過融合RGB、HOG 和LBP 特征的方法提取藏藥材切片圖像特征，并結合深度學習模型進行圖像識別，從而實現藏藥材切片圖像的自動識別。特征融合采用對不同特征賦不同權重的方法[19]，融合特征的整體權重為1，通過實驗得出每個特征的最優權重，多特征融合公式如下：

其中，F 代表融合特征，FRGB代表顏色特征，FIHOG代表形狀特征，FLBP代表紋理特征，a,b,c分別代表每個特征的權重系數。

2.4 注意力機制

注意力機制（Attention mechanism）是一種模仿人類注意力機制的計算模型，被廣泛應用于深度學習中。其作用是為模型賦予對輸入數據的不同重要性的關注度，從而提升模型對于輸入信息的處理能力[20]。通過引入注意力機制，模型可以更加靈活地處理不同位置或特征之間的關系，提高模型的表現能力和解釋性[21]。本文構建的藏藥材切片識別模型在神經網絡部分應用了注意力機制聚焦藏藥材切片的關鍵分辨特征區域獲得更為精準的判別特征，進而提升模型的切片圖像識別準確率。

2.5 AlexNet

AlexNet 由Alex Krizhevsky 等人在2012 年提出[21]。AlexNet在圖像分類任務中引入了許多創新之處，包括使用了更深的網絡層數、大量的卷積層和池化層、非線性激活函數ReLU 等[22]。本文模型構建中神經網絡采用AlexNet網絡。AlexNet在圖像分類任務中引入了許多創新之處[23]，較深的網絡結構使其能夠更好地捕捉圖像的高級特征，提高圖像分類性能；使用大尺寸濾波器有助于捕捉圖像中更全局和語義上更豐富的特征；采用ReLU 作為激活函數，具有線性和非線性特性，計算更加高效。

2.6 多特征融合結合深度學習模型

為使識別模型摒棄藏藥材切片圖像中的器具、人手等無效信息關注切片的特征信息，本文提出首先用多特征融合提取藏藥材切片圖像的底層特征，然后將其作為深度神經網絡的輸入，進一步學習深度特征表示。本文提出模型的骨干網絡為 AlexNet，并在網絡中使用注意力機制，增加注意力機制后模型會根據輸入數據的不同特征，動態地分配權重，以決定對不同位置或特征的關注程度。模型可以自動地學習并集中注意力于對當前任務更為重要的信息部分。通過將注意力權重與輸入數據的特征進行加權求和，可以產生新的表示或者加權的特征向量，用于后續的模型處理。本文提出的多特征融合結合深度學習模型結構如圖3所示。首先將原始圖像分別進行顏色特征、形狀特征、紋理特征提取，獲得圖像的底層特征后將其進行特征融合。隨后將融合特征作為神經網絡的輸入，通過注意力機制聚焦最具判別性特征輸出識別結果。

2.7 實驗設置

實驗在自建的圖像數據集上進行。在實驗過程中學習率為0.001，權重衰減系數為0.0005，批尺寸為24，網絡迭代次數（Epoch）為250，使用交叉熵損失作為損失函數。在將圖像輸入具有注意力機制的AlexNet網絡中訓練時，網絡通過自身學習確定注意力機制的權值。將原始圖像分別進行單一特征提取后輸入融入注意力機制的AlexNet 網絡之后再將圖像進行多特征融合后輸入融入注意力機制的AlexNet 網絡。最后在復雜測試集上分別用AlexNet 網絡、融入注意力機制的AlexNet 網絡、多特征融合結合AlexNet網絡進行識別，獲得不同網絡的識別結果。

3 實驗結果

3.1 消融實驗

實驗結果如圖4所示，總體看來，增加注意力機制可以提升識別模型的識別準確率。使用本文多特征融合方法的準確率最高，為91.68%。對圖像進行特征提取后識別準確率高于單一使用深度學習網絡。單一使用AlexNet 網絡的圖像識別準確率為72.36%，而使用注意力機制后識別結果有所提升，為78.12%。對圖像進行單一的顏色特征提取后使用注意力機制深度學習網絡模型識別準確率為78.93%，與單一使用注意力機制后的深度學習網絡識別準確率提升不大。通過分析，由于部分藏藥材切片的顏色相似度較高，導致使用單一的顏色特征準確率提升不大。而使用單一的形狀或紋理特征紋理優于使用增加注意力機制后網絡的進行識別。

圖4 簡單測試集識別準確率

表2展示了不同數據集上不同方法的圖像識別準確率，與在簡單測試集的實驗結果相比，多特征融合結合深度學習網絡模型對目標圖像的識別性能更加穩定，識別準確率僅下降1%左右。實驗結果證明多特征融合結合深度學習模型可以更好地提取復雜環境中目標圖像的判別特征。

表2 不同數據集與方法實驗結果

3.2 特征權重

通過實驗對比不同權重下藏藥材切片圖像的識別準確率，獲得特征融合的最優特征權重，部分不同權重分配下的圖像識別準確率如表3所示。

表3 不同權重分配與圖像識別準確率

由表3可以看出，當a=0.2、b=0.35、c=0.45時，復雜背景藏藥材切片圖像識別準確率最高。RGB、IHOG和LBP 提取的特征單獨使用僅能體現圖像單一特征，而3個特征進行不同的權重組合能夠更加全面地描述圖像特征。其中，當RGB 特征權重值為0.2，IHOG 特征權重值為0.35，LBP 特征權重值為0.45 時為最優權重，可以得出藏藥材切片圖像中紋理特征與形狀特征更能表達圖像的內容信息。

3.3 原始HOG與改進HOG方法對比

在最優權重下分別使用原始HOG 與改進HOG（IHOG）方法進行實驗，實驗結果在表2 中可以找到所示。由實驗結果可以看出，改進HOG 與原始HOG 方法相比，改進HOG方法提取形狀特征與其他特征融合之后，復雜背景藏藥材切片圖像識別準確率提高了2.85%。

3.4 對比實驗

在自建數據集上將本文所提模型與現有藥材識別方法進行對比實驗（見表2）。張誼等[8]使用的ShuffleNet V2、MobileNet V2、ResNet50 模型在本文復雜背景數據集上表現不佳，識別準確率分別為72.12%、68.64%、70.23%，下降較大；與孫鑫等[9]復雜背景中藥飲片研究所用的VGG16模型相比，在本文數據集上本文所提方法識別準確率提高了21.98%；陳雁等[10]使用GAN網絡對本文數據集圖像識別的為72.15%。本文所提模型的識別準確率為91.68%，為最優。對比實驗結果證明，本文提出的多特征融合結合深度學習方法能有效提升模型在復雜環境圖像識別中的可應用性。

3.5 F_AlexNet_Att 在其他中藥飲片自動鑒別上的應用

為了進一步驗證本文方法的有效性和擴展應用范圍，本文收集了川貝母、山楂、半夏、山藥、白術、烏梅、檀香、靈芝、牛蒡子、桑白皮、連翹、檳榔、石斛、桔梗、丹參、鹽杜仲、白鼓、金銀花、艾葉、茯苓20 種常見中藥飲片圖像使用本文方法進行測試實驗，所收集的圖像均經過專業人員鑒定，確保了每種藥材圖像的準確性。測試中每種中藥飲片選取100張復雜背景圖像進行測試，識別結果如圖5所示。由實驗結果可知，該方法能對川貝母、山楂及半夏等常見中藥飲片進行準確鑒別，說明該方法對其他中藥材鑒定也同樣具有可行性，應用范圍較廣泛。

圖5 F_AlexNet_At對中藥飲片識別結果

4 討論

傳統依靠人工的中藥飲片的鑒別基于飲片形狀、大小、顏色、表面、斷面、質地、氣、味等方面進行，準確率高卻費時費力。神經網絡所具有的強大學習能力能夠對一定條件下的中藥飲片圖像達到極高的識別效果。但是對藏藥材切片圖像來說，隨著切片種類增多，圖像背景復雜度增加等原因，會對藏藥材切片圖像的識別準確率有所影響。本文提出的多特征融合結合深度學習模型具有廣泛的應用前景，針對川貝母、山楂等視覺特征相差較大的常見中藥飲片識別準確率達到98%，對于視覺特征差別不大的藏藥材切片圖像識別準確率達到91.38%。由于不同種類切片高度相似的判別特征容易引起識別錯誤，后續研究方向主要關于視覺特征高度相似的藏藥材切片和中藥飲片進行識別的研究工作，期望獲得更高的識別準確率。