基于改進卷積神經網絡的中藥飲片圖像識別

李玥辰, 趙曉, 王若男, 楊晨

(陜西科技大學電子信息與人工智能學院, 西安 710021)

隨著科學技術的發展,人們的生活也在日益改善,健康受到越來越多人的重視,中藥因其在預防、治療疾病以及日常保健等領域發揮著重要作用而受到了廣泛的關注。中藥飲片是中藥產業的重要組成部分[1-2],經炮制過后可減少或消除其毒副作用,提升藥物純度,更方便貯存,可直接用于中醫臨床用藥。然而,中藥飲片的種類非常多,非專業人士根本無法將其識別出來,依靠專業人員進行識別,結果會受到很大的主觀影響[3-4]。

目前,中藥飲片識別基本由專家進行,而普通人主要借助圖片對比判斷,極易出錯而延誤疾病治療。如果采用人工智能技術識別中藥飲片,普通人也能借助手機或者平板電腦拍照來快速識別中藥飲片種類。

計算機技術的飛速發展,尤其是在圖像處理和模式識別方面的進展,中藥識別技術的自動化實現成為可能。這些方法依靠圖像處理技術提取圖像底層特征,例如:紋理、顏色和形狀等,在此基礎上,利用機器學習方法對圖像進行識別,如:支持向量機(support vector machines,SVM)等。賈偉等[5]提取中藥飲片切面的紋理粗糙度、對比度等6個特征參數,并進行了研究;程銘恩等[6]用OpenCV(open source computer vision library)借助顏色直方圖提取飲片顏色特征,并選用支持向量機分類器對大黃等5種中藥飲片的顏色圖像進行處理。

這些研究成果在一定程度上實現了中藥飲片的自動識別,但是仍然存在著如下不足:淺層特征是由圖像像素直接提取出來的,沒有更高層次的語義,易受到環境的干擾,識別結果的可靠性不高。在此過程中,需要分別對形狀、顏色、紋理三個不同的特征進行提取,然后將它們進行融合,這樣既煩瑣又沒有考慮到形狀、顏色、紋理三者的相關性,導致了識別效果不佳,識別效率低。目前,基于圖像和模式識別技術的中藥飲片鑒別還存在著較大的局限性,亟須對其進行深入研究。

卷積神經網絡(convolutional neural network,CNN)是近年來研究的熱點之一[7],特別是CNN能夠實現從底層特征到高層語義的提取[8],這對圖像分類、目標識別等領域識別的精度有了很大的提高。基于CNN的貢獻,越來越多的人將其應用于中藥飲片識別中,孫鑫等[9]基于VGG 16網絡[10]識別50種中藥飲片圖像,其平均識別精度為70%;徐飛等[11]經過顏色抖動、幾何變換對人參飲片與西洋參飲片圖像進行圖像增廣,在GoogLeNet網絡[12]上對該方法進行了實驗,結果顯示該方法的分類準確率為90.9%。

以上研究充分表明卷積神經網絡模型能夠很好地實現中藥飲片識別,但是識別的準確性和魯棒性不夠理想。模型參數量、模型訓練速度和識別精度是影響卷積神經網絡模型圖像識別的重要因素,現依據中藥飲片識別所需的特征,從以上3個方面對卷積神經網絡進行了改進,并在50種常見中藥飲片數據集上進行分類測試,驗證所提算法的高效性。

1 適用于中藥飲片識別的卷積神經網絡模型的方案設計

結合中藥飲片識別的需求及AlexNet網絡模型參數量大、訓練速度慢等缺陷,以減少網絡模型參數、加快網絡訓練速度以及提高網絡模型識別精度等為目標,提出一種基于改進卷積神經網絡的中藥飲片圖像識別模型,以滿足更少參數量、高識別精度等方面的性能要求,其改進方案如圖1所示。

圖1 改進網絡模型方案圖Fig.1 Improved network model scheme diagram

AlexNet網絡模型分別從以下3個方面進行改進。

(1)減少卷積核個數、卷積核大小和使用全局平均池化(global average pooling,GAP)層替代全連接層(dense)?？梢詼p少網絡的參數量,從而有效降低網絡復雜度。

(2)去除局部響應歸一化(local response normalization,LRN)層、添加批量歸一化(batch normalization,BN)層和使用Lion(evolved sign momentum)優化算法替代隨機梯度下降(stochastic gradient descent,SGD)優化算法。引入BN層能提高網絡表達能力;采用Lion優化算法替代SGD優化算法,能提高網絡的訓練速度和收斂性能。

(3)使用Mish激活函數替代ReLU激活函數和引入通道注意力SENet(squeeze and excitation networks)網絡。Mish激活函數相比于ReLU具有更好的非線性特性,能提高網絡的表達能力;引入SENet網絡進一步提高網絡的識別精度和魯棒性。

對于改進卷積神經網絡模型對中藥飲片圖像識別的步驟如圖2所示。

圖2 對中藥飲片圖像識別步驟Fig.2 Steps of image recognition of Chinese herbal slices

步驟1獲取中藥飲片圖像。

步驟2對中藥飲片圖像進行圖像增強處理和數據擴充處理,并構建中藥飲片數據集。

步驟3構建改進AlexNet網絡模型。

步驟4對改進AlexNet網絡模型進行訓練。

步驟5用改進AlexNet網絡模型對中藥飲片圖像進行識別。

2 AlexNet網絡模型

Krizhevsky等[13]提出的AlexNet網絡在2012年獲得了ILSVRC(imageNet large-scale visual recognition challenge)挑戰賽的冠軍,同時也是首個用于圖像識別的深度卷積神經網絡,自此以后,卷積神經網絡在圖像識別領域開始迅速發展。

在未計算激活層和池化層的情況下,AlexNet的網絡模型結構共有8層,包括5個卷積層和3個全連接層,如圖3所示。

dense為全連接層;Stride 4表示步長為4;Max pooling為最大池化圖3 AlexNet網絡模型圖Fig.3 AlexNet network model diagram

相比于傳統卷積神經網絡,AlexNet網絡的創新之處如下。

(1)使用ReLU激活函數訓練網絡,收斂速度快,幫助神經網絡更好地解決復雜的非線性問題。

(2)通過使用兩個GPU(graphics processing unit)并行來訓練網絡,以加快網絡的訓練速度。

(3)在卷積層中應用LRN層,提高識別精度,增強了網絡的泛化能力。

(4)通過使用重疊池化來提高網絡精度,不易出現過擬合現象。

(5)通過數據擴充處理和在前兩個全連接層使用Dropout層來減少過擬合。

3 改進卷積神經網絡模型

針對中藥飲片數據集與ImageNet數據集存在很大差異,直接將AlexNet網絡模型應用于中藥飲片圖像的識別,會造成識別精度下降的問題,提出了基于改進卷積神經網絡的中藥飲片圖像識別模型。主要針對AlexNet網絡模型中的卷積核個數及大小、歸一化方法、優化算法、全連接層以及引入注意力機制SENet網絡進行優化改進,改進后的模型稱為AlexNet_SE,AlexNet_SE網絡模型如圖4所示,圖4(a)為AlexNet_SE網絡模型圖,圖4(b)為AlexNet_SE網絡模型的Block結構圖。

圖4 AlexNet_SE網絡模型圖Fig.4 AlexNet_SE network model diagram

圖4中,每個Block由卷積層、BN層、SENet網絡和Mish激活函數組成,一共有5個Block,每個Block結構如圖4(b)所示;第一、第二、第五個Block后都有一個最大池化層;第三個最大池化層后為全局平均池化層,接著跟softmax層進行輸出。

原始AlexNet網絡模型第一個卷積層使用11×11的大卷積核來提取圖像特征,中藥飲片數據集的圖像和ImageNet數據集的圖像相比尺寸更小,而且卷積核尺寸越小,提取的特征就越精細,它可以捕捉到更多的細節。所以,選擇合適的卷積核可以提高特征提取的質量。另外,卷積核尺寸越小,模型的復雜度就越低,推理速度也會變快,可以更快地實現圖像識別和分類等任務。因此,把第一個卷積層的卷積核從11×11減到7×7,把第二個卷積層的卷積核從5×5拆分成兩個3×3并進行級聯,并將5個卷積層的卷積核個數全部縮減為原始AlexNet網絡模型的一半。AlexNet_SE網絡模型每層參數如表1所示。

表1 AlexNet_SE網絡模型每層參數Table 1 Parameters of each layer of AlexNet_SE network model

3.1 批量歸一化處理

原AlexNet網絡模型中LRN局部響應歸一化層在卷積層上做歸一化操作,在LRN層上能夠增加局部較大的響應值,并對較小數值進行抑制,使模型泛化能力得到增強,但LRN層對該模型實際提升作用有限[10]。Ioffe等[14]提出的BN算法能夠加速模型的收斂,使訓練過程更加穩定。

去掉LRN層,在各卷積層后、激活函數前加入BN層,使得圖像特征圖的分布規律符合均值為0和方差為1的要求,確保了數據的穩定性。經實踐表明BN算法能有效地加快模型的收斂速度,使得網絡訓練時更加穩定。

BN算法的歸一化過程表達式如下。

(1)

(2)

(3)

(4)

3.2 全局平均池化

AlexNet網絡對最后一層的輸出特征圖進行量化的結果進入全連接層,最終再進入softmax層,從而完成分類[15]。

當卷積層與全連接層進行連接時,由于參數過多會造成過擬合現象。因此,Lin等[16]提出使用全局平均池化來代替全連接層,將最后一層輸出的n個特征圖分別求平均值,并將平均值視作特征參數,然后將其傳遞給softmax層,使其對圖像進行分類。該方法降低網絡參數,避免過擬合,又可融合空間信息,網絡的空間結構更加穩定。GAP過程的表達式為

(5)

GAP過程如圖5所示,圖5(a)為全連接層的過程,全連接層將特征圖降維為一維向量,然后轉化成指定個數的單元值,圖5(b)為GAP的過程,GAP將卷積層的特征圖進行平均并得到數值,用該值表示對應的特征圖。

圖5 全局平均池化Fig.5 Global average pooling

3.3 Lion優化算法

原始的AlexNet網絡模型使用隨機梯度下降優化算法進行訓練,SGD不僅提高了網絡更新的速度,還降低了每次迭代的運算開銷,但容易產生梯度的震蕩,網絡訓練不夠穩定[17]。為了解決這個問題,采用Lion優化算法,該優化算法是谷歌、UCLA(University of California, Los Angeles)的研究人員在2023年提出的一種利用程序搜索來尋找深度神經網絡訓練的方法[18]。Lion優化算法的表達式為

μt=sign[β1mt-1+(1-β1)gt+λθt-1]

(6)

θt=θt-1-ηtμt

(7)

mt=β2mt-1+(1-β2)gt

(8)

式中:μt為原本的更新量,sign為符號函數;β1為指數衰減常數,取0.9;gt為梯度,下角標t為迭代次數;λ為權重衰減率;θt為需要學習的模型參數;ηt為學習速率;mt為動量;β2為指數衰減常數,取0.99。研究中,Lion優化算法的學習率取0.000 1。

Lion優化算法的超參數更少,占用內存更小,這在訓練大型模型或者使用大批量樣本時很有利,該優化算法能有效提升訓練網絡速率和模型分類精度。

3.4 Mish激活函數

原始AlexNet網絡模型中,在卷積層后采用ReLU激活函數進行非線性操作,通過引入更多的非線性因素,增強了神經網絡的非線性變化,增強了神經網絡的信息表達能力。但ReLU激活函數輸入為負時,梯度變為零,從而導致梯度消失,網絡難以更好的訓練。因此,采用Misra[19]提出的Mish激活函數,用來代替AlexNet網絡模型的ReLU激活函數。該函數是一個非單調且光滑的連續神經激活函數,將Mish激活函數位于BN層之后,其函數表達式為

f(x)=xtanh[softplus(x)]=xtanh[ln(1+ex)]

(9)

式(9)中:f(x)為激活函數輸出的參數值;x為歸一化層傳進來的參數值。

Mish激活函數保留了很少的負向信息,容許較小的負梯度流入,能夠避免在網絡訓練時由于梯度為零而造成的收斂速度慢的問題,而且平滑的曲線能夠讓更多的特征信息被引入網絡中,從而提升了網絡的精度和泛化性,Mish激活函數上方無邊界,可以避免飽和,同時有利于網絡參數的正則化。

3.5 引入SENet網絡

SENet在2017年獲得ILSVRC比賽的冠軍[20],其網絡模型主要包括3個方面:Squeeze、Excitation、Reweight。

SENet通過學習的方式獲得各通道的重要程度,對有用的特征進行提升,并抑制無用的特征。該網絡模型在計算機視覺領域取得了較好的效果[21-22],其網絡模型如圖6所示。

X為輸入;C′為輸入通道數;W′為輸入寬度;H′為輸入高度;U為通過函數變換Ftr得到的特征圖圖6 SENet網絡模型圖Fig.6 SENet network model diagram

SENet對Squeeze、Excitation、Reweight依次進行操作。

首先進行Squeeze操作。通過全局平均池化將W×H×C維向量特征壓縮到1×1×C維。映射關系表達式為

(10)

式(10)中:W、H、C分別為特征圖維度尺寸;uc為特征通道;Fsq為Squeeze操作定義;i、j為像素位置變量。

然后進行Excitation操作。經過一個全連接層后,將1×1×C維特征降低到1×1×C/r維,再經過ReLU激活函數,最后再經過全連接層,將通道維特征升回1×1×C維,其中r為壓縮率,取16。映射關系表達式為

s=Fex(z,W)=σ[g(z,W)]=σ[W2δ(W1,z)]

(11)

式(11)中:Fex為Excitation操作定義;z為Squeeze操作輸出;W1和W2為通道權重;σ(·)為歸一化函數;δ(·)為激活函數。

最后進行Reweight操作。通過Sigmoid激活函數獲取0～1歸一化的權重,利用乘法將權重加權到原輸入各通道的特征上得到輸出,此輸出作為下一級的輸入。映射關系表達式為

(12)

式(12)中:Fscale為Reweight操作定義;sc為Excitation操作的輸出矩陣通道。

4 實驗結果與分析

4.1 數據集

4.1.1 圖像獲取

通過拍攝和爬取功能獲取中藥飲片圖像的兩種方式。第一種方式是在正常燈光室內,利用華為NOVA7手機進行拍攝,以白板為背景收集50種常見中藥飲片圖像共1 090張,采集到的圖片尺寸為4 608×3 456,為方便網絡訓練,將1 090張中藥飲片圖片尺寸調整為320×240,采集到的圖像保存類型為jpg格式;第二種方式是利用百度搜索引擎上收集中藥飲片圖片,利用Python爬取50種常見中藥飲片圖像共6 910張,下載圖片保存類型為jpg格式,由于下載的圖像尺寸大小不一致,為方便網絡訓練,將6 910張中藥飲片圖片尺寸長和寬的范圍保持在145～500。

常見50種中藥飲片包括:白術、八角茴香、板藍根、蓽茇、蓖麻子、檳榔、蒼耳子、草豆蔻、陳皮、川貝母、大棗、燈心草、冬蟲夏草、茯苓、枸杞子、鉤藤、黑豆、黑芝麻、核桃仁、花椒、金銀花、雞血藤、連翹、蓮子、荔枝核、路路通、羅漢果、鹿茸、麥冬、玫瑰花、木蝴蝶、木腰子、藕節、胖大海、肉豆蔻、山藥、山楂、甜瓜子、天麻、相思子、小茴香、小通草、西紅花、西洋參、鴉膽子、亞麻子、銀杏葉、澤瀉、梔子、豬牙皂。圖7(a)～圖7(d)分別展示了冬蟲夏草、連翹、西紅花、西洋參等4種中藥飲片樣本原始圖像。

圖7 部分中藥飲片圖像Fig.7 Some images of Chinese herbal slices

4.1.2 數據增強

百度等搜索引擎采集到的中藥飲片圖像,其清晰度比原相機采集到的要低,而且圖像的細節特征也不明顯,為了解決這一問題,采用基于多尺度的圖像細節提升算法[23],對拍攝和利用百度搜索引擎收集的中藥飲片圖像進行圖像增強處理。

圖8展示了用該方法對白術圖像增強的效果。

4.1.3 數據擴充

訓練卷積神經網絡模型時,通常都需要大量的數據,否則模型就會產生過度擬合、識別準確率低問題[24],在測試集上測試效果不好,且泛化能力差。但現有條件下,對中藥飲片圖像的采集數量遠遠不夠模型進行訓練,目前也沒有公開的中藥飲片數據集,因此需要采用一些數據擴充的方法來達到增大數據集的目的[25]。使用MATLAB軟件對經過數據增強后的圖片進行旋轉、鏡像、平移等操作將數據集擴充了8倍。將50種中藥飲片的每一種從原先的160張擴充到1 280張,50種中藥飲片共64 000張圖片。實驗把此數據集按照9∶1的比例分為訓練集和測試集,其中訓練集57 600張,測試集6 400張。中藥飲片樣本被分為0～49號,分別對應一種類別的中藥飲片,如0對應的白術、1對應的八角茴香、2對應板藍根等,以此類推。經過數據擴充的中藥飲片圖像如圖9(a)～圖9(h)所示,其中,以白術圖像為示例進行數據擴充。例如,順時針旋轉90°圖、順時針旋轉180°圖、順時針旋轉270°圖、水平鏡像圖、垂直鏡像圖、水平垂直鏡像圖、平移圖,其中,向右向下平移50個像素。

圖9 白術原圖像及擴充后的圖像Fig.9 Original image and expanded image of Atracytlodes macrocephala Koidz.

4.2 實驗環境及超參數設置

實驗環境使用Windows 10系統,內存為64 G,CPU為主頻3.19 Hz的Intel Core i9-12900K,GPU為NVIDIA GeForce RTX 3080(12G)×2,深度學習框架為Pytorch,編程語言為Python 3.8,在PyCharm上進行訓練和測試,且在圖形預處理過程中采用MATLAB。

對AlexNet網絡模型和AlexNet_SE網絡模型分別訓練,均采用批訓練的方法,每個批次訓練64張圖片,共迭代300次。訓練過程中,每次迭代輸入之前會隨機打亂。采用Lion優化算法優化模型,設置學習率為0.000 1。

4.3 評價指標

選取準確度(accuracy,Acc)、損失函數(loss function,Loss)和模型參數量來對模型進行評價。

準確率的計算公式為

(13)

式(13)中:TR(true)為正確的樣本數;FA(false)為錯誤的樣本數。

交叉熵(cross-entropy)損失函數的計算公式為

(14)

式(14)中:N為樣本數;K為類別數;yi,k為第i個樣本預測為第k個類別;pi,k為第i個樣本預測為第k個類別的概率。

4.4 實驗結果與分析

設計了6種實驗方案(表2)進行性能分析。

表2 實驗方案Table 2 Experimental program

表2中,方案1模型的每層參數如表1所示,第一、二個連接層的節點個數均設置為2 048,Dropout設置為0.5,SGD優化算法學習率設置為0.01、動量為0.9、權重衰減為0.000 5。以此為基礎進行實驗。方案2在方案1的基礎上去除LRN層、添加BN層,方案3在方案2的基礎上使用全局平局池化替代全連接層,方案4在方案3的基礎上使用Lion優化算法替代SGD優化算法,方案5在方案4的基礎上使用Mish激活函數替代ReLU激活函數,方案6在方案5的基礎上引入SENet網絡。

4.4.1 改進后的性能分析

各實驗方案模型實驗結果如表3所示。

表3 各實驗方案模型對比Table 3 Comparison of models of various experimental schemes

從BN層、全局平均池化層、優化算法、激活函數、SENet共5個方面進行性能分析。

1)BN層對模型的影響

由表3的方案1和方案2可知,去掉LRN局部響應歸一化層,并在各卷積層后和激活函數前加入BN層,模型大小無變化,平均準確率稍微下降,但平均損失率下降了4.1%,模型收斂速度更快,網絡訓練更穩定。因此后續對比實驗以方案2為基礎使用BN層。

2)全局平均池化層對模型的影響

去掉LRN局部響應歸一化層,并在各卷積層后和激活函數前加入BN層后,分別使用全連接層和全局平均池化層進行對比實驗。

由方案2和方案3可知,將全局平均池化層替代全連接層后,模型大小減少了14M,平均準確率提升了1.2%,平均損失率下降了4.9%。因此后續對比實驗以方案3為基礎使用全局平均池化層。

3)優化算法對模型的影響

使用全局平均池化層替代全連接層后,分別使用Lion優化算法和SGD優化算法進行對比實驗。

由方案3和方案4可知,平均準確率提升了6.7%,平均損失率下降了8.4%,模型大小無變化,網絡訓練速度更快。因此后續對比實驗以方案4為基礎使用Lion優化算法。

4)激活函數對模型的影響

將Lion優化算法替代SGD優化算法后,分別使用ReLU激活函數和Mish激活函數進行對比實驗。

由方案4和方案5可知,使用Mish激活函數的平均準確率提升了0.2%,平均損失率降低了0.3%,模型大小無變化。因此后續對比實驗以方案5為基礎使用Mish激活函數替代ReLU激活函數。

5)SENet對模型的影響

使用Mish激活函數替代ReLU激活函數后,引入SENet進行實驗。由方案5和方案6可知,引入SENet網絡,平均準確率提升了0.2%,平均損失率下降了0.7%,模型大小無變化。因此最終確定使用方案6的模型為改進模型AlexNet_SE。

4.4.2 與原AlexNet網絡模型對比性能分析

為了對提出的AlexNet_SE網絡模型的有效性進行驗證,將AlexNet_SE和原AlexNet網絡模型進行對比實驗,結果如表4所示。

表4 AlexNet_SE和AlexNet網絡模型對比Table 4 Comparison of AlexNet_SE and AlexNet network models

表4中,提出的AlexNet_SE網絡模型的平均準確率能達到98.3%,相比于原AlexNet網絡模型的92.2%識別準確率提高了6.1%,平均損失率由20.8%下降到6.4%,模型參數由原來的60M縮減至1M。

AlexNet和AlexNet_SE網絡模型的測試準確率如圖10所示,訓練損失率如圖11所示。

圖10 AlexNet和AlexNet_SE網絡模型測試準確率對比圖Fig.10 AlexNet and AlexNet_SE network model test accuracy comparison chart

圖11 AlexNet和AlexNet_SE網絡模型訓練損失率對比圖Fig.11 AlexNet and AlexNet_SE network model training loss rates comparison chart

圖10是AlexNet_SE網絡模型和AlexNet網絡模型迭代了300次后的測試準確率圖,由圖10可知,AlexNet_SE網絡模型在測試過程中更加穩定且識別準確率高于AlexNet網絡模型,最后穩定在1附近。圖11是AlexNet_SE網絡模型和AlexNet網絡模型迭代了300次后的訓練損失率圖,由圖11可知,AlexNet_SE網絡模型比原網絡模型在訓練過程中更快收斂。說明在中藥飲片數據集上,改進后的網絡模型具有更高的識別率和更好的魯棒性,AlexNet_SE網絡模型優于原AlexNet網絡模型。

5 結論

提出了一種基于改進卷積神經網絡的中藥飲片圖像識別的方法,經過實驗得到以下結論。

(1)針對AlexNet網絡模型參數多、訓練速度慢和識別精度低的問題進行了改進優化,提出縮減AlexNet網絡的卷積核個數、卷積核大小和使用全局平均池化替代全連接層,減少網絡參數量,有效降低網絡的復雜度;去除局部響應歸一化層、引入批量歸一化層和使用Lion優化算法替代SGD優化算法,顯著提高了網絡表達能力、訓練速度和收斂性能;使用Mish激活函數替代ReLU激活函數和引入通道注意力機制SENet網絡,進一步提升網絡的識別精度和魯棒性。

(2)實驗結果表明,改進后的網絡模型相比于AlexNet網絡模型,平均識別率提高了6.1%,平均損失率下降了14.4%,網絡參數由原來的60M縮減至1M,該結果表明在中藥飲片數據集上,改進后的網絡模型具有更高的識別率和更好的魯棒性。在今后的研究中,將針對中藥飲片擴大其種類,并采集復雜背景不同光照下的中藥飲片圖像,進一步優化訓練模型,提高中藥飲片識別性能。

(3)基于改進卷積神經網絡的中藥飲片識別方法,利用計算機視覺技術和深度學習算法,對中藥飲片進行圖像分析和特征提取,從而實現自動化的識別和鑒定。相比傳統的人工鑒定方法,這種方法具有高效性、精確性和可靠性的優勢,為中醫藥的發展提供堅實的基礎和廣闊的應用前景,對弘揚中醫藥事業推進其現代化發展具有重要意義。