基于輕量化卷積神經網絡的多肉植物種類識別研究?

孫公凌云，張靖渝，連俊博，寧景苑，劉偉立，劉 權，王國振，陸詩怡，時鵬輝，樓雄偉

(浙江農林大學數學與計算機科學學院，浙江 杭州 311300)

多肉植物是一種根、莖、葉三種植物營養器官中有一處或多處呈肥厚多汁狀態且具有能儲藏大量水分功能的植物，其作為一類觀賞性植物具有很高的國民熱度[1]。目前多肉植物產業在我國發展較快，市場前景廣闊，分布區域廣泛，“肉肉”愛好者數量眾多，多肉植物在國內的大街小巷隨處可見，其具有繁殖能力強、造型多變、地理分布廣、適應性強等優勢，經常用于盆栽觀賞、公園庭院綠化、屋頂花園、多肉花鏡花臺等綠化造景當中[2]。但多肉植物品種繁多，很多品種長相差異也較小，并且由于養護環境、養護手法、季節等因素的影響，如澆水的頻率、澆水量多少以及光照情況等，同一株多肉植物的外貌形態也會存在較大差距，如圖1 所示。上述因素都為人工辨別多肉植物品種帶來了困難，這間接導致當前在多肉植物市場中，不良商家以次充好、坑騙消費者的現象頻頻發生，不利于多肉植物產業的健康發展，如何實現對多肉植物的精準分類成為一個亟待解決的問題。

圖1 藍石蓮不同時期的形態

隨著深度學習和人工智能圖像識別技術的發展，深度學習方法逐漸在圖像識別領域中呈現出無可比擬的優勢。Krizhevsky 等[3]在2012 年提出AlexNet 模型成為了深度學習熱潮開始的標志，其加深了網絡結構，引進非線性激活函數改善了梯度消失問題，利用Dropout 方法避免過擬合。Simonyan 等[4]在2014 年提出了VGGNet 系列模型，進一步證明了網絡層次加深的作用。同年，Szegedy等[5]提出GoogleNet(也被稱作Inception-V1)模型，在加深網絡結構的同時增加網絡的寬度，從而提高網絡的表達能力。隨后，Inception-V2[6]網絡和Inception-V3[7]網絡等被相繼提出。但是梯度消失和梯度爆炸等問題很可能會伴隨著網絡層次的增加而產生。ResNet 模型的提出克服了以上難題，并且其中提出的殘差塊可以將數據信息傳輸到更深層次[8]，為復雜網絡的設計提供了有效思路。由于卷積神經網絡在圖像識別上的優勢，已廣泛應用于植物圖像分類的研究中。鄭一力等[9]提出了使用基于遷移學習的Alex Net 網絡、Inception V3 網絡進行植物葉片圖像識別研究，該方法實現了對ICL 數據庫中包含220 種植物葉片樣本的有效識別，準確率分別達到了95.31%、95.40%。張雪芹等[10]提出了P-AlexNet 模型進行植物識別，基于遷移學習方法對AlexNet 模型進行了改進，訓練得到驗證集精度達到86.7%。李立鵬等[11]改進了ResNet101 模型結構對數據擴充后的野生植物數據集進行訓練，優化后的模型較原模型識別準確率增加約7 個百分點，達到85.6%。裴曉芳等[12]以ResNet18 為基礎模型提出了一種基于注意力的殘差結構改進方法，在Oxford17 和Oxford102 兩個花卉數據集中正確率分別為99.26%以及99.02%，適用于花卉細粒度圖像分類。深度學習在圖像識別領域中的優勢推動了我國植物相關產業的發展，對我國國民經濟和人民生活水平的改善起到了十分重要的促進作用。

由于多肉植物品種難以辨別，對其進行圖像分類工作面臨著巨大的挑戰。目前，國內外有部分學者對多肉植物種類的識別進行過研究。王守富等[13]提出一種以顏色特征和紋理特征組成的復合特征作為輸入的WPA-SVM 多肉植物分類識別模型，對原創的5 類多肉植物數據集識別準確率和誤判率分別為99.42%和0.58%。Suteeca 等[14]利用CNN 建立了一個準確率為79.36%的多肉種類識別模型并部署在web 系統中。劉儼嬌[15]基于AlexNet融合特征與微調的方法對原創的20 類多肉植物和9 類生石花數據集進行分類，分類正確率分別為96.3%和88.1%，平均每幅圖片測試用時8s。黃嘉寶等[16]利用微調網絡GoogLeNet 對原創的10 類多肉植物數據集進行了強監督分類訓練、測試，精準率為96.7%。

上述研究中都實現了對多肉植物種類的識別，識別精度較好，但是目前的研究在以下幾方面還是存在一定的不足:使用強監督方法完成細粒度分類任務需要對樣本圖片的特征區域進行標注，通常會消耗大量的人力和時間；算法模型太大難以在部分移動設備以及嵌入式設備中進行部署；選取的多肉植物種類較少對模型挑戰不足。為了能夠更好地認識和識別多肉植物，本研究基于輕量化網絡MobileNet V3，針對13 種不同種類的多肉植物制作了多肉植物圖像數據集，對多肉植物的品種進行種類識別研究。本研究方法不需要對圖像樣本的特征區域進行標注，且輕量化模型所占內存空間小，針對多肉植物市場發展火熱的現狀，其適合部署到部分移動設備以及嵌入式設備，方便人們的使用。

1 數據集的建立

1.1 數據采集

由于缺乏現成的多肉植物圖像數據集，本研究采用自制數據集。試驗搜集了13 種國內常見的景天科多肉植物的圖片樣本制成多肉植物圖像數據集，共計13632 張，每張樣本圖片中包含一株或多株相關的多肉植物。樣本圖片分別來源于網絡、實地拍攝與相關的專業書籍。來自網絡部分的樣本圖片來源于百度圖片、百度貼吧、小紅書、多肉聯萌等網絡平臺，均由人工篩選后下載；來自實地拍攝部分的樣本圖片，分別拍攝于山東省濟南市和浙江省杭州市的多肉大棚；來自專業書籍部分的樣本圖片，則分別來源于?多肉植物圖鑒?[17]與?景天多肉植物圖鑒?[18]。

考慮到目前國內多肉植物市場中，存在商家自主雜交培育成本低、俗名繁多等原因而導致的部分多肉植物品種混亂且存在爭議的問題，為了保證樣本數據的準確性，本研究參考了目前國內權威植物品種數據庫——“植物智”信息系統。“植物智”信息系統錄有植物物種介紹、圖像、地理分布等信息，本研究選取的多肉植物試驗種類均可在“植物智”信息系統中搜索到。數據集中的13 種多肉植物圖像樣本的基本信息和具體數量情況如表1 所示。表中第二列為多肉植物的植物學名信息，通常情況下一種植物若為栽培植物，則品種名使用半角單引號括起并且單次首字母大寫。

表1 多肉植物圖像樣本詳細情況

1.2 數據處理與數據增強

將本研究的數據集中13 632 張圖像樣本按8 ∶2的比例劃分為訓練集和測試集，其中訓練集樣本數量為10 911，測試集樣本數量為2 721。

對圖像樣本進行數據處理，將所有樣本圖片中非JPG 格式的圖片統一轉換為JPG 格式，對測試集圖像樣本統一進行壓縮并調整為大小是224×224像素的圖像。

在數據處理后對訓練集圖像樣本進行在線數據增強，每輪訓練過程前進行如下操作:將圖像樣本統一進行隨機裁剪并調整為大小是224×224 像素的圖像；將圖像樣本統一進行概率為0.5 的隨機水平翻轉；對圖像樣本統一進行概率為0.2、縱橫比范圍在2/100 到1/3 之間的隨機遮擋。

最后對圖像樣本統一進行歸一化處理，由于本研究使用Imagenet 數據集預訓練權重進行遷移學習，因此使用Imagenet 數據集的均值與標準差對圖像樣本做歸一化處理。圖2 所示為對圖像進行歸一化操作的結果展示。

圖2 圖像歸一化

2 相關原理

2.1 Focal Loss 損失函數

損失函數是用來估量模型的預測值與真實值的偏離程度的函數。在模型訓練過程中，圖像難易樣本不平衡對模型性能會造成一定影響。Focal Loss損失函數[19]是一個動態縮放的交叉熵損失函數，在交叉熵函數基礎上進行了改進，通過調節系數動態減小易分類樣本的權重，增加難分類樣本的權重，達到平衡各類別權重的目的，從而解決難易樣本影響模型性能的問題，其公式為:

式(1)[20]中:αt為權重因子，調節正負樣本損失之間的比例；pt為某個類別的類別分數；(1－pt)為調制系數，調節不同難易樣本的權重，當pt趨近于1 也就是(1－pt)趨近于0 時，樣本置信度高代表易分類樣本，反之代表難分類樣本；γ為聚焦參數，(1－pt)γ調節難易樣本在模型中的權重。本研究搜集了13個種類的多肉植物圖像，由于多肉植物具有類間相似度高、形態易變的特點，因此進行多肉種類識別時，往往會出現相似的難分類樣本，分類難度較大，故使用Focal Loss 損失函數來解決樣本不平衡的問題，從而提升模型的性能。

2.2 MobileNet V3 模型

MobileNet V3[21]于2019 年被提出，其包括兩個版本，分別為MobileNet V3 Large 和MobileNet V3 Small，兩個版本的層數不同，是MobileNet 系列網絡最先進的研究成果。MobileNet V3 添加了SE 模塊，更新了激活函數，并且保留了MobileNet V1[22]中的深度可分離卷積和MobileNet V2[23]中的線性瓶頸倒殘差結構。

①深度可分離卷積

深度可分離卷積包含深度卷積(Depthwise Convolution，DW)和逐點卷積(Pointwise Convolution，PW)兩部分，其中深度卷積對單個通道進行卷積，而逐點卷積將卷積核設定為1×1 尺寸進行卷積，如圖3 所示。

圖3 深度可分離卷積

以圖3 中流程為例，輸入特征圖通道數為CIN＝3，高度HIN＝224，寬度WIN＝224；輸出特征圖通道數COUT＝256，高度HOUT＝220，寬度WOUT＝220；深度卷積為3 個深度為1 的卷積核，卷積核大小K＝5。逐點卷積為256 個3×1×1 的卷積核。設深度可分離卷積的乘法運算總次數為X，其計算方式如式(2)所示；設深度可分離卷積需要的權重參數數量為Y，其計算方式如式(3)[22]所示:

②具有線性瓶頸的倒殘差結構

線性瓶頸的倒殘差結構即模型中的Bottleneck層，具有兩個逐點卷積層和一個深度卷積層，如圖4所示，圖中“?”表示在此處進行點乘操作。

圖4 具有線性瓶頸的倒殘差結構

倒殘差結構對圖像的維度處理首先會采用逐點卷積升高圖像維度，然后通過深度卷積，深度卷積對單通道卷積的特性決定了計算量不會過高，最后再使用逐點卷積降低圖像維度。

③注意力機制

注意力機制(Attention Mechanism)模仿了人類大腦所特有的大腦信號處理機制，其目標是從當前所有信息中提取重要特征信息。MobileNet V3 在Bottleneck 結構中加入了注意力機制，被稱為SE 模塊[24]。SE 模塊主要包括壓縮(Squeeze)和激勵(Excitation)兩部分。SE 模塊的計算步驟，設深度卷積層輸出通道為C，首先在深度卷積層后設置了全局池化層將特征圖壓縮為C×1×1 的向量，實現壓縮操作；隨后設置了兩個1×1 全連接層，第一個全連接層節點個數是輸入特征通道數的1/4，第二個全連接層輸出尺度因子尺寸與輸入通道數一致，應為C×1×1，兩個全連接層共同實現了激勵操作[21]；經過兩個全連接層后得到新向量的每個元素與對應的輸入特征通道相乘，得到新的特征數據，作為輸出特征。

SE 模塊的壓縮操作通過平均池化實現，由于最終的尺度因子作用于整個通道，所以將輸入特征的每一個通道通過平均池化得到一個均值，基于通道的整體信息實現尺度因子的計算。SE 模塊的激勵操作通過在平均池化層后設置兩個逐點卷積層訓練來實現，經過兩次逐點卷積得到尺度因子，然后通過乘法逐通道加權到之前的特征上，完成在通道維度上對原始特征的重標定。SE 模塊利用兩個全連接層的輸出值來實現輸入數據中關鍵特征的增強，并抑制不重要特征，提高了模型的性能。

2.3 改進的MobileNet V3 模型

本研究采用MobileNet V3 Large 作為特征提取網絡。MobileNet V3 Large 模型中Bottleneck 模塊前六層以及SE 模塊中采用ReLU 激活函數，但是ReLU 函數輸入為負時，其梯度就會為0。LeakyReLU 函數是基于ReLU 函數開發的用于解決梯度消失問題的激活函數，本研究將MobileNet V3 Large 模型原有的Re-LU 激活函數替換為LeakyReLU 激活函數[25]，優化后的SE 模塊如圖5 所示。

圖5 優化后的SE 模塊

試驗在全連接層中添加了Dropout 層[26]隨機停止一部分網絡節點以減輕過擬合的產生，增強網絡在訓練學習時的魯棒性；遷移[27]在Imagenet 數據集中進行預訓練的MobileNet V3 Large 參數權重，對整個網絡進行訓練；使用Focal Loss 損失函數來評估真實值與預測值之間的差距。改進后的網絡結構如圖6 所示，其中HS 代表H-Swish，RE 代表ReLU，LR代表LeakyReLU。

圖6 改進后的模型結構

網絡結構參數如表2 所示，包括輸入輸出、相應操作、是否使用SE 模塊以及步長。

表2 網絡結構參數

3 試驗與結果分析

3.1 試驗環境

本研究使用的進行試驗的計算機操作系統為64 位的Windows 10 操作系統，搭載的處理器為12th Gen Intel(R)Core(TM)i5－12600KF 3.70 GHz，顯卡型號為RTX 3080，使用Pythorch 1.10.2 深度學習框架在Pycharm 2021.1.2 開發環境中進行試驗，使用的編程語言為Python 3.6.5。

3.2 參數設置

學習率設置為0.0001，使用AdamW[28]作為優化器，余弦退火方法作為學習率調整策略，可以加快模型收斂并且不容易陷入局部最優解；訓練的Epoch 設置為100，Batch Size 設置為16；輸入圖像為RGB 圖像，輸入尺寸為224×224×3。

3.3 評估標準

為了評價多肉植物種類識別模型的識別效果，本研究采用的評估標準為 Top-1 準確率(Accuracy)、Top-5 準確率(Accuracy)[29]、精確率(Precision)、召回率(Recall)[30]，除此之外還會考慮模型所需存儲空間大小這一項因素。Top-1 準確率指輸出的概率向量中最大概率所代表的多肉植物種類與正確的多肉植物種類一致的概率；Top-5 準確率指輸出的概率向量中前五種概率所代表的種類中包含有正確種類的概率；精確率指全部預測為正的多肉植物圖像樣本中正確預測的圖像樣本的概率；召回率指全部實際為正的多肉植物圖像樣本中預測為正的圖像樣本的概率。

計算公式如下:

式中:TP、TN、FP、FN 分別表示真陽性、真陰性、假陽性、假陰性。

3.4 不同激活函數的效果比較與分析

為驗證LeakyReLU 激活函數對多肉植物圖像識別的優勢，以及其在Bottleneck 模塊和SE 模塊中的不同作用，本研究設置了4 組不同激活函數對比試驗以及4 組消融試驗進行對比分析。

4 組不同激活函數對比試驗如表3 所示，按照編號分別為將MobileNet V3 Large 模型原本采用的ReLU 激活函數與使用GeLU、ReLU6、LeakyReLU 三種激活函數做對比。表3 中的試驗結果表明LeakyReLU 激活函數由于保留負值信息的特點，更適合多肉植物種類的識別。

表3 不同激活函數對比試驗

4 組消融試驗如表4 所示，按照編號分別為在Bottleneck 模塊和SE 模塊中激活函數不改變的模型、將Bottleneck 模塊前六層的ReLU 激活函數換成LeakyReLU 激活函數的模型、將SE 模塊的ReLU 激活函數換成LeakyReLU 激活函數的模型、將Bottleneck 模塊前六層和SE 模塊中的ReLU 激活函數換成LeakyReLU 激活函數的模型。表4 中的試驗結果表明，將LeakyReLU 激活函數同時應用于Bottleneck 模塊前六層與SE 模塊，模型的性能優于單獨采取一種策略的模型性能。

表4 消融試驗

3.5 不同損失函數的效果比較與分析

為驗證Focal Loss 損失函數對多肉植物圖像識別效果的影響，使采用交叉熵損失函數的MobileNet V3 Large 模型與采用Focal Loss 損失函數的MobileNet V3 Large 模型對多肉植物圖像數據集分別進行訓練，對13 種多肉植物的精確率結果進行對比分析，如表5 所示。可以看出，Focal Loss 損失函數的表現整體優于交叉熵損失函數的表現。Focal Loss 損失函數雖然小幅度犧牲了廣寒宮、麗娜蓮、熊童子等易分類樣本的精確率，但使靜夜、藍石蓮、女雛等難分類樣本的精確率得到提高，同時使模型整體的準確率得到提高。

表5 不同損失函數對比試驗

3.6 不同分類模型的效果比較與分析

為客觀評價本研究改進的網絡模型的識別效果，在所搜集的數據集下，分別訓練和測試了本研究改進的 MobileNet V3 Large 模型與未改進的MobileNet V3 Large 模型，以及其余兩種較常見的深度學習模型，分別為ShuffleNet V1[31]和VGG16，以上模型均在Imagenet 數據集中進行過預訓練。

試驗結果的測試準確率曲線和訓練損失值曲線與如圖7 所示，圖7(a)代表測試集準確率變化過程，圖7(b)代表訓練集損失值變化過程。

圖7 不同模型準確率與損失值對比圖(0～100 次訓練)

由圖7 中可以看出四個對比模型在第二十次訓練過程后開始收斂，為了更清楚地展示本研究改進的MobileNet V3 Large 模型的優越性，選取四個模型在第二十次到第一百次的訓練過程繪制測試準確率曲線和訓練損失值曲線，如圖8 所示。圖8(a)代表測試集準確率變化過程，圖8(b)代表訓練集損失值變化過程。

圖8 不同模型準確率與損失值對比圖(20～100 次訓練)

表6 為不同模型的評價指標。由表6 可以看到，本試驗提出的改進MobileNet V3 Large 網絡的準確率優于 MobileNet V3 Large、ShuffleNet V1、VGG16。改進的MobileNet V3 Large 網絡準確率相對于未改進的MobileNet V3 Large 提升了0.44%，改進后的模型性能得到了提高。與其他模型進行比較，ShuffleNet V1 同樣也是輕量化模型，改進的MobileNet V3 Large 網絡準確率相對于ShuffleNet V1 略高1.03%；改進的MobileNet V3 Large 網絡準確率相對于VGG16 略高0.55%，但是VGG 16 模型的大小需要占1GB 的存儲空間，而改進的網絡模型僅占48.2MB 的存儲空間，比VGG 16 模型小了21 倍左右；綜合來說，改進的MobileNet V3 Large 是相對優越并且適合部署在系統中使用。

表6 不同的網絡識別效果評價

混淆矩陣展示測試集預測值各類歸對、歸錯的個數，其中的橫坐標代表真實值，縱坐標代表預測值；主對角線的數字代表被正確預測為其對應種類的圖像樣本數量，其他位置的數字代表被錯誤預測為其對應縱坐標種類名稱的圖像樣本數量。為了進一步展示改進后MobileNet V3 Large 模型的性能，為測試集樣本數據，繪制以上4 個模型的混淆矩陣，混淆矩陣如圖9 所示。

圖9 混淆矩陣

圖中圖9(a)代表改進后的MobileNet V3 Large的混淆矩陣，圖9(b)代表未改進的MobileNet V3 Large 模型的混淆矩陣，由圖9(c)代表ShuffleNet V1 的混淆矩陣，圖9(d)代表VGG16 的混淆矩陣。圖9 中可以看出，改進后的MobileNet V3 Large 模型對多肉植物種類識別結果最好。

3.7 網絡可視化

網絡卷積層包含了大量語義信息，網絡可視化可以更好地展示模型效果[32]。梯度類加權激活映射(GradCAM)是一種用于分析分類網絡的可視化工具，采用反卷積和導向反向傳播實現網絡的可視化。使用梯度類加權激活映射輸出各層網絡提取到該層輸出的類激活圖，從而可以看出圖像中響應值最高的區域來驗證網絡的關注點是否合理。

在多肉植物的生長過程中，由于養護環境、養護手法、季節等因素的影響，如澆水的頻率、澆水量多少以及光照情況等，多肉植物形態會隨著生長條件的改變產生變化。例如在澆水沒有充足光照的條件下，多肉植物大都會出現徒長、變色的跡象；在冬季尤其是蓮座狀外形的多肉植物大都會呈收斂狀，而在夏季蓮座狀外形的多肉植物大都會呈分散狀。雖然多肉植物形態易變，但是多肉植物的芯部位一般會保持其形態特點(雖然多肉植物的顏色也會產生變化，但是多肉植物的顏色依然存在每個品種特有的變化范圍，并且在多肉植物的芯部位，顏色的變化相對穩定，所以顏色依舊是重要的判斷條件)。改進的MobileNet V3 Large 網絡模型的類激活圖可視化如圖10 所示。

圖10 類激活圖可視化

圖10 展示了網絡最終輸出的類激活圖，可以看出圖像響應區域覆蓋范圍大，并且響應值最高的區域集中在多肉植物的芯部位，說明芯部位是本文模型判斷多肉植物圖像所屬種類的重要區域，模型學習到了關鍵特征。

為了進一步展示改進的MobileNet V3 Large 網絡模型中卷積層發揮的作用，將模型每一層網絡輸出的類激活圖也進行展示，如圖11 所示。圖11 體現了模型每一層網絡的學習過程，可以看出經過訓練模型學習到了多肉植物的關鍵特征。

將改進Bottleneck 模塊前六層與SE 模塊后的模型與原模型的類激活圖做對比，如圖12 所示。在替換激活函數后，圖像響應值高于原模型，并且覆蓋的區域范圍比原模型更加合理。

圖12 改進模型類激活圖可視化對比

改進的MobileNet V3 Large 網絡模型部分特征圖可視化如圖13 所示，包含模型輸入特征圖與前六層網絡輸出特征圖。

圖13 模型特征圖可視化

3.8 模型性能驗證

為了進一步比較本研究方法的有效性，將數據集分別按照上文中使用的比例劃分5 次訓練集、測試集，每次得到的訓練集、測試集各不相同。對訓練集和測試集使用不同的模型分別進行5 次試驗得到的試驗結果如圖14 所示，平均準確率如表7 所示。可以看出，經過多次不同試驗，本模型在多肉植物種類識別中依然有較高的準確率，說明本模型具有較強的魯棒性。

表7 不同模型的5 次訓練平均準確率

圖14 不同模型的5 次訓練模型準確率

4 結論

本研究立足于復雜生活環境下的多肉植物種類識別任務，針對多肉植物具有類間相似度高，以及在不同環境和不同養護手法下形態多變等特點，分析MobileNet V3 Large 原始模型并加以改進。本研究以奧普琳娜、白牡丹、廣寒宮、靜夜、吉娃娃、藍石蓮、麗娜蓮、女雛、錢串、特玉蓮、熊童子、雪蓮、玉蝶等13 種多肉植物為研究對象，構建多肉植物圖像數據集(13 632 張)，以Pytorch 為深度學習框架，在經典MobileNet V3 Large 基礎上，將Bottleneck 模塊前六層與SE 模塊的ReLU 激活函數換成LeakyReLU 激活函數，使用AdamW 優化算法更新梯度并嵌入了余弦退火方法衰減學習率，添加了Dropout 層提高模型的泛化性，使用Focal Loss 代替交叉熵損失函數，最終準確率達到了97.35%，使模型可以實時穩定地對多肉植物圖像進行分類。本研究改進后的模型與前人研究相比，省去了人工標注數據集的步驟，同時提高了運算速度及準確率。與其他輕量化網絡架構進行對比，改進模型具有更高效的識別準確率、更平穩的收斂過程；與經典卷積神經網絡架構相比，改進模型具有更少的參數內存，能夠滿足多肉植物種類識別模型部署于各種移動設備和嵌入式設備的要求。

研究結果表明，利用MobileNet V3 網絡對多肉植物進行種類識別具有一定的可行性。不過，改進后的模型依然存在不足之處，模型性能尚存在優化空間，本研究制作的多肉植物圖像數據集也存在擴充空間。在未來的研究中，將增加新的多肉植物種類，擴充數據集，并繼續優化模型性能，以便于將其部署于設備中進行多肉植物的種類識別。