Ghost-MobileNet v2：一種輕量級玉米田雜草識別新模型

doi：10.15889/j.issn.1002-1302.2024.20.021

摘要：農田雜草種類繁多、生命力強、危害作物的各個生長周期，對現代化農業生產依舊具有極大的影響。為了協助農業生產中的雜草防治工作，對雜草準確、無損、高效識別，將深度學習與農業結合，利用深度學習技術對玉米田中的雜草進行識別和分類，從而為玉米田雜草治理提供技術支持。針對經典卷積神經網絡計算量大、準確率低、訓練時間長等問題，提出了一種基于MobileNet v2輕量級網絡的玉米田雜草識別新模型Ghost-MobileNet v2。該模型以MobileNet v2為基礎，加入Ghost模塊強化信息流動、提升特征表達能力；再加入SE-CBAM注意力機制，該注意力機制由SE注意力機制和CBAM注意力機制并聯組合而成，在通道和空間2個維度上綜合考慮特征的重要性，更全面地捕捉圖像特征，從而提升網絡的表達能力和泛化能力。試驗結果表明，與其他經典的模型和先進的多尺度模型相比，Ghost-MobileNet v2對玉米田雜草有更好的分類效果，平均準確率達到了99.00%，高于原模型的97.58%。通過精確率、召回率、F1分數等3個評價指標，得出Ghost-MobileNet v2具有魯棒性好、穩定性高、識別率高等特點，將該網絡與現實農業生產中玉米田雜草防治工作相結合，可以有效地提高工作效率。

關鍵詞：深度學習；玉米；雜草；Ghost-MobileNet v2；注意力機制

中圖分類號：S126；TP391.41" 文獻標志碼：A

文章編號：1002-1302（2024）20-0173-08

收稿日期：2023-12-16

基金項目：國家自然科學基金（編號：61862032）；江西省自然科學基金（編號：20202BABL202034）。

作者簡介：許" 爽（1998—），男，湖北孝感人，碩士研究生，主要從事農業信息技術研究。E-mail：1078828268@qq.com。

通信作者：楊" 樂，碩士，副教授，碩士生導師，主要從事農業信息技術、深度學習等研究。E-mail：jxnzhyangle@163.com。

我國是世界上人口最多的國家之一，對農產品需求量大，農業是我國的基礎產業，農業的發展會影響到生活的各個方面。玉米是世界三大糧食作物之一，種植面積和產量均居世界前列，玉米的種植對全球糧食安全具有重大意義，玉米田雜草一直以來對玉米的產量和質量有著不可小覷的影響，確保玉米生產高質量和高產量是一項艱巨的任務。

圖像識別技術在農業生產過程中已有非常廣泛的應用，特別是在農業病蟲害防治、農作物識別、農田雜草識別等方面。將深度學習技術用在雜草防治工作中不僅可以提高工作效率，而且有助于保護農田環境，計算機與農業相結合已成為一條必然之路，雜草圖像識別技術在農業應用中展現出巨大的應用前景和價值［1-11］。彭文等利用深度卷積神經網絡對6種水稻雜草進行識別，平均F值高達0.954［12］。鄧向武等運用遷移學習與CNN相結合的方法，對6種稻田苗期雜草進行識別，在AlexNet、VGG16和GoogLeNet上識別準確率分別達到了96.40%、97.48%和91.01%［13］。Xu等提出了一種基于深度轉移學習的深度可分離卷積神經網絡雜草識別方法，該模型對9種雜草的識別準確率達到99.63%［14］。2023年，姚思雨等在CNN模型中添加Dropout層，對棉花植株和雜草的分類準確率超過99.95%［15］。當前的雜草圖像數據集規模較小，圖像質量參差不齊，這將嚴重限制網絡模型訓練的效果，導致識別準確率較低。對于一些參數量較大的模型，即使對雜草識別有很高的準確率，但是不利于嵌入到移動設備中，難以運用到實際生產中的雜草防治工作。采用輕量級卷積神經網絡進行雜草圖像識別，相比傳統的大型網絡模型具有明顯的優勢。輕量級網絡參數量少，計算量小，更易于在嵌入式和移動設備上部署，可以實現實時的雜草識別。2022年，陳啟等以ResNet50和MobileNet v3 Large模型為基礎，構建出一個輕量級網絡，在模型大小變化不大的情況下，識別準確率提升1.2百分點［16］。

本研究以玉米田雜草為主要研究對象，通過多組試驗，構建出高效、可靠、準確率高且具有泛化能力的新型卷積神經網絡Ghost-MobileNet v2，該網絡將MobileNet v2網絡、Ghost模塊以及SE-CBAM注意力機制融合在一起。Ghost模塊自提出以來被廣泛運用于各個深度學習網絡中，是一個高效且可以即插即用的模塊，能增強網絡的表達能力；SE注意力機制和CBAM注意力機制被大量用于圖像分類、目標檢測等網絡中［17-23］。本研究提出的模型與現有模型相比，該模型有以下3個主要貢獻：提出一種用于農作物雜草識別的新型輕量級網絡Ghost-MobileNet v2。在MobileNet v2中加入SE-CBAM注意力機制，將SE注意力機制和CBAM注意力機制并聯組合，更全面地在通道和空間2個維度上提取圖像特征，提高網絡的表達能力。使用3個Ghost模塊來替換MobileNet v2網絡中的第2個倒殘差塊，使網絡利用較少的特征生成大量的特征圖，減少訓練時間，提高準確率。

1" 材料與方法

1.1" 圖像收集

通過互聯網搜索、收集到一些玉米幼苗和玉米田雜草圖像，并通過專家鑒定以及人工篩選，處理后共計得到6 000張圖片，其中包括1種玉米幼苗和4種玉米田雜草圖片，每種1 200張圖片，雜草類別分別為早熟禾、灰菜、刺兒草、莎草，部分圖片樣本如圖1所示。

1.2" 模型構建

1.2.1" MobileNet v2

MobileNet v2是由Google團隊在2018年提出的，相比于MobileNet v1其準確率更高，模型更小，該網絡的優點在于使用了大量倒殘差塊和線性瓶頸層，與Resnet網絡中的殘差結構不同的是，在 MobileNet v2 中，先對輸入到網絡中的特征進行升維再降維，將3×3卷積替換為3×3深度可分離卷積，并且只有當步距為1且輸入特征矩陣與輸出特征矩陣相同的時候才有短接連接［24-25］。使用線性瓶頸層可以使網絡在大幅減少參數量和計算量的同時能夠保持準確率，非常適合移動和邊緣場景，倒殘差塊的結構如圖2所示。

1.2.2" Ghost模塊

Ghost模塊是一種模型壓縮模塊，常用于輕量級卷積神經網絡中，可以用較少的特征生成大量的特征圖，在模型參數沒有明顯變化的同時可以提高模型的準確率，增強特征表達能力，減少網絡的訓練時間，且模塊結構簡單，如圖3所示，第一步使用較小的卷積核進行卷積生成部分所需的特征圖，第二步在第一步的基礎上進行一些低成本的操作，例如線性變換等，來生成剩下所需要的特征圖，最后，將前兩步所獲得的特征圖進行拼接，得到完整的所需的特征圖。

1.2.3" SE注意力機制

SENet是2017年ImageNet競賽的冠軍，結構如圖4所示。主要由壓縮和激勵2個部分組成，在壓縮操作中，對C個通道大小為 H×W的特征圖進行全局平均池化，C×H×W的特征圖被壓縮為1個1×1×C大小的一維向量，獲得了C個通道的全局信息。在激勵操作中，將壓縮操作得到的1×1×C一維特征送入全連接層，為每個特征通道生成權重，獲取每個通道的重要性，以此來顯示各個通道之間的相關性。最后將激勵操作輸出的權重通過乘法逐通道加權到先前的特征上，完成對原始特征的重標定［26］。

1.2.4" CBAM注意力機制

CBAM是一種輕量級的注意力機制，可以增強卷積神經網絡對特征的關注能力，該模塊由通道注意力和空間注意力組成。通道注意力機制首先對輸入的圖像分別進行最大池化和平均池化，然后將最大池化和平均池化的結果送到共享的多層感知機中進行處理，將兩者處理的結果通過元素相加合并，最后使用Sigmoid函數生成通道注意力特征Mc，如公式（1）所示。空間注意力機制將通道注意力模塊輸出的特征圖作為輸入特征圖，首先，進行最大池化和平均池化，然后將二者處理的結果在同一維度上進行堆疊，再經過一個卷積操作進行降維處理，最后使用Sigmoid函數生成空間注意力特征Ms，如公式（2）所示。CBAM通過結合通道和空間2種注意力，可以自動學習到對特征表達更重要的維度，實現對特征的自適應調節，增強模型的特征表達能力，其結構圖如圖5所示。

Mc（F）=σ（MLP［AvgPool（F）+MLP（MaxPool（F））］）；（1）

Ms（F）=σ（f7×7（［AvgPool（F）；MaxPool（F）］））。（2）

式中：F是輸入特征圖；AvgPool和MaxPool分別表示全局平均池化和最大池化操作； MLP表示多層感

知機；σ表示Sigmoid激活函數；f7×7表示一個7×7的卷積操作。

1.2.5" SE-CBAM注意力機制

本研究所提出的 SE-CBAM 注意力機制由SE注意力機制與CBAM注意力機制并聯組成，SE注意力機制主要關注通道特征的重要性，而CBAM同時考慮通道和空間的重要性，不同的任務和數據集可能對通道和空間的關注程度有所不同，結合使用可以使網絡更具適應性。SE注意力機制通過全局平均池化學習通道的重要性，而CBAM則進一步擴展了這一點，通過結合通道注意力和空間注意力來分別學習通道和空間維度的重要性。兩者的結合可以使網絡更加自適應地學習特征之間的關系，適應不同任務和數據的變化，其結構圖如圖6所示。

1.2.6" Ghost-MobileNet v2模型

本研究是以MobileNet v2為基礎，加入Ghost模塊，改進的模型中用3個Ghost模塊替換MobileNet v2中原有的第2個倒殘差模塊，以增強特征表示能力，提高模型的識別準確率，并將 Ghost 模塊中的步距設置為 1，有助于網絡在細節層面上進行更精細的特征提取，在最后一個倒殘差模塊和全局平均池化層之間加入了SE-CBAM模塊，從通道和空間2個維度上提取特征，加強特征的聚焦，減小網絡過擬合的風險，其結構如圖7所示。

2" 結果與分析

本試驗使用的計算機配置為AMD Ryzen 7 5800H；頻率為3.20 GHz，24.0 GB內存；NVIDIA GeForce RTX 3060 顯卡； CUDA的版本是11.2；Cudnn的版本是8.1；搭載Windows 10，64位操作系統。所使用的軟件主要包括OpenCV圖像處理軟件以及tensorflow 2.5.0深度學習框架，使用Python語言進行程序編譯，Python版本為3.7，試驗于2023年10月在江西南昌進行，各參數如表1所示。

2.1" 試驗結果與設計

本試驗將數據集按照6 ∶2 ∶2的比例分為訓練集、驗證集和測試集，再將圖片統一為224×224的尺寸輸入，圖8和圖9分別為Ghost-MobileNet v2訓練的準確率曲線和損失值曲線。從圖8、圖9可以看出，模型在迭代25次左右開始收斂，且隨著迭代次數的增加，兩曲線逐漸貼合，說明該模型達到了擬合狀態，達到了一個很好的訓練效果。

為進一步驗證Ghost-MobileNet v2的泛化能力，本研究還進行了其他試驗，分別為注意力機制中的不同組合對比試驗、不同注意力機制對比試驗、消融試驗、模型在其他數據集中的驗證試驗以及與其他模型對比試驗。

2.2" 評價指標

本研究使用精確率（precision，P）、召回率（recall，R）、準確率（Accuray）和F1分數來衡量Ghost-

MobileNet v2在識別玉米田雜草方面的性能，計算公式如下：

P=TPTP+FP；（3）

R=TPTP+FN；（4）

Accuray=TP+TNTP+FN+FP+TN；（5）

F1分數=2Recall×PrecisionPrecision+Recall。（6）

式中：TP表示將正樣本預測為正樣本的數量，即預測正確；FP表示將負樣本預測為正樣本的數量，即預測錯誤；FN表示將正樣本預測為負樣本的數量，即預測錯誤；TN表示將負樣本預測為負樣本的數量，即預測正確。

2.3" 注意力機制中的不同組合對比試驗

SE注意力機制側重于通道間的關系，而CBAM結合了通道和空間注意力，它們的組合能夠更全面地捕捉到圖像中的關鍵特征，提高模型對不同層次特征的感知能力，模型可以在更細致和全局的層面上理解圖像特征，從而提高對關鍵信息的捕捉和利用，最終提高網絡模型的性能。本試驗將SE與CBAM進行了3種不同的組合，分別為串聯組合、將SE嵌入到CBAM中組合以及將SE與CBAM進行并聯組合，并分別加入到Ghost-MobileNet v2中。由試驗結果（表2）得出，SE-CBAM組合即二者并聯組合準確率最高，達到99.00%，高于SE+CBAM串聯組合和CB+SE+AM的嵌入式組合。

2.4" 不同注意力機制對比試驗

注意力機制可以選擇圖像中重要的特征區域，抑制不重要的區域，使網絡更關注于關鍵的特征，常用的注意力機制有CBAM、ECA、SE等3種，本研究將3種注意力機制分別加入Ghost-MobileNet v2網絡中，與本研究所提出的注意力機制進行對比，

保持各參數相同且激活函數使用ReLU6。試驗結果（表3）表明，SE-CBAM注意力機制在該網絡中表現最出色，對玉米幼苗與雜草的分類效果最好，其識別準確率高于SE（97.58%）、ECA（98.08%）和CBAM（98.92%）的準確率。

2.5" 消融試驗

為驗證加入SE-CBAM和Ghost模塊時模型效果最佳，本研究在同一條件下對各分類網絡進行訓練，分別為只加入SE-CBAM的網絡、只加入Ghost的網絡、加入SE-CBAM和Ghost的網絡（本研究提出）以及原MobileNet v2網絡。結果（表4）表明，在使用SE-CBAM與Ghost時的網絡對玉米幼苗與雜草的分類效果最好，準確率達到了99.00%。另外，圖10為上述4種網絡的混淆矩陣圖。圖10表明，Ghost-MobileNet v2已經成功識別每種類型中的大部分樣本圖像，同樣說明了本研究所提出的方法在性能上的優越性。

2.6" 模型在其他數據集中的驗證試驗

為驗證本研究提出的模型的泛化能力，從Plant Village公共數據集獲取了葡萄葉片病害數據集，通常卷積神經網絡需要大量的數據來進行訓練，鑒于現有的條件，無法收集到更大量的圖像，而現有的數據集較少，本研究對原有的數據集進行擴充，擴充后的數據集包括黑腐病、黑麻疹病、健康、葉枯病圖像各1 500張，數據集樣本如圖11所示。與前文中的試驗一樣，將數據集按照6 ∶2 ∶2的比例分為訓練集、驗證集和測試集，且保持與前文試驗相同的參數，對MobileNet v2和Ghost-MobileNet v2分別進行訓練。結果（表5）表明，在葡萄葉片病害的數據集中，Ghost-MobileNet v2模型的識別準確率達到了96.58%，高于原MobileNet v2模型92.33%的準確率，說明Ghost-MobileNet v2在其他作物中同樣適用，證明了該模型具有良好的泛化能力。

2.7" 與其他模型對比試驗

為了進一步驗證Ghost-MobileNet v2的性能，將Ghost-MobileNet v2模型與其他卷積神經網絡模型進行對比，其中包括MobileNet v3、AlexNet、VGG16、Efficient Net、VGG19，結果如表6所示。與AlexNet、VGG16、VGG19這些參數量較大的網絡相比，Ghost-MobileNet v2的準確率略高，但參數量大幅下降，便于嵌入到移動設備中。與MobileNet v3等輕量級的模型相比，Ghost-MobileNet v2的準確率比MobileNet v3的高出1.92百分點，進一步說明了Ghost-MobileNet v2模型性能優越。

3" 討論與結論

為解決農業生產過程中雜草防治工作較難的問題，本研究在MobileNet v2網絡的基礎上引入了Ghost模塊，增強網絡的表達能力，提高識別準確率，對4種玉米田雜草和玉米幼苗進行了精準、 高效的

分類；采用SE-CBAM注意力機制，對細小的雜草特征從通道和空間2個維度上進行提取，以獲得更全面的圖像特征，便于網絡最后對各個目標進行分類。為了驗證本研究所提出網絡的泛化能力，在PlantVillage大型公共數據集中獲取了葡萄葉片病害數據集進行了對比試驗，并通過多組對比試驗從多個方面驗證了本研究模塊的性能，以輕量級網絡作為載體，方便嵌入到各種移動設備中，進一步提高農業生產過程中雜草防治的效率。

參考文獻：

［1］Al-Gaashani M S A M，Shang F，El-Latif A A A. Ensemble learning of lightweight deep convolutional neural networks for crop disease image detection［J］. Journal of Circuits，Systems and Computers，2023，32（5）：2350086.

［2］Chen J，Zhang D，Suzauddola M，et al. Identification of plant disease images via a squeeze-and-excitation MobileNet model and twice transfer learning［J］. IET Image Processing，2021，15：1115-1127.

［3］Senan N，Aamir M，Ibrahim R，et al. An efficient convolutional neural network for paddy leaf disease and pest classification［J］. International Journal of Advanced Computer Science and Applications，2020，11（7）：116-122.

［4］Zhu S，Ma W，Lu J，et al. A novel approach for apple leaf disease image segmentation in complex scenes based on two-stage DeepLab v3+ with adaptive loss［J］. Computers and Electronics in Agriculture，2023，204： 107539.

［5］Kim H，Kim D. Deep-learning-based strawberry leaf pest classification for sustainable smart farms［J］. Sustainability，2023，15（10）：7931.

［6］Jaiganesh M，SathyaDevi M，Srinivasa Chakravarthy K，et al. Identification of plant species using CNN- Classifier［J］. Journal of Critical Reviews，2020，7（3）：923-931.

［7］Bongulwar D M. Identification of fruits using deep learning approach［J］. IOP Conference Series： Materials Science and Engineering，2021，1049（1）：012004.

［8］Chavan T R，Nandedkar A V. AgroAVNET for crops and weeds classification： a step forward in automatic farming［J］. Computers amp; Electronics in Agriculture，2018，154：361-372.

［9］Wagle S A，Harikrishnan R. A deep learning-based approach in classification and validation of tomato leaf disease［J］. TS，2021，38（3）：699-709.

［10］Liu Y W，Zhang X，Gao Y X，et al. Improved CNN method for crop pest identification based on transfer learning［J］. Computational Intelligence and Neuroscience，2022（2022）：9709648.

［11］尚建偉，蔣紅海，喻" 剛，等. 基于深度學習的雜草識別系統［J］. 軟件導刊，2020，19（7）：127-130.

［12］彭" 文，蘭玉彬，岳學軍，等. 基于深度卷積神經網絡的水稻田雜草識別研究［J］. 華南農業大學學報，2020，41（6）：75-81.

［13］鄧向武，馬" 旭，齊" 龍，等." 基于卷積神經網絡與遷移學習的稻田苗期雜草識別［J］. 農機化研究，2021，43（10）：167-171.

［14］Xu Y L，Zhai Y T，Zhao B，et al. Weed recognition for depthwise separable network based on transfer learning［J］. Intelligent Automation amp; Soft Computing，2021，27（3）：669-682.

［15］姚思雨，王" 磊，張宏文. 基于CNN的棉田雜草識別方法［J］. 石河子大學學報（自然科學版），2023，41（1）：21-26.

［16］陳" 啟，陳慈發，鄧向武，等. 基于移動端輕量模型的雜草分類方法研究［J］. 中國農機化學報，2022，43（2）：163-170.

［17］Sandler M，Howard A，Zhu M，et al. MobileNet v2： inverted residuals and linear bottlenecks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.IEEE，2018：4510-4520.

［18］Han K，Wang Y，Tian Q，et al. GhostNet： more features from cheap operations［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.IEEE，2020：1577-1586.

［19］Zhang T，Zhang Y N，Xin M L，et al. A light-weight network for small insulator and defect detection using UAV imaging based on improved YOLO v5［J］. Sensors，2023，23（11）：5249.

［20］Zhang X W，Zhao Z X，Ran L Y，et al. FastICENet： a real-time and accurate semantic segmentation model for aerial remote sensing river ice image［J］. Signal Processing，2023，212：109150.

［21］Zhao Y，Sun C，Xu X，et al. RIC-Net： a plant disease classification model based on the fusion of inception and residual structure and embedded attention mechanism［J］. Computers and Electronics in Agriculture，2022，193：106644.

［22］Wang Y C，Li J D，Chen Z M，et al. Ships’ small target detection based on the CBAM-YOLOX algorithm［J］. Journal of Marine Science and Engineering，2022，10（12）：2013.

［23］張會敏，謝澤奇. 基于多尺度注意力卷積神經網絡的蘋果葉部病害識別方法［J］. 江蘇農業科學，2023，51（16）：154-161.

［24］Howard A G，Zhu M，Chen B，et al. MobileNets： efficient convolutional neural networks for mobile vision applications［J］. arXiv，2017，1704.04861v1.

［25］He K，Zhang X，Ren S，et al. Deep residual learning for image recognition［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas，NV，USA，2016： 770-778.

［26］Hu J，Shen L，Sun G. Squeeze-and-excitation networks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE，2018：7132-7141.