一種輕量級CNN玉米病害圖像識別方法

摘要：針對傳統卷積神經網絡模型參數和運算量超大，難以部署在資源受限的移動終端或嵌入式設備上的問題，以VGG16作為基礎框架，結合MobileNet v3模型思想，提出了一種輕量級卷積神經網絡玉米病害圖像識別方法，通過逐級漸進的方式建立網絡模型，用線性瓶頸的倒殘差深度可分離卷積代替標準卷積，用卷積層來代替全連接層，大幅度降低了模型的參數量和運算量。在深度卷積和點卷積之間加入改進的squeeze and excitation通道注意力模塊，來增強模型精度。注意力模塊的第2個全連接層的激活函數使用hard-swish代替sigmoid，可以大幅度提高運算速度。試驗樣本數據為PlantVillage數據集的玉米病害子數據集，由于樣本數據集偏小，通過隨機旋轉、隨機縮放大小、隨機寬度高度偏移、水平翻轉、垂直翻轉、隨機錯切變換、隨機亮度變化、樣本零均值化等方式對樣本數據進行了增強和擴充，擴充后的數據集在改進模型上進行試驗。試驗結果表明，和VGG16對比，改進模型的準確率提高了1.48百分點，參數量是原模型的1/5，運算量是原模型的1/15；在不降低準確率的前提下，模型的參數量和運算量大幅度降低，實現了模型的輕量化。改進模型可以部署在移動終端等手持設備上，為農業病害識別提供指導和參考。

關鍵詞：玉米病害；輕量級卷積神經網絡；倒殘差結構；深度可分離卷積；VGG；病害圖像識別

中圖分類號：TP391.41；S435.131" 文獻標志碼：A

文章編號：1002-1302（2024）05-0201-07[HT9.SS]

隨著深度學習技術的快速發展，相繼誕生了一大批優秀的卷積神經網絡，如VGG［1］、ReNet［2］、InceptionNet［3］、DenseNet［4］等，模型的準確率不斷提升，但同時網絡模型的深度越來越深，參數量和運算量越來越大，對硬件設備的算力要求也越來越高。這些網絡模型適合在PC端進行部署應用，但在移動設備和嵌入式設備中卻不適合部署應用。國內學者通過將上述經典卷積神經網絡引入農業病害識別中［5-11］，取得了不錯的效果，但實用性不高。對于農業病害識別來說，開發能夠部署在諸如手機移動設備或嵌入式設備的輕量級網絡模型［12］具有更好的市場前景。

輕量化卷積神經網絡的設計主要從卷積結構輕量化、卷積模塊輕量化和卷積運算輕量化3個方面來進行［13］。在輕量化卷積網絡研究和應用方面，2016 年最早公開的輕量化網絡 SqueezeNet［14］，在ImageNet 數據集上的表現和AlexNet相當，但其參數量僅為AlexNet的2%。后來隨著Xception［15］、ShuffleNet［16-18］等網絡的提出，輕量級神經網絡得到了快速發展，并在農業病害防治方面進行了應用和改進［19-21］。2017年Google研究團隊首次提出MobileNet［22］，使用深度可分離卷積技術，大大降低了模型的參數和運算量，在MobileNet v1的基礎上，對網絡模型的主體模塊引入了線性瓶頸的倒殘差結構，提出了MobileNet v2［23］。相比之前的模型，它的準確率更高，模型更小。MobileNet v3［24］更新了層塊的設計，加入了通道注意力機制，使用H-swish激活函數代替ReLU6激活函數，使用神經網絡結構搜索（neural architecture search，NAS）［25］技術搜索網絡參數，并重新設計優化了耗時層，模型的準確率和速度有了進一步的提升。國內學者們針對MobileNet網絡進行了一系列的改進。劉洋等對MobileNet 和 Inception v3網絡進行遷移學習，實現了PlantVillage數據集和自建葡萄葉片病害數據集的識別，并對2種模型的識別效果進行了對比分析研究［26］。孫俊等基于MobileNet v2，引入輕量型的坐標注意力機制和多尺度特征融合技術對MobileNet v2模型進行改進，在11類病害葉片和4類健康葉片數據集上進行了識別驗證，模型精度提升了2.91%［27］。賈鶴鳴等基于VGG網絡，引入深度可分離卷積和全局平均池化技術，構建了一個輕量級網絡模型并在PlantVillage數據集上進行驗證，也取得了較好效果［28］。徐振南等提出了一種基于輕量級卷積神經網絡MobileNet v3的網絡模型，通過遷移學習方式對馬鈴薯葉部病害進行了識別，識別準確率達到了 98.00%［29］。上述研究表明，輕量級卷積神經網絡模型在減少網絡參數量的同時，可保證較高的識別準確率，能夠應用在移動端等終端設備上，可以滿足農業病害識別的實際需求。這些研究為農作物病害識別在資源受限的移動設備和嵌入式設備上進行部署提供了參考。

本研究以VGG16作為基礎框架，使用了深度可分離卷積思想提出了一種CNN玉米病害圖像識別方法，用線性瓶頸的倒殘差深度可分離卷積代替標準卷積實現模型的輕量化，引入通道注意力模塊來增強模型精度，同時通過改進注意力模塊中的激活函數來提升運算速度。

1 研究理論與方法

1.1 VGG網絡

VGG網絡［1］獲得了2014年ImageNet圖像分類比賽的亞軍。VGG網絡主要由5層卷積層、3層全連接層和softmax輸出層組成（圖1）。由于堆疊2個3×3卷積核的感受野和1個5×5卷積核的感受野相同，堆疊3個3×3卷積核的感受野和1個7×7卷積核的感受野相同，因此VGG網絡使用多個3×3卷積核來代替更大的卷積核，能夠有效降低網絡的參數量，所有隱藏層之間的激活單元使用ReLU激活函數，在進行下采樣時，統一使用了2×2小池化核。相比之前的網絡模型，它的網絡深度更深，表示的特征圖更寬。VGG網絡結構簡單，易于擴展改進。

1.2 深度可分離卷積

經研究發現，使用深度可分離卷積代替標準卷積可以大大減少模型的參數量［22］。深度可分離卷積（depthwise separable convolution，DSC）由深度卷積（depthwise convolution，DWConv）和逐點卷積（pointwise convolution，PWConv）構成。標準卷積和深度可分離卷積的對比如圖2所示，其中，BN表示批量歸一化層，ReLU表示激活函數層，DWConv表示深度卷積層，PWConv表示逐點卷積層。

在標準卷積中，卷積核的深度和輸入特征圖的通道數相同，輸出特征圖的通道數和卷積核的個數相同。在DWConv中，卷積核的個數和輸入特征圖的通道數相同，卷積核的深度均為1，每個卷積核只負責與輸入特征圖的單個通道進行卷積運算，因此輸出特征圖的通道數與輸入特征圖的通道數相同。而在PWConv中，使用DWConv卷積的輸出特征圖在深度方向進行加權混合，生成新的特征圖，卷積核的大小為1，其深度和DWConv的輸出通道數相同。卷積核的個數決定了輸出特征圖的通道數，PWConv卷積本質上就是進行卷積核為1×1的標準卷積。

假設輸入特征圖的大小為DF×DF，其通道數為M，卷積核的大小為Dk×Dk，輸出特征圖的通道數為N，則標準卷積的參數量PConv的大小為：

PConv=DF×DF×M×N×Dk×Dk。

深度可分離卷積的參數量PDSC的大小為：

PDSC=DF×DF×M×Dk×Dk+DF×DF×M×N。

兩者之比為：

當選擇Dk=3時，PDSC/PConv=1/N+1/9，可以看到深度可分離卷積的參數量約是標準卷積的 1/9。因此，使用深度可分離卷積代替標準卷積，可以設計輕量化的卷積神經網絡。

1.3 深度可分離倒殘差結構

深度可分離殘差結構［23］是先用1×1的卷積降維，接著進行3×3的卷積，再用1×1的卷積升維，是一個兩頭大、中間小的細腰結構，而深度可分離倒殘差結構是先進行1×1卷積擴維，接著進行3×3卷積，再用1×1的卷積降維，是一個兩頭小、中間大的瓶頸結構，前2個卷積使用非線性激活函數，最后1個卷積使用線性激活函數，因此也稱為線性瓶頸倒殘差結構，以下稱其為bneck塊。本研究提出2種倒殘差結構，區別是一個深度卷積的步長值為1，需要進行殘差跳連；另一個深度卷積的步長值為2，無需進行殘差跳連。兩者的結構如圖3所示。其中，Stride為步長值，ReLU為非線性激活函數，Linear為線性激活函數。從圖3中可知，2種倒殘差結構分別對應了Stride為1和2的2種不同形態，2種形態主要都由1×1升維卷積層、DWConv卷積層、1×1降維卷積層構成。前2層使用了ReLU激活函數，最后1層使用Linear線性激活函數，即無需做任何操作。當Stride=1且輸入特征通道數等于輸出特征通道數時，需要殘差跳連，其余情況無需殘差跳連。要注意的是2種形態中的1×1卷積步長均為1，只有DWConv卷積步長值不同。

1.4 激活函數

目前最常用的激活函數是ReLU激活函數，其定義如下：

ReLU（x）=max（0，x）。

在文獻［24］中給出了一種新的激活函數，即swish激活函數，可有效代替sigmoid函數，其定義如下：

swish（x）=x·σ（x）；

σ（x）=1/（1+ex）。

式中：σ（x）為sigmoid函數，由于σ（x）需要進行指數運算，效率較低，而σ（x）和ReLU的圖像比較相近，因此借助ReLU定義了h-sigmoid（x）函數來近似模擬σ（x），即有：

h-sigmoid（x）=ReLU6（x+3）/6。

式中：ReLU6=min［ReLU（x），6］。在swish函數中，用h-sigmoid（x）代替σ（x），可得到h-swish函數，即有：

h-swish（x）=x·ReLU6（x+3）/6。

相關激活函數的對比如圖4所示，可以看到，sigmoid函數與h-sigmoid函數、swish函數與h-swish函數這2組函數的圖像非常近似，但由于ReLU函數的運算規則簡單，沒有復雜的指數運算，所以基于ReLU的h-sigmoid、h-swish函數的運算效率要高的多。

1.5 通道注意力機制

通道注意力機制（channel attention mechanism，CAM）［30］能夠有效提升卷積神經網絡的性能。在上述bneck塊的DWConv層和PWConv層之間，引入了squeeze and excitation（SE）通道注意力模塊，即先對每個DWConv輸出的特征圖進行全局平均池化，再進行全連接、ReLU6激活，接著再進行全連接、sigmoid或h-swish激活，第1個全連接層的節點個數設為DWConv輸出特征圖的1/4，第2個全連接層的節點個數和DWConv輸出特征圖的個數相同，經過上述運算就得到了1組特征圖權重系數，根據權重系數對特征圖進行融合作為PWConv的輸入，這樣可以增加有用特征的權重，從而將注意力聚焦在更加有用的特征上，在深度可分離卷積中引入通道注意力機制后的模塊命名為SE-bneck塊，其結構見圖5。

在通道注意力模塊中，第1個全連接層后采用了ReLU6激活函數。當ReLU6的輸入過大時，其輸出被限制為6，這樣可有效避免因權重梯度相差過大引起的量化誤差，提高模型的表達能力。而第2個全連接層的后面采用了h-swish激活函數。

2 網絡結構設計

本研究以VGG16作為基礎模型來進行改進，VGG16主要由13層卷積層和3層全連接層構成，在特定的卷積層間加入MaxPooling層進行下采樣。由于VGG模型是在1 000個分類的ImageNet網絡上進行訓練的，而本研究中的玉米病害類型只有4類，因此本研究將VGG模型全連接層前2層的神經元個數由4 096替換為512，最后1層的分類數由 1 000 變為4，將該模型記為模型0。以下通過逐級遞進的方式設計完成了一個輕量級CNN玉米病害圖像識別模型。

在模型0的基礎上，在每個卷積層和激活函數之間加入批量歸一化（batch normalization，BN）層。BN層是將輸入數據按照批量樣本特征的均值u和方差σ對樣本特征進行標準化處理，即

其中，xi′為特征圖像中第i個像素xi歸一化后的值，ε為微小常數，保證分母大于0。BN操作可以將卷積后原本偏離的數據重新拉回到均值為0、標準差為1的正態分布區域，從而將進入激活函數的數據分布在激活函數的線型區，使得輸入數據的微小變化能夠更明顯地體現到激活函數的輸出，進而增強模型的表達能力。經過對改進的VGG16網絡分析發現，其主要參數量來源于后面的全連接層，即使全連接層的神經元降為原來的1/4，全連接層的參數量仍占整個網絡參數量的47%左右，因此考慮用卷積層來代替全連接層，舍棄flatten層，用1個卷積核為1×1×512的卷積層代替第1個全連接層，后接全局平均池化層，再用1個卷積核為1×1×512的卷積層代替第2個全連接層，用卷積核為1×1×classes的卷積層代替第3個全連接層，后接flatten層和softmax層，改進模型記為模型1。

在模型1的基礎上，引入深度可分離卷積和線性瓶頸的倒殘差結構。前面的13個卷積層除了第1個之外，其余的12個卷積層用bneck塊來代替，得到了模型2。注意只有在下采樣時，bneck塊的步長為2，其余均為1。模型2相比模型1，在保持模型精度基本不變的前提下，進一步降低了模型的參數量，提高了運算速度。在模型2的基礎上，通過在部分bneck塊中引入SE模塊，使得在進行PW卷積時能夠關注更加有用的特征。具體做法是在特征提取層使用SE模塊。而在下采樣過程中不使用SE模塊，另外相比ReLU激活函數，h-swish激活函數能夠更加有效地進行非線性變換，因此將網絡第1個卷積層和部分深層的激活函數替換為h-swish，同時模型的第1個卷積層的步長由1調整為2，后接的第1個bneck層的步長由2調整為1，加速了模型的輕量化，改進后的模型記為模型3。各模型的結構對比見表1，模型3的詳細配置情況見表2。

3 數據集預處理

本研究使用的數據集圖像來自公開數據集PlantVillage中的玉米葉片病害圖像，共包含了4類圖像共計4 354張圖片，其中健康玉米葉片圖像 1 162 張，銹病葉片圖像1 192張，大斑病葉片圖像 1 000 張，灰斑病葉片圖像1 000張。對應的4類數據標簽分別為：Corn_healthy、Corn_Commonrust、Corn_NorthernBlight、Corn_CercosporaGrayspot。將上述圖像先按8 ∶2的比例劃分為訓練集和測試集。由于數據集圖片量偏少，模型在訓練的過程中容易過擬合，為了提升模型的泛化能力，降低模型對圖像的敏感度，可以通過數據增強的方式對數據集進行擴充，增加樣本數量和多樣性。創建Python數據增強腳本，使用keras的ImageDataGenerator對象對樣本數據進行隨機旋轉90°、隨機縮放大小0.2、隨機寬度高度偏移0.3、水平翻轉、垂直翻轉、隨機錯切變換0.2、亮度變化范圍［0.1，0.9］、樣本零均值化等處理對訓練集數據進行增強，增強效果見圖6。

增強后的數據集包含健康玉米葉片圖像2 982張、銹病葉片圖像3 022張、大斑病葉片圖像和灰斑病葉片圖像各3 040張。將增強后的數據集按8 ∶2的比例再次劃分為訓練集和驗證集。劃分后的數據分布見表3。

4 試驗設計

4.1 試驗環境

試驗在Windows 10系統環境下完成，具體軟硬件配置如下：IntelCoreTM i5-6500 CPU@3.20 GHz處理器，NVIDIA GeForce RTX3060顯卡，16 G內存；軟件采用Anaconda+PyCharm集成開發環境，Python版本為3.8；TensorFlow深度學習框架，版本為2.5；CUDA版本為CUDA 11.1。

4.2 試驗細節

試驗中輸入圖像的大小統一裁剪為224×224，并進行了歸一化處理。batchsize設為32，模型選用Adam優化器和交叉熵損失函數，訓練迭代輪次設為30個epoch，學習率采用衰減學習率，初始學習率為0.001，每個迭代10個epoch。學習率降為原來的1/10。

4.3 試驗結果分析

對模型0至模型3在增強數據集上依次進行訓練，記錄各模型在訓練過程中的識別準確率和損失函數，準確率和損失值變化曲線結果分別見圖7、圖8。

對模型0至模型3的準確率、參數量和運算量（FLOPs）這幾個指標進行統計，結果見表4。

通過對圖7、表4以及試驗過程中記錄的其他相關數據分析可知，經過30個epoch的迭代，4個模型都達到了較高的準確率。模型1在模型0基礎上，準確率提高了1.45百分點，參數量減少了將近50%，但運算量并未減少。深入分析后發現模型1相比模型0在全連接層的運算量有所減少，但由于在各卷積層后面增加了BN層，這些BN層的運算量累加在一起也是非常可觀的。模型2使用了深度可分離卷積層代替標準卷積層，在準確率略微降低的情況下，使得模型的參數量降為模型1的1/4左右，運算量約為模型1的1/15，實現了模型的輕量化。在模型2的基礎上，進一步引入通道注意力機制SE模塊，并且調整了第1個卷積層和bneck層的步長后，在參數量略微增加的情況下，進一步降低了運算量，且提高了模型的準確率。改進后的模型3相比模型0，準確率提高了1.48百分點，而模型的參數量減少為原來的1/5左右，浮點運算量降為原來的1/15左右，在沒有降低準確率的前提下，實現了模型的輕量化。

5 結語

本研究提出了一種輕量級CNN玉米病害圖像識別方法，在VGG16網絡架構的基礎上，引入深度可分離卷積代替標準卷積，以減少模型參數和運算量；在深度卷積層和點卷積之間，引入SE通道注意力模塊，使得在確保準確率不降低的情況下，模型參數和運算量大幅度降低，實現了模型的輕量化。該模型可部署在資源受限的移動端設備和嵌入式設備上，方便在實際農業生產中進行推廣和應用。

參考文獻：

［1］Simonyan K，Zisserman A. Very deep convolutional networks for large-scale image recognition［J］. ArXiv e-Prints，2014：arXiv：1409.1556.

［2］He K M，Zhang X Y，Ren S Q，et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas，NV，USA.IEEE，2016：770-778.

［3］Szegedy C，Vanhoucke V，Ioffe S，et al. Rethinking the inception architecture for computer vision［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas，NV，USA.IEEE，2016：2818-2826.

［4］Huang G，Liu Z，van der Maaten L，et al. Densely connected convolutional networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu，HI，USA.IEEE，2017：2261-2269.

［5］龍滿生，歐陽春娟，劉 歡，等. 基于卷積神經網絡與遷移學習的油茶病害圖像識別［J］. 農業工程學報，2018，34（18）：194-201.

［6］張建華，孔繁濤，吳建寨，等. 基于改進VGG卷積神經網絡的棉花病害識別模型［J］. 中國農業大學學報，2018，23（11）：161-171.

［7］方晨晨，石繁槐. 基于改進深度殘差網絡的番茄病害圖像識別［J］. 計算機應用，2020，40（增刊1）：203-208.

［8］劉翱宇，吳云志，朱小寧，等. 基于深度殘差網絡的玉米病害識別［J］. 江蘇農業學報，2021，37（1）：67-74.

［9］鮑文霞，吳 剛，胡根生，等. 基于改進卷積神經網絡的蘋果葉部病害識別［J］. 安徽大學學報（自然科學版），2021，45（1）：53-59.

［10］樊湘鵬，周建平，許 燕，等. 基于改進卷積神經網絡的復雜背景下玉米病害識別［J］. 農業機械學報，2021，52（3）：210-217.

［11］何 欣，李書琴，劉 斌. 基于多尺度殘差神經網絡的葡萄葉片病害識別［J］. 計算機工程，2021，47（5）：285-291，300.

［12］葛道輝，李洪升，張 亮，等. 輕量級神經網絡架構綜述［J］. 軟件學報，2020，31（9）：2627-2653.

［13］馬金林，張 裕，馬自萍，等. 輕量化神經網絡卷積設計研究進展［J］. 計算機科學與探索，2022，16（3）：512-528.

［14］Iandola F N，Han S，Moskewicz M W，et al. SqueezeNet：AlexNet-level accuracy with 50x fewer parameters and lt;0.5 MB model size［EB/OL］. （2016-06-01）［2023-04-12］. http：//ariv.org/abs/1602.07360.

［15］Chollet F. Xception：deep learning with depthwise separable convolutions［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu，HI，USA.IEEE，2017：1800-1807.

［16］Zhang X Y，Zhou X Y，Lin M X，et al. ShuffleNet：an extremely efficient convolutional neural network for mobile devices［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT，USA.IEEE，2018：6848-6856.

［17］Ma N N，Zhang X Y，Zheng H T，et al. ShuffleNet v2：practical guidelines for efficient CNN architecture design［C］//Computer Vision-ECCV 2018：15th European Conference，Munich，Germany，September 8-14，2018，Proceedings，Part XIV. ACM，2018：122-138.

［18］楊 祥，段軍明，董明剛. 面向移動端的植物病害圖像識別方法及其應用［J］. 江蘇農業科學，2023，51（4）：191-197.

［19］項小東，翟 蔚，黃言態，等. 基于Xception-CEMs神經網絡的植物病害識別［J］. 中國農機化學報，2021，42（8）：177-186.

［20］李 好，邱衛根，張立臣. 改進ShuffleNet v2的輕量級農作物病害識別方法［J］. 計算機工程與應用，2022，58（12）：260-268.

［21］李書琴，陳 聰，朱 彤，等. 基于輕量級殘差網絡的植物葉片病害識別［J］. 農業機械學報，2022，53（3）：243-250.[HJ2mm]

［22］Howard A G，Zhu M，Chen B，et al. MobileNets：efficient convolutional neural networks for mobile vision applications［EB/OL］. （2017-06-06）［2023-04-12］. https：//ariv.org/abs/1704.04861.

［23］Sandler M，Howard A，Zhu M L，et al. MobileNet v2：inverted residuals and linear bottlenecks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，UT，USA.IEEE，2018：4510-4520.

［24］Howard A，Sandler M，Chen B，et al. Searching for MobileNet v3［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）.Seoul，Korea （South）.IEEE，2019：1314-1324.

［25］Lv Z Q，Qian C，Yen G G，et al. Analysis of expected hitting time for designing evolutionary neural architecture search algorithms［EB/OL］. （2022-10-11）［2023-04-12］. https：//arxiv.org/abs/2210.05397.

［26］劉 洋，馮 全，王書志. 基于輕量級CNN的植物病害識別方法及移動端應用［J］. 農業工程學報，2019，35（17）：194-204.

［27］孫 俊，譚文軍，毛罕平，等. 基于改進卷積神經網絡的多種植物葉片病害識別［J］. 農業工程學報，2017，33（19）：209-215.

［28］賈鶴鳴，郎春博，姜子超. 基于輕量級卷積神經網絡的植物葉片病害識別方法［J］. 計算機應用，2021，41（6）：1812-1819.

［29］徐振南，王建坤，胡益嘉，等. 基于MobileNetV3的馬鈴薯病害識別［J］. 江蘇農業科學，2022，50（10）：176-182.

［30］Zhang Z X，Wang M W. Convolutional neural network with convolutional block attention module for finger vein recognition［EB/OL］. ［2023-03-10］. http：//arxiv.org/abs/2202.06673.pdf.