李大華,孔 舒,*,李 棟,于 曉
(1.天津理工大學(xué) 電氣工程與自動(dòng)化學(xué)院,天津 300380; 2.天津市新能源電力變換傳輸與智能控制重點(diǎn)實(shí)驗(yàn)室,天津 300380)
柑橘作為世界范圍內(nèi)具有重要經(jīng)濟(jì)價(jià)值的農(nóng)產(chǎn)品,近些年來種植規(guī)模不斷擴(kuò)大,但柑橘生產(chǎn)容易受到真菌和病菌引起的各種病害的破壞[1]。柑橘病害易發(fā)生于葉部,再逐漸蔓延至枝蔓和果實(shí)部位,最終影響柑橘的產(chǎn)量和品質(zhì),因此,柑橘保果的前提是保葉[2]。傳統(tǒng)柑橘病害識(shí)別依靠農(nóng)戶經(jīng)驗(yàn)和大量人工,其識(shí)別效率低且易誤判。對(duì)植物葉片病害的快速準(zhǔn)確診斷有助于對(duì)病害部位精準(zhǔn)施藥,從而提高作物產(chǎn)量[3]。
隨著計(jì)算機(jī)視覺和深度學(xué)習(xí)技術(shù)越來越廣泛地應(yīng)用于作物病害檢測(cè),病害識(shí)別變得更加簡單[4]。Barman等[5]提出了一種自監(jiān)督序列卷積神經(jīng)網(wǎng)絡(luò)(self-supervised sequential CNN, SSCNN),對(duì)柑橘葉片病害進(jìn)行檢測(cè)和分類,其準(zhǔn)確率達(dá)到98%。樊湘鵬等[6]通過改進(jìn)的VGG16模型,對(duì)6類葡萄葉部病害圖像進(jìn)行訓(xùn)練,平均精度達(dá)98%以上。李鑫然等[7]提出一種改進(jìn)的Faster R_CNN模型,通過增加特征融合機(jī)制和感興趣區(qū)域池化來提高檢測(cè)精度,對(duì)5種蘋果病害的檢測(cè)平均精度達(dá)82%以上。Sharif等[8]通過使用多支持向量機(jī)對(duì)柑橘病害進(jìn)行區(qū)分,其準(zhǔn)確率達(dá)到了90.4%。Dananjayan等[4]建立了CCL’20數(shù)據(jù)集,利用Scaled YOLOv4P7網(wǎng)絡(luò)實(shí)現(xiàn)了病害的早期快速預(yù)測(cè),CenterNet2與Res2Net 101 DCN-BiFPN對(duì)柑橘葉部病害的早期預(yù)測(cè)精度高于其他模型。王云露等[9]利用改進(jìn)的Faster R_CNN模型,對(duì)5種蘋果葉部病害進(jìn)行識(shí)別,模型采用ResNest作為骨架,并增加了特征融合結(jié)構(gòu)(feature pyramid networks, FPN)來進(jìn)一步提高網(wǎng)絡(luò)精確度,改進(jìn)后的模型平均精度達(dá)到86.2%。雖然上述學(xué)者基于深度學(xué)習(xí)的葉片病害檢測(cè)都取得了較高的精度,但是其模型深度較高、運(yùn)算量較大,對(duì)硬件要求高,不易嵌入到移動(dòng)設(shè)備中。
基于上述問題,本文基于改進(jìn)SSD(single shot multibox detector)模型設(shè)計(jì)了柑橘葉片病害輕量化檢測(cè)模型,該模型是在經(jīng)典CNN網(wǎng)絡(luò)SSD模型的基礎(chǔ)上進(jìn)行改進(jìn)。SSD[10-11]是單級(jí)目標(biāo)檢測(cè)模型的典型代表,該模型檢測(cè)速度快、精度高;但對(duì)柑橘葉片小病斑的檢測(cè)效果不理想,且模型體積較大,難以運(yùn)用到嵌入式平臺(tái)中。針對(duì)此問題,本文做出了以下3點(diǎn)改進(jìn):1)使用MobileNetV2代替SSD模型的VGG16作為SSD的特征提取網(wǎng)絡(luò),并使用倒殘差塊結(jié)構(gòu)搭建SSD的4個(gè)額外預(yù)測(cè)特征層,減小模型規(guī)模;2)通過引入感受野模塊(receptive field block, RFB)至淺層預(yù)測(cè)特征圖,來擴(kuò)大其感受野使其特征圖具有更多語義信息,進(jìn)而加強(qiáng)對(duì)小病斑目標(biāo)的檢測(cè)效果;3)增加CA(coordinate attention)注意力機(jī)制,以強(qiáng)化不同深度的特征信息,進(jìn)一步提升柑橘葉片病害的識(shí)別精度。
SSD是Liu等[12]在ECCV2016上提出的一種目標(biāo)檢測(cè)模型。SSD模型集合了Faster R_CNN的Anchor Boxes機(jī)制,以及YOLO(you only look once)的回歸思想,在保證檢測(cè)速度的同時(shí)確保了有較高的檢測(cè)精度[11]。傳統(tǒng)SSD模型的骨架是VGG16,在SSD模型中是用卷積層來替換VGG16的全連接層,并舍棄了其池化層部分,然后在骨架后面添加一系列卷積層生成4個(gè)額外預(yù)測(cè)特征層,進(jìn)一步提高模型特征提取能力[13]。SSD網(wǎng)絡(luò)選取Conv4_3、Conv7等6個(gè)不同尺度的特征層作為預(yù)測(cè)特征圖,來預(yù)測(cè)不同尺度的目標(biāo)[13],利用這些特征回歸得到錨點(diǎn)框(default box)的位置信息和類別置信度,最終通過非極大值抑制(non-maximum suppression, NMS)算法得到最終結(jié)果[13-14]。SSD網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。

Conv,卷積;s,步長。Conv, Convolution; s, Stride.圖1 SSD網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.1 SSD network model structure
SSD網(wǎng)絡(luò)模型規(guī)模較大,對(duì)圖形處理器(graphics processing unit, GPU)算力要求較高,不易嵌入到無人機(jī)等移動(dòng)設(shè)備中;且SSD模型主要通過較淺層預(yù)測(cè)特征圖來識(shí)別小目標(biāo)病斑,但淺層特征的卷積規(guī)模較小,特征提取能力差,語義信息較少。柑橘葉片病害多呈現(xiàn)小目標(biāo),在使用傳統(tǒng)SSD目標(biāo)檢測(cè)模型檢測(cè)柑橘葉片病害時(shí),由于對(duì)葉片細(xì)節(jié)的檢測(cè)能力不足,容易出現(xiàn)對(duì)小目標(biāo)病斑的漏檢和定位不準(zhǔn)確。為改善病斑漏檢等缺點(diǎn),本研究對(duì)傳統(tǒng)SSD模型進(jìn)行優(yōu)化,提出了MR-CA-SSD網(wǎng)絡(luò)模型。
為改善SSD模型的模型規(guī)模大、對(duì)小目標(biāo)的檢測(cè)效果較差等問題,本文提出了基于改進(jìn)SSD的新模型MR-CA-SSD。首先用輕量化網(wǎng)絡(luò)MobileNetV2替換SSD模型的前端特征提取網(wǎng)絡(luò)VGG16,除去MobileNetV2全連接層,以4組倒殘差塊結(jié)構(gòu)(inverted residual)替換SSD網(wǎng)絡(luò)的Conv8_2、Conv9_2、Conv10_2、Conv11_2這4個(gè)輸出預(yù)測(cè)特征層,構(gòu)建出新檢測(cè)模型MobileNetV2-SSD,從而減小模型規(guī)模、提高檢測(cè)速度。其次,網(wǎng)絡(luò)的6個(gè)不同尺度的預(yù)測(cè)特征圖都通過CA注意力機(jī)制后輸出,強(qiáng)化特征層對(duì)特征信息的表達(dá)。最后在Conv14后面添加RFB-s,在Conv19后面添加RFB,以擴(kuò)大淺層特征層的感受野,增強(qiáng)其語義信息,進(jìn)一步提高對(duì)小病斑目標(biāo)的檢測(cè)能力。MR-CA-SSD網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2所示。

Conv,卷積;CA,坐標(biāo)注意力機(jī)制;RFB,感受野模塊。Conv, Convolution; CA, Coordinate attention; RFB, Receptive field block.圖2 MR-CA-SSD網(wǎng)絡(luò)模型結(jié)構(gòu)圖Fig.2 MR-CA-SSD network model structure
MobileNetV2是Google于2018年提出的基于MobileNetV1改進(jìn)的新輕量級(jí)網(wǎng)絡(luò),模型更小,準(zhǔn)確率更高,更適合嵌入到移動(dòng)設(shè)備中進(jìn)行目標(biāo)檢測(cè)[15]。MobileNetV2網(wǎng)絡(luò)主要是通過使用深度可分離卷積(DW卷積)來代替大量標(biāo)準(zhǔn)卷積,從而壓縮模型計(jì)算量,實(shí)現(xiàn)輕量化處理。DW卷積由深度卷積和逐點(diǎn)卷積2部分組成。使用DW卷積進(jìn)行訓(xùn)練時(shí),會(huì)產(chǎn)生大量訓(xùn)練失敗的卷積核,在輸出的低維度特征圖上通過修正線性單元(rectified linear unit, ReLU)激活函數(shù)時(shí),會(huì)造成低維特征信息大量損失。因此,MobileNetV2設(shè)計(jì)了與標(biāo)準(zhǔn)殘差結(jié)構(gòu)相反的倒殘差塊結(jié)構(gòu),先通過1×1卷積核進(jìn)行升維,再通過3×3 DW卷積進(jìn)行特征提取,隨后通過1×1卷積核進(jìn)行降維。使用倒殘差塊結(jié)構(gòu)可以使DW卷積在深層特征圖上提取更多特征信息,從而獲取更多語義信息。在倒殘差塊結(jié)構(gòu)中為了解決ReLU激活函數(shù)造成信息丟失的問題,采用其他激活函數(shù)來代替ReLU激活函數(shù)。在經(jīng)過第1個(gè)1×1卷積和3×3卷積后使用ReLU6激活函數(shù),增強(qiáng)模型的穩(wěn)定性。在降維后將ReLU激活函數(shù)換成線性激活函數(shù),將低維信息映射到高維中,從而避免了特征信息丟失。倒殘差塊結(jié)構(gòu)如圖3所示。

圖3 倒殘差塊結(jié)構(gòu)Fig.3 Inverted residual block structure
綜合考慮模型適用于柑橘葉片病害數(shù)據(jù)集上的性能和效果,本文選用MobileNet系列網(wǎng)絡(luò)中的MobileNetV2作為SSD模型的特征提取網(wǎng)絡(luò),除去MobileNetV2網(wǎng)絡(luò)的FC層,原SSD網(wǎng)絡(luò)的4個(gè)額外預(yù)測(cè)特征層由4組倒殘差塊結(jié)構(gòu)代替,其提取默認(rèn)框的6個(gè)預(yù)測(cè)特征層分別是主干網(wǎng)絡(luò)中的conv14、conv19,以及額外層conv20、conv21、conv22和conv23。MobileNetV2-SSD的特征圖尺寸分別是19 Pixel×19Pixel、10 Pixel×10 Pixel、5 Pixel×5 Pixel、3 Pixel×3 Pixel、2 Pixel×2 Pixel、1 Pixel×1 Pixel。這6個(gè)不同尺度的特征圖生成不同比例的錨點(diǎn)框進(jìn)行回歸預(yù)測(cè),通過NMS模型得到最終預(yù)測(cè)結(jié)果。
目前常用于輕量級(jí)網(wǎng)絡(luò)的是傳統(tǒng)通道注意力機(jī)制SE(squeeze-and-excitation),其僅考慮了通道間的信息,忽略了位置信息。柑橘葉片的病斑有些位于葉片邊緣,有些位于葉片中央又或者是遍布葉面。對(duì)于病斑在柑橘葉片上任意分布的情況,本文選擇將位置信息嵌入到通道注意力中的新型注意力機(jī)制——CA,它是Hou等[16]在CVPR 2021上提出的一種用于移動(dòng)端的高效坐標(biāo)注意力機(jī)制。CA注意力機(jī)制不僅獲取了通道間信息,還考慮了方向相關(guān)的位置信息,有助于模型更好地定位和識(shí)別柑橘葉片病害,繼而提高模型的病害識(shí)別精度。
CA注意力機(jī)制以中間特征張量X作為輸入,輸出與X相同尺寸的增強(qiáng)特征張量Y。X、Y取值如式(1)和(2)所示。
X=[x1,x2,…,xc]∈RC×H×W;
(1)
Y=[y1,y2,…,yc]∈RC×H×W;
(2)
(3)
yc的取值如公式(3)所示,其中fh∈RC/r×H、fw∈RC/r×W,C為通道數(shù),H為高度,W為寬度。最終得到的增強(qiáng)特征張量Y在寬、高2個(gè)方向上均帶有注意力權(quán)重。
通過CA注意力機(jī)制的特征圖包含了通道間信息、橫向空間信息和縱向空間信息,對(duì)葉片病斑區(qū)域進(jìn)行特征強(qiáng)化,能夠使網(wǎng)絡(luò)更準(zhǔn)確地定位柑橘葉片病害的信息,增強(qiáng)網(wǎng)絡(luò)識(shí)別能力。CA注意力機(jī)制結(jié)構(gòu)如圖4所示。

Avg Pool,平均池化;BatchNorm,批量歸一化;Non-linear,非線性分類;Sigmoid,激活函數(shù);C是通道數(shù),H和W分別是高度和寬度。Avg Pool, Average pool; BatchNorm, Batch normalization; Non-linear, Non-linear classification; Sigmoid, Activation function; C, channel number; H, Height; W, Width.圖4 CA注意力機(jī)制結(jié)構(gòu)Fig.4 Structure of CA attention mechanism
由于SSD模型對(duì)于柑橘葉片病害小目標(biāo)的識(shí)別多依靠較淺層預(yù)測(cè)特征層,但淺層特征的卷積層數(shù)較少,特征提取不充分,導(dǎo)致識(shí)別效果不佳。故本文通過引入RFB來擴(kuò)大淺層特征感受野,進(jìn)而加強(qiáng)對(duì)小病斑目標(biāo)的檢測(cè)效果。RFB是Liu等[17]基于ECCV2018提出的一種新特征提取模塊,它在inception網(wǎng)絡(luò)基礎(chǔ)上加入了膨脹卷積,其內(nèi)部結(jié)構(gòu)主要包括多分支卷積層和膨脹卷積層,通過對(duì)初始卷積核設(shè)置不同的膨脹系數(shù)來獲取不同的感受野[18]。在2種RFB結(jié)構(gòu)中,RFB-s通過對(duì)RFB中部分卷積層的替換,進(jìn)一步減少運(yùn)算量。RFB和RFB-s模型結(jié)構(gòu)如圖5、圖6所示。

圖5 RFB模型結(jié)構(gòu)Fig.5 RFB model structure

圖6 RFB-s模型結(jié)構(gòu)Fig.6 RFB-s model structure
本文通過在第1個(gè)輸出預(yù)測(cè)特征層(conv14)后面添加RFB-s,在第2個(gè)輸出預(yù)測(cè)特征層(conv19)后面添加RFB,來擴(kuò)大淺層特征層的感受野,增強(qiáng)其語義信息,進(jìn)一步提高對(duì)小病斑目標(biāo)的檢測(cè)能力。
本實(shí)驗(yàn)在Windows10操作系統(tǒng)下進(jìn)行,使用CPU處理器為Intel(R) Core(TM) i5-11260H@2.60 GHz、運(yùn)行內(nèi)存為16 GB、GPU為Nvidia Geforce RTX 3050Ti、顯卡內(nèi)存4 GB的筆記本電腦。使用的深度學(xué)習(xí)框架為Pytorch1.12.1,GPU加速庫為CUDA11.3。
使用隨機(jī)梯度下降(stochastic gradient descent, SGD)算法作為優(yōu)化器進(jìn)行訓(xùn)練,默認(rèn)權(quán)重衰減系數(shù)為0.000 5,其參數(shù)動(dòng)量為0.9,初始學(xué)習(xí)率為0.01,訓(xùn)練時(shí)采用余弦退火方法動(dòng)態(tài)調(diào)整學(xué)習(xí)率。其中批大小(batch size)設(shè)置為8,模型一共迭代200次。
選用Dananjayan等[4]建立的CCL’20數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù),包含3種柑橘葉片病害,共1 895張圖像,其中,炭疽病圖像701張、黑素病圖像663張、細(xì)菌性褐斑病圖像531張,分別包含炭疽病病害區(qū)域5 828處、黑素病病害區(qū)域648處、細(xì)菌性褐斑病病害區(qū)域1 424處,3種病害的病斑區(qū)域樣本數(shù)量不均衡。本文使用留出法來劃分?jǐn)?shù)據(jù)集,將數(shù)據(jù)集隨機(jī)選擇劃分成訓(xùn)練集、驗(yàn)證集和測(cè)試集,其中(訓(xùn)練集+驗(yàn)證集)∶測(cè)試集=9∶1,訓(xùn)練集∶驗(yàn)證集=9∶1,訓(xùn)練集、驗(yàn)證集和測(cè)試集分別有1 535張、170張和190張圖片。
在本實(shí)驗(yàn)中,采用平均精度均值(mAP)、每秒檢測(cè)幀數(shù)(frames per seconds, FPS)、內(nèi)存大小(MB)和F1值等評(píng)價(jià)指標(biāo)來評(píng)估模型對(duì)柑橘葉片病害的綜合檢測(cè)性能。其中mAP是由召回率(recall)和精確率(precision)組成的P-R曲線計(jì)算得到[18]。針對(duì)3種病害區(qū)域樣本不平衡的現(xiàn)象,利用綜合指標(biāo)F1來評(píng)估每個(gè)類別檢測(cè)效果。計(jì)算公式如下:
(4)
(5)
(6)
(7)
(8)
式(4)~(8)中:P表示精確率(precision);r表示召回率(recall);TP表示正確識(shí)別的病害樣本數(shù);FP表示錯(cuò)誤識(shí)別的病害樣本數(shù);FN表示未識(shí)別到的病害樣本;AP表示平均精度;mAP代表mAP的值;APi指一個(gè)類別的平均精度;n表示柑橘葉片病害類別數(shù)目。
為驗(yàn)證模型改進(jìn)的有效性和實(shí)用性,采用2.6節(jié)提到的參數(shù),將MR-CA-SSD模型和原SSD模型進(jìn)行對(duì)比,結(jié)果見表1。與傳統(tǒng)SSD模型相比,本文所提出的MR-CA-SSD模型具有更好的檢測(cè)性能,其mAP@0.5和mAP@0.5:0.95分別提高了4.4百分點(diǎn)和7.1百分點(diǎn),模型減小52.3 MB,每秒檢測(cè)幀數(shù)提升了3.15,葉片炭疽病的F1值也有明顯提升。

表1 模型改進(jìn)前后實(shí)驗(yàn)結(jié)果對(duì)比Table 1 Results comparison before and after improvement of algorithm
由圖7可以看出,MR-CA-SSD模型的收斂速度快于SSD模型,并且在迭代200次后,MR-CA-SSD模型的mAP@0.5比SSD的更高。說明Mobile NetV2作為輕量化主干網(wǎng)絡(luò)可以較大程度地減少計(jì)算量,提高檢測(cè)速度,通過引入RFB和CA注意力機(jī)制,彌補(bǔ)了輕量化帶來的不足,提高了模型檢測(cè)精度,改進(jìn)模型整體性能優(yōu)于基線模型SSD,更適合嵌入到無人機(jī)等移動(dòng)設(shè)備中。

圖7 MR-CA-SSD模型和原SSD模型的損失曲線和平均精度均值對(duì)比Fig.7 Comparison of loss curve and mean average precision between MR-CA-SSD and original SSD model
圖8為改進(jìn)前后模型的檢測(cè)效果可視化示意圖,其中Disease-A、Disease-B和 Disease-C這3種標(biāo)注名稱分別指柑橘葉片的炭疽病、黑素病和褐斑病。由圖8可看出,改進(jìn)后的MR-CA-SSD模型對(duì)于小目標(biāo)和邊緣不明顯的病害檢測(cè)效果較好,提高了檢測(cè)準(zhǔn)確率,能夠?qū)Σ『M(jìn)行有效檢測(cè)。

Disease-A、Disease-B和Disease-C分別代表柑橘葉片的炭疽病、黑素病和褐斑病。Disease-A, Disease-B and Disease-C represent anthracnose, melanosis and brown spot disease of citrus leaf, respectively.圖8 MR-CA-SSD模型和原SSD模型的檢測(cè)效果Fig.8 Detection effect of MR-CA-SSD and original SSD model
將本文方法與Faster R-CNN 、YOLOv4、CenterNet,以及輕量級(jí)模型Efficientnet-YoloV3等模型進(jìn)行比較,結(jié)果見表2。MR-CA-SSD模型的mAP、模型大小和每秒檢測(cè)幀數(shù)均優(yōu)于Faster R-CNN和CenterNet模型。雖然YOLOv4的每秒檢測(cè)幀數(shù)比MR-CA-SSD多,但其mAP@0.5和mAP@0.5∶0.95分別比MR-CA-SSD模型低23.6百分點(diǎn)和39.2百分點(diǎn),其模型大小也是MR-CA-SSD模型的3倍。MR-CA-SSD的mAP、模型大小和每秒檢測(cè)幀數(shù)也均優(yōu)于Efficientnet-YoloV3模型;Ghostnet-YoloV4模型的每秒檢測(cè)幀數(shù)優(yōu)于MR-CA-SSD模型,但其mAP、模型大小比MR-CA-SSD模型稍差。雖然YoloV4-tiny的每秒檢測(cè)幀數(shù)比MR-CA-SSD模型快83.32,模型大小比MR-CA-SSD模型小16.9 MB,但YoloV4-tiny模型的mAP@0.5和mAP@0.5:0.95分別比MR-CA-SSD模型低9.8百分點(diǎn)和23.7百分點(diǎn)。

表2 不同模型結(jié)果對(duì)比Table 2 Comparison of results from different models
針對(duì)傳統(tǒng)柑橘葉片病害檢測(cè)方法存在檢測(cè)速度慢、精度低、模型內(nèi)存占比大等問題,提出了一種基于改進(jìn)SSD模型的柑橘葉片病害輕量化檢測(cè)方法。以MobileNetV2作為SSD模型的特征提取網(wǎng)絡(luò),利用MobileNetV2模型的倒殘差塊結(jié)構(gòu)和線性瓶頸結(jié)構(gòu)進(jìn)而實(shí)現(xiàn)網(wǎng)絡(luò)的輕量化,提高模型檢測(cè)速度。此外,通過引入RFB來擴(kuò)大淺層特征感受野,增強(qiáng)其語義信息,以加強(qiáng)網(wǎng)絡(luò)對(duì)小目標(biāo)的檢測(cè)能力。并將CA注意力機(jī)制插入6個(gè)輸出預(yù)測(cè)特征層后,對(duì)葉片病斑區(qū)域進(jìn)行特征強(qiáng)化,進(jìn)一步提升柑橘葉片病害的識(shí)別能力。結(jié)果表明,所提出SSD改進(jìn)模型MR-CA-SSD能對(duì)3種柑橘葉片病害進(jìn)行有效檢測(cè),在提高檢測(cè)準(zhǔn)確度的同時(shí)小幅度提高了檢測(cè)速度,減小了內(nèi)存占比,達(dá)到了輕量化的目的,也更適用于種類樣本數(shù)量不平衡的數(shù)據(jù)集。MR-CA-SSD模型在CCL’20數(shù)據(jù)集上的mAP@0.5、模型大小和每秒檢測(cè)幀數(shù)分別為97.1%、39.3 MB、57.80。該改進(jìn)模型的綜合性能優(yōu)于SSD、YOLOv4、CenterNet、Efficientnet-YoloV3等模型,可實(shí)現(xiàn)對(duì)柑橘葉片病害的快速準(zhǔn)確診斷,滿足農(nóng)業(yè)實(shí)際使用要求。