融合卷積神經網絡與視覺注意機制的蘋果幼果高效檢測方法

宋懷波，江 梅，王云飛，宋 磊

（1. 西北農林科技大學機械與電子工程學院，楊凌 712100； 2. 農業農村部農業物聯網重點實驗室，楊凌 712100； 3. 陜西省農業信息感知與智能服務重點實驗室，楊凌 712100）

0 引言

幼果期果實表型數據獲取是優良果樹品種選育研究的重要基礎。復雜環境下的幼果精準檢測是獲取該階段果實生長指標數據的前提。幼果期果實因其較為微小且與葉片顏色高度一致，同時，受到不同環境因素的影響，會產生陰影、高光和振蕩等干擾，進一步加大了近景色果實目標檢測的難度[1-3]。卷積神經網絡（Convolutional Neural Network, CNN）雖具有魯棒性強的優點，但其網絡層數多，結構通常較為復雜。在CNN中融合視覺注意機制可有效提高網絡特征提取能力而不明顯增加復雜度，避免訓練發散。

國內外眾多學者已將CNN應用于果實檢測、分割和估產等研究之中并取得了較好的結果[4-5]。針對自然環境下的綠色柑橘檢測問題，熊俊濤等[6]提出了一種基于Faster R-CNN模型的柑橘檢測方法。經過模型訓練與參數調優，該模型在測試集上的平均精度為85.5%，檢測一幅圖像平均耗時0.4 s。針對自然環境下未成熟芒果的準確識別問題，薛月菊等[7]提出了一種改進的YOLOv2網絡模型，該模型基于密集連接的Tiny-YOLO-dense網絡結構，通過利用圖像多層特征提高目標識別準確度。結果表明，該方法識別準確率為97.0%，為開放環境中的未成熟果實識別提供了借鑒。Kang等[8]針對蘋果園中果實檢測問題，提出了基于深度學習的實時檢測框架，該框架包含自動標簽生成模塊和名為“LedNet”的果實檢測器。結果表明，基于輕量級主干的LedNet的準確率為85.3%，召回率為82.1%。該模型大小僅為7.4 M，平均運行時間為28 ms，可兼顧速度與精度。Yu等[9]提出了基于Mask R-CNN的草莓檢測與采摘定位方法，測試結果表明該方法的平均檢測準確率、召回率分別為95.8%和95.4%，采摘點平均誤差為±1.2 mm。為了實現開放果園中綠色芒果的精準檢測，Koirala等[10]基于YOLOv3和YOLOv2(tiny)網絡結構提出了 MangoYOLO-s、MangoYOLO-pt和MangoYOLO-bu模型，經過訓練，MangoYOLO-pt在測試集上的平均精確度為98.3%，處理一幅512×512 pixels圖像平均耗時8 ms，可有效實現自然場景中綠色芒果目標的實時檢測。

為了提高模型檢測精度，現有網絡的深度、寬度和模塊數不斷增加[11-13]。但網絡結構加深會帶來網絡訓練發散等問題，將CNN與視覺注意機制相結合，可在不明顯加深網絡結構的前提下加強網絡性能[14]。Wang等[15]提出了一種非局部操作方法，并基于非局部塊（Non-Local block, NL block）構建了非局部神經網絡（Non-Local Neural Network），在視頻分類和目標檢測任務上性能優越。在Mask R-CNN主干網絡ResNet-50中加入非局部塊，在MS COCO數據集上平均精度為39.0%。Woo等[16]提出了卷積塊注意模型（Convolutional Block Attention Module, CBAM），可針對輸入特征從空間與通道兩方面自適應調整并提取有意義的深層特征信息。該模塊可以插入到現有的網絡架構中，Faster R-CNN骨干網絡ResNet-50中加入CBAM與未加入該模塊相比，在MS COCO數據集上平均精度可提高2.0%。Hu等[17]提出了擠壓激發塊（Squeeze-and-Excitation block, SE block），可以從通道維度自適應細化和提取特征。在MS COCO數據集上，主干為SE-ResNet-50的Faster R-CNN網絡平均精度為46.8%，表明該模塊可有效提高網絡分類和檢測性能。Zhang等[18]提出了分支注意塊（Split-Attention block），并基于此模塊與ResNet架構構造了ResNeSt。在ImageNet上，ResNeSt-101的top-1精度為82.3%。為了更好地利用通道信息，Wang等[19]提出了高效通道注意模塊（Efficient Channel Attention Module, ECAM）。在MS COCO數據集上，以ResNet-101為主干網絡并添加ECAM的Faster R-CNN平均精度為40.3%。研究表明，將視覺注意機制融入到網絡模型中，能夠以較小的額外計算量為代價顯著提高網絡表現。本研究以視覺注意機制與深度神經網絡為重點，解決復雜場景下的果實檢測難題。

為實現自然場景下蘋果幼果的高效檢測，本研究擬提出一種蘋果幼果檢測網絡YOLOv4-SENL。基于YOLOv4模型[20]，并在模型中融入SE block和NL block兩種視覺注意機制，以在不明顯增加網絡深度的前提下，避免網絡收斂困難的問題，并改善CNN特征提取能力。通過加強骨干網絡的特征提取能力和網絡瓶頸中融合視覺特征的信息，網絡可從相似背景中準確分離近景色蘋果幼果，為幼果目標橫縱徑和著色度等幼果期果實表型數據的高效獲取提供參考。

1 材料與方法

1.1 材料

試驗圖像拍攝于西北農林科技大學園藝學院實驗站，采集對象為嘎啦和紅富士幼果目標圖像，種植方式為矮砧密植，行間距為3 m。試驗選用iPhone 8Plus手機進行拍攝。為保證試驗結果的可靠性，拍攝角度涵蓋東南西北4個方向。由于光線變化會對圖像成像造成較大影響從而影響試驗結果，因此本研究分別在順光和逆光條件下，以人距離樹干0.4～1.5 m的拍攝距離在全天不同時間段進行圖像采集。圖1a是拍攝示意圖，圖1b～d分別是多云、逆光和順光條件采集的圖像。將采集的3 000幅原始圖像（4 032×3 024像素）隨機裁剪為不同分辨率（150×131像素～4 032×3 024像素）并利用LabelImg進行人工標注。

具體拍攝信息如表1所示，拍攝天氣包括晴天、多云和陰天。數據集中包括枝葉遮擋的果實、運動模糊及過度曝光造成的模糊果實、重疊果實、不同光照程度的果實和被鋼絲、柵欄遮擋的果實。每幅圖像大多包括一個或多個干擾因素，用于驗證本研究模型對不同背景的檢測魯棒性。3 000幅圖像中包含互不重復的訓練集1 920幅，驗證集480幅和測試集600幅。

表1 數據集圖像詳細信息 Table 1 Data set images details

1.2 試驗平臺

試驗過程在Windows 10操作系統下進行，處理器型號為英特爾 Xeon E5-1620，內存32 GB，顯卡Nvidia GeForce RTX 2080Ti。深度學習框架采用PyTorch 1.5.1，Python 3.8。

1.3 方法

1.3.1 擠壓激發塊

CNN關注特定局部區域，通過濾波器提取特征信息。為了建立像素間的深層聯系，CNN通常會堆疊多個濾波器提取信息，網絡層數較深。SE block則從通道維度作為突破，通過模擬特征的通道維度依賴性提高網絡分類、檢測的準確度。SE block是一個高效的構造模塊，可以插入到現有的主流網絡結構中，以較小的參數增加實現網絡性能的提升。

本研究提出的YOLOv4-SENL模型在骨干網絡結尾處應用了SE block。SE block的網絡結構如圖2所示。輸入特征經過自適應平均池化操作得到通道維度統計值。通道維度統計值輸入至兩層結構的全連接層，自適應計算和調整各通道的權重，得到通道注意力結果。第一層全連接層的輸出單元數量是輸入單元數量的1/16，第二層輸出單元數量與第一層全連接的輸入單元數量一致。兩層全連接層的設計既有效降低了計算量，又能較好地實現注意力分配。最后，將通道注意力結果通過Python廣播機制與輸入特征元素相乘得到輸出特征。

1.3.2 非局部塊

非局部操作受非局部均值運算啟發，將不同坐標的像素、不同時序幀聯系起來，捕捉長程依賴。卷積操作和非局部操作相結合，能高效地捕捉局部信息和遠程依賴中的上下文信息，以此增強網絡對關鍵視覺信息的表征能力。

與非局部均值算法定義類似，非局部操作的定義如式（1）～（3）所示：

式中x表示輸入特征，i為輸出位置索引，j為i的所有關聯位置索引。輸出信號y由歸一化參數C(x)、對應關系函數f和線性嵌入函數g計算得到。對應關系函數f形式多樣，嵌入高斯形式如式（2）所示，其中。線性嵌入函數g由1×1卷積實現，Wg為可學習權重。

非局部操作由四組1×1卷積塊和殘差鏈接組成為更豐富的層次結構NL block，如式（4）所示。

式中zi為輸出特征。

本研究提出的方法在YOLOv4模型網絡瓶頸的3個聚合路徑中分別加入了NL block，以尺寸[bs, 1024, 19, 19]的輸入特征為例，NL block的結構流程圖如圖3所示。在θ、φ和g3條路徑中，通道數由1024降至512。在w路徑中，通道數由512升至1 024，并與輸入特征進行元素相加。通道數改變和最大池化操作都可以減少計算量，使模型輕便。

1.3.3 YOLOv4-SENL模型構建

YOLOv4網絡是改進和融合眾多優越訓練策略的高效網絡，包括空間金字塔池化[21]、Mish激活函數[22]、交叉迷你批歸一化[20]和改進PAN[23]等。由于YOLOv4網絡是深度復雜CNN，網絡深度對訓練收斂影響較大。因此，本研究以視覺注意機制為出發點，提出了基于YOLOv4-SENL網絡的近景色幼果檢測方法。

YOLOv4-SENL的結構如圖4所示，本研究引入了兩種注意力構造塊：1）SE block：放置在YOLOv4網絡的特征骨干CSPDarknet53后。模擬骨干網絡提取的特征通道維度依賴性，自適應調整特征通道維度的權重響應；2）NL block：嵌入在改進PAN結構的3個路徑中。深層卷積特征與淺層卷積特征在通道維度進行連結后，通過NL blocks提取融合特征的長程依賴性，獲取非局部信息。

SE block和NL block分別對高級視覺特征進行通道維度調整和提取非局部依賴性。改進PAN結構融合不同階段視覺特征后，經過卷積操作得出3個針對不同尺度目標的輸出層。輸出結果包含檢測目標的類別和位置坐標信息。SE block和NL block組成豐富結構，有效提高了網絡的特征捕捉能力。

1.4 評價指標

試驗通過準確率P、召回率R、F1值和AP值指標評價模型的檢測效果，計算公式如式（5）～（8）所示。P、R、F1和AP值越高，表明網絡檢測精準度越高。

式中TP表示網絡檢測出的目標數量，FP表示將背景誤識別為目標的數量，FN表示未檢出目標的數量。

2 結果與分析

2.1 試驗結果

網絡訓練過程中，加載骨干網絡在MS COCO數據集的預訓練權重并采用隨機梯度下降法更新參數。初始學習率為0.01，訓練輪次為350，權重衰減率設為0.000 484，動量因子設為0.937。YOLOv4-SENL與YOLOv4模型以相同方式訓練以對比模型效果。圖5是YOLOv4和YOLOv4-SENL模型在訓練集和驗證集上的損失曲線。由損失曲線可以看出，兩個模型損失值均可快速收斂。

為了評價YOLOv4-SENL模型的魯棒性和精度，利用測試集進行測試，并與SSD[24]、Faster R-CNN[25]和YOLOv4模型進行了比較，結果如表2所示。

表2 3種模型的測試集檢測結果 Table 2 Detection results of three models on test set

經過訓練，YOLOv4-SENL模型在測試集上的平均精度比SSD、Faster R-CNN和YOLOv4模型分別提高了6.9個百分點、1.5個百分點和0.2個百分點。YOLOv4-SENL模型檢測一幅測試集圖像平均耗時31.6 ms。同時，YOLOv4-SENL模型大小比SSD大69 M，比Faster R-CNN小59 M，比YOLOv4模型大11 M，具備向便攜式系統移植的基礎。

圖6是3種模型的檢測結果，從圖6a中SSD模型檢測結果的白色虛線框中可知，由于葉片干擾，SSD模型出現錯檢情況。圖6a中Faster R-CNN模型檢測出了白色虛線框中生長期初期幼果。圖6a-1中幼果面積占圖像面積的比例過小，經過多次卷積操作可能造成所包含的有效特征信息的損失，3個模型均未能將幼果全部檢出。圖6b中大多數果實為微小果實，SSD和Faster R-CNN模型均未完全檢測出圖6b-2和圖6b-3中的遠景果實，存在不同程度的漏檢與錯檢（如白色虛線框中的果實）。YOLOv4-SENL模型能精準檢測微小近景色果實，表明其具有更好的魯棒性。

2.2 消融試驗

為了進一步分析兩種視覺注意機制的有效性，本研究設計了三組消融試驗并根據多個評價指標結果表明視覺注意機制對網絡性能提升的影響。

為了探索SE block對網絡的影響，僅保留YOLOv4-SENL模型中SE block而去除NL block，命名為YOLOv4-SE。本研究在YOLOv4模型網絡瓶頸的3個分支中加入了NL block。為了探索NL block對網絡性能的影響，試驗僅保留YOLOv4-SENL模型的NL block，命名為YOLOv4-NL。為了分析SE block和NL block組合對網絡的影響，將YOLOv4-SENL中的SE block替換為NL block，3個NL block替換為SE block，模型命名為YOLOv4-NLSE。消融試驗測試結果如表3所示，5個模型在驗證集上的指標結果表明，與YOLOv4模型相比，兩種視覺注意機制的融合，略微增大了模型大小和檢測時間，但仍能實現實時檢測。改進后的模型以較小的額外計算量為代價，使測試指標得到不同程度提升，精度值提升較大。SE block和NL block兩種視覺注意機制對提高模型性能起到不同程度作用，SE block的影響更明顯。

表3 5種模型的驗證集測試結果 Table 3 Test results of five models on validation set

圖7展示了設置相同參數訓練得到的5種模型在驗證集上的精度結果。從5個模型訓練過程的精度曲線可以看出，融合視覺注意模塊的模型精度均比YOLOv4模型高。其中，YOLOv4-SENL模型的精度值整體提升最快。

2.2.1 僅保留SE block對網絡的影響

與YOLOv4模型比較，YOLOv4-SE在驗證集上的P、R、AP和F1值分別提高3.8個百分點、0.2個百分點、0.2個百分點和2.2個百分點。YOLOv4-SENL模型的P、R、AP和F1值比YOLOv4模型分別提高5.0個百分點、降低0.1個百分點、提高0.2個百分點和提高2.8個百分點，表明SE block可對骨干網絡提取的特征進行通道信息整合，有助于提高網絡性能。由圖7可知，在前200迭代輪次中，YOLOv4-SE的精度值波動較小，且YOLOv4-SE的精度值比YOLOv4模型整體提高，表明SE block的添加提高了模型的特征表征能力。

2.2.2 僅保留NL block對網絡的影響

與YOLOv4模型相比，YOLOv4-NL模型的P、R、AP和F1值分別提高了2.7個百分點、0.1個百分點、0.2個百分點和1.6個百分點，表明NL block可明顯增加網絡精度和F1值。圖7中，YOLOv4和YOLOv4-NL模型的精度值在200迭代輪次之內出現多次浮動。150迭代輪次后，YOLOv4-NL精度值整體高于YOLOv4模型，表明NL block提取高級融合特征的非局部信息，提高了網絡目標檢測任務的準確性。

2.2.3 互換SE block和NL block對網絡的影響

與YOLOv4模型相比，YOLOv4-NLSE模型的P、R、AP和F1值分別提高4.1個百分點、降低0.3個百分點、保持不變、提高2.2個百分點，表明YOLOv4-SENL模型的指標提升程度更高，檢測效果更好。從圖7可以看出，YOLOv4-SENL模型的精度值整體上升較快，且最終精度值比YOLOv4-NLSE模型略高。這表明SE block和NL block在不同層均發揮了作用，模型設計合理。

由消融試驗可知，SE block和NL block都有助于提升網絡性能，SE block的影響更加明顯。兩種視覺注意機制模塊SE block與NL block均使得該模型具備了更好的目標檢測效果，表明YOLOv4-SENL模型結構設計合理，檢測結果更精準和高效。

3 結 論

1）幼果目標檢測技術是自動獲取幼果期果實表型微變化信息的基礎。針對近景色幼果檢測問題，本研究提出了一種利用視覺注意機制改進YOLOv4網絡的YOLOv4-SENL模型。600幅測試集圖像的測試結果表明，本研究提出的YOLOv4-SENL模型的平均精度為96.9%，與SSD、Faster R-CNN和YOLOv4模型相比，分別提高了6.9個百分點、1.5個百分點和0.2個百分點，表明視覺注意機制模塊的融入有助于提升自然環境下幼果的檢測精度。

2）為了進一步探究YOLOv4-SENL模型的有效性，本研究設計了消融試驗。消融試驗的驗證集結果表明，添加SE block和NL block使模型的大小和檢測時間有所增加，但有助于提升網絡檢測的準確性且不影響實時檢測，YOLOv4-SENL模型結構設計合理高效。

3）針對微小果實，本研究提出的YOLOv4-SENL模型檢測效果仍有提升空間。未來將進行模型結構簡化和改進工作，以進一步提高模型的抗干擾能力和泛化能力。下一步將研究含標定的幼果表型測定算法，結合幼果目標檢測技術實現長效、高頻次、精確獲取果實生長期數據。