基于YOLO v7-ECA模型的蘋果幼果檢測

宋懷波 馬寶玲 尚鈺瑩 溫毓晨 張姝瑾

(1.西北農林科技大學機械與電子工程學院, 陜西楊凌 712100;2.農業農村部農業物聯網重點實驗室, 陜西楊凌 712100)

0 引言

疏果前期蘋果幼果目標識別對自動化疏果、農藥用量控制、智能化表型監測以及果樹新品種選育具有重要意義。幼果期蘋果果色與葉片顏色相似、體積微小、分布密集,受光照影響,果實表面會出現高光、陰影等現象,果實葉片枝條相互重疊遮擋,導致果實識別難度增大[1-3]。深度卷積神經網絡相較于傳統目標檢測算法能夠對高層次特征進行學習,為此類目標的有效檢測提供了必要借鑒[4-7]。

國內外眾多研究已將深度卷積網絡作為果實目標識別的主流算法,并在果實高效檢測方面取得較好結果[8-11]。為快速精準實現冬棗果實的識別,劉天真等[12]在YOLO v3網絡模型中融入注意力機制,可有效提高特征圖的表現能力,相較于原始網絡模型,各項指標有明顯提高。龍燕等[13]提出了一種改進的FCOS網絡模型對自然環境下不同遮擋和密集程度的蘋果目標進行識別,改進后的網絡模型檢測準確率提升3.2個百分點,mAP提升3.1個百分點,試驗表明,改進后的FCOS網絡模型在蘋果檢測試驗中具有更高的精度和魯棒性能。何斌等[14]提出了一種改進的YOLO v5網絡模型進行夜間番茄果實識別,夜間環境下,該網絡模型對綠色番茄果實和紅色番茄果實平均識別精度分別為96.2%和97.6%,能夠有效實現暗光下番茄果實的識別。為實現復雜環境下不同生長階段果實的高效檢測,趙輝等[15]提出了一種改進的YOLO v3網絡模型對不同成熟度的蘋果果實進行識別,網絡模型在測試集上的mAP為96.3%,F1值為91.8%,在原有網絡模型的基礎上兩項指標各自提高3.8%。王立舒等[16]在YOLO v4-Tiny中融入卷積注意力模塊進行不同通道間特征相關性的學習,有效降低了復雜環境對藍莓目標的干擾。試驗結果表明,該網絡模型在藍莓果實嚴重遮擋與逆光場景中,mAP和準確率均較優,可同時滿足識別精度與檢測速度的需求。為實現復雜環境下蘋果的高效準確檢測,王卓等[17]提出了一種輕量化YOLO v4-CA網絡模型,該網絡模型平均檢測精度為92.23%,嵌入式平臺上的檢測速度為15.11 f/s,與SSD和Faster R-CNN網絡對比,其精度和速度均有明顯提升。

針對疏果前期果實重疊遮擋嚴重且與背景顏色極為相似的難題,王丹丹等[2]提出了R-FCN蘋果幼果檢測網絡,用28 662幅蘋果幼果圖像進行網絡模型訓練、驗證和測試,最終網絡模型召回率為85.7%,準確率為95.1%,誤識率為4.9%,單幅圖像平均處理時間為0.187 s,基本能夠實現近景色小目標識別。為進一步提高蘋果幼果的檢測準確率,宋懷波等[1]將擠壓激發塊和非局部塊兩種注意力機制融入YOLO v4網絡模型進行蔬果前期微小蘋果果實的識別,采用3 000幅蘋果幼果圖像進行網絡模型訓練、驗證和測試,最終該網絡模型在600幅測試集上的平均精度達96.9%。為改善蘋果幼果在光照不均和嚴重遮擋等干擾條件下造成的果實漏檢問題,JIANG等[18]提出了一種融合非局部注意力模塊和卷積塊注意力模塊的YOLO v4網絡模型,采用3 000幅低質量幼果圖像進行訓練測試,測試集在高光、陰影、模糊、嚴重遮擋情況下的平均精度分別為98.0%、96.2%、97.0%、96.9%,表明該方法可實現復雜干擾下蘋果幼果的高效識別。

疏果前期幼果識別相關研究在高精度檢測方面雖已取得較好的結果,但仍然存在以下亟待解決的問題:①蘋果幼果檢測速度較慢,實時性檢測難度大。②蘋果幼果檢測模型較大、內存開銷高、難以完成應用端部署。③蘋果幼果在模糊、含噪、存在陰影以及嚴重遮擋情況下仍然無法實現高精度檢測。本文擬借鑒YOLO v7網絡模型在速度和精度上的雙重優勢,并通過融合ECA的方式,進一步提升網絡模型對幼果特征的捕獲能力,以期在不明顯增加網絡深度和內存開銷的情況下,實現蘋果幼果的高效準確檢測。

1 材料與方法

1.1 數據集

1.1.1蘋果幼果圖像的采集與預處理

試驗數據采集于西北農林科技大學園藝學院實驗站,試驗對象包括秦冠、秦脆、紅富士、嘎啦等300多個品種,栽培方式為矮砧密植,行距3 m。數據采集時間為2020年5月中旬至6月上旬,此時果徑在48 mm以下,采集設備為iPhone 8Plus手機,采集時間段為08:00—20:00,共采集3 654幅幼果圖像,格式為JPEG,分辨率為3 024像素×3 024像素。如圖1所示,拍攝方式為拍攝者垂直于地面站立,相距主干0.4～1.5 m手持手機設備在果樹行間兩側分別進行拍攝。

圖1 采集方式Fig.1 Acquisition method

為保證樣本的多樣性,分別采集清晨、正午、傍晚不同時間段;多云轉晴、晴轉多云、晴不同天氣情況;順光、逆光不同光照條件;無遮擋、輕微遮擋、嚴重遮擋不同遮擋程度下的幼果圖像。圖2a～2d分別是在順光、逆光、順光強光直射、逆光強光直射下拍攝的幼果圖像,由4幅圖像對比可知,順光狀態下拍攝的圖像,依據顏色和形狀特征易于區分目標;逆光狀態下拍攝的圖像,整體偏暗,在幼果果色與背景顏色相似的情況下,易將幼果果實目標漏檢錯檢;順光強光直射圖像存在過曝,造成幼果目標部分泛白;逆光強光直射圖像由于圖像欠曝,造成幼果目標整體偏黑,欠曝過曝情況下所成圖像整體加強幼果果實目標的識別難度。圖2e～2h分別展示了幼果果實目標在自然場景下被相鄰果實、葉片、枝條、鐵絲等物體遮擋的現象。圖2i、2j為不同遮擋程度下的圖像,本研究設定蘋果幼果表面被遮擋未超過30%屬于輕微遮擋,被遮擋超過30%屬于嚴重遮擋。

圖2 不同光照和遮擋情況Fig.2 Different lighting and occlusion conditions

為增強算法魯棒性與泛化性,隨機選取600幅蘋果幼果圖像,隨機均分為2組,為2組圖像分別添加1%的椒鹽噪聲和5%的高斯噪聲,對添加噪聲后的圖像各自再次隨機均分為2組,任選其中1組對其進行高斯濾波,最終得到300幅加噪圖像和300幅模糊圖像,分別模擬算法在遷移應用時遇到的鏡頭不清、對焦不準以及特殊天氣等情況。圖3a分別為添加1%椒鹽噪聲以及進行高斯濾波的圖像,圖3b分別為添加5%高斯噪聲以及進行高斯濾波的圖像。

圖3 不同加噪和模糊情況Fig.3 Different noise and blur conditions

1.1.2數據集制備

通過加噪濾波預處理后,3 654幅蘋果幼果圖像的具體信息如表1所示。

表1 數據集拍攝信息Tab.1 Dataset shooting information

利用LabelImg軟件進行標注,框選蘋果幼果果實,標注標簽為“apple”,每幅圖像生成對應.xml文件。將標注完畢的數據集按照訓練集、驗證集、測試集比例7∶1.5∶1.5進行劃分,最終獲得2 557幅訓練集圖像、547幅驗證集圖像、550幅測試集圖像。如表2所示,將測試集圖像按照所設標準進行分組,為網絡模型進行分組測試做準備,檢驗網絡模型在各種干擾情況下的有效性。

表2 測試集圖像分組信息Tab.2 Test set image grouping information

1.2 方法

深度卷積網絡因其豐富的特征表現能力已廣泛應用于各類圖像分類[19]、目標檢測[20-23]、語義分割[24]等視覺任務中。為避免蘋果幼果產生冗余信息造成檢測效果不佳等情況,本研究分別引入擠壓激發(Squeeze-and-excitation, SE)注意力[25]、卷積塊注意力(Convolutional block attention module, CBAM)[26]、協調注意力(Coordinate attention, CA)[27]、ECA機制[28]對YOLO v7目標檢測算法進行了優化試驗。通過對比發現,SE注意力機制與CBAM機制依賴通道相關性進行特征校準,采用兩層全連接層捕獲所有通道間的相互依賴關系進行顯式建模,不可避免地造成參數和計算量的增加以及維度的縮減;而CA機制更關注于強調位置信息捕獲目標結構,針對復雜生長環境下,生長趨勢不可控且與背景顏色極其相近不易區分的蘋果幼果目標而言,特征強調作用較弱。因此本研究利用ECA機制進行YOLO v7網絡模型的改進與優化工作。

1.2.1ECA機制

ECA機制結構如圖4所示,圖中H為輸入圖像的高度,W為輸入圖像的寬度,C為特征圖通道數,其為避免SE注意力機制維度縮減,采用全局平均池化對每個通道中的特征圖進行壓縮操作后,自適應選擇卷積核大小為K的一維卷積替換兩層全連接層來決定跨通道信息交流的覆蓋范圍,最后與未壓縮的原始特征圖相乘,完成特征圖的重新校準,實現網絡選擇性強調重要特征、抑制無用特征。一維卷積核大小K與通道數C成正比映射關系,滿足

圖4 ECA結構示意圖Fig.4 Schematic of ECA structure

(1)

式中,映射參數γ=2和b=1為按照文獻[28]取的經驗值。該網絡模型不降維的局部跨信道交互策略在只增加少量參數,顯著降低網絡模型復雜度的同時,獲得明顯的性能增益,是一種極輕的通道注意力機制。

ECA機制采用一維卷積,能夠有效避免全連接層降維帶來的副作用,并且其自適應卷積核大小K通過交互相鄰通道信息可以有效捕獲蘋果幼果中易被忽略漏檢的小目標,通過跨通道式的信息交互,可在不明顯增加內存開銷和網絡深度的情況下,避免蘋果幼果圖像中非目標冗余特征的學習,同時有效兼顧重要特征。將ECA機制融入YOLO v7網絡模型,可有效增強蘋果幼果的檢測性能。

1.2.2YOLO v7-ECA網絡模型構建

YOLO v7網絡模型結構主要分為Input、Backbone和Head 3部分[29],其網絡模型結構如圖5所示。

圖5 YOLO v7-ECA網絡結構示意圖Fig.5 Schematic of YOLO v7-ECA network structure

Backbone部分引入高效層聚合網絡(Efficient layer aggregation networks, ELAN)模塊,其由兩個分支構成,通過控制最短和最長的梯度路徑,同時增強網絡的特征學習能力和魯棒性能;MP模塊將分別使用最大池化和卷積塊進行下采樣的結果進行疊加,在減少計算量的同時增大感受野,向后有效傳遞全局信息。Head部分主要由SPPCSPC模塊、MP模塊、ELAN-M模塊以及重參數化(Re-parameterized, REP)模塊構成;SPPCSPC模塊中空間金字塔池化層采用1×1、5×5、9×9、13×13共4個不同尺度最大池化適應不同分辨率圖,用以區分不同尺寸的目標。網絡坐標損失采用CIoU_Loss,其同時考慮到重疊面積、中心點距離和長寬比3種幾何參數使預測框更加符合真實框;標簽分配策略采用YOLO v5的跨網格搜索以及YOLOX的匹配策略。

如圖5所示,為在不明顯增加內存開銷和網絡深度的情況下對蘋果幼果特征進行有效學習,本研究在YOLO v7網絡模型的3條重參數化路徑中插入極輕的ECA機制,在不降低通道維數的情況下,進行相鄰通道局部跨通道交互,該方式既可通過強調蘋果幼果重要信息提高網絡模型識別效果,又能抑制冗余無用特征提高網絡模型效率。

1.3 試驗平臺

試驗在64位Windows 10操作系統下運行,處理器為Intel(R) Xeon(R) CPU E5-1620 v4 @ 3.50 GHz,內存為32 GB,顯示適配器為NVIDIA GeForce RTX 2080Ti,使用PyTorch框架、PyCharm編輯器、Python編程語言進行網絡模型訓練。

1.4 評價指標

為驗證網絡模型有效性,采用準確率(Precision,P)、召回率(Recall,R)、F1值、平均精度均值(mAP)、模型權值文件大小、檢測時間6個指標進行評價。

2 結果與分析

2.1 試驗結果

本試驗共訓練500輪次,每25輪次保存一個權重文件,mAP、R、P在前100輪次較為振蕩,之后持續上升并趨于飽和。并采用相同的數據集對Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7以及YOLO v7-ECA等7個網絡模型進行訓練測試,訓練結果如表3所示。從網絡模型檢測精度角度,YOLO v7-ECA網絡模型mAP高于Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7網絡模型,其值分別提高15.5、4.6、1.6、1.8、3.0、1.8個百分點;P分別提高49.7、0.9、18.5、1.2、0.9、1.0個百分點;R相較于Faster R-CNN、SSD、YOLO v5、YOLO v6、YOLO v7網絡模型分別提高5.0、4.5、1.3、3.7、1.8個百分點。YOLO v7-ECA網絡模型整體漏檢率和錯檢率較低,基本能夠達到蘋果幼果準確檢測的要求。從網絡模型檢測速度角度,YOLO v7-ECA的最佳權值文件大小為71.3 MB,單幅圖像檢測時間為28.9 ms,與YOLO v7相比網絡模型大小和檢測速度基本未發生變化,能夠有效實現蘋果幼果的實時檢測和網絡模型的移植部署。

表3 網絡模型性能對比Tab.3 Network model performance comparison

YOLO v7-ECA網絡模型F1值為95.37%,優于Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7網絡模型,其值分別提高33.53、2.81、9.16、1.26、2.38、1.43個百分點,網絡模型整體較為穩定。相較于Scaled-YOLO v4網絡模型通過堆疊模型大小,提高模型精度;YOLO v6網絡模型犧牲模型精度,降低模型大小;YOLO v7-ECA網絡模型在保持蘋果幼果高精度檢測的同時又能滿足實時檢測的要求。

2.2 注意力機制性能驗證

為驗證不同注意力機制對YOLO v7網絡模型的優化效果,本試驗同時構建了SE、CBAM、CA、ECA網絡模型進行蘋果幼果目標檢測性能分析,如表4所示。可見,YOLO v7-ECA網絡模型相較于其他4個網絡模型,權值文件大小無明顯增加;相較于YOLO v7、YOLO v7-SE、YOLO v7-CBAM、YOLO v7-CA F1值分別提高1.43、1.17、0.02、0.36個百分點,網絡模型穩定性能較強;相較于YOLO v7 mAP、R、P分別提高1.8、1.8、1.0個百分點,有效降低了網絡模型的錯檢率和漏檢率。試驗表明ECA機制能夠在不明顯增加權值的情況下,有效提高網絡模型檢測性能。

表4 注意力機制性能對比Tab.4 Performance comparison of attention mechanisms

2.3 討論

為測試網絡模型在不同干擾情況下蘋果幼果的檢測效果,本試驗將測試集數據按照不同平滑程度、光照條件、遮擋情況分為3組,并分別輸入上述7個網絡模型中對3種情況下的網絡模型性能進行測試。

2.3.1不同平滑程度檢測對比

分別選取75幅光滑和模糊加噪蘋果幼果圖像檢驗上述7個網絡模型在目標識別設備出現臟污、近距離聚焦不清、攝像機和鏡頭不匹配、光圈發生變化以及特殊天氣造成蘋果幼果圖像模糊不清問題的檢測效果。試驗結果如表5所示,在圖像光滑情況下YOLO v7-ECA的P為94.5%,R為94.1%,mAP為97.3%,相較于其余6個網絡模型能夠實現蘋果幼果高精度檢測。其中Faster R-CNN網絡模型P為54.1%,R為79.6%,mAP為71.5%,基本無法完成蘋果幼果高精度檢測任務;在圖像模糊加噪情況下YOLO v7-ECA的mAP為91.1%,網絡模型依舊能夠準確檢測蘋果幼果目標,相較于Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7網絡模型mAP分別提高26.3、21.0、5.4、8.0、11.5、8.9個百分點,P分別提高42.7、0.4、14.1、1.5、0.7、1.3個百分點,R分別提高10.1、11.2、3.9、6.0、6.1、6.9個百分點,F1值分別提高27.19、7.08、8.50、4.20、3.94、4.67個百分點,有效提高了網絡模型召回率,降低了蘋果幼果在模糊噪聲干擾下的漏檢率。

表5 不同平滑程度檢測結果Tab.5 Detection results of different smoothness degrees %

圖6為模糊加噪情況下蘋果幼果原始標注圖像以及7種不同網絡模型檢測結果圖像。按照圖6a所示原始標注圖像,將檢測圖像中漏檢蘋果幼果目標用白色框標出,錯檢蘋果幼果目標用黃色框標出。由圖6b～6g可得,Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7分別漏檢4、4、2、3、3、2個幼果果實目標;Faster R-CNN、Scaled-YOLO v4、YOLO v5、YOLO v7各錯檢1個果實目標。圖6h為YOLO v7-ECA模糊加噪情況下的檢測結果圖像,由圖可知YOLO v7-ECA網絡模型無漏檢錯檢的情況。試驗表明,YOLO v7-ECA網絡模型在蘋果幼果圖像模糊加噪情況下能夠完成高精度目標檢測任務。

圖6 不同平滑程度檢測結果對比Fig.6 Comparison of detection results of different smoothness levels

2.3.2不同光照條件檢測對比

為實現全方位蘋果幼果果實檢測,數據集拍攝從順光、逆光不同拍攝角度進行,根據光線射入角度不同圖像呈現亮光狀態和陰影狀態。本試驗各選取110幅亮光和陰影圖像輸入7個網絡模型對不同光照條件下的蘋果幼果進行測試,試驗結果如表6所示。

表6 不同光照條件檢測結果Tab.6 Detection results under different lighting conditions %

亮光狀態下YOLO v7-ECA的P為97.8%,R為96.7%,mAP為99%,整體檢測精度優于其余6個網絡模型,其中Faster R-CNN網絡模型P為56.6%,R為89.1%,mAP為81.3%,P與mAP較低,完成蘋果幼果高精度檢測存在困難;陰影狀態下YOLO v7-ECA的mAP為97.5%,其值相較于Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7網絡模型分別提高14.8、8.8、2.1、2.4、5.4、2.5個百分點,F1值分別提高21.51、2.60、10.49、1.53、3.23、2.56個百分點,有效解決了背景偏暗情況下幼果不易檢測的難題。

圖7為陰影狀態下蘋果幼果原始標注圖像以及7種不同網絡模型檢測圖像。由圖7b～7g可得,Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7分別漏檢5、5、4、4、4、5個幼果果實目標,YOLO v5錯檢1個幼果果實目標。由圖7h可得,YOLO v7-ECA網絡模型在整體圖像偏暗時無漏檢錯檢的情況。試驗表明,YOLO v7-ECA網絡模型在蘋果幼果圖像整體偏暗時依舊能夠實現目標果實的準確檢測。

圖7 不同光照條件檢測結果對比Fig.7 Comparison of detection results of different lighting conditions

2.3.3不同遮擋情況檢測對比

為驗證不同遮擋下的幼果檢測效果,本試驗分別選取60幅無遮擋、輕微遮擋、嚴重遮擋圖像進行測試,結果如表7所示。由表7可得,在無遮擋狀態下本網絡模型的P為98.3%,R為98.3%,mAP為99.6%,輕微遮擋狀態下本網絡模型的P為100%,R為99.3%,mAP為99.7%,整體檢測精度優于其余6個網絡模型,SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7網絡模型在蘋果幼果目標無遮擋以及輕微遮擋時基本能夠實現高精度檢測,其中Faster R-CNN網絡模型在蘋果幼果目標無遮擋以及輕微遮擋時,犧牲P,提高R,網絡模型穩定性較差,難以完成蘋果幼果高精度檢測;嚴重遮擋情況下本網絡模型的mAP為98.6%,相較于Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7網絡模型分別提高21.7、13.7、2.3、2.4、4.8、2.2個百分點,R分別提高10.0、9.6、0.8、1.9、4.2、3.4個百分點,F1值分別提高28.29、3.50、6.45、0.96、1.36、1.36個百分點,能夠在各種遮擋干擾下準確識別出蘋果幼果目標。

表7 不同遮擋情況檢測結果Tab.7 Detection results of different occlusion conditions %

圖8為嚴重遮擋狀態下蘋果幼果原始標注圖像及其檢測結果。由圖8b～8g可得,Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7分別漏檢4、3、4、5、4、4個幼果果實目標,Faster R-CNN和Scaled-YOLO v4各錯檢1個幼果果實目標。由圖8h可得YOLO v7-ECA網絡模型在幼果果實受枝條和葉片遮擋嚴重的情況下依舊能夠準確識別幼果,無果實目標的漏檢錯檢。試驗表明,YOLO v7-ECA網絡模型在蘋果幼果遮擋嚴重時依舊能夠實現目標果實的準確檢測。

圖8 不同遮擋情況檢測結果對比Fig.8 Comparison of detection results of different occlusion conditions

3 結論

(1)在YOLO v7網絡模型中插入極輕的ECA機制構建了YOLO v7-ECA網絡模型進行蘋果幼果的檢測,將采集到的3 654幅幼果圖像輸入網絡模型進行訓練,獲得最優網絡模型P為97.2%、R為93.6%、mAP為98.2%、F1值為95.37%,與Faster R-CNN、SSD、Scaled-YOLO v4、YOLO v5、YOLO v6、YOLO v7網路模型相比,其mAP分別提高15.5、4.6、1.6、1.8、3.0、1.8個百分點,P分別提高49.7、0.9、18.5、1.2、0.9、1.0個百分點,能夠準確識別蘋果幼果目標。

(2)由不同干擾情況下的對比試驗可知,YOLO v7-ECA在蘋果幼果圖像模糊加噪、陰影以及嚴重遮擋情況下依舊能夠實現果實目標的準確檢測。模糊加噪情況下mAP為91.9%,陰影情況下mAP為97.5%,嚴重遮擋情況下mAP為98.6%。

(3) YOLO v7-ECA網絡模型最佳權值文件大小為71.3 MB,單幅圖像檢測時間為28.9 ms,該網絡模型在保持較高精度的同時又能擁有較快的檢測速度,其網絡模型內存消耗低,可進一步實現網絡模型的遷移部署。