基于多分辨率特征融合的葡萄尺寸檢測

李頎　楊軍

摘要：針對葡萄特征提取不夠充分且果粒排列密集相互遮擋難以準確檢測的問題，以陜西省鄠邑區戶太8號葡萄為研究對象，提出一種基于特征金字塔網絡（FPN）特征融合的Faster R-CNN卷積神經網絡模型完成復雜背景情況下葡萄果粒的檢測與識別。以ResNet50為主干網絡，引入金字塔結構，增強網絡模型對葡萄果粒不同分辨率特征的提取能力，同時加入GA-RPN網絡生成自適應錨框，引入遮擋補償機制，以解決密集葡萄果粒存在的遮擋問題。模型驗證結果表明，本研究提出的模型精度均值（AP）在候選框與原標記框的重疊率（IOU）閾值為50時可達95.9%，對葡萄果粒、果穗的檢測準確率分別為95.8%、96.1%，相比于原始Faster R-CNN模型識別性能更優。利用雙目視覺算法對葡萄果粒進行尺寸測量，在最佳測量距離（0.6～1.4 m）其相對誤差可控制在2%以內。

關鍵詞：葡萄無損檢測;多分辨率特征融合;遮擋補償;機器視覺

中圖分類號：TP391文獻標識碼：A文章編號：1000-4440（2022）02-0394-09

Grape size detection based on multi-resolution feature fusion

LI Qi YANG Jun

Abstract：In view of the insufficient feature extraction of grapes and the difficulty in accurate detection of dense occlusion of grape grains， a Faster R-CNN convolutional neural network model based on feature pyramid network（FPN）feature fusion was proposed to detect and identify grape grains under complex background in Huyi District of Shaanxi Province. The ResNet50 was used as the main network， and the pyramid structure was introduced to enhance the extraction ability of the network model for different resolution characteristics of grape fruit. At the same time， the GA-RPN network was added to generate the adaptive anchor frame， and the occlusion compensation mechanism was introduced to solve the occlusion problem of dense grape fruit. The model verification results showed that the average precision （AP） of the proposed model could reach 95.9% when the threshold of overlap rate between candidate box and original marked box （IOU） was 50， and the detection accuracy of grapes and strings was 95.8% and 96.1%， respectively， which was better than that of the original Faster R-CNN model. Using binocular vision algorithm to measure the size of grape seeds， the relative error can be controlled within 2% at the optimal measurement distance （0.6-1.4 m）.

Key words：nondestructive testing of grapes;multi-resolution feature fusion;occlusion compensation;machine vision

農產品信息快速無損檢測是現代農作物精細管理的關鍵技術之一[1-4]。傳統的小規模種植主要通過農戶肉眼觀察田間作物信息以及經驗來判斷作物的生長狀況，難以適應現代化大規模的作物種植。計算機與圖像處理技術在國內快速發展[5-7]，被廣泛應用于售賣階段的農產品檢測和分級，但在生長狀況的實時監測方面應用較少。2016年葉浩等[8]利用圖像數據擬合和像素轉換得到實際葡萄果粒尺寸，實現對成穗葡萄等級的自動分類檢測，但沒有對葡萄果穗進行識別測量。2017年羅陸鋒等[9]建立分界線幾何求解與計算模型，完成貼疊葡萄果穗目標的提取，但沒有進行葡萄果粒的重疊分割。2019年劉智杭[10]提出基于改進的圖像分割算法和隨機變換橢圓檢測算法的果粒尺寸檢測方法，使用了顏色特征權向量優化k-means算法，實現了復雜背景下葡萄果穗圖像的分割，但在果粒嚴重遮擋時的檢測結果誤差較大。2020年劉平等[11]通過提取貼疊葡萄果穗圖像輪廓的有效屬性點信息進行位置判斷，區分出重疊輪廓，完成葡萄果穗的識別和分割，但沒有對重疊葡萄果粒進行研究。

目前多數基于機器視覺的作物特征提取主要集中應用于瓜果缺陷等亞健康外觀狀態以及尺寸檢測[12-15]，但在葡萄尺寸檢測方面的應用研究還比較少，檢測模型容易受到葡萄自然生長條件下諸如復雜背景變化、葡萄果粒尺寸不一、隨機遮擋、顏色相似等問題的影響。針對上述問題，本研究使用機器視覺技術對葡萄的本體特征進行提取，通過對Faster R-CNN卷積神經網絡算法進行改進，實現葡萄果粒、果穗的準確定位與識別，結合雙目視覺算法實現葡萄果粒尺寸特征的非接觸無損微變檢測。

1材料與方法

1.1數據采集

試驗樣本采集于西安市鄠邑區南部石井鎮的戶太8號葡萄種植基地，采集時間為2020年4月下旬至2021年4月中旬，采集對象為溫室大棚內生長的葡萄果穗。拍攝包含不同角度、距離及光照下的圖片，各采集1 000張，使用圖像標注工具LabelImg對其進行標注，然后通過數據增強對圖片進行放大、縮小、旋轉、翻轉處理，共獲得21 600張圖片及對應的標注文件，分別隨機選擇訓練集10 500張，測試集300張。

1.2目標檢測網絡選擇

現有目標檢測算法分2大類[16-18]：一類是基于候選區域建議的二階段檢測算法，如Faster R-CNN[19]、SPP-Net等，首先通過區域建議算法生成含有目標的候選區域，再通過后續網絡進行目標分類和位置回歸;另一類是基于回歸的檢測算法，如YOLOv3[20]、SSD等，這類算法不需要生成候選區域，而是直接將預設的滑動窗口映射到生成的特征圖上，通過深度特征回歸出窗口的類別和位置偏移量，最終完成目標的檢測定位。

Faster R-CNN算法網絡結構如圖1所示，候選區域生成環節以犧牲時間為代價，Faster R-CNN雖然沒有YOLOv3速度快，但是網絡的整合度較高，極大提高了檢測精度和效率。由于葡萄果粒較小，且生長過程中其本體特征的變化比較遲緩，且對檢測的實時性要求不高。因此選擇Faster R-CNN算法進行葡萄本體特征的檢測。

1×1、3×3分別代表卷積核大小，fc指全連接層，softmax指歸一化指數函數。

1.3主干網絡改進與多層特征融合

Faster R-CNN主干網絡使用VGG16，其最大的特點是使用了3×3的卷積核以及2×2的池化核，每個池化層都將圖像縮小為原來的1/2。殘差網絡ResNet50結構如圖2所示，可以解決因卷積層數增多帶來的梯度耗散或者爆炸的問題[21]，其中conv block表示添加尺度的殘差塊，卷積conv2～conv5中的identity block 2×、3×、5×代表的是2個、3個、5個不改變尺寸的殘差塊。加入激活函數R（Relu）和批量正則化處理BN（Batch Norm）共同解決反向傳播的梯度問題，使得網絡在具有較好識別精度的同時還具有優秀的實時性[22]。

conv1～conv5表示卷積塊1～卷積塊5，conv1×1表示卷積核大小，其余同理。2×、3×、5×表示模塊數，BN（Batch Norm）表示批量正則化處理，R（Relu）表示激活函數，S表示sigmoid函數。

對于大棚環境中葡萄的檢測，存在不同圖像之間、甚至同一張圖像里需要被檢測出的目標大小相對于整張圖像的比例差異較大的問題，圖片中葡萄果粒圖像的平均占比小于0.043，葡萄果穗的平均占比大于0.257。這種尺度差異帶來的挑戰性，嚴重限制檢測器的整體表現。網絡層數越深，表達抽象特征的能力也就越強，但淺層的空間信息也相應丟失。這就導致深層特征圖無法提供細粒度的空間信息對目標進行精確定位。同時，小尺寸目標的語義信息也在下采樣的過程中逐漸丟失。特征金字塔網絡FPN（Feature pyramid network）綜合利用高分辨率的位置信息和高級抽象語義信息，在所有特征上輸出預測結果。FPN網絡結構圖如圖3所示，隨著層級越來越高，語義信息越來越豐富，紅色邊界更寬。

1×1conv表示卷積核大小，2×up表示2倍上采樣。

1.4錨框自適應調整

在RPN網絡中需要事先根據檢測目標的大小設置多種固定大小和形狀的anchor，然后利用滑動窗口對特征圖進行掃描，根據掃描結果對目標進行檢測和分類。但這種方法只適用于檢測一般形狀和大小的目標，對于長寬比懸殊的目標不一定能準確檢測，影響模型的檢測性能，降低算法的魯棒性。

GA-RPN網絡結構如圖4所示，在特征圖后面增加2條支路用于生成anchor，與傳統滑窗方式不同，一條用于定位目標區域中心點，另外一條用于預測符合目標形狀的檢測框的最佳長寬比。同時在形狀預測分支后面還增加了特征自適應模塊，將anchor形狀信息通過1×1的卷積操作融入到特征圖中，以解決不同形狀大小與特征圖不匹配的問題。

FPN提取Resnet50網絡每個階段最后的特征層作為一個特征層級進行多分辨率特征的融合，分辨率的增加可以獲得更多小尺寸葡萄果粒的信息，同時引入GA-RPN網絡完成自適應anchor的生成，改進的Faster R-CNN網絡結構如圖5所示。

Resnet50表示殘差網絡，FPN表示金字塔結構，GA-RPNS表示自適應錨框生成網絡，conv1～conv5表示卷積塊，1×1、3×3表示卷積核大小，2×表示2倍上采樣，M2-5、P2-5分別表示對應層的特征圖，softmax指歸一化指數函數。

1.5密集葡萄果粒遮擋檢測

自然生長條件下的葡萄果粒、果穗難免存在相互遮擋、重疊的關系。葡萄果粒的遮擋情況通常可以分為3種：類外遮擋，即其他物體對葡萄果穗的遮擋，如葉片、樹枝等遮擋;類內遮擋，目標葡萄果穗上的果粒被其他葡萄果穗遮擋;類間遮擋，目標葡萄果穗上果粒之間的互相遮擋，也稱為密集遮擋。其中，葡萄果粒之間的密集遮擋在所有遮擋問題中最常見且占比最大，葡萄果粒密集遮擋示例如圖6所示。

采用遮擋標記和遮擋補償來共同解決這一問題，在標注的過程中對于被遮擋的目標也進行完整標注，同時加入遮擋標記，提高模型的通用性。對存在遮擋情況的標注框計算遮擋補償系數，融入損失函數里進行訓練，增強模型對被遮擋葡萄果粒的敏感性，提高模型檢測精度。

添加遮擋標記，當葡萄果粒之間存在遮擋情況時，向被遮擋果粒添加標記信息occ_mutual（i），將遮擋共分為3個等級，當果粒被遮擋區域的占比不超過25%時，i=3;占比25%～75%時，i=2;占比超過75%時，i=1。計算遮擋補償系數occ_m（s）如式（1）～式（4）所示，s為第s個標注框。

in（s）代表標記信息對應的i，GTs代表第s個真實標注框，union_area（s）表示第s個標注框與所有標注框的相交面積和，union_area表示當前圖片所有標注框的相并面積和，leave（s）為第s個標注框對應的被遮擋等級，n為當前圖片中真實標注總數。將遮擋補償信息融入在損失函數里來補償因遮擋造成的目標特征缺失問題，損失函數定義如式（5）所示。

損失如式（6）、式（7）所示，Ci—是預測的有無果粒的置信度，Ci—是真實檢測的置信度，有果粒為1，無果粒為0;λno是IOU誤差的權重，取值同上;η（i）為遮擋補償系數。

REP損失包含3個目標：1個吸引項和2個排斥項，吸引項的要求是預測框靠近其目標，而排斥項是需要預測框遠離周圍其他的標注框和預測框，如式（8）～式（11）所示。attr為吸引項，SmoothL1作為其回歸損失函數，讓預測框更接近葡萄果粒。repgt的目標是讓預測框最大程度遠離附近其他果粒的真實標注框，然后對IOG進行SmoothLn損失，防止預測框向其他臨近的真實果粒偏移。repbox的目標是讓預測框最大程度遠離附近其他果粒的預測框，降低檢測器對非極大值抑制（NMS）的敏感度，提高在密集場景下的魯棒性。

其中，IOU=area（P∩G）/area（P∪G），IOU=area（P∩G）/area（G），area（P∩G），表示預測框P與真實標注G交集的面積，area（P∪G）表示P與G并集的面積，GPattr為與預測框匹配的真實標注，GPrep為除與預測框匹配后的剩余IOU最大的真實標注，P+=P1∩P2∩…∩P|K|，是所有正樣本的集合，σ取值范圍為0～1，Smooth回歸函數如式（12）、式（13）所示。

1.6雙目視覺測量

單目系統常用于固定位置、特定距離下的目標測量，優勢在于成本較低，對計算資源的要求不高，系統結構相對簡單，但是無法對非標準障礙物進行判斷，實際中的測量需要真正的空間三維坐標[23-25]。圖7所示為一般情況下的雙目視覺成像原理圖。

以左相機坐標系o_xyz為原點建立世界坐標系，其中，ol_XlYl表示圖像坐標系，ol為投影點，有效焦距為fl，右相機同理，建立相機透視變換模型如式（14）、式（15）。

兩個坐標系o_xyz與or_xryrzr之間的相對關系如式（16）所示，由推導可得，空間點的三維坐標可以表示為式（17）所示。

已知雙目相機基線距離，左右相機焦距fl、fr和點P在左、右相機中的圖像坐標已知，再通過相機標定求出的R和T就可以得到點P相對于相機的三維坐標，實現視野范圍內任意大小的葡萄特征的測量。

如圖8所示，圖像拍攝設備為KS4A418-D雙目攝像頭，3.6 mm定焦鏡頭，分辨率為2 592×1 944，圖像格式為MJPG。左右相機空間位置標定結果如表1所示，旋轉矩陣的標定結果近似于單位矩陣，說明左、右相機之間的旋轉角度很小，光軸接近平行。平移向量表明兩個相機的光軸在x軸方向上相距59.842 25 mm，接近實際基線距離60 mm，而在y和z方向上僅存在微小的偏移。

2結果與分析

2.1模型訓練效果

試驗平臺的運行環境配置：操作系統Ubuntu16.04，顯卡NVIDIA GeForce RTX 2080 Ti，算力7.5，運行內存128 GB，使用Python語言編程，選擇TensorFlow作為深度學習框架。采用近似聯合訓練方法進行端到端訓練，在保證訓練精度的同時提高訓練速度。模型訓練參數設置如表2所示，訓練結果Loss變化如圖9所示。從圖9中可以看出，網絡在前4 000次迭代中迅速擬合，之后趨于穩定，平均損失在0.15左右浮動。模型訓練效果良好，最后收斂到穩定值，達到了預期的訓練效果。

2.2遮擋補償試驗結果對比

分別使用原始Faster R-CNN模型與引入遮擋補償機制后的Faster R-CNN模型對葡萄果粒進行檢測，結果（圖10）表明，改進后的模型檢測精度高于原始Faster R-CNN模型，其中對于葡萄果穗中間被遮擋的果粒檢測效果的提升最明顯，邊緣被遮擋果粒的檢測效果也有很大的提升，可以準確識別遮擋面積不超過75%的果粒。果粒檢測結果對比示例如圖10所示，可以看出，引入遮擋補償機制后葡萄果穗邊緣果粒的漏檢情況有明顯改善，且中間被漏檢的果粒也可以準確識別出來。拍攝多組葡萄果穗圖片進行檢測，與人眼能觀察到的實際果粒數量進行對比分析，結果如表3所示。

2.3模型檢測結果分析

溫室大棚場景內葡萄果粒、果穗的檢測結果如圖11所示，相機距離葡萄0.6～1.4 m。本研究模型可以有效地檢測出葡萄果粒、果穗兩類目標，尺寸較小的葡萄果粒也能被精確地檢測出。在出現輕微遮擋的情況下，比如樹枝、葉片遮擋葡萄果穗，也可以檢測出目標，如圖11（b）左側第1個葡萄果穗檢測框。

分別將5種模型YOLOv3、Faster R-CNN、Faster R-CNN+ResNet50、Faster R-CNN+FPN以及本研究改進模型在葡萄果粒、果穗數據集上進行試驗評估，并進行結果分析。在多分類任務中，常通過使用混淆矩陣來進行指標評價。本研究中識別種類較少，使用P-R（Precision-Recall）曲線來進行指標評價，直接顯示分類結果的優劣。

圖12所示為P-R曲線，為了評估算法有效性，計算各個類別在檢測閾值（IOU）為50時的平均精度值（AP）、不同閾值下的mAP和檢測速度（FPS）。AP是衡量單一類別檢測效果的重要指標，可以通過計算準確率（Precision）與召回率（Recall）曲線所包圍的面積得到，如式（18）～式（20）所示。mAP是所有類別的精度均值，如式（21）所示。其中，Tp表示真的正樣本;Fp表示假的正樣本，負樣本被錯誤地預測為正樣本;Fn表示假的負樣本，正樣本被錯誤地預測為負樣本。表4為5種模型的精度均值比較結果。

2.4葡萄果粒測量結果分析

對模型檢測出的葡萄果粒圖像進行遍歷，找出可以定義果粒橫徑和縱徑的特征點。首先從左往右、從上到下找到的第1個點記為a點，然后從右往左、從上到下找到的第1個點記為b點，即找到葡萄果粒的最左側點和最右側點。考慮到左右兩點可能不在同一水平線上，所以橫徑大小通過計算a、b兩點投影在x軸方向上的距離得到。同理，再分別從上往下和從下往上找到最上方點c和最下方點d，縱徑大小通過計算c、d兩點投影在y軸方向上的距離得到。橫、縱徑特征點示意圖如圖13所示。根據公式（8）計算得出a、b、c、d 4點的空間三維坐標。設特征點坐標為a（Xa，Ya，Za），b（Xb，Yb，Zb），c（Xc，Yc，Zc），d（Xd，Yd，Zd），則果粒橫徑、縱徑的計算如式（22）、式（23）所示，其中L為橫徑，T為縱徑。

為驗證遮擋補償效果，根據果粒圖像被遮擋的面積大小占比不同，進行遮擋補償試驗。分別選取遮擋程度為小于25%、25%～50%、50%～75%、大于75%的果粒進行試驗，使用游標卡尺測量出葡萄果粒橫徑的實際值，結果如表5所示。為驗證本研究模型的實際效果，選取3個葡萄果穗分別在不同拍攝距離下進行試驗，以葡萄果穗為單位計算橫徑平均值，果粒測量結果如表6所示。

由表5可知，引入遮擋補償機制后，檢測誤差明顯降低，更接近果粒實際大小。當遮擋程度超過75%時，2個果粒被漏檢，只有尺寸較大的果粒被檢測出且誤差高于遮擋程度小于75%的果粒。由表6可知，在相機有效拍攝范圍內實際檢測結果最大誤差不超過4%，當測量距離在0.6～1.4 m時誤差更小且不超過2%。因此，本研究提出的模型在最佳測量距離0.6～1.4 m對于葡萄果粒尺寸特征的自動測量具有較好的實用性。

3結論與討論

本研究提出了一種結合深度學習和視覺測量的葡萄果粒、果穗特征的自動檢測模型。通過雙目相機拍攝獲取數據集，然后利用改進的Faster R-CNN算法進行檢測，得到目標位置和類別信息。以ResNet50為主干網絡并引入金字塔結構，增強網絡模型在不同分辨率下葡萄果實特征的提取能力，對候選區域生成網絡RPN進行改進，加入了自適應錨框，同時引入遮擋補償機制，以解決密集葡萄果粒由于遮擋而被漏檢的情況。利用標定結果求出特征點的三維坐標，實現果粒尺寸自動測量。試驗結果表明，本研究提出的模型在相機最佳測量距離內對葡萄果粒尺寸的自動測量具有較高的準確率，能滿足葡萄表型參量特征精準測量的需要，也可為其他種類作物的表型參量三維測量提供參考與借鑒，有較好的實用性。在后續的研究中，會對檢測模型進壓縮優化，進一步提高檢測的實時性和準確率，同時加入更多葡萄表型參量的測量，以更好地分析作物的生長狀態。

參考文獻：

[1]張帥亮. 作物生長過程檢測技術研究與實現[D].新鄉：河南科技學院，2018.

[2]楊濤，李曉曉. 機器視覺技術在現代農業生產中的研究進展[J].中國農機化學報，2021，42（3）：171-181.

[3]ZHAO Y S，GONG L，HUANG Y X，et al. A review of key techniques of vision-based control for harvesting robot[J]. Computers and Electronics in Agriculture， 2016，127（6）：312-321.

[4]XIONG J T，LIN R，LIU Z，et al. The recognition of litchi clusters and the calculation of picking point in a nocturnal natural environment[J]. Biosystems Engineering， 2018，166（8）：44-57.

[5]李詩禹. 溫棚環境及植物生長信息管理分析系統研究與實現[D].銀川：寧夏大學，2018.

[6]趙獻立，王志明. 機器學習算法在農業機器視覺系統中的應用[J].江蘇農業科學，2020，48（12）：226-231.

[7]翁楊，曾睿，吳陳銘，等. 基于深度學習的農業植物表型研究綜述[J].中國科學：生命科學，2019，49（6）：698-716.

[8]葉浩，詹國敏，吳亮，等. 基于圖像分割的葡萄果粒粒徑快速測量技術[J].新技術新工藝，2016（5）：84-87.

[9]羅陸鋒，鄒湘軍，王成琳，等. 基于輪廓分析的雙串疊貼葡萄目標識別方法[J].農業機械學報，2017，48（6）：15-22.

[10]劉智杭. 基于圖像的巨峰葡萄果粒尺寸檢測方[D].哈爾濱：東北林業大學，2019.

[11]劉平，朱衍俊，張同勛，等. 自然環境下貼疊葡萄串的識別與圖像分割算法[J].農業工程學報，2020，36（6）：161-169.

[12]李睿. 基于機器視覺的蘋果尺寸測量與分類研究[D].唐山：華北理工大學，2020.

[13]徐慶. 圖像處理技術在現代農業中的應用[J].農村經濟與科技，2020，31（1）：66-67.

[14]QURESHI W S，PAYNE A，WALSH K B，et al. Machine vision for counting fruit on mango tree canopies[J]. Precision Agriculture， 2017，18（2）：224-244.

[15]TANG Y C，CHEN M Y，WANG C L， et al. Recognition and localization methods for vision-based fruit picking robots： A review[J]. Frontiers in Plant Science，2020，5：1-17.

[16]李偉山，衛晨，王琳. 改進的Faster R-CNN煤礦井下行人檢測算法[J].計算機工程與應用，2019，55（4）：200-207.

[17]張守東，楊明，胡太. 基于多特征融合的顯著性目標檢測算法[J].計算機科學與探索，2019，13（5）：834-845.

[18]呂曉琪，吳涼，谷宇等. 基于三維卷積神經網絡的低劑量肺結節檢測[J].光學精密工程，2018，26（5）：1211-1218.

[19]REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017，39（6）：1137-1149.

[20]SOHAIB A， MAHEDI H， SHEIKH M S I. YOLO-based three-stage network for Bangla license plate recognition in Dhaka Metropolitan City[J]. International Conference on Bangla Speech and Language Processing （ICBSLP）， 2018，33（15）：21-22.

[21]毋立芳，汪敏貴，付亨等. 深度目標檢測與圖像分類相結合的棉花發育期自動識別方法[J].中國科技論文，2018，13（20）：2309-2316.

[22]張怡，趙珠蒙，王校常，等. 基于ResNet卷積神經網絡的綠茶種類識別模型構建[J].茶葉科學，2021，41（2）：261-271.

[23]王珂，王亮亮，李瑞峰，等. 基于折光魚眼全景相機的雙目立體視覺標定[J].中國科技論文，2016，11（8）：913-919.

[24]盧艷軍，王詩宇，張太寧，等. 針對目標跟蹤過程的雙目視覺測距方法研究[J].電光與控制，2020，27（1）：60-63，101.

[25]MANSOOR A， MUHAMMAD S A， MUHAMMAD R， et al. Real-time machine-learning based Cropand weed detection and classification for variable-rate spraying in precision agriculture[J]. International Conference on Electrical and Electronics Engineering（ICEEE），2020，10（19）：273-280.

（責任編輯：張震林）

收稿日期：2021-07-06

基金項目：陜西省農業科技創新工程資助項目[201806117YF05NC13（1）];陜西省科技廳農業科技攻關項目（2015NY028）;陜西科技大學博士科研啟動基金資助項目（BJ13-15）

作者簡介：李頎（1973-），女，陜西西安人，博士，教授，主要研究方向為農業智能化信息化、深度學習。（E-mail）liqidq@sust.edu.cn

通訊作者：楊軍，（E-mail）1414831375@qq.com