基于目標像素變化的柚果單目測距算法

劉 潔，周典卓，李 燕，李定科，李英琪，Rubel Rana

基于目標像素變化的柚果單目測距算法

劉 潔1,2,3，周典卓1，李 燕1，李定科1，李英琪1，Rubel Rana1

（1. 華中農業大學工學院，武漢 430070；2. 農業農村部長江中下游農業裝備重點實驗室，武漢 430070；3.農業農村部柑橘全程機械化科研基地，武漢 430070）

針對山地果園光線變化和枝葉遮擋干擾果實距離檢測的問題，該研究提出一種利用目標區域像素數量變化預測成像距離的算法。根據單目測距原理和柚果成像特性，以具備尺寸和形狀代表性的離樹柚果樣本為研究對象，在采摘作業距離范圍內利用單一相機以固定間隔步距對果實某一側面連續獲取圖像數據，用以建立并驗證目標區域像素數量變化與成像距離變化之間的多元回歸關系。隨后將該算法應用于果園中樹上柚果樣本以檢驗其適用性，并討論初始成像距離和步距取值對測距精度的影響。研究結果表明，在125 cm以內，6個樹上柚果樣本的測距相對誤差均低于5%，滿足采摘機械手目標定位的精度要求；初始成像距離對該算法測距精度具有顯著影響。該研究單目測距算法滿足果園環境中柚果目標與相機間距離檢測需求，為相關采摘機械手的柚果目標識別提供了一種可行方案。

算法；果園；識別；單目測距；像素數量；成像距離；多元回歸

0 引 言

柚子（(Burm) Merr.）是東南亞重要的藥食兩用水果，亦是果茶、精油等深加工產品的原料，其種植面積和產業產值均呈逐年增加態勢。作為三大柑橘類水果之一，柚子果梗木質化程度高，果實懸掛于樹冠內部，單果質量300～1 800 g，采摘期相對集中，采摘勞動量需求極大。加之柚子果園多分布于坡度30°～60°的山地丘陵地區，采后運輸工作量亦不容忽視[1]。產區勞動力流失和勞動成本逐年增加使得發展柚子機械化、自動化采摘的需求愈發迫切[2]。對于果蔬采摘機器人而言，果實的識別與定位，直接影響到果實采摘的準確性與成功率[3-5]。

借助于深度學習等圖像處理和目標識別算法[6]，當前果蔬采摘機器人獲取空間三維信息主要有二維圖像結合深度信息源和僅用二維圖像計算三維信息兩種途徑[7]。二維圖像結合深度信息源主要依靠相機獲取成像平面二維坐標值，同時利用結構光測距[8]、激光測距[9]、超聲波測距[10]和位置傳感器[11]等信息源獲取深度信息，如王玲等[12]針對蘑菇的機器人采收，使用結構光SR300深度相機構建了蘑菇位置原位測量系統。王糧局等[11]設計了基于精密運動機構和單目視覺的草莓采摘機器人果實定位試驗，在壟坡和攝像機像平面內包含1～3粒成熟草莓的果實域定位時間為0.633～0.886 s，草莓深度信息的相對誤差在?4.35%～0.95%之間。僅用二維圖像計算三維信息是依據光學成像原理，利用同一目標在多幅圖像中的成像特征計算目標三維坐標，主要有雙目測距和單目測距兩種方式。其中，雙目測距基于視差原理，根據相機結構參數和2個不同位置的相機所獲取2張圖片中同一目標像素點位置參數計算目標的三維坐標信息，其計算精度高，硬件成本低，在農作物和農產品目標位置識別中應用廣泛。例如Yang等[13]研究了一種基于雙目視覺的杭州白菊的識別與定位方法，通過在左右2幅圖像中匹配雄蕊質心計算花朵目標位置，其在150～450 mm距離范圍內的計算值誤差均小于14 mm；Xiong等[14]針對自然環境干擾下動態荔枝簇的視覺定位問題，利用雙目視覺立體匹配算法計算采摘點位置信息，在室內的靜止和輕微干擾狀態下，深度誤差范圍為1.96～5.08 cm；在果園中，深度誤差范圍為0.40～5.80 cm；梁喜鳳等[15]提出了基于果梗骨架角點計算方法，使用雙目視覺系統采集番茄串圖像并獲取果梗采摘點位置信息，準確率達到90%；陳燕等[16]使用雙目相機采集荔枝圖像，提出同行順序一致性約束的目標配對方法，基于三角測量原理計算荔枝串空間坐標，提高了荔枝串的檢測精度與檢測速度。而單目測距則利用移動的單一相機獲取圖像并通過分析目標特征預測其距離[17]，在自動駕駛和無人機測控領域應用廣泛[18-19]?，F有研究表明，單一相機能夠在低像素圖像中識別果蔬細節信息[20]，如與配套機具相結合[21-22]，單目視覺測距具有引導采摘機械手移動至果實目標的能力。研究者們對其在果蔬采摘機器人目標識別與定位中的應用研究進行了探索。Guo等[23]提出了一種基于單目視覺的重疊生長荔枝果實識別方法，從荔枝前景區逐級提取單個荔枝果實，該方法對485張荔枝果園圖像中的目標識別準確率大于87%。楊帆等[24]利用將K-means聚類算法與Canny邊緣檢測算法相結合的方法，識別出枝葉遮擋、多果重疊情況下橘子的完整輪廓，通過對橘子輪廓的幾何參數和實際坐標計算其位置，該方法對柑橘果實和大棗果實的深度信息檢測誤差不超過0.32 cm。

雖然雙目視覺等立體視覺獲取目標空間位置信息技術成熟、器件商品化程度高、應用廣泛，但是應用中需以目標的精準匹配為基礎。然而山地果園中光照和地形變化使圖像背景復雜，內掛果型果實受枝葉遮擋嚴重使目標難以識別，加上枝葉抖動等因素，均能引起深度相機所用激光或聲波等信號往返時間誤差增加，立體視覺左右圖像匹配目標識別難度和計算量增大。此外，內掛果果實采摘作業中，多相機系統隨執行器末端運動極易受到碰撞或剮蹭導致相機位置改變，影響其后續工作效率。鑒于柚子生長于丘陵山地且果實內藏于枝葉的特性限制了深度相機和雙目測距等立體視覺技術在獲取柚果空間位置信息中的應用，盡管單目視覺在果蔬采摘中的應用較為鮮見，但其成像系統簡單、輕便、體積小，無需精確的圖像匹配，運算速度快等優勢突出，既能使后續機具視覺伺服系統的成本控制在幾百元以內，也便于開發多機械手協同工作機具，亦可為其他果蔬或農作物生產過程中的目標深度信息識別提供參考。

綜上，單目視覺應用于基于圖像的視覺伺服（Image-Based Visual Servoing，IBVS），需考慮鏡頭與光路等成像誤差對檢測精度的影響和目標脫離相機成像區域的問題。因此，在完成相機標定和內外參數求取基礎上，本研究提出一種通過分析單一相機取固定間隔步距連續成像所獲圖像中目標像素點數量變化，計算復雜背景中樹上柚果深度信息的算法，以期為果實采摘機械手的目標距離預測和作業動作控制提供一種運算少、成本低的技術方案。

1 材料與方法

1.1 柚果樣本選擇與尺寸測量

本研究于華中農業大學中百超市（武漢，中國）購買14個尺寸和形狀均具代表性的柚子果實為離樹樣本，隨機選取其中10個用于建模集圖像數據采集，其余4個用于驗證集圖像數據采集；另外在華中農業大學果園中選取尺寸、形狀和掛果位置均具代表性的6個采摘期掛樹果實為樹上樣本。對于柚子果實，通常以果軸方向的果徑最大值為縱徑、以垂直于果軸方向的果徑最大值為橫徑表示其尺寸和果形。利用游標卡尺和夾板人工測量樣本的縱徑和橫徑尺寸，測3次取平均值為該尺寸測量值。

1.2 圖像采集方法

在良好光照條件下，以距離柚果150 cm處為起點，沿直線按2.5 cm步距間隔用iPad（A1599，Apple，美國）自帶攝像頭（焦距0.3 cm，曝光時間0.008 s）保持成像焦距不變對果實側面正向拍攝，直至距離柚果25 cm位置處為止（圖1）。單幅圖像分辨率為2 592×1 936像素，圖像數據自動保存為JPG格式。對于離樹柚果樣本，果梗朝上放置后，將其外表面平均劃分為正前方、左側方、正后方和右側方4個側面，其中每個側面作為1個成像樣本面獲取包含51幅圖像作為1組數據，共計56組離樹果實樣本數據。對于樹上柚果樣本，每個樣本以朝向樹冠外的側面作為成像樣本面獲取包含51幅圖像作為1組數據，共計6組樹上柚果樣本數據。

1.3 單目測距原理與算法設計

單目視覺測距以小孔成像原理為基礎。相機在成像平面對同一目標所成實像的面積會隨成像距離縮短而增大。由數碼相機工作原理可知，目標經鏡頭所成實像經由光電轉換和處理成為圖像數據中有序排列的像素點，即目標區域實像面積與其所占像素數量成正比。故這一實像面積的大小變化會量化為目標區域在圖像中所占像素點的數量變化。同一目標成像距離越近，則實像面積越大，目標區域所占像素點的數量越多。建立目標在多次成像中的對應區域所占像素數量變化與成像距離變化間的對應關系，可用于解析同類型目標的成像距離。

設目標在成像平面所成實像面積為（，cm2），所占像素數量為，成像距離（，cm）的計算如式（1）所示：

式中為所占像素數量與實像面積的比例系數，個/cm2；為相機鏡頭焦距，cm。

對于柚子果實等類球型體，當鏡頭距離目標柚果無限遠，則參與成像的果實表面可成為該拍攝方向上的最大成像面；當鏡頭不斷靠近柚果，受柚果外形影響，參與成像的果實表面范圍將不斷縮小，如圖2所示。若忽略柚果的果徑變化，設其平行于成像面上的最大截面半徑為（，cm），實際成像表面范圍半徑為（，cm），鏡頭至柚子表面之間的距離為（，cm），根據幾何關系分析可知3者間的關系如式（2）所示：

根據柚子行業標準[25]，柚子果實外徑通常在10.0～18.5 cm之間，因此可知果實半徑范圍為∈[5.00，9.25]。初始位置機械手與待作業果樹上距離最近果實間距離的最大值小于150 cm。在相機距果實距離小于25 cm后，機械手采摘機構的設計即可保障果實的準確托持。因此，機械手工作范圍在25～150 cm范圍內，即成像距離范圍為∈[25，150]。結合式（1），在上述范圍內，成像距離亦可由如式（3）近似關系式進行表示：

式中為圖像每單位面積含像素數量和相機焦距共同決定的常數。

1.忽略果徑變化的柚子果實 2.果軸 3.光線路徑 4.鏡頭 5.理論最大成像面 6.實際成像面

1.Ideal pomelo fruit 2.Fruit axis 3.Light trace 4.Lens 5.The theoretical maximum imaging area 6.The real imaging area

注：′為成像面實際半徑，cm；為柚果最大截面半徑，cm；為成像距離，cm；ver為柚果縱徑，cm；hor為柚果橫徑，cm。

Note:′ is the radius of actual the imaging area on fruit surface, cm;is the maximum section radius of pomelo fruit, cm;is the imaging distance, cm;veris the vertical diameter of pomelo fruit, cm;horis the horizontal diameter of pomelo fruit, cm.

圖2 柚果成像面變化示意圖

Fig.2 The schematic diagram of the changes in the imaging area of the pomelo fruit surface

由式（3）可知，如保持連續成像過程中相機沿直線運動且焦距不變，則可提取圖像中目標區域所占面積和像素數量用于計算成像距離?？色@取已知成像距離的目標圖像，將其隨機分為建模集和驗證集，借助建模集圖像數據計算出像素數量變化與成像距離變化間的關系和的取值，可建立基于目標像素變化的柚果單目測距模型，經驗證集數據檢驗并優化后，即可用于目標成像距離檢測。考慮到式（3）假設柚果為球體，而柚果實際形狀并非標準球體，且為消減多次成像過程中柚果表面與相機視錐相切最大絕對尺寸變化引起的誤差，選擇目標區域在所成圖像的像素值數量的變化率為輸入變量，距離預測值（(，)，cm）的數學表達式如式（4）所示：

式中、、、為根據成像距離、面積和像素數量等數據，經最小二乘擬合運算求取的對應參數。

在以像素數量為橫坐標、成像距離預測值為縱坐標的坐標系中（圖3），當最大成像面面積和預測距離范圍有限時，距離預測(,)的取值區域可視為由許多條冪函數曲線段構成的封閉平面圖形，每條曲線段的系數連續且取值由決定。如記為根據目標圖像區域像素數量計算出的成像距離擬合曲線，成像距離預測值可能出現的最大值max()和最小值min()分別為該平面圖形的上邊緣曲線和下邊緣曲線。當取某一常數值C時，(,C)為其中1條冪函數曲線。假定相機每隔1個單位步距（,cm）成像1次，用表示序次，一共成像次，和為正整數，則≥2，1≤≤；獲取的圖像中果實目標區域像素數量為x，預測的成像距離為（z,cm），實際成像距離為（Z，cm），1≤x≤6 000 000。

相機第1次成像所得圖像中目標區域所占像素數量為1。根據式（4）可知，因柚果最大成像面積未知，所以暫不能根據1直接計算出成像距離預測值。但是，直線=1與上邊緣曲線max()和下邊緣曲線min()存在2個交點，分別設2個交點的縱坐標為、，可知=max(1)，=min(1)，則[，]為第1次成像的距離預測區間，實際成像距離值存在于該預測區間之內。以2個交點為界均勻取個預測點1，2，…T…，T，取此時預測點間差值為，在其中任取第個預測點T(1，-)（0≤≤，和為整數），假定T為最佳預測點，其縱坐標值最接近實際成像距離，根據式（3）可確定該處的常數系數a，并計算出該假定條件下第1次成像的成像距離。

后續每次成像求取最佳預測點作為距離預測值的方法如下：當進行第次成像時，可獲得像素數量x，則次成像，可獲得個像素數量1，2，…，x…，x。對于每個像素數量x，在直線=x與(，)重疊的線段的個距離預測值1，2，…T…，T。引入E值用于表征假定T為最佳預測點的預測誤差，E值的大小為根據像素數量1，2，…，x計算得出的預測成像距離1，2，…，g與實際成像距離1，2，…，D之間的誤差的平方和。因此，可分別計算出在1，2，…，T為最佳預測點條件下的1，2，…，E值，取集合{1，2，…，E}中的最小值E，將第個預測點作為實際的最佳預測點，則可得第次拍攝時的最佳預測距離(g*，cm)，其計算如式（5）所示：

式中為第1次成像距離預測值的最大值，cm；為最佳預測點；為第1次成像時距離預測點間的差值，cm；為步距，cm。

注：為成像距離擬合曲線；為成像距離預測點序次；為成像序次；為第1次成像的預測點間距；為步距；1*為第1次成像時的距離預測值；g2*為第2次成像時的距離預測值；g*為第次成像時的距離預測值；為第1次成像距離預測值的最大值；為第1次成像距離預測值的最小值；max()為取值區域圖形的上邊緣曲線；min()為取值區域圖形的下邊緣曲線；T為預測點。

Note:is calculated fitting curve of imaging distance;is index of predicted imaging distance point;is shooting index;is interval between the prediction points of the first image;is step length;1*is Predicted imaging distance for the first image;2*is Predicted imaging distance for the second image; g*is Predicted imaging distance for thestimage;is maximum predicted imaging distance for the first image;is minimum predicted imaging distance for the first image;maxis upper edge line of the potential value area graphics;minis bottom edge line of the potential value area graphics;Tis prediction point.

圖3 柚果單目測距算法示意圖

Fig.3 The schematic diagram of the monocular distance measurement algorithm for pomelo fruit

1.4 目標區域像素數量提取與最大成像面積估計

圖像數據導入計算機后，柚果目標區域的像素數量利用Photoshop軟件的“套索”工具圍繞果實目標繪制其封閉輪廓后根據直方圖獲取。

考慮到柚果側面成像輪廓具有不規則性，最大成像面積難以精確測量。因此本研究根據成像距離足夠遠時柚果的最大成像面積無限接近其沿果軸方向的最大截面面積，并可近似等于其實際成像面積，設計了一種柚果側面輪廓最大成像面積的估算方法。根據常見柚子縱徑和橫徑[25]估算柚果的最大成像面積范圍為64～324 cm2，選擇了面積分別為64、81、100、121、144、169、196、225、256、289和324 cm2的11個標定板并獲取其在成像距離為150 cm時的圖像數據，獲得成像面積和像素數量間的線性關系，用于在拍攝方向上柚果側面輪廓最大成像面積的估計和后續計算中的參數補償，經線性回歸分析可求得柚果最大成像面積估計值（p，cm2）如式（6）所示：

式中1為拍攝距離為150 cm時柚果圖像像素數量，1和2分別為線性回歸分析得出的系數。

1.5 柚果單目測距模型建立、驗證與算法評價方法

將所獲取的離樹柚果圖像數據按照5∶2的比例隨機劃分為用于建立柚果單目測距模型的建模集和用于獨立驗證模型預測能力的驗證集。將建模集樣本圖像數據的目標區域像素數量、最大成像面積和成像距離代入式（4），求取系數、、、以建立柚果單目測距模型。使用決定系數2來描述模型的擬合程度，決定系數2越接近于1，則說明擬合程度越高。

利用離樹柚果樣本獨立驗證集數據對模型預測能力進行檢驗后，另用6組樹上柚果樣本圖像數據檢驗模型預測能力和適用性。將連續成像過程中所得的目標區域所占像素數量依次輸入測距模型求取最佳預測點，運算結果即為預測成像距離。對于同一個目標成像面，隨著圖像獲取次數的增加，輸入次數增加，用于預測數據也增加。以此循環，直至輸出值超出測距算法的可預測范圍。

采用誤差、絕對誤差和相對誤差評價柚果單目測距模型的精度。定義預測結果的精度等級如下：如預測結果的相對誤差小于5%，則其精度等級為高；如相對誤差在5%～10%之間，則其精度等級為中；如超過10%，則其精度等級為低。為展示測距算法的準確性，以相對誤差頻數分布圖和累積頻率函數圖來表示低精度、中精度、高精度預測的頻率及分布特征。

為評價初始成像距離和2幅圖像間隔步距2個因素對預測精度的影響，求取不同初始成像距離和不同步距條件下算法預測值的平均相對誤差（Mean Relative Error，MRE），并進行方差分析。離均差平方和（Sum of Squares of Deviation from Mean，SS）是統計中離散趨勢的重要指標之一，總體數據的變異程度越大，離均差平方和就越大，方差也就越大。

柚果單目測距模型建立的計算和擬合均通過MATLAB實現。測距算法編寫和運算過程由MSDEV軟件完成。

2 結果與分析

2.1 柚果樣本縱徑與橫徑尺寸范圍

建模集和驗證集柚果樣本的縱徑與橫徑尺寸統計情況如表1所示，建模集樣本縱徑變化范圍為7.05～17.82 cm，橫徑變化范圍為7.84～15.80 cm；驗證集樣本縱徑變化范圍為11.92～12.95 cm，橫徑變化范圍為12.25～13.99 cm?？芍?，各樣本面最大截面積均未超出標定板面積變化范圍。

表1 柚果樣本尺寸統計表

2.2 柚果樣本面最大成像面估算結果

根據11個標定板在成像距離為150 cm時的圖像數據對像素數量與柚果成像面積之間的線性關系做回歸分析，求得系數1=0.004，2=1.278，則柚果的最大成像面積估計值（p，cm2）如式（7）所示：

建模集10個離樹柚果各樣本面最大成像面積估計值的計算結果如表2所示，最大成像面積估計值的變化范圍為74.31～174.41 cm2。

表2 各柚果樣本面最大成像面積的估算結果

2.3 圖像中柚果區域所占像素數量提取結果

選取6個離樹柚果樣本側面的最大成像面積和在成像距離為25、50、75、100、125、150 cm處所生成圖像中柚果區域所占像素數量如表3所示?？梢姰敵上窬嚯x一定時，果實尺寸越大，最大成像面積越大，圖像中樣本目標區域所占像素數量越多；對于同一樣本成像面，成像距離越短，圖像中果實目標區域所占像素數量越多。

表3 不同成像距離下各最大成像面積的柚果目標區域的像素數量

2.4 柚果單目測距模型的構建

提取建模集40組離樹柚果樣本圖像數據的目標區域像素數量、最大成像面積和成像距離代入式（4），求得系數=2 311，=?0.499 8，=0.512 9，=0.000 186 1。

則柚果成像距離預測值（，cm）的模型如式（8）所示：

計算得該預測模型決定系數2為0.999 8，說明其擬合程度高，可靠性強，能夠反映像素數量變化與成像距離變化間的回歸關系。

2.5 離樹柚果樣本驗證結果

利用獨立驗證集中4個離樹果實樣本的16組數據共816幅圖像數據對柚果單目測距模型準確性和適用性進行驗證，取初始成像距離1為150.0 cm，步距為2.5 cm，預測點個數為301，驗證結果如圖4所示。離樹樣本成像距離預測值與實際值的散點關系如圖4a所示，可見在成像距離小于120 cm后，預測值與實際值間的差值即絕對誤差明顯減小。從離樹樣本成像距離預測值相對誤差分布來看，成像距離在120～130 cm時，距離預測精度等級變為“中”；成像距離小于120 cm后，距離預測精度等級均保持為“高”，相對誤差最大值為4.89%，最小值為0.02%（圖4b）。根據816幅離樹樣本圖像的預測結果做相對誤差頻數分布和相對誤差累積頻率函數（圖4c和圖4d），其中91%的離樹果實樣本的預測值相對誤差小于5%；96%的離樹果實樣本的預測值相對誤差小于10%。

從驗證集數據中選取7組圖像，對比其最大成像面積、像素數量區間、成像距離預測結果的相對誤差和精度等級（表4），可知驗證集數據符合成像面積與像素數量成正比的關系；精度等級為“中”或“低”的預測均發生于成像距離為122.5～150.0 cm的范圍內，即自初始成像距離起的前5幅圖像以內。上述結果表明，對于離樹柚果樣本，預測值的絕對誤差在成像距離由150 cm向25 cm縮減過程中逐步減小并趨于穩定；預測值誤差在成像距離為140 cm以外較大，應當與參與計算的圖像幅數少有關，隨著成像距離逐步減小、圖像獲取次數逐步增加，相對誤差會迅速縮減至5%以內；預測值相對誤差在成像距離小于50 cm后略有反彈，但仍能保持低于5%的可接受誤差范圍以內，這主要是絕對誤差值趨于穩定而成像距離逐漸減小引起的。

表4 代表性離樹柚果樣本成像距離的預測結果

注：“-”表示無該成像距離預測精度等級的預測結果。

Note: “-” meant that there was not any prediction result on that accuracy level.

2.6 樹上柚果樣本驗證結果

取初始成像距離1為150.0 cm，步距為2.5 cm，預測點個數為301，利用獨立驗證集中6個樹上柚果樣本的6組共306幅圖像數據對模型進行驗證，運算結果如圖5所示。樹上樣本成像距離預測值與實際值的散點關系如圖5a所示，可見絕對誤差在成像距離小于120 cm后，即生成10幅圖像之后明顯減小，其變化趨勢與離樹樣本的驗證結果一致。樹上樣本成像距離預測值相對誤差分布如圖5b所示，成像距離大于147.5 cm的圖像數據中有4個預測值相對誤差大于5%，成像距離大于145.0 cm的圖像數據中有3個預測誤差大于5%，相機成像距離小于125 cm之后的預測值相對誤差均小于5%，其最大值為4.75%，最小值為0.08%；相對誤差在成像位置在80 cm至100 cm之間時達到最小值，其隨成像距離減小先減小后略有反彈但均低于5%的變化趨勢亦與離樹樣本的驗證結果類似。樹上樣本成像距離預測值相對誤差頻數分布和相對誤差累積頻率函數如圖5c和圖5d所示，可見95%的樹上柚果樣本測距結果相對誤差小于5%；97%的樹上柚果樣本測距結果相對誤差小于10%。

樹上柚果樣本的最大成像面積、像素數量區間與成像距離預測結果的相對誤差和精度等級如表5所示，可知對于樹上柚果樣本，最大成像面積與所占像素數量滿足正比關系，當初始成像距離為150 cm，成像距離減至125 cm后，模型預測精度等級均能達到“高”，考慮到實際作業過程中必然存在執行器向作業目標逐漸靠近的過程，這一檢測精度可以滿足應用要求。從上述結果看，樹上柚果圖像數據對模型預測能力的檢驗結果與離樹柚果圖像數據的檢驗結果相比，其絕對誤差無顯著差異，相對誤差變化亦具有隨成像距離縮減先減小后略有增加的趨勢，應當與成像次數足夠多之后絕對誤差值較為穩定而成像距離逐漸減小有關。表明該研究所提算法具有良好的適用性，能夠在25～150 cm范圍內實現樹上柚果成像距離的檢測。

表5 樹上柚果樣本成像距離的預測結果

注：“-”表示無該成像距離預測精度等級的預測結果。

Note: “-“ meant that there was not any prediction result on that accuracy level.

2.7 初始成像距離和步距對檢測精度的影響分析

利用獨立驗證集數據，分別選取150、125、100、75和50 cm的初始成像距離與2.5、5.0和10.0 cm的步距代入式（7）預測圖像成像距離，并對比平均相對誤差以分析這2個因素對檢測精度的影響，運算結果如表6所示。

表6 初始成像距離和步距對預測結果平均相對誤差的影響

對于同一初始成像距離，隨步距增加，平均相對誤差略有降低；對于同一步距，初始成像距離的縮短會引起平均相對誤差的改變，但這一改變沒有一致的規律。如步距為2.5 cm時，平均相對誤差隨初始成像距離縮短而先增加后減小，在初始成像距離為100 cm時有最大值3.18%，在初始成像距離為50 cm時有最小值1.74%；步距為5.0 cm時，平均相對誤差在初始成像距離為150 cm時有最小值1.43%，在初始成像距離為125 cm時有最大值2.59%，此后隨初始成像距離縮短而減小；步距為10.0 cm時，平均相對誤差隨初始成像距離縮短而波動，在初始成像距離為125和75 cm時分別為2.27%和2.45%，而在初始成像距離為150、100和50 cm時在1.45%～1.92%范圍內。

初始成像距離和步距的雙因素方差分析結果如表7所示。初始成像距離對預測結果平均相對誤差的離均差平方和為2.219，均方為0.555，概率值為0.024，表明其對預測結果的相對誤差具有顯著影響。這一現象應當與初始成像距離改變引起了柚果在第一幅圖像中其成像區域所占像素數量改變有關，即算法迭代過程中，初始數據的取值范圍影響了迭代計算結果的精度。步距對預測結果平均相對誤差的概率值為0.063，大于0.05，表明其對預測結果的相對誤差影響不顯著。這一結果，證實了算法設計中以目標區域像素數量的變化為輸入變量可在計算過程中消減系統固有誤差的假設是成立的。在后續的算法應用中，可嘗試增大步距取值或者根據成像距離實時調整步距的策略，以提高作業效率。

表7 初始成像距離和步距雙因素方差分析表

注：* 表示在0.05水平下存在顯著影響。

Note: * means that there is a significant effort in the level of 0.05.

3 結 論

根據單目測距原理和果園中柚子果實成像特點，本研究提出了以目標在圖像中占有像素數量變化為輸入量的柚果單目測距算法。借助11個不同面積的標定板圖像獲取成像面積與所占像素數量間的線性關系，在25～150 cm成像距離內，利用離樹樣本圖像數據建立成像距離預測模型后分別利用離樹樣本和樹上樣本圖像數據對模型預測準確性和適用性進行驗證，并討論了初始成像距離和兩次成像間隔步距對預測精度的影響，主要結論如下：

1）成像距離一定時，目標尺寸越大，圖像中目標區域所占像素數量越多；對于同一目標，成像距離越短，圖像中目標區域所占像素數量越多。柚果側面輪廓最大成像面積、圖像像素數量和成像距離三者間的關系可以用數學函數式表示，且能在求取相機參數后用于建立柚果單目測距模型。所建模型對16組離樹柚果樣本數據的預測結果為從成像距離小于120 cm開始預測精度等級均為“高”，相對誤差最大值為4.89%，最小值為0.02%；對6組自然條件下樹上柚果樣本數據的預測結果為從成像距離小于125 cm開始預測精度等級均為“高”，相對誤差最大值為4.75%，最小值為0.08%。柚果單目測距模型具有良好的適用性，能夠在25～150 cm范圍內實現樹上柚果成像距離的檢測。

2）柚果單目測距模型預測值的絕對誤差在成像距離小于120 cm后明顯減小。相對誤差隨成像次數增加先減小而后略有反彈，表明10幅以上的圖像數據足夠保證算法的預測精度滿足應用要求。結合實際作業中執行器向作業目標的靠近過程，初始成像階段的誤差在可接受范圍內。如與果實托持機構相配合，該算法距離預測精度可以滿足采摘機械手的引導需求。

3）初始成像距離和步距的雙因素方差分析結果顯示，初始成像距離對所提算法測距精度具有顯著影響。

后續工作可嘗試提高算法魯棒性，并根據果實目標區域占圖像面積的比值設計距離區間預判流程，結合變步距策略以提高作業效率。

[1] 李善軍，侯劍鋒，萬強，等. 牽引式山地果園運輸機驅動繩輪摩擦磨損[J]. 農業工程學報，2021，37(2)：71-78.

Li Shanjun, Hou Jianfeng, Wan Qiang, et al. Friction and wear behaviors of driving rope wheel system in the traction type mountain orchard transporter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(2): 71-78. (in Chinese with English abstract)

[2] 楊長輝，劉艷平，王毅，等. 自然環境下柑橘采摘機器人識別定位系統研究[J]. 農業機械學報，2019，50(12)：14-22，72.

Yang Changhui, Liu Yanping, Wang Yi, et al. Research and experiment on recognition and location system for citrus picking robot in natural environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(12): 14-22, 72. (in Chinese with English abstract)

[3] 趙德安，吳任迪，劉曉洋，等. 基于YOLO深度卷積神經網絡的復雜背景下機器人采摘蘋果定位[J]. 農業工程學報，2019，35(3)：164-173.

Zhao Dean, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network forpicking robot in complex background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 164-173. (in Chinese with English abstract)

[4] Jia W K, Zhang Y, Lian J, et al. Apple harvesting robot under information technology: A review[J/OL]. International Journal of Advanced Robotic Systems, 2020, 17(3), [2020-04-16], https://journals.sagepub.com/doi/full/10.1177/1729881420925310.

[5] 李濤，邱權，趙春江，等. 矮化密植果園多臂采摘機器人任務規劃[J]. 農業工程學報，2021，37(2)：1-10.

Li Tao, Qiu Quan, Zhao Chunjiang, et al. Task planning of multi-arm harvesting robots for high-density dwarf orchards[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(2): 1-10. (in Chinese with English abstract)

[6] Tang Y C, Chen M Y, Wang C L, et al. Recognition and localization methods for vision-based fruit picking robots: A review[J/OL]. Front Plant Science, 2020, 11, [2020-04-06], https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7250149/.

[7] 項榮，應義斌，蔣煥煜. 田間環境下果蔬采摘快速識別與定位方法研究進展[J]. 農業機械學報，2013，44(11)：208-223.

Xiang Rong, Ying Yibin, Jiang Huanyu. Development of real-time recognition and localization methods for fruits and vegetables in field[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(11): 208-223. (in Chinese with English abstract)

[8] 王亮. 基于深度相機的蘋果采摘機器人的目標檢測和路徑規劃算法研究[D]. 鎮江：江蘇大學，2019.

Wang Liang. Research on Algorithms for Target Recognition and Path Planning of Apple Picking Robot Based Deep Camera[D]. Zhenjiang: Jiangsu University, 2019. (in Chinese with English abstract)

[9] Hu X M, Ni B W, Chai J F. Research on the location of citrus picking point based on structured light camera[C]//2019 IEEE 4thInternational Conference on Image, Vision and Computing (ICIVC). Shanghai, IEEE, 2019.

[10] Almendral K, Babaran R, Carzon B, et al. Autonomous fruit harvester with machine vision[J]. Journal of Telecommunication, Electronic and Computer Engineering, 2018, 10(1/2/3/4/5/6): 79-86.

[11] 王糧局，張立博，段運紅，等. 基于視覺伺服的草莓采摘機器人果實定位方法[J]. 農業工程學報，2015，31(22)：25-31.

Wang Liangju, Zhang Libo, Duan Yunhong, et al. Fruit localization for strawberry harvesting robot based on visual servoing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(22): 25-31. (in Chinese with English abstract)

[12] 王玲，徐偉，杜開煒，等. 基于SR300深度相機的褐蘑菇原位測量技術[J]. 農業機械學報，2018，49(12)：13-19.

Wang Ling, Xu Wei, Du Kaiwei, et al. Portabella mushrooms measurement in situ based on SR300 depth camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(12): 13-19 (in Chinese with English abstract)

[13] Yang Q H, Chang C, Bao G J, et al. Recognition and localization system of the robot for harvesting Hangzhou White Chrysanthemums[J]. International Journal of Agricultural & Biological Engineering, 2018, 11(1): 88-95.

[14] Xiong J T, He Z L, Lin R, et al. Visual positioning technology of picking robots for dynamic litchi clusters with disturbance[J]. Computers and Electronics in Agriculture, 2018, 151: 226-237.

[15] 梁喜鳳，金超杞，倪梅娣，等. 番茄果實串采摘點位置信息獲取與試驗[J]. 農業工程學報，2018，34(16)：163-169.

Liang Xifeng, Jin Chaoqi, Ni Meidi, et al. Acquisition and experiment on location information of picking point of tomato fruit clusters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(16): 163-169. (in Chinese with English abstract)

[16] 陳燕，王佳盛，曾澤欽，等.大視場下荔枝采摘機器人的視覺預定位方法[J].農業工程學報，2019，35(23)：48-54.

Chen Yan, Wang Jiasheng, Zeng Zeqin, et al. Research on vision pre-positioning for litchi picking robot under large field of view[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 48-54. (in Chinese with English abstract)

[17] 程誠. 基于單目機器視覺的智能車局域定位技術研究與實現[D]. 重慶：重慶郵電大學，2019.

Cheng Cheng. Study of Location of Intelligent Vehicle Based on Monocular Machine Vision[D]. Chongqing: Chongqing University of Posts and Telecommunications, 2019. (in Chinese with English abstract)

[18] 魏明鑫，黃浩，胡永明，等. 基于深度學習的多旋翼無人機單目視覺目標定位追蹤方法[J]. 計算機測量與控制，2020，28(4)：156-160.

Wei Mingxin, Huang Hao, Hu Yongming, et al. Monocular vision target tracking method for multi-rotor unmanned aerial vehicle based on deep learning[J]. Computer Measurement & Control, 2020, 28(4): 156-160. (in Chinese with English abstract)

[19] Liu Z Y, Yu S Y, Zheng N N. A co-point mapping-based approach to drivable area detection for self-driving cars[J]. Engineering, 2018, 4(4): 109-133.

[20] Chaumette F, Hutchinson S. Visual servo control, Part I: Basic approaches[J]. IEEE Robotics and Automation Magazine, 2006, 13(4): 82-90.

[21] Fu L S, Tola E, Ahmad A, et al. A novel image processing algorithm to separate linearly clustered kiwifruits[J]. Biosystems Engineering, 2019, 183: 184-195.

[22] Majeed Y, Manoj K, Zhang Q. Estimating the trajectories of vine cordons in full foliage canopies for automated green shoot thinning in vineyards[J/OL]. Computers and Electronics in Agriculture, 2020, 176: ID 105671, [2020-07-26], https://www.sciencedirect.com/science/article/pii/S0168169920319049.

[23] Guo Q W, Chen Y Y, Tang Y, et al. Lychee fruit detection based on monocular machine vision in orchard environment[J/OL]. Sensors, 2019, 19(19), [2019-09-18], https://click.endnote.com/ viewer?doi= 10.3390/s19194091&route=6.

[24] 楊帆，李鵬飛，劉庚，等. 橘子采摘機器人目標識別定位方法與實驗研究[J]. 西安理工大學學報，2018，34(4)：460-467.

Yang Fan, Li Pengfei, Liu Geng, et al. A new identification and location method and experiment research on a kind of orange harvesting robots[J]. Journal of Xi’an University of Technology, 2018, 34(4): 460-467. (in Chinese with English abstract)

[25] NY/T1190-2006，中華人民共和國農業行業標準柑橘等級規格[S]. 2006.

Monocular distance measurement algorithm for pomelo fruit based on target pixels change

Liu Jie1,2,3, Zhou Dianzhuo1, Li Yan1, Li Dingke1, Li Yingqi1, Rubel Rana1

(1.,430070,; 2.,430070;3.,,430070)

Accurate identification of target depth is the critical premise for the manipulator of fruit and vegetable picking in intelligent agriculture. However, the general ranging of fruit has posed a great challenge on that the orchard in the mountain areas, due mainly to the light change, as well as the branch and leaf occlusion. In this study, a novel imaging algorithm was proposed to detect the monocular distance between the pomelo fruits and camera using target pixels change. The pomelo fruit off the tree in the orchard was chosen as the samples for data collection. Multiple regression was also established to verify the number change of pixels in the target areas and imaging distance. Furthermore, the pomelo fruit on the tree was involved to test the applicability in the samples. Additionally, a systematic investigation was made to explore the influences of initial imaging distance and step interval on prediction accuracy. The specific procedure was as follows. A single camera was utilized to capture the imaging data of the sample fruit side within the imaging distance ranging from 25 to 150 cm, where the common range of picking operation was set at the step interval of 2.5 cm. Therefore, there were 51 images side for each fruit for one group of data. 20 pomelo fruits with the representative shape and size were selected for the imaging data collection, including 14 off-tree and 6 on-tree. In the pomelo fruits off the tree, the surface was equally divided into four sides, where one group of data was acquired from each side. As such, a total of 56 data groups were collected from the samples of the tree. Subsequently, the 40 data groups were randomly selected to establish the multiple regressions between the imaging distance and the number of pixels change in the target area on the image, while the rest 16 data groups were used to optimize the algorithm. In the pomelos fruits on the tree, only the side towards the outside of the canopy was shot as one sample side, where 6 data groups were collected for testing. The numbers of pixels were then measured for the target areas in the image using Photoshop software. MATLAB 2018 platform was finally utilized to calculate the regression and curve fitting. The results showed that the error of predicted distance decreased gradually, as the camera approached the fruit target from 150 to 120 cm. In the fruit samples off the tree, the accuracy of distance prediction was at the medium level closer than 130 cm at the high level of about 120 cm. The relative ranging errors of 16 samples off-tree were less than 5% within the imaging distance of 120 cm, when 150 cm was as the initial distance, indicating that an excellent detection performance of imaging distance between the target and camera. In the fruit samples on the tree, the ranging accuracies were set as 125-137.5 cm and 25.0-125.0 cm for the medium and high levels, respectively. Correspondingly, the relative ranging errors of 6 samples on the tree were less than 5% within 125 cm imaging distance, fully meeting the accuracy requirements of target positioning for the picking manipulator. In addition, there was a significant effect of initial imaging distance on the measurement accuracy. Consequently, the measurement method of monocular distance can widely be expected to realize the rapid prediction of the distance between the fruit target and camera in the complex orchard environment, especially in the hilly mountain areas. Meanwhile, the finding can also provide a feasible scheme for the accurate recognition of fruit targets for picking manipulators in modern orchards.

algorithms; orchard; identification; monocular distance measurement; number of pixels; imaging distance; multiple regression

劉潔，周典卓，李燕，等. 基于目標像素變化的柚果單目測距算法[J]. 農業工程學報，2021，37(19)：183-191.doi：10.11975/j.issn.1002-6819.2021.19.021 http://www.tcsae.org

Liu Jie, Zhou Dianzhuo, Li Yan, et al. Monocular distance measurement algorithm for pomelo fruit based on target pixels change[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(19): 183-191. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.19.021 http://www.tcsae.org

2020-11-29

2021-08-26

國家重點研發計劃（2018YFD0701105-2）；中央高?；究蒲袠I務費專項基金資助（2662020GXPY011）

劉潔，博士，副教授，研究方向為生物信息智能檢測與控制技術。Email：liujie@mail.hzau.edu.cn

10.11975/j.issn.1002-6819.2021.19.021

S24

A

1002-6819(2021)-19-0183-09