基于計算機視覺的小麥收獲邊緣導航線提取方法

姚杰 張春雨 彭勇 周爽

摘要：針對小麥收割邊緣受到麥茬、土壤、光照等環境因素影響導致的導航線提取精度低、運行速度慢等問題，為實現小麥精準化收獲作業而提出一種基于水平投影和梯度下降的小麥收獲邊緣導航線提取方法。首先通過LAB閾值分割、形態學濾波等進行圖像分割，然后進行水平投影以提取出小麥收獲邊緣偽特征點，將偽特征點進行最小二乘擬合從而獲得邊緣特征點所在的ROI區域，并對該區域進行Canny邊緣檢測來提取出邊緣特征點，最后利用梯度下降算法擬合出小麥收獲邊緣導航線，從而解決傳統算法中所遇到的導航線擬合精度低、擬合速度慢等問題。試驗結果表明：在小麥已收割和未收割區域對比度很低的情況下，處理一張分辨率為640像素×360像素的圖像平均耗時163 ms，生成的導航基準線成功率高達95%，為智能農業機械在麥田中的自主行走提供一種可靠的、實時的導航方法。

關鍵詞：農業機械；視覺；導航；水平投影；梯度下降

中圖分類號：S232： TP242

文獻標識碼：A

文章編號：20955553 （2024） 02021506

收稿日期：2023年2月23日 ?修回日期：2023年3月15日

基金項目：安徽高校協同創新項目（GXXT—2019—036）；安徽省重點研發項目（1604a0902134）

第一作者：姚杰，男，1999年生，安徽淮南人，碩士研究生；研究方向為智能農業裝備。Email： 596932942@qq.com

通訊作者：張春雨，男，1971年生，安徽阜陽人，教授，碩導；研究方向為智能農業裝備。Email： 382182415@qq.com

Extraction method of wheat harvesting edge navigation line based on computer vision

Yao Jie1， 2， Zhang Chunyu1， Peng Yong1， 2， Zhou Shuang2

（1. College of Mechanical Engineering， Anhui Polytechnic University， Wuhu， 241000， China；

2. School of Mechanical Engineering， Anhui Science and Technology University， Fengyang， 233100， China）

Abstract：

Aiming at the problems of low precision and slow speed of navigation line extraction caused by environmental factors such as stubble， soil and light on wheat harvest edge， a method of wheat harvesting edge navigation line extraction based on horizontal projection and gradient descent was proposed to realize precise wheat harvesting operations. Firstly， the image was segmented by LAB threshold segmentation and morphological filtering， then the horizontal projection was performed to extract the pseudofeature points of wheat harvesting edge， the pseudofeature points were least squares fitted to obtain the ROI region where the edge feature points were located， and the edge feature points were extracted by Canny edge detection of the region， and finally the wheat harvesting edge navigation line was fitted by the gradient descent algorithm， thus it solved the problems of low accuracy and slow fitting speed of the navigation line encountered in traditional algorithms. The experimental results showed that the average time required to process an image with a resolution of 640×360 pixels was 163 ms with a low contrast between harvested and unharvested areas of wheat， and the success rate of the generated navigation baseline was as high as 95%， which provided a reliable and realtime navigation method for autonomous walking of intelligent agricultural machinery in wheat fields.

Keywords：

agricultural machinery; machine vision; navigation; horizontal projection; gradient descent

0 引言

隨著我國現代智能農業機械的快速發展，農業機械自動導航技術成為了智慧農業和精準農業的關鍵技術之一，并已廣泛應用于農田耕作、施肥以及作物收割等農業生產活動中［12］。近年來學者們在農業自主導航方面的研究主要集中在棉花、玉米、水稻等圖像背景易于分割的作物上。如：楊洋等［3］提出了基于車輪正前方可行走動態感興趣區域（Region of Interest，ROI）的玉米行導航線實時提取算法；郭祥雨［4］提出一種適用于水稻授粉期作物行導航線快速提取的方法；Montalvo等［5］針對玉米地多雜草環境采用二次Otsu算法實現雜草和作物之間的分割并擬合出導航線。由于小麥邊緣受到麥茬、土壤、光照等環境因素影響，嚴重影響到了小麥導航線的提取精度以及提取速度，為此提出一種基于水平投影與梯度下降的小麥邊緣導航線提取新方法，實現小麥收割邊緣精準、快速提取。

1 邊緣預處理

1.1 圖像LAB閾值分割

學者們在對作物與背景顏色相差較大的RGB圖像，常采用RGB分量抑制方法將圖片進行灰度化處理（如超綠化法［68］），但是由于受到土壤、麥茬、枯草等因素的影響造成小麥作物已收獲區域與未收獲區域顏色相近，故RGB分量抑制法的分割效果并不理想（圖1（b））。從提取的RGB分量灰度直方圖（圖2（a））可知，對于小麥圖像的R、G、B三個分量均未出現明顯波谷，因此無法使用該方法來進行閾值分割。

（a） 原始圖像

（b） 二值圖像

（a） RGB灰度直方圖

（b） LAB灰度直方圖

基于上述問題，將RGB顏色空間轉化為LAB顏色空間，利用LAB顏色模型的亮度和色彩信息來對圖像進行灰度處理。由圖2（b）可知，小麥圖像在B分量上出現了明顯的波峰和波谷，故可通過最大熵法（Maximum Entropy Method，MEM）進行小麥植株與背景圖像的二值分割。最大熵法公式如式（1）所示。

H（t）=

－∑ti=0pi∑ti=0pilnpi∑ti=0pi－

∑L－1i=t+1pi∑L－1i=t+1pilnpi∑L－1i=t+1pi

（1）

式中：

H（t） ——背景區域熵與目標區域熵之和；

t——單顏色分量分割閾值；

L——圖像的灰度級數量；

∑ti=0pi——前景部分概率；

∑L-1i=t+1pi——背景部分概率。

當在B分量下圖像的熵H（t）達到最大時的灰度值即為最佳分割閾值t*，t*計算公式如式（2）所示。

t*=Argmax0

（2）

最后采用最大熵法分別求取出LAB圖像3個分量的最佳分割閾值為Lmin=0， Amin=255， Bmin=0； Lmax=255， Amax=0， Bmax=163，并對小麥圖像進行了二值分割，其結果如圖3（b）所示。

（a） LAB灰度處理圖像

（b） 二值圖像

1.2 圖像濾波

在圖像預處理的過程中，由于受到麥田中麥茬、土壤、光照等因素影響導致二值圖像出現孔洞和椒鹽等噪聲。目前使用較多的圖像降噪算法包括：均值濾波、形態學濾波以及中值濾波等方法［910］。根據試驗比較得出采用卷積核大小為5×5的中值濾波器相比其他濾波算法有著更顯著的降噪能力。即

F（x，y）=median{f（i，j）}

（i，j）∈Mask（5×5）

（3）

式中：

F（x， y） ——

濾波窗口濾波后的像素灰度值；

f（i， j） ——

濾波窗口濾波前的像素灰度值；

Mask（5×5）——

濾波窗口為5×5的像素集合。

從圖4中可以看出，中值濾波可以有效地去除二值圖像中的小面積噪聲并保持收獲邊緣的基本形狀特征不變。

2 邊緣檢測

圖像在分割過程中常產生大量噪聲點，為實現計算機區分出邊緣特征點和干擾點，根據小麥二值圖像的特性提出了一種采用水平投影變換和Canny檢測來提取小麥收獲邊緣特征點的新方法。其原理是通過水平投影和最小二乘法提取出邊緣特征點所在的ROI區域，并用Canny算子對該ROI區域進行邊緣特征點檢測。

2.1 邊緣偽特征點提取

通過采用水平投影算法將二值圖像（圖4）的行像素值進行累加從而獲得邊緣偽特征點S，如圖5（a）所示。偽特征點提取公式如式（4）所示。

S（row）=∑wcol=0I（row，col） row∈（0，h）

（4）

式中：

h、w——圖像的高度、寬度像素尺寸；

row、col——

圖像像素的行序號和列序號；

I——

圖像第row行第col列像素值。

點（row，col）處的水平像素值累加結果如圖5（b）所示，圖中白色區域（即已收獲區域）與黑色區域（即未收獲區域）的交界線可近似視為小麥收獲邊緣輪廓線。

（a） 小麥收獲邊緣偽特征點

（b） 小麥收獲邊緣偽輪廓

2.2 邊緣特征區域提取

小麥收獲邊緣特征點存在于偽特征點S附近，對提取出的邊緣偽特征點進行最小二乘法擬合即可計算出邊緣特征點所在的ROI區域，如圖6所示。最小二乘法損失函數如式（5）所示。

δ=∑ni=1（yi－y^i）2

（5）

式中：

δ——殘差平方和；

yi——擬合點的縱坐標；

y^i——擬合直線上點的縱坐標；

n——擬合點數量。

進而求得擬合直線的斜率k以及截距b

k=n∑ni=1xiyi－∑ni=1xi∑ni=1yi

n∑ni=1xi2－∑ni=1xi2

b=∑ni=1x2i∑ni=1yi－∑ni=1xi∑ni=1xiyi

n∑ni=1xi2－∑ni=1xi2

（6）

式中：

xi——擬合點的橫坐標。

2.3 邊緣特征點提取

傳統Canny檢測算子是對圖像中的所有區域進行邊緣檢測，故導致計算機在對圖像邊緣檢測后的結果中常伴隨大量的干擾點。這將增加邊緣導航線提取精度和時間［1113］，如圖7（a）所示，其中干擾點數為663，占總待擬合點數的62%。Canny算法是利用Sobel水平和垂直算子與輸入圖像卷積計算來獲得幅值G和角度θ，并根據角度對幅值進行非極大值抑制來計算出邊界，即

Gx=

121

000

－1－2－1

×A

Gy=

－101

－202

－101

×A

（7）

式中：

Gx、Gy——水平、垂直方向的幅值；

A——輸入圖像。

通過式（7）可以求得

G=Gx2+Gy2

θ=arctanGyGx

（8）

對前文所提取的邊緣特征點ROI區域（圖6）進行Canny算子邊緣檢測，程序計算結果如圖7（b）所示，計算機利用本文的算法已經將大量的干擾點與邊緣特征點區分開來，證明了本文算法的可行性。

（a） 傳統Canny算子

（b） 本文邊緣檢測算法

3 邊緣擬合

由圖8可知，感知損失函數對噪聲點不敏感，但是該函數對判定邊界附近點的懲罰力度很低，且在原點處不可導，故計算難度大；最小二乘損失函數對離群點、噪聲非常敏感；Hough變換檢測出來的都是一些離散的線段，由于每一條線段都有它的直線特征，所以導致目標不明確［1415］。

基于上述邊緣點擬合算法所存在的擬合速度慢、擬合精度低以及抗干擾能力弱等問題，提出了一種基于梯度下降算法的邊緣特征點擬合方法。在損失函數上選定起點位置并將該點負梯度方向作為搜索方向，此時該方向為當前位置的最快下降方向，以本文損失函數梯度作為下降步長進行迭代，可以最快尋找到極小值位置。由于損失函數值σ越小則邊緣點的擬合效果越好［1619］，故可利用梯度下降算法計算出使得損失函數值最小時所對應的擬合直線斜率k以及截距b。即

σ=∑ni=12×1+12（yi－y^i）2i－2

（9）

ki=ki－1－ασki－1

bi=bi－1－ασbi－1

（10）

式中：

σ——損失函數值；

α——機器學習率。

從圖9可以看出，本文邊緣擬合方法平均擬合優度R2為0.98，相比最小二乘法擬合優度更好；相比感知損失函數擬合結果相近，但是本文方法耗時更短；相比Hough變換目標更加明確，不會生成多目標直線，對干擾點不敏感，為精準、快速的提取邊緣導航線提供重要保障。

（a） 最小二乘法

（b） 感知損失函數

（c） Hough變換

（d） 本文邊緣擬合

4 試驗結果及分析

本文算法在處理器為Intel （R） Core （TM） i5－9400F CPU@ 2.9 GHz、內存8 GB、顯卡GTX1660系列、操作系統為Windows 10 64位的電腦上使用Python語言在PyCharm仿真環境下實現。由于在不同收獲時期小麥的生長特征存在著一定差異，為了驗證本文算法的有效性和優越性，本文分別對邊緣殘缺、邊緣濃密以及邊緣稀疏三種不同生長狀況的100張640像素×360像素的小麥圖像進行了試驗驗證，試驗結果如圖10所示。

從圖10分析可知，本文算法能夠在不同場景下成功提取出小麥收獲邊緣導航線，且該方法不易受到干擾點的影響，算法穩定性強，能夠準確地計算出小麥的邊緣特征點并進行精確擬合。

最后，本文將小麥收獲邊緣導航線提取精度以及提取時間來作為算法性能的評價指標分別對不同算法進行比較。如表1所示，試驗結果表明：本文導航線提取算法相比LAB+Canny+最小二乘算法的平均提取精度提高了17%；相比LAB+Canny+感知損失函數擬合算法的平均提取速度快了39 ms，而平均提取精度提高了10%；相比LAB+Canny+霍夫變換算法的平均提取速度快了20 ms，而平均提取精度提高了6%。本文方法有效地解決了傳統算法處理過程中所遇到的耗時長、抗干擾能力差等問題，可為智能農業機械自動導航作業提供理論參考。

（a） 小麥邊緣殘缺

（b） 小麥邊緣濃密

（c） 小麥邊緣稀疏

5 結論

1） ?本文通過LAB灰度處理結合最大熵法在小麥已收獲和未收獲區域對比度很低的情況下仍可有效地將小麥植株與背景圖像進行二值分割。

2） ?本文通過水平投影與最小二乘法相結合的方法來為Canny算子提供最優的ROI邊緣檢測區域，這使得干擾點的占比由從前約62%降低到5%以下，從而解決了在小麥已收獲和未收獲區域對比度很低的情況下小麥收獲邊緣特征點難以提取的問題。

3） ?本文通過梯度下降方法來最快尋找到損失函數極小值位置，試驗數據表明采用梯度下降方法的擬合優度約為0.98，而采用最小二乘法等其它擬合方法的擬合優度約為0.83，從而解決了傳統算法中存在的導航線擬合精度低、抗干擾能力低等問題。

4） ?通過試驗驗證表明：本文算法處理一張640像素×360像素的圖像平均耗時僅為163 ms，準確率為95%，在受麥茬干擾、不同生長密度等情況下仍具有較強的魯棒性，為智能化農業機械在麥田中的自主行走提供了一種可靠的、實時的導航方法。

參 考 文 獻

［1］張漫， 季宇寒， 李世超， 等. 農業機械導航技術研究進展［J］. 農業機械學報， 2020， 51（4）： 1-18.

Zhang Man， Ji Yuhan， Li Shichao， et al. Research progress of agricultural machinery navigation technology ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（4）： 1-18.

［2］姬長英， 周俊. 農業機械導航技術發展分析［J］. 農業機械學報， 2014， 45（9）： 44-54.

Ji Changying， Zhou Jun. Current situation of navigation technologies for agricultural machinery ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2014， 45（9）： 44-45.

［3］楊洋， 張博立， 查家翼， 等. 玉米行間導航線實時提?。跩］. 農業工程學報， 2020， 36（12）： 162-171.

Yang Yang， Zhang Boli， Zha Jiayi， et al. Realtime extraction of navigation line between corn rows ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（12）： 162-171.

［4］郭祥雨. 無人飛機水稻和油菜制種田作業視覺輔助導航方法研究［D］. 北京： 中國農業科學院， 2021.

Guo Xiangyu. Research on visual aidnavigation method for UAV rice and rape seed farming operations ［D］. Beijing： Chinese Academy of Agricultural Sciences， 2021.

［5］Montalvo M， Pajares G， Guerrero J M， et al. Automatic detection of crop rows in maize fields with high weeds pressure ［J］. Expert Systems with Applications， 2012， 39（15）： 11889-11897.

［6］李霞， 蘇筠皓， 岳振超， 等. 基于中值點Hough變換玉米行檢測的導航線提取方法［J］. 農業工程學報， 2022， 38（5）： 167-174.

Li Xia， Su Junhao， Yue Zhenchao， et al. Extracting navigation line to detect the maize seedling line using medianpoint Hough transform ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（5）： 167-174.

［7］梁習卉子， 陳兵旗， 姜秋慧， 等. 基于圖像處理的玉米收割機導航路線檢測方法［J］. 農業工程學報， 2016， 32（22）： 43-49.

Liang Xihuizi， Chen Bingqi， Jiang Qiuhui， et al. Detection method of navigation route of corn harvester based on image processing ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2016， 32（22）： 43-49.

［8］宮金良， 王祥祥， 張彥斐， 等. 基于邊緣檢測和區域定位的玉米根莖導航線提取方法［J］. 農業機械學報， 2020， 51（10）： 26-33.

Gong Jinliang， Wang Xiangxiang， Zhang Yanfei， et al. Extraction method of corn rhizome navigation lines based on edge detection and area localization ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（10）： 26-33.

［9］焦崇珊， 宋懷波. 基于超像素分割算法的大田小麥導航路徑獲?。跩］. 江蘇農業科學， 2020， 48（14）： 255-260.

Jiao Chongshan， Song Huaibo. Detection of field wheat navigation path using superpixel segmentation algorithm ［J］.Jiangsu Agricultural Sciences， 2020， 48（14）： 255-260.

［10］王愛臣， 張敏， 劉青山， 等. 基于區域生長和均值漂移聚類的苗期作物行提取方法［J］. 農業工程學報， 2021， 37（19）： 202-210.

Wang Aichen， Zhang Min， Liu Qingshan， et al. Seedling crop row extraction method based on regional growth and mean shift clustering ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（19）： 202-210.

［11］馬馳. 獼猴桃樹干智能檢測與行間導航線生成方法研究［D］. 楊凌： 西北農林科技大學， 2021.

Ma Chi. Research on intelligent detection of kiwi trunk and generation of navigation line between rows ［D］. Yangling： Northwest A & F University， 2021.

［12］李云伍， 徐俊杰， 王銘楓， 等. 丘陵山區田間道路自主行駛轉運車及其視覺導航系統研制［J］. 農業工程學報， 2019， 35（1）： 52-61.

Li Yunwu， Xu Junjie， Wang Mingfeng， et al. Development of autonomous driving transfer trolley on field roads and its visual navigation system for hilly areas ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（1）： 52-61.

［13］Lu W， Zeng M， Wang L， et al. Navigation algorithm based on the boundary line of tillage soil combined with guided filtering and improved antinoise morphology ［J］. Sensors， 2019， 19（18）： 3918.

［14］陳子文， 李偉， 張文強， 等. 基于自動Hough變換累加閾值的蔬菜作物行提取方法研究［J］. 農業工程學報， 2019， 35（22）： 314-322.

Chen Ziwen， Li Wei， Zhang Wenqiang， et al. Vegetable crop row extraction method based on accumulation threshold of Hough transformation ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（22）： 314-322.

［15］王姍姍， 余山山， 張文毅， 等. 基于特征點鄰域Hough變換的水稻秧苗行檢測［J］. 農業機械學報， 2020， 51（10）： 18-25.

Wang Shanshan， Yu Shanshan， Zhang Wenyi， et al. Detection of rice seedling rows based on Hough transform of feature point neighborhood ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（10）： 18-25.

［16］宋宇， 劉永博， 劉路， 等. 基于機器視覺的玉米根莖導航基準線提取方法［J］. 農業機械學報， 2017， 48（2）： 38-44.

Song Yu， Liu Yongbo， Liu Lu， et al. Extraction method of navigation baseline of corn roots based on machine vision ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2017， 48（2）： 38-44.

［17］譚任虎， 胡小平， 彭向前， 等. 一種基于輪廓邊緣的直線擬合算法［J］. 傳感技術學報， 2022， 35（3）： 376-382.

Tan Renhu， Hu Xiaoping， Peng Xiangqian， et al. A line fitting algorithm based on contour edge ［J］. Chinese Journal of Sensors and Actuators， 2022， 35（3）： 376-382.

［18］Diwakar M， Kumar M. CT image denoising using NLM and correlationbased wavelet packet thresholding ［J］. IET Image Processing， 2018， 12（5）： 708-715.

［19］宮金良， 孫科， 張彥斐， 等. 基于梯度下降和角點檢測的玉米根莖定位導航線提取方法［J］. 農業工程學報， 2022， 38（13）： 177-183.

Gong Jinliang， Sun Ke， Zhang Yanfei， et al. Extracting navigation line for rhizome location using gradient descent and corner detection ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（13）： 177-183.