基于輔助線的農機視覺導航路徑提取算法研究*

馮凱，王茂勵，何曉寧，王東偉，岳丹松，初香港

(1. 青島農業大學機電工程學院，山東青島，266000； 2. 曲阜師范大學網絡空間安全學院，山東曲阜，276800)

0 引言

基于機器視覺導航的農業機械裝備在生產作業中具有較強的靈活性和適應性，且視覺導航常與其他類型的導航方式進行組合來提高導航定位的精度和穩定性[1-3]，使其具有了廣泛的研究前景，已經成為智慧農業中的一項重要技術。農機具視覺導航的核心在于對圖像的處理，其中最為關鍵一步的則是對作業導航路徑的實時、準確地提取，其精度和準確性也常受圖像處理效果、檢測方法等多方面因素的影響。針對導航路徑提取問題的相關研究已經取得較多的研究成果。

目前，此類研究中，通常采用不同的圖像處理算法或與最小二乘法、Hough變換及其改進算法結合來進行導航路徑提取[4-7]。王毅等[8]提出了一種基于邊緣檢測的導航線提取方法，對處理后的圖像計算中點、斜率，進而計算出農業機器人的偏離角并實時調整以實現，試驗表明該算法處理速度較快且抑制了噪聲，但是中點的選取對精度影響較大。關卓懷等[9]針對目前算法在非綠色環境下的導航適應性差的問題，提出了一種基于暗原色原理的灰度化方法來分離農作物和土壤，采用基于垂直投影法的中心導航線提取算法提取土壤感興趣區域，再利用最小二乘擬合提取導航線。Bkp等[10]提出一種基于預測點Hough變換的擬合算法，用新灰度化因子進行圖像處理且利用回歸方程確定預測點，最后通過提出的算法對導航路徑進行擬合，試驗表明該文導航路徑擬合算法的平均誤差小，計算時間低。此類研究方法均能對導航線進行有效提取，在一定程度上提高了運算速度，保證了導航的精度和準確性，但是在大噪聲環境中的抗干擾能力較差，因此需要在此基礎上進行更深入的研究。

另外一種研究思路在于部分學者將智能優化算法及其他類算法應用到視覺導航研究中，以進一步提高算法的抗干擾能力和檢測精度[11-13]。較為典型的Qian等[14]提出了一種基于SUSAN(最小單值段同化核)角點和改進序列聚類算法的稻田除草機器人導航線檢測方法，提取角點為特征點并利用改進的順序聚類算法和霍夫變換對幼苗導航線進行提取，試驗結果表明該方法在復雜環境下具有良好的性能。李勇等[15]針對導航線檢測速度慢、抗干擾能力不足的問題，提出一種基于改進遺傳算法的導航線檢測方法，通過隨機選取頂邊像素坐標進行染色體編碼，將適應度最高的個體作為作物行直線編碼得到導航線。何潔等[16]針對農業機器人導航基準線提取方法時效性低及對光照變化敏感等問題，提出一種自然光照環境下基于人工蜂群算法的視覺導航路徑提取方法，通過灰度垂直投影獲取作物行區域并提取作物行特征點，將其作為人工蜂群算法目標函數，進而得到導航路徑。此類研究可以準確地對導航線進行提取，效果明顯較好，適應性強；但是通常需要考慮隨機性影響，且算法收斂速度、搜索能力等因素對導航線提取的影響較大，需要對算法進行改進，工作量較大。

其他方法的研究[17-18]中較典型的有趙博等[19]提出適用于壟溝作物的立體視覺導航線檢測方法，將圖像分為脊線和犁溝兩個區域，然后檢測每個區域的邊界點，采用線性回歸方法從檢測到的邊界點中提取一條引導線，并將該算法檢測到的導航線與人工標注引導線進行對比，在側向偏差和航向角上的誤差均較小。王新忠等[20]提出的基于深度學習果園道路導航線提取方法，采用YOLOV3卷積神經網絡提取果園道路圖像上的特征點，并通過最小二乘法擬合生成導航線，試驗結果表明該方法適應性強，誤差小。

綜上所述，針對導航路徑提取算法的研究均能達到預期效果，但是大部分只在特定場景下(農田、果園等)具有較強的適用性，在非綠色環境下(水泥路、土壤、林地)的導航提取算法應用受到限制，為了提高導航路徑提取的準確性以及在不同場景下的適用性，本文提出了一種基于輔助線的農機視覺導航路徑提取算法，以期能夠解決上述問題，為今后研究提供一種新思路。

1 農田圖像處理原理

1.1 均衡化處理

由于作業時間的不確定性，所獲取的圖像會因光照、震動等造成較大噪聲，因此需對待處理的農田圖像進行直方圖均衡化處理，以增強圖像的對比度，降低噪聲的影響。以采集的花生田地相關圖像為例，直方圖法均衡化處理的結果如圖1所示。其中，所采用的直方圖則是圖像中對應某個灰度級的像素的數量值[21]。

圖1(a)經過均衡化處理后為圖1(b)，整體畫面顏色的對比度加深，變得更為清晰；對應圖1(a)的直方圖(c)峰頂部分的對比度得到增強，而兩側峰谷部分的對比度降低了，最終得到一個較為平滑的分段直方圖，如圖1(d)所示。其灰度值也均勻分布在0～255之間，更加有利于后續處理。

(a) 原圖 (b) 均衡化

(c) 原圖直方圖 (d) 直方圖均衡化

1.2 灰度化處理

通過灰度化處理可降低處理復雜度，避免圖像失真，常用的圖像灰度化特征因子主要有ExR、ExG及ExG-ExR因子等[22-23]。假設農田圖像像素點的顏色為(R,G,B)，R、G、B分別表示其紅色分量、綠色分量和藍色分量，ExG因子為2G-R-B。本文對綠色作業環境下的圖像采用的灰度化公式是對ExG因子進行改進后得到；同時，在實際農業生產環境中，也存在一些非綠色環境的農業場景，因此也應該考慮算法對非綠色農田圖像的適用性，所以本文對綠色及非綠色農田作業環境下的圖像的灰度化處理分別為

E_green=1.8G-R-0.8B

E_nongreen=1.7G-R-0.3B

(1)

如圖2所示，圖2(a)和圖2(b)表示對圖1(b)圖像分別采用2G-R-B和1.8G-R-0.8B顏色模型灰度化后得到的圖像；圖2(c)和圖2(d)則表示為對應于圖2(a)和(b)的灰度直方圖。相對于圖2(c)而言，圖2(d) 的直方圖分布更加均勻，且縱坐標數值小，說明各個灰度值的像素在圖像中出現的次數或概率小，因此灰度層次相對比較明顯，使得地物之間的辨別更高，更易于進行圖像分割。

圖3所示為非綠色農田環境圖像灰度轉換結果，相對于圖3(c)而言，圖3(e)的直方圖中存在較明顯的波峰及波谷，更容易進行閾值分割。同時，明顯看出暗處的土壤部分可以與壟溝間進行明顯的區分。因此，本文方法能夠更好地滿足農機具視覺導航在不同場景環境的下適用性，且具有較高效的實時性、準確性。

(a) ExG灰度化

(b) 1.8G-R-B灰度化

（c）ExG灰度直方圖

（d）1.8G-R-0.8B灰度直方圖

(a) 原圖

(b) 均衡化

(c)ExG灰度直方圖

（d）1.7G-R-0.3B灰度直方圖

1.3 降噪及形態學處理

假設待處理農田圖像I(x,y)的像素大小為W×H，W表示寬度，H表示高度，二維中值濾波處理公式如式(2)所示。

g(x,y)=med{I(x-k,y-l),(k,l∈W)}

(2)

式中：g(x,y)——處理后的圖像；

(k,l)——輸入二維模板，尺寸設為9×9。

首先，對圖2(b)及圖3(e)圖像均進行9×9模板的中值濾波，然后再通過Otsu法對濾波后的不同圖像進行閾值分割處理，因篇幅原因具體原理不再贅述。

由于閾值分割后的圖像中存在顆粒狀噪聲、缺株或多株連結造成的噪聲等干擾，需要通過形態學方法對閾值分割后的圖像進行再次濾波。形態學處理具體操作過程如下。

1) 通過半徑為5 pixel的圓盤狀結構進行形態學開運算，用以消除細小毛刺，平滑較大物體邊界。

2) 再用5 pixel×10 pixel的線性結構對開運算后的圖像進行形態學閉運算處理，用以彌合狹窄的間斷，填充背景中小的孔洞，最后得到二值圖像IBW。最終的綜合處理結果如圖4和圖5所示。

(a) 濾波 (b) OTSU分割

(c) 開運算 (d) 先開后閉運算

上述中，圖4(a)、圖4(b)、圖4(c)和圖4(d)分別為針對綠色農田圖像進行的濾波、閾值分割、形態學開運算及先開后閉的運算處理；同理，圖5所示為非綠色農田圖像的處理結果。由此可知，經過濾波處理后消除了雜散噪聲點且能夠以較小程度地造成邊緣模糊，形態學處理后的圖像作物區間與土壤區間分明，細小毛刺消失，孔洞也被填充，為后續處理奠定了基礎。

(a) 濾波 (b) OTSU分割

(c) 開運算 (d) 先開后閉運算

2 路徑檢測與提取

在不同農業環境下進行視覺導航時，要提取土壤部分或者感興趣區域，則需將上述形態學處理得到的二值圖像，進行取反處理，即Gbw=～IBW，Gbw為取反后的圖像。此時，綠色農田圖像中作物行表現為黑色，壟間土壤區域為白色；非綠色農田左右兩邊為黑色，中間壟溝為白色，得到取反圖像后在此基礎上進行后續操作。

2.1 基于垂直投影法的輔助檢測方法

已知圖像像素為W×H，通過size( )函數獲取取反圖像寬度W、高度H的數值大小，如式(3)所示。

[W,H]=size(Gbw)

(3)

在上述基礎上采用垂直投影法求取農田二值圖像的投影曲線并計算出曲線中心位置，計算公式如式(4)所示。

(4)

式中：Gbw(i,j)——點(i,j)處的像素灰度值；

s(j)——第j列的灰度值之和；

s(i)——第i行的灰度值之和。

此時，將坐標O(0.5H, 1)作為中心導航定位點，并在此基礎上進行輔助線處理，得到輔助線的坐標(X,Y)，公式如式(5)所示。

(5)

(6)

利用垂直投影的相關原理，以圖像大小的方式按照式(5)選擇為綠色農田環境下的圖像自動添加輔助線；同理，按照式(6)選擇為非綠色農田環境下的圖像自動添加輔助線，輔助線添加后自動獲取像素水平輔助線及垂直輔助線交點的坐標并自動保存坐標記錄，以進行后續操作。如圖6所示，根據進行輔助線選取添加操作，可清楚標記出區域，提高算法整體的精確度。

(a) 綠色圖像取反 (b) 綠色圖像垂直投影 (c) 綠色圖像輔助處理

(d) 非綠色圖像取反 (e) 非綠色圖像垂直投影 (f) 非綠色圖像輔助處理

2.2 導航路徑提取

本研究在上述操作基礎上，根據輔助線提取感興趣區域，然后進行導航定位點的提取計算，最后基于最小二乘法擬合導航線得到最終的導航路徑。

1) 感興趣區域提取。當農機在作業時對當前前進的方向及位置已確定，則可利用輔助線對該前進區域白色像素進行篩選，從而確定感興趣區域，具體步驟如下。

Step1：確定農田圖像的作物行區域或待處理圖像左右兩部分黑色區域的上、下頂邊界部分，以此為感興趣區域的劃分依據。

Step2：將上述部分與輔助線的交點(共選擇4個點的信息)作為感興趣區域的起點、經過點及終點位置。

Step3：當終點與起點重合時，連成封閉區域(藍色梯形區域)后得到導航感興趣區域(Region of Interest，ROI)，其選擇順序為左上、左下、右下、右上、左上。

2) 導航點選擇及導航路徑提取。為了減少算法的工作量及算法的復雜性，提高準確度，本研究選擇三個坐標點作為導航定位點。具體實現步驟如下。

Step1：設已處理農田圖像的感興趣區域左上、左下、右下及右上角像素點分別為I1(x1,y1)、I2(x2,y2)、I3(x3,y3)和I4(x4,y4)，在上述ROI處理時自動將坐標進行保存。

Step2：分別取梯形ROI的上底線中點I1,4和梯形ROI下底線中點I2,3兩個像素位置點作為導航點，兩個點的像素坐標分別表示為

再加上導航定位校正點O(0.5H, 1)，共3個導航點。

Step3：在導航點確定后，考慮到導航實時性、有效性要求，采用最小二乘擬合的方法對導航點擬合，從而得到導航路徑，直線方程為f(x)=kx+b。

如圖7(c)、圖7(f)所示，能夠清楚地看出導航路徑的提取效果，說明算法達到了預期的效果，但是需要對算法的靈活性及普適性進一步的試驗，在下文中有詳細的分析。

圖7 導航路徑提取過程

Fig. 7 Navigation path extraction process

3 仿真試驗與分析

3.1 性能測試

為了驗證本文算法對不同場景環境的適用性、抗干擾性以及靈活性，分別選取了在室外、室內等不同場景環境的圖像，包括有綠色農作物的圖像、非綠色農田的圖像以及在干擾情況下的圖像等，采用Matlab2019(a)軟件對導航路徑提取效果進行分析對比，并采用歐式距離(Euclidean distance)作為路徑提取的精度評價因子，如式(7)所示，歐氏距離越大，結果越不相似，即提取的精度越高，所有試驗結果如圖8～圖10所示。

(7)

(a) 小麥 (b) 蕓豆 (c) 花生

(d) 水稻 (e) 玉米 (f) 胡蘿卜

圖8所示為不同場景環境下對部分綠色農田圖像導航路徑提取的結果，其中圖8(a)為小麥圖像，圖像分辨率為4 100×2 845；圖8(b)為蕓豆圖像，圖像分辨率為1 080×1 440；圖8(c)為花生圖像，圖像分辨率為695×531；圖8(d)為水稻圖像，圖像分辨率為354×431；圖8(e)為玉米圖像，圖像分辨率為659×849；圖8(f)為胡蘿卜圖像，圖像分辨率為1 080×1 440。圖9所示為不同環境下非綠色農田圖像導航路徑提取結果，其中，圖9(a)為壟地、圖9(b)為農田塊、圖9(c)為未耕農田；圖9(d)為荒地；圖9(a)～圖9(d)的像素分辨率均為4 224×5 632；圖9(e)為壟行，像素分辨率為640×707；圖9(f)為收獲后的麥田，像素分辨率為525×560。

(a) 壟地 (b) 農田塊 (c) 農田

(d) 荒地 (e) 壟行 (f) 麥田

圖8及圖9所示試驗結果對應的數據如表1所示(保留1位小數)，結合設置的對比試驗及相關數據可知，本文算法對不同場景環境下的農田圖像進行處理時，歐氏距離均比較大，說明了路徑提取在一定范圍內表現出了較高的精度，同時在不同環境下表現出了較強的可用性及靈活性。

同時，為了驗證本文算法在不同干擾條件的對導航路徑提取的適用能力及抗干擾性，在強光、陰影、夜晚及雜草的干擾情況下進行試驗，如圖10所示，像素分辨率均為4 224×5 632。干擾條件下的試驗驗證了在不同程度干擾下路徑提取的準確性和抗干擾能力，特別是對不同類型、不同環境的圖像都能較準確地提取出導航路徑，通過對比說明其具有廣泛的普適性和良好的抗干擾性。

表1 農田導航路徑提取數據Tab. 1 Farmland navigation path extraction data

(a) 強光 (b) 陰影

(c) 夜晚 (d) 雜草

3.2 效率及精度測試

為了驗證本文算法效率，對包括上述所有圖像在內的共35幅圖像，其中像素小于2 000×2 000的有15張，像素大于2 000×2 000有20張，使用本文算法和傳統Hough變換算法對不同分辨率的視覺導航圖像進行導航路徑提取，運行時間對比結果如表2所示。

由表2可知，本文算法在對分辨率大于2 000×2 000 的不同場景及環境下的圖像進行處理時平均損耗時間約為傳統Hough變換的1/5倍，縮短了79.6%，圖像處理的平均效率為Hough變換的7倍多，提升了86.4%；分辨率小于2 000×2 000的圖像平均損耗時間也小于傳統Hough變換，同時平均效率高于Hough變換，效率提升了50%，說明了本文算法的速度較快，滿足實時性的基本要求。

表2 導航路徑提取時間統計Tab. 2 Navigation path extraction time statistics

為了對所提方法的精確度進行評價，在將本文所提方法與Hough變換算法進行對比，對比結果如圖 11所示，紅色直線為本文算法導航路徑，藍色直線為Hough變換導航路徑。從對比試驗結果中可知，兩種方法均可以正確的提取農田圖像的導航線。其相應的數據結果統計如表3及表4所示。

(a) 本文算法 (b) Hough變換

(c) 對比

通過對表3數據分析可知，本文算法所得到的定位點像素坐標參數與Hough變換參數相差范圍在一定范圍內且變化相對較小，證明了本文算法的有效性，且能夠保證視覺導航時所要求的精度范圍。由表4可知，本文算法提取的路徑斜率為0.27，截距為132.2，Hough變換提取的路徑斜率為-59.06，截距為29 530.5，二者斜率差的絕對值為58.79，截距差為29 398.3，對比可知，本文算法所得到的斜率、截距與Hough變換算法相對比相差較大，結合圖11(c)對比結果可知本文方法路徑提取效果顯示其更加接近中心區域，準確性和魯棒性更好。同時，本算法的歐式距離為1 001.9，Hough變換的歐式距離為522.3，相差較大，說明了本文算法的二維信號(像素)相似程度低，不容易互相干擾，從而精度更高，即精度提高了47.9%。再由視覺感官結合實際需求可知，說明本文方法不僅能夠滿足視覺導航所需要的精度要求，而且具有更好的適用性。

表3 不同算法定位點坐標及參數Tab. 3 Location point coordinates and parameters of different algorithms

表4 不同算法直線參數對比Tab. 4 Comparison of straight-line parameters of different algorithms

4 結論

為了保證農機具視覺導航路徑提取的準確性，提高在綠色農田、非綠色農田等不同場景下的適用性和抗干擾能力，提出了一種基于輔助線的農機具視覺導航路徑提取算法。

1) 對圖像進行直方圖均衡化處理后，運用1.8G-R-0.8B顏色模型對綠色農田圖像灰度化處理(非綠色農田圖像使用1.7G-R-0.3B顏色模型)，得到目標與背景明顯區分的灰度圖像。本文所用的灰度化方法可較為準確地對不同場景環境的農田圖像的目標進行分離，表現出了對復雜環境較強的適應性和靈活性，為后續的相關處理提供了模板。

2) 采用OTSU法對農田圖像二值化處理，再進行先開后閉的形態學處理；最后根據圖像場景采用垂直投影法獲取輔助線標準點，從而進行相應的輔助處理，并結合改進的ROI方法提取感興趣區域，進而確定導航定位點，最終通過最小二乘法將定位點擬合得到導航路徑，減少了計算量同時也提高了處理效率。

3) 本研究在不同環境下進行的導航路徑擬合試驗均具取得了理想的效果，且運算復雜度低，抗干擾能力強，相對于Hough變換，效率提高50%～86.7%，精度提高了47.9%，說明了研究具有較強的普適性，為視覺導航路徑的提取提供了一種可行的研究思路；但是在對大量圖像進行批量處理時該算法具有一定的局限性，且在對比試驗中只與Hough變換進行了比較，缺少進一步的比對試驗，后續需繼續進行優化以提高該算法的魯棒性。