基于多目視覺(jué)的田間導(dǎo)航線提取方法*

馬秋宇，黃良永

（廣西科技師范學(xué)院職業(yè)技術(shù)教育學(xué)院，廣西 來(lái)賓 545004）

0 引言

農(nóng)機(jī)設(shè)備自主導(dǎo)航技術(shù)是實(shí)施精準(zhǔn)農(nóng)業(yè)的基礎(chǔ)，可以降低勞動(dòng)強(qiáng)度，提高作業(yè)效率[1-2]。自主導(dǎo)航技術(shù)已廣泛應(yīng)用在農(nóng)田耕種、除草、施肥、噴藥、收割等方面[3-4]。農(nóng)機(jī)設(shè)備自主導(dǎo)航的關(guān)鍵是田間導(dǎo)航線的提取，近年來(lái)眾多學(xué)者針對(duì)田間導(dǎo)航線的提取算法進(jìn)行了深入的研究。如利用人工蜂群算法將獲得的導(dǎo)航特征點(diǎn)擬合導(dǎo)航路徑[5]；通過(guò)K-means（K 均值聚類(lèi)）估算提取作物行中心線[6]；基于分區(qū)域特征點(diǎn)聚類(lèi)的秧苗行中心線提取方法[7]；利用區(qū)域生長(zhǎng)算法擬合導(dǎo)航線[8]；使用改進(jìn)的輕量化Deeplab-MV3（深度學(xué)習(xí)）模型識(shí)別壟徑區(qū)域，獲取導(dǎo)航中線[9]；利用改進(jìn)YOLOv7（深度神經(jīng)網(wǎng)絡(luò)）模型得到兩側(cè)果樹(shù)行線的定位參照點(diǎn)，然后擬合導(dǎo)航線[10]；利用HSV 顏色空間，選用H 分量二值分割，對(duì)分割圖像進(jìn)行填充處理，根據(jù)特征曲線擬合導(dǎo)航線[11]。

綜上所述，目前對(duì)導(dǎo)航線的提取，多數(shù)處于圖像坐標(biāo)下，僅對(duì)獲取的單幅圖像提取導(dǎo)航線，且圖像獲取范圍沒(méi)有統(tǒng)一標(biāo)準(zhǔn)，提出的算法適用范圍窄，直接應(yīng)用到導(dǎo)航設(shè)備上會(huì)產(chǎn)生較大誤差。在圖像采集過(guò)程中，一般情況下視覺(jué)范圍近的圖像可為導(dǎo)航線提供準(zhǔn)確定位，視覺(jué)范圍遠(yuǎn)的圖像可為導(dǎo)航線提供方向。本研究通過(guò)圖像采集設(shè)備獲取不同視覺(jué)范圍下的近景圖像和遠(yuǎn)景圖像，利用圖像處理算法和形態(tài)學(xué)操作獲取二值圖，將背景像素中點(diǎn)作為導(dǎo)航特征點(diǎn)，通過(guò)坐標(biāo)系轉(zhuǎn)換，將圖像坐標(biāo)系下導(dǎo)航特征點(diǎn)映射到同一地面坐標(biāo)系，繼而對(duì)多幅圖像映射后的導(dǎo)航特征點(diǎn)進(jìn)行融合；最后由最小二乘法進(jìn)行直線擬合。該算法將導(dǎo)航線的提取從圖像坐標(biāo)系轉(zhuǎn)換到了地面實(shí)際坐標(biāo)系下，對(duì)農(nóng)機(jī)設(shè)備的自主導(dǎo)航具有重要意義。

1 研究方法

通過(guò)圖像采集設(shè)備獲取田間圖像，采用歸一化超綠特征（2G-R-B）獲取灰度圖，再用Otsu 算法和形態(tài)學(xué)填充操作對(duì)圖像進(jìn)行分割，獲取二值圖，提取背景像素中點(diǎn)作為導(dǎo)航特征點(diǎn)；然后通過(guò)坐標(biāo)系轉(zhuǎn)換，將四幅圖像的導(dǎo)航特征點(diǎn)映射到同一地面坐標(biāo)系，通過(guò)加權(quán)平均獲取最終導(dǎo)航特征點(diǎn)；最后通過(guò)最小二乘法擬合導(dǎo)航線，總體研究流程如圖1所示。

圖1 總體研究流程

2 圖像預(yù)處理

2.1 圖像采集

本研究自制圖像采集設(shè)備如圖2 所示，其利用四個(gè)與地面具有不同高度差的攝像頭依次獲取田間不同視覺(jué)范圍下的近景圖像和遠(yuǎn)景圖像。

圖2 圖像采集設(shè)備

2.2 圖像分割

由于獲取的田間圖像為彩色圖像，為使農(nóng)作物部分更明顯突出，使農(nóng)作物和土壤明顯區(qū)分開(kāi)，需對(duì)獲取的田間圖像進(jìn)行預(yù)處理。由于農(nóng)作物的RGB 圖像中，G 顏色分量占比最高，可以通過(guò)提高G 分量最大限度分離作物和背景，即超綠特征（2G-R-B）灰度化方法，G、R、B 為綠、紅、藍(lán)顏色分量像素值。為增加農(nóng)作物和背景土壤的對(duì)比度，還需對(duì)灰度圖進(jìn)行歸一化處理。因此，對(duì)圖3（a）采用歸一化2G-R-B 超綠特征獲取圖像灰度圖，如圖3（b）所示；灰度圖可以有效區(qū)分農(nóng)作物和土壤背景，然后采用Otsu 閾值分割自適應(yīng)生成閾值獲取二值圖，閾值分割可以將整個(gè)圖像分成兩個(gè)區(qū)域，白色表示農(nóng)作物，黑色表示土壤背景，如圖3（c）所示；最后采用形態(tài)學(xué)填充操作對(duì)分割圖像進(jìn)行進(jìn)一步降噪處理，形態(tài)學(xué)運(yùn)算可有效增強(qiáng)區(qū)域的連通性，消除噪聲對(duì)壟行檢測(cè)的影響，如圖3（d）所示，大部分噪聲被濾除。

圖3 圖像預(yù)處理

2.3 特征點(diǎn)提取

特征點(diǎn)的提取是導(dǎo)航線擬合的前提，圖像預(yù)處理中已經(jīng)將農(nóng)作物和土壤背景分離。特征點(diǎn)提取方法有很多，根據(jù)圖像處理情況，采用背景像素中點(diǎn)作為導(dǎo)航特征點(diǎn)，通過(guò)擬合導(dǎo)航特征點(diǎn)獲取導(dǎo)航線。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 坐標(biāo)系轉(zhuǎn)換

由于每幅圖像的坐標(biāo)系不同，多幅圖像無(wú)法融合，因此要把多幅圖像的導(dǎo)航特征點(diǎn)放到同一坐標(biāo)下，需要進(jìn)行坐標(biāo)系的轉(zhuǎn)換。

BP 神經(jīng)網(wǎng)絡(luò)算法屬于非線性分類(lèi)器，可以實(shí)現(xiàn)從輸入到輸出的任意非線性映射，由于田間環(huán)境屬于復(fù)雜的非線性環(huán)境，因此利用BP 神經(jīng)網(wǎng)絡(luò)算法建立圖像坐標(biāo)系到地面實(shí)際坐標(biāo)系的坐標(biāo)系轉(zhuǎn)換模型，圖像坐標(biāo)系的像素坐標(biāo)作為輸入，將對(duì)應(yīng)的實(shí)際坐標(biāo)作為輸出建立神經(jīng)網(wǎng)絡(luò)。建立圖像坐標(biāo)系到地面實(shí)際坐標(biāo)系轉(zhuǎn)換模型的步驟如下：

1）確定地面實(shí)際坐標(biāo)系與圖像坐標(biāo)系的原點(diǎn)。地面實(shí)際坐標(biāo)系（OXY）的原點(diǎn)根據(jù)實(shí)際場(chǎng)景設(shè)置，圖像坐標(biāo)系（OUV）的原點(diǎn)一般為采集圖像的左上角。

2）選取BP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本。采用大小相等、黑白相間的正方形格子作為標(biāo)定紙，在地面均勻分布。地面實(shí)際坐標(biāo)系下的每一個(gè)實(shí)際坐標(biāo)位置在圖像坐標(biāo)系下都有一個(gè)與之對(duì)應(yīng)的像素坐標(biāo)，如圖4 所示。其中，圖像坐標(biāo)系下坐標(biāo)的單位為像素，地面實(shí)際坐標(biāo)系下坐標(biāo)的單位為厘米。選取一定數(shù)量的樣本值對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，樣本值的選取按照平均主義原則，以圖像坐標(biāo)的中點(diǎn)為中心，四個(gè)象限平均取值。

圖4 坐標(biāo)對(duì)應(yīng)示意圖

3）構(gòu)建網(wǎng)絡(luò)模型。以圖像坐標(biāo)（u，v）為輸入，以對(duì)應(yīng)的地面實(shí)際坐標(biāo)（x，y）為輸出建立神經(jīng)網(wǎng)絡(luò)模型。

4）對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試。利用訓(xùn)練樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后利用測(cè)試樣本檢測(cè)網(wǎng)絡(luò)的泛化能力。

通過(guò)以上四步即可實(shí)現(xiàn)圖像坐標(biāo)系到地面坐標(biāo)系的轉(zhuǎn)換，將每一幅圖像的導(dǎo)航特征點(diǎn)映射到同一地面坐標(biāo)系，在同一地面坐標(biāo)系下，將導(dǎo)航特征點(diǎn)進(jìn)行融合，融合方法是將特征點(diǎn)加權(quán)平均，獲取最終導(dǎo)航特征點(diǎn)，導(dǎo)航線提取過(guò)程如圖5 所示。由于導(dǎo)航線大多近似直線，因此采用最小二乘法進(jìn)行導(dǎo)航線擬合。

圖5 導(dǎo)航線提取過(guò)程示意圖

3.2 實(shí)驗(yàn)結(jié)果

利用該方法進(jìn)行了5 組田間實(shí)驗(yàn)，并對(duì)比了實(shí)驗(yàn)結(jié)果，對(duì)比結(jié)果如表1 所示。在同一地面坐標(biāo)系下，擬合后導(dǎo)航線系數(shù)a的絕對(duì)值普遍高于單條導(dǎo)航線的值。其中，a表示導(dǎo)航線斜率，斜率的絕對(duì)值越大，表明直線越接近y軸，即直線傾斜角度越小，導(dǎo)航線擬合精度越高。

表1 導(dǎo)航線擬合系數(shù)對(duì)比結(jié)果

4 結(jié)論

目前田間導(dǎo)航線的提取主要是在圖像坐標(biāo)系下，主要涉及三個(gè)步驟：圖像預(yù)處理、特征點(diǎn)提取、導(dǎo)航線擬合。圖像預(yù)處理階段是目前的研究熱點(diǎn)，主要是為了有效區(qū)分作物和土壤背景，田間圖像的獲取容易受環(huán)境因素的影響，例如光照強(qiáng)弱、土壤干濕、有無(wú)遮擋等因素。因此，很多學(xué)者通過(guò)改變顏色空間模型降低環(huán)境對(duì)圖像處理的影響，主要的顏色空間模型包括RGB、HIS、HSV、YUV等。雖然通過(guò)顏色空間模型的改變，圖像處理效果有所提高，但是每一種顏色空間模型都有其局限性，并不能適應(yīng)所有的田間環(huán)境。本研究主要是將圖像坐標(biāo)系轉(zhuǎn)換到了地面實(shí)際坐標(biāo)系，將不同范圍內(nèi)的導(dǎo)航特征點(diǎn)映射到同一地面坐標(biāo)系，再將導(dǎo)航特征點(diǎn)進(jìn)行融合，最后通過(guò)最小二乘法擬合融合導(dǎo)航線。該方法為真實(shí)環(huán)境下降低山區(qū)農(nóng)業(yè)機(jī)器人自主導(dǎo)航誤差提供了思路。