蘋果園區作業機器人障礙物識別研究

楊 茜，竇 輝，張建鋒

(西北農林科技大學 信息工程學院，陜西 楊凌 712100)

0 引言

在我國，蘋果產量最大，是最受消費者喜愛的水果， 2017年的產量占世界總產量的65%，且品質高于其它國家[1]。蘋果對生態環境的適應力強，生長周期短，耐于儲藏，除直接食用外，還可用于深加工果汁飲品，在我國的農業生產中占有重要地位；但是，蘋果采摘的季節性強，工作量大，在我國大規模種植蘋果的背景下，如何能提高采摘效率和減少人工的使用具有深刻的意義。

隨著社會的進步和農業生產的現代化趨勢，各種機器人開始替代人類從事繁重的農業生產工作，我國農業耕作面積大，對機器人有很大的需求量。但是，機器人由于成本高，對復雜條件的作業環境適應性差，還無法被大規模替代人力[2]。

機器人作業時對障礙物的識別能力是其對環境適應能力的重要表現，科研工作者對此進行了廣泛研究。機器人在作業時自身的移動和障礙物的運動會產生疊加效應，周俊等使用雙線性模型模式匹配后的特征點與圖像之間的運動特性，通過最小二乘法的最優估計得到圖像之間的變換矩陣，再利用此矩陣識別出障礙物目標[3]。劉靈敏等人設計了一種基于計算機視覺技術的采摘機器人避障系統，將嵌入式智能控制技術和計算機視覺技術相結合，使用3D立體坐標對作業環境中的障礙物進行精準識別[4]。解決農業機器人障礙物識別主要采用基于機器視覺的圖像處理方法[5]。機器視覺技術根據工作時攝像頭的個數可以分為單目視覺和立體視覺。單目視覺算法易于實現，各個模塊之間易于配合，匹配效果好，在實際生產中應用廣泛。

本文采用單目視覺方法，將L*a*b*顏色空間模型與改進后的SURF算法相結合，對蘋果園區內的障礙物進行識別。

1 圖像預處理

圖像采集于陜西省武功縣代家南留蘋果基地，通過攝像頭獲得。機器人在蘋果園區壟行間作業時，主要的障礙物有園藝工作者、園區工作的機器和園藝工具等。采集到的障礙物圖像由于圖像背景復雜，需要進行預處理，預處理是后期進行障礙物識別的基礎。

1.1 灰度變換

采集到的圖像中，壟行內的裸露地面呈現為黃色，部分區域的雜草呈現為綠色，障礙物的顏色包括了所有類別的顏色。在進行障礙物的識別過程中，必須把壟行內可行走區域的黃色部分濾除掉，并把壟行內的障礙物保留下來。采集到的障礙物圖像，如圖1所示。

在L*a*b*空間中，0～+127b表示黃色，-128～0b表示藍色。采用 L*a*b*顏色空間中的b*分量進行灰度化處理，可以將大部分的黃色區域都視為背景區域。因此，本文先將采集到的RGB顏色空間圖像轉換為L*a*b*顏色空間圖像，再采用b*分量進行灰度化處理[6]?；叶然幚硇Ч鐖D2所示。

圖1 壟行內障礙物圖像Fig.1 Ridge line obstacle image

圖2 b*灰度化效果Fig.2 b*gray effect

首先，將RGB圖像轉換到XYZ絕對色彩空間中，則有

再將XYZ轉換CIEL*a*b*(CIELAB)，則有

式中Xn、Yn和Zn—參照白點的CIEXYZ三色刺激值。

對比圖1和圖2可知：采用b*灰度化可以有效濾除行內地面背景，保留行內障礙物及果樹部分。

1.2 圖像分割

對b*灰度化后的效果圖進行閾值分割后，再進行圖像的二值化處理。閾值T設為164，處理后的結果如圖3所示。

圖3 打藥箱閾值分割效果圖Fig.3 Medicine box threshold segmentation effect chart

2 蘋果壟行的障礙物識別

障礙物平移、旋轉等相對位置的改變會使得其識別精度降低，通過對比SURF算法和改進后的SURF算法的匹配準確率和匹配時間，最終采用改進的SURF算法進行障礙物的識別。

2.1 基于SURF算法的障礙物特征提取

Speeded Up Robust Features(SURF，加速穩健特征)，是一種穩健的局部特征點檢測和描述算法,基于Haar特征和積分圖像的概念，利用Hessian矩陣構建尺度空間。該算法是SIFT算法的改進版，不僅保留了SIFT算法的優點，還解決了SIFT算法處理效率低的弊端，并對特征點的提取等方面步驟進行了改進，提高了計算的速度。

1)構建Hessian矩陣的目的是為了生成相關興趣點，這些興趣點可以用于特征的提取。Hessian矩陣能夠描述函數的局部曲率，Hessian矩陣H是多元函數和它的偏導數結合在一起所構成的矩陣，其公式為

式中f(x,y)—圖像像素I(x,y)。

由上式可知，每一個像素點都可以得出一個相應的Hessian矩陣判別式，即

由判別式可以得到矩陣的特征值，通過判斷像素點取值的正負情況來確定該點是否為極值點。在利用標準的二階高斯函數作為濾波器及特定核之間的卷積計算二階偏導數之前需要對圖像進行高斯濾波操作，此時Hessian可表示為

Lxy(x,σ)、Lyy(x,σ)—與Lxx(x,σ)的含義類似。

此時，H矩陣的判別式為

det(Happrox)=DxxDyy-(wDxy)2

式中Dxx、Dxy、Dyy—盒狀濾波器；

w—權值，是用來減小平衡因子近似所帶來的偏差，經過計算w的取值為0.9。

計算Hessian矩陣的過程，必須先進行高斯濾波然后求得二階導數。為了使運算復雜度得到簡化，離散像素點可利用模板卷積進行求解，另外通過積分圖進行計算也可提高運算效率。

2)構建尺度空間。O組L層構成了SURF的尺度空間，只需一組坐標(O，L)就可以唯一確定高斯金字塔中的一幅圖像。與SIFT不同的是，SURF中所有組間圖像的尺寸大小都一樣，不同組間使用的濾波器的模板尺寸會逐漸變大，而同一組間不同層間雖然使用同一尺寸的濾波器，但濾波器的模糊系數也會逐漸地變大。

3)特征點的定位。SURF算法特征點的定位方法與SIFT一樣，都是把Hessian矩陣處理過的每個像素點與尺度空間和二維圖像空間鄰域中的26個點進行對比，再刪除錯誤定位的關鍵點和能量較弱的關鍵點，最終得到穩定的特征點。

4)特征點主方向分配。SURF算法在特征點所處的圓形鄰域內，將圓心角度數為60°的扇形區域內所有的harr小波特征進行統計，扇形再以0.2rad為間隔進行旋轉并統計旋轉后該區域內harr小波特征值之和，最后把值最大的扇形方向作為該特征點的主方向，其實現過程如圖4所示。

圖4 SURF關鍵點主方向確定過程Fig.4 SURF key point main direction determination process

5)生成特征點描述子。沿著特征點的主方向，在特征點的周圍切分出一個大小為4×4的矩形區域塊，統計每個子區域25個像素的垂直和水平方向的haar小波特征。haar小波特征為水平方向值、垂直方向值、水平方向絕對值和垂直方向絕對值的和。

6)特征點匹配。SURF算法的匹配度是根據兩個特征點間的歐式距離來確定的，距離越短，表示兩個點的匹配對越好。相較于SIFT而言，SURF中加入了Hessian矩陣跡的判斷，如果兩個特征點的矩陣跡符號相同，則表示這兩個特征在相同方向上有對比度變化：若不同，即使歐式距離的值為0，也應予以排除。

SURF算法流程如圖5所示。

圖5 SURF算法流程圖Fig.5 SURF algorithm flow chart

采用SURF算法進行障礙物匹配，匹配的效果如圖6所示。

圖6 SURF算法匹配效果圖Fig.6 SURF algorithm matching effect chart

2.2 改進的SURF算法障礙物特征提取

在對障礙物進行匹配時，通過選擇2張圖片里障礙物的特征點建立一一對應的關系來進行匹配。其度量方法一般采用歐式距離，歐式距離的值越小，匹配的效果越好。一般常用的匹配算法是快速最近鄰匹配算法，該算法主要針對高維數據的匹配[7],但在實際匹配過程中也會出現匹配錯誤和匹配不夠精確的問題。

基于以上問題，對障礙物識別時的快速最近鄰匹配算法進行改進，通過設定距離閾值的方法來提高障礙物匹配的正確率，為確保匹配的唯一性，引入雙向匹配機制。其實現步驟如下：

1)通過快速近鄰匹配算法找到兩幅圖像之間具有最小歐氏距離的匹配點的集合{m，m'}。

2)查找出所有匹配點對之間的最小歐式距離dmin，并以此來設定距離閾值D=μ·dmin，μ是所有匹配點對距離的均值。

3)比較有匹配點對的歐式距離d和D之間的大小，當d≥D時，則該匹配點對不能作為特征點。

4)使用第3步中的方法重新計算兩幅圖像之間具有最小歐氏距離的匹配點的集合{n，n'}。將集合{n，n'}和集合{m，m'}進行對比，只保留兩次匹配結果都一致的匹配點對所包含的特征點。采用改進的SURF算法進行障礙物匹配的效果如圖7所示。

3 實驗結果分析

實驗采集到的原始圖像經過預處理后，可以有效地將壟行內可行走區域的黃色地面部分濾除掉，并把壟行內的障礙物保留下來。障礙物匹配實驗結果如表1所示。通過表1分析可得：采用改進前的SURF算法，有效的匹配對數為77個，匹配的準確率為85.2%，匹配所用時間為2 011ms；采用改進后的SURF算法，有效的匹配對數可以提高到89個，匹配的準確率為90.7%，匹配時間縮短到1 878ms。實驗表明：采用改進后的SURF算法對障礙物的特征向量進行匹配時，可以增加有效的匹配對數，提高匹配的準確率，減少匹配時間。

圖7 改進的SURF算法匹配效果圖Fig.7 Improved SURF algorithm matching effect chart表1 實驗結果分析Table 1 Analysis of experimental results

算法有效的匹配對數/個匹配準確率/%匹配時間/msSURF7785.22011改進SURF8990.71878

4 結論

蘋果作業機器人在作業時，壟行內存在的障礙物會妨礙其工作，對障礙物的判斷能力和識別速度決定了作業機器人的工作效率和安全性。本文采用單目視覺方法對蘋果園區作業機器人障礙物進行識別，使用L*a*b*顏色空間模型的b通道進行灰度化和閾值分割對復雜背景下的壟行障礙物圖像處理，并與改進后的SURF算法相結合，對蘋果園區內的障礙物進行識別。實驗表明：本方法可以應對復雜環境因素和障礙物位置的改變，提高了蘋果作業機器人的障礙物識別的速度，減少了障礙物匹配的時間。