基于立體視覺的溫室作業機器人障礙物檢測方法

梁傳君　尚雪蓮

摘要：針對農業溫室中作業機器人的路徑規劃問題，提出一種基于立體視覺圖像處理的障礙物檢測方案。首先，利用Kinect 3D傳感器捕獲溫室路徑圖像；然后，基于圖像的深度信息，分離出溫室地面；接著，根據圖像顏色特征構建顏色分類器，對預定義的障礙物進行檢測；最后，根據圖像紋理特征，基于局部二進制模式（LBP）紋理直方圖來構建紋理分類器，對未定義的障礙物進行檢查。試驗結果表明，提出的方案能夠準確地檢查出溫室路徑中的障礙物，能夠為作業機器人規劃有效路徑。

關鍵詞：溫室機器人；立體視覺；障礙物檢測；顏色特征；紋理特征

中圖分類號：TP242 文獻標志碼： A

文章編號：1002-1302（2017）14-0175-04

傳統農業機械在一些作業過程中需要人來操作。隨著計算機、圖像處理技術的高速發展，農業機械開始向著農業機器人的方向發展[1]。在溫室中，為了避免人類參與對健康有害的作業（如噴灑農藥、施化肥等），研制無人操作的農業機器人具有重要意義。在溫室機器人的研究中，路徑規劃是重要部分，它的基礎是對溫室路徑中的障礙物進行有效地檢測[2]。

目前，用于解決農業機器人障礙物檢測的主要方法是基于立體視覺圖像的處理[3]。常用來捕捉具有深度信息的彩色（RGB）圖像傳感器為微軟Kinect 3D傳感器[4]。然而，它們大部分用于室外農田機械的自主運動和軌跡規劃，在溫室中的應用較少。溫室機器人通常體型較小，容易受到小型障礙物的阻擋。另外，溫室中經常存在多種小型農具，例如水桶、推車等，對這些障礙物檢測具有一定的難度[5]。

為此，本研究提出一種用于溫室機器人的避障系統，利用Kinect 3D傳感器捕獲溫室內路徑圖像，基于圖像的深度、顏色和紋理信息對障礙物進行檢測，以確保機器人在行進過程中避開障礙物。

1提出的障礙物檢測系統

1.1檢測系統基本架構

本研究基于每個視頻幀的深度、顏色和紋理信息，構建一種溫室路徑中障礙物檢測系統。首先，計算深度圖像像素的斜率，通過閾值判斷來識別溫室地面。然后，利用人工標注的數據來訓練分類器，基于圖像的顏色特征來檢測預定義的障礙物，基于圖像的紋理特征來分類未定義的障礙物。最后，將基于斜率和顏色的分類結果進行融合，作出圖像級障礙物檢測的最終決策。障礙物檢測系統框架如圖1所示。

1.2基于深度信息分離地面

Kinect傳感器輸出640×480像素的顏色和深度圖像，圖像區域為一個水平角度57°和垂直角度43°的扇形區域。垂直斜率是障礙物與地面的明顯標志[6]，本研究將在斜率閾值范圍內的像素標記為地面區域，其他像素標記為可疑障礙物。

圖2所示為一個基于深度像素計算斜率的幾何模型，其中（xi，yj）和（xi，yk）為位于相同水平位置上的2個垂直相鄰像素點，Rj和Rk為傳感器分別到這2個垂直相鄰像素的測量距離?；谏疃汝P系，能夠計算這2個相鄰垂直像素之間的斜率值[7]。

據對多次試驗結果的分析，發現設定斜率上下閾值范圍為10～30時，地面與障礙物的分離效果最好。

圖3所示為障礙物檢測的一個例子，其中Kinect傳感器捕獲的顏色和深度圖像分別如圖3-a和圖3-b所示。圖 3-c為計算獲得的斜率圖像，可以看出，溫室地面的斜率值接近于20，而其他物體的斜率值達到40以上或0以下。圖3-d為地面和障礙物的分割圖像，黑色表示地面，白色表示障礙物。

1.3基于顏色信息初步檢測障礙物

通過斜率計算可以分離出疑似障礙物，然后，基于顏色信息對預定義的障礙物進行分類。其中障礙物分為以下3類：綠色農作物、紅色辣椒和白色溫室頂棚。本研究使用馬氏距離作為分類的距離度量[8]，一個障礙物實例的RGB彩色像素與預定義類的馬氏距離表達式為：

1.4基于紋理算子進一步檢測障礙物

在上述基于顏色信息對障礙物進行分類時，只能檢測出顏色特征明顯且面積較大的障礙物。

確性，本研究融入了基于紋理算子的分類器。由于直接采用紋理分類器的計算成本較高，為此，本研究先用顏色分類器對障礙物進行檢測，獲得初步檢測圖像幀；然后再應用紋理分類器尋找出顏色分類器沒有檢測到的障礙物。

紋理分類器是基于當前像素和其相鄰像素的比較進行分類。其中，局部二進制模式（Local Binary Pattern，LBP）算子[9]是一種簡單且有效的灰度不變紋理度量算子，對由光照變化引起的單調灰度變化具有魯棒性。LBP編碼中，對于給定圖像中的一個像素，其領域包括8個相鄰像素，根據領域中心的相對灰度值，總共可以得到28=256種不同的標簽。強度為gc的像素c的LBP定義如下。

在檢測過程中，將圖像區域像素直方圖和其相鄰像素直方圖進行比較，當檢測到障礙物時，將其與4類障礙物紋理直方圖模型進行匹配，如果不屬于其中任何一類，則判定為未定義的障礙物類，從而檢測出顏色分類器無法檢測的障礙物。

圖5顯示了一個顏色和紋理分類器的例子?？梢钥闯?，在顏色分類器中，由于圖像右下角的一個小推車的顏色為接近綠色，所以錯誤地將其歸類為綠色農作物類，而經過紋理分類器后，則成功地將其檢測出來。

2試驗及分析

本研究在一個本地溫室大棚內進行試驗。在光線充足的下午時段，利用Kinect傳感器拍攝大棚中的4條路徑現場，包括地面、辣椒和農作物區域。其中每條路徑中包含了158幀圖像。利用OpenCV及VC++等工具實現各種障礙物檢測算法。

2.1訓練數據集

本研究使用路徑視頻中的12個幀作為訓練數據，已通過手動方式標注了各類障礙物中的一個像素塊，如圖6所示。預定義的障礙物類別有紅辣椒、綠色農作物、黑色地面和白色溫室頂棚。

首先，根據訓練集中標記的像素塊來計算各類障礙物像素的均值和協方差矩陣，作為顏色分類器的參考值。各類的RGB顏色像素的均值和協方差矩陣分別見表1和表2。

2.2試驗結果

試驗中，首先基于深度信息分離出地面，然后通過顏色分類器對障礙物進行初步檢測，接著應用紋理分類器尋找出更多的潛在障礙物。以此確保系統能夠檢測出所有障礙物，使農業機器人避免發生碰撞。

對于顏色分類器，選擇合適的顏色空間模型對障礙物檢測性能影響很大。為了進行比較，試驗中采用了4種不同的顏色空間，分別為：RGB、OHTA、XYZ、Lab。其中，RGB顏色空間基于紅、綠、藍3種基色的笛卡爾坐標系統；對RGB空間進行線性變換，可形成OHTA、XYZ等空間[11]。OHTA空間中3個分量系數相互正交，能夠有效地進行彩色圖像處理。XYZ空間能夠解決RGB中3種顏色系數出現負值的缺點。Lab空間是由CIE（國際照明委員會）制定的，通過XYZ空間變換而來，能夠直接用顏色空間的幾何距離進行不同顏色的比較。各顏色空間表達式如下：

表3顯示了在一個包含9個障礙物的圖像幀中，各種顏色分類器和顏色+紋理分類器對障礙物的檢測結果?？梢钥闯觯伾?紋理分類器能夠檢測出顏色分類器沒有檢測到的障礙物，實現了完全檢測。

為了更準確地展示分類器性能，在溫室路徑視頻序列中的158幀圖像中進行障礙物檢測，其中共包含了87個障礙物。表4給出了各種顏色特征+紋理分類器對各類障礙物的檢查結果，并給出了3種經典性能指標數據：召回率（Recall）、精度（Precision）和F值（F-Measure）?？梢钥闯?，相比于其他顏色空間，Lab空間取得了最好的效果。這是因為[CM（25]對于顏色比較復雜的障礙物，用全局顏色特征就很難區分。為此，本研究顏色分類器采用Lab顏色空間特征。另外，提出的顏色+紋理特征分類器表現出較高的召回率和精度，證明了本研究系統的有效性和可行性。

4結束語

本研究提出了一種基于立體視覺圖像處理的溫室作業機器人避障系統。通過安裝在機器人頭部的Kinect 3D傳感器捕獲溫室路徑圖像，利用圖像的深度、顏色和紋理特征來檢測預定義和未定義類型的障礙物。在一個溫室中的試驗結果證明了提出系統的有效性和可行性。

在今后工作中，將提出的避障系統應用到溫室噴霧作業機器人身上，進一步驗證其實用性。另外，為了解決攝像機在機器人移動過程中的角度偏移問題，將考慮融入圖像校正過程。

參考文獻：

[1]袁挺，任永新，李偉，等. 基于光照色彩穩定性分析的溫室機器人導航信息獲取[J]. 農業機械學報，2012，43（10）：161-166.

[2]高國琴，李明. 基于K-means算法的溫室移動機器人導航路徑識別[J]. 農業工程學報，2014，30（7）：25-33.

[3]Xue J，Zhang L，Grift T E. Variable field-of-view machine vision based row guidance of an agricultural robot[J]. Computers & Electronics in Agriculture，2012，84（2）：85-91.

[4]李智嫻，陳正鳴. 1種基于Kinect深度圖像的指尖檢測與跟蹤算法[J]. 江蘇農業科學，2015，43（5）：416-419.

[5]牛雪梅，高國琴，鮑志達，等. 基于滑模變結構控制的溫室噴藥移動機器人路徑跟蹤[J]. 農業工程學報，2013，29（2）：9-16.

[6]楊磊，蔡紀源，任衍允，等. 一種基于深度信息的障礙物檢測方法[J]. 計算機技術與發展，2015，25（8）：43-47.

[7]Huang H C. An indoor obstacle detection system using depth information and region growth[J]. Sensors，2015，15（10）：116-141.

[8]周燕，曾凡智，張志飛，等. 面向制造過程的海量數字圖像高效檢索算法研究[J]. 湘潭大學自然科學學報，2014，36（3）：105-110.

[9]朱林，趙建，馮全，等. 基于LBP濾波和ACWE的葡萄病害圖像分割方法[J]. 中國農機化學報，2014，35（6）：99-104.

[10]Asha V，Bhajantri N U，Nagabhushan P. GLCM-based chi-square histogram distance for automatic detection of defects on patterned textures[J]. International Journal of Computational Vision & Robotics，2012，2（4）：302-313.

[11]江锽. 基于Kinect的溫室噴霧機器人視覺導航定位系統的研究[D]. 北京：北京林業大學，2015：10-14.