基于立體視覺的溫室作業(yè)機器人障礙物檢測方法

梁傳君　尚雪蓮

摘要：針對農業(yè)溫室中作業(yè)機器人的路徑規(guī)劃問題，提出一種基于立體視覺圖像處理的障礙物檢測方案。首先，利用Kinect 3D傳感器捕獲溫室路徑圖像；然后，基于圖像的深度信息，分離出溫室地面；接著，根據圖像顏色特征構建顏色分類器，對預定義的障礙物進行檢測；最后，根據圖像紋理特征，基于局部二進制模式（LBP）紋理直方圖來構建紋理分類器，對未定義的障礙物進行檢查。試驗結果表明，提出的方案能夠準確地檢查出溫室路徑中的障礙物，能夠為作業(yè)機器人規(guī)劃有效路徑。

關鍵詞：溫室機器人；立體視覺；障礙物檢測；顏色特征；紋理特征

中圖分類號：TP242 文獻標志碼： A

文章編號：1002-1302（2017）14-0175-04

傳統(tǒng)農業(yè)機械在一些作業(yè)過程中需要人來操作。隨著計算機、圖像處理技術的高速發(fā)展，農業(yè)機械開始向著農業(yè)機器人的方向發(fā)展[1]。在溫室中，為了避免人類參與對健康有害的作業(yè)（如噴灑農藥、施化肥等），研制無人操作的農業(yè)機器人具有重要意義。在溫室機器人的研究中，路徑規(guī)劃是重要部分，它的基礎是對溫室路徑中的障礙物進行有效地檢測[2]。

目前，用于解決農業(yè)機器人障礙物檢測的主要方法是基于立體視覺圖像的處理[3]。常用來捕捉具有深度信息的彩色（RGB）圖像傳感器為微軟Kinect 3D傳感器[4]。然而，它們大部分用于室外農田機械的自主運動和軌跡規(guī)劃，在溫室中的應用較少。溫室機器人通常體型較小，容易受到小型障礙物的阻擋。另外，溫室中經常存在多種小型農具，例如水桶、推車等，對這些障礙物檢測具有一定的難度[5]。

為此，本研究提出一種用于溫室機器人的避障系統(tǒng)，利用Kinect 3D傳感器捕獲溫室內路徑圖像，基于圖像的深度、顏色和紋理信息對障礙物進行檢測，以確保機器人在行進過程中避開障礙物。

1提出的障礙物檢測系統(tǒng)

1.1檢測系統(tǒng)基本架構

本研究基于每個視頻幀的深度、顏色和紋理信息，構建一種溫室路徑中障礙物檢測系統(tǒng)。首先，計算深度圖像像素的斜率，通過閾值判斷來識別溫室地面。然后，利用人工標注的數據來訓練分類器，基于圖像的顏色特征來檢測預定義的障礙物，基于圖像的紋理特征來分類未定義的障礙物。最后，將基于斜率和顏色的分類結果進行融合，作出圖像級障礙物檢測的最終決策。障礙物檢測系統(tǒng)框架如圖1所示。

1.2基于深度信息分離地面

Kinect傳感器輸出640×480像素的顏色和深度圖像，圖像區(qū)域為一個水平角度57°和垂直角度43°的扇形區(qū)域。垂直斜率是障礙物與地面的明顯標志[6]，本研究將在斜率閾值范圍內的像素標記為地面區(qū)域，其他像素標記為可疑障礙物。

圖2所示為一個基于深度像素計算斜率的幾何模型，其中（xi，yj）和（xi，yk）為位于相同水平位置上的2個垂直相鄰像素點，Rj和Rk為傳感器分別到這2個垂直相鄰像素的測量距離。基于深度關系，能夠計算這2個相鄰垂直像素之間的斜率值[7]。

據對多次試驗結果的分析，發(fā)現設定斜率上下閾值范圍為10～30時，地面與障礙物的分離效果最好。

圖3所示為障礙物檢測的一個例子，其中Kinect傳感器捕獲的顏色和深度圖像分別如圖3-a和圖3-b所示。圖 3-c為計算獲得的斜率圖像，可以看出，溫室地面的斜率值接近于20，而其他物體的斜率值達到40以上或0以下。圖3-d為地面和障礙物的分割圖像，黑色表示地面，白色表示障礙物。

1.3基于顏色信息初步檢測障礙物

通過斜率計算可以分離出疑似障礙物，然后，基于顏色信息對預定義的障礙物進行分類。其中障礙物分為以下3類：綠色農作物、紅色辣椒和白色溫室頂棚。本研究使用馬氏距離作為分類的距離度量[8]，一個障礙物實例的RGB彩色像素與預定義類的馬氏距離表達式為：

1.4基于紋理算子進一步檢測障礙物

在上述基于顏色信息對障礙物進行分類時，只能檢測出顏色特征明顯且面積較大的障礙物。

確性，本研究融入了基于紋理算子的分類器。由于直接采用紋理分類器的計算成本較高，為此，本研究先用顏色分類器對障礙物進行檢測，獲得初步檢測圖像幀；然后再應用紋理分類器尋找出顏色分類器沒有檢測到的障礙物。

紋理分類器是基于當前像素和其相鄰像素的比較進行分類。其中，局部二進制模式（Local Binary Pattern，LBP）算子[9]是一種簡單且有效的灰度不變紋理度量算子，對由光照變化引起的單調灰度變化具有魯棒性。LBP編碼中，對于給定圖像中的一個像素，其領域包括8個相鄰像素，根據領域中心的相對灰度值，總共可以得到28=256種不同的標簽。強度為gc的像素c的LBP定義如下。

在檢測過程中，將圖像區(qū)域像素直方圖和其相鄰像素直方圖進行比較，當檢測到障礙物時，將其與4類障礙物紋理直方圖模型進行匹配，如果不屬于其中任何一類，則判定為未定義的障礙物類，從而檢測出顏色分類器無法檢測的障礙物。

圖5顯示了一個顏色和紋理分類器的例子。可以看出，在顏色分類器中，由于圖像右下角的一個小推車的顏色為接近綠色，所以錯誤地將其歸類為綠色農作物類，而經過紋理分類器后，則成功地將其檢測出來。

2試驗及分析

本研究在一個本地溫室大棚內進行試驗。在光線充足的下午時段，利用Kinect傳感器拍攝大棚中的4條路徑現場，包括地面、辣椒和農作物區(qū)域。其中每條路徑中包含了158幀圖像。利用OpenCV及VC++等工具實現各種障礙物檢測算法。

2.1訓練數據集

本研究使用路徑視頻中的12個幀作為訓練數據，已通過手動方式標注了各類障礙物中的一個像素塊，如圖6所示。預定義的障礙物類別有紅辣椒、綠色農作物、黑色地面和白色溫室頂棚。

首先，根據訓練集中標記的像素塊來計算各類障礙物像素的均值和協(xié)方差矩陣，作為顏色分類器的參考值。各類的RGB顏色像素的均值和協(xié)方差矩陣分別見表1和表2。

2.2試驗結果

試驗中，首先基于深度信息分離出地面，然后通過顏色分類器對障礙物進行初步檢測，接著應用紋理分類器尋找出更多的潛在障礙物。以此確保系統(tǒng)能夠檢測出所有障礙物，使農業(yè)機器人避免發(fā)生碰撞。

對于顏色分類器，選擇合適的顏色空間模型對障礙物檢測性能影響很大。為了進行比較，試驗中采用了4種不同的顏色空間，分別為：RGB、OHTA、XYZ、Lab。其中，RGB顏色空間基于紅、綠、藍3種基色的笛卡爾坐標系統(tǒng)；對RGB空間進行線性變換，可形成OHTA、XYZ等空間[11]。OHTA空間中3個分量系數相互正交，能夠有效地進行彩色圖像處理。XYZ空間能夠解決RGB中3種顏色系數出現負值的缺點。Lab空間是由CIE（國際照明委員會）制定的，通過XYZ空間變換而來，能夠直接用顏色空間的幾何距離進行不同顏色的比較。各顏色空間表達式如下：

表3顯示了在一個包含9個障礙物的圖像幀中，各種顏色分類器和顏色+紋理分類器對障礙物的檢測結果。可以看出，顏色+紋理分類器能夠檢測出顏色分類器沒有檢測到的障礙物，實現了完全檢測。

為了更準確地展示分類器性能，在溫室路徑視頻序列中的158幀圖像中進行障礙物檢測，其中共包含了87個障礙物。表4給出了各種顏色特征+紋理分類器對各類障礙物的檢查結果，并給出了3種經典性能指標數據：召回率（Recall）、精度（Precision）和F值（F-Measure）。可以看出，相比于其他顏色空間，Lab空間取得了最好的效果。這是因為[CM（25]對于顏色比較復雜的障礙物，用全局顏色特征就很難區(qū)分。為此，本研究顏色分類器采用Lab顏色空間特征。另外，提出的顏色+紋理特征分類器表現出較高的召回率和精度，證明了本研究系統(tǒng)的有效性和可行性。

4結束語

本研究提出了一種基于立體視覺圖像處理的溫室作業(yè)機器人避障系統(tǒng)。通過安裝在機器人頭部的Kinect 3D傳感器捕獲溫室路徑圖像，利用圖像的深度、顏色和紋理特征來檢測預定義和未定義類型的障礙物。在一個溫室中的試驗結果證明了提出系統(tǒng)的有效性和可行性。

在今后工作中，將提出的避障系統(tǒng)應用到溫室噴霧作業(yè)機器人身上，進一步驗證其實用性。另外，為了解決攝像機在機器人移動過程中的角度偏移問題，將考慮融入圖像校正過程。

參考文獻：

[1]袁挺，任永新，李偉，等. 基于光照色彩穩(wěn)定性分析的溫室機器人導航信息獲取[J]. 農業(yè)機械學報，2012，43（10）：161-166.

[2]高國琴，李明. 基于K-means算法的溫室移動機器人導航路徑識別[J]. 農業(yè)工程學報，2014，30（7）：25-33.

[3]Xue J，Zhang L，Grift T E. Variable field-of-view machine vision based row guidance of an agricultural robot[J]. Computers & Electronics in Agriculture，2012，84（2）：85-91.

[4]李智嫻，陳正鳴. 1種基于Kinect深度圖像的指尖檢測與跟蹤算法[J]. 江蘇農業(yè)科學，2015，43（5）：416-419.

[5]牛雪梅，高國琴，鮑志達，等. 基于滑模變結構控制的溫室噴藥移動機器人路徑跟蹤[J]. 農業(yè)工程學報，2013，29（2）：9-16.

[6]楊磊，蔡紀源，任衍允，等. 一種基于深度信息的障礙物檢測方法[J]. 計算機技術與發(fā)展，2015，25（8）：43-47.

[7]Huang H C. An indoor obstacle detection system using depth information and region growth[J]. Sensors，2015，15（10）：116-141.

[8]周燕，曾凡智，張志飛，等. 面向制造過程的海量數字圖像高效檢索算法研究[J]. 湘潭大學自然科學學報，2014，36（3）：105-110.

[9]朱林，趙建，馮全，等. 基于LBP濾波和ACWE的葡萄病害圖像分割方法[J]. 中國農機化學報，2014，35（6）：99-104.

[10]Asha V，Bhajantri N U，Nagabhushan P. GLCM-based chi-square histogram distance for automatic detection of defects on patterned textures[J]. International Journal of Computational Vision & Robotics，2012，2（4）：302-313.

[11]江锽. 基于Kinect的溫室噴霧機器人視覺導航定位系統(tǒng)的研究[D]. 北京：北京林業(yè)大學，2015：10-14.