基于計算機(jī)視覺的移動機(jī)器人導(dǎo)航

摘 要：針對跟隨路徑導(dǎo)引的移動機(jī)器人導(dǎo)航方式的靈活性較差、維護(hù)成本較高、功能單一的缺點(diǎn)，將計算機(jī)視覺用于移動機(jī)器人路徑識別。首先對視覺傳感器獲得的視頻圖像進(jìn)行處理，獲得有用的特征目標(biāo)，實(shí)現(xiàn)機(jī)器人對當(dāng)前路徑信息的理解。然后調(diào)用直行或轉(zhuǎn)彎功能模塊對機(jī)器人進(jìn)行導(dǎo)航控制。實(shí)驗(yàn)結(jié)果表明，該導(dǎo)航方式具有較好的實(shí)時性和魯棒性。

關(guān)鍵詞：計算機(jī)視覺;移動機(jī)器人;路徑識別;自主導(dǎo)航

中圖分類號：TP24262文獻(xiàn)標(biāo)識碼：B

文章編號：1004-373X(2008)08-165-03

Navigation of Mobile Robot Based on Computer Vision

ZHAO Yu，ZHONG Lanxiang，ZHANG Wanxu

(Information Science Technology College，Northwest University，Xi′an，710069，China)

Abstract：Mobile robot navigation using path following has several weaknesses such as weak flexibility，high cost of maintenance and single function.Considering those disadvantages computer vision is proposed in mobile robot navigation using path recognition.First，the image obtained by vision sensor is processed in order to get the useful target，then the robot can comprehend the current path environment，second，the robot is controlled by the different movement module of straight or turning according to the results in the first step.The experimental results demonstrated the effective and robustness of the system.

Keywords：computer vision;mobile robot;path recognition;autonomous navigation

現(xiàn)代機(jī)器人技術(shù)在人工智能、計算機(jī)技術(shù)和傳感器技術(shù)的推動下獲得了飛速發(fā)展，其中移動機(jī)器人因具有可移動性和自治能力，能適應(yīng)環(huán)境變化被廣泛用于物流、探測、服務(wù)等領(lǐng)域^[14]。移動機(jī)器人的核心技術(shù)之一是導(dǎo)航技術(shù)，特別是自主導(dǎo)航技術(shù)。由于環(huán)境的動態(tài)變化和不可預(yù)測性、機(jī)器人感知手段的不完備等原因，使得移動機(jī)器人的導(dǎo)航難度較大，一直是人們研究的重點(diǎn)^[5]。

目前常用的一種導(dǎo)航方式是“跟隨路徑導(dǎo)引”^[6]，即機(jī)器人通過對能感知到某些外部的連續(xù)路徑參考信息做出相應(yīng)的反應(yīng)來導(dǎo)航。如在機(jī)器人運(yùn)動路徑上敷設(shè)金屬導(dǎo)線或磁釘，通過檢測金屬導(dǎo)線或磁釘?shù)奶卣餍畔泶_定機(jī)器人的位置。從導(dǎo)航的角度看，這種方法的優(yōu)點(diǎn)是可靠性較高，但功能單一，如不能在行進(jìn)的同時對目標(biāo)進(jìn)行識別、避障，對環(huán)境的適應(yīng)能力較弱、靈活性較差、維護(hù)成本較高，因此限制了其在移動機(jī)器人中的應(yīng)用。

隨著計算機(jī)技術(shù)、數(shù)字圖像處理技術(shù)及圖像處理硬件的發(fā)展，基于計算機(jī)視覺的導(dǎo)航方式在機(jī)器人導(dǎo)航中得到廣泛關(guān)注^[68]。在實(shí)際應(yīng)用中，只需要在路面上畫出路徑引導(dǎo)線，如同在公共交通道路上畫的引導(dǎo)線一樣，機(jī)器人就可以通過視覺進(jìn)行自主導(dǎo)航。相對于敷設(shè)金屬導(dǎo)線、磁釘?shù)确椒ǎ@種方法增強(qiáng)了系統(tǒng)的靈活性，降低了維護(hù)成本。視覺信息中包含有大量的數(shù)據(jù)，要從中提取有用的信息，需要復(fù)雜的算法及耗時的計算。如何保證視覺導(dǎo)航系統(tǒng)在正確理解路徑信息的前提下仍具有較好的實(shí)時性和魯棒性，是該方法要解決的核心問題。

1 視覺導(dǎo)航系統(tǒng)構(gòu)成及工作過程

基于計算機(jī)視覺的移動機(jī)器人導(dǎo)航實(shí)驗(yàn)系統(tǒng)的硬件部分由計算機(jī)、USB接口的攝像頭、LEGO實(shí)驗(yàn)用機(jī)器人組成。軟件分為2部分，即圖像處理和機(jī)器人運(yùn)動控制?；谝曈X導(dǎo)航的原始輸入圖像是連續(xù)的數(shù)字視頻圖像。系統(tǒng)工作時，圖像預(yù)處理模塊首先對原始的輸入圖像進(jìn)行縮小、邊緣檢測、二值化等預(yù)處理。其次利用哈夫變換提取出對機(jī)器人有用的路徑信息。最后，運(yùn)動控制模塊根據(jù)識別的路徑信息，調(diào)用直行或轉(zhuǎn)彎功能模塊使機(jī)器人做相應(yīng)的移動。整個工作流程如圖1所示。

1.1 視覺導(dǎo)航的圖像預(yù)處理

目前圖像采集設(shè)備都具有較高的空間和灰度分辨率，精度高、數(shù)據(jù)量大。

實(shí)驗(yàn)中的原始輸入圖像是USB攝像頭采集320×240像素的RGB格式圖像，最大幀數(shù)30幀/s。

圖像預(yù)處理的效果對后續(xù)哈夫變換檢測路徑信息的速度和準(zhǔn)確性有很大影響。對整幅圖像進(jìn)行抽取時計算量過大、也無必要，故先將彩色圖像轉(zhuǎn)換為灰度圖像，再將圖像的大小依據(jù)最近鄰域插值法原理^[9]進(jìn)行縮小以節(jié)約后續(xù)計算時間。在實(shí)驗(yàn)室環(huán)境下，經(jīng)測試，將原始圖像縮小到30%仍然能滿足需要，處理時間縮短了72%。

圖1 視覺導(dǎo)航系統(tǒng)工作流程

由于圖像傳感器從時間和空間上對介質(zhì)(光)采樣，其圖像質(zhì)量對現(xiàn)場的非均勻光場和其他干擾因素非常敏感，二值化時，不同光照條件下閾值的確定是一件比較困難的工作。目前常用的閾值選取方法有雙峰法、迭代法和 最大類間方差法^[10]。從執(zhí)行時間和處理效果2方面考慮，對3種方法比較后(結(jié)果如表1所示)，在優(yōu)先考慮實(shí)時性的前提下，選用雙峰法來求取閾值。在實(shí)驗(yàn)室條件下，路徑環(huán)境相對理想，黑色引導(dǎo)線與背景反差較大。在灰度直方圖上，引導(dǎo)線和背景都形成高峰，對這2個峰值及谷底的求取也可簡化，使用灰度級的最大值和最小值代替2個峰值，那么這2個峰值的中間值即可作為谷底用作圖像的閾值。

表1 三種閾值選取方法執(zhí)行時間比較

執(zhí)行時間 /s閾值T

最大類間方差法31.534190

迭代法21.541145

雙峰法0.006124



地面的反光和陰影，以及不均勻的光照都會導(dǎo)致同一幅圖像的二值化效果表現(xiàn)出很大差別，圖2和圖3是對同一幅圖像在不同光照條件下二值化的結(jié)果，可以看到在光照條件2下會出現(xiàn)大量的黑點(diǎn)，這些黑點(diǎn)將嚴(yán)重影響提取路徑信息的速度并且可能導(dǎo)致錯誤的路徑信息。然而，相對于灰度、顏色特征，邊緣特征受光照影響較小^[11]。為此，對縮小后的圖像先進(jìn)行引導(dǎo)線的邊緣檢測，邊緣檢測后圖像中引導(dǎo)線邊緣像素灰度的對比度得到增強(qiáng)，通過實(shí)驗(yàn)確定合適的閾值，然后對圖像進(jìn)行二值化以提取路徑信息。

圖2 光照條件1

圖3 光照條件2

1.2 引導(dǎo)線角度檢測

采用哈夫變換檢測路徑引導(dǎo)線的角度^[12]。為了簡單而又不失一般性，引導(dǎo)線分1條路徑和2條相交的路徑。當(dāng)2條直線的夾角等于90°時即認(rèn)為是兩條相互垂直的路徑。直線的哈夫變換利用如下直線的極坐標(biāo)方程:



λ=xcos θ+ysin θ(1)



式(1)中，(x，y)表示圖像空間xy中所有共線的點(diǎn)即圖像中的黑點(diǎn)；θ表示直線法線和x軸的夾角，取值范圍為0~180°；λ表示直線到原點(diǎn)的距離。

2 視覺導(dǎo)航的機(jī)器人運(yùn)動控制

機(jī)器人運(yùn)動控制部分分為直行控制和轉(zhuǎn)彎控制2部分。

2.1 直行控制

如果哈夫變換的檢測結(jié)果表明是一條直線即機(jī)器人視野中只有1條主引導(dǎo)線時，則運(yùn)行直行模塊。實(shí)際中有2種情況需要考慮：一是機(jī)器人的初始位置不一定正對引導(dǎo)線，二是在機(jī)器人的機(jī)電配置中，左右輪子的馬達(dá)運(yùn)動不會絕對精確和對稱。這些會使機(jī)器人在運(yùn)動中出現(xiàn)側(cè)偏?？刹捎孟率龇椒ㄟM(jìn)行直行控制：根據(jù)引導(dǎo)線在圖像平面坐標(biāo)中的位置來判斷機(jī)器人的偏向。當(dāng)引導(dǎo)線位于圖像平面的左半邊，說明攝像頭的光軸與引導(dǎo)線不垂直且相對于引導(dǎo)線右偏，則命令機(jī)器人左轉(zhuǎn)；當(dāng)引導(dǎo)線位于圖像平面的右半邊，說明攝像頭的光軸與引導(dǎo)線不垂直且相對于引導(dǎo)線左偏，則命令機(jī)器人右轉(zhuǎn)；當(dāng)引導(dǎo)線在圖像平面兩邊均存在時，則命令機(jī)器人不偏轉(zhuǎn)繼續(xù)直行。機(jī)器人在前進(jìn)過程中，根據(jù)圖像平面中引導(dǎo)線位置不斷調(diào)整方位，以一定的轉(zhuǎn)動角度(轉(zhuǎn)動角度盡量小，這樣機(jī)器人的擺動幅度就會小)在直線路徑上行走。

2.2 轉(zhuǎn)彎控制

如果哈夫變換的檢測結(jié)果表明是兩條相互垂直的直線，即機(jī)器人的視野中出現(xiàn)轉(zhuǎn)彎路口，則開始運(yùn)行轉(zhuǎn)彎模塊。

機(jī)器人需要在距轉(zhuǎn)角合適的距離處開始運(yùn)行轉(zhuǎn)彎模塊，以保證機(jī)器人視野中始終具有引導(dǎo)線。如圖4所示，AB段表示攝像頭的縱向視野范圍，C點(diǎn)為轉(zhuǎn)角點(diǎn)，機(jī)器人需要知道自身在實(shí)際二維平面中相對于轉(zhuǎn)角點(diǎn)C的距離即BC段距離。由圖像信息獲得現(xiàn)實(shí)世界坐標(biāo)系中的參數(shù)，即所謂三維重建，這需要對基于計算機(jī)視覺的移動機(jī)器人導(dǎo)航系統(tǒng)進(jìn)行攝像機(jī)標(biāo)定。

鑒于移動機(jī)器人識別的引導(dǎo)線在地面上這一限制條件，并且攝像頭固定在機(jī)器人上，可以選擇機(jī)器人坐標(biāo)系為世界坐標(biāo)系，即世界坐標(biāo)系與機(jī)器人同步移動。坐標(biāo)原點(diǎn)為標(biāo)定模板的左下角標(biāo)定點(diǎn)的中心，Zw軸垂直地面，XwYw平面即為地面。在該坐標(biāo)系下地面目標(biāo)的坐標(biāo)可以表示為(Xw，Yw，0)，標(biāo)定模板由直徑5 mm、相距10 mm共72個圓點(diǎn)構(gòu)成，如圖5所示。

圖4 轉(zhuǎn)變示意圖

圖5 標(biāo)定模板

移動機(jī)器人的攝像機(jī)標(biāo)定問題，如果忽略因物面與攝像機(jī)光軸不垂直造成的非線性，則可歸結(jié)為在二維世界坐標(biāo)系中求變換矩陣M^[13]。

[HT6”]

X1Y11000-u1X1-u1Y1

000X1Y11-v1X1-v1Y1

…………

…………

XnYn1000-unXn-unYn

000XnYn1-vnXn-vnYn#8226;m11m12m14m21m22m24m31m32=u1v1u2v2……unvn(2)



世界坐標(biāo)系(Xw，Yw，Zw )，Zw軸垂直地面，XwYw平面即為地面，在該坐標(biāo)系下地面目標(biāo)的坐標(biāo)P可以表示為(Xw，Yw，0)。式(2)中Xi，Yj (其中i=1，2，…，n，j=1，2，…，n)即為地面目標(biāo)的坐標(biāo)(Xw，Yw)。只要有4個標(biāo)定點(diǎn)就可以求解該線性方程組，分別測得其在地面上的坐標(biāo)(Xw，Yw，0)，再根據(jù)由圖像處理的方法得到的圖像坐標(biāo)系中的像素坐標(biāo)(ui，vj)(其中i=1，2，…，n，j=1，2，…，n)，即可求得變換矩陣M，M = ［m11，m12，m14，m21，m22，m24，m31，m32］T，其中m34=1。變換矩陣M的元素取值受到攝像頭俯仰角和架設(shè)高度的影響。在實(shí)驗(yàn)室條件下，本系統(tǒng)選取BC=13 cm時開始運(yùn)行轉(zhuǎn)彎模塊。

在單目視覺的條件下，對于固定的俯仰角，為保證道路引導(dǎo)線不移出攝像頭視野范圍，必須控制機(jī)器人以一定的弧度轉(zhuǎn)彎，即沿弧線路徑執(zhí)行轉(zhuǎn)彎模塊。要做到這一點(diǎn)，弧線的弧度必須選取合適。在轉(zhuǎn)彎過程中需要根據(jù)機(jī)器人的位置不斷調(diào)整機(jī)器人的運(yùn)動速度和轉(zhuǎn)動角度，具體過程如下：

(1) 找出圖像中最后一行中點(diǎn)m的像素坐標(biāo)(um，vm)，即攝像頭視野最下方的中點(diǎn)，通過變換矩陣M將其轉(zhuǎn)換為世界坐標(biāo)系xyz中的位置(xm，ym)，z軸垂直于xy平面即地面。

(2) 找出圖像中轉(zhuǎn)角點(diǎn)t的像素坐標(biāo)(ut，vt)，通過變換矩陣M求出其在世界坐標(biāo)系xyz中的位置(xt，yt)。

(3) 以地面上轉(zhuǎn)角點(diǎn)為圓心的世界坐標(biāo)系定義為XYZ，Z軸垂直于XY平面即地面，求出弧線在此坐標(biāo)系中的方程，(x-a)2+(y-b)2=r2，(a，b)表示在坐標(biāo)系XYZ下弧線所在圓的圓心，r表示圓的半徑。

(4) 將xyz坐標(biāo)系下的坐標(biāo)點(diǎn)(xm，ym)轉(zhuǎn)換到XYZ坐標(biāo)系下，用坐標(biāo)(Xm，Ym)表示，如圖6所示。X軸與x的夾角為θ，XOY坐標(biāo)系的原點(diǎn)O即為轉(zhuǎn)角點(diǎn)t，則:



Xm=(xm-xt)cos θ Ym=(ym-yt)cos θ(3)

圖6 坐標(biāo)系轉(zhuǎn)換

(5) 弧線方程中當(dāng)y=Ym時，求得X，比較x與Xm，若Xm-x>0，則命令機(jī)器人左轉(zhuǎn)；若Xm-x<0，則命令機(jī)器人右轉(zhuǎn)，否則直行。

本系統(tǒng)確定轉(zhuǎn)彎弧的半徑為20 cm，弧度為90°的弧線即可使機(jī)器人順利轉(zhuǎn)彎，機(jī)器人視野中始終保持引導(dǎo)線。 

3 實(shí)驗(yàn)結(jié)果及結(jié)論

實(shí)驗(yàn)中選用的LEGO移動機(jī)器人，其運(yùn)動速度為8.57 cm/s(指令設(shè)定Power=25 RPM)。導(dǎo)航場地中畫有寬1 cm的黑色引導(dǎo)線，實(shí)驗(yàn)要求中機(jī)器人完全根據(jù)引導(dǎo)線自主運(yùn)動。實(shí)驗(yàn)中，識別1幀圖像并且機(jī)器人根據(jù)識別的路徑信息運(yùn)行直行或轉(zhuǎn)彎模塊共需0.311 s，即機(jī)器人每處理1幀圖像移動2.67 cm。實(shí)驗(yàn)室中的光照條件是機(jī)器人移動時的主要干擾，而銳利的引導(dǎo)線邊緣受光照影響較小，對這些干擾有較好的濾除作用。經(jīng)過在陰天白天、晴天白天以及開燈和不開燈的情況下、晚上開燈的情況下、遮蓋物位于攝像頭上方50 cm處形成陰影情況下，機(jī)器人能正確的沿引導(dǎo)線移動。同時，當(dāng)攝像頭視野范圍內(nèi)引導(dǎo)線消失即認(rèn)為出現(xiàn)障礙物，機(jī)器人能發(fā)出前方有障礙物的報警信息。

可見上面所述方法有較好的實(shí)時性和魯棒性有一定的通用性，使得該視覺導(dǎo)航方法具有一定的應(yīng)用價值。只要光照條件變化不是非常劇烈，在工廠、醫(yī)院、辦公樓等環(huán)境中，機(jī)器人根據(jù)路徑引導(dǎo)線可自主到達(dá)目的地。

當(dāng)然，由于移動機(jī)器人活動場景的復(fù)雜性和動態(tài)特性，以及視覺處理的復(fù)雜性，視覺導(dǎo)航還有很多需要解決的問題，例如當(dāng)導(dǎo)航場地出現(xiàn)較大面積的強(qiáng)烈反光、極暗的陰影時能否有效可靠的進(jìn)行移動機(jī)器人的導(dǎo)航控制，這需要進(jìn)一步研究。另外，如何將視覺系統(tǒng)與本系統(tǒng)機(jī)器人平臺中的超聲波傳感器、光電傳感器及聲音傳感器在空間、時間及數(shù)據(jù)上進(jìn)行融合以提高系統(tǒng)的適應(yīng)性和環(huán)境識別能力也是一個研究方向。

參 考 文 獻(xiàn)

［1］方強(qiáng)，謝存禧.基于視覺的移動機(jī)器人自主定位導(dǎo)航［J］.機(jī)床與液壓，2004(7):4042.

［2］Siegwart Roland，Nourbakhsh Illah R.Introduction to Autonomous Mobile Robots［J］.Massachusetts Institute of Technology，2004:111.

［3］Gérard Medioni，Alexandre Francois R J，Matheen Siddiqui.Robust Realtime Vision for a Personal Service Robot ［J］.Computer Vision and Image Understanding，2007:18.

［4］胡春華，馬旭東，戴先中.一種基于移動機(jī)器人視覺的實(shí)用數(shù)字識別方法［J］.制造業(yè)自動化，2006，28(5):3943.

［5］陸新華，張桂林.室內(nèi)服務(wù)機(jī)器人導(dǎo)航方法研究［J］.機(jī)器人，2003，25(1):8087.

［6］張海波，原魁，周慶瑞.基于路徑識別的移動機(jī)器人視覺導(dǎo)航［J］.中國圖像圖形學(xué)報，2004，9(7):853857.

［7］吳玉斌，曹廣忠，徐剛.基于虛擬儀器技術(shù)的機(jī)器人視覺伺服研究［J］.機(jī)械科學(xué)與技術(shù)，2006，25(8):1 0051 008.

［8］董再勵，郝穎明，朱楓.一種基于視覺的移動機(jī)器人定位系統(tǒng)［J］.中國圖像圖形學(xué)報，2000，5(8):688692.

［9］江巨浪.基于改進(jìn)CatmullRom 樣條的圖像縮放算法［J］.計算機(jī)技術(shù)與發(fā)展，2007，17(4):211213.

［10］楊暉.圖像分割的閾值法研究［J］.遼寧大學(xué)學(xué)報:自然科學(xué)版，2006，33(2):135137.

［11］陳鍛生，劉政凱.彩色圖像邊緣特征及其人臉檢測性能評價［J］.軟件學(xué)報，2005，16(5):727732.

［12］陳震，高滿屯，楊聲云.基于Hough 變換的直線跟蹤方法［J］.計算機(jī)應(yīng)用，2003，23(10):3032.

［13］康晶，鄒北驥，劉相濱.一種改進(jìn)的攝像機(jī)內(nèi)外參數(shù)初值計算方法［J］.計算機(jī)工程與科學(xué)，2007，29(1):5255.

作者簡介

趙 瑜 女，1983年出生，陜西西安人，碩士研究生。主要研究方向?yàn)榉墙佑|測量與可視化計算。

種蘭祥 男，1960年出生，陜西合陽人，西北大學(xué)信息科學(xué)與技術(shù)學(xué)院副教授，中國科學(xué)院西安光學(xué)精密儀器研究所博士研究生。主要從事非接觸測量、光電子技術(shù)和可視化計算方面的研究。

張萬緒 男，1964年出生，山西運(yùn)城人，西北大學(xué)信息科學(xué)與技術(shù)學(xué)院副教授。主要研究方向?yàn)橹悄軆x器儀表。

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文