基于雙目視覺的無人機(jī)避障之研究

王 淏，潘崢嶸，朱 翔

（蘭州理工大學(xué) 電氣工程與信息工程學(xué)院，蘭州 730050）

無人駕駛飛機(jī)UAV，簡稱無人機(jī)。近年來，小型無人機(jī)向自主化、智能化的方向迅速發(fā)展，應(yīng)用范圍越來越廣，尤其是在無衛(wèi)星導(dǎo)航條件下的使用需求日漸強(qiáng)烈。小型無人機(jī)由于飛行環(huán)境具有不確定性，不能實(shí)現(xiàn)自主路徑規(guī)劃，必須采用自主避障的方式；體積小，載重量有限，不能承載重量較大的聲波探測器；飛行速度很快，可達(dá)50 m/s，對測距和數(shù)據(jù)處理的實(shí)時性要求很高。因此實(shí)現(xiàn)小型無人機(jī)的快速避障較為困難。

無人旋翼飛行器的發(fā)展初期主要針對消費(fèi)級用戶，并未過多地考慮其在工程或?qū)嶋H應(yīng)用中可能遇到的場景。其主要由操控手依靠肉眼辨別飛行方向，在環(huán)境復(fù)雜的情況下，即使技術(shù)高超也難以保證無人機(jī)的安全，同時在夜晚缺少光線，操控人員很難在沒有外界的幫助下看清無人機(jī)本身。傳統(tǒng)的由慣性測量單元和GPS組成的導(dǎo)航系統(tǒng)，無法滿足要求，而雙目立體視覺技術(shù)[1]利用在不同視角下獲得的感知圖像，根據(jù)三角測量原理計算圖像像素間的位置偏差，進(jìn)而獲取場景的三維信息。

1 雙目視覺中的圖像原理

1.1 坐標(biāo)系和雙目視覺的測量原理

在雙目視覺系統(tǒng)中主要涉及3個坐標(biāo)系：圖像坐標(biāo)系、相機(jī)坐標(biāo)系、世界坐標(biāo)系。3個坐標(biāo)系之間的關(guān)系如圖1所示，點(diǎn)P為世界坐標(biāo)系中的某一點(diǎn)；Pl和Pr分別為點(diǎn)P投影到左、右圖像坐標(biāo)系下的坐標(biāo)。

坐標(biāo)系Ol-xlyl和左邊相機(jī)坐標(biāo)系O-XYZ之間的關(guān)系為

式中：z為對應(yīng)圖像坐標(biāo)系點(diǎn)（i，j）處的深度信息；（cx，cy）為左圖像平面的主點(diǎn)坐標(biāo)；f為焦距信息；b為雙目相機(jī)間的距離。cx，cy，f及b可以通過立體標(biāo)定獲取。左相機(jī)坐標(biāo)系O-XYZ和世界坐標(biāo)系Ow-XwYwZw之間的關(guān)系為

式（2）所表示場景的三維信息的獲取有多種手段，如三維激光雷達(dá)、結(jié)構(gòu)光傳感器、雙目視覺系統(tǒng)等，在此選用雙目視覺系統(tǒng)。其獲取場景的深度信息的原理是：獲取1幀左右圖像對，對其進(jìn)行矯正和校正；進(jìn)行立體匹配，以獲取視差圖信息；利用式（3）獲取對應(yīng)像素點(diǎn)的深度信息，即

式中：d為視差信息；b為左右相機(jī)之間的水平距離。式3）對d求微分，得

式中：Δzc為對應(yīng)視差信息d的深度測量分辨率。

1.2 雙目視覺獲取的圖像

采用雙目視覺獲取圖像信息的實(shí)例如圖2所示。其中，圖2a和圖2b分別為左右相機(jī)捕獲的1幀圖像對，圖2c為對應(yīng)的視差圖的信息，圖2d為利用Open GL[2]畫出的三維點(diǎn)云信息圖。

圖2 雙目視覺獲取環(huán)境三維信息Fig.2 Binocular vision acquisition environment 3 dimension information

2 算法設(shè)計及流程

2.1 算法的處理流程

雙目視覺系統(tǒng)的流程如圖3所示，左、右2個相機(jī)采集的圖片在進(jìn)行矯正、立體校正、立體匹配后輸出視差圖信息[3]，基于該信息可以獲取圖像對應(yīng)的實(shí)際場景的三維信息。

圖3 雙目視覺系統(tǒng)流程Fig.3 Binocular vision system flow chart

2.2 圖像的預(yù)處理及特征點(diǎn)提取

具體來說，圖像預(yù)處理階段是將相機(jī)采集到的彩色圖片轉(zhuǎn)換為灰度圖片。在消除畸變和立體校正階段，基于相機(jī)的標(biāo)定得到的相機(jī)參數(shù)計算畸變映射，再對圖像進(jìn)行矯正；立體校正主要是實(shí)現(xiàn)左右2幀圖像的極線行對準(zhǔn)。通過高斯拉普拉斯濾波可以最大程度地提高圖像的紋理，同時減少左右攝像頭獲取的圖像對之間的亮度差異[4]。

特征點(diǎn)的提取方法有很多，常用的有Harris角點(diǎn)檢測[5]、SIFT 角點(diǎn)提取[6]等。

Harris角點(diǎn)檢測算子 是一種有效的角點(diǎn)特征提取算子方法，其優(yōu)點(diǎn)在于計算簡單，耗時少；提取的特征點(diǎn)均勻合理；對圖像旋轉(zhuǎn)、亮度變化、噪聲等不敏感。但是，Harris角點(diǎn)檢測對尺度很敏感，不具有尺度不變性；提取的角點(diǎn)是像素級的。

SIFT特征匹配算法 首先提取極值點(diǎn)作為特征點(diǎn)，然后進(jìn)行后續(xù)的處理得到特征點(diǎn)對應(yīng)的特征向量，具有尺度不變性、旋轉(zhuǎn)不變性、受光照影響小、抗噪能力較好等特點(diǎn)。但是，該算法特征提取的方法較復(fù)雜，耗時很多；提取的特征點(diǎn)太多，很多特征點(diǎn)都無法準(zhǔn)確地進(jìn)行匹配，浪費(fèi)大量時間；提取的特征點(diǎn)不是角點(diǎn)。

綜合2種算法的優(yōu)缺點(diǎn)，將兩者結(jié)合起來，即將SIFT算法中的提取極值點(diǎn)作為特征點(diǎn)的步驟，替換為使用Harris提取的角點(diǎn)作為特征點(diǎn)，并對這些角點(diǎn)進(jìn)行計算，得到SIFT特征向量，然后進(jìn)行立體匹配。改進(jìn)的算法，不僅克服了Harris算法不具有尺度不變性、提取的角點(diǎn)是像素級等缺點(diǎn)，也彌補(bǔ)了SIFT算法復(fù)雜度高、實(shí)時性不好、提取的特征點(diǎn)不是角點(diǎn)等不足。改進(jìn)的算法的流程如圖4所示。

圖4 Harris和SIFT相結(jié)合的角點(diǎn)檢測算法流程Fig.4 Flow chart of angle point detection algorithm combining Harris and SIFT

2.3 立體校正與匹配

給定立體圖像間的旋轉(zhuǎn)和平移矩陣，使用立體校正的Bouguet算法[7]進(jìn)行立體校正。立體校正的目的是使兩攝像機(jī)拍攝的圖像中對應(yīng)匹配點(diǎn)分別在兩圖像的同名像素行中，從而將匹配搜索范圍限制在一個像素行內(nèi)。算法將右攝像機(jī)圖像平面旋轉(zhuǎn)到左攝像機(jī)圖像平面的旋轉(zhuǎn)矩陣R分離成2部分，即2個合成旋轉(zhuǎn)矩陣rl和rr。每個攝像機(jī)都旋轉(zhuǎn)一半，這樣的旋轉(zhuǎn)可以使攝像機(jī)共面。為了計算將左攝像機(jī)極點(diǎn)變換到無窮遠(yuǎn)，并使極線水平對準(zhǔn)的矩陣Rrect創(chuàng)建一個由極點(diǎn)方向開始的旋轉(zhuǎn)矩陣Rrect。

該矩陣將左圖像繞著投影中心旋轉(zhuǎn)，使得極線變成水平，且極點(diǎn)在無窮遠(yuǎn)處。這樣，2臺攝像機(jī)的行對準(zhǔn)即可以通過以下2個旋轉(zhuǎn)矩陣實(shí)現(xiàn)，即

選擇區(qū)域灰度相關(guān)法進(jìn)行立體匹配。其計算簡單、匹配速度快。對于無人機(jī)視覺導(dǎo)航來說，如果計算能夠以很快的速度完成，則系統(tǒng)就可以提早探測到障礙物而及時采取有利的行動。這一點(diǎn)對于時刻處于不斷變化的環(huán)境中的無人機(jī)導(dǎo)航系統(tǒng)的穩(wěn)定性，是十分重要的[8-10]。

選用的相似性測度因子為像素灰度差的絕對值和，簡稱SAD。式中：Il（x，y）和 Ir（x，y）分別為左圖、右圖的像素灰度值。假設(shè)匹配以左圖為參考圖，則Wp為左圖中以Pl點(diǎn)為中心的鄰域窗口。對于左圖像中的點(diǎn)Pl在右圖像中沿著其對應(yīng)的極線搜索匹配像素，當(dāng)區(qū)域中的像素使相似性準(zhǔn)則最小時，則認(rèn)為是匹配的。

3 試驗結(jié)果分析

3.1 系統(tǒng)的硬件平臺

所使用的無人機(jī)平臺如圖5所示。平臺主要搭載DSP+FPGA的飛行控制計算機(jī)、圖像處理單元、IMU模塊、二維激光雷達(dá)、雙目視覺系統(tǒng)、聲吶、數(shù)傳、無線網(wǎng)卡等一系列模塊。

圖5 搭載雙目視覺平臺的無人機(jī)Fig.5 UAV with binocular vision platform

3.2 雙目立體視覺障礙物檢測

無人機(jī)的實(shí)時導(dǎo)航需要一個復(fù)雜的障礙物檢測系統(tǒng)，能夠及時更新障礙物的相對位置信息，供相應(yīng)的路徑規(guī)劃算法使用。文中利用雙目視覺系統(tǒng)構(gòu)造觀測場景的視差圖（如圖6所示），然后從視差圖上分離出障礙物。

圖6 走廊中障礙物視差圖Fig.6 Obstacle parallax in the corridor

從視差圖中分離出障礙物的方法有很多種。可以通過像素點(diǎn)的高度判斷從視差圖中去除背景像素點(diǎn)，剩下的點(diǎn)即被認(rèn)為是障礙物。或者使用區(qū)域生長算法分離視差圖上相近視差區(qū)域，并判斷該區(qū)域中像素的是多少，決定是否為障礙物。視差圖上每1個值代表位于攝像頭前的某一距離值。視差越大表示距離越近。其中，灰度值越大的區(qū)域亮度越高，表示障礙物與攝像頭的相對距離越近。

文中采用以下方法：先將視差圖上所有像素點(diǎn)的值歸一化到0～255范圍內(nèi)，然后遍歷整個視差圖，統(tǒng)計每個視差值出現(xiàn)的次數(shù)，如視差在某一范圍內(nèi)的像素點(diǎn)總個數(shù)超過某一閾值時，則認(rèn)為可能是障礙物。再由立體視覺系統(tǒng)通過恢復(fù)特征點(diǎn)三維坐標(biāo)去除背景的像素點(diǎn)。圖7為使用該方法提取出的障礙物。

躲避障礙物的方法有以下步驟：

步驟1 因研究對象是三維避障問題，故首先判斷是否可以直接越過障礙物。

圖7 提取出的障礙物Fig.7 Extraction of obstacle

步驟2 對于不能越過的障礙物，通過雙目立體視覺系統(tǒng)獲取其相對距離以及大小，判斷其危險等級。危險等級應(yīng)與可通過區(qū)域的大小成反比，相對距離成反比。

步驟3 針對危險等級最高的障礙物，考慮加入立體視覺系統(tǒng)的位置不確定性和輪廓不確定性，生成危險區(qū)域。

步驟4 結(jié)合危險區(qū)域的范圍、無人機(jī)的尺寸以及走廊環(huán)境內(nèi)的空間，在障礙物附近生成一系列控制點(diǎn)，引導(dǎo)無人機(jī)安全飛過障礙物區(qū)域。

無人機(jī)最優(yōu)路徑的生成原則：

（1）檢測到存在碰撞危險的障礙物時，首先判斷其左右兩側(cè)存在的安全空間。如果該安全空間小于無人機(jī)的寬度，則判定此障礙物無法躲避。

（2）如果左右兩側(cè)的安全空間相同且大于無人機(jī)寬度，則判斷無人機(jī)與障礙物左右邊緣的角度，選擇角度小的方向飛行。其第1個導(dǎo)航點(diǎn)高度與無人機(jī)當(dāng)前高度相同。

（3）在穿越障礙物的過程中，實(shí)時判斷無人機(jī)前方的橫向安全空間是否明顯變大以決定是否已經(jīng)成功避障。

（4）避障成功后，無人機(jī)航向偏轉(zhuǎn)回到新的安全空間的橫向中心位置。至此，完成躲避障礙物的任務(wù)。

無人機(jī)躲避障礙物如圖8所示。以危險區(qū)域最右側(cè)點(diǎn)為圓心、無人機(jī)寬度的1/2為半徑畫圓，如圖所示，可見當(dāng)無人機(jī)的飛行軌跡位于圓內(nèi)時存在碰撞危險。虛線是生成的避障軌跡。

4 結(jié)語

文中利用雙目視覺系統(tǒng)構(gòu)造觀測場景的視差圖，通過三角測距精確計算障礙物距無人機(jī)的距離；通過攝像頭從左右不同視點(diǎn)獲取同一場景的圖像，提取圖像中的特征點(diǎn)；根據(jù)左右圖像間特征點(diǎn)匹配視差關(guān)系；從視差圖上分離出障礙物從而進(jìn)行避障。對于室內(nèi)走廊環(huán)境這類弱紋理場景，使用灰度相關(guān)匹配算法非常容易出現(xiàn)誤匹配的情況，引入高斯拉普拉斯濾波對圖像進(jìn)行預(yù)處理，最大程度地提高了圖像的紋理，同時減少了左右攝像頭獲取的圖像對之間的亮度差異，避免了誤匹配的出現(xiàn)。

圖8 無人機(jī)躲避障礙物示意Fig.8 Schematic of UAV avoiding obstacles

參考文獻(xiàn)：

[1] 張博翰，蔡志浩，王英勛.電動VTOL飛行器立體視覺導(dǎo)航方法研究[C]//中國制導(dǎo)、導(dǎo)航與控制學(xué)術(shù)會議論文集.北京：中國航空學(xué)會制導(dǎo)導(dǎo)航與控制分會，控制一體化技術(shù)國家重點(diǎn)實(shí)驗室，2010：298-303.

[2] Bradski G，Kaehler A.學(xué)習(xí) Open CV（中文版）[M].北京：清華大學(xué)出版社，2009：470-472.

[3] 杜歆.用于導(dǎo)航的立體視覺系統(tǒng)[D].杭州：浙江大學(xué)，2003．

[4] Morris W，Dryanovski I，Xiao J.3D indoor mapping for micro-UAVs using hybrid range finders and multi-volume occupancy grids[C]//RSS 2010 Workshop on RGB-D：Advanced Reasoning with Depth Cameras.2010.

[5] 于舒春.雙目立體視覺和三維重建關(guān)鍵技術(shù)研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2008.

[6] 高文，陳熙霖.計算機(jī)視覺算法與系統(tǒng)原理[M].北京：清華大學(xué)出版社，1999：22-28.

[7] 周東翔，蔡宣平，孫茂印.一種基于特征約束的立體匹配算法[J].中國圖象圖形學(xué)報，2001，6（7）：653-656.

[8] Zhang N L，Zhang D.Robust mean-shift tracking with corrected background-weighted histogram[J].IET Computer Vision，2012（6）：62-69.

[9] 桑瑞娟，王短，張華，等.一種改進(jìn)的區(qū)域雙目立體匹配方法[J].傳感器與微系統(tǒng)，2012，31（8）：57-59，63.

[10]Afef Salhi，Ameni Yengui Jammoussi.Object tracking system using camshift，meanshift and kalman filter[J].World Academy of Science：Engineering and Technology，2012，（64）：674-679.