基于雙目視覺的移動機器人測距與定位系統

王志遠，王茂森

(南京理工大學， 南京 210094)

基于雙目視覺的移動機器人測距與定位系統

王志遠，王茂森

(南京理工大學， 南京 210094)

提出了基于雙目視覺的移動機器人測距與定位系統的設計方案，系統由左右布置的兩個攝像機組成。通過計算目標點在左右攝像機成像平面內像素點的視差值，利用重映射技術得到攝像機前方的三維環境信息。使用張正友標定法對系統進行標定。在圖像預處理階段使用限制對比度自適應直方圖均衡(CLAHE)算法對圖像進行均衡化處理，明顯改善了光照不均、霧、煙塵等低質圖像的清晰度，提高了系統環境適應性。為確保該系統的可靠性，對測量值進行了誤差分析，系統的深度平均測量誤差為1.49%；定位平均測量誤差x方向為3.81%，y方向為2.48%。誤差分析結果表明，該系統測量精度高且穩定性好，可以滿足移動機器人定位、測距等要求。

攝像機標定；CLAHE；視差；移動機器人；誤差分析

立體視覺技術通過對目標物的特征點在兩個攝像機成像平面的像素坐標進行匹配，利用三角測量原理計算該特征點的深度信息進而獲取目標物的位置信息[1]。當獲取目標物的特征點足夠多時就可以對目標物的空間位置進行準確定位[2]。傳統的超聲波測距、激光測距等方式無法直接得到目標的三維信息，只能通過掃描的方式獲得環境中的深度信息，適用于工作任務比較簡單且深度信息要求不高的情況，而雙目測量系統沒有這種限制。雙目立體視覺技術已經被應用到多個領域，如利用立體視覺獲取動物的形體尺寸，在進行放療時對腫瘤進行精確定位，移動機器人的定位與測距系統等[3-5]。

本文利用雙目系統采集圖像，然后進行預處理，使其在光照不均，有霧等非常規條件下仍具有較高的識別效率，提高了系統的魯棒性，之后對左右攝像機進行立體匹配并求解環境三維信息。利用所構建的移動機器人平臺，進行測距與定位實驗。

1 移動機器人平臺介紹

移動機器人平臺由上下兩部分組成，下半部為履帶小車，如圖1(a)所示。車體內部裝有一個嵌入式系統，CPU選用三星4412四核處理器，主頻為1.4GHz，具有很強的任務處理能力，2G RAM和16G FLASH可以滿足圖像處理以及其他功能對運存及存儲空間的需求，其上運行的Linux操作系統保證了信息采集，信號處理，以及控制命令輸出等功能的順利進行。該嵌入式系統完成一次640×480大小的兩幅圖的立體匹配僅需要70～80 ms，即每秒可完成13×2圖像的處理，這樣的處理速度完全可以滿足移動機器人的應用要求；平臺上半部為水平安裝的兩臺攝像機，如圖1(b)所示是雙目視覺的圖像采集部分，雙攝像機水平布置基線距離為60 mm，光軸呈前向平行狀態，單個相機可采集640×480大小的圖像，幀率可達60fps，滿足雙目視覺的要求。上下兩部分通過一個垂直安裝的電機連接在一起，電機旋轉，帶動雙攝像機360°旋轉，因此，該移動機器人可以在行進或停止狀態下進行360°的測量。

2 攝像機標定及圖像預處理

在雙目視覺系統中除需要將目標特征點與其像素點進行位置匹配外，還需要知道左右攝像機之間的相互關系。因此標定的主要目的就是求取與之相關的攝像機內參數、外參數[6]。經過標定的相機采集的圖像還需要經過必要的預處理才可進行后續的計算，這樣做的好處可以保證只有高質量的圖像才可以參與后續的運算。

2.1 攝像機標定

建立攝像機的針孔成像模型，如圖2所示。其中P為目標物上一點(以下簡稱物點)，物點在世界坐標系FcXcYcZc中的坐標為(X,Y,Z)，P點的像素坐標為(u,v)，(cx,cy)為主點坐標。

圖1 移動機器人測距定位系統

圖2 攝像機針孔成像模型

建立針孔攝像機的數學模型[7]：

(1)

其中:fx,fy為焦距f沿x軸和y軸上的歸一化焦距；Rc是物點相對于投影面的旋轉矩陣；t是物點相對于投影面的平移向量；s為一個標量。

由于攝像機還存在徑向畸變與切向畸變，因此，需要對畸變進行求解[8]，求解公式如下。

(2)

其中：x,y是畸變點像素坐標；k1,2,3、p1,2分別為徑向和切向畸變系數；r是像點到中心點的距離；xd,yd為校正后像素坐標；徑向畸變與切向畸變可以用矩陣[k1,k2,p1,p2,k3]表示，記為：D。

對左右攝像機分別進行標定得到內參數矩陣分別為Mr,Ml,畸變矩陣分別為Dr,Dl，結果如下。

為保證雙攝像機光軸前向平行需要對右攝像機進行旋轉與平移。因此，需要求解相關的旋轉與平移矩陣R，T。另外為了求解物點在左右成像平面內投影坐標的對應關系還需要標定出本征矩陣E和基礎矩陣F。

旋轉矩陣R與平移矩陣T的標定結果為：

本征矩陣E與基本矩陣F的標定結果如下：

利用標定求得的結果參數對左右相機進行校正，校正結果如圖3所示。

對比圖3(a)～圖3(b)可以發現，經過標定-校正后的攝像機畸變得到了消除，并且左右攝像機行像素得到了對齊。

圖3 雙目校正

2.2 圖像預處理

對圖像的預處理采用限制對比度自適應直方圖均衡(CLAHE)算法，該算法基于自適應直方圖均衡(AHE)算法實現，并引入對比度閾值對各個區域進行限幅[9]。對超過閾值的直方圖進行裁剪，并將裁剪掉的部分均勻分配到直方圖的其他部分，經過多次裁剪-重分布操作便可將直方圖的峰值限制在閾值附近。經過CLAHE處理后的圖像具有良好的對比度，對光照不均、霧等具有很好的去除作用[10]，達到提升圖像畫質的目的，CLAHE對圖像的處理結果，如圖4所示。上為處理前的圖像，下為經過CLAHE處理后的圖像，可以看出，經過處理后的圖像極大地改善了圖像的質量。

圖4 CLAHE算法對光照不均及霧的濾除

3 環境三維信息提取

環境三維信息包括深度(距離)信息和方位信息。經過標定-校正后的雙攝像機，便可以進行立體匹配，對于一個匹配成功的特征點可以得到其視差d。然后根據求得的視差進一步求取該特征點的深度信息。攝像機立體匹配模型如圖5所示，根據物點P在左右成像平面的投影點pl,pr的對應關系便可以得出深度z與視差d的幾何關系[11]，表達式為

(7)

式中：b是基線距離；z是物點的坐標；xl,xr分別為左右成像平面內投影點的橫坐標。

對于一個成功匹配的特征點，它在攝像機坐標系(以左相機投影中心為原點)中的坐標是可知的，因此對該坐標點進行重投影即可得到該物點在世界坐標系中的坐標。投影關系可表示為

(8)

其中：Q是重投影矩陣，表示為：

(9)

圖5 左右攝像機立體匹配模型

為了使計算統一而引入了第四維度w，使三維坐標(x,y,z)用齊次坐標表示時變為四維空間(x,y,z,w)，因此求得物點P的三維坐標為(x/w,y/w,z/w)。如果對整幅場景圖都進行立體匹配，可以得到整個場景的三維信息，如圖6所示，圖6(a)為經過CLAHE處理后的場景圖；圖6(b)為場景三維信息借助Matlab顯示后的三維信息圖。可以看出不同物體之間的深度、方位明顯不同，如書本與蘭花、書本與杯子之間的層次感都十分明顯。

圖6 三維環境信息提取

4 測試

為了確保三維環境信息采集的準確與可靠，需要對采集結果進行誤差分析。

4.1 深度信息測試實驗

使用鼠標在場景圖中選取不同物體上的若干點，如圖6(a)中選擇的13個點，然后獲取該點的深度值并與實際測量值作對比，然后計算出相對誤差。如表1所示。

表1 特征點深度測量誤差分析

通過對比表1中的系統測量值與實測值，并分析相對誤差可知，該系統的平均測量誤差為1.489%，最小測量誤差僅為0.605%，測量精度可達毫米級，且誤差波動較小，系統穩定性強，可以滿足移動機器人的測距任務。

4.2 位置信息測試實驗

使用AutoCAD制作一張如圖7所示的測試紙，其中9個點的坐標如表2中x、y的理論值所示，圓點的直徑為5 mm,相鄰點的間距隨機不等，選1點為坐標原點，其余各點均是相對于原點的坐標值。將測試紙粘貼在一個平整的墻面上，將移動機器人平臺擺放在測試紙的正前方，攝像機距測試紙的距離為610 mm，然后啟動測量系統，對測試紙中測試點進行立體匹配求出各個點的方位坐標，此時求得的坐標為各點的絕對坐標，因此需要轉換成相對于1點的相對坐標，轉換后的結果如表2中測量值x與測量值y所示。

通過對比表2中各點的理論坐標值與系統測量坐標值，并分析沿x、y方向的相對誤差可知：該系統沿x軸的定位平均誤差為3.81%，沿y軸的定位誤差為2.48%。具有較高的定位精度。可以滿足移動機器人的定位需求。

圖7 定位測試紙

表2 系統定位誤差分析

5 結論

本文研究的移動機器人測距與定位系統，利用雙目視覺系統獲取環境中物體的三維位置信息，具有測量范圍廣獲取信息量大的特點。為確保測量的深度與方位信息可靠與準確，進行了深度信息測試實驗與位置信息測試實驗，通過分析實驗結果得出該系統測量精度高，穩定性強，滿足移動機器人的測距與定位要求。相比于傳統的超聲波、激光等測量方法，該系統僅利用一對水平放置的攝像機便可以獲取前方環境中物體的三維位置信息，結構簡單成本低廉具有很好的實用價值。

[1] 沈彤,劉文波,王京.基于雙目立體視覺的目標測距系統[J].電子測量技術,2015,38(4):52-54.

[2] 于勇,張暉,林茂松.基于雙目立體視覺三維重建系統的研究與設計[J].計算機技術與發展,2009,19(6):127-130.

[3] 郭浩,馬欽,張勝利,等.基于三維重建的動物體尺獲取原型系統[J].農業機械學報,2014,45(5):127-131.

[4] 董峰,孫立寧,汝長海.基于雙目視覺的醫療機器人擺位系統測量方法[J].光電子·激光,2014,25(5):1027-1034.

[5] 王殿君.雙目視覺在移動機器人定位中的應用[J].中國機械工程,2013,24(9):1155-1158.

[6] 劉俸材，謝明紅,王偉.雙目視覺的立體標定方法[J].計算機工程與設,2011,23(4):1509-1512.

[7] 于仕琪,劉瑞禎.學習 OpenCV[M].北京：清華大學出版社,2009.

[8] 楊景豪,劉巍,劉陽,等.雙目立體視覺測量系統的標定[J].光學精密工程， 2016,24(2):301-307.

[9] 楊有，李波.CLAHE和細節放大相結合的檔案圖像增強方法[J].中國圖象圖形學報,2011,16(4):523-527.

[10] 黎秀玉,宋樹祥,夏海英.基于CLAHE和圖像分解的去霧方法[J].廣西大學學報(自然科學版),2016,41(5):1552-1559.

[11] 高宏偉.計算機雙目立體視覺[M].北京：電子工業出版社， 2012.

(責任編輯楊繼森)

RangingandPositioningSystemofMobileRobotBasedonBinocularVision

WANG Zhiyuan, WANG Maosen

(Nanjing University of Science and Technology, Nanjing 210094, China)

The system consists of two cameras arranged on the left and right. By remapping technique, the 3D depth information of the camera’s front environment is obtained based on calculating the parallax value of the target points in the cameras imaging plane. In this paper, Zhang Zhengyou’s calibration method is employed to calibrate the system. In the stage of prepossessing image, the contrast adaptive histogram equalization (CLAHE) algorithm is used to equalize the image, which can improve the clarity of low quality images caused by the following factors such as uneven illumination, fog and soot, and then enhance the system environment adaptability. In order to ensure the reliability of the system, the necessary error analysis is made for the measured value. In depth, the average measurement error of the system is 1.49%; Positioning average measurement error ofxdirection is 3.81%,ydirection is 2.48%. The error analysis results show that the system has high measurement accuracy and stability, which can meet the requirements of mobile robot locating and ranging.

camera calibration; CLAHE; parallax; mobile robot; error analysis

2017-07-03；

2017-07-30

王志遠(1992—)，男，碩士研究生，主要從事機械工程研究。

王茂森(1970—)，男，碩士生導師，主要從事火炮、自動武器與彈藥工程研究。

光學工程與電子技術

10.11809/scbgxb2017.11.038

本文引用格式：王志遠，王茂森.基于雙目視覺的移動機器人測距與定位系統[J].兵器裝備工程學報，2017(11):173-177.

formatWANG Zhiyuan, WANG Maosen.Ranging and Positioning System of Mobile Robot Based on Binocular Vision[J].Journal of Ordnance Equipment Engineering,2017(11):173-177.

TP242.6

A

2096-2304(2017)11-0173-05