基于單目攝像頭的車輛前方道路三維重建

許宇能朱西產(chǎn)馬志雄李霖

（同濟(jì)大學(xué)）

基于單目攝像頭的車輛前方道路三維重建

許宇能朱西產(chǎn)馬志雄李霖

（同濟(jì)大學(xué)）

通過(guò)構(gòu)建6自由度車載單目攝像頭測(cè)距模型，實(shí)現(xiàn)了攝像頭任意方位變換下車輛前方道路信息的三維重建。同時(shí)考慮攝像頭的5個(gè)畸變參數(shù)，可消除由于畸變引起的測(cè)距誤差。提出一種基于地平線位置的標(biāo)定方法，在非車載情況下完成了對(duì)攝像頭的標(biāo)定，給出了一種利用道路消失點(diǎn)計(jì)算道路坡度和車輛偏航角的方法。試驗(yàn)結(jié)果表明，所提測(cè)距模型和標(biāo)定方法具有良好的精度和可操作性。

1 前言

基于單目攝像頭的前方車輛三維位置估算被廣泛應(yīng)用于駕駛輔助系統(tǒng)開(kāi)發(fā)中。2003年Mobileye提出一種基于單目攝像頭的ACC算法，介紹了單目測(cè)距的基本原理[1]，并著重討論了圖像幾何參數(shù)對(duì)測(cè)距和測(cè)速精度的影響。2005年Daniel Ponsa研究了地平線位置與車輛實(shí)際寬度間的耦合關(guān)系[2]，降低了前方車輛三維位置預(yù)估的不確定性，給出了無(wú)畸變情況下攝像頭坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系。2006年郭磊等人采用幾何關(guān)系推導(dǎo)法得到路面坐標(biāo)系和圖像坐標(biāo)系之間的關(guān)系[3]，模型中考慮車輛俯仰角，但不考慮畸變。2010年Jianzhu Cui在FCW算法的研究中利用消失點(diǎn)（vanish point）對(duì)攝像頭進(jìn)行標(biāo)定[4]，利用交比不變性計(jì)算本車與前車間的距離，但未考慮車輛俯仰運(yùn)動(dòng)對(duì)測(cè)距的影響。

本文在標(biāo)定法[5]基礎(chǔ)上，構(gòu)建了一個(gè)考慮攝像頭畸變和車輛俯仰運(yùn)動(dòng)等參數(shù)的測(cè)距模型，消除了攝像頭畸變和車輛俯仰運(yùn)動(dòng)等對(duì)測(cè)距的影響；提出一種基于地平線位置的標(biāo)定方法，使標(biāo)定過(guò)程更具靈活性和簡(jiǎn)便性；給出了一種利用道路消失點(diǎn)計(jì)算道路坡度和車輛偏航角的方法。最后，利用試驗(yàn)對(duì)測(cè)距模型進(jìn)行了驗(yàn)證。

2 測(cè)距模型的建立與標(biāo)定

2.1 理想針孔模型和畸變針孔模型

圖1是理想針孔模型示意圖，攝像頭坐標(biāo)系XcYcZc和世界坐標(biāo)系（即車輛坐標(biāo)系）XwYwZw都服從右手坐標(biāo)系定則。

世界坐標(biāo)系下P點(diǎn)坐標(biāo)[Xw，Yw，Zw]通過(guò)下列理想針孔模型計(jì)算，可得到像平面投影P點(diǎn)坐標(biāo)[xp，yp]：

式中，R、T分別為旋轉(zhuǎn)矩陣和平移向量。

世界坐標(biāo)系下點(diǎn)[Xw，Yw，Zw，1]′經(jīng)過(guò)R、T變換后，得到攝像頭坐標(biāo)系下坐標(biāo)[Xc，Yc，Zc]′，[Xc，Yc，Zc]′經(jīng)過(guò)尺度系數(shù)s[6]和內(nèi)參數(shù)矩陣KK的投影變換后，得到像平面坐標(biāo)系下的點(diǎn)坐標(biāo)[xp，yp，1]′。然而，現(xiàn)實(shí)中攝像頭并不是理想針孔模型，常帶有不同程度的畸變，對(duì)于遠(yuǎn)離圖像中心的區(qū)域，測(cè)距誤差很大，如圖2所示。

為此，對(duì)式（1）進(jìn)行下面的替換，得到考慮畸變的像平面上投影點(diǎn)坐標(biāo)[xp_d，yp_d，1]′：

由式（2）～式（8）可知，為了確定畸變后像平面中投影點(diǎn)位置，需要知道的參數(shù)有攝像頭內(nèi)參數(shù)矩陣KK、畸變參數(shù)kc（1）～kc（5）和外參數(shù)矩陣R、T。其中，KK和kc（1）～kc（5）是固有屬性，不隨攝像頭位置變化而變化，因此，本文使用文獻(xiàn)[7]中的標(biāo)定工具箱對(duì)KK和kc（1）～kc（5）進(jìn)行標(biāo)定。而外參數(shù)會(huì)隨攝像頭位置的變化而變化，假設(shè)攝像頭如圖3所示水平安裝，則外參數(shù)為[ψ，φ，θ]=[-pi/2，0，0]，T= [0，camera_H，0]′，攝像頭安裝離地高度camera_H由實(shí)際測(cè)出。

2.2 6自由度變換測(cè)距模型

若圖像車輛接地點(diǎn)位置已知，可通過(guò)上述畸變針孔模型求解出世界坐標(biāo)系下相應(yīng)坐標(biāo)，此時(shí)有唯一解的前提是點(diǎn)位于地平面上，即世界坐標(biāo)為[Xw，Yw，0]′。但是，車輛在行駛過(guò)程中會(huì)產(chǎn)生俯仰、側(cè)傾等運(yùn)動(dòng)，攝像頭外參數(shù)會(huì)受到影響，為此，在畸變模型基礎(chǔ)上對(duì)式（5）進(jìn)行下面的替換，式（2）～式（4）和式（6）～式（8）保持不變，得到考慮畸變和車輛運(yùn)動(dòng)補(bǔ)償后的像平面上投影點(diǎn)坐標(biāo)[xp_d，yp_d，1]′：

由式（9）可知，需要知道的2個(gè)附加變量是ΔR、ΔT。對(duì)于單目攝像頭測(cè)距，車輛俯仰對(duì)測(cè)距影響最大，其它5個(gè)自由度對(duì)測(cè)距的影響較小，可以選擇忽略，因此設(shè)[Δψ、Δφ、Δθ]=[Δψ、0、0]，ΔT=[0、0、0]′，Δψ為車輛實(shí)時(shí)俯仰角，可以從車輛傳感器或通過(guò)車輛自運(yùn)動(dòng)參數(shù)估計(jì)獲得[8]。

2.3 基于地平線位置的標(biāo)定

若攝像頭并非如圖1所示水平安裝，而是在俯仰方向存在一定安裝夾角，圖像中實(shí)際地平線位置會(huì)偏離標(biāo)定所得的圖像中心點(diǎn)位置，可以通過(guò)式（11）計(jì)算得到該俯仰角的安裝角度：

式中，fy為像平面y方向的焦距；其它變量含義如圖4所示。

3 道路坡度和車輛偏航角計(jì)算

假設(shè)車輛在直道上平穩(wěn)行駛，不產(chǎn)生俯仰運(yùn)動(dòng)，圖4中實(shí)際地平線位置與標(biāo)定所得圖像中心點(diǎn)位置的y向偏移量由道路坡度引起，式（11）的計(jì)算值即為道路坡度；而x向偏移量由車輛偏航角引起，可以通過(guò)式（12）計(jì)算車輛偏航角。

式中，fx為像平面x方向的焦距。

4 模型驗(yàn)證及參數(shù)靈敏度分析

4.1 測(cè)距模型驗(yàn)證

在車輛前方繪制用于驗(yàn)證的單位坐標(biāo)點(diǎn)，如圖5a中的黑色網(wǎng)格點(diǎn)表示實(shí)際地平面上尺寸為2 m×2 m的單位坐標(biāo)點(diǎn)，是實(shí)際投影位置。通過(guò)所建立的6自由度變換測(cè)距模型，將世界坐標(biāo)系下的單位坐標(biāo)點(diǎn)投影到圖像中，如圖5a中的白色網(wǎng)格點(diǎn)表示世界坐標(biāo)系下Zw=0地平面上尺寸為0.5 m×0.5 m的單位坐標(biāo)點(diǎn)，是計(jì)算投影位置。

然后，調(diào)整6自由度測(cè)距模型中的Δψ參數(shù)，使白色網(wǎng)格地平線與實(shí)際地平線位置重合，完成攝像頭安裝俯仰角的標(biāo)定。隨機(jī)選取黑色網(wǎng)格點(diǎn)的一行一列作為驗(yàn)證試驗(yàn)中的測(cè)距坐標(biāo)點(diǎn)，在這些坐標(biāo)點(diǎn)位置處測(cè)量距離與實(shí)際距離的結(jié)果如表1所列。由表1可知，在消除攝像頭畸變后，縱向和側(cè)向的測(cè)距誤差在5%以內(nèi)。

表1 測(cè)距模型的測(cè)量距離與實(shí)際距離對(duì)比

4.2 道路坡度計(jì)算驗(yàn)證

本文使用10幅標(biāo)定橫盤(pán)如圖6所示。通過(guò)標(biāo)定法[7]得到的外參數(shù)ψ作為棋盤(pán)實(shí)際坡度值，式（11）方法得到的坡度值作為棋盤(pán)計(jì)算坡度值，結(jié)果如表2所列。

從表2數(shù)據(jù)可知，除了第1、2個(gè)視角由于本身實(shí)際角度值很小而造成的誤差百分比較大外，第3～10個(gè)視角的計(jì)算坡度與實(shí)際坡度誤差在10%以內(nèi)。

4.3 真實(shí)交通場(chǎng)景前方道路三維重建

將測(cè)距模型應(yīng)用于真實(shí)交通場(chǎng)景的測(cè)距中，由于縱向和側(cè)向距離在真實(shí)交通場(chǎng)景中沒(méi)有已知的參照標(biāo)準(zhǔn)，本文通過(guò)對(duì)不同位置處不同類型的車輛進(jìn)行幾何尺寸測(cè)量，間接對(duì)測(cè)距模型進(jìn)行驗(yàn)證。

模型中測(cè)量的車輛三維尺寸有車輛的距離、寬度和高度。車輛距離按照文中所提測(cè)距模型測(cè)出，寬度通過(guò)計(jì)算車輛尾部矩形底部?jī)山屈c(diǎn)側(cè)向距離之差得到，高度則通過(guò)式（14）求出。

表210 幅標(biāo)定圖像的實(shí)際坡度值與計(jì)算坡度值對(duì)比

式中，D為本車與前車的縱向距離；h為車輛在像平面的像素高度；fy為像平面y方向的焦距。

測(cè)量得到的車輛三維尺寸結(jié)果如圖7所示，圖中轎車的實(shí)際尺寸(寬度×高度)約為1.71 m×1.47 m，卡車的實(shí)際尺寸約為2.47 m×2.58 m，測(cè)量尺寸與實(shí)際尺寸的誤差在10%以內(nèi)。

4.4 參數(shù)靈敏度分析

由于在車輛行駛過(guò)程中攝像頭俯仰角、側(cè)傾角和高度3個(gè)參數(shù)容易產(chǎn)生變化，本文統(tǒng)計(jì)了這3個(gè)參數(shù)對(duì)車前縱向距離約30 m和側(cè)向距離約2 m位置處的測(cè)距影響。統(tǒng)計(jì)結(jié)果如表3所示，由表3可知，俯仰角每變化0.1°，縱向距離變化1.2～2.5 m，側(cè)向距離變化0.08～0.17 m；側(cè)傾角每變化1°，縱向距離變化0.48～0.76 m，側(cè)向距離變化0.05～0.07 m；高度每變化50 mm，縱向距離變化約1.1 m，側(cè)向距離變化約0.08 m。

綜上所述，攝像頭俯仰角、側(cè)傾角和高度3個(gè)參數(shù)對(duì)側(cè)向測(cè)距的影響較小，可以忽略；而對(duì)于縱向距離，俯仰角的影響最大，高度次之，最后是側(cè)傾角。在轎車行駛過(guò)程中，攝像頭側(cè)傾角和高度變化相對(duì)較小，而俯仰角可達(dá)±2°，說(shuō)明俯仰角是影響縱向測(cè)距的主要因素。

表3 俯仰角、側(cè)傾角、高度對(duì)測(cè)距的靈敏度分析

5 結(jié)束語(yǔ)

通過(guò)建立一個(gè)6自由度的攝像頭測(cè)距模型，實(shí)現(xiàn)了攝像頭任意方位變換下前方道路的三維重建。該模型通過(guò)網(wǎng)格化形式顯示道路坐標(biāo)點(diǎn)，使道路平面的縱向尺寸、側(cè)向尺寸和畸變情況直觀顯示。

在測(cè)距模型中考慮了攝像頭畸變和車輛俯仰角，使測(cè)距精度得到提高。對(duì)測(cè)距結(jié)果試驗(yàn)驗(yàn)證結(jié)果表明，當(dāng)攝像頭高度為80mm時(shí)，像素誤差在1.2%以內(nèi)；當(dāng)攝像頭高度為1.3m時(shí)，測(cè)距誤差在5%以內(nèi)。

將文中所提出的模型用于真實(shí)交通場(chǎng)景中進(jìn)行車前道路的三維重建，測(cè)量不同位置處不同類型車輛的高度、寬度以及與本車間的距離，測(cè)量結(jié)果表明，測(cè)量的車輛高度和寬度值與實(shí)際車輛高度和寬度值誤差在10%以內(nèi)。

對(duì)基于地平線計(jì)算車輛俯仰角的方法進(jìn)行推廣，給出了利用道路消失點(diǎn)計(jì)算道路坡度和車輛偏航角的方法。

1Stein G P，Mano O，Shashua A.Vision-based ACC with a single camera:bounds on range and range rate accuracy: Intelligent Vehicles Symposium，2003.Proceedings.IEEE，2003.

2Ponsa D，Lopez A，Lumbreras F，et al.3D vehicle sensor basedonmonocularvision:IntelligentTransportation Systems，2005.Proceedings.2005 IEEE，2005.

3郭磊，徐友春，李克強(qiáng)，等.基于單目視覺(jué)的實(shí)時(shí)測(cè)距方法研究.中國(guó)圖象圖形學(xué)報(bào)，2006，11（1）:74～81.

4Jianzhu C，F(xiàn)uqiang L，Zhipeng L，et al.Vehicle localisation using a single camera:Intelligent Vehicles Symposium(IV)， 2010 IEEE，2010.

5ZhengyouZ.Aflexiblenewtechniqueforcamera calibration.Pattern Analysis andMachineIntelligence，IEEE Transactions on，2000，22（11）:1330～1334.

6于仕琪，劉瑞禎等譯.學(xué)習(xí)OpenCV.北京：清華大學(xué)出版社，2010：353，421，437.

7Bouguet J.（2004，October）Camera calibration toolbox for matlab.MRL-Intel Corp.vailable:http://www.vision. caltech.edu/bouguetj/calib_doc/.

8Stein G P，Mano O，Shashua A.A robust method for computingvehicleego-motion:IntelligentVehicles Symposium，2000.IV 2000.Proceedings of the IEEE，2000.

（責(zé)任編輯簾青）

修改稿收到日期為2013年12月1日。

Three-dimensional Reconstruction of the Road Ahead of Vehicle Based on Mono-vision

Xu Yuneng，Zhu Xichan，Ma Zhixiong，Li Lin
（Tongji University）

A 6-DOF mono-vision based camera ranging model is constructed to achieve the three-dimensional reconstruction of the road ahead of vehicle under arbitrary transformation of the camera.Meanwhile，five distortion parameters of the camera are taken into account to eliminate the ranging error caused by distortion.Then，in order to calibrate the off-board camera，a calibration method based on the location of horizon is proposed，and a method for calculating the road gradient and vehicle yaw angle through the location of road vanishing point is proposed.Experimental results indicate that the ranging model and calibration method are of good accuracy and operability.

Advanced drive assist system,Mono-vision,Ranging,Calibration,Threedimensional reconstruction

先進(jìn)駕駛輔助系統(tǒng)單目視覺(jué)測(cè)距標(biāo)定三維重建

U461.5+1

：A文獻(xiàn)標(biāo)識(shí)碼：1000-3703（2014）02-0048-05