雙目視覺下的自動駕駛車輛多類型障礙物感知

郭迎, 趙祥模, 梁睿琳, 王潤民

(1.長安大學(xué) 車聯(lián)網(wǎng)教育部-中國移動聯(lián)合實驗室,陜西 西安 710018; 2.長安大學(xué) 信息工程學(xué)院,陜西 西安 710018)

自動駕駛車輛是指利用激光雷達或者人工智能視覺技術(shù),自動識別并躲避障礙物,從而實現(xiàn)車輛的正常運行。但由于障礙物等干擾,時有發(fā)生自動駕駛車輛碰撞、牽引等相關(guān)問題,從而產(chǎn)生不同嚴重程度的交通事故,主要原因是自動駕駛車輛對障礙物的識別不夠準確,誤差較大。為了保證自動駕駛車輛的安全,優(yōu)化車輛行駛途中的障礙物感知識別精度是非常有必要的。鄭云水等[1]研究出的雷達數(shù)據(jù)檢測法,通過GPS獲取分段擬合車輛行駛軌跡情況,在輔助定位的作用下獲取車輛當(dāng)前位置。通過雷達檢測前方行駛路面,利用坐標變換在雷達檢測區(qū)域內(nèi)確定識別障礙物位置。何堅等[2]提出一種慣性傳感器融合檢測法,建立地面障礙物空間模型。通過融合慣性參數(shù),計算相機傾角來保證拍攝障礙物的世界坐標準確無誤。設(shè)定檢測閾值,利用慣性傳感器劃分動態(tài)障礙物完成障礙物感知識別。Bae等[3]根據(jù)慣性測量單元傳感器估計的航向角和霍爾傳感器計算的移動距離,估計跟蹤路徑和實際移動距離誤差。Pang等[4]針對某型飛行器設(shè)計了一種綜合線性時變模型預(yù)測控制器。在建立飛行器兩自由度運動學(xué)模型的基礎(chǔ)上,利用線性時變理論建立了飛行器軌跡跟蹤系統(tǒng)的誤差模型。通過二次規(guī)劃優(yōu)化問題求解實現(xiàn)飛行器避障路徑規(guī)劃。高維岳等[5]提出基于單目視覺的車輛前方障礙物檢測方法。該方法通過YOLOv4算法檢測車輛前方多種障礙物,并使用邊緣檢測算法優(yōu)化檢測準確性。但上述方法受到障礙物移動的影響,增加了障礙物感知誤差,最終造成感知效果較差。另一方面,上述研究對象與本文研究的自動駕駛車輛存在一定差距,感知效果差異較大。

本文通過雙目視覺相機獲取車輛行駛過程中不同角度的相同場景圖像,分析左右眼視差,推導(dǎo)車輛所在坐標以及障礙物的三維坐標。約束雙目視覺完成障礙物的特征識別和匹配,實現(xiàn)多類型障礙物的感知。

1 雙目視角下的約束條件設(shè)計

假定在相同靜止場景的雙目視覺角度C1和C2下呈現(xiàn)的車輛前方投影圖像,立體坐標點[6]p在雙目成像圖中顯示的對應(yīng)投影點分別用p1和p2表示,且立體坐標點的投射點數(shù)是以極線為準的線性推導(dǎo)[7],利用極性幾何約束,給出車輛雙目攝像機姿態(tài)之間的相對位置關(guān)系,并結(jié)合雙目視角下攝像機的實際運動信息,可實現(xiàn)雙視角下的獨立運動檢測。

當(dāng)攝像機沒有校正時,可以用基本矩陣F21表達對極幾何限制,基礎(chǔ)矩陣將同一三維點在多個角度上的投影點連接:

(1)

式中p1、p2為投影點。

在雙目視覺攝影設(shè)備下,左眼相機l和右眼相機r構(gòu)成了雙目視覺立體相機系統(tǒng),通過Cv,n(v=r,l;n=1,2,…,t)表示n時刻的系統(tǒng)狀態(tài),在一對立體影像中的相鄰幀[9]內(nèi),包含4組對視覺極線的約束條件,分別為{Frt,r(t+1),Frt,l(t+1),Flt,r(t+1),Flt,l(t+1)},其中Frt,r(t+1)和Flt,l(t+1)無法單獨完成對運動障礙物的感知識別,一方面是因為極線限制條件無法檢測到與相機運動方向已知的運動目標;另一方面,當(dāng)雙目視覺下運動幅度較小時,基本約束矩陣對障礙物特征匹配的誤差相對不敏感。因為攝像機的相對幾何關(guān)系以及攝像機Cr,t、Cl,r+1、Cl,t、Cr,t+1等不同運動狀態(tài)幅度較大,由此可以有效對基本矩陣[10]進行穩(wěn)定估計,在雙目視覺車載攝像機光軸相交的情況下,不存在能完全符合基本矩陣約束條件的獨立運動矢量。

{Frt,l(t+1),Flt,r(t+1)}實質(zhì)上是2套相互交織的對極幾何約束,稱為多視角下的極線約束條件,多視極線約束結(jié)合了雙目攝像機視覺下的位置和運動信息,能夠?qū)Κ毩⒌倪\動異常進行穩(wěn)定檢測,定義多視像素的直線距離度量投射像素點與立體交錯極線的偏差:

d=α(|lr,t·pr,t|+ll,t+1·pl,t+1)+

β(|ll,t·pl,t|+lr,t+1·pr,t+1)

(2)

式中:|lv,n·pv,n|(v=r,l;n=t,t+1)為投影點pv,n與其相應(yīng)的交叉極線lv,n的豎向距離;α、β表示標準化的權(quán)重系數(shù),運動障礙的投射點不能滿足多個視覺角度下的極線限制,像素點距離與其對應(yīng)的極線距離相對較長,相對于對應(yīng)極線相對較短的靜態(tài)場景,d可以用來衡量相對獨立的運動。

2 基于雙目視覺的障礙物特征立體匹配

通過高斯濾波濾除道理圖像中摻雜的復(fù)雜環(huán)境帶來的噪聲,通過直方圖均衡化實現(xiàn)道路圖像的自適應(yīng)預(yù)處理,有效減少車輛在復(fù)雜環(huán)境下行駛過程中遇到的光照變化影響,同時對局部細節(jié)的對比度進行適應(yīng)性增強,方便障礙物感知時角點[11]的提取。通過卷積函數(shù)算子從雙目視覺圖像中提取障礙物特征的角點,能夠穩(wěn)定去噪,調(diào)節(jié)道路圖像的光照條件,算子為:

(3)

Q=det(H)-k×tr2(H),k=0.04

(4)

此時可以得到道路圖像中提取障礙物特征的角點結(jié)果,圖像經(jīng)過預(yù)處理后,呈現(xiàn)的障礙物特征分布相對均勻,在不同角點下能夠獲得更多的環(huán)境信息。

雖然卷積函數(shù)算子在提取障礙物角點的過程中,能夠最大程度地檢測到角點像素極坐標,但無法完全滿足自動駕駛車輛對環(huán)境的感知精準度,這時需要進一步計算求出各個角點對應(yīng)的具體亞像素坐標,通過二次多項式計算,并逐漸逼近角點反映的真實函數(shù)值。針對任意隨機角點I而言,其像素極坐標的精確位置可通過反應(yīng)函數(shù)I(x,y)表示:

I(x,y)=a1x2+a2y2+a3xy+a4x+a5y+a′

(5)

式中a1,a2,…,a′表示未知權(quán)重參數(shù)[12]。

通過已經(jīng)計算得出的角點坐標(x,y)相鄰的9個像素點,組建包含未知權(quán)重參數(shù)值的超定方程組,對二次多次多項式進行偏導(dǎo)求解,得出與亞角點對應(yīng)的極大值點:

(6)

在預(yù)處理時,道路圖像的亮度差別很大,作出大量的補償調(diào)整后,考慮到降低實際運算量、提高障礙物特征匹配速度需求,使用下列像素灰度差的平方和,作為相似度向量的障礙物角點匹配衡量指標:

(7)

在障礙物匹配時,首先設(shè)置一個查找窗口,重新計算式(7),計算左視圖對應(yīng)實際角點,和右視圖搜索窗口中心尺寸為J×K的障礙物圖像相似程度,求出最大值,在前后2個方向計算并比較結(jié)果。通過上述操作,可以將符合唯一限制條件的匹配對,作為初始條件開始匹配。

基于初始配對結(jié)果利用隨機采樣算法,反復(fù)隨機抽取最小值點集,提高像素點集正確匹配的占比,通過聯(lián)機求出基礎(chǔ)矩陣狀態(tài),自動駕駛汽車行駛過程中,所有采集的特征點都是在極線的限制下進行,可有效地提高雙目視角下障礙物的特征匹配速度[13]。

為了消除錯誤的障礙物特征匹配結(jié)果,引進連續(xù)性假設(shè)約束,通過對雙目視差進行限制,如果2個點在同一個表面上非常接近,那么二者在左右視圖影像上投射和形成的向量方向也大體非常接近。

在獲得三維環(huán)境信息時,對符合連續(xù)限制條件的多個匹配點,求解獲得障礙物匹配點所對應(yīng)的車輛坐標,再通過計算獲得完整的世界坐標系,通過世界坐標系中三維坐標的分布情況和成像效果,可以大致重構(gòu)出雙目視覺效果下車輛前方的環(huán)境輪廓。

3 自動駕駛車輛雙目視覺障礙物感知識別

當(dāng)自動駕駛車輛行駛的路面上沒有任何障礙物時,該情況為路面理想點云密度[14],這種點云密度狀態(tài)和距離有關(guān),與路面的實際平整度無關(guān),為描述路面距離的平滑曲線。

在自動駕駛汽車行駛路面上的任意障礙物所在點P,其投影到雙目視覺攝像機中將會形成2個存在一定視差的對應(yīng)像點,研究障礙物所在點與雙目視覺攝像機之間的距離以及存在的視差關(guān)系可得:

L′=Bf/d′

(8)

式中:L′表示障礙物所在點與攝像機之間的距離;B表示雙目視覺攝像機的基線距離;f表示攝像機的聚焦;d′雙目視覺之間存在的視差。

通過對式(8)變換偏導(dǎo)計算,可以得到雙目攝像機的視差變化率與距離變化率之間的函數(shù)關(guān)系:

(9)

在復(fù)雜交通環(huán)境下,對自動駕駛車輛的障礙檢測過程中,首先應(yīng)先設(shè)置好雙目視覺攝像機,在此基礎(chǔ)上不改變其基線距離和相機焦距,通過引進調(diào)整系數(shù)Ks將函數(shù)關(guān)系簡化:

Ks=-Bf

(10)

視差與距離2種參數(shù)變化率間函數(shù)關(guān)系簡化為:

Δd′/ΔL′=Ks·L′-2

(11)

通過式(9)可知,視差變化率和距離變化率之間存在著非線性函數(shù)關(guān)系,實際距離越近,產(chǎn)生的視差越大。當(dāng)視差的真實分辨率[15]保持在一定范圍內(nèi)時,在近距離范圍內(nèi)通過視差可以計算出分辨率高、點云散點數(shù)量較多,且距離差距小的視覺圖像。當(dāng)距離不斷拉大時,在同樣的分辨率之下,通過視差計算出的圖像視覺效果距離差會逐漸變大,點云散點數(shù)量同樣跟著逐漸下降。在這一特性基礎(chǔ)上,建立車輛行駛路面的理想點云密度擬合模型,計算無障礙物情況下雙目視覺的點云密度柵格圖,通過累計圖中的所有散點進行擬合處理,得到相應(yīng)的理想路面點云圖:

ρ3D=f(L′)=1.026 107L′-2 081

(12)

式(12)為車輛行駛路面的理想狀態(tài)下,同一點位上點云密度ρ3D和距離之間存在的非線性關(guān)聯(lián)情況。通過點云散點數(shù)量及密度分析可知,路面與其存在的障礙物間夾角越大,同樣距離下障礙物在雙目視覺攝像機上透射的像素點越多,點云圖的散點數(shù)量直接影響圖像呈現(xiàn)的像素,因此障礙物所在區(qū)域范圍內(nèi)的散點數(shù)量更多。可以通過散點閾值約束點云密度柵格位置,憑借設(shè)立閾值比較和分割處理,判斷障礙物所在位置。在點云散點圖上感知檢測障礙物的步驟為:

1)計算雙目視覺下,不同視差情況的點云圖,再逐步簡化點云圖;

2)將點云圖簡化后的成像投影到路面的柵格圖中,統(tǒng)計出各個散點在柵格中的投影數(shù)量,得到點云密度的真實柵格圖;

3)在無障礙物情況下,擬合雙目視覺攝像機的配置情況,得出理想狀態(tài)下的點云密度柵格圖;

4)利用設(shè)定閾值篩選分割出柵格圖中障礙物所在真實區(qū)域范圍:

υ/ρ3D>Tρ

(13)

式中:υ表示真實點云密度;ρ3D表示理想點云密度;Tρ表示閾值。根據(jù)閾值比較公式,當(dāng)柵格圖中真實密度和理想密度之間的比值大于設(shè)定閾值時,證明自動駕駛車輛行駛道路上的障礙物在柵格圖中,否則不在柵格圖內(nèi);

5)通過函數(shù)濾波去除掉柵格圖中障礙物所在的孤點,實現(xiàn)障礙物點位連接;

6)將障礙物所在區(qū)域的柵格圖重新投射到雙目視覺攝像機的原始圖像中,著重標記出障礙物所在區(qū)域范圍,跟進具體位置。

4 障礙物感知方法性能實驗

為了驗證本文所研究的障礙物感知方法是否有效,以及方法的具體性能,進行多方面的實驗測試。

4.1 實驗設(shè)置

在安全區(qū)域內(nèi),設(shè)置車輛行駛障礙物實驗環(huán)境,對同一道路上的不同障礙物情況進行感知檢測。實驗環(huán)境中設(shè)置5-6、6種不同大小的障礙物,其中障礙物分為動態(tài)和靜態(tài)2種,如行走中的行人、騎車的人以及停放在路邊的車輛等。上述障礙物分布在車輛行駛過程中的不同位置如圖1所示。

圖1 障礙物設(shè)置情況Fig.1 Obstacle setting

4.2 結(jié)果分析

1)識別效果分析。

利用本文方法對雙目視覺灰度圖像進行障礙物特征提取和融合,判斷雙目視覺下對障礙物的感知是否清晰無誤,原始的雙目圖像如圖2所示。

圖2 雙目攝像機采集圖像樣本的預(yù)處理Fig.2 Image samples collected by binocular camera

通過圖2中的圖像對比可以觀察到,圖內(nèi)存在大量的屬于同一物體但不連通的區(qū)域,在雙目視覺雖然感知范圍更加廣泛,但是單視覺之間存在一定的視差。左右目相機分別拍攝各自視覺范圍內(nèi)的景象,通過雙目視覺相機的綜合機制將其融合后,得到完整且視角廣泛的圖像信息。本文根據(jù)圖1的左右目圖像識別和匹配障礙物特征,得到結(jié)果如圖3所示。

圖3 雙目視覺障礙物特征識別Fig.3 Binocular visual obstacle feature recognition

在不同距離下對左右視差灰度圖像二值化處理,測試到不同區(qū)域內(nèi)的障礙物位置特征,通過特征識別和匹配,可以清晰地捕捉到左右目圖像中的障礙物輪廓。此時將左右目圖像雙目視覺約束后,得到完整視覺如圖4所示。雙目視覺圖像下的障礙物感知識別非常清晰,從視覺角度可以判斷所提障礙物感知方法有效。

圖4 雙目視覺障礙物感知識別效果Fig.4 Binocular visual obstacle perception and recognition effect

2)特征匹配結(jié)果分析。

分別利用本文方法、雷達數(shù)據(jù)檢測法[1]、慣性傳感器融合檢測法[2]和單目視覺感知方法[5],提取車輛行駛圖中的障礙區(qū)域特征點,分析特征點與實際障礙物的匹配結(jié)果。4種方法特征匹配對比實驗結(jié)果如圖5所示。當(dāng)視覺角度不斷變化增加時,4種方法在提取障礙物特征點后,特征點匹配的準確率會隨之下降。其中,3種對比方法的匹配正確率,受到視覺角度變化的影響較大,當(dāng)角度變化角度接近直角時,正確率相對較低。本文方法受到視覺角度變化的影響則相對穩(wěn)定,特征點匹配度總體較高,在視覺角度變化較大時,仍能夠準確識別障礙物的特征點,并對其進行準確匹配。

3)感知檢測誤差結(jié)果分析。

為保證實驗結(jié)果的準確性,將實驗次數(shù)設(shè)置在10次,統(tǒng)計4種方法對障礙物的感知檢測誤差,結(jié)果如圖6所示。雷達數(shù)據(jù)檢測法[1]和慣性傳感器融合檢測法[2]對障礙物的感知檢測誤差相對較高,最大感知誤差分別為2.7 cm和2.2 cm,單目視覺感知方法[5]對障礙物的感知檢測誤差最大值為1.3 cm,而本文方法下的感知誤差整體維持在0.8 cm以內(nèi),在實驗前期幾次實驗時,感知誤差略有增大現(xiàn)象,但隨著實驗次數(shù)的不斷增加,誤差開始逐漸降低,和其他3種方法相比,感知誤差更小,檢測障礙物的準確性和精度更好。

圖6 不同方法下障礙物感知誤差情況Fig.6 Obstacle perception error under different methods

4)定位時間結(jié)果分析。

采用所提方法、雷達數(shù)據(jù)檢測法[1]、慣性傳感器融合檢測法[2]和單目視覺感知方法[5],提取車輛行駛圖中的障礙物,對比不同方法所用的定位時間。定位時間越長,自動駕駛車輛障礙物感知效率越低,相反,定位時間越短,自動駕駛車輛障礙物感知效率越高,不同方法的實驗結(jié)果如圖7所示。A～E為動態(tài)障礙物、F～J為靜態(tài)障礙物。分析圖7中的數(shù)據(jù)可知,針對不同類型的障礙物感知定位,動態(tài)類型的障礙物感知定位時間普遍高于靜態(tài)障礙物。其中,動態(tài)障礙物和靜態(tài)障礙物本文方法的感知定位時間分別在15 ms和11 ms附近波動,雷達數(shù)據(jù)檢測法[1]、慣性傳感器融合檢測法[2]和單目視覺感知方法[5]的感知定位時間分別在17、13、18 ms和14、18和12 ms附近波動。對比發(fā)現(xiàn),在不同類型的障礙物下本文方法的感知定位時間均低于3種對比方法,表明本文方法應(yīng)用下的自動駕駛車輛障礙物感知效率高于3種對比方法。

圖7 不同方法下障礙物感知定位時間情況Fig.7 Obstacle perception and location time under different methods

5 結(jié)論

1)在多視覺角度極線約束下,通過對障礙物進行特征識別和匹配,有效地解決了障礙物感知識別不準確的問題。

2)通過研究極線問題,解決了雙目攝像機不能在相同移動方向上探測障礙物的問題。

3)本文方法能夠準確識別不同類型的路面障礙物,同時視覺匹配準確率高,感知誤差整體維持在0.8 cm以內(nèi),感知定位時間分別在15 ms和11 ms附近波動,所提方法具有較好的障礙物感知性能。

本文主要針對的是固定場景多障礙物類型進行感知,但是實際行駛過程中,自動駕駛的場景是動態(tài)多變的,下一步將重點分析不同駕駛場景中的障礙物感知效果。