基于全局與局部模型相互制約及具有模型不確定性評估的車道線檢測方法

劉曉龍 鄧志東

(清華大學(xué)計算機(jī)系，北京 100084)

(清華大學(xué)智能技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室，北京 100084)

對城區(qū)和高速公路等具有車道線的結(jié)構(gòu)化或半結(jié)構(gòu)化道路交通環(huán)境，要實(shí)現(xiàn)無人駕駛車輛的自主行駛，完成單一車道的基于攝像機(jī)視覺的可靠跟蹤與變道超車等功能，車道線的檢測、識別與跟蹤無疑是最基本與最重要的能力之一.

基于攝像機(jī)視覺的有關(guān)車道線檢測方法的研究，已有較長歷史并已應(yīng)用到各個實(shí)驗(yàn)系統(tǒng)中.例如，早在1991年，CMU基于NavLab實(shí)現(xiàn)了UNSCARF(非監(jiān)督分類器un-supervised classification applied to road finding)［1］，1993 年則進(jìn)一步實(shí)現(xiàn)了SCARF(監(jiān)督分類器supervised classification applied to road finding)［2］.近年來，車道線檢測方法的研究得到了長足的發(fā)展.McCall等［3］于2006年實(shí)現(xiàn)了一種基于視覺的車道線檢測輔助駕駛功能.在這些方法中使用的車道線模型，則經(jīng)歷了直線模型、同心圓模型［4］、二次曲線模型［5］、三次曲線模型和樣條曲線模型［6］等，這些模型各有特點(diǎn)，并具有不同的適用條件.在有關(guān)車道線跟蹤方法的研究中，1998年，Isard等［7］利用條件概率傳播模型實(shí)現(xiàn)了一種基于粒子濾波的車道線檢測方法.Sehestedt等［8］在城區(qū)道路中使用了粒子濾波的方法.2012年我們在車道線的檢測與跟蹤中也利用了粒子濾波方法來提高車道線檢測的穩(wěn)定性［9］.其他研究還有使用蒙特卡洛方法進(jìn)行車道線檢測的研究［10］，將原始圖像變換為俯瞰圖進(jìn)行車道線檢測的方法［11］，或者與原始圖像相結(jié)合進(jìn)行車道線檢測的方法［12-13］等.

為了提高車道線檢測方法對光照、陰影及地面上其他干擾的適應(yīng)性，本文提出了一種新的基于全局與局部模型相互制約及具有模型不確定性評估的車道線檢測方法.這里的車道線局部模型基于分段直線模型建立，而全局模型則采用了3次B樣條曲線.同時通過對掃描點(diǎn)進(jìn)行不確定性評估，以重新確定掃描范圍等.文中面向高速公路進(jìn)行了大量的真實(shí)道路實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明，利用本文方法獲得的預(yù)瞄點(diǎn)，其平均側(cè)向偏差小于0.3 m，平均角度偏差小于0.03°，能夠基本滿足無人駕駛車輛在高速公路上進(jìn)行自主行駛的實(shí)際需要.

1 一種新的車道線檢測方法

本文提出基于全局模型與局部模型的相互交互來進(jìn)行車道線的定位檢測.這里的局部模型采用了分段直線模型來擬合車道線，以達(dá)到去除噪聲的目的.而全局車道線模型則采用了3次B樣條，并通過對噪聲的不確定性估計，為下一次檢測劃定掃描范圍.在指定的掃描范圍內(nèi)，反過來也可更好地去除噪聲的干擾.如此反復(fù)，通過全局模型與局部模型的相互交互與相互制約，就可實(shí)現(xiàn)對車道線的可靠穩(wěn)定檢測與跟蹤.

1.1 車道線模型

1)局部模型

為了提高檢測的可靠性，局部模型選擇了分段直線模型，該模型可以很好地逼近車前近距離的車道線，并可同時處理連續(xù)型車道線與斷續(xù)型車道線等各種情形.

如圖1所示，對于車前的車道線，可以按左右、近遠(yuǎn)劃分為4個部分，即LL1，LR1，LL2和LR2.

圖1 車道線局部分段直線模型

事實(shí)上，從車道線的原始圖像中可以非常清晰地觀察到前方的4段車道直線，因此該模型的使用具有堅實(shí)的數(shù)據(jù)與實(shí)驗(yàn)基礎(chǔ).但對連續(xù)的車道線，由于無法區(qū)分出車道直線的兩端，因此此時需要采取強(qiáng)制分段的方法來實(shí)現(xiàn)分段模型的應(yīng)用.

強(qiáng)制分段的做法是在像素圖像中先驗(yàn)地劃出一個感興趣的范圍.劃分的規(guī)則須保證同時至少有一段車道線能進(jìn)入像素圖像的視野.基于檢測到的第1段車道線，再進(jìn)行第2段車道線的范圍劃分，并在此范圍進(jìn)行檢測.

2)全局模型

由于局部模型可以準(zhǔn)確地檢測到車道線的位置，因此在局部模型基礎(chǔ)上可進(jìn)一步引入全局模型，這里我們使用3次B樣條曲線作為車道線的全局模型.

3次B樣條控形能力強(qiáng)，變差小，具有二階導(dǎo)數(shù)的連續(xù)性，在自由曲線和曲面設(shè)計中得到了廣泛的應(yīng)用.非均勻3次B樣條曲線具有局部性、幾何不變性、連續(xù)性、對稱性、遞推性、凸包性和變差縮減性等性質(zhì)［14］.

根據(jù)局部模型的檢測結(jié)果，若能準(zhǔn)確地給出車道線上的若干點(diǎn)，則能夠?qū)崿F(xiàn)3次B樣條曲線的插值.對于左側(cè)和右側(cè)分別提取出的車道線直線段LL1，LL2和LR1，LR2，可對其4個端點(diǎn)采用3次B樣條進(jìn)行插值，并據(jù)此將左右車道線分別用插值點(diǎn)點(diǎn)集來表示.

1.2 不確定性評估

在車道線局部模型的檢測過程中，不可避免地存在來自光照與路面陰影等各種噪聲干擾，因此需要對檢測到的車道線進(jìn)行不確定性評估.考慮到道路感知不但有可見光視覺，而且還有基于激光雷達(dá)與毫米波雷達(dá)的馬路牙子檢測等，因此檢測車道線并進(jìn)行相應(yīng)的不確定性評估，還可以實(shí)現(xiàn)多源異構(gòu)傳感器的信息融合.

不確定性評估可以基于多種指標(biāo)進(jìn)行描述，比如標(biāo)準(zhǔn)離差、高斯度等.考慮到計算的實(shí)時性，本文采用均方根值作為置信度，即根據(jù)掃描點(diǎn)到樣條曲線的距離，取均方根作為置信度，最后進(jìn)行歸一化處理作為掃描范圍和數(shù)據(jù)融合的依據(jù).

為簡化計算，按行掃描，取每個點(diǎn)到對應(yīng)行的列距離，即x坐標(biāo)的差值進(jìn)行計算:

式中，di為樣條曲線上的對應(yīng)點(diǎn);xi為掃描到的對應(yīng)點(diǎn).這里r被稱為置信度.

計算出的置信度r通常需要進(jìn)行歸一化處理，即→r=min(kr，1)，→r為歸一化后的置信度.經(jīng)過比例因子k的處理，若大于1則認(rèn)為是1，若小于1，則取乘積值，這里k的取值可根據(jù)經(jīng)驗(yàn)數(shù)據(jù)確定.

1.3 一種基于全局與局部模型相互制約及具有模型不確定性評估的車道線檢測方法

在進(jìn)行車道線檢測之前，需要首先完成攝像機(jī)的標(biāo)定工作，以便得到攝像機(jī)的內(nèi)參數(shù)和畸變參數(shù)等，此處不再討論.本文提出的基于可見光攝像機(jī)的車道線檢測系統(tǒng)，其結(jié)構(gòu)框圖如圖2所示.

圖2 車道線檢測框圖

1.3.1 車道線檢測的初始化

為簡化車道線追蹤的過程，假設(shè)車停在車道線內(nèi)，且基本與車道線平行，車道線中間無其他的標(biāo)志轉(zhuǎn)彎或者直道等標(biāo)志信息.保證車道線邊緣清晰以便容易檢測.

1)初始掃描范圍的確定

大部分的其他信息在車道線檢測中并不需要，因此采用剪切的方式，提取出可能是車道線的范圍.根據(jù)車的初試位置假設(shè)，可以大致確定左邊車道線和右邊車道線的大致范圍.

如圖3所示，左側(cè)車道線和右側(cè)掃描范圍.在車初試位置假設(shè)條件下，只提取出圖中所示2塊區(qū)域就可以得到左側(cè)車道線和右側(cè)車道線的信息.

圖3 車道線掃描范圍的劃定

而在此掃描范圍劃定后，可以在此范圍內(nèi)計算均值，得到二值化的閾值信息，將更好地反映出車道線鄰近的光照變化，從而減少與其他區(qū)域光照影響的相關(guān)度.

2)檢測LL1，LR1

在以上劃定范圍的圖像中，可以很輕松地區(qū)分出左側(cè)車道線和右側(cè)車道線.以左側(cè)車道線為例，進(jìn)行初始檢測的描述.

在左側(cè)車道線掃描范圍內(nèi)，進(jìn)行雙閾值二值化.利用霍夫變換，能夠檢測到一系列的直線，并且同一段直線可能出現(xiàn)分成2段的可能性.需要對檢測到的直線進(jìn)行聚類.

聚類的規(guī)則是，任意2個直線的斜率差小于某閾值，截距差也小于某一閾值，可以認(rèn)為是同一個類內(nèi)的直線.然后對直線進(jìn)行合并，合并的規(guī)則為斜率和截距都取兩直線的均值，直線的長度取最長的一條.然后與新的直線進(jìn)行判別，若是屬于同一類則進(jìn)行合并，如果不滿足要求則建立一個新的類.聚類最后可以得到一條或者幾條直線.選擇LL1的規(guī)則為在聚類后的結(jié)果中選擇最長的直線作為LL1.同此原則可以得到LR1.

3)檢測LL2，LR2

根據(jù)檢測出來的LL1，在LL1的最上端，加上一個固定值，作為掃描第2段范圍的下邊界，重復(fù)第1段的檢測方法則可以得到第2段的LL2值.同理可得到LR2.

若車道線不是分段的，而是連續(xù)的，則不存在第1段的上邊界作為第2段的下邊界.可以利用強(qiáng)制分段的方法來解決此問題.

當(dāng)?shù)玫?段車道線后，則根據(jù)局部模型進(jìn)行3次B樣條的插值得到全局模型，如圖4所示.左側(cè)車道和右側(cè)車道線均線插值為直線.8個提取出來的控制點(diǎn)作為強(qiáng)制控制點(diǎn)，將成為B樣條擬合用的基準(zhǔn)點(diǎn).中間線為經(jīng)過雙側(cè)車道線進(jìn)行取均值后得到的直線，并且如果是運(yùn)行在單邊模式，則根據(jù)實(shí)時的路寬平移半個車道的寬度進(jìn)行計算.

圖4 初始檢測結(jié)果

初始化的過程中還能得到車道的寬度信息，且此信息在進(jìn)行維護(hù)的時候可進(jìn)行實(shí)時更新.

1.3.2 全局與局部模型的建立

根據(jù)初始檢測得到的左右車道線的信息，可以確定出初始的掃描范圍，并基于新的掃描范圍完成內(nèi)側(cè)車道線的掃描.

對掃描得到的一系列點(diǎn)，右側(cè)處理方式與左側(cè)相同，這里不妨以左側(cè)為例予以說明.若左側(cè)得到的掃描點(diǎn)很清晰，則可基于Hough變換方法對掃描點(diǎn)進(jìn)行直線檢測，且取其中最長的直線作為LL1.記錄下LL1的斜率和截距信息，根據(jù)強(qiáng)制取直線上固定點(diǎn)的方法得到2個基準(zhǔn)點(diǎn).通過第LL1的上端點(diǎn)，可以確定出第2段的掃描范圍點(diǎn).

在第2段的掃描范圍內(nèi)，同樣可采用Hough變換方法檢測直線.檢測到的直線取最長的作為LL2，即認(rèn)為檢測到的直線越長，其越可能是車道線.

如果LL2能夠被檢測到，還要滿足其與LL1的相互約束關(guān)系.設(shè)定的規(guī)則為LL2的斜率與LL1的斜率差和截距差均要小于相應(yīng)的設(shè)定閾值.此閾值需要通過實(shí)際調(diào)試來確定.如果太小，則不容易檢測到LL2;如果太大，則容易引入干擾.

強(qiáng)度圖的加入可以增加對抗陰影的能力.由于強(qiáng)度圖掃描得到的點(diǎn)在車道線的中間，這是寬度濾波器的作用.如果車道線邊緣比較清晰，則不會掃描到強(qiáng)度圖信息.反之，如果車道線邊緣不清晰，則可以掃描到強(qiáng)度圖信息，從而避免掃描到路緣等周圍的其他信息使檢測結(jié)果產(chǎn)生較大的誤差.事實(shí)證明，此法可在很大程度上提高了車道線在陰影區(qū)域的檢測可靠性.

檢測到4條直線則可以建立左右車道線的局部模型.得到局部模型后以左側(cè)車道線為例，從2條線上取4個點(diǎn)作為全局模型的基準(zhǔn)點(diǎn)，從而通過3次B樣條建立相應(yīng)的全局模型.

進(jìn)一步利用前述的基于均方根的置信度計算方法，可得到單側(cè)車道線的不確定性評估值.同理也可完成右側(cè)車道線的處理.

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)平臺采用清華大學(xué)最新研制的新一代無人駕駛汽車THU-ALV2，如圖5所示.可見光攝像機(jī)采用高速黑白相機(jī).試驗(yàn)測試環(huán)境為G7高速公路(北京五環(huán)路-北清路段)，長度約有5 km左右.

圖5 清華新一代無人駕駛汽車THU-ALV2

高速公路上的干擾相對較少，主要來自光照變化和路面陰影等.此外也有諸如地上的箭頭、多層車道線等指示性信息所帶來的干擾.高速公路自主行駛試驗(yàn)結(jié)果，如圖6所示.其中，圖6(a)為車道線檢測結(jié)果圖，圖6(b)為二值化后的結(jié)果顯示，圖6(c)為強(qiáng)度過濾后的顯示圖;圖6(d)、(e)、(f)為對應(yīng)的結(jié)果顯示，但路況為有其他車輛干擾.

圖6 高速公路試驗(yàn)結(jié)果

如圖7所示，我們截取了約200 s的側(cè)向位置數(shù)據(jù)，其中橫軸表示幀數(shù)(幀率為30幀/s)，縱軸表示局部坐標(biāo)系下的側(cè)向位置x，單位為cm.由于高速公路彎道平緩，因此沒有出現(xiàn)較大的x值.從圖中可以看出，x值一直在0附近波動，無野值出現(xiàn)，這與無人駕駛車輛平穩(wěn)自主行駛的實(shí)際情況相符.圖8給出了預(yù)瞄點(diǎn)處的航向角度值.顯然，航向角并未出現(xiàn)較大的波動，符合高速公路自主行駛的實(shí)際情況.

圖7 預(yù)瞄點(diǎn)側(cè)向位置值x

圖8 預(yù)瞄點(diǎn)航向角度值Ψ

無人車在正常速度下行駛，長時間內(nèi)會出現(xiàn)車道向左或向右轉(zhuǎn)彎的情況，因此我們截取了從起初10 s到20 s內(nèi)的10 s數(shù)據(jù)，在70 km/h的車速下無人駕駛車輛一共行駛了194.4 m.在此時間段內(nèi)假定車道線曲率不變，相應(yīng)的測試結(jié)果如圖9所示.

圖9 10 s內(nèi)預(yù)瞄點(diǎn)側(cè)向位置x和航向角Ψ

從圖9可以看出，10 s內(nèi)預(yù)瞄點(diǎn)側(cè)向位置x的均值與方差分別為0.3113和0.0194;航向角Ψ的均值與方差分別為0.0131和4.7484×10－5.進(jìn)一步分析表明，側(cè)向位移最大誤差為0.3026 m，方差為 0.0194;航向角最大誤差為 0.0247°，方差為0.00047484.顯然側(cè)向位置與航向誤差及其方差都很小.實(shí)際測試時車速小于70 km/h，無人駕駛車輛運(yùn)行平穩(wěn)，車道線檢測穩(wěn)定可靠，且滿足實(shí)時性的要求.

3 結(jié)語

本文提出了一種新的基于全局與局部模型相互制約及具有模型不確定性評估的車道線檢測方法.實(shí)驗(yàn)結(jié)果表明，采用此方法獲得的側(cè)向定位誤差小于0.3 m，航向定位誤差小于0.03°，能夠基本滿足無人駕駛車輛在高速公路自主行駛的實(shí)際需要.

由于車道線檢測是基于掃描的方法，如果中途路況復(fù)雜，導(dǎo)致車道線丟失，車道線就會進(jìn)入初始化階段.由于初始化掃描范圍較小，并且存在一些假定(如車道線非常干凈且無人駕駛車輛位于車道線中間)，因此此時或會出現(xiàn)車道線重新檢測時延或者不能重新找回車道線的情況.未來我們將進(jìn)一步提高重新檢測的可靠性，以便結(jié)合本文提出的方法，進(jìn)行更大范圍的應(yīng)用.

References)

［1］Crisman J.UNSCARF:a color vision system for the detection of unstructured roads［C］//Proceedings of IEEE International Conference on Robotics and Automation.Sacnunento，CA，USA，1991:2496-2501.

［2］Crisman J D.SCARF:a color vision system that tracks road sand intersections［J］.IEEE Transactions on Robotics and Automation，1993，9(1):49-58.

［3］McCall J C，Trivedi M M.Video-based lane estimation and tracking for driver assistance:survey，system，and evaluation［J］.IEEE Transactions on Intelligent Transportation Systems，2006，7(1):20-37.

［4］Kluge K，Thorpe C.The YARF system for vision-based road following［J］.Mathmatical and Computer Modelling，1995，22(4/5/6/7):213-233.

［5］Kluge K.Extracting road curvature and orientation from image edge points without perceptual grouping into features［C］//Proceedings of the Intelligent Vehicles'94 Symposium.Paris，F(xiàn)rance，1994:109-114.

［6］Zhao Kun，Meuter M，Nunn C，et al.A novel multilane detection and tracking system［C］//Proceedings of 2012 IEEE Intelligent Vehicles Symposium.Madrid，Spain，2012:1084-1089.

［7］Isard M， Black A. CONDENSATION—conditional density propagation for visual tracking［J］.International Journal of Computer Vision，1998，29(1):5-28.

［8］Sehestedt S，Kodagoda S，Alempijevic A，et al.Robust lane detection in urban environments［C］//Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems.San Diego，CA，USA，2007:123-128.

［9］Yao Wentao，Deng Zhidong，Chen Zhenhua.A global and local condensation for lane tracking［C］//Proceedings of 2012 International IEEE Conference on Intelligent Transportation Systems(ITSC).Anchorage，AK，USA，2012:276-281.

［10］Wang Yanqing，Chen Deyun，Shi Chaoxia et al.Vision-based road detection by Monte Carlo method［J］.Information Technology Journal，2010，9(3):481-487.

［11］Bertozzi M，Broggi A.Gold:a parallel real-time stereo vision system for generic obstacle and lane detection［J］.IEEE Transactions on Image Processing，1998，7(1):62-81.

［12］Kim Z.Robust lane detection and tracking in challenging scenarios［J］.IEEE Transactions on Intelligent Transportation Systems，2008，9(1):16-26.

［13］Wang Y，Bai L，F(xiàn)airhurst M.Robust road modeling and tracking using condensation［J］.IEEE Transactions on Intelligent Transportation Systems，2008，9(4):570-579.

［14］穆國旺.非均勻有理B樣條［M］.北京:清華大學(xué)出版社，2010:50-52.