基于特征融合的視覺導(dǎo)航智能車輛的車道識別*

李 進，陳杰平，易克傳，徐朝勝

(安徽科技學(xué)院機械工程學(xué)院，滁州 233100)

?

2015105

基于特征融合的視覺導(dǎo)航智能車輛的車道識別*

李 進，陳杰平，易克傳，徐朝勝

(安徽科技學(xué)院機械工程學(xué)院，滁州 233100)

為兼顧車道識別的實時性和魯棒性，有序融合了圖像中車道線邊緣、邊緣方向、車道寬度和邊緣灰度等特征信息。同時，在識別第1幀車道圖像時對整幀圖像進行處理；在識別后續(xù)各幀車道圖像時，根據(jù)上一幀圖像的識別結(jié)果確定動態(tài)約束區(qū)，并在約束區(qū)域內(nèi)完成識別。實車道路試驗結(jié)果表明，通過有序融合各種特征信息和合理設(shè)置動態(tài)約束區(qū)能有效識別路面車道線，且車道跟蹤具有較好的精確性和可靠性。

智能車輛；車道識別；特征融合；動態(tài)約束

前言

基于視覺導(dǎo)航的智能車輛車道保持系統(tǒng)包括車道路徑的識別和跟蹤控制兩個關(guān)鍵技術(shù)[1]。在路徑識別方面，國內(nèi)外相關(guān)研究者已做了大量的研究工作[2-7]。這方面研究目前面臨的主要問題是機器視覺對各種路面環(huán)境的快速識別和理解能力較差，尤其是復(fù)雜情況下識別難度較大。如文獻[8]中提出了連通區(qū)域搜索和道路邊界霍夫檢測相結(jié)合的方法；文獻[9]中先用模板匹配獲取候選車道線，再采用隨機樣本一致算法和卡爾曼濾波計算車道線方程；文獻[10]中提出一種基于動態(tài)閾值的車道路徑識別方法，能夠動態(tài)調(diào)整二值化閾值以適應(yīng)外界光照的變化；文獻[11]中提出了一種魯棒的非平坦路面車道線檢測算法，在彎道和非平坦路面上具有較強的魯棒性；文獻[12]中在機器視覺基礎(chǔ)上根據(jù)識別出的錐形標間的拓撲關(guān)系構(gòu)建虛擬車道線的方法。

智能車輛車道識別的關(guān)鍵在于要同時保證識別的可靠性和實時性。要做到這一點，除認識到可靠性和實時性相對立的一面外，更重要的是認識到它們相輔相成的一面，即局部范圍內(nèi)的高可靠性能夠有效排除干擾因素，從而減小后續(xù)數(shù)據(jù)處理量，利于整體實時性的提高；整體意義上的高實時性能夠在總體上減少數(shù)據(jù)處理量，從而為保證局部的可靠性贏得寶貴時間。

為此，提出一種基于路面特征融合的車道識別方法。其思路是：(1)對車道圖像進行縱向分區(qū)和分段識別；(2)在識別第1幀圖像時對整個圖像區(qū)域進行處理，而在識別后續(xù)各幀圖像時則根據(jù)上一幀圖像識別結(jié)果確定一個動態(tài)約束區(qū)域，并僅在該區(qū)域內(nèi)完成車道識別以降低數(shù)據(jù)計算量；(3)在識別車道時有序地融合各種路面特征以有效排除非車道線，得到兼顧實時性和可靠性的識別結(jié)果。

1 第1幀圖像識別

對整幅圖像進行縱向分區(qū)，先通過融合各種路面特征完成第1分區(qū)識別，再依次對臨近待識別分區(qū)的車道位置進行跟蹤識別，并完成各分區(qū)識別以得到該幀圖像的完整車道線。

1.1 第1分區(qū)識別

確定距離智能車輛最近的一個分區(qū)為第1分區(qū)，首先對該區(qū)域進行識別。

1.1.1 特征信息選取

在識別時，特征信息的選取需要考慮以下3個方面。

(1) 特征功效 即選取的特征應(yīng)能夠在某些方面有效地區(qū)分車道線和非車道線。

(2) 特征數(shù)量 即選取的特征數(shù)量應(yīng)適當。數(shù)量過多導(dǎo)致數(shù)據(jù)計算量過大，數(shù)量過少在復(fù)雜環(huán)境下難以有效識別出目標車道。

(3) 使用次序 特征的使用應(yīng)按照一定的順序。一般來說，過濾非車道線能力較強的特征其實現(xiàn)算法也較為復(fù)雜；反之，亦然。而實際道路環(huán)境中非車道線的干擾時大時小，故在使用各種特征時采取先使用算法較為簡單的特征(過濾非車道線能力較弱)，再使用算法較為復(fù)雜的特征(過濾非車道線能力較強)。其原因是：在外界干擾小時，僅采用較簡單的算法、較少的特征即可完成車道的有效識別，從而提高實時性；而在外界干擾較強、已使用的特征無法有效識別時才使用更為復(fù)雜的算法和更多的特征，從而在整體上兼顧實時性和可靠性。

這里選取的特征依次為：邊緣特征、邊緣方向特征、車道寬度特征和邊緣灰度特征，如圖1所示。

1.1.2 識別步驟

(1) 邊緣特征檢測 采用Sobel算子初步得到包括車道線邊緣和非車道線邊緣的邊緣信息。

(2) 邊緣方向特征檢測 對于車道線上的各邊緣點，其3×3鄰域的0°和±45°方向上一般至少存在2個車道線邊緣點，故根據(jù)這一邊緣方向特征可以過濾掉部分非車道線邊緣點。

(3) 車道寬度特征檢測 檢驗任意兩個相鄰邊緣點之間的距離是否滿足定寬條件，即路面車道線在獲取圖像中的橫向?qū)挾葢?yīng)該在一個限定的合理區(qū)間內(nèi)。因此，對邊緣圖像按行進行掃描，當檢測到一個邊緣點時，繼續(xù)掃描直至檢測到下一個邊緣點；判斷這兩個邊緣點之間的距離是否在車道寬度合理區(qū)間內(nèi)，如果是，則保留，反之則將前面檢測到的邊緣點視為非車道邊緣點，將其排除。

(4) 邊緣灰度特征檢測 計算剩余邊緣點左右一定寬度(即車道寬度合理區(qū)間)內(nèi)的原始圖像灰度均值，如果左右兩邊均值的差值大于一定閾值，則該邊緣點為車道邊緣點，反之不是。閾值選取方法參見文獻[13]。

1.1.3 車道寬度合理區(qū)間的確定

上述識別方法的步驟(3)和步驟(4)需要用到車道寬度合理區(qū)間[dmin,dmax]。dmin和dmax取值與前述初始條件有關(guān)。在識別第1幀車道圖像時，其取值以離線標定方式確定。之后根據(jù)上一幀圖像識別結(jié)果在線調(diào)整，具體見文獻[10]。

1.2 后續(xù)分區(qū)跟蹤識別

根據(jù)車道線的縱向連續(xù)性特征，利用已識別分區(qū)車道跟蹤相鄰待識別分區(qū)內(nèi)車道線的候選位置。

1.2.1 連續(xù)車道線跟蹤

如圖2所示，以車道圖像中的已識別i分區(qū)和相鄰的待識別i+1分區(qū)為例。i分區(qū)已識別車道線為圖中陰影區(qū)域。在識別i+1分區(qū)時，先確定i+1分區(qū)的車道候選位置為圖中i+1分區(qū)內(nèi)封閉的矩形區(qū)域。其縱向?qū)挾葹閕+1分區(qū)的縱向?qū)挾龋錂M向?qū)挾萀i+1為

Li+1=ERi-ELi+DLi+DRi

(1)

式中：ELi、ERi分別為i分區(qū)與i+1分區(qū)相鄰處i分區(qū)的車道線左右邊緣點；DLi、DRi分別為i+1分區(qū)車道線向左和向右的最大預(yù)計變動量，它們確定了i+1分區(qū)車道線的候選區(qū)域，這里均取ERi-ELi。

1.2.2 間斷車道線跟蹤

2 后續(xù)各幀圖像識別

因兩幀圖像之間車道位置變化不大，故根據(jù)前一幀圖像中已識別車道位置可以對當前幀圖像中的車道位置進行約束，并在約束區(qū)域內(nèi)完成識別。

2.1約束區(qū)的確定

2.1.1 確定縱向約束區(qū)

如圖4所示，其中各縱向虛線段為上一幀圖像的已識別車道線。縱向約束區(qū)為包含該虛線車道線及其左右各Sn寬度的圖像區(qū)域(n為圖像像素行數(shù))。Sn應(yīng)大于相鄰兩幀圖像中第n像素行車道線橫向位置變化量的最大值。其取值由車道線橫向?qū)挾取z像機安裝方位和最高車速等決定。實車試驗時，車道線橫向?qū)挾燃s為4.8cm，攝像機安裝高度為1.08m，攝像機軸線與水平面呈18°，最高車速為10m/s。經(jīng)試驗測試，Sn取值為上一幀圖像中第n行已識別車道寬度的0.7倍較為合適。

2.1.2 確定橫向約束區(qū)

車道識別的目的在于為車道跟蹤控制提供控制參數(shù)，通過合理識別圖像中的部分車道線就能夠提取到滿足控制要求的車道線，即沒有必要對攝像機獲取的整個圖像范圍內(nèi)的車道線都進行識別。故在路面圖像中確定遠近兩個橫向矩形區(qū)域(遠檢測區(qū)和近檢測區(qū))，形成橫向約束區(qū)。

對于每條待識別車道，在縱向約束和橫向約束共同限定下的兩個區(qū)域為下一幀圖像的動態(tài)約束區(qū)域，見圖4中各陰影區(qū)域。

2.2 約束區(qū)內(nèi)車道識別

在約束區(qū)內(nèi)按照上述識別方法完成該分區(qū)車道的識別。需要指出的是，因為僅在候選區(qū)域內(nèi)進行車道識別，實際檢測區(qū)域已經(jīng)很小，故上述4個步驟的識別方法(4個特征信息)未必都須進行即可完成該分區(qū)的識別任務(wù)。

3 導(dǎo)航參數(shù)動態(tài)提取

車載攝像機采集的路面車道圖像如圖5所示。遠檢測區(qū)和近檢測區(qū)的已識別車道近似為直線l1和l2。文獻[14]中給出了采用固定導(dǎo)航參數(shù)法提取角度偏差α和位置偏差d的方法。

為使α和d能夠適應(yīng)實際行駛路況的變化，讓圖5中y1軸位置可沿縱向移動，其實際位置由l1與l2之間的方位偏差量E決定。E由車道l1和車道l2計算，其值為

E=q|α1-α2|+|d1-d2|

(2)

式中：α1、α2分別為l1、l2的角度偏差，(°)；d1、d2分別為l1、l2的位置偏差，cm；q為角度偏差與位置偏差的換算系數(shù)。

當E較小時，可以理解為此時圖像窗口內(nèi)的車道路徑整體上較為平直，可以更多地關(guān)注遠處路況以增大視野，故此時沿縱向適度上移y1軸位置，提取的車道l更趨向于遠處路面車道位置；反之，當E較大時，說明此時車道路徑變化較為劇烈，應(yīng)更多地關(guān)注近處路況以保證車輛可靠地沿車道行駛而不偏離，故沿縱向適度下移y1軸位置，則提取的車道l更趨向于近處路面車道位置。可見，以l1與l2的方位偏差量為依據(jù)實時調(diào)整y1軸縱向位置，能夠使提取的車道l及其導(dǎo)航參數(shù)隨實際道路動態(tài)變化。

在確定導(dǎo)航參數(shù)后，智能車輛的速度v也根據(jù)E值實時計算。車道跟蹤控制器則根據(jù)實時導(dǎo)航參數(shù)和車速進行跟蹤控制[5]，如圖6所示。

4 道路試驗

智能車輛車道保持系統(tǒng)主要由智能車輛、車道圖像識別系統(tǒng)和車道跟蹤系統(tǒng)組成，具體見文獻[15]。

4.1 車道識別

圖7為采用上述車道識別方法識別第1幀車道圖像的結(jié)果。圖7(a)為原始圖像，經(jīng)Sobel算子處理后得到許多非車道線邊緣點；經(jīng)過邊緣方向特征處理后消除了部分非車道線邊緣，但仍有不少干擾點存在；經(jīng)過車道寬度特征處理后，僅存在很少干擾點；最后經(jīng)邊緣灰度特征處理后得到有效識別結(jié)果。由圖7可知，按照上述4種特征進行有序處理后，非車道邊緣點逐步被剔除；且各種特征對非車道邊緣點的過濾效果逐漸加強，并最終得到理想的識別結(jié)果。

4.2 動態(tài)約束下識別結(jié)果

識別后續(xù)各幀圖像時，在橫向約束區(qū)和縱向約束區(qū)共同限定的實際檢測區(qū)內(nèi)進行。識別結(jié)果見圖8。在各檢測區(qū)內(nèi)同樣進行縱向分區(qū)，在各分區(qū)內(nèi)采用上述識別方法完成各自車道識別。遠檢測區(qū)大小為上幀圖像中整個車道線縱向?qū)挾鹊?0%，近檢測區(qū)大小為40%。

4.3 特征信息使用情況統(tǒng)計

為分析實際道路環(huán)境中車道識別時各種特征信息的使用情況，分別對連續(xù)采集的500幀車道圖像進行整幀圖像識別和約束區(qū)域內(nèi)圖像識別，并統(tǒng)計各幀圖像中實際使用的特征數(shù)量，結(jié)果見表1。

由表1可知：在對整幀圖像進行識別時，大多數(shù)情況下使用3種特征信息可以完成車道的有效識別，在路面干擾較小的情況使用2種特征即可，還有13.8%的情況下干擾較大，需要使用4種特征信息；在對約束區(qū)域內(nèi)進行車道識別時，大多數(shù)情況下使用2種特征信息即可完成識別。可見通過合理設(shè)置約束區(qū)，在識別效果良好的同時，特征信息的使用數(shù)量大大降低，兼顧了識別的可靠性和實時性。

4.4 車道跟蹤結(jié)果

采用上述導(dǎo)航參數(shù)提取和車道跟蹤控制方法，對直線和彎曲車道進行車道保持試驗。車速在6m/s時，其跟蹤直線車道的平均誤差為0.04m，跟蹤彎曲車道線的平均誤差為0.07m，能夠滿足實際要求。

表1 特征信息使用情況統(tǒng)計

5 結(jié)論

為保證智能車輛車道識別的實時性和魯棒性，在識別第1幀車道圖像時，首先有序融合多種圖像特征以識別第1分區(qū)；再根據(jù)車道連續(xù)性特征跟蹤識別后續(xù)各分區(qū)。在識別后續(xù)各幀車道圖像時，實時計算動態(tài)約束區(qū)，并在約束區(qū)內(nèi)完成識別。道路試驗結(jié)果表明，通過有序融合各種特征信息和合理設(shè)置動態(tài)約束區(qū)，能夠得到具有較好魯棒性和實時性的車道識別及跟蹤控制結(jié)果。同時，為實現(xiàn)車道線模糊不清、前方車輛干擾等復(fù)雜情況下的車道有效識別，下一步將結(jié)合機器學(xué)習(xí)算法以提高識別魯棒性。

[1] 李慶中,顧偉康,葉秀清,等.移動機器人路徑跟蹤的智能預(yù)瞄控制方法研究[J].機器人,2002,24(3):252-255.

[2] Kadakkal V, Cook G. Use of a Preview Control Scheme with Knowledge of Future Trajectory Information for a Lane Tracking Controller on a Wheeled Mobile Robot[C]. 34th IEEE Annual Conference on Industrial Electronics,2008:1692-1697.

[3] 李進.不同光照下基于自適應(yīng)圖像閾值的車道保持系統(tǒng)設(shè)計[J].機械工程學(xué)報,2014,50(2):146-152.

[4] Kim Z W. Robust Lane Detection and Tracking in Challenging Scenarios[J]. IEEE Transactions on Intelligent Transportation System,2008,9(1):16-26.

[5] 李進,陳無畏.基于自適應(yīng)導(dǎo)航參數(shù)的智能車輛視覺導(dǎo)航[J].農(nóng)業(yè)機械學(xué)報,2012,43(6):19-25.

[6] Fierro R, Lewis F L. Control of a Nonholonomic Mobile Robot Using Neural Networks[J]. IEEE Transactions on Neural Networks,1998,9(4):589-600.

[7] Tangruamsub S, Tsuboyama M, Kawewong A, et al. Mobile Robot Vision-based Navigation Using Self-organizing and Incremental Neural Networks[C]. Proceeding of International Conference on Neural Networks, Atlanta,2009:3094-3101.

[8] 周羅善.基于單目視覺的車道保持預(yù)警系統(tǒng)研究[D].上海:華東理工大學(xué),2011.

[9] Choi H C, Park J M, Choi W S, et al. Vision-Based Fusion of Robust Lane Tracking and Forward Vehicle Detection in a Real Driving Environment[J]. International Journal of Automotive Technology,2012,13(4):653-669.

[10] 李進,陳杰平,徐朝勝,等.基于動態(tài)圖像閾值的智能車輛路徑導(dǎo)航[J].農(nóng)業(yè)機械學(xué)報,2013,44(4):39-44.

[11] 高志峰,汪渤,周志強,等.一種魯棒的非平坦路面車道線檢測算法[J].北京理工大學(xué)學(xué)報,2013,33(1):73-78.

[12] 盧遠志.智能車測試環(huán)境中虛擬車道線的快速構(gòu)建方法[J].中南大學(xué)學(xué)報(自然科學(xué)版),2013,44(3):985-991.

[13] 鄭燁.基于單目視覺反饋的智能車導(dǎo)航研究[D].長沙:中南大學(xué),2011.

[14] 李進.基于DSP的視覺導(dǎo)航智能車輛路徑識別[J].安徽科技學(xué)院學(xué)報,2012,26(1):46-50.

[15] 李進.視覺導(dǎo)航智能車輛的路徑識別和跟蹤控制[D].合肥:合肥工業(yè)大學(xué),2008.

Lane Identification of Vision-Guided Intelligent Vehicle Based on Feature Fusion

Li Jin, Chen Jieping, Yi Kechuan & Xu Chaosheng

SchoolofMechanicalEngineering,AnhuiScienceandTechnologyUniversity,Chuzhou233100

For achieving both the robustness and real-time performance of lane idenfication, the feature information on the edge and its direction and gray scale of lane markings and lane width in the image are sequentially fused. In identifying the first frame of lane image, the whole image frame are processed, while in identifying the following frames, dynamically constrained areas are determined according to the identification results of previous frames, within which identification completes. The results of real vehicle road tests show that by orderly fusing various feature information and properly setting dynamically constrained areas, lane marking identification can be effectively achieved with better accuracy and reliability in vehicle lane tracking.

intelligent vehicle; lane identification; feature fusion; dynamic constraints

*國家自然科學(xué)基金(51075112)、安徽高校省級自然科學(xué)研究項目(KJ2013B074)和安徽科技學(xué)院自然科學(xué)研究項目(ZRC2014409)資助。

原稿收到日期為2013年8月22日，修改稿收到日期為2013年12月11日。