基于特征融合的視覺導航智能車輛的車道識別*

李 進，陳杰平，易克傳，徐朝勝

(安徽科技學院機械工程學院，滁州 233100)

?

2015105

基于特征融合的視覺導航智能車輛的車道識別*

李 進，陳杰平，易克傳，徐朝勝

(安徽科技學院機械工程學院，滁州 233100)

為兼顧車道識別的實時性和魯棒性，有序融合了圖像中車道線邊緣、邊緣方向、車道寬度和邊緣灰度等特征信息。同時，在識別第1幀車道圖像時對整幀圖像進行處理；在識別后續各幀車道圖像時，根據上一幀圖像的識別結果確定動態約束區，并在約束區域內完成識別。實車道路試驗結果表明，通過有序融合各種特征信息和合理設置動態約束區能有效識別路面車道線，且車道跟蹤具有較好的精確性和可靠性。

智能車輛；車道識別；特征融合；動態約束

前言

基于視覺導航的智能車輛車道保持系統包括車道路徑的識別和跟蹤控制兩個關鍵技術[1]。在路徑識別方面，國內外相關研究者已做了大量的研究工作[2-7]。這方面研究目前面臨的主要問題是機器視覺對各種路面環境的快速識別和理解能力較差，尤其是復雜情況下識別難度較大。如文獻[8]中提出了連通區域搜索和道路邊界霍夫檢測相結合的方法；文獻[9]中先用模板匹配獲取候選車道線，再采用隨機樣本一致算法和卡爾曼濾波計算車道線方程；文獻[10]中提出一種基于動態閾值的車道路徑識別方法，能夠動態調整二值化閾值以適應外界光照的變化；文獻[11]中提出了一種魯棒的非平坦路面車道線檢測算法，在彎道和非平坦路面上具有較強的魯棒性；文獻[12]中在機器視覺基礎上根據識別出的錐形標間的拓撲關系構建虛擬車道線的方法。

智能車輛車道識別的關鍵在于要同時保證識別的可靠性和實時性。要做到這一點，除認識到可靠性和實時性相對立的一面外，更重要的是認識到它們相輔相成的一面，即局部范圍內的高可靠性能夠有效排除干擾因素，從而減小后續數據處理量，利于整體實時性的提高；整體意義上的高實時性能夠在總體上減少數據處理量，從而為保證局部的可靠性贏得寶貴時間。

為此，提出一種基于路面特征融合的車道識別方法。其思路是：(1)對車道圖像進行縱向分區和分段識別；(2)在識別第1幀圖像時對整個圖像區域進行處理，而在識別后續各幀圖像時則根據上一幀圖像識別結果確定一個動態約束區域，并僅在該區域內完成車道識別以降低數據計算量；(3)在識別車道時有序地融合各種路面特征以有效排除非車道線，得到兼顧實時性和可靠性的識別結果。

1 第1幀圖像識別

對整幅圖像進行縱向分區，先通過融合各種路面特征完成第1分區識別，再依次對臨近待識別分區的車道位置進行跟蹤識別，并完成各分區識別以得到該幀圖像的完整車道線。

1.1 第1分區識別

確定距離智能車輛最近的一個分區為第1分區，首先對該區域進行識別。

1.1.1 特征信息選取

在識別時，特征信息的選取需要考慮以下3個方面。

(1) 特征功效 即選取的特征應能夠在某些方面有效地區分車道線和非車道線。

(2) 特征數量 即選取的特征數量應適當。數量過多導致數據計算量過大，數量過少在復雜環境下難以有效識別出目標車道。

(3) 使用次序 特征的使用應按照一定的順序。一般來說，過濾非車道線能力較強的特征其實現算法也較為復雜；反之，亦然。而實際道路環境中非車道線的干擾時大時小，故在使用各種特征時采取先使用算法較為簡單的特征(過濾非車道線能力較弱)，再使用算法較為復雜的特征(過濾非車道線能力較強)。其原因是：在外界干擾小時，僅采用較簡單的算法、較少的特征即可完成車道的有效識別，從而提高實時性；而在外界干擾較強、已使用的特征無法有效識別時才使用更為復雜的算法和更多的特征，從而在整體上兼顧實時性和可靠性。

這里選取的特征依次為：邊緣特征、邊緣方向特征、車道寬度特征和邊緣灰度特征，如圖1所示。

1.1.2 識別步驟

(1) 邊緣特征檢測 采用Sobel算子初步得到包括車道線邊緣和非車道線邊緣的邊緣信息。

(2) 邊緣方向特征檢測 對于車道線上的各邊緣點，其3×3鄰域的0°和±45°方向上一般至少存在2個車道線邊緣點，故根據這一邊緣方向特征可以過濾掉部分非車道線邊緣點。

(3) 車道寬度特征檢測 檢驗任意兩個相鄰邊緣點之間的距離是否滿足定寬條件，即路面車道線在獲取圖像中的橫向寬度應該在一個限定的合理區間內。因此，對邊緣圖像按行進行掃描，當檢測到一個邊緣點時，繼續掃描直至檢測到下一個邊緣點；判斷這兩個邊緣點之間的距離是否在車道寬度合理區間內，如果是，則保留，反之則將前面檢測到的邊緣點視為非車道邊緣點，將其排除。

(4) 邊緣灰度特征檢測 計算剩余邊緣點左右一定寬度(即車道寬度合理區間)內的原始圖像灰度均值，如果左右兩邊均值的差值大于一定閾值，則該邊緣點為車道邊緣點，反之不是。閾值選取方法參見文獻[13]。

1.1.3 車道寬度合理區間的確定

上述識別方法的步驟(3)和步驟(4)需要用到車道寬度合理區間[dmin,dmax]。dmin和dmax取值與前述初始條件有關。在識別第1幀車道圖像時，其取值以離線標定方式確定。之后根據上一幀圖像識別結果在線調整，具體見文獻[10]。

1.2 后續分區跟蹤識別

根據車道線的縱向連續性特征，利用已識別分區車道跟蹤相鄰待識別分區內車道線的候選位置。

1.2.1 連續車道線跟蹤

如圖2所示，以車道圖像中的已識別i分區和相鄰的待識別i+1分區為例。i分區已識別車道線為圖中陰影區域。在識別i+1分區時，先確定i+1分區的車道候選位置為圖中i+1分區內封閉的矩形區域。其縱向寬度為i+1分區的縱向寬度，其橫向寬度Li+1為

Li+1=ERi-ELi+DLi+DRi

(1)

式中：ELi、ERi分別為i分區與i+1分區相鄰處i分區的車道線左右邊緣點；DLi、DRi分別為i+1分區車道線向左和向右的最大預計變動量，它們確定了i+1分區車道線的候選區域，這里均取ERi-ELi。

1.2.2 間斷車道線跟蹤

2 后續各幀圖像識別

因兩幀圖像之間車道位置變化不大，故根據前一幀圖像中已識別車道位置可以對當前幀圖像中的車道位置進行約束，并在約束區域內完成識別。

2.1約束區的確定

2.1.1 確定縱向約束區

如圖4所示，其中各縱向虛線段為上一幀圖像的已識別車道線。縱向約束區為包含該虛線車道線及其左右各Sn寬度的圖像區域(n為圖像像素行數)。Sn應大于相鄰兩幀圖像中第n像素行車道線橫向位置變化量的最大值。其取值由車道線橫向寬度、攝像機安裝方位和最高車速等決定。實車試驗時，車道線橫向寬度約為4.8cm，攝像機安裝高度為1.08m，攝像機軸線與水平面呈18°，最高車速為10m/s。經試驗測試，Sn取值為上一幀圖像中第n行已識別車道寬度的0.7倍較為合適。

2.1.2 確定橫向約束區

車道識別的目的在于為車道跟蹤控制提供控制參數，通過合理識別圖像中的部分車道線就能夠提取到滿足控制要求的車道線，即沒有必要對攝像機獲取的整個圖像范圍內的車道線都進行識別。故在路面圖像中確定遠近兩個橫向矩形區域(遠檢測區和近檢測區)，形成橫向約束區。

對于每條待識別車道，在縱向約束和橫向約束共同限定下的兩個區域為下一幀圖像的動態約束區域，見圖4中各陰影區域。

2.2 約束區內車道識別

在約束區內按照上述識別方法完成該分區車道的識別。需要指出的是，因為僅在候選區域內進行車道識別，實際檢測區域已經很小，故上述4個步驟的識別方法(4個特征信息)未必都須進行即可完成該分區的識別任務。

3 導航參數動態提取

車載攝像機采集的路面車道圖像如圖5所示。遠檢測區和近檢測區的已識別車道近似為直線l1和l2。文獻[14]中給出了采用固定導航參數法提取角度偏差α和位置偏差d的方法。

為使α和d能夠適應實際行駛路況的變化，讓圖5中y1軸位置可沿縱向移動，其實際位置由l1與l2之間的方位偏差量E決定。E由車道l1和車道l2計算，其值為

E=q|α1-α2|+|d1-d2|

(2)

式中：α1、α2分別為l1、l2的角度偏差，(°)；d1、d2分別為l1、l2的位置偏差，cm；q為角度偏差與位置偏差的換算系數。

當E較小時，可以理解為此時圖像窗口內的車道路徑整體上較為平直，可以更多地關注遠處路況以增大視野，故此時沿縱向適度上移y1軸位置，提取的車道l更趨向于遠處路面車道位置；反之，當E較大時，說明此時車道路徑變化較為劇烈，應更多地關注近處路況以保證車輛可靠地沿車道行駛而不偏離，故沿縱向適度下移y1軸位置，則提取的車道l更趨向于近處路面車道位置。可見，以l1與l2的方位偏差量為依據實時調整y1軸縱向位置，能夠使提取的車道l及其導航參數隨實際道路動態變化。

在確定導航參數后，智能車輛的速度v也根據E值實時計算。車道跟蹤控制器則根據實時導航參數和車速進行跟蹤控制[5]，如圖6所示。

4 道路試驗

智能車輛車道保持系統主要由智能車輛、車道圖像識別系統和車道跟蹤系統組成，具體見文獻[15]。

4.1 車道識別

圖7為采用上述車道識別方法識別第1幀車道圖像的結果。圖7(a)為原始圖像，經Sobel算子處理后得到許多非車道線邊緣點；經過邊緣方向特征處理后消除了部分非車道線邊緣，但仍有不少干擾點存在；經過車道寬度特征處理后，僅存在很少干擾點；最后經邊緣灰度特征處理后得到有效識別結果。由圖7可知，按照上述4種特征進行有序處理后，非車道邊緣點逐步被剔除；且各種特征對非車道邊緣點的過濾效果逐漸加強，并最終得到理想的識別結果。

4.2 動態約束下識別結果

識別后續各幀圖像時，在橫向約束區和縱向約束區共同限定的實際檢測區內進行。識別結果見圖8。在各檢測區內同樣進行縱向分區，在各分區內采用上述識別方法完成各自車道識別。遠檢測區大小為上幀圖像中整個車道線縱向寬度的20%，近檢測區大小為40%。

4.3 特征信息使用情況統計

為分析實際道路環境中車道識別時各種特征信息的使用情況，分別對連續采集的500幀車道圖像進行整幀圖像識別和約束區域內圖像識別，并統計各幀圖像中實際使用的特征數量，結果見表1。

由表1可知：在對整幀圖像進行識別時，大多數情況下使用3種特征信息可以完成車道的有效識別，在路面干擾較小的情況使用2種特征即可，還有13.8%的情況下干擾較大，需要使用4種特征信息；在對約束區域內進行車道識別時，大多數情況下使用2種特征信息即可完成識別。可見通過合理設置約束區，在識別效果良好的同時，特征信息的使用數量大大降低，兼顧了識別的可靠性和實時性。

4.4 車道跟蹤結果

采用上述導航參數提取和車道跟蹤控制方法，對直線和彎曲車道進行車道保持試驗。車速在6m/s時，其跟蹤直線車道的平均誤差為0.04m，跟蹤彎曲車道線的平均誤差為0.07m，能夠滿足實際要求。

表1 特征信息使用情況統計

5 結論

為保證智能車輛車道識別的實時性和魯棒性，在識別第1幀車道圖像時，首先有序融合多種圖像特征以識別第1分區；再根據車道連續性特征跟蹤識別后續各分區。在識別后續各幀車道圖像時，實時計算動態約束區，并在約束區內完成識別。道路試驗結果表明，通過有序融合各種特征信息和合理設置動態約束區，能夠得到具有較好魯棒性和實時性的車道識別及跟蹤控制結果。同時，為實現車道線模糊不清、前方車輛干擾等復雜情況下的車道有效識別，下一步將結合機器學習算法以提高識別魯棒性。

[1] 李慶中,顧偉康,葉秀清,等.移動機器人路徑跟蹤的智能預瞄控制方法研究[J].機器人,2002,24(3):252-255.

[2] Kadakkal V, Cook G. Use of a Preview Control Scheme with Knowledge of Future Trajectory Information for a Lane Tracking Controller on a Wheeled Mobile Robot[C]. 34th IEEE Annual Conference on Industrial Electronics,2008:1692-1697.

[3] 李進.不同光照下基于自適應圖像閾值的車道保持系統設計[J].機械工程學報,2014,50(2):146-152.

[4] Kim Z W. Robust Lane Detection and Tracking in Challenging Scenarios[J]. IEEE Transactions on Intelligent Transportation System,2008,9(1):16-26.

[5] 李進,陳無畏.基于自適應導航參數的智能車輛視覺導航[J].農業機械學報,2012,43(6):19-25.

[6] Fierro R, Lewis F L. Control of a Nonholonomic Mobile Robot Using Neural Networks[J]. IEEE Transactions on Neural Networks,1998,9(4):589-600.

[7] Tangruamsub S, Tsuboyama M, Kawewong A, et al. Mobile Robot Vision-based Navigation Using Self-organizing and Incremental Neural Networks[C]. Proceeding of International Conference on Neural Networks, Atlanta,2009:3094-3101.

[8] 周羅善.基于單目視覺的車道保持預警系統研究[D].上海:華東理工大學,2011.

[9] Choi H C, Park J M, Choi W S, et al. Vision-Based Fusion of Robust Lane Tracking and Forward Vehicle Detection in a Real Driving Environment[J]. International Journal of Automotive Technology,2012,13(4):653-669.

[10] 李進,陳杰平,徐朝勝,等.基于動態圖像閾值的智能車輛路徑導航[J].農業機械學報,2013,44(4):39-44.

[11] 高志峰,汪渤,周志強,等.一種魯棒的非平坦路面車道線檢測算法[J].北京理工大學學報,2013,33(1):73-78.

[12] 盧遠志.智能車測試環境中虛擬車道線的快速構建方法[J].中南大學學報(自然科學版),2013,44(3):985-991.

[13] 鄭燁.基于單目視覺反饋的智能車導航研究[D].長沙:中南大學,2011.

[14] 李進.基于DSP的視覺導航智能車輛路徑識別[J].安徽科技學院學報,2012,26(1):46-50.

[15] 李進.視覺導航智能車輛的路徑識別和跟蹤控制[D].合肥:合肥工業大學,2008.

Lane Identification of Vision-Guided Intelligent Vehicle Based on Feature Fusion

Li Jin, Chen Jieping, Yi Kechuan & Xu Chaosheng

SchoolofMechanicalEngineering,AnhuiScienceandTechnologyUniversity,Chuzhou233100

For achieving both the robustness and real-time performance of lane idenfication, the feature information on the edge and its direction and gray scale of lane markings and lane width in the image are sequentially fused. In identifying the first frame of lane image, the whole image frame are processed, while in identifying the following frames, dynamically constrained areas are determined according to the identification results of previous frames, within which identification completes. The results of real vehicle road tests show that by orderly fusing various feature information and properly setting dynamically constrained areas, lane marking identification can be effectively achieved with better accuracy and reliability in vehicle lane tracking.

intelligent vehicle; lane identification; feature fusion; dynamic constraints

*國家自然科學基金(51075112)、安徽高校省級自然科學研究項目(KJ2013B074)和安徽科技學院自然科學研究項目(ZRC2014409)資助。

原稿收到日期為2013年8月22日，修改稿收到日期為2013年12月11日。