基于優先像素與卡爾曼濾波追蹤的車道線檢測*

陳 濤，張洪丹，陳 東，譚 純

(湖南大學，汽車車身先進設計制造國家重點實驗室，長沙 410082)

2016032

基于優先像素與卡爾曼濾波追蹤的車道線檢測*

陳 濤，張洪丹，陳 東，譚 純

(湖南大學，汽車車身先進設計制造國家重點實驗室，長沙 410082)

針對車道線檢測不能滿足實時性與魯棒性要求的問題，提出了一種新的車道線檢測方法。基于R，G和B三原色在灰度圖像中所占比例的多樣性、車道線與道路的亮度差，將黃色、白色像素作為優先像素處理。首先通過圖像的形態學禮帽算法去除大量噪聲，再經最大類間方差法(OTSU)將圖像二值化，最終通過輪廓的篩選標注車道線，后續視頻幀采用卡爾曼濾波追蹤處理，確定新的感興趣區域。本算法大大減少數據計算量，提高了處理效率，同時正確提取感興趣區域，提高了算法的魯棒性，降低車道線檢測的誤檢率。

車道檢測；偏離車道；優先像素；最大類間方差法；卡爾曼濾波追蹤

前言

隨著汽車工業的發展，高速公路交通事故也呈現出增長的趨勢，調查報告顯示，50%的交通事故是由車道偏離引發的。軌道偏離預警系統能在駕駛員由于疲勞駕駛而偏出車道的時候提前報警，提醒駕駛員回到正常行駛的車道內，促進安全駕駛。

目前，基于視覺的軌道偏離預警系統[1-3]占主導地位，通過對視頻幀的處理，提取車輛與道路的位置關系，判斷是否偏離車道。基于視覺的軌道偏離預警系統由兩大模塊組成：(1)視頻處理模塊，通過攝像頭采集圖片，經主控制器處理，提取車道線信息；(2)控制策略模塊，通過車道線信息判斷是否偏離車道。其中視頻處理模塊為軌道偏離預警系統的核心模塊。準確提取車輛與車道線的位置信息，才能使軌道偏離預警系統精確預警。

車道線檢測方法[2-3]大都是通過大量的計算來實現車道線檢測，其中包括轉換灰度圖像、濾波、邊緣檢測和Hough變換，通過層層過濾，噪聲得到了有效的去除。最終精確地提取車道線。但是大量的處理過程必然導致計算耗時增加而影響系統的實時性。

實時性可以通過提高運行速度和減少數據計算量兩種方式實現。運行速度的提高對硬件的要求也會相應提高，在同樣硬件配置下只有通過減少計算量來實現實時性。同時，數據計算量的減少，導致系統在應對復雜工況時的魯棒性急劇下滑，從而導致車道線誤檢現象的發生。目前車道線檢測算法，有些采取固定的感興趣區域[2-3]，因而不能根據不同的環境做出調整，穩定性不強，耗時長。

為了精確提取出車道線，必須同時兼顧少的數據計算量和高的系統魯棒性。本文中提出一種使用卡爾曼濾波器追蹤的方法動態地確定感興趣區域(平行于車道線的周圍區域)。根據車道線位置的不同，動態確定包含有車道線的感興趣區域，能提高車道線提取的魯棒性，同時，處理的數據減少，保證了算法的實時性。

1 車道線檢測算法流程

針對傳統車道線檢測算法在兼顧算法的實時性和魯棒性方面存在不足，提出了一種新的車道線檢測算法，彌補了邊緣檢測算子車道線檢測穩定性方面的不足，同時放棄使用在直線檢測方面計算量較大，耗時較長的Hough變換。

通過圖像形態學禮帽算法[3]與優先像素凸顯車道線在道路背景下的亮度，在真彩圖轉換到灰度圖過程中不是通過固定公式灰度化，而是將真彩圖像分解為3個單通道圖像單獨處理，保留優先像素的優勢，然后通過OTSU算法[4]得到的閾值，將灰度圖像二值化，進而通過輪廓的篩選，保留符合車道線特征的輪廓，最終通過對車道線輪廓邊緣點的擬合標注車道線，成功提取出車道線，之后根據車道線的參數信息，通過卡爾曼濾波器追蹤感興趣區域，如果出現連續追蹤不到車道線，則跳出追蹤模式，重新回到最初的感興趣區域，在提取出車道線后再次回到追蹤模式，以此循環交替。

本文中的算法以擬合車道線輪廓邊緣點來標注車道線替換了耗時較多的Hough變換尋找車道線的方法。通過提取優先像素的方法取代了灰度圖濾波和邊緣檢測等方法。同時在感興趣區域的選取方面，最初的感興趣區域選取目的是為了穩定地提取車道線，但是在實時性方面存在欠缺；而卡爾曼濾波器追蹤到的感興趣區域，在魯棒性方面存在不足。兩者的結合兼顧了算法的實時性與魯棒性。算法流程如圖1所示。

2 感興趣區域的確定

2.1 最初感興趣區域的確定

感興趣區域的選取在算法當中起著舉足輕重的作用，它直接關系到檢測算法能否滿足實時性要求。而車道線是否包括在感興趣區域內，直接涉及到算法的魯棒性。

調整攝像機的外部參數，使選取的圖像感興趣部分為道路部分，如圖2所示，感興趣區域即框選部分區域。且給定圖像感興趣區域的大小{w,h}。通過對道路部分圖像處理，得到最初的車道線并提取車道線的信息，為后續跟蹤感興趣區域的劃定奠定基礎。

對于感興趣區域的確定方法，劃分最初的感興趣區域為道路部分雖保證算法的魯棒性，但存在處理速度慢的不足，因此，提出了卡爾曼跟蹤模式下的感興趣區域的概念，目的是在保證算法穩定的前提下，提高算法的運行速度。

2.2 追蹤時感興趣區域的確定

經過最初的感興趣區域的處理，提取出最初的車道線后，可以根據車道線參數信息(斜率、起始點坐標等)，利用卡爾曼濾波器追蹤車道線[5-6]確定感興趣區域(如圖3所示，灰色區域為追蹤模式下的感興趣區域)，能減少數據的計算量，減少計算時間。然而在車輛變道等車道線突變的情況下，由于卡爾曼追蹤靈敏度的不足，可能出現追蹤失敗的情況，在這種情況下，系統會在兩種感興趣區域模式下轉換，以利用感興趣區域兩種模式下的優勢，摒棄其不足。

3 車道線識別

3.1 圖像形態學處理

圖像形態學廣泛運用在圖像處理中，形態學操作中的禮帽處理由膨脹和腐蝕兩種基本算法組成，運用禮帽算法可凸顯車道線在道路背景中的位置，增加目標與背景之間的亮度差，以提高車道線與背景的辨別度。首先將24位真彩圖片拆分成R和G單通道圖像，分別進行禮帽處理，以凸顯車道線的亮度。

最初感興趣區域部分(道路部分)，即使在存在陰影或其它干擾的情況下，車道線的亮度也會高于周圍的亮度，所以在此采用圖像形態學的禮帽處理，即通過原圖src與原圖開運算open(src)作差值運算，凸顯出車道線的亮度，減少噪聲的影響，如圖4所示。

禮帽處理后的圖像為

TopHat(src)=src-open(src)

(1)

3.2 確定優先像素

對于感興趣區域，基于車道線的像素值一般大于背景的像素值，提取前50%亮度的像素作第一次優先處理，即50%處的像素值f(x0,y0)為閾值Ts，像素值大于閾值的保持原值不變，小于閾值的作歸零操作，即

(2)

處理的數據不包括像素值為0的像素，這樣能減少數據計算量，使通過OTSU算法確定的閾值能將道路與背景更精確地分割，如圖5所示。

車道線檢測算法中將真彩圖像轉換為灰度圖像過程中，采用固定的轉換公式，削弱了車道線像素的優勢，不能根據車道線顏色對部分像素優先處理和分類，增加了后續去除噪聲的難度，導致車道線檢測算法復雜度增加，程序運行時間過長。對車道線像素作為優先像素處理能提高車道線檢測的穩定性，增加了車道線像素的保有率。在采取優先像素值處理后，車道線亮度被明顯加強，如圖6所示。從圖中可以看出，優先像素的加入，促使OTSU算法更好地將目標與背景分離。

Sobel算子和canny算子[7]作為傳統的算法廣泛的運用于檢測輪廓的邊緣，canny算子的雙閾值能很好地提取輪廓邊緣，一般同Hough變換結合使用，但只是提取邊緣信息，會造成車道線像素的大量丟失，增加車道線提取的難度。

車道線的顏色一般為黃色和白色，黃色和白色像素的R，G和B的值分別為[255,255,0]和[255,255,255]，以黃和白色像素中R和G部分比例與R和G像素值的相關性作為兩個約束提取車道線像素，分別對單通道的R和G兩張圖片[8]，經OTSU算法求取兩張圖片閾值Tr和Tg，保留下來的像素需要滿足如下條件：

(3)

式中f(xr,yr)和f(xr,yr)分別表示R和G圖片單個像素值。即對白、黃色像素作為優先像素處理，以此增加車道線像素的占有率，增加目標與背景的對比度。

3.3 車道線輪廓的篩選

傳統的尋找直線方法為Hough變換，通過對二值圖像中的每個白色像素點的笛卡爾坐標轉換成極坐標，通過坐標的轉換，實現點到曲線的轉換，以極坐標下曲線交點個數作為閾值來判斷直線是否存在，保留二值圖中符合車道線特征的邊緣點，這種方法計算量比較大，耗時長。而單一地篩選出符合車道線輪廓之后，對輪廓的邊緣點進行直線或曲線的擬合能減少數據計算量。

從二值圖像篩選符合車道線特征的輪廓的過程也是去噪的過程，去掉不符合車道線特征的輪廓，通過計算輪廓的斜率Cslope和輪廓的面積Carea來進行輪廓的篩選，如圖7所示，其步驟如下：

(1) 遍歷二值圖像中所有輪廓，計算每個輪廓的面積Carea和斜率Cslope；

(2) 根據計算輪廓中心位置的橫坐標和圖像中心橫坐標的大小，保留圖像中線左右兩邊每邊面積最大的4個輪廓，Contour1，Contour2，…，Contour8，圖7中中線左右各4個；

(3) 計算出這8個輪廓的斜率，取最接近斜率(輪廓高比寬)為[0.5,∞]的4個輪廓，左右各兩個；

(4) 根據輪廓的斜率計算每個輪廓與圖片上端的交點橫坐標xw，保留中線兩邊橫坐標離中線橫坐標w/2最近的輪廓。

如圖7所示，保留與圖片頂端交點為L2和R1的兩個輪廓，即輪廓Contour2和Contour4，并且確定這兩個輪廓為車道線輪廓，只保留車輛所在的左右兩邊車道線。

4 車道線的提取與跟蹤

4.1 車道線的提取

標注車道線是車道線檢測算法中最后一個環節，通過標注得到的車道線，可以得到車輛與道路的位置關系，為預警策略提供輸入信號。

經典的Hough變換通過對點的擬合得到直線上的一點和直線的斜率，從而得到標注車道線的直線方程。為了避免Hough變換計算量大和高耗時等不足，并考慮車道線檢測算法中不存在邊緣檢測，故不采用Hough變換尋找直線，而采用最小二乘法擬合車道線輪廓的點的方法標注車道線。

軌道偏離系統主要面向高速公路使用，假設車道為直線，在彎曲道路可對邊緣點進行二次方程擬合，本文中只對車道線作一次函數擬合，車道線擬合點的選取方法如圖8所示。

通過從左至右掃描輪廓，將掃描到的第一個白色點放入點集(xi,yi)中，直到輪廓掃描結束。假設直線的方程為p(x)=a+bx，直線的均方誤差為

(4)

在微積分極值理論中，Q(a,b)達到極小時，a,b滿足

(5)

整合得到擬合曲線滿足：

(6)

該方程稱為擬合曲線法方程。

(7)

對點集(xi,yi)進行直線擬合，得到直線方程為p(x)=a+bx，并根據直線信息，在圖中標注出車道線。

4.2 卡爾曼濾波器追蹤車道線

視頻圖像序列中目標的檢測和追蹤，一直在智能視覺領域中占據重要地位，而在理想情況下，經典卡爾曼濾波器(即無偏最小方差估計)能夠很好地追蹤到目標，但在視頻圖像序列中，在運動目標發生突變的情況下，經典卡爾曼濾波進行追蹤會出現目標丟失的現象，導致濾波誤差增大和追蹤性能下降的情況。為應對卡爾曼濾波器追蹤的不足，在卡爾曼濾波器追蹤的運動目標出現突變狀況時(變道或突然避讓)，轉為處理最初感興趣區域，重新找到目標位置，再次成功提取車道線后轉為卡爾曼濾波器的追蹤模式，從而彌補了經典卡爾曼濾波器在運動目標追蹤方面的不足。由于運動目標突變的情況很少發生，且在兩種模式下均能高效地檢測到車道線，算法的穩定性不會受到影響。

卡爾曼濾波器是能夠通過K時刻實測值和K-1時刻最優值來確定K時刻目標最優位置或狀態的一種算法。對于K時刻最優值的預測僅僅依靠上一時刻K-1時刻狀態，而不是通過前K-1個狀態的累計值來進行預測，這樣能大大減少計算工作量，實現實時跟蹤。本文中應用卡爾曼濾波器追蹤車道線，并根據運動目標位置參數，劃定感興趣區域，減少計算量。

卡爾曼濾波器運用在車道線追蹤方面的原理為：在首次提取車道線以后，將車道線作為K-1時刻最佳值，隨之感興趣區域劃定為平行與車道線的周圍區域[9-10]，但當出現車道線漏檢的情況，算法的適應性會被削弱，為了克服類似的問題，當應用卡爾曼濾波器追蹤車道線出現漏檢的情況時，可通過卡爾曼的預測特性繼續追蹤。

經典卡爾曼的5個重要的公式和1個測量值如下。

狀態方程：

x(k|k-1)=Fx(k-1|k-1)+wk

(8)

觀測方程：

zk=Hkxk+vk

(9)

式中：F為傳遞矩陣；Hk為觀測矩陣；wk和vk分別為符合高斯分布N(0,Qk)和N(0,Rk)的系統噪聲向量和觀測向量；zk為測量值。

誤差協方差：

(10)

卡爾曼增益:

(11)

K時刻最優值：

(12)

驗后誤差方差陣：

(13)

迭代過程中，卡爾曼追蹤計算得出卡爾曼增益來逼近最優解，通過不停地迭代出驗后誤差方差與K時刻最優值作為下一時刻的最優解的輸入值。

卡爾曼濾波器追蹤方法的運用，成功實現了對車道線周圍感興趣區域的追蹤。將車道線與圖片(圖7所示)上端的交點L2和R1與車道線的斜率S1和S2作為系統狀態量。在追蹤車道線過程中會出現“斷層”現象，即視頻中沒有檢測到車道線的存在，無法標注車道線，如圖9左側圖所示。

圖9為兩種感興趣區域轉換對比，左側為跟蹤模式，右側為最初車道線檢測模式。從圖9(c)中可以看出，左圖漏檢右邊車道線，這種情況下，前一幀車道線的最優值會保存到下一幀，即這張圖片仍然能進行車道線的標注，如果出現多于T(根據試驗，本文中取5)張圖片沒有跟蹤到車道線的情況，則會跳回到最初的感興趣部分，如圖中右邊圖片所示，重新定位并追蹤車道線，在重新標注車道線以后，跳回到卡爾曼濾波追蹤模式。追蹤流程如圖10所示。

5 車道線算法試驗檢測

5.1 無車道變更

車輛在單一車道時，車道線作小范圍的變更，這種情況下，經典卡爾曼濾波器能追蹤到車道線，并保留當前位置作為下一時刻的最優值作為輸入。基于RGB原色比例及卡爾曼濾波器追蹤所識別出的車道線的效果如圖11所示。該算法針對模糊不清、殘缺的車道線、有外界文字與指示標志干擾的工況，表現出了很強的魯棒性。

5.2 車道變更

在車輛變道時，對于運動目標突變的情況經典卡爾曼濾波器追蹤車道線的效果會受到很大的影響，本文中提出的算法通過切換感興趣區域很好地克服了經典卡爾曼在追蹤突變目標時的不足，表現出了良好的魯棒性，如圖12所示。

本文中展示的實驗均在電腦平臺中進行測試，測試環境如表1所示。

表1 測試環境

測試環境中，圖片處理速度為62f/s，對時速120km/h的車輛，平均每隔0.54m處理一幀圖片，從表1可以看出，與文獻[11]相比，處理速度得到了很大的提升。

6 結論

本文中提出了一種車道線檢測的新方法，通過卡爾曼濾波器跟蹤車道線感興趣區域，不僅提高了車道檢測的精確性，也提高了算法的運行速度。試驗表明，該方法對于不同的情況有很強的適應性，能夠準確地識別出車道線，同時能很好地應對車道變更的情況，從而滿足了軌道偏離預警系統的實時性和魯棒性的要求。

[1] BRADSKI Gary, KAEHLER Adrian.學習OpenCV(中文版)[M].于仕琪,劉瑞禎,譯.北京:清華大學出版社,2009.

[2] LI Qingquan, CHEN Long, LI Ming, et al. A Sensor-Fusion Drivable-Region and Lane-Detection System for Autonomous Vehicle Navigation in Challenging Road Scenarios[J]. IEEE Transactions on Vehicular Technology,2014,63(2):540-555.

[3] YANG Jianyu, LI Zhuo, LI Liangchao. Lane Detection Based on Classification of Lane Geometrical Model[J] . IEEE Signal Processing (ICSP),2012,2:842-846.

[4] 李進,陳杰平,易克傳,等.不同光照下基于自適應圖像閾值的車道保持系統設計[J].機械工程學報,2014,50(2):146-152.

[5] 尤小泉,彭映杰.結合分塊Hough變換與Kalman預測的車道線檢測方法[J].科學技術與工程,2013,13(24):7087-7092.

[6] 胡會珍,黃晉英.卡爾曼濾波器模型的建立及其對車道線的跟蹤[J].機械工程與自動化,2008,148(3):52-53.

[7] YOO Hunjae, YANG Ukil. Gradient-Enhancing Conversion for Illumination-Robust Lane Detection[J]. IEEE Transactions on Intelligent Transportation Systems,2013,14(13):1192-1202.

[8] 楊益,何穎.基于RGB空間的車道線檢測與識別方法[J].計算機與現代化,2014,222(2):86-90.

[9] 陳效華,孫銳,陳軍.基于FPGA的車道偏離預警系統關鍵技術研究[J].汽車工程,2013,35(11):986-990.

[10] 高鋒,桂瀚洋,張強,等.基于FPGA的車道線檢測系統開發[J].汽車工程學報,2010,1(5):493-498.

[11] 沈峘.智能車輛視覺環境感知技術的研究[D].南京:南京航空航天大學,2010.

Lane Detection Based on High Priority Pixels and Tracking by Kalman Filter

Chen Tao, Zhang Hongdan, Chen Dong & Tan Chun

HunanUniversity,StateKeyLaboratoryofAdvancedDesignandManufacturingforVehicleBody,Changsha410082

Aiming at the defect of lane detection in meeting both real-time performance and robustness, a novel lane detection algorithm is proposed. Based on the diverse proportion of the red, green and blue three primary colors in gray image and the brightness difference between lane markings and road surface, yellow and white pixels are selected as the high priority pixels to be processed. A great number of noises are removed first with top hat algorithm in image morphological operations. Then image binaryzation is conducted by using OTSU algorithm. Finally the lane markings are fixed by profile screening, the subsequent video frames are tracked by Kalman filter, and the new region of interest is determined. With the algorithm proposed, the computation efforts are greatly reduced, the operation efficiency is enhanced, the ROIs are correctly extracted, with the robustness of the algorithm raised and false detection rate reduced.

lane detection; lane departure; high priority pixels; OTSU algorithm; tracking by Kalman filter

*湖南省自然科學基金(14JJ3055)和國家863計劃項目(2012AA111802)資助。

原稿收到日期為2014年7月23日，修改稿收到日期為2014年9月25日。