基于邊緣分布及特征聚類的車道標(biāo)記線檢測

易世春,李克強(qiáng)，郭君斌，高秀麗

(1.清華大學(xué)，汽車安全與節(jié)能國家重點實驗室,北京 100084； 2.中國農(nóng)業(yè)大學(xué)車輛人機(jī)工程與智能控制研究室，北京 100083)

前言

車道線特征提取是車道線識別的基礎(chǔ)，其目的在于通過圖像處理，挑選出具有車道線特征的特征集，為后續(xù)的車道線擬合提供輸入。特征提取的準(zhǔn)確性直接影響到車道線擬合的精度和穩(wěn)定性，因此深受研究者重視。根據(jù)使用特征的不同，車道線特征點提取方法主要可分為3種類型：基于邊緣特征的方法、基于區(qū)域特征的方法和邊緣-區(qū)域混合特征的方法。

基于邊緣特征的方法通過提取圖像邊緣來定位車道線特征點。文獻(xiàn)[1]中僅使用水平sobel提取車道線邊緣，文獻(xiàn)[2]中則使用水平和垂直sobel算子進(jìn)行圖像增強(qiáng)，并通過迭代閾值分割出車道線邊緣。文獻(xiàn)[3]中先通過高斯濾波平滑圖像，然后使用直方圖拉伸突出車道線邊緣，并采用canny算子提取車道線邊緣。文獻(xiàn)[4]中使用分時空方向可調(diào)濾波器，根據(jù)邊緣方向計算邊緣強(qiáng)度。并對路面灰度進(jìn)行采樣，計算出邊緣強(qiáng)度閾值和車道線灰度閾值，只有邊緣強(qiáng)度和對應(yīng)像素點灰度都大于閾值時才認(rèn)為是車道線特征。

基于區(qū)域的方法則通過灰度或顏色等信息將圖像分割為背景與車道線。文獻(xiàn)[5]中用到3個閾值進(jìn)行圖像分割，首先利用自組織聚類算法區(qū)分出圖像中的路面類和非路面類，并得到路面類的平均灰度值，作為第一分割閾值。考慮到圖像近處對比強(qiáng)烈，而在遠(yuǎn)處車道線與路面灰度的對比度會有所下降，所以計算圖像每一行的平均灰度值作為第二閾值。第三閾值是固定閾值，在通常情況下取10。文獻(xiàn)[6]中采用局部灰度閾值法提取車道線特征，通過尺寸可調(diào)濾波器對圖像做均值濾波，得到平滑圖像并與原圖相減得到差分圖像，進(jìn)一步采用固定閾值將差分圖像做二值化處理即可分割出車道線。

基于邊緣的方法對光照和車道線顏色不敏感，計算量較少，定位準(zhǔn)確，應(yīng)用最為廣泛。但是此類方法主要依賴圖像局部特性，容易受圖像噪聲、路面陰影和反光等影響。基于區(qū)域的方法受圖像噪點、道路亮度等影響較小，但是當(dāng)路面存在大量陰影或反光時，往往不能得到滿意的分割效果。針對邊緣和區(qū)域方法的優(yōu)缺點，部分學(xué)者綜合使用兩種方法，以提高車道線特征提取的準(zhǔn)確性和穩(wěn)定性。文獻(xiàn)[7]中提出一種新穎的多特征車道線提取方法，采用車道標(biāo)線邊緣特征、道路邊界特征、路面顏色特征和非路面顏色特征。這些特征通過KL距離和貝葉斯統(tǒng)計進(jìn)行最優(yōu)組合，根據(jù)道路情況選擇最佳的特征組合提取車道線。文獻(xiàn)[8]中提出基于多特征融合的車道線檢測方法，首先通過sobel算子計算邊緣強(qiáng)度因子與邊緣方向因子。然后將圖像轉(zhuǎn)換至HSV空間，計算色調(diào)因子與灰度因子，根據(jù)圖像飽和度進(jìn)行切換，飽和度低時使用灰度因子，飽和度高時使用色調(diào)因子。最后，通過D-S理論將上述因子進(jìn)行信息融合，實現(xiàn)車道標(biāo)記線檢測。

上述方法雖然可提高車道線特征點提取的穩(wěn)定性，但是一方面存在計算量大、實時性差的問題；另一方面，當(dāng)車道線被陰影部分遮擋，或車道線內(nèi)部有破損或污物時，車道線特征點定位精度會受到嚴(yán)重影響，甚至出現(xiàn)錯誤的識別結(jié)果。

為此，本文中提出一種基于邊緣分布和特征聚類的車道線標(biāo)記線檢測方法，首先采用可變窗口計算車道線局部灰度閾值，結(jié)合圖像梯度提取出有效邊緣。根據(jù)不同工況下車道標(biāo)記線的邊緣分布特性，將車道標(biāo)記線分為4類，分類進(jìn)行邊緣分布匹配，提取車道標(biāo)記線特征點。然后利用車道線連續(xù)性對特征點進(jìn)行聚類處理，將特征點歸類為不同的直線段，進(jìn)一步排除離散的特征點，為后續(xù)的車道線擬合提供車道標(biāo)記線方向信息，提高擬合精度和穩(wěn)定性。

1 算法結(jié)構(gòu)

車道線灰度高于路面灰度是車道線的一個重要特征，能有效排除路面陰影和車輪印記等干擾。受光照和道路交通情況等影響，使用全局閾值很難在復(fù)雜工況下實現(xiàn)準(zhǔn)確的車道線分割[9]，因此采用局部閾值來表示車道線的灰度范圍。為提高車道標(biāo)記線在邊緣不清晰，或被陰影部分遮擋時的識別率，首先利用圖像灰度變化挑選出具有一定邊緣強(qiáng)度和邊緣寬度的上升沿和下降沿，再統(tǒng)計不同工況下的車道線邊緣分布特性，將上升沿和下降沿分類匹配，得到車道特征點。

由于同一車道標(biāo)記線上的特征點在圖像中的位置和方向是連續(xù)的，且可通過分段直線來近似表示曲線的方向變換，因此通過直線假設(shè)對特征點進(jìn)行聚類處理，一方面排除離散的特征點，另一方面也能進(jìn)一步獲取車道標(biāo)記線的方向信息，為車道線擬合提供更全面的輸入，提高擬合精度。算法結(jié)構(gòu)如圖1所示。

2 基于邊緣分布的特征提取

2.1 局部灰度閾值

受透視變換影響，圖像中車道線寬度隨距離增加而減小，若采用固定窗口計算灰度閾值，則滿足近視場要求的計算窗口在遠(yuǎn)視場會覆蓋大量道路區(qū)域，降低灰度閾值的準(zhǔn)確性。而滿足遠(yuǎn)視場要求的計算窗口在近視場則僅能覆蓋很小范圍的道路區(qū)域，不能有效消除環(huán)境噪聲干擾。因此，本文中采用可變窗口的局部灰度閾值計算方法求解車道線灰度閾值，其公式為

(1)

式中：Gth(x0,y0)為點(x0,y0)處的灰度閾值；I(x,y)為圖像(x,y)處的灰度值；w、h分別為計算窗口的寬度和高度，其值隨區(qū)域位置y而變化。定焦攝像頭采集的圖像與地面坐標(biāo)之間的轉(zhuǎn)換關(guān)系為

(2)

式中：(x,y)為圖像坐標(biāo)；(X,Y)為地面坐標(biāo)；C1、C2為攝像頭固定參數(shù)；H為攝像頭安裝高度；θ為攝像頭的俯仰角。

由式(2)不難得知，圖像上車道標(biāo)記線的寬度與其真實寬度的比值和車道標(biāo)記線到攝像頭的縱向距離成反比，由此確定計算區(qū)域尺寸w、h與區(qū)域中心在圖像中的縱坐標(biāo)y關(guān)系為

(3)

式中：Wm為計算區(qū)域的實際寬度，取其為5倍最大車道線寬度。令車道線灰度閾值TG為

TG(i,j)=Gth(i,j)+20

(4)

原圖通過TG二值化后的結(jié)果如圖2所示。

圖2中左側(cè)護(hù)欄的陰影之間道路灰度明顯強(qiáng)于其兩側(cè)的陰影區(qū)域，若僅采用邊緣特征，則可能將之誤識別為車道標(biāo)記線。局部灰度閾值充分考慮了道路中局部區(qū)域的灰度分布，能夠有效排除此類由于陰影或車輪印記引起的誤識別。

2.2 基于灰度變化的邊緣檢測

sobel算子是最常用的車道線邊緣提取方式，其計算簡單，但是僅根據(jù)相鄰2個像素或4個像素的灰度差值來計算灰度梯度，在車道線不清晰時，車道線邊緣灰度梯度較小，sobel算子無法提取出車道線邊緣。圖3為隧道中車道線邊緣分布的一個示例。

圖3中右側(cè)圖像是將左側(cè)灰度圖像中白線所在行做sobel增強(qiáng)的結(jié)果。可看出由于右側(cè)車道線邊緣較模糊，其對應(yīng)的邊緣強(qiáng)度較低，難以識別。采用灰度變化提取車道線邊緣，改善車道線邊緣不清晰時的特征提取效果。在灰度圖像中按照從左向右的方向統(tǒng)計灰度分布，識別有效上升沿和有效下降沿。對有效上升沿做如下定義：

(5)

式中：x0和x1分別為邊緣起始位置和邊緣結(jié)束位置；Te為邊緣強(qiáng)度閾值；de為邊緣長度閾值。

式(5)定義有效上升沿(x0,x1)內(nèi)右側(cè)像素的灰度值高于左側(cè)，上升沿起始灰度和終止灰度差值大于閾值Te，以排除弱邊緣。邊緣起始位置和終止位置的間距小于de，且上升沿頂部灰度值大于局部閾值TG。同理可以定義有效下降沿為

(6)

Te越大，要求車道線與道路的對比度越大，能夠減少路面干擾，但在車道線清晰度不高時容易出現(xiàn)漏檢。經(jīng)統(tǒng)計不同工況下車道線與路面的灰度差異，取Te為15。de的取值則決定對車道線邊緣清晰程度的限制，de越小要求車道線邊緣清晰度越高，根據(jù)統(tǒng)計取為16個像素，所得邊緣分布結(jié)果與sobel算子的對比結(jié)果如圖4所示。

在圖4中豎直虛線所在位置，車道線灰度分布較平滑，采用sobel算子計算的灰度梯度很小，而采用灰度分布的邊緣統(tǒng)計方法則可以在這種情況下提取出車道線位置。

2.3 基于邊緣分布的特征提取

從圖4可看出，典型的車道標(biāo)記線由左側(cè)的上升沿和右側(cè)的下降沿組成，邊緣距離在車道線有效寬度范圍內(nèi)，且兩側(cè)邊緣的強(qiáng)度相似，這是大多基于邊緣特征的車道線特征提取方法所采用的約束。但是，當(dāng)車道線有破損或車道線被陰影部分遮擋時，車道線的灰度分布如圖5所示。

對圖5(a)所示車道線破損的情況，可能誤識別出兩個車道線特征。而圖5(b)所示車道線被陰影部分遮擋時，車道線內(nèi)部又存在一個上升沿或下降沿，可能出現(xiàn)特征定位偏移，若右側(cè)邊緣距離較近時，甚至?xí)?dǎo)致不能識別。為此，將車道線特征分為4類，如表1所示。

表1 車道線特征分類

對每個有效下降沿，分析其左側(cè)最近鄰的兩個邊緣和右側(cè)最近鄰邊緣信息，提取車道線特征并按表1分類。令(dm,dM)為有效車道線寬度范圍，構(gòu)成車道線特征的上升沿和下降沿間隔應(yīng)在有效寬度范圍以內(nèi)。定義下降沿右側(cè)dc距離為破損閾值，若在dc范圍最近鄰的邊緣是與下降沿強(qiáng)度相似的上升沿，認(rèn)為是車道線破損產(chǎn)生的干擾邊緣對，根據(jù)類型Ⅱ匹配邊緣。反之，判斷其左側(cè)(dm,dM)范圍內(nèi)有無滿足類型Ⅰ約束的上升沿，若不存在滿足約束的上升沿，則進(jìn)一步按照類型Ⅲ和類型Ⅳ匹配邊緣。通過上述邊緣分布匹配提取車道標(biāo)記線特征的結(jié)果如圖6所示，右圖黑色區(qū)域即為識別的車道標(biāo)記線。

3 基于直線約束的特征聚類

通過特征提取得到的車道線特征點集，雖然已通過局部灰度閾值和邊緣匹配方法排除了部分車輪印記、路面陰影等干擾，但依然存在部分由柵欄和車輛等帶來的噪聲。另一方面，車道線特征點僅包含特征位置、特征寬度和特征灰度等信息，而除此之外，車道標(biāo)記線還有方向這一重要參數(shù)，這是離散的特征點所不能具備的。因此，提出基于直線約束的特征點聚類方法，不但可以有效排除干擾，還能進(jìn)一步獲得車道線方向信息，為后續(xù)車道線擬合提供更準(zhǔn)確和更全面的輸入。

令特征點F(x,y,w,g)表示基于邊緣分布方法提取的特征點，(x,y)為特征位置，w為特征寬度，g為特征灰度。特征段B(xs,ys,xe,ye,k,b,w,n)表示由一系列特征點組成的車道標(biāo)記線段信息，其中，(xs,ys),(xe,ye)分別為特征段起始和終止位置，k、b為特征段的直線擬合參數(shù)，w為特征段平均特征寬度，n為特征段中包含的特征數(shù)量。新的特征段由于缺少先驗知識，只能通過車道線連續(xù)性判斷特征點是否屬于特征段。但是對于具備一定特征數(shù)量的特征段，則可根據(jù)已有的特征點預(yù)估特征段方向，更準(zhǔn)確地匹配特征點。因此定義Nf為擬合閾值，分兩種情況進(jìn)行特征段匹配。

3.1 車道線連續(xù)性匹配

當(dāng)特征段包含的特征點數(shù)少于Nf時，通過車道線位置、車道線寬度的連續(xù)性來進(jìn)行匹配。首先，特征點與特征段終止位置在縱向上的間隔應(yīng)小于設(shè)定閾值，即

|F(y)-B(ye)|

(7)

式中：rM為最大縱向間隔，其值隨縱向距離增加而減少。其次，特征點與特征段終止特征點的寬度應(yīng)該具有一定的重疊，以保證屬于特征段在橫向上的連續(xù)性，也即

|F(x)-B(xe)|<(F(w)+B(w))/3

(8)

式(8)要求特征點與特征段終止位置的橫向距離小于其寬度之和的1/3，該距離隨縱向距離的增加而減小。此外，特征段中的特征點寬度相似，且隨距離增加而減少，即

sm·B(w)

(9)

式中：sm和sM分別為最小寬度系數(shù)和最大寬度系數(shù)。根據(jù)上述匹配準(zhǔn)則進(jìn)行特征點-特征段匹配的結(jié)果如圖7所示。

圖7中灰色區(qū)域為特征寬度，黑色方塊為特征中心位置，黑色方塊中數(shù)字表示該特征所屬的特征段編號。可以看出，由于編號為2的特征點與底部編號為1的特征點不滿足橫向距離連續(xù)性約束，因此與特征段1不匹配。特征點3雖然與特征段1滿足縱向和橫向位置連續(xù)性約束，但其寬度明顯遠(yuǎn)大于特征段1，因此同樣與特征段1不匹配。若特征點滿足式(7)～式(9)所示約束，則計算其匹配誤差為

e=w1·(|F(x)-B(xe)|+(F(w)-B(w)))

(10)

式中：w1為誤差權(quán)重，取為1.2。

3.2 直線約束匹配

若新特征段特征點數(shù)不小于Nf，則認(rèn)為特征段已經(jīng)包含的特征點可以表示特征段方向，采用最小二乘法擬合特征段直線參數(shù)，并根據(jù)特征點與特征直線的距離來判斷橫向位置的連續(xù)性。令特征段的擬合直線方程為

x=B(k)·y+B(b)

(11)

式中：(x,y)為特征段中的特征點坐標(biāo)；n為特征點數(shù)量。橫向位置約束修改為

|F(x)-B(k)·F(y)-B(b)|

(12)

式中：d為特征點最大偏移距離。由于圖像透視效應(yīng)，d隨距離增加而減小。采用該約束的特征匹配結(jié)果如圖8所示。

若采用式(8)基于橫坐標(biāo)距離的判據(jù)，第一行中標(biāo)記為2的特征點與特征段的橫向距離小于標(biāo)記為1的特征點，該特征點將會被添加到特征段中，這顯然是不符合車道線分布特性的。而通過特征段1底部4個特征點可以得到其擬合直線，即圖中的灰色直線。若車道線為理想直線，則其在第一行中的特征點應(yīng)位于黑色圓形所在位置。顯然右側(cè)特征與該理想點的距離更小，因此右側(cè)特征點將會被添加到特征段1中。對滿足連續(xù)性約束的特征段，其匹配誤差為

e=w2·(|F(x)-B(xe)|+(F(w)-B(w)))

(13)

與式(10)相比，特征點在這種情況下匹配的可信度更高，因此誤差權(quán)重w2更小，本文中取w2=1.0。當(dāng)特征點同時與多個特征段匹配時，根據(jù)匹配方式的不同，采用式(10)或式(13)計算相應(yīng)的匹配誤差，選擇匹配誤差最小的特征段作為匹配結(jié)果，并將該特征點添加到這個特征段中。若特征段包含的特征點數(shù)量大于設(shè)定閾值，則將之作為有效特征段，最終得到的聚類結(jié)果如圖9所示。

4 實驗結(jié)果

為驗證該方法的有效性，選擇不同工況下采集的道路圖像組成測試庫，測試車道標(biāo)記線識別效果。記識別的特征點中有效的車道標(biāo)記線特征數(shù)量為TP，不是有效車道標(biāo)記線特征的數(shù)量為FP，則TP的大小表示特征提取算法對車道線特征的檢測效果，TP越大，檢測率越高。而另一方面，TP的增大通常也會導(dǎo)致FP增大，因此采用正確因子來評價檢測結(jié)果中有效特征的占比，即

(14)

手動標(biāo)記出測試庫中車道線的位置，若檢測的特征點在車道線內(nèi)，則認(rèn)為是一個有效的特征點，反之則為誤檢測。圖10為4種不同工況下的車道標(biāo)記線檢測和聚類結(jié)果，可以看出，所提出的車道標(biāo)記線檢測方法在存在大量陰影、強(qiáng)烈反光和車輪印記時也能有效檢測到車道標(biāo)記線。通過特征聚類處理，大部分誤識別結(jié)果都被消除，且特征段方向與車道標(biāo)記線一致，能夠反映車道標(biāo)記線的位置和方向。

將上述工況下分別采用sobel算子，本文中提出的特征提取方法，以及該方法加特征聚類提取車道標(biāo)記線特征，統(tǒng)計其TP和ε結(jié)果見表2和表3。

從表2和表3中可以看出，3種方法的有效特征數(shù)量相當(dāng)，但是在復(fù)雜工況下，本文中采用的特征提

表2 有效特征數(shù)量TP

表3 正確因子ε

取方法正確因子ε更高，加入聚類處理后，正確因子有明顯提升，雖然TP值略有下降，但仍然維持較大的數(shù)值，可見基于邊緣匹配和特征聚類的車道標(biāo)記線檢測方法在保證特征檢測率的基礎(chǔ)上，能有效排除誤檢，提高后續(xù)車道線識別的精度和穩(wěn)定性。

5 結(jié)論

提出一種基于邊緣分布及特征聚類的車道線標(biāo)記線檢測方法，首先采用可變窗口計算車道線局部灰度閾值，結(jié)合圖像梯度提取出有效邊緣。根據(jù)不同工況下車道標(biāo)記線的邊緣分布特性，把車道標(biāo)記線分為4類，分類進(jìn)行邊緣分布匹配，提取車道標(biāo)記線特征點。然后利用車道線連續(xù)性對特征點進(jìn)行聚類處理，將特征點歸類為不同的直線段，進(jìn)一步排除離散的特征點，為后續(xù)的車道線擬合提供車道標(biāo)記線方向信息，提高擬合精度和穩(wěn)定性。實驗結(jié)果證明，該方法在各種工況下都能檢測出車道標(biāo)記線，其聚類結(jié)果可排除大量干擾，且能準(zhǔn)確表示車道標(biāo)記線位置和方向，為后續(xù)車道線識別提供充分支持。

[1] Liu Jingfu, Su Yifeng, Ko Mingkuan, et al. Development of a Vision-Based Driver Assistance System with Lane Departure Warning and Forward Collision Warning Functions[C]. Proceedings of Digital Image Computing: Techniques and Applications, Canberra, ACT, December 1-3,2008:480-485.

[2] 陳軍,趙玉凡,徐友春,等.基于啟發(fā)式搜索的車道線識別算法研究[J].計算機(jī)工程與應(yīng)用,2007,43(31):206-209.

[3] Truong Quoc Bao, Lee Byung Ryong, Heo Nam Geon, et al. Lane Boundaries Detection Algorithm Using Vector Lane Consept[C]. Proceedings of the 10th International Conference on Control, Automation, Robotics and Vision, Hanoi, Vietnam, December 17-20,2008:2319-2325.

[4] 郭磊.基于機(jī)器視覺的智能汽車行駛環(huán)境感知系統(tǒng)[D].北京:清華大學(xué),2007.

[5] 周欣,黃席樾,劉濤,等.高速公路分道線識別與重建[J].重慶大學(xué)學(xué)報,2003,26(8):52-55.

[6] Evangeline Pollard, Dominique Gruyer, Jean-Philippe Tarel, et al. Lane Marking Extraction with Combination Strategy and Comparative Evaluation on Synthetic and Camera Images[C]. Proceedings of 14th International IEEE Conference on Intelligent Transportation Systems, WashingtonDC, USA. October 5-7,2011:1741-1746.

[7] Apostoloff N, Zelinsky A. Robust Vision Based Lane Tracking Using Multiple Cues and Particle Filtering[C]. Proceedings of IEEE Intelligent Vehicles Symposium, June 9-11,2003:558-563.

[8] Chen Chao, Wang Junzheng, Chang Huayao, et al. Lane Detection of Multi-visual features Fusion Based on D-S Theory[C]. Proceedings of 30th Chinese Control Conference, Yantai, China, July 22-24,2011:3047-3052.

[9] Thomas Veit, Jean-Philippe Tarel, Philippe Nicolle, et al. Evaluation of Road Marking Feature Extraction[C]. Proceedings of the 11th International IEEE Conference on Intelligent Transportation Systems, Beijing, China, October 12-15,2008:174-181.