基于自適應透視變換與特征融合的車道線檢測方法

黃艷國，鐘勇，夏金龍

(江西理工大學電氣工程與自動化學院，贛州 341000)

隨著國民經濟的發展，私家車的保有量不斷增加，在給人們出行帶來便利的同時也導致交通事故頻發。根據公安部關于交通事故的統計數據，有超過五成的交通事故是與車輛偏離行駛軌道有關。車道偏離預警[1](lane departure warning system，LDWS)通過車道線識別來確定車輛與車道線的關系，以確定車輛與軌道的位置，當車輛偏離車道時，系統就可以獲知并通過聲音、震動等方式來提醒駕駛員，避免在車輛越過車道線后發生碰撞，因此準確高效地車道線檢測對實現車輛的輔助駕駛[2]至關重要。

傳統的車道線檢測方法多是使用邊緣檢測加濾波等方式切分出感興趣區域，再結合霍夫變換、最小二乘法等算法來實現車道線檢測。霍夫變換在直線檢測上有著很高的準確率，但彎道檢測效率不佳；最小二乘法可于檢測彎道，但無法用于擬合間斷型的曲線[3-4]。近年來深度學習也運用到車道線檢測當中[5-6]，但由于其需要較高的硬件支撐，所以在實際的應用中還有待探索。一些專家、學者在傳統方法的基礎上進行改進研究，取得了一些成果。錢基德等[7]在感興趣區域模型基礎上，使用改進Hough變換檢測車道再通過逆透視變換消除偽車道來完成車道檢測。該方法在直道檢測中效果較好，但由于Hough變換的局限性，導致彎道處的車道線檢測較為困難。姜澤等[8]通過霍夫變換確定近端區域直線，在確定樣條曲線控制點后使用Catmull-Rom樣條曲線確定遠端區域曲線。該方法提升了彎道檢測性能，但控制點的尋求方法較為復雜，導致計算量較大。賈會群等[9]使用具有方向性的檢測器對道路進行邊緣檢測，再通過BP(back propagation)神經網絡確定模型參數并完成左右車道的檢測，最后使用最小二乘法實現車道線的重構。此方法具有較好的魯棒性，但由于最小二乘法只適用于識別連續的車道線，當車道線是虛線或路面破損時，將很難尋找到合適的擬合函數進行擬合。

為了解決上述方法中由于彎道檢測效果不佳導致整體準確性不高的問題，使用自適應透視變換對畸變圖像進行矯正，再通過自適應滑動窗口法擬合出車道并確保算法的實時性，以達到提升彎道識別率的目的。

1 自適應透視變換模型建立

1.1 透視變換

車載攝像頭所采集的車道線圖像是世界坐標系下的物體在二維平面的投影。圖像中的車道線在遠處匯聚成一個點，直接在原始圖像中對車道線進行提取和擬合的難度較大。采用透視變換將車道線轉換成鳥瞰圖形式，再對世界坐標系下的鳥瞰圖進行車道擬合是有效的解決方法之一[10-11]。

圖1 世界坐標系、相機坐標系及圖像坐標系的關系

(1)

(2)

式中：u為像素空間中某一像素點的x軸坐標；v為像素空間中某一像素點的y軸坐標；c為該像素點在現實圖像中的x軸大小；r為該像素點在現實圖像中的y軸大小；k為像素和距離單位之間的比例關系，即每米占多少個像素點。

通過求得透視變換矩陣就能夠實現像素(圖像)空間目標到世界坐標系下對應目標的變換，實現對畸變部分的矯正。

1.2 自適應透視變換模型

車輛在行駛中由于路面顛簸會使得攝像頭的傾斜角度發生改變，導致車輛所拍攝的行車視頻存在圖像畸變。而在普通透視變換中一般采用固定參數，這使得變換矩陣也是固定的，這將無法矯正由于攝像頭傾角變化所導致的圖像畸變。使用的自適應透視變換模型，透過添加攝像機俯仰角，能夠實現圖像畸變的自適應矯正。

為了建立自適應透視變換模型，使用圖1模型的側視圖和俯視圖中所描述的參數來計算攝像機所得圖像在世界坐標系中的位置。圖2、圖3分別為模型側視圖和模型俯視圖。

θ0為攝像機傾斜角；α為攝像機垂直視角的1/2；β為攝像頭水平視角的1/2；θc為相機的俯仰角；fr與fc分別為垂直焦距和水平焦距；X為相機到前方拍攝物體的現實距離；為沿攝像機視角方向取垂直焦距長度作x軸原點在作垂線的一個交點，為了突出水平焦距的位置；Y為世界坐標系下的Y軸

先從側視圖入手在世界坐標系下，通過像素點v、相機傾斜角和垂直角可以用來表示X軸方向上的任意點，于是可以得到X(v)的表達式[式(3)]；再由俯視圖得到Y(u,v)與X(v)之間的比例關系進而推導出Y(u,v)表達式[式(4)]。

(3)

(4)

綜上已經求得Y(u,v)與X(v)的模型表達式，同時觀察模型俯視圖(圖3)可知，P點與Z軸相重合，為簡便計算可假設該模型中Z=0。傳統透視變換模型中將攝像頭的傾斜角視為固定值，但是在車輛實際運行時，由于路面的顛簸，傾斜角會發生細微的變化，導致在圖像轉換時出現偏差。為了解決這個問題，在上述模型中添加俯仰角θc，即將Y(u,v)與X(v)中的θ0替換成(θc+θ0)，使得模型可以實時更新像素點在世界坐標系下的變化情況。截取測試視頻中的一幀圖像進行畸變矯正，矯正結果如圖4所示。

y為拍攝物體的現實寬度

圖4 原始圖形畸變矯正前后對比

通過對比圖4中矯正前后的圖像，可以觀察到圖像下邊緣處的畸變得到了矯正，這將有利于提升后續鳥瞰圖轉換的精確度。

2 圖像預處理

2.1 灰度化處理

彩色圖像中蘊含大量的信息，直接在原圖像的基礎上處理會導致計算量巨大。而車道線一般都是白色或黃色的醒目標線，灰度化后易于識別，并且能夠簡化計算矩陣和提高運行速度。將校正后的圖像轉換成HLS格式并繪制其各個通道的圖像，然后對比RGB、HLS格式下各個通道的圖像，找出灰度化效果最好的通道。截取測試視頻中的一幀圖像進行測試，各通道灰度化處理效果如圖5所示。

圖5 HLS、RGB格式下各通道灰度化效果對比

對比圖5中的各通道灰度化效果圖可以發現，HLS圖像格式下的S通道的灰度化效果最好，車道線與道路背景的梯度差最大，有助于提升后期檢測的準確率。在圖像亮度較暗的情況下HLS圖像格式下的灰度化效果較差，RGB圖像格式下的R通道效果較好,所以在實際的處理中需要根據圖像的亮度來調節灰度化的通道選擇，當亮度值L小于35時選擇使用R通道下的灰度化圖像。

2.2 基于特征融合的二值化處理

2.2.1 邊緣檢測

灰度化后的圖像還存在部分噪點以及一些后續處理所不需要的顏色或者特征，為了簡便計算，提升運行速度，需要進行圖像濾波和二值化處理。

車道線邊緣檢測常用Sobel算子計算,該算子利用局部差分尋找邊緣，得到近似的梯度值[12]。為了找到最適合車道線檢測的邊緣檢測算子，通過對比Canny算子、LOG算子、Scharr算子以及Laplacian算子和Sobel算子在RGB、HLS圖像格式下的檢測效果，從中選擇檢測效果最好的檢測算子，處理效果對照如圖6所示。

圖6 不同邊緣檢測算子檢測效果對比

通過觀察效果對比圖(圖6)可以發現，Sobel算子在HLS格式下的X方向上的邊緣檢測效果最好，并最終采用該算子作為最終的邊緣檢測方法。由于Laplacian算子、Canny算子和LOG算子都采用了高斯濾波，雖然在抑制噪聲方面效果較好，但卻使得圖像中的局部低強度邊緣無法識別，導致在環境因素和光影變化的強干擾下以上3種算子的檢測效果都不太理想。Scharr算子具有和Sobel算子一樣的計算速度，并具有更高的精度，使得其對圖像中的低強度邊緣具有更強的敏感性，導致道路背景中出現大量的噪點。

2.2.2 顏色特征提取

由于單純依靠Sobel算子得到的車道邊緣特征還不夠清晰明亮，無法直接用于車道線識別。因此采取顏色特征與邊緣特征疊加的方式來提升二值化的精確度，并通過設置顏色閾值范圍，在原始圖像中提取出車道線的顏色特征。選取明亮和昏暗兩種光線條件下的圖像進行顏色特征提取測試，顏色特征提取結果如圖7所示。

圖7 光線昏暗與光線明亮時彎道顏色特征圖

2.2.3 特征融合

最終采用車道線顏色特征與Sobel 算子在HLS格式中提取的梯度特征進行特征融合，來完成最終的二值化。若直接對顏色信息及梯度信息進行疊加，會導致結果漂移的現象。解決方法是，在特征融合時對顏色信息與梯度信息進行加權平均處理。通過不斷比對使用不同權重進行特征融合后的車道識別效果，最終發現在梯度信息權重為0.25、顏色信息權重為0.75時能獲得較好的擬合結果，圖8為特征直接疊加與采用該權重加權平均后的車道擬合對比圖。

觀察圖8可知，圖8(a)中直接對兩種特征信息進行疊加，會導致檢測結果偏離車道真實位置甚至檢測失敗，這是由于光影干擾和地面破損使得梯度信息存在裂縫所導致。而在采用上述權重進行加權平均融合的圖8(b)中，能夠準確擬合出真實車道線，且擬合曲線清晰、光滑。采用該權重進行特征融合，得到的最終二值化效果圖如圖9所示。

圖8 特征直接疊加與加權平均后的車道擬合效果圖

圖9 光線昏暗與光線明亮時彎道二值化效果圖

2.3 感興趣區域提取

圖像處理過程中，通過方框、圓、不規則多邊形等方式在圖像中截取出待處理區域，該區域被稱作感興趣區域(region of interest，ROI)。檢測時主要對圖像中的車道線進行處理，通過在二值化圖像中確定感興趣區域的4個頂點坐標來截取出車道線區域，使得車道線之外的道路背景得以剔除。同時利用自適應透視變換模型所得變換矩陣將感興趣區域轉換成鳥瞰圖的形式，以便后續對車道線進行擬合，圖10為感興趣區域處理與鳥瞰圖示例。

圖10 ROI處理與鳥瞰圖

從鳥瞰圖轉換效果圖[圖10(b)]中可以看出，感興趣區域提取后的車道線不再有背景環境的干擾，車道線清晰可見，有利于后期進行車道線檢測處理。

3 基于自適應滑動窗口法的車道檢測算法

3.1 車道線定位

在進行車道線擬合前需要對左右車道進行定位，以便于設置滑動窗口的起始位置。二值化后的鳥瞰圖只包含黑白兩種色值(白色為1、黑色為0)，將圖像轉換為數據矩陣的形式，如(720×1 280×1)，再對橫軸進行統計，可以得到(1×1 280)個向量，將得到的統計峰值作為車道線搜尋的起點。

3.2 車道線搜尋過程

獲得兩條車道線的起始位置之后，使用自適應滑動窗口法對車道線進行搜尋。首先設置搜尋窗口，利用車道線定位中所得的車道起始點作為搜尋的起點，并以當前的起點為中心進行網格化搜尋。選擇參數初始化，參數更新以及平滑優化3個步驟對算法中心思想進行闡述。

(1)參數初始化。設定搜尋窗口的參數，包括外接矩形寬度width、矩形高度height及鳥瞰圖中點Mk=(uk,vk)，其中(uk,vk)為鳥瞰圖中點像素點的坐標值。窗口寬度和窗口高度可以通過式(5)、式(6)計算。

w=4W-1

(5)

h=Q/n

(6)

式中：W為車道寬度像素值；Q為鳥瞰圖的高度；n為滑動窗口數目；w、h分別為滑動窗口的寬度和高度。

(2)參數更新。每個窗口分別進行垂直和水平方向的直方圖統計，得到窗口中非零像素點的個數，并根據以下不同情況進行參數更新。

當第k次窗口中非零像素點的數目小于60時，取第k-1個窗口的上邊緣中點與第k個窗口的下邊緣中點進行擬合，將其作為當前窗口內車道線延長方向的參考線，通過求得該延長線與直線lk=(vk+h)的交點后，再進行取整來得到第k+1個窗口中點Mk+1=(uk+1,vk+1)。

當第k次窗口中非零像素點的數目大于或等于60時，對窗口中的非零像素點進行二階多項式擬合，得到曲線方程x=ay2+by+c,再通過令y=imgh，計算得第k+1次窗口的搜尋基點，其中imgh表示當前搜索窗口的位置高度。

當第k次窗口中未檢測出任何非零像素點時，則延續使用第k-1次更新的信息。

(3)平滑優化；結束車道搜尋后將得到k個搜尋窗口，每個窗口中均存在曲線。利用每個窗口得到的參數方程做一個平滑優化處理，來獲得平滑的車道線。具體過程如下。

首先將k個曲線方程分成k/3組，每組中有3個曲線方程，任選其中的兩個方程組成新分組數據。然后將新分組的曲線方程進行離散化處理，假設已知其中一條曲線方程l為x=ey2+fy+g，其中e、f、g為二階多項式的待定參數，在進行像素點擬合時會進行更新，隨機選取一組x值為[x1,x2,…,xn]，對應y值為[y1,y2,…,yn]，從而可以利用采樣點集合{(x1,y1),(x2,y2),…,(xn,yn)}來近似表示曲線方程l，以此達到曲線方程離散化的目的。離散化后的特征對異常值具有很強的魯棒性，使得模型更加穩定。最后對離散化后的坐標點取均值再進行二階多項式擬合處理，算法具體流程圖如圖11所示。

圖11 算法檢測流程圖

選取光線明亮與光線昏暗場景下的道路原始圖像，進行對比測試來檢驗所提算法的有效性，原始圖像與車道搜尋效果對比如圖12、圖13所示。

圖12 光線明亮條件下的車道搜尋結果

圖13 光線昏暗條件下的車道搜尋結果

通過對比圖12、圖13可知，所提算法在光線明亮和光線昏暗條件下的車道搜尋結果良好。所提算法的搜尋窗口能夠根據攝像機和車道像素信息進行窗口的自適應調整，通過切分車道線并沿車道線的曲率方向進行搜尋。實驗顯示，經過平滑優化后的曲線光滑清晰，擬合效果良好、泛化能力較強。

4 實驗與分析

4.1 算法識別率的對比與分析

為了驗證本文算法在復雜路況下的檢測能力，使用的實驗視頻采集了不同光照，不同道路環境下的車道線視頻。該實驗視頻由車載相機拍攝，車輛速度為65～90 km/h，視頻幀率為29幀/s，圖像分辨率為1 280×720。為測試自適應滑動窗口法在彎道處的擬合能力與其他傳統算法的性能差異，選取3組彎道數據對本文算法的彎道檢測性能進行測試。測試數據1中包含較多斷續型彎道圖像，測試數據2中包含部分的道路破損類型彎道，測試數據3中大部分為城市彎道。選取本文算法與傳Hough算法，OTSU算法以及Catmull-Rom算法進行彎道檢測性能測試，采用車道識別率作為對比指標，測試結果如表1所示。

表1 不同算法的彎道識別率對比

由于霍夫變換在彎道處的檢測缺陷導致整體的準確率不高。OTSU算法針對單一的車道的檢測效果較好，但由于測試圖像中包含大量的環境影響因素，使得該算法出現誤分割[13]。Catmull-Rom樣條曲線算法整體的檢測效果較好，但是由于控制點的選取方法不夠成熟，導致遠端曲線的擬合出現誤差。綜合測試結果來看，本文算法在復雜環境中的平均彎道識別率達到了91.17%，綜合彎道擬合效果較好。

為了對比本文算法在綜合路況下的識別能力，再對以上4種算法進行整體的識別率檢測。采用3段復雜路況下的行車視頻進行測試，測試視頻中包含各種復雜路況，覆蓋了日常生活中絕大部分的車輛使用場景，表2為4種算法的整體識別效率對比。

表2 不同車道線算法的整體識別率

通過對比表2中數據可知，傳統Hough算法的整體識別率最低，平均識別率僅有81.81%。本文算法平均識別率達到95.59%，相較于傳統Hough算法提升13.78%，成功達到通過提升彎道識別率來提升整體識別率的目的。

4.2 算法檢測效率對比與分析

檢測效率是衡量算法性能的重要指標之一，選擇4.1節中用于測試整體路況識別率的數據來檢測算法的處理速度，依舊采用4種算法進行對比分析。圖14為4種算法在同一測試條件下的檢測效率對比。

圖14 不同算法檢測效率對比

通過對比圖14中的算法效率可知，傳統Hough變換的檢測效率最低，這是由于傳統Hough算法需要檢測圖像中的所有的車道邊緣，再從中篩選出車道從而導致檢測效率不高。其次OTSU算法容易受到復雜光影的影響，導致算法的處理速度下降。本文算法的檢測速度相對略高于Catmull-Rom算法，平均車道檢測耗時36 ms/幀，提升了算法整體識別率，也保證了算法較好的實時性。

4.3 不同場景下的車道線檢測

本實驗選取城市道路、山路、隧道、高架橋4種常見的道路環境來驗證算法的檢測效果。其中不同道路有不同的光影環境，如山路環境下光線昏暗，高架橋環境中有霧霾的干擾，盡可能地模擬真實的行車環境。檢測效果如圖15所示。

Bendradius為彎曲半徑；以0.501 m left of center為例，表示中心左側0.501 m

車道擬合效果來看，該算法的泛化能力較強，能夠針對不同的道路環境、光影環境，進行較準確的車道線檢測，且具有較強的魯棒性。還可將車道曲率以及車輛相對位置顯示在左上角，能夠為車道偏離預警以及車道保持提供數據支持[14]。

5 結論

通過使用自適應透視變換模型，排除車輛顛簸所造成的圖像畸變影響，提升鳥瞰圖轉換的精確度以及系統整體魯棒性，車道擬合方面采用自適應滑動窗口法擬合車道。實驗結果表明，本文算法具有良好的彎道識別率、檢測精度高、泛化能力強。鑒于該方法彎、直道檢測能力的優勢，可初步運用于輔助駕駛系統中，例如車道巡航、車道保持以及車道偏離預警等方面。下一步將對算法的處理速度進行提升，以便進一步的滿足自動駕駛對算法實時性的要求。