基于優(yōu)化最大類間方差法閾值分割與滑動窗口法的車道偏離預(yù)警*

黃艷國 鐘勇 饒澤浩

（江西理工大學(xué)，贛州 341000）

主題詞：最大類間方差法 整體嵌套邊緣檢測 車道線檢測 滑動窗口法 車道偏離預(yù)警

1 前言

車道偏離預(yù)警系統(tǒng)（Lane Departure Warning System，LDWS）[1]作為高級輔助駕駛系統(tǒng)（Advanced Driving Assistance System，ADAS）[2]的重要組成部分，通過環(huán)境感知傳感器探測車輛與車道線的位置關(guān)系，可在車輛即將越過車道線時對駕駛員進(jìn)行提示，有效提升駕駛安全性。

目前，商用LDWS 主要基于視覺感知開發(fā)，其通過對攝像頭采集的圖像進(jìn)行處理分析，能夠達(dá)到比普通雷達(dá)更高的精確度，同時具有性價比高、結(jié)構(gòu)簡單等特點[3]，受到了廣大專家學(xué)者的關(guān)注。

在基于視覺的車道偏離預(yù)警研究中，許小偉等人[4]使用頂帽算法結(jié)合最大類間方差法（OTSU算法）對車道線進(jìn)行分割，并使用最小絕對值收斂和選擇算子（Least Absolute Shrinkage and Selection Operator，LASSO）多項式擬合車道曲線，最后根據(jù)車輛行駛時的虛擬車道線角度來判斷車輛的偏離狀況，該方法有效解決了復(fù)雜道路環(huán)境下的車道線分割問題，并縮短了預(yù)警時間。Teo等人[5]通過伽博（Gabor）濾波器抑制道路陰影并增強(qiáng)車道線標(biāo)記，而后使用坎尼（Canny）算子結(jié)合自適應(yīng)閾值調(diào)整對車道線進(jìn)行自適應(yīng)邊緣檢測，使用概率霍夫變換篩選出候選車道，最后根據(jù)歐幾里得距離與車道偏離角來判斷車輛的偏離狀況。該方法計算復(fù)雜度低、實時性好，具有較高的成本效益。李福俊等人[6]通過改進(jìn)的霍夫變換識別車道線后，使用四點標(biāo)定法對車道線進(jìn)行校正，最后在鳥瞰圖的基礎(chǔ)上計算車身偏離量，該方法耗時較短，具有良好的魯棒性與實時性。以上研究在圖像預(yù)處理階段多使用傳統(tǒng)的索貝爾（Sobel）、Canny以及普雷維特（Prewitt）等邊緣檢測算子[7-8]，此類邊緣檢測算法極度依賴特定的閾值參數(shù)，通常是人為設(shè)置的經(jīng)驗值，容易受到環(huán)境干擾。同時，霍夫變換的局限性使其在擬合彎道時的精確度不高，從而降低了車輛偏離預(yù)警系統(tǒng)的整體準(zhǔn)確率。

為了解決以上問題，本文在圖像預(yù)處理階段使用遺傳退火算法求解出OTSU最優(yōu)閾值實現(xiàn)對車道線的二值分割，同時使用整體嵌套邊緣檢測（Holistically-nested Edge Detection，HED）模型進(jìn)行車道邊緣提取，結(jié)合滑動窗口法與二階多項式進(jìn)行車道擬合，最終利用車輛與車道相對位置信息進(jìn)行偏離預(yù)警決策，以達(dá)到提升系統(tǒng)整體預(yù)警準(zhǔn)確度的目的。

2 圖像預(yù)處理

2.1 改進(jìn)的OTSU二值化方法

OTSU算法計算簡單，不受圖像亮度和對比度影響，廣泛用于圖像分割中的閾值選取。在車道線檢測中，車道線與道路背景的差別較大，類間函數(shù)不易出現(xiàn)多峰現(xiàn)象，能較好地發(fā)揮OTSU算法優(yōu)勢[9]。

傳統(tǒng)方法求解OTSU最佳閾值時，常采用遍歷法使得類間方差最大來獲取最佳閾值，但方法計算量較大，迭代次數(shù)多或直接使用固定閾值[10]。為了加快算法速度，本文使用改進(jìn)遺傳退火算法[11]優(yōu)化OTSU 算法的閾值計算，其中遺傳算法對迭代過程進(jìn)行優(yōu)化，為防止其陷入局部最優(yōu)解，結(jié)合模擬退火算法允許在獲得最優(yōu)閾值時有小范圍的波動，達(dá)到快速收斂的目的。

2.1.1 OTSU閾值分割原理

假設(shè)原始圖像中像素總數(shù)為K，對應(yīng)灰度級為i的像素點數(shù)量為ki，灰度級數(shù)量為L，i的取值范圍為[0,L-1]，由此可得灰度級為i的像素點出現(xiàn)的概率為：

通過最優(yōu)閾值t將像素點分割成前、后景，其中灰度值為[0,t]的部分被分割成前景Q0，灰度值為(t,L-1]的像素點被分割成后景Q1，同時，前景類概率ω0與后景類概率ω1分別為：

圖像平均灰度級μt、前景平均灰度值μ0、后景平均灰度值μ1分別為：

由此可得Q0與Q1間的類間方差σ2為：

求得使類間方差最大的像素值t即為最優(yōu)閾值，據(jù)此便可對原始圖像進(jìn)行二值分割處理。

2.1.2 遺傳退火算法求解最優(yōu)閾值

為加快OTSU算法求解最優(yōu)閾值的速度，使用遺傳退火算法對迭代過程進(jìn)行優(yōu)化。隨機(jī)生成初始種群，通過選擇、交叉、變異等操作生成新一代種群，并將適應(yīng)度函數(shù)設(shè)置為前、后景類間方差，每次迭代后得到適應(yīng)度更高的種群。為防止陷入局部最優(yōu)解，在每次迭代后允許最優(yōu)個體A以一定的概率波動，由此生成新個體B，再分別計算個體A、B的適應(yīng)度σ(A)、σ(B)，若σ(B)≥σ(A)，則使用新個體B替換A成為最優(yōu)個體，反之，則按概率C=Eu(σ(A)-σ(B))/c（Eu為歐拉數(shù)，c為當(dāng)前溫度）接受B個體為最優(yōu)解。其中模擬退火算法的主要流程如圖1 所示。

圖1 遺傳退火求解OTSU最優(yōu)閾值流程

引入模擬退火算法后，在一定程度上增加了運(yùn)算成本，為此，在數(shù)組運(yùn)算時采用Numpy索引切片運(yùn)算來替代常規(guī)的for循環(huán)，并將原始圖像的長度、寬度各縮短到原來的1/4，以此加快閾值計算速度。算法得到的最優(yōu)解即為最優(yōu)閾值，將其解碼成十進(jìn)制數(shù)便可得到最終結(jié)果。

2.1.3 改進(jìn)OTSU算法車道線分割

在進(jìn)行二值分割操作前，需要將原始圖像轉(zhuǎn)換成灰度圖像。常規(guī)灰度化采用加權(quán)平均的方式在RGB格式下提取，存在無法凸顯原車道線主體的情況[12]。在HLS圖像格式下拆分出S 通道灰度圖能更好地凸顯車道線特征，上述2種灰度圖像提取效果如圖2所示。

圖2 灰度化效果對比

相比常規(guī)方法，S通道灰度圖像中的車道線特征明顯、清晰，使用S通道進(jìn)行二值分割測試，種群的迭代情況如圖3所示。

圖3 種群迭代中最優(yōu)個體的適應(yīng)度情況

初始種群最優(yōu)個體適應(yīng)度為2 189.618，迭代結(jié)束后最優(yōu)個體適應(yīng)度為2 195.977，其對應(yīng)灰度值119即為最優(yōu)閾值。根據(jù)遺傳退火算法所得最優(yōu)閾值對圖像進(jìn)行二值分割，得到最終的二值分割圖像如圖4所示。

圖4 OTSU二值分割效果對比

觀察圖4 可知，經(jīng)過遺傳退火算法優(yōu)化后，圖像閾值分割更加準(zhǔn)確。相對于傳統(tǒng)方法，圖像中的某些微小噪聲被過濾，能夠更加準(zhǔn)確地表征圖像中的車道線信息。同時，在處理速度方面，本文方法較傳統(tǒng)遍歷法提升5%，能夠有效節(jié)省整體車道檢測耗時。

2.2 邊緣檢測與感興趣區(qū)域提取

2.2.1 邊緣檢測

車道邊緣是車道檢測中的重要結(jié)構(gòu)特征，通常根據(jù)車道線與圖像背景的梯度差異進(jìn)行提取。傳統(tǒng)車道邊緣檢測多使用X方向的Sobel 算子或Canny 算子進(jìn)行提取，此類邊緣檢測算法極度依賴于幾個閾值參數(shù)。閾值參數(shù)通常取人為設(shè)置的經(jīng)驗值，導(dǎo)致算法的魯棒性受到影響，在應(yīng)對復(fù)雜環(huán)境時存在邊緣檢測不理想的情況。

本文選擇使用HED網(wǎng)絡(luò)[13]來實現(xiàn)車道線邊緣提取，HED 模型由Xie 等人提出，其基于VGG16 骨干網(wǎng)絡(luò)，并且使用遷移學(xué)習(xí)初始化網(wǎng)絡(luò)權(quán)重，同時進(jìn)行多尺度特征融合，HED 的優(yōu)點在于減少了圖像中大部分不相關(guān)的信息，同時過濾了噪聲，從而縮短了檢測時間。通過OpenCV 調(diào)用HED 模型對二值化分割后的圖像進(jìn)行邊緣提取。分別使用HED方法與傳統(tǒng)邊緣檢測方法得到車道線邊緣特征，結(jié)果如圖5所示。

圖5 不同方法邊緣檢測效果對比

觀察圖5 可知，圖5b、圖5c 中車道邊緣特征模糊、車道線輪廓狹長且不光滑，檢測效果不太理想。這是由于Sobel 算子計算方向單一，無法應(yīng)對車道背景存在復(fù)雜紋理的情況，直接應(yīng)用經(jīng)驗閾值判斷造成了較多的噪聲誤判；Canny 算子基于梯度閾值的雙閾值方法難以在抑制噪聲的同時保護(hù)低強(qiáng)度邊緣，易將噪聲誤判為邊界，經(jīng)驗閾值自適應(yīng)能力較差。而HED 模型基于神經(jīng)網(wǎng)絡(luò)對邊緣的高、低層特征的全面提取，使得所獲取的車道邊緣明亮、清晰且光滑，同時背景中噪聲較少。

2.2.2 感興趣區(qū)域提取

由于車載相機(jī)拍攝的圖像包含較多的背景冗余信息，如車道旁的樹木、路肩、天空等，去除后并不會影響檢測結(jié)果。同時，車載相機(jī)相對車輛位置固定，車道線集中出現(xiàn)在圖像的下半部分，故根據(jù)車道線在圖中的相對位置，設(shè)置感興趣區(qū)域的4 個頂點，從而將車道線區(qū)域切分出來，感興趣區(qū)域提取結(jié)果如圖6所示。

圖6 感興趣區(qū)域提取示意

由于攝像機(jī)的成像原理導(dǎo)致現(xiàn)實中平行的車道線在圖像中呈現(xiàn)遠(yuǎn)處相交的趨勢。使用逆透視變換[14]操作將感興趣區(qū)域轉(zhuǎn)換成鳥瞰圖的形式，使得車道線回歸平行的狀態(tài)，以提升車道擬合準(zhǔn)確率。圖7所示為逆透視變換后的感興趣區(qū)域鳥瞰圖，轉(zhuǎn)換后車道線相對平行，易于后續(xù)擬合。

圖7 鳥瞰圖轉(zhuǎn)換效果

3 車道線檢測

3.1 車道線起始定位

在對車道線進(jìn)行識別前需要確定左、右車道線在圖像中的起始位置，對圖像中的像素值進(jìn)行統(tǒng)計便可確定。例如，某鳥瞰圖的數(shù)組維度（分辨率）為(1 280,900)，將同一X軸上的像素值進(jìn)行累加，根據(jù)統(tǒng)計結(jié)果確定左、右車道線的起始點，如圖8所示。

圖8 車道起始位置定位效果

觀察圖8b 發(fā)現(xiàn)，左、右車道像素統(tǒng)計均出現(xiàn)2 個波峰中夾雜1個波谷的現(xiàn)象，這正對應(yīng)車道線中心像素值較低的位置，該波谷為原始圖像中左、右車道線的起始點位置像素坐標(biāo)(u0l,v0l)、(u0r,v0r)。

3.2 車道線檢測

滑動窗口算法最早被應(yīng)用于網(wǎng)絡(luò)傳輸控制協(xié)議（Transmission Control Protocol，TCP）中，通過滑動窗口控制流量來防止網(wǎng)絡(luò)擁堵，后被廣泛運(yùn)用于數(shù)據(jù)處理，并表現(xiàn)出了較好的算法穩(wěn)定性[15]。

在車道線的識別過程中，通過設(shè)置一定數(shù)量的窗口，按特定的規(guī)則進(jìn)行滑動遍歷，并在滑動過程中對窗口內(nèi)的車道像素進(jìn)行二階多項式擬合，直到窗口到達(dá)圖像邊界時結(jié)束搜尋。滑動窗口搜尋車道線的具體算法流程為：

a.初始化窗口參數(shù)，設(shè)置鳥瞰圖中點Mn、滑動窗口數(shù)量D、滑動窗口寬度W=4w-1，滑動窗口高度H=h/D（其中w為車道寬度所占像素值、h為鳥瞰圖高度）、非零像素數(shù)量最小值C、窗口內(nèi)像素總數(shù)量N、非零像素點集合(unz,vnz)、左車道線坐標(biāo)集合(ul,vl)、右車道線坐標(biāo)集合(ur,vr)，左、右車道初始搜尋位置分別為(u0l,v0l)、(u0r,v0r)。

b.初始化搜尋，若N≥C，則根據(jù)所得左車道初始位置設(shè)置窗口4個頂點ull=u0l-W/2、ulh=u0l+W/2、vlh=v0l+H/2、vll=v0l-H/2同理可得右側(cè)窗口起始位置，并對窗口進(jìn)行繪制。取出窗口內(nèi)的車道像素，將其添加到左右、車道線坐標(biāo)集合中。若10≤N

c.窗口搜尋循環(huán)結(jié)束后，分別取出左、右車道線像素點，對其中的像素點按v=au2+bu+c進(jìn)行二階多項式擬合。

d.循環(huán)步驟b、步驟c，若vlh=vrh=h（vrh為右車道線窗口縱坐標(biāo)）則表示窗口搜尋到圖像上邊緣，停止窗口搜索循環(huán)。

e.窗口搜尋結(jié)束后對擬合曲線進(jìn)行平滑優(yōu)化處理，將所有窗口中的n條曲線方程分別取出，并將前后相鄰的3組曲線重新組合成新分組數(shù)據(jù)，得到n/3組新數(shù)據(jù)，對新數(shù)據(jù)曲線方程進(jìn)行離散化處理以獲得較光滑的擬合曲線，以此降低算法對異常值的敏感性。當(dāng)前圖像檢測完成，算法結(jié)束。

使用滑動窗口算法對窗口中的車道線進(jìn)行擬合測試，車道擬合效果如圖9所示，擬合曲線光滑、準(zhǔn)確。

圖9 車道擬合結(jié)果對比

4 車道偏離預(yù)警策略

4.1 急彎預(yù)警

為了提升駕駛安全性，根據(jù)車道檢測結(jié)果對車道曲率進(jìn)行分析，判斷駕駛員前方道路是否存在急彎，結(jié)合預(yù)警機(jī)制及時向駕駛員反饋。車輛在彎道中行駛時，左、右車道線可以視為如圖10所示的2個同心圓的一部分，根據(jù)該近似等效并結(jié)合車道線曲線方程可計算得到彎道半徑R。

圖10中，O為彎道同心圓原點，Rl、R、Rr分別為左側(cè)車道彎道曲率半徑、道路平均彎道曲率半徑、右側(cè)車道彎道曲率半徑，其中Rl、Rr可由R*的公式計算：

以上所得曲率半徑為像素空間值，需將其轉(zhuǎn)換成現(xiàn)實空間的值。轉(zhuǎn)換比例k需由實際測量獲得（本文取常見2～4級公路寬度3.5 m），得到每個像素點在實際空間中的長度。根據(jù)我國高速公路彎道設(shè)計標(biāo)準(zhǔn)，當(dāng)車速大于80 km/h時，車道曲率半徑不得小于250 m，結(jié)合實際行駛條件可將預(yù)警閾值適當(dāng)提高，以達(dá)到提前預(yù)警的目的。

4.2 車道偏離預(yù)警決策

傳統(tǒng)霍夫變換彎道擬合效果不佳，同時此類偏離預(yù)警大都依靠檢測左、右車道線與X軸的夾角來判斷車輛的偏離情況，在車道線擬合不佳的情況下，此類偏離預(yù)警方法的準(zhǔn)確率將大打折扣。因此，本文通過計算左、右車道位置與車輛中心位置的相對距離來判斷車輛與車道的偏離情況，如圖11所示。

圖11 車輛中心位置與左、右車道位置關(guān)系

圖11中Pl、Pr分別表示左、右車道兩側(cè)位置，Pm表示車輛中心位置，wl、wr分別表示車輛與左、右車道的距離所占像素值。根據(jù)計算得到wl與wr來計算車輛距離車道中心位置距離，即車輛偏移量：

式中，W*為實際車道寬度。

當(dāng)wl≥wr時，車輛當(dāng)前向左偏移，否則車輛向右偏離，同時結(jié)合偏離報警閾值T進(jìn)行預(yù)警。

結(jié)合我國常見道路寬度以及家用車輛常見寬度可知，若車輛行駛在道路正中間，則車輛兩側(cè)距車道線約0.85～0.95 m，因此可根據(jù)用戶的不同駕駛習(xí)慣在0～0.95 m之間設(shè)置合適的偏離預(yù)警閾值。

5 試驗測試與分析

試驗平臺采用Intel Core i5-11260h 處理器，主頻2.6 GHz，內(nèi)存16.00 GB，Windows 10 操作系統(tǒng)。截取原始圖像的長度的1/3，得到的測試圖像像素大小為1 280×240。

為了檢驗算法有效性并進(jìn)行有效評估，采集3組不同天氣狀況下的車載視頻進(jìn)行測試，分別為：光照良好、車道清晰的高速公路以及城市快速路；光線昏暗環(huán)境、光影遮擋的城市路段；霧天視線受干擾環(huán)境下的城市路段。

5.1 車道線檢測測試

針對以上3種不同路況進(jìn)行算法有效性檢驗，分別對原始圖像進(jìn)行改進(jìn)OTSU 二值化、HED 邊緣檢測、車道線擬合操作得到如圖12所示的不同路況下的車道檢測效果。

圖12 不同路況下的車道線檢測效果

觀察圖12 可知，本文改進(jìn)OTSU 算法在3 種不同的行車環(huán)境中都能夠?qū)崿F(xiàn)較準(zhǔn)確的車道線二值分割，車道線與道路背景劃分清晰，路面噪聲干擾較少。使用HED 模型豐富的分級特征實現(xiàn)邊緣檢測中的細(xì)節(jié)檢測，即使在陰天、霧天等存在光線遮擋的情況下也能準(zhǔn)確地檢測出車道線輪廓，使得車道擬合效果顯著提升。

5.2 車道曲率預(yù)警及偏離預(yù)警測試

基于車道線檢測所獲取的道路與車輛位置信息，結(jié)合偏離預(yù)警決策對算法的偏離預(yù)警能力進(jìn)行測試。測試過程中將彎道預(yù)警閾值設(shè)置為300 m、車道偏離預(yù)警閾值設(shè)置為0.65 m，并在以上不同行車環(huán)境中進(jìn)行測試，測試效果如圖13所示。

圖13 不同行車環(huán)境下的預(yù)警效果

觀察圖13可知，基于車道檢測所得的數(shù)據(jù)基礎(chǔ)，本文方法能夠在不同天氣狀況的行車環(huán)境中進(jìn)行準(zhǔn)確的車道偏離與急彎預(yù)警。為了進(jìn)一步觀察算法的性能表現(xiàn)，選擇在不同環(huán)境與行車速度下對算法的誤警率和實時性進(jìn)行測試，測試結(jié)果如表1所示。

表1 不同行車環(huán)境與速度下的算法性能表現(xiàn)

結(jié)果表明，當(dāng)車輛在城市道路中行駛速度小于30 km/h 或在[30,60) km/h 時，行車環(huán)境相對復(fù)雜，容易受到周圍車輛、非機(jī)動車以及行人的干擾，導(dǎo)致檢測速度降低、誤警率升高，使得駕駛?cè)水a(chǎn)生抵觸心理。車輛在高速、高架、快速路等環(huán)境下以60～120 km/h 速度行駛時，行車環(huán)境相對良好，視野開闊且干擾因素較少，此時系統(tǒng)的預(yù)警率較高，容易被駕駛員接受。綜上，偏離預(yù)警系統(tǒng)宜在行車速度不低于60 km/h 時開啟，以獲得更好的用戶體驗。

5.3 算法效率測試

為了進(jìn)一步檢驗算法性能，在不同行車環(huán)境中對單張圖像的算法處理準(zhǔn)確率進(jìn)行測試，若當(dāng)前圖像車道檢測以及車道偏離預(yù)警結(jié)果均正確，則認(rèn)定當(dāng)前圖像處理正確，否則認(rèn)定為檢測錯誤。根據(jù)道路環(huán)境對測試視頻進(jìn)行分類，并將其劃分為4種道路類型，即路況良好、標(biāo)志干擾、車輛干擾、路面顛簸，測試結(jié)果如表2所示。

表2 不同道路類型車道偏離預(yù)警準(zhǔn)確率

由表2可知，算法在道路狀況良好時能達(dá)到97.30%的偏離預(yù)警正確率，在道路存在標(biāo)識干擾以及路面顛簸的情況下依舊能保持94%以上的準(zhǔn)確率，但當(dāng)前方存在車道遮擋干擾時預(yù)警率有待提高。

為了比較本文方法與其他方法的差異，采用相同測試數(shù)據(jù)，與文獻(xiàn)[16]、文獻(xiàn)[17]、文獻(xiàn)[4]中的方法進(jìn)行測試對比，使用平均測試精度以及單幀圖像檢測耗時作為評價指標(biāo)，測試結(jié)果如表3所示。

表3 不同算法測試對比

由表3 可知，本文算法平均準(zhǔn)確率能夠達(dá)到95.92%，高于其他3 種算法。算法綜合檢測速度可達(dá)34 ms/幀，略慢于文獻(xiàn)[4]提出的算法，這是由于本文采用滑動窗口法擬合車道增加了一定的數(shù)據(jù)計算量，導(dǎo)致檢測時間延長。結(jié)合表2中的檢測速度可知，若車輛以60 km/h 或120 km/h 的速度行駛，每更新一次偏離信息車輛僅行駛0.58 m 或1.13 m，綜合以上數(shù)據(jù)，表明算法符合實時性要求。

6 結(jié)束語

本文通過使用遺傳退火算法優(yōu)化OTSU 閾值分割并結(jié)合HED 邊緣檢測模型來突顯車道線特征，在鳥瞰圖的基礎(chǔ)上使用滑動窗口法進(jìn)行二階多項式擬合車道線，結(jié)合預(yù)警決策進(jìn)行預(yù)警。與傳統(tǒng)霍夫變換結(jié)合邊緣算子的方法相比，本文方法在彎道處的準(zhǔn)確率更高，有利于應(yīng)對更加復(fù)雜的道路狀況，同時具有更低的偏離量計算復(fù)雜度。但由于多窗口的車道線擬合步驟也導(dǎo)致了一定的計算量，使得算法的實時性有待提升，下一步將該缺陷進(jìn)行優(yōu)化以更好提升算法的整體性能。