尾燈特征的ADAS系統(tǒng)前方車輛識(shí)別

敖宏偉，陳學(xué)文，李子柔

(遼寧工業(yè)大學(xué) 汽車與交通工程學(xué)院， 遼寧 錦州 121001)

目前，汽車安全輔助駕駛系統(tǒng)(ADAS)被廣泛用于改善駕駛安全性，通過分析車載傳感器信息掌握道路、車輛及周圍環(huán)境等駕駛信息，并在危機(jī)時(shí)刻為駕駛員提供勸告或預(yù)警信號(hào)，甚至對(duì)車輛實(shí)施控制，減輕駕駛員的操作強(qiáng)度，避免駕駛員因人為因素造成的交通事故[1-5]。

視覺圖像中含有豐富的信息，隨著圖像處理與分析理論的不斷成熟，從圖像中提取車輛信息已經(jīng)成為現(xiàn)實(shí)可行的辦法。可以利用一些先驗(yàn)的知識(shí)獲取有關(guān)車輛的特征信息，找出屬于車輛的邊緣，以便確定車輛存在的區(qū)域，國內(nèi)外研究工作者就圖像中車輛的檢測方法進(jìn)行了廣泛研究。Qing等[6]利用車輛的尾燈特征確定車輛的標(biāo)記區(qū)域，針對(duì)停車場與道路中行駛車輛分別進(jìn)行了驗(yàn)證。建立了粒子濾波跟蹤器，對(duì)檢測出的車輛標(biāo)記區(qū)內(nèi)的車輛實(shí)施跟蹤控制。Chen等[7-9]基于AdaBoost方法與支持向量機(jī)分類器進(jìn)行了車輛的檢測與識(shí)別研究，以標(biāo)記圖像窗的形式提取了圖像區(qū)域內(nèi)的目標(biāo)車輛。耿慶田等[10]采用方向可控濾波算法與HOG算法相結(jié)合的方法提取車輛的外型特征，通過建立的SVM分類器對(duì)所提取出的特征進(jìn)行訓(xùn)練，識(shí)別了車輛的外型特征。Girshick等[11-13]提出了深度學(xué)習(xí)與高速-區(qū)域卷積神經(jīng)網(wǎng)絡(luò)方法，主要結(jié)合Faster R-CNN和LocNet算法，進(jìn)行了車輛的檢測研究，但小目標(biāo)沒有獲得良好的檢測和定位。

本文結(jié)合車輛尾燈對(duì)特征，確定車輛可能存在的感興趣區(qū)域邊界。針對(duì)檢測到的感興趣區(qū)域邊界進(jìn)行車輛的邊緣特征與區(qū)域特征參數(shù)提取，采用構(gòu)建的徑向基神經(jīng)網(wǎng)絡(luò)車輛識(shí)別器，經(jīng)過訓(xùn)練后最終確認(rèn)該區(qū)域是否存在車輛。

1 基于車輛尾燈特征的車輛檢測方法

1.1 車輛尾燈對(duì)特征提取

圖1為前方車輛的后部尾燈對(duì)結(jié)構(gòu)示意圖。從車輛的后部特征可以看出，車輛的尾燈對(duì)特征顏色鮮明且有別于其他部位或道路的灰度信息，尾燈對(duì)位于車輛的中部位置且左右邊緣與車輛寬度基本一致。這些位置、色度與邊緣結(jié)構(gòu)特征對(duì)于一幅圖像中車輛區(qū)域的標(biāo)記是非常關(guān)鍵的。可以利用邊緣檢測算子提取出圖像的物體的邊緣信息，然后進(jìn)一步設(shè)置尾燈特有的限制條件，就可以將尾燈對(duì)輪廓提取出來。

圖1 前方車輛的后部尾燈對(duì)結(jié)構(gòu)示意圖

從圖1中可以看出，尾燈對(duì)輪廓信息可以用以下約束條件進(jìn)行提取：

Wmin≤WLlLr≤Wmax

(1)

|HLcl-HLcr|≤hc

(2)

(3)

式中：WLlLr為圖像中尾燈對(duì)間的寬度；Wmin與Wmin分別為尾燈對(duì)間寬度的最小與最大像素值；HLcl與HLcr分別為圖像中左右尾燈的高度；hc為左右尾燈的高度差閾值；ALl與ALr分別為圖像中左右尾燈的面積；al與ar分別為圖像中左右尾燈對(duì)面積比的最小值與最大值。

1.2 車輛存在的感興趣區(qū)域獲取

基于尾燈對(duì)信息，可以獲取尾燈的質(zhì)心位置，根據(jù)質(zhì)心的中心點(diǎn)，經(jīng)過形態(tài)學(xué)運(yùn)算后便可確定尾燈的標(biāo)記區(qū)域，再利用式(4)給定的車輛圖像與實(shí)際尺寸轉(zhuǎn)換比例，便可以確定目標(biāo)車輛的矩形標(biāo)記區(qū)域。

(4)

式中：wf為圖像中車寬；hf為圖像中車高；WV為實(shí)際車輛的寬度；HV為實(shí)際車輛的高度；α為比例系數(shù)。

上述確定的區(qū)域只是作為車輛可能存在的感興趣區(qū)域，該感興趣區(qū)域雖然能夠在一定程度上檢測出車輛，但依然存在目標(biāo)混淆或漏檢現(xiàn)象，因此，該區(qū)域是否存在唯一的車輛目標(biāo)仍需要進(jìn)一步結(jié)合基于神經(jīng)網(wǎng)絡(luò)識(shí)別步驟才能更可靠地確定檢測區(qū)域內(nèi)的目標(biāo)。

2 基于RBF神經(jīng)網(wǎng)絡(luò)的車輛識(shí)別

2.1 車輛目標(biāo)特征提取

為了準(zhǔn)確地識(shí)別出車輛目標(biāo)，需要對(duì)檢測到的圖像區(qū)域提取車輛形狀特有的特征。本文擬提取車輛的混合特征，同時(shí)包含了邊緣特征與區(qū)域特征共計(jì)19個(gè)特征參數(shù)。

2.1.1離散余弦變換子系數(shù)

目標(biāo)圖像經(jīng)過分割預(yù)處理后進(jìn)行邊緣提取，獲得外形輪廓數(shù)據(jù)f(x[n]，y[n])，把M個(gè)點(diǎn)組成的閉合邊緣曲線放到復(fù)平面上，形成一維復(fù)序列，如式(5)所示。

f(n)=x(n)+jy(n) (1≤n≤m)

(5)

對(duì)式(5)進(jìn)行離散余弦變換如下。

(6)

通過式(6)的計(jì)算，得到離散余弦變換子系數(shù)如式(7)所示。

C(k)=|F(k)|/F(1)

(7)

離散余弦變換系數(shù)對(duì)目標(biāo)具有平移、旋轉(zhuǎn)及比例不變性，對(duì)輪廓數(shù)據(jù)的起始點(diǎn)不敏感。

2.1.2獨(dú)立的不變矩參數(shù)

如果一幅數(shù)字圖像滿足分段連續(xù)，且在XY平面上只有有限個(gè)零點(diǎn)，則說明該數(shù)字圖像的各階矩是存在的。

對(duì)于二值圖像，由于其中像素的值只有0和1，假設(shè)目標(biāo)區(qū)域像素值為1，背景區(qū)域像素值為0，則該二值圖像的r+s階矩如式(8)所示：

(8)

該區(qū)域的中心矩為：

(9)

2.1.3區(qū)域描述特征參數(shù)

為了更好地識(shí)別出車輛目標(biāo)，選取5個(gè)典型區(qū)域特征作為目標(biāo)識(shí)別的特征參數(shù)，分別為：區(qū)域的偏心率(即與區(qū)域有著相同二階矩的橢圓的偏心率)；區(qū)域的短軸和長軸之比；區(qū)域的面積；區(qū)域的周長；區(qū)域的面積與周長平方之比。

2.2 車輛識(shí)別的RBF神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

構(gòu)建了自組織選取中心的RBF三層神經(jīng)網(wǎng)絡(luò)，具有19維輸入神經(jīng)元和2個(gè)輸出量。其中，輸入層完成特征向量的輸入。中間層為隱層，它與輸入層完全連接(權(quán)值=1)。輸出層計(jì)算中間層與輸出層之間的權(quán)值，得到2個(gè)輸出量，識(shí)別出車輛目標(biāo)與非車輛目標(biāo)。

自組織選取中心的RBF神經(jīng)網(wǎng)絡(luò)算法首先完成無導(dǎo)師學(xué)習(xí)，求解出中間層的基函數(shù)；然后進(jìn)行有導(dǎo)師學(xué)習(xí)，求解中間層至輸出層之間的權(quán)值。

徑向基函數(shù)取高斯函數(shù)，如式(10)所示。

(10)

式中：‖xp-ci‖為歐式范數(shù)；ci為高斯函數(shù)的中心；σ為高斯函數(shù)的方差。

網(wǎng)絡(luò)的輸出量如式(11)所示。

(11)

設(shè)e是樣本的期望輸出值，則基函數(shù)的方差可表示為：

(12)

自組織選取中心的RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)法的總體步驟如下：

步驟1采用K-均值聚類法得到基函數(shù)中心c。

步驟2求解基函數(shù)的方差σi。

選取高斯函數(shù)作為網(wǎng)絡(luò)的基函數(shù)，其方差的計(jì)算公式如下：

(13)

式中：cmax是基函數(shù)中心之間的最大距離。

步驟3中間層與輸出層節(jié)點(diǎn)間的權(quán)重系數(shù)計(jì)算。

權(quán)重系數(shù)的計(jì)算可以用最小二乘法得到，如式(14)所示：

(14)

3 車輛檢測與識(shí)別結(jié)果

3.1 車輛存在的感興趣區(qū)域檢測結(jié)果

圖2為基于尾燈對(duì)特征提取的車輛區(qū)域結(jié)果。從圖中可以看出，從原始圖像中提取了車輛的尾燈區(qū)域，結(jié)合尾燈質(zhì)心位置確定了車輛寬度區(qū)域，最后得到車輛的矩形標(biāo)記框。

圖2 基于尾燈對(duì)特征提取的車輛存在的感興趣區(qū)域結(jié)果

此外，共驗(yàn)證了200張采集的圖像(含晴天、陰天、雨、雪及夜間條件下的圖像)，能夠準(zhǔn)確提取車輛標(biāo)記區(qū)，其檢測精度可達(dá)97%。下面給出了雨、雪天及夜間非常規(guī)環(huán)境下的檢測結(jié)果，如圖3～5所示。從圖3～5的檢測結(jié)果可以看出，基于車輛尾燈對(duì)特征針對(duì)雨雪及夜間環(huán)境同樣能夠準(zhǔn)確提取出車輛存在的感興趣區(qū)域并對(duì)其進(jìn)行標(biāo)記。

圖3 雪天環(huán)境下車輛存在的感興趣區(qū)域標(biāo)記結(jié)果

圖4 雨天環(huán)境下車輛存在的感興趣區(qū)域標(biāo)記結(jié)果

圖5 夜間環(huán)境下車輛存在的感興趣區(qū)域標(biāo)記結(jié)果

圖6為利用尾燈對(duì)特征提取的并行兩車輛的的檢測結(jié)果，從圖6右側(cè)圖中可以看出，當(dāng)兩車尾燈形狀形似且高度相等時(shí)，采用該方法確定的車輛存在感興趣區(qū)域會(huì)存在混淆的現(xiàn)象。針對(duì)該情形，需要對(duì)混淆區(qū)域進(jìn)行進(jìn)一步確認(rèn)，才能保證車輛識(shí)別的準(zhǔn)確性。

圖6 并行車輛存在的感興趣區(qū)域標(biāo)記結(jié)果

3.2 感興趣區(qū)域車輛識(shí)別結(jié)果

如前所述，當(dāng)遇到兩車尾燈形狀形似且高度相等時(shí)，利用尾燈特征檢測車輛的方法可能會(huì)存在目標(biāo)誤檢現(xiàn)象。如圖6所示情況發(fā)生時(shí)，對(duì)于標(biāo)記出來的候選框區(qū)域，需要進(jìn)一步確認(rèn)3個(gè)候選區(qū)內(nèi)是否都真正含有車輛，一旦此情形發(fā)生時(shí)，就需要采用論文提出的RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行深層次確認(rèn)，才能保證車輛識(shí)別的可靠性，避免誤檢現(xiàn)象的發(fā)生。

在利用RBF神經(jīng)網(wǎng)絡(luò)對(duì)車輛目標(biāo)識(shí)別時(shí)，首先要利用樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和學(xué)習(xí)，直到網(wǎng)絡(luò)收斂為止，然后利用訓(xùn)練過的網(wǎng)絡(luò)對(duì)測試樣本進(jìn)行識(shí)別，具體步驟如下：

步驟1首先將樣本圖像進(jìn)行尺寸標(biāo)準(zhǔn)化轉(zhuǎn)換，統(tǒng)一為250×219像素。

步驟2對(duì)樣本圖像進(jìn)行邊緣檢測與分割，得到車輛目標(biāo)區(qū)域。

步驟3針對(duì)目標(biāo)區(qū)域進(jìn)行前文所列19個(gè)特征參數(shù)提取，獲取車輛特有特征值。

步驟4編程實(shí)現(xiàn)樣本訓(xùn)練直至網(wǎng)絡(luò)收斂，即達(dá)到訓(xùn)練精度要求。

步驟5隨機(jī)選取測試圖像，完成步驟1、2，用訓(xùn)練好的網(wǎng)絡(luò)對(duì)測試圖像進(jìn)行識(shí)別驗(yàn)證。

對(duì)于圖6情形，針對(duì)標(biāo)記框區(qū)域，截取該圖像區(qū)域作為測試圖像，按照上述步驟便可以實(shí)現(xiàn)圖像區(qū)域內(nèi)車輛存在性的確認(rèn)。

建立了1 700張車輛正、負(fù)樣本，對(duì)RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行了訓(xùn)練，隨機(jī)選取60%的正、負(fù)樣本完成了測試，同時(shí)也針對(duì)停車場及并行車輛等情形進(jìn)行了確認(rèn)測試，實(shí)現(xiàn)了檢測區(qū)域內(nèi)車輛存在性的準(zhǔn)確確認(rèn)，正確率≥94%。通過RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練誤差性能曲線(圖7)可以看出，本文設(shè)計(jì)的網(wǎng)絡(luò)達(dá)到了訓(xùn)練目標(biāo)精度要求。

圖7 RBF神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差性能曲線

4 結(jié)論

結(jié)合車輛尾燈對(duì)特征，確定車輛可能存在的感興趣區(qū)域，分別針對(duì)不同環(huán)境條件(如晴天、雪天及夜間等)下車輛可能存在的感興趣區(qū)域進(jìn)行了標(biāo)記驗(yàn)證。實(shí)現(xiàn)了車輛的邊緣與區(qū)域特征參數(shù)提取，建立了車輛正、負(fù)樣本庫，完成了RBF神經(jīng)網(wǎng)絡(luò)識(shí)別器的訓(xùn)練并達(dá)到了誤差精度要求，實(shí)現(xiàn)了基于尾燈特征提取的車輛存在區(qū)域內(nèi)車輛的進(jìn)一步確認(rèn)，提高了車輛檢測的可靠性。