基于二值空間線特征的道路檢測方法

曹婷，王歡

南京理工大學計算機科學與工程學院，南京210094

基于二值空間線特征的道路檢測方法

曹婷，王歡

南京理工大學計算機科學與工程學院，南京210094

CNKI網絡出版：2017-06-22,http://kns.cnki.net/kcms/detail/11.2127.TP.20170622.1850.014.html

1 引言

近年來，高級駕駛員輔助系統[1-3]引發了越來越多的關注，許多學者和公司投入到該系統的研發潮流中。高級駕駛員輔助系統是一種以攝像機為主要傳感器，實時感知和理解車輛周圍的道路場景的車載系統。ADAS的主要功能包括車輛偏離車道線報警、前方行人和車輛檢測等，旨在發現潛在危險后提前提醒駕駛員或自動控制車輛，從而幫助駕駛員避開危險，以減少交通事故的發生。該系統能夠有效地提高駕駛的安全性及駕駛舒適度。

在高級駕駛員輔助系統中，準確提取道路信息至關重要。幾十年來，各國的研究者提出了各種算法以實現結構化道路與非結構化道路的自動識別和檢測[4-7]，主要分為兩類：（1）基于圖像特征的檢測方法[8-9]，即特征驅動法，是基于道路圖像的一些特征，如顏色特征、紋理特征或多特征融合完成識別任務，這種機制要求道路的車道線顏色較為明顯，邊緣較為清晰，但是該方法容易受到天氣、光照變化以及強陰影干擾的影響。最新的ADAS中利用車道線信息或者護欄等典型道路分割符在視覺屬性上與道路區域反差明顯這一特性來預測道路區域，但是在道路場景復雜的情況下，如：車道線被遮擋或沒有車道線的鄉村道路，依賴于這些特性的方法則會失效。同時，針對光照和陰影干擾問題，文獻[8]考慮了顏色信息背后隱含的物理成像特性，在普朗克光源和朗伯平面等假設下提出了能夠消除陰影的光照不變空間；文獻[9]為了防止陰影的干擾，在c1c2c3顏色空間的c1通道上進行特征提取，該顏色通道對陰影有一定的抗干擾能力，但是無法完全避免陰影的影響。（2）基于模型的檢測方法[10-13]，根據提取的特征對預先定義好的車道線模型進行匹配，將車道線的提取轉化為車道線模型中參數的計算問題。模型的假設主要有直線模型和曲線模型兩種，其優點是對噪聲不敏感，能較好地處理圖像中物體局部被遮擋和覆蓋等情況，但是由于道路形狀的復雜性，很難假設一個魯棒性強的道路模型。因此在形狀復雜的場景下，基于模型的檢測方法的適應性很差。

因此，提高駕駛員輔助系統在不同場景下的魯棒性是一個重要的研究方向。穩定、有效地識別和檢測當前場景下的道路區域在弱邊界或復雜的道路場景下存在很多問題。單一的基于模型的方法和基于圖像特征的方法都存在較大局限性，無法適應復雜的道路場景。文獻[14]中的SPRAY特征結合了圖像的局部特征和空間信息，能夠有效區分局部特征相似但空間位置不同的區域，因此可以有效地處理復雜的道路場景。但是SPRAY特征需要大量的訓練樣本，且不能有效地適應道路寬度的變化，存在較大的區域漏檢。

針對以上問題，本文提出了一種基于二值空間線特征的道路檢測方法。該方法包括低級的基礎分類器，二值化SPRAY特征的提取，道路區域分類器以及幀間信息復用四個關鍵步驟。其核心是利用二值特征來降低對道路寬度變化敏感程度，同時也加快了特征提取的效率。具體為：在基礎分類器產生的圖像上分別計算二值化SPRAY特征，該特征結合了視覺信息及空間信息，由此產生的道路分類器能夠有效地區分在視覺特征上相似但在空間特征上不同的區域，同時保證道路分類特征對不同寬度的道路區域的寬度敏感程度，使得不同寬度的道路區域的特征更為相似。同時，通過對特征提取的改進，提高了特征提取的效率。

2 基于SPRAY特征的道路檢測方法

2.1 SPRAY特征

文獻[14]中提出的方法主要由三個部分組成：基礎分類器、SPRAY特征提取及道路區域分類器。本文以圖1中的當前場景圖像為例說明了文獻[14]中提出的方法的實現流程。對于離線集中的圖像，空間轉換后作為輸入給N個基礎分類器，得到N個置信度圖像，對每個置信度圖像計算相應的線型特征。其中，每個像素點的特征向量由N個置信度圖像得到的特征融合而成。最后，大量特征集合訓練生成道路區域分類器。對于當前場景圖像提取相應的SPRAY特征并用分類器預測即可得到道路檢測的結果。

圖1 SPRAY方法的實現流程圖

其中，最重要的部分是SPRAY特征的提取方法，如圖2所示。對于事先定義的基點（文獻[14]中基點的選擇是等間隔均勻分布在圖像上的），計算每一個基點的SPARY特征。每個基點的SPRAY特征由該基點不同方向上的SPRAY特征構成，對于每個方向上的SPRAY特征，具體的計算方法以圖2中的紅色基點為例來進行說明。

圖2 SPRAY特征的提取

其中，R?表示角度為?，起點為基點，終點為圖像邊界的射線，沿著射線所經過的像素點的置信度的和即為所求的置信度吸收值A?(ρ)。

事先定義吸收閾值（閾值的總數為T個）T={t1,t2,…,ti,…,tT}，若置信度積分達到了事先定義的閾值，則特征值為達到該閾值時的最小距離ρ。對于每個基點計算其在R個方向上的T個吸收距離即可得到該基點R×T維的SPRAY特征。最后把N個置信度圖像同一個基準點得到的N個SPRAY特征進行融合，即可得到基點最終的N×R×T維的SPRAY特征。

為了檢測基點是否在當前可行區域，添加了一維特征，其中(Xego,Zego)為基點在米制空間的坐標，(XBP,ZBP)為參考點的坐標，把基點到參考點的吸收積分作為一維特征來增加特征的可描述性。最終，即可獲得N×(R×T+1)維SPRAY特征。

2.2 SPRAY優點及缺點

SPRAY特征模型不僅僅考慮了局部表觀層次的特征，同時也考慮了場景的空間布局，有效地結合了道路的表觀特征和空間特征。因此該特征能夠有效區分表觀特征相似但是空間位置不同的像素點。同時該特征具有良好的可擴展性。但是，文獻[14]的實驗是在道路寬度基本一致的前提下進行的，本文實現了該方法并通過實驗發現，SPRAY特征無法適應道路寬度變化的場景。

若訓練樣本的場景的路寬與當前場景下的路寬發生變化，該特征生成的分類器對更寬的道路場景不具有魯棒性。圖3在仿真圖像上的實驗可以有效地說明這個問題。以第一行（左圖：置信度圖像，右圖：GT）中的邊界分類器的置信度圖像作為訓練樣本，生成分類器，以第二行（左圖：置信度圖像，右圖：GT）中的邊界分類器的置信度圖像作為測試樣本（為了簡化實驗，此處僅以邊界分類器為例，并將置信度圖像簡化為二值圖像，其他分類器與此類似，不予贅述），第三行為文獻[14]的方法的檢測結果。可見，在圖像中間區域存在大量的漏檢區域。

圖3 仿真圖像上的道路區域檢測實驗

同時，在實際道路場景上的實驗結果也表明原始的SPRAY特征無法滿足道路寬度變化的場景。若在訓練樣本中的道路場景是單行道的道路，而實際檢測中存在雙行道甚至更寬的道路，則會出現檢測不到所有的道路區域的情況。圖4中以第一行中的邊界分類器、道路區域分類器、行道線分類器的置信度圖像作為訓練樣本，生成分類器，以第二行中的邊界分類器、道路區域分類器、行道線分類器的置信度圖像作為測試樣本。第三行是文獻[14]提出的方法的檢測結果，可以發現對于右邊的道路區域的檢測存在較大的缺失區域。實驗結果如圖4所示。

圖4 真實場景圖像的道路區域檢測實驗

因此，本文在原始的SPRAY特征基礎上進行改進，提出了基于二值空間線型特征的道路檢測方法。本文的方法弱化了距離對特征的影響，保證即使道路寬度發生了變化，道路區域的特征也應該保持一定的穩定性，因此在路寬變化的場景下能夠適應道路寬度的變化。在不同的道路場景下進行了定量分析，實驗結果表明該方法能夠有效檢測道路區域。

3 基于二值SPRAY特征的改進

3.1 二值化SPRAY特征提取

二值線型特征的提取過程如圖5所示。對于圖5（a）中任意一點P，沿著該點的某個方向，直到圖像邊界，對這條射線上的所有像素點的置信度值求和。以水平方向1為例來說明線型特征和二值線型特征的不同。圖5（b）為點P在方向1的積分圖，水平軸和垂直軸分別為吸收距離ρ和積分值，根據圖5（b）可知，滿足閾值[150，300]的吸收距離為[38，40]，因此線型特征在方向1上提取的特征為[38，40]，二值線型特征在方向1上提取的特征為[1，1]。合并8個方向的特征即可得到最終的特征。分析和對比兩種特征可知，在寬度不一致的道路區域，能夠得到一致的二值線型特征，而線型特征則由于描述的是距離信息，因此容易受到道路寬度的影響。因此，在道路寬度變化的情況下，二值線型特征相比于線型特征具有更好的魯棒性。

事先定義吸收閾值T={t1,t2,…,ti,…,tT}，若置信度積分達到了事先定義的閾值，則特征值為1，否則特征值為0。

圖5 線型特征和二值線型特征對比

本文提出的方法如圖6所示，主要由三部分組成：基礎分類器、二值SPRAY特征提取及道路區域分類器。圖6中給出了方法的實現流程。對于一幅道路圖像，空間轉換后作為輸入給各基礎分類器，得到各置信度圖像，對每個置信度圖像計算相應的二值線型特征。其中，每個像素點的特征向量由多個置信度圖像得到的特征融合而成。最后，大量特征集合訓練生成道路區域分類器。對于當前場景圖像結合特征提取加速模塊提取相應的二值SPRAY特征并用分類器預測即可得到道路檢測的結果。

圖6 本文方法的系統框架圖

3.2 特征提取的加速

特征提取的加速是通過選取基準點來實現的，由于相鄰兩個場景的圖像在時間和空間上存在很小的差異，因此相鄰幀之間的道路區域也存在大量的共同區域，道路區域不會發生很大的變化，因此利用幀間信息可以大量減少特征提取的數量。本文在大量的實驗數據集上進行統計發現，無論在什么場景下，相鄰幀之間的道路區域的重復區域基本達到了90%以上，因此可以利用幀間信息極大提高速度。在表1中定義了相鄰兩幀之間的變量以及顏色信息，白色W表示在當前幀和前一幀都為道路；黑色B區域表示在當前幀和前一幀都為非路；綠色G表示在當前幀為道路，前一幀都為非路；紅色R表示在當前幀為非路，前一幀為道路。

表1 不同場景下相鄰兩幀之間的重疊區域

如圖7所示，場景區域被劃分成四種不同的顏色。白色區域表示在當前幀和前一幀都為道路；黑色區域表示在當前幀和前一幀都為非路；綠色表示在當前幀為道路，前一幀都為非路；紅色區域表示在當前幀為非路，前一幀為道路。觀察顏色分布可以發現，相鄰兩幀道路場景有著極大的重疊區域，非重疊區域分布在道路的兩側，即道路邊界。因此可以將前一幀的道路區域復用到當前道路場景，但是由于邊界準確，只需對當前幀的邊界位置提取二值SPRAY特征即可。

圖7 不同場景下相鄰兩幀之間的重疊區域

本文在四個數據集上進行了定量分析，采用了公式（5）和公式（6）及公式（7）來衡量相鄰兩幀之間的道路區域的重疊程度，得到的定量分析結果如表2所示。通過在四個數據集上的統計數據可以發現，在直線的道路模型下，相鄰兩幀圖像的道路重合區域最大，達到了95%以上，在其他情況下，如拐彎、道路形狀發生變化時，相鄰兩幀的圖像的道路重合區域也能夠達到90%以上。因此利用相鄰兩幀圖像之間道路區域重疊程度大的特點能夠在很大程度上提高道路檢測的速度。

表2 各道路場景下的定量分析結果

本文利用相鄰兩幀之間道路區域連續的特征來提高道路檢測的速度。思想和流程如下：

（1）假設已經有ti-1時刻的場景Framei-1以及該時刻的道路檢測結果Resulti-1，問題可以描述為根據ti-1時刻的道路檢測結果Resulti-1對ti時刻的場景Framei提取道路區域Resulti。

（2）根據Resulti-1提取Resulti-1和Resulti的重疊區域Resultoverlap；本文對重疊區域的估計采用如圖8所示的方法。

（3）對Resulti道路區域的外部輪廓進行預測Resultouter。

（4）Resulti=Resultoverlap+Resultouter。

圖8 特征提取加速流程圖

先根據Resulti-1提取輪廓得到輪廓Contouri-1。對輪廓進行多次膨脹，得到掩模Maski-1。根據掩模獲得重疊區域Resultoverlap以及Resulti的外部輪廓，利用分類器預測外部輪廓區域得到Resultouter，合并即可得到最終的道路區域Resulti。

4 實驗

4.1 實驗環境搭建

每個基礎分類器都會產生一張置信度圖像，根據逆透視原理，把每個基礎分類器產生的圖像映射到米制空間，即可得到米制空間的置信度圖像。由于3D立體靶標的加工成本高且加工精度受到一定的限制，文獻[15]張正友等人提出了基于2D平面標靶的攝像機標定。該方法要求攝像機在兩個以上不同的方位拍攝一個平面靶標，攝像機和平面靶標都可以自由地移動，不需要知道運動參數。整個標定過程中，假設攝像機內部參數始終不變。

如圖9所示，是基于該方法得到的基礎分類器在米制空間的置信度圖像，圖中像素點的黑白程度表示置信度，像素點灰度值越大置信度越高。

圖9 基礎分類器的結果

實驗中所采用的圖像是分辨率為352×288的RGB彩色圖像。彩色圖像投影在在米制空間分辨率為500×500，每個像素點代表實際場景下的0.5 m，因此，在水平和垂直方向表示的實際距離分別為250 m(500×0.5=250)。二值線型特征提取的參數包括方向θ和閾值th，其中，共取了8個方向，θ=[0,20,90,160,180,200,270,340]（按逆時針），閾值為th=[150,300]。由于圖像在米制空間會產生畸變以及根據先驗的天空位置信息和車輛位置信息可以去除一些不可能為道路的區域以及一些道路信息失真的區域。因此，為了確保實驗數據的準確性，實驗是基于500×500的米制空間的圖像中部分圖像進行的。

4.2 評估策略

查準率(Precision)表示結果中真正正確的個數占整個結果的比例。查全率(Recall)表示結果中真正正確的個數占整個數據集（檢索到的和未檢索到的）中真正正確個數的比例。FN（False Negative）表示在檢測結果中被分為負樣本但事實上是正樣本的數目。FP（False Positive）表示在檢測結果中被分為正樣本但事實上是負樣本的數目。TN（True Negative）表示在檢測結果中被分為負樣本，事實上也是負樣本的數目。TP（True Positive）表示在檢測結果中被分為正樣本，事實上也是正樣本（本文的正樣本為道路區域，其余為負樣本）的數目。

4.3 實驗結果

本文在4個數據集上與文獻[14]中的方法做了對比實驗，數據集分別為單行道結構化道路，多行道結構化道路、半結構化道路以及夜間道路，實驗平臺為Win 10，8 GB內存，采用VS2013編程。具體的檢測結果如表3所示。

圖10為城市結構化道路（單行道）數據集的檢測結果。圖11為城市結構化道路（多行道）數據集的檢測結果。圖12為鄉村半結構化道路數據集的檢測結果。第一行為原圖像，第二行為原圖像對應的米制空間，第三行為文獻[14]中的方法的檢測結果，第四行為本文方法的檢測結果。其中，紅色為FP，綠色為FN，白色為TP，黑色為TN。

表3 實驗結果對比數據%

圖10 城市結構化道路（單行道）數據集的檢測結果

圖11 城市結構化道路（多行道）數據集的檢測結果

為了驗證本文方法在夜間道路場景下的有效性，本文采集了夜間道路場景數據集（弱光線場景下，有路燈）并與文獻[14]中的方法進行對比實驗。實驗中所采集的道路場景如圖13所示。可以發現，弱光條件下采集的道路場景原始圖像無法識別出道路區域。

因此，本文對該場景下的道路場景進行直方圖均衡化處理，再進一步進行后續的道路檢測，最終的檢測結果如圖14所示，其中，第一行為原圖像經過直方圖均衡化處理之后的效果圖，第二行為第一行圖像對應的米制空間，第三行為文獻[14]中方法的檢測結果，第四行為本文方法的檢測結果。其中，紅色為FP，綠色為FN，白色為TP，黑色為TN。

圖12 鄉村半結構化道路數據集的檢測結果

圖13 原始的夜間道路場景圖像

圖14 夜間道路場景數據集的檢測結果

本文引入幀間信息復用機制，利用相鄰兩幀之間道路區域連續的特征來提高道路檢測的速度，并與文獻[14]中的方法進行了對比實驗，結果如表4所示，本文通過幀間復用機制極大地提高了特征提取的效率。

表4 文獻[14]與本文方法時間復雜度對比結果

5 結論

在SPRAY方法的基礎上提出了一個由多個基礎分類器構成的分層的道路檢測方法。該特征結合了視覺信息及空間信息從而產生的道路分類器能夠有效地區分在視覺特征上相似但在空間特征上不同的區域。同時本文提出了二值空間線型特征，能夠有效地處理道路寬度變化的場景。大量結構化和半結構化道路圖像的檢測實驗證明了本文方法能夠有效提高道路檢測的精度和速度，同時能提升空間線模型對不同寬度道路檢測的魯棒性。

[1] Hillel A B，Lerner R，Levi D，et al.Recent progress in roadandlanedetection：Asurvey[J].MachineVision and Applications，2014，25（3）：727-745.

[2] Seibert A，Hahnel M，Tewes A，et al.Camera based detection and classification of soft shoulders，curbs and guardrails[C]//Intelligent Vehicles Symposium，2013，36（1）：853-858.

[3] Munajat M D E，Widyantoro D H，Munir R.Road detection system based on RGB histogram filterization and boundary classifier[C]//2015 International Conference on Advanced Computer Science and Information Systems（ICACSIS），2015：195-200.

[4] Wang B，Frémont V，Rodríguez S A.Color-based road detection and its evaluation on the KITTI road benchmark[C]//Proceedings IEEE Intelligent Vehicles Symposium，2014：31-36.

[5] Alvarez J M A，Opez A M.Road detection based on illuminant invariance[J].IEEE Transactions on Intelligent Transportation Systems，2011，12（1）：184-193.

[6] Siogkas G K，Dermatas E S.Random-walker monocular road detection in adverse conditions using automated spatiotemporal seed selection[J].IEEE Transactions on Intelligent Transportation Systems，2013，14（2）：527-538.

[7] Alvarez J M A，Gevers T，Lopez A M.Vision-based road detection using road models[C]//IEEE International Conference on Image Processing，2009：2073-2076.

[8] He Z，Wu T，Xiao Z，et al.Robust road detection from a single image using road shape prior[C]//2013 IEEE International Conference on Image Processing，2013：2757-2761.

[9] Li X，Flohr F，Yang Y，et al.A new benchmark for visionbased cyclist detection[C]//2016 IEEE Intelligent Vehicles Symposium（IV），2016：1028-1033.

[10] Laddha A，Kocamaz M K，Navarro-Serment L E，et al.Map-supervised road detection[C]//2016 IEEE Intelligent Vehicles Symposium（IV），2016：118-123.

[11] Shin J，Lee E，Kwon K K，et al.Lane detection algorithm based on top-view image using random sample consensusalgorithmandcurveroadmodel[C]//2014 Sixth International Conference on Ubiquitous and Future Networks（ICUFN），2014：1-2.

[12] 徐友春，王榮本，李克強，等.一種基于直線模型的道路識別算法研究[J].中國圖象圖形學報：A輯，2004，9（7）：858-864.

[13] 許華榮，王曉棟，方遒.基于B樣條曲線模型的結構化道路檢測算法[J].自動化學報，2011，37（3）：270-275.

[14] Kühnl T，Kummert F，Fritsch J.Spatial ray features for real-time ego-lane extraction[C]//International IEEE Conference on Intelligent Transportation Systems，2012：288-293.

[15] Zhang Z.A flexible new technique for camera calibration[J].IEEE TransactionsonPattern Analysisand Machine Intelligence，2000，22（11）：1330-1334.

[16] Kuhnl T，Fritsch J.Visio-spatial road boundary detection forunmarkedurbanandruralroads[C]//Proceedings IEEE Intelligent Vehicles Symposium，2014：1251-1256.

CAO Ting,WANG Huan.Road detection based on binary spatial ray feature.Computer Engineering and Applications,2018,54（6）：161-167.

CAO Ting,WANG Huan

School of Computer Science and Engineering,Nanjing University of Science and Technology,Nanjing 210094,China

Vision based road detection is a key technology for Advanced Driver Assistance System（ADAS）.This paper proposes a novel road detection approach,the core of which lies in the design of the binary spatial ray feature which combines both road appearance and spatial information,and an efficient road classifier based on the extracted feature.The approach mainly consists of multiple base classifiers,binary spatial ray feature extraction and road classification.Moreover,the inter-frame coherence between adjacent images is also applied to accelerate detection speed.Experiments on a large number of structured and semi-structured road images show that the proposed approach can effectively detect road under challenging conditions and is robust against changes in the width of roads.

road detection;binary spatial ray feature;advanced driver assistance system

基于視覺的道路檢測是高級駕駛員輔助系統（Advanced Driver Assistance Systems，ADAS）的核心技術。針對空間線模型（SPatial RAY feature）對道路寬度適應能力弱，時間復雜度高的不足，提出了一種改進的空間線模型，利用基礎分類器得到的置信度圖提取二值SPRAY特征，引入幀間信息復用機制來提高道路區域檢測的效率。大量結構化和半結構化道路圖像的檢測實驗證明了該方法能夠有效提高道路檢測的精度，同時能提升空間線模型對不同寬度道路檢測的魯棒性。

道路檢測；二值空間線特征；高級駕駛員輔助系統

2016-10-13

2017-02-20

1002-8331（2018）06-0161-07

A

TP391.4

10.3778/j.issn.1002-8331.1610-0152

曹婷（1990—），女，碩士研究生，研究領域為圖像處理，E-mail：609136379@qq.com；王歡（1982—），男，博士研究生，研究領域為模式識別。