無人裝備野外場景自適應道路識別技術

華 夏，王新晴，俞垚魏，孟凡杰，馬昭燁，王 東，邵發明

(中國人民解放軍陸軍工程大學, 南京 210018)

現階段的道路檢測算法主要分為基于特征、 基于模型、基于機器學習三大類。基于特征的算法[1-3]主要是識別出道路的某些特征對道路進行檢測，在具有清晰道路標識，特征差異明顯的結構化道路上取得了較好的識別效果，但是它抗干擾能力較差，對于復雜環境下的道路識別效果較差；基于模型的算法主要是先建立道路參數模型，然后根據圖像分析確定對應的模型參數，從而得到道路的邊緣和走向信息，對于常見的結構化道路，該種算法對道路邊緣的擬合簡單迅速，但對邊界復雜的道路，模型過于復雜、計算量大，無法保證其全局的優化性和識別的精確性；基于機器學習的方法[4-6]利用神經網絡的學習特性進行道路檢測，它的識別精度高，抗干擾能力和魯棒性強，但訓練集的及時更新和算法的實時性仍是當前的關鍵難點問題。

由于非結構化道路存在著路面環境復雜、 路面特征易受天氣、光照變化的干擾等客觀原因，實現精確、實時的非結構化道路檢測仍然是一個極具挑戰性的難題[1]。本文提出了一種野外場景自適應道路識別算法，與現有道路識別算法相比具有較高的道路檢測精度和較好的實時性，能夠實現對野外非結構化道路精準有效識別。指定數據庫檢測結果表明，本文算法道路識別精度達91.9%，單幀圖像處理用時0.98s。

1 圖像自適應預處理

根據先驗知識并結合工程實際， 本文中的道路識別算法基于以下假設：道路顏色特征和紋理特征的變化是漸變的，極少會出現特征突變的情況；相機拍攝視角的正前方為道路區域，道路區域從圖像的底端向上延伸；道路區域為一塊大的連通區域。

1.1 道路樣本區域動態選取

車輛在行駛過程中，在通道寬度內，當視覺系統安裝固定且沿車輛軸向時，恒定視野區域始終為可靠的道路區域[2]。在道路類聚類中心(超像素種子塊)的選取上融合了車前最小左右轉彎半徑交叉覆蓋范圍內，必定為路的先驗知識(參考下文)，既提升了對野外“車走路變”的自適應性，又避免了隨機選取道路類超像素種子塊可能引起的訓練偏差和效率降低。

環境圖像道路區域示意圖如圖1。可以確定道路圖像中，車前以略大于車寬的尺寸D為底邊長，高為l的等腰三角形區域，作為圖像中道路類超像素種子塊選取最佳區域。依據幾何學知識可以求得高為：

(1)

式(1)中：D為車寬對應在圖像中的尺寸；r為汽車最小轉彎半徑對應圖像中尺寸；R為汽車最大轉彎半徑對應圖像中尺寸。

1.2 自適應道路圖像分類

在野外復雜環境下對非結構化道路檢測產生干擾最為嚴重的就是陰影遮擋和強光影響兩大因素。 為了消除這兩種干擾，需要對環境圖像進行檢測分類。依據先驗知識，可以將野外非結構化道路分為三類，如表1所示。

表1 圖像類別及特點

1.2.1 分類指標

定義了兩個分類指標：顏色值(Color valuecv)、顏色均勻度(Color uniformitycu)。

定義1 顏色值

依據人類對圖像顏色的感知，圖像中占有比重大的顏色對圖像語義的貢獻也大，本文定義這種顏色為主色。

圖像中每個像素點的顏色由R、G、B三個顏色分量共同決定，本文通過人眼對顏色感知的心理學公式，有：

cv=0.30×r+0.59×g+0.11×b

(2)

對這三種顏色分量進行加權線性融合可以在圖像的每個像素點獲得一個代表該點顏色的數值，本文將其定義為顏色值cv。各點的顏色值構成了一個與圖像等大小的二維矩陣，定義為顏色值矩陣(Color value matrixcm)。本文通過數理統計的方式，統計獲得了cm中各元素的頻率，將頻率最大的cv值認為是代表主色的顏色值。在提取主色值的過程中通過去相關對比度拉伸法，放大圖像的顏色特征。通過顏色加強可以使圖像中的主色更加容易被區分。

定義2 顏色均勻度

如圖2所示，將圖像的道路區域等分為三塊長為l1、l2、l3寬為20的長方形區域，l1、l2、l3由式(1)可得。分別統計得主色值為cv1、cv2、cv3，由式(4) 兩兩進行比較。

(3)

(4)

對于比較的結果，本文定義主色的最大差值為道路區域顏色均勻度，衡量道路區域顏色均勻程度。統計實驗結果如表2所示。

表2 道路顏色均勻度

1.2.2 分類依據

通過對主色值取值范圍的劃分準確判別第二和第三類道路圖像，通過兩個指標的融合判定第一類道路圖像。受陰影影響嚴重的圖像，陰影的顏色值就是圖像的主色值；受強光影響嚴重的圖像，強光的顏色值就是圖像的主色值。如表3所示。

表3 不同類型圖像主色值選取范圍

僅通過主色值判定第一類圖像的效果并不理想。復雜環境下與陰影相似度較高的顏色會對主色值的選取造成極大干擾。為了解決這類問題，結合道路區域顏色特征均勻這一假設，對可能的第一類道路圖像進行進一步檢測。分類結果如表4所示。

表4 不同類型圖像主色值選取范圍

1.3 各類環境圖像的針對性預處理

1) 第一類道路圖像的針對性預處理

當檢測出環境圖像屬于第一類道路圖像時，采用HSV顏色空間的Retinex結構光圖像增強法[7]增強圖像的顏色特征，同時有效減小陰影遮擋對道路檢測的影響，可以使圖像中原本被陰影所淹沒的道路變得清晰可見，有利于后續對非結構化道路的提取與編碼[8]。

2) 第二類道路圖像的針對性預處理

當檢測出道路圖像受強光影響時，采用了一種快速Gammar校正算法降低強光對道路的干擾[3]。通過Gammar校正法處理強光圖像可以使原本被強光遮蓋的道路圖像變得更加清晰，有利于后續的非結構化道路提取與編碼。

3) 第三類道路圖像的針對性預處理

圖像經過檢測，如果不屬于受到光照和陰影強烈影響的圖像，則通過去相關對比度拉伸法(decorr stretch) 放大圖像各部分的顏色特征。經過顏色加強后，原本顏色特征相近的道路和周圍環境顏色差異被放大，道路區域更加容易通過顏色進行區分。

1.4 圖像的銳化

用限制對比度直方圖均衡(Contrast Limited Adaptive histgram equalization/CLAHE)提升圖像的對比度，該算法更適合于改進圖像的局部對比度，以及獲得更多的圖像細節，算法能有效限制放大圖像中相同區域的噪音。CLAHE法提升對比度能夠有效降低雨、霧等因素造成的對道路的遮蔽干擾，大大提高了圖像質量。自適應預處理過程如圖3所示。

2 超像素塊多特征融合

超像素將圖像從像素級劃分成區域級，將圖像劃分為同質的區域再進行分類，可以提高圖像分割的效率。采用SLIC(Simple Linear Iterative Cluster)算法進行超像素塊分割。SLIC算法與傳統超像素分割方法相比處理速度更快、占用內存更小、邊緣吻合度更高，可以將圖像劃分為均勻的小塊區域，鄰域特征比較容易表達，且保留物體的邊緣和輪廓等重要信息。

為了獲得區分性較好的視覺特征，通過多種特征融合的方式來描述超像素塊。結合野外非結構化道路場景圖像特點，本文提取以下4類特征構成視覺特征集。

2.1 超像素塊顏色特征提取

顏色對圖像的視角、方向、尺寸沒有依賴性，具有更好的魯棒性和更低的復雜度。野外道路場景圖像的顏色信息非常豐富，一般天空會呈現天藍色、灰白色或者白色，道路則是褐色或者紅褐色，只有垂直物的顏色變化比較大，但是綠色最為常見。Lab色彩模型是由亮度L和有關色彩的a，b三個要素組成，致力于感知均勻性，它的L分量密切匹配人類對亮度感知，對陰影和光照有較強的魯棒性。所以本文在HSV(色調、飽和度、明度)和Lab這2種顏色空間下提取顏色統計特征。提取超像素在Lab顏色空間下2個顏色通道a，b的均值(mean)、方差(variance)、斜度(skewness)以及在HSV顏色空間下的色度直方圖和飽和度直方圖[4]。

2.2 超像素塊紋理特征提取

采用灰度共生矩陣(Gray Level Co-occurrence MatrixGLCM)來描述超像素塊的紋理特征[9]。一般選取基于灰度共生矩陣的14個紋理特征中的4 個互不相關的紋理特征描述圖像紋理，既便于計算又具有較高的分類精度。這 4 個特征分別為：

能量(二階矩)：

(5)

熵：

(6)

對比度：

(7)

相關：

(8)

描述矩陣中行或列元素之間的相似程度，是對灰度線性關系的度量。圖像中紋理沿著哪個方向，則該方向上的灰度矩陣相關值較大。

求得f1、f2、f3、f4后，求得對應的均值m1、m2、m3、m4和對應的標準差sq1、sq2、sq3、sq4，以向量T1={m1,m2,m3,m4,sq1,sq2,sq3,sq4} 作為最終8維紋理特征。

2.3 超像素塊位置與形狀特征提取

野外非結構化道路場景中超像素塊的坐標和形狀能夠為超像素塊分類提供很強的幾何布局線索。

由圖4超像素塊的分割結果可以看出，因為道路區域紋理、顏色等多種特征融合復雜，所以分割形成的超像素塊形狀并不均勻，與天空、水坑等特征均勻區域的均勻六邊形超像素塊對比明顯。采用基于Hu不變矩[10]的方法提取形狀特征， 即歸一化的超像素不變矩和離心率值。

依據一定的模型和先驗知識，針對非結構化道路識別問題，車輛在行駛過程中，在通道寬度內，當視覺系統安裝固定且沿車輛軸向時，恒定視野區域始終為可靠的道路區域。因此超像素塊的位置信息同樣具有較好的區分度，提取超像素塊位置特征[11]，即歸一化的超像素塊中心像素位置。綜合超像素塊的位置和形狀特征即可得到特征向量T2。

3 Lap SVM超像素塊分類

拉普拉斯支持向量機(LapSVM)算法是一種基于流形正則的半監督分類算法，研究如何同時利用少量的有標識樣本和大量的未標識樣本進行訓練和分類[10]。通過引入樣本流形正則項[10]，LapSVM算法的學習模型中將包含樣本的固有幾何結構信息。LapSVM加入了未標識樣本的流形結構信息，并將這一信息以Laplacian流形正則項的方式加入SVM，學習過程中充分考慮了樣本間的局部幾何結構，使蘊含在樣本中局部的鑒別信息得以體現，可以得到更加準確的分類結果。

3.1 Lap SVM原理

樣本集合S={xi,i=1,…,n}，xi代表第i個樣本，n表示樣本的個數。集合L={xi,i=1,…,m}表示標識樣本，m表示標識樣本的個數，U={xi,i=1,…,u} 表示無標識樣本的集合，u表示未標識樣本的個數。用yi表示第i個樣本所屬類別，yi∈{-1,1}。LapSVM模型定義為

(9)

(10)

(11)

式(11)中：I是單位矩陣；L是Laplacian矩陣；Y∈Rm×m是由標識樣本yi，i=1，…，m組成的對角矩陣；JL∈Rm×m是由標識樣本與未標識樣本形成的分塊矩陣[I0]；β是Lagrange乘子，即

(12)

(13)

(14)

從上面的定義可以看出，LapSVM算法中涉及許多矩陣的運算和轉換，當無標記樣本很多時，需要很大的內存空間和很長的 CPU 占用時間，甚至引起內存溢出等問題?？梢酝ㄟ^原始優化加速訓練過程，將LapSVM的模型式重新定義為

(15)

式(15)中，b為SVM定義中的閾值。

3.2 道路區域標識樣本預選取

利用LapSVM算法進行分類，標識樣本數量越少，則分類結果誤差越大。本文通過上文動態選取道路區域標識樣本，選取那些在確定道路區域里面或者附近的超像素塊樣本，即可能屬于道路區域的超像素塊樣本加入訓練樣本集，舍棄了離確定道路區域較遠或在圖像四角位置的無標記樣本，使得參與訓練的無標記樣本提供更豐富的啟發信息。

3.3 結合動態道路預選取樣本的超像素塊分類

結合動態道路預選取樣本的Lap SVM超像素塊分類算法，首先對全部無標記樣本選取少量含啟發信息更為豐富的m個無標記樣本，假設有l個標記樣本，以及預選取m個無標記樣本，以l+m個樣本建立k近鄰圖，然后，在此圖上構造目標函數f實現分類。

算法基本流程如下：

1) 輸入標識樣本集合L={xi,i=1,…,m}和無標識樣本的集合U={xi,i=1,…,u}

2) 從u個無標記樣本中預選取含啟發信息更為豐富的m個無標記樣本；

3) 利用高斯核函數，計算核矩陣Kij=K(xi,xj)；

5) 選取合適的權重γA，γI；

通過對標識樣本和無標識樣本的超像素塊特征向量進行訓練學習，可以得到Lap SVM分類器，即可用于對野外復雜非結構化道路圖像進行道路區域檢測與識別。

4 驗證

為了驗證本文算法對野外復雜場景下非結構化道路識別的有效性。實驗測試了多種典型復雜非結構化道路，并與文獻[3]中的算法以及文獻[5]中的算法效果進行比較，對實驗結果采用定性和定量評價方法分析。

實驗以四核Intel i7處理器，8.0 G 內存PC 機為硬件平臺，在 Windows 7操作系統下以 Matlab R2014a作為開發工具。實驗所用非結構化道路圖像數據取自于DGC(DARPA Grand Challenge)場景分割數據庫和在南京珠山采集的非結構化道路數據庫以及互聯網上經過篩選得到的典型復雜非結構化道路圖像，將所有實驗圖像進行尺寸歸一化為640像素×480像素。

為了能夠對各個算法的道路邊緣檢測質量進行定量比較，本文采用精準度τ來評價各算法邊緣檢測精度，τ越小檢測精度越低，反之檢測精度越高。

(16)

式(16)中：Bt是人工標定的道路區域像素集；Bo是算法檢測出的道路區域像素集；Bt∩Bo表示二者交集，即共同部分；Bt∪Bo表示二者并集。

在實驗中定性及定量地對比了本文和文獻以及文獻提出的非結構化道路邊緣檢測算法的檢測性能，檢測結果如圖5所示，其中第一列為原圖，第二列為文獻[3]算法道路分割效果圖，第三列為文獻[5]算法道路分割效果圖，第四列為本文算法道路分割效果圖。不同類型圖像主色值選取范圍如表5所示。

表5 不同類型圖像主色值選取范圍

從圖5以及表5可以看出，在以上復雜野外環境場景下，由于具有特征自學習及在新場景下自動調整的能力，文獻[5]和本文算法均具有極好的道路分割效果，優于傳統基于顏色紋理特征的方法。對于本文選取的圖像數據庫，本文道路檢測算法的精準度τ總體達到了91.9%，相比文獻[3]的基于特征的傳統算法，檢測精準度提升67%，且相比于文獻[5]的基于DCNN及自編碼器的道路分割算法，算法處理效率提升63.8%，具有較高的道路檢測精度和較好的實時性。

5 結論

通過實驗驗證，本文道路檢測算法的精準度τ總體達到了91.9%，精度略低于基于深度學習的道路識別算法，但運行效率遠高于它，提升了63.8%；與基于人工構造特征的道路識別算法相比較，盡管處理速度略慢，但精度卻遠高于它，提升67%。本算法在檢測的實時性與精準度問題上的合理協調，具有較高的道路檢測精度和較好的實時性，能夠實現對野外非結構化道路精準檢測。

[1] 王明東， 王天祥.新概念武器的現狀與發展趨勢[J].四川兵工學報，2014(6)：1-5.

[2] 孟凡杰,王新晴,呂高旺,等.基于多特征準則改進區域生長的非結構化道路識別[J].電腦知識與技術,2016,12(35):200-202.

[4] 鄧燕子,盧朝陽,李靜,等.采用多層圖模型推理的道路場景分割算法[J].西安交通大學學報(自然科學版),2017,51(12):62-67.

[5] 王海,蔡英鳳,賈允毅,等.基于深度卷積神經網絡的場景自適應道路分割算法[J].電子與信息學報,2017,39(2):263-269.

[6] 龔建偉,葉春蘭,姜巖,等.多層感知器自監督在線學習非結構化道路識別[J].北京理工大學學報,2014,34(3):261-266.

[7] 秦緒佳,王慧玲,杜軼誠,等.HSV色彩空間的 Retinex結構光圖像增強算法[J].計算機輔助設計與圖形學學報,2013,25(4):488-493.

[8] 刁彥華,孟子鈺,王曉君.基于 Hu不變矩的圖像形狀特征提取研究[J].網絡安全技術與應用,2017(10):46-47.

[9] 高程程,惠曉威.基于灰度共生矩陣的紋理特征提取[J].計算機系統應用,2010,19(6):196-198.

[10] 王晨,樊養余,熊磊.利用LapSVM的快速顯著性檢測方法[J].中國圖像圖形學報,2017,22(10):1392-1400.

[11] COSTEA A D,NEDEVSCHI S.Fast traffic scene segmentation using multi-range features from multi-resolution filtered and spatial context channels[C]//IEEE Intelligent Vehicles Symposium Proceedings.Piscataway,NJ,USA:IEEE,2016:328-334.