基于機器學習的車輛路面類型識別技術研究

王世峰， 都凱悅， 孟穎， 王銳

(長春理工大學 光電工程學院 光電工程國家級實驗教學示范中心, 吉林 長春 130022)

基于機器學習的車輛路面類型識別技術研究

王世峰， 都凱悅， 孟穎， 王銳

(長春理工大學 光電工程學院 光電工程國家級實驗教學示范中心, 吉林 長春 130022)

當車輛在各種不同的路面上行駛時，獲知路面類型信息將有助于提高乘車人的安全性和舒適性，不同的路面類型將對車輛的加速、制動及操控等駕駛策略產生影響。基于機器學習的基本原理，提出一種使用加速度傳感器和相機特征數據融合對路面類型進行分類的方法，并與單獨使用其中一種傳感器進行了比較。使用垂直加速度和車速數據并利用車輛動態模型還原路面輪廓，進而完成特征提取和路面類型分類；對相機采集的路面圖像數據進行特征提取和分類；將兩類傳感器的數據特征進行融合，完成路面類型識別任務。實驗結果表明：使用兩種傳感器數據特征融合的方法，不但識別精度有所提高，而且其可靠性和適應性也都優于單獨使用加速度數據或路面圖像數據。

控制科學與技術； 路面類型識別； 加速度傳感器； 相機； 機器學習

0 引言

近年來，無人駕駛技術得到了迅猛發展，自主行駛技術是無人車技術體系中的重點與難點問題，從技術架構上分析，環境感知是實現無人駕駛技術的前提。車輛行駛過程中，即時獲知所行駛的路面類型，可以為車輛的安全性、舒適性和燃油率的優化提供重要信息[1]。不同的路面類型，其對應的車輛相關參數，如摩擦系數、側滑角和操控性能也有所不同，再由這些參數實現對燃油率、循跡控制系統、自動和半自動懸架系統以及防抱死系統的有效調節。這種即時獲知所行駛路面類型的技術可應用于車輛輔助安全駕駛系統中，或應用于無人駕駛車輛平臺中。

在對行星探測地面小車和小型移動機器人的研究中，前人已經提出了一些路面類型分類方法。Manjanna等[2]根據不同路面類型的步態情況實現了六足機器人的獨立行駛。根據不同的路面類型和運行速度構成慣性測量樣本以及其反饋信號，再使用非監督機器學習的分類算法對路面類型進行分類。但多足機器人和輪式機器人與地面接觸方式不同，產生的縱向振動信號也有所不同。Ward等[3]用加速度傳感器成功地對柏油路、鋪磚路和碎石路進行了分類。首先給動態車輛模型一個加速度信號，并提取當前路段的空間頻率分量，識別并躲避前方車轍和坑洼，最后采用監督學習支持向量機(SVM)實現路面類型的分類。但是，當路面粗糙程度相似時，僅僅用加速度數據區分路型是不夠的。Bekhti等[4]使用相機采集路面圖像，并提取特征對路面類型進行分類。相機將前方路面拍攝下來，測量其分形維數，估計路面的紋理特征，高斯回歸過程做逼近函數，并計算路面紋理特征和振動情況的相關性。由此僅根據圖像信息就能預測前方路面的振動情況。但是這種方法具有一定局限性，比如當背景照明強度發生明顯變化時或者路面是被雪覆蓋的石子路，這些特殊環境就會影響到其檢測穩定性。

上述所提的工作實驗平臺大多是小型輪式地面小車，這種機器人在實驗中被當作剛體對待。本文實驗中所使用車輛具有一套包含氣輪胎的完整套懸架系統，并且車輛的車速在一定范圍內變化。Ward等[3]給出的算法使用鋼性輪的低速機器人進行實驗，由于氣輪胎懸架的固有參數能夠吸收高頻噪聲，在更大的速度范圍內具有更好的動態效應，因此本文中使用的是具有動態特性的彈性系統，而非剛體系統。

1 路面類型估計

1.1 車輛模型

本文使用標準四分之一車輛動態模型[5]，如圖1所示，包括四分之一車體的懸掛質量ms及其垂直速率vs，非懸掛質量mu及其垂直速率vu，懸架彈簧系數Ks和阻尼系數Bs，氣輪胎的彈性系數Kt、阻尼系數Bt，兩根彈簧的長度Ds和Du.

圖1 四分之一車輛的動態模型Fig.1 Quarter car model

根據文獻[5]可知：

(1)

由文獻[3]可知：非懸掛質量的垂直速率與路面類型的傳遞函數[3]為

(2)

表1給出了該模型的相關參數。其中氣輪胎和懸架系統相當于一個帶通濾波器。假定該模型有一個點連接路面和輪胎，但實際上由于形變的原因這個點并不存在。雖然實驗希望能夠得到相互獨立的速度數據(也就是估計路面類型所需的特征值)，但由于所使用的模型導致事實并非如此。比如當該模型在形如小山坡這樣的長波狀路面上行駛時，數據特征不明顯，而這種特征數據的不明顯會影響模型的使用。另外，由于本模型對于高頻特征值有一定的削弱作用，這將會增加對某些路型的判別難度，比如柏油路和石板路[3]。但盡管如此，它仍然可以估計不相關的速度特征值。

表1 參數值

1.2 路面類型

本文采用文獻[3]中的方法對路面類型進行估計。用制動防抱死系統(ABS)的霍爾傳感器測車速，用裝置在后輪的加速度傳感器測垂直加速度。

如圖2所示，用截止頻率為150 Hz的低通濾波器把加速度數據中的非真值和高頻噪聲提前處理之后，再處理霍爾傳感器數據，得到車速。由于需要使用單片機對霍爾傳感器在連續時間區間內進行累計計數，所以無法得到較高幀頻車速采樣。最終設計將速度數據以10 Hz的頻率進行采集并發送給上位機，同時，再以1 kHz的頻率對加速度數據進行取樣。為了實現路面類型的預測，要使加速度數據和速度數據具有相同的取樣頻率，所以需要對速度數據進行插值。

圖2 加速度數據處理流程圖Fig.2 Flow chart of accelerometer data processing

根據表1中的參數在時域內重寫方程(2)式，得

(3)

式中：acc(t)為測得的加速度數據。

只要給出垂直加速度和車速數據，就能夠通過四分之一車輛動態模型計算出路面輪廓數據。

2 路面類型特征提取

2.1 加速度傳感器數據

2.1.1 路面類型

雖然加速度數據和速度數據都以相同的取樣頻率進行了取樣，但由于車速的變化會導致路面輪廓的x軸方向并沒有表現為相同的取樣頻率。當車速較緩慢時路面類型的樣本間隔很小，高速時樣本間隔卻很大。為了解決這個問題，采用Lomb[6]的周期圖法，在最小二乘法下匹配路面類型的正弦和余弦來獲取每個頻率分量的能量譜，周期內任意兩個頻率分量之間的高度相關性用于減少譜引起的均勻采樣插值的變形扭曲。使用該算法能夠將x軸方向的路面輪廓數據排布均勻。

2.1.2 路面類型分解

把路面分割成若干段，每段的長度和車的長度相等(4 m)。考慮到路面類型信息是時變信號，需要先計算完功率譜之后再把每部分信號進行傅里葉變換。根據多次實驗經驗，取初始頻率0周/m，終止頻率150周/m，步長為1周/m. 需要說明的是，此處的空間頻率周/m和時間頻率Hz有所不同：時間頻率的橫軸為時間，而空間頻率的橫軸為車輛行駛過的路徑距離。所以空間頻率的單位是周/m，而時間頻率的單位是Hz. 接下來再把每部分的空間頻率分量按照(4)式的形式寫出矩陣Y[3]. 在這個矩陣中，每一列代表分割好的每一段路程，行代表按照上述步驟提取出來的特征值(頻率分量)。

(4)

用主成分分析法(PCA)對矩陣Y進行標準化變換，再經過計算之后降低矩陣Y的維數，得到幾個綜合變量[7]。PCA能夠把可能存在相關性的變量轉換為不相關變量。而分類器所需的主成分的個數取決于實驗。本文中，用神經網絡分類器測試了不同數目的PCA分量，結果表明采用62個分量時既能夠保證分類精度，還能夠保證計算量不至過大。

2.2 圖像數據

如圖3所示，將相機安裝于車輛尾部，且鏡頭朝下拍攝車輛途經的路面圖像。相機使用火線接口與PC104機進行數據傳輸。圖像信息、加速度數據和速度數據通過以太網同步記錄。接下來介紹圖像信息的特征提取方法。

圖3 相機安裝示意圖Fig.3 Installation diagram of camera

2.2.1 紋理特征

本文使用灰度共生矩陣(GLCM)計算路面紋理[8]。在特定的空間關系中，GLCM能夠計算灰度值分別為i和j的兩點間的相關性。定義該空間關系為興趣像素點和與它相鄰右側(水平相鄰)的像素點之間的關系，同時也明確知道這兩個像素點之間的其他空間關系。使用了20個特征值來描述紋理特征。

2.2.2 圖像直方圖特征

早期有實驗用灰度水平直方圖成功捕捉到了某場景的強度分布[9]。需要注意的是，要先把相機采集到的彩色圖轉化為灰度圖像后再轉換為灰度直方圖。使用了8個特征值來描述直方圖特征。

本文將紋理和圖像直方圖結合起來共同生成圖像特征矩陣，再用PCA降低維數。根據多次實驗最終選則14維。

根據美國學者格賴斯（H.P.Grice）（1975）提出來會話的合作原則（Cooperative Principle），出于需要，人們有時會故意違背合作原則，產生“特殊會話含義”，從而更好地表達會話者的某種意圖，或者“言外之意”。

2.3 路面類型數據和圖像數據的結合

如圖3所示，把相機安裝在車尾處，加速度傳感器安裝在后車輪上，二者之間距離為1.2 m. 數據采集時在空間上有一定的距離，在后續處理時要把這個偏移量計算回來，保證圖像信息和加速度數據是路面上對應的是同一段路面。

由加速度數據和圖像數據構成的特征值經過標準化之后構成類似(4)式的特征矩陣，PCA進行降維之后最終得到的維數是120.

3 分類

本文進行分類的機器學習工具包WEKA[10]，是一款易于使用高度集成的機器學習工具包。本文選用的分類器是神經網絡分類器，其符合經典的貝葉斯最優分類器，它的優勢是簡單穩定。并且在文獻[11]中已經證實它比SVM更適合應用于路面類型分類任務。

4 實驗結果

4.1 實驗平臺

實驗車輛裝有加速度傳感器、相機、車速傳感器以及兩臺通過以太網連接的PC104計算機，此外還有一個電池組提供電源。

如圖4所示，加速度傳感器(美國JEWELL公司LCF-200型, 測量范圍±50g)中的模擬信號由PCI數據采集卡(16位分辨率，1 kHz取樣頻率)轉化為數字信號。ABS的霍爾傳感器信號輸出給光隔離器，然后再到PIC單片機上進行數字化。單片機采樣速率為10 Hz，并通過RS-232接口將采集到的車速數據傳輸給1號PC104機。相機以15幀/s的幀頻采集路面圖像，并將圖像數據實時傳輸給2號PC104機。最后，這兩臺PC104機所采集的數據同時記錄時間戳，并通過以太網進行同步。

圖4 系統的硬件組成示意圖Fig.4 Hardware structure of system

4.2 實驗環境

數據采集實驗在溫度23 ℃，濕度60%的晴天天氣中開展。如圖5所示，為4種不同路面類型，考慮到安全性和實際需求，不同路型上的行駛速度并不相同：柏油路和水泥路上的行駛速度為20～50 km/h，草地為10～20 km/h，碎石路為10～30 km/h.

4.3 實驗結果

對所采集數據進行解算，經處理后形成路面類型信息的振動特征。如圖6所示，4種類型路面其可視化的空間頻率分布各有不同，使用這些數據組成的特征矩陣給分類器進行機器學習的訓練與識別。

4.3.1 基于加速度數據的分類實驗

為提高測試結果的穩健性和可靠度，采用K折交叉驗證法，且K值取5. 以上4種路面類型的數據分為訓練和測試兩個階段，使用加速度數據進行的路面類型識別實驗結果在表2中給出，識別平均正確率為67%.

圖5 4種路型表面Fig.5 Surfaces of four terrains

圖6 不同路型的空間頻率特征Fig.6 Spatial features of four terrains

表2 基于加速度數據路面類型識別結果

從表2中可以看出，柏油路和水泥路(或者草地和碎石路)之間存在較為明顯的分類錯誤。例如表2的第1行數據為在柏油路的路面類型，分類的正確率達到了68%，而有20%的樣本被錯誤的識別為水泥路面。產生這種結果的原因可以用圖6(a)和圖6(b)來解釋：柏油路和水泥路空間頻率特征某種程度的相似，功率譜主要集中在2～6 Hz的頻率范圍內，所以造成了這種讓分類器“困惑”的識別結果。同樣的錯誤也發生在水泥路面，有30%的樣本被錯誤的分類成柏油路。

從目前情況看，使用單一加速度數據進行路面類型分類，具有一定的局限性，當道路表面粗糙度相似時，僅僅使用加速度數據區分路面類型是不完善的。

4.3.2 基于圖像的分類實驗

如表3所示，是使用圖像數據進行特征提取和路面類型分類的實驗結果，識別平均正確率為88%. 與使用加速度數據相比，能更有效地識別出不同路型紋理的區別，圖像特征能提供更好的分類精度。

表3 基于圖像數據路型識別結果

從表3中可知，使用單一圖像數據提取特征能夠將識別正確率從加速度數據的67%提高到88%，但是還有一些分布在各個類別中的分類錯誤。通過對這些錯誤數據的原始圖像數據進行人工辨別，發現這些路面樣本的原始圖像數據沒有得到良好的采樣成像。

圖7為部分采樣出現問題的路面圖像。從圖7中可以看出：由于車輛在高速行駛時，相機成像的曝光時間并沒有隨之縮短，所以造成了圖像的拖影現象，而導致路面圖像無法呈現其紋理特征；有的圖像是由于背景光過強，造成了相機的電荷耦合器件大部分像元飽和，最終呈現了整體發白的圖像；還有的是由于路面圖像對比度過強，相機無法良好和快速地自適應調節參數，造成最終的圖像亮度不均衡而無法提取紋理特征。另外，顯而易見的是，路面的成像質量在夜晚環境下將受到大幅度的限制。

圖7 部分非正常圖像采樣Fig.7 Abnormal image sampling

使用圖像數據的提取特征進行路面類型識別方法與使用加速度數據相比，前者優勢在于在良好成像環境下，且路面表面紋理特征區別明細的樣本有較好識別效果，而后者是對路面的表面輪廓更加敏感。可以推斷，如果能夠將兩類數據中提取的特征值加以融合再進行分類任務的話，可以進一步提高路面類型識別的正確率。

4.3.3 使用加速度數據或圖像數據的比較

從表2和表3的比較來看，針對實驗所采樣的4種路面數據，雖然單獨使用加速度數據進行路面類型分類的整體正確率小于使用圖像數據，但其不受行車環境的背景光影響；而后者在良好光照條件下雖然正確率高，但對圖像數據進行預處理、特征提取及分類，其運算量要遠大于使用加速度數據，對后期實現實時在線路面識別工作造成一定的壓力。

4.3.4 基于加速度數據和圖像數據的分類實驗

將加速度數據提取的特征值和圖像數據提取的特征值分別進行歸一化后結合起來構成新的特征矩陣，然后再次利用神經網絡分類器對融合后的特征矩陣進行分類，實驗結果如表4所示，識別平均正確率為90%.

表4 基于加速度和圖像路型識別結果

表4是上述模擬行車實驗的識別結果統計，可以看出整體分類結果正確率上升到了90%. 這表明融合加速度數據和圖像數據二者的特征值的確可以改善分類結果，降低識別錯誤率，提高系統可靠性。

然而并非所有融合后的識別率都非常理想地得到提高，如表4所示草地的識別率73%雖然稍高于單獨使用圖像數據的72%，但低于單獨使用加速度數據的76%. 由于草地路面的振動特征更容易區分與其他路面類型，而同時恰恰在草地上進行圖像采樣時車輛具有更劇烈的振動，所以圖像質量更容易受到影響。由此受到啟發，后續的研究工作可以考慮對振動特征更有區分度的路面類型使用加速度數據，而其他路面類型則繼續使用融合的方法進行。

圖8展現的是使用采集的數據模擬車輛在不同路面行駛之后的識別結果。將加速度數據和圖像數據提取的特征值融合后進行的分類結果，模擬了一段車輛從柏油路到水泥路、碎石路和草地的連續路程。由圖8可見，錯誤結果分布在不同的路段。有些由于振動模糊引起，有些是由于圖像質量太差引起。

圖8 模擬行車的分類結果Fig.8 Classification results of simulated driving vechicle

5 結論

本文開發了一種用于車輛輔助安全駕駛的多傳感器融合的路面類型識別的方法。實驗結果表明：

1)由于柏油路和粗糙水泥路的振動效果較相似，所以單獨使用加速度數據進行分類的效果不是很好。

2)單獨使用圖像數據進行分類的精度雖然有所提高，但是這種方法有它固有的局限性，那就是對車輛行駛速度及環境背景光比較敏感。

3)本文提出的用提取的加速度數據和圖像數據特征進行融合的分類方法不僅能提高分類精度，而且具有更強的可靠性和適應性。

在此基礎上，今后的工作重點將放在進一步提高識別正確率上：1)在提取圖像紋理特征前首先判斷圖像是否飽和或模糊，從而決定是否剔除該圖像數據；2)嘗試使用深度學習等分類器進行對比；3)開展在線實時路面類型識別的研究工作。

References)

[1] 王紅巖，王欽龍，芮強，等. 車輛行駛路面的數字化建模方法研究[J]. 兵工學報, 2016, 37(7):1153-1160. WANG Hong-yan, WANG Qin-long, RUI Qiang, et al. Research on digitized modeling method of riding road of vehicle[J]. Acta Armamentarii, 2016, 37(7): 1153-1160.(in Chinese)

[2] Manjanna S, Dudek G, Giguere P. Using gait change for terrain sensing by robots[C]∥2013 International Conference on Computer and Robot Vision. Regina, Saskatchewan, Canada:IEEE, 2013: 16-22.

[3] Ward C C, Iagnemma K. Speed-independent vibration-based terrain classification for passenger vehicles[J]. Vehicle System Dynamics, 2009, 47(9): 1095-1113.

[4] Bekhti M A, Kobayashi Y. Prediction of vibrations as a measure of terrain traversability in outdoor structured and natural environments[C]∥Proceedings of 7th Pacific-Rim Symposium on Image and Video Technology. Auckland, New Zealand:Springer International Publishing, 2015: 282-294.

[5] Wong J Y. Theory of ground vehicles[M]. 4th ed. NY, US: John Wiley & Sons, 2008: 45-49.

[6] Lomb N R. Least-squares frequency analysis of unequally spaced data[J]. Astrophysics and Space Science, 1976, 39(2):447-462.

[7] Jolliffe I. Principal component analysis[M]. 2nd ed. NY, US: Springer-Verlag, 2002: 25-27.

[8] Haralick R M, Shanmugam K. Textural features for image classification[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1973, 3(6): 610-621.

[9] Gonzalez R C. Woods R E. Digital image processing[M]. 2nd ed. NY, US: Prentice Hall, 2002:125-129.

[10] Bouckaert R R, Frank E, Hall M A,et al. WEKA-experiences with a java open-source project[J]. Machine Learning Research, 2010, 11(5): 2533-2541.

[11] Decatur S E. Application of neural networks to terrain classification[C]∥International Joint Conference on Neural Networks. San Diego, CA, US:IEEE, 1989: 283-288.

Machine Learning-based Road Terrain Recognition for Land Vehicles

WANG Shi-feng， DU Kai-yue， MENG Ying， WANG Rui

(National Demonstration Center for Experimental Opto-Electronic Engineering Education, School of Opto-ELectronic Engineering,
Changchun University of Science and Technology, Changchun 130022, Jilin, China)

The acquisition of information about the road terrain helps to improve the passengers' safety and comfort when a vehicle runs on different road terrains. Different road terrains have significant impacts on the driving acceleration, braking and manipulation of vehicle. A machine learning-based recognition method is proposed, which is to recognize the road terrain by fusing the feature data from accelerometer and camera. The road profile is estimated by using acceleration and vehicle speed data. The spatial features are extracted from the road profile for terrain classification. The texture features extracted from terrain images captured by a camera are used for the same classification task. And the task of recognition of road terrain is accomplished by fusing the data features from two sensor data sets. The experimental results show that the proposed method is used to improve the accuracy of road terrain recognition, and the reliability and comfort of passengers in vechile.

control science and technology； road terrain recognition; accelerometer; camera; machine learning

2016-12-02

吉林省自然科學基金項目(20150101047JC)

都凱悅(1990—)，女，碩士研究生。E-mail:dukaiyue0510@126.com

王世峰(1978—)，男，副教授，博士，碩士生導師。E-mail:sf.wang@cust.edu.cn

O235

A

1000-1093(2017)08-1642-07

10.3969/j.issn.1000-1093.2017.08.023