基于可見-近紅外光譜的路面狀況識別的研究

熊顯名，張乾坤，秦祖軍

基于可見-近紅外光譜的路面狀況識別的研究

熊顯名，張乾坤，秦祖軍

（桂林電子科技大學，光電信息處理重點實驗室，廣西 桂林 541004）

光譜技術在公路狀態識別（是否結冰、積水或積雪）方面有著積極的應用前景，但太陽光作為光源識別公路狀態的研究較少。分別采用陽光和鹵鎢燈作為白天和夜間的實驗光源，通過微型光譜儀數據分別得到冰、水、雪和公路本底的可見-近紅外波段的光譜曲線。白天時，結冰和積水狀態在不同光照情況下會出現“異物類譜”現象，根據陽光光照特性，本文提出將“環境變量”作為特征值的解決方法，并基于光譜曲線及歸一化后的“環境變量”特征值，將光譜數據組合成新的數據波形，基于Dropout與Adam優化器的神經網絡模型對數據進行訓練和識別，最終識別率為99.375%。夜間，由于各類樣本光譜區域差異明顯，采用“組合-閾值”法識別。實驗證明通過兩種光源結合的識別方法，能夠有效識別路面狀態。

公路狀態識別；可見-近紅外光譜；神經網絡；環境變量；組合-閾值法

0 引言

公路狀況識別和預警是保證道路安全行駛的重要環節之一。公路路面結冰、積雪或積水時抗滑能力明顯降低，易發生車輛剎車失控甚至翻車的危險。據統計，在所有的交通安全事故中，路面結冰時發生交通事故的概率是干燥路面的10倍[1]。因此安裝公路狀況識別裝置尤為重要。

當前公路路面狀況檢測方式主要有接觸式和非接觸式兩種。接觸式抗干擾性強，但需要切割路面，將設備埋入公路表面并與路面持平，導致安裝和維護時需要封閉道路，影響正常交通和公路的使用壽命，例如東南大學利用電容板之間介質的變化引起電容變化的方法識別路面狀況[2]。非接觸式主要是通過紅外光譜技術，紅外光譜識別路面狀況需要特定激光器作為輔助光源[3]，白天時易受外界陽光影響。除此之外，瑞典中部大學的Jonsson P.團隊利用水吸收光譜范圍內敏感的單點像素紅外探測器來區分路面狀態[4-5]，瑞典呂勒奧理工大學（1310nm和1550nm）[6]和浙江大學（880nm和950nm）[7]采用了兩種特征波長，但是這種采集方式為單點面積采集方式，無法大面積進行數據采集，實用性較低。

針對以上問題，本文提出一種基于可見-近紅外結合神經網絡的公路狀況識別方法。實驗白天以太陽光作為光源，通過兩個微型光譜儀獲取結冰、積水、積雪和干燥時的計算光譜曲線和四者所對應的“環境特征值”，并將其作為基于Dropout與Adam優化器的神經網絡模型的訓練樣本。為保證夜晚也能準確有效識別路面狀態，實驗以鹵鎢燈作為夜間實驗光源，提出“組合-閾值”的方式識別公路狀態。

1 基本原理

1.1 五點三次平滑算法

通常采集到的光譜數據除有用信號外，還帶有隨機噪聲，這些噪聲對光譜特征提取有一定影響，因此需對數據進行去噪處理[8]，提高整體光譜曲線平滑度。五點三次平滑處理算法可以對等距節點上的實驗數據進行平滑處理，力爭減弱由隨機干擾信號產生的噪聲或儀器本身原因產生的噪聲，達到提高曲線光滑度的目的。

五點三次平滑算法公式如下：

五點三次平滑算法要求數據節點數≥5，為保證數據處理后的光滑性和真實性，數據前兩個數據節點分別以公式(1)和公式(2)表示，數據最后兩個數據節點分別以公式(4)和公式(5)表示，其余以公式(3)表示。在確保原光譜曲線特性不發生改變的情況下，使用五點三次平滑算法多次迭代，以達到效果最好的光滑處理。

1.2 神經網絡

BP神經網絡是一種按誤差逆傳播算法訓練的多層前饋網絡，由輸入層、輸出層和隱含層組成[9]。它主要是基于反向傳播算法對網絡的權值和偏差進行多次迭代，通過調整權值大小、減小偏差，進而實現輸出和期望逐漸相符。如圖1所示為BP神經網絡結構示意圖。

圖1 BP神經網絡結構示意圖

在BP神經網絡搭建過程中，輸入層和輸出層的層數固定為單層，隱含層的層數根據樣本特性和所需要求設定。增加隱含層的層數在降低網絡偏差的同時，也加大了網絡復雜度，導致網絡計算量增多，甚至出現過擬合現象；減少隱含層的層數網絡將不能建立合適的判斷界，容錯性差。隱含層的層數的選取原則是：在達到設計需求的前提下，選取層數較少的網絡結構。通常情況下，單層可以解決多數問題，所以單層隱含層優先考慮。輸入層和輸出層的節點數由設計要求直接確定，單隱含層節點數一般基于經驗公式確定，如公式(6)所示：

式中：為隱含層節點數；、和分別為輸入層節點數、輸出層節點數和調節常數（一般選取為10以內整數）。

隨機失活（Dropout）是對具有深度結構的人工神經網絡進行優化的方法，在學習過程中通過將隱含層的部分權重或輸出隨機歸零，降低節點間的相互依賴性，從而實現神經網絡的正則化，降低其結構風險。

Adam是一種學習率自適應的優化算法，它能基于訓練數據迭代地更新神經網絡權重[10]。通過Dropout和Adam優化器的使用可以提高網絡范化能力[11]。

2 實驗與數據處理

2.1 實驗儀器

實驗采用基于日本濱松公司型號為C11708MA的CMOS探測器設計的微型光譜儀，該微型光譜儀的分辨率為1nm，探測范圍為640～1150nm。微型光譜儀獲取的實驗數據為16位A/D輸出的光強度信號數據值，范圍為0～65535，儀器暗電流的A/D輸出平均值約為9500。

微型光譜儀采集的數據為物體（光源）的光信號強度轉化而成的數字信號量，表示物體（光源）當前的光信號強度。當結冰公路本底和積水公路本底處于不同陽光光照強度時，兩者的光譜曲線易出現“異物類譜”現象。如圖2所示，當結冰公路本底和積水公路本底所照射的光照強度不同時，微型光譜儀采集到兩者的光譜曲線可能會出現相似的情況。

圖2 結冰和積水A/D輸出值的“異物類譜”圖

實驗反復驗證，當結冰公路本底和積水公路本底出現“異物類譜”現象時，不同光照情況下的干燥路面光譜曲線差異較大，即兩者所處的光照強度差異較大。所以實驗在使用微型光譜儀采集結冰、積水公路本底的光譜數據時，在同一時刻、同一光照情況下使用另一套微型光譜儀采集另一塊干燥的公路本底的光譜數據，用于表示兩者所處的不同光照數據，將其作為環境光強特征值數據和背景物質光譜數據，從而增大樣本數據的差異性，圖2中結冰和積水公路本底所對應的背景物質光譜曲線如圖3所示。環境光強特征值數據是從光譜曲線中選取的一些特殊數據點，用于解決“異物類譜”現象；背景物質光譜數據為光譜曲線全段數據，用于更直觀地表達兩個光譜儀所采集的數據關系。

圖3 背景物質光譜曲線圖

雖然微型光譜儀個體之間存在一定差異性（輸出值差異小于0.1%），但兩套設備采集的光譜數據并非同一物質且數據差異較大，對整體實驗影響較小，在本實驗中設備的個體差異性可以忽略不計。

為解決陽光亮度過強導致的儀器測量飽和問題，在CMOS探頭前端放置光衰減片。采用數值孔徑相關公式確定儀器與本底距離和儀器檢測半徑，如公式(7)所示：

式中：為CMOS探頭檢測半徑；為CMOS探頭半徑；為CMOS探頭到本底之間的距離；NA為CMOS探頭的數值孔徑，取值為0.22。因為CMOS探頭半徑數值較小，可以忽略不計，所以儀器與本底距離和儀器檢測半徑需滿足如下關系：

2.2 樣本選擇

為保證能夠采集到同一光照強度下冰、水、雪和干燥的公路本底光譜曲線與其背景物質光譜曲線，實驗采用兩個光譜儀同時進行數據采集。一號微型光譜儀用于采集一號公路本底表面積雪、積水、結冰和干燥4種狀態的光譜數據，二號微型光譜儀用于采集二號公路本底的光譜數據，二號公路本底數據作為背景物質光譜和“環境特征值”數據。一號和二號公路本底為公路柏油路樣本，材質相同，大小相同。

實驗樣本采集分為白天和夜間兩部分。白天采集時，以太陽光為光源，時間分別為陰天、多云和晴天的上午8點～下午5點之間，每3min采集一次該時刻光照下積雪、結冰、積水和干燥的一號公路本底光譜數據，同時采集同一光照下的二號公路干燥本底數據。實驗獲得表面積雪厚度約為1mm、5mm和15mm的一號公路本底樣本各200份，共600份；表面結冰厚度約為0.5mm、2mm和5mm的一號公路本底樣本各200份，共600份；表面積水厚度約為1mm的一號公路本底樣本共200份；表面干燥的一號本底樣本共200份。白天時實驗最終獲得一號公路本底樣本1600份，一號本底所對應的表面干燥的二號公路本底樣本1600份，總計3200份。

夜間，以鹵鎢燈為光源，周圍無其他明顯亮光源，每3min采集一次該時刻光照下積雪、結冰、積水和干燥的一號公路本底光譜數據，同時采集同一光照下的二號公路本底數據。樣本選擇與白天時相同，夜間實驗最終獲得一號公路本底樣本1600份，一號本底所對應的表面干燥的二號公路本底樣本1600份，總計3200份。

數據處理時，白天和夜間的一號公路本底的不同厚度積雪或結冰統稱為積雪或結冰，不做厚度區分。

2.3 實驗步驟和數據處理

實驗步驟：實驗分為白天和夜晚兩部分。白天時將表面分別結冰、積雪、積水和干燥的一號公路本底與表面干燥的二號公路本底平放于陽光下。微型光譜儀探頭到公路本底的距離為20cm，探頭與本底表面夾角約為45°，積分時間為5ms，在640～1050nm測量范圍內采集256個波長數據點。微型光譜儀通過USB傳輸，將數據發送到PC端。圖4所示為數據采集結構示意圖，圖5所示為單個微型光譜儀數據采集結構示意圖。

圖4 數據采集結構示意圖

圖5 單個微型光譜儀數據采集結構示意圖

為更直觀地表達一號公路本底光譜數據和二號公路本底光譜數據（背景物質光譜數據）之間的關系，將兩組數據進行整合計算。為保證數據最終結果在±1之間，計算方式如公式(8)所示：

式中：，，和分別表示波長處對應的樣本整合計算值，一號本底光譜信號值，二號本底光譜信號值（背景物質光譜值），儀器暗電流信號值。其中，儀器暗電流的A/D輸出信號值平均為9500。

圖6表示1400份白天時公路本底表面結冰、積水和積雪的整合計算后的部分光譜曲線。

圖6 白天時，公路本底表面各狀態整合計算光譜圖

夜間以鹵鎢燈為光源，開啟10min后，待光源穩定再測量，測量方式、距離、積分時間與白天相同。圖7表示1400份夜間公路本底表面結冰、積水和積雪的整合計算后的部分光譜曲線。圖8表示400份白天和夜間公路本底表面干燥時的整合計算后的200份樣本的部分光譜曲線。

圖7 夜間公路本底表面各狀態整合計算光譜圖

圖8 白天和夜晚時公路本底表面干燥狀態整合計算光譜圖

結冰公路本底和積水公路本底在不同光照情況下，整合計算后的實驗數據與A/D輸出的實驗數據一樣會出現“異物類譜”現象。實驗中高光強情況下的結冰整合計算曲線和低光強情況下的積水整合計算曲線有明顯的“異物類譜”現象（高光強一般為晴天或者中午，低光強一般為陰天、清晨或傍晚），出現這種現象的光譜曲線比例占結冰和積水整合計算曲線總數的30%～40%。在不同陽光強度狀態下，一組冰水樣本和二組冰水樣本數據都出現了“異物類譜”現象，如圖9所示。兩組樣本數據從圖6的(a)、(b)中選取。

在深度學習分類算法中，樣本特征值的差異性決定了最終分類的準確率，所以為區別低光強和高光強光譜曲線的差異性，本文提出環境光強特征值提取法——“環境特征值”。如圖10所示，一組冰水樣本出現“異物類譜”時所對應的二號公路本底的歸一化光譜曲線差異明顯，同樣二組冰水樣本出現“異物類譜”時所對應的二號公路本底的歸一化光譜曲線差異明顯，所以提取二號公路本底光譜數據作為光譜數據特征值處理。為了減少算法的計算量，只選取二號公路本底的光譜曲線的五個峰值作為“環境特征值”，峰值分別位于720nm、760nm、790nm、830nm和890nm處。

圖9 結冰和積水“異物類譜”圖

圖10 結冰和積水的環境特征值圖

為保證整合計算曲線和“環境特征值”數值相似性，對“環境特征值”做歸一化處理：

式中：、、max、min、分別表示為處“環境特征值”歸一化值，“環境特征值”光譜信號值，“環境特征值”最大信號值（值為65535）和最小信號值（值為9500）。

數據處理方法：對采集到10條原始光譜曲線疊加求平均，將平均后的光譜使用五點三次平滑處理算法迭代3次，并計算獲取樣本整合計算曲線，最終將樣本整合計算后的數據和其對應的“環境特征值”作為神經網絡的輸入樣本節點。

3 實驗結果與分析

3.1 組合-閾值法

由圖7和圖8可知，夜晚情況下，以鹵鎢燈為光源時，一號公路本底表面結冰、積雪、積水和干燥時的整合計算曲線差異區間明顯，所以采用區間閾值法進行區分。因為光譜曲線數據點較多，以各波長段進行閾值區分較為繁瑣，計算量較大，所以提出一種新的“組合-閾值法”：將波長從700～900nm數據點以10nm為步進單位提取，并采用比例放大方式突出曲線的波峰信息。將輸出的“組合數值”通過閾值法判斷即可。

則每一個樣本的“組合值”為：

式中：＝700,710,…,940,950，為比例放大倍數，取2或3即可。圖11為一號公路本底部分樣本間的“組合數值”比較圖。

圖11 組合數值比較圖

通過計算分析，公路本底表面結冰、積雪、積水和干燥的整合計算平均值，標準差和偏離平均值的最大絕對值（下文稱為最大偏差）如表1所示。

平均值、標準差和最大偏差分別表明各樣本區間差異明顯、離散程度較低、各樣本區間不會出現重疊。

3.2 建立Dropout與Adam優化器的神經網絡模型

對于白天以陽光為光源時，采用基于Dropout與Adam優化器的BP神經網絡模型對一號公路本底表面分別是否結冰、積雪、積水和干燥4種情況進行判斷。將全波長內的256個數據點和5個“環境特征值”作為輸入節點，共261個節點；輸出層分別以1000、0100、0010和0001表示結冰、積雪、積水和干燥狀況，共4個節點；隱藏層根據經驗公式(6)確定為19個節點。

樣本選擇中，一號公路本底樣本共計1600份，二號公路本底樣本共計1600份。一號和二號本底共3200份數據通過公式(8)計算后最終獲得1600份樣本數據，分別為各厚度結冰整合計算樣本共600個、各厚度積雪整合計算樣本共600份、積水整合計算樣本共200份，干燥整合計算樣本共200份。模型搭建過程中，1600份樣本數據的70%作為訓練集，30%作為測試集。

實驗模型共迭代2500次，輸入層激活函數為ReLU，隱藏層激活函數為sigmoid，損失函數采用交叉熵代價函數，優化器為Adam，Dropout 神經元隨機失活概率設置為25%。

3.3 模型驗證

訓練過程中模型損失值隨迭代次數變化曲線如圖12所示，訓練集和測試集的預測準確率隨迭代次數變化曲線如圖13所示。

實驗結果表明，實驗測試集準確率為99.375%。在訓練集和測試集迭代前500次時，模型損失值迅速下降，相對應的訓練集和測試集準確度迅速上升，最終損失值和準確度隨著迭代次數的增加而保持平穩，所以可以得知Dropout和Adam表現良好。

表1 樣本分析統計表

圖12 損失值變化曲線

圖13 準確率變化曲線

4 結論

以太陽光為光源時，提出了樣本整合計算曲線和“環境特征值”組合使用方法，該方法緊扣冰、水和雪的光譜特性與陽光光強特性，具有提取方便和分析簡單等優點，結合基于Dropout與Adam優化器的神經網絡分類器可以準確、快速地識別路面狀況，實驗結果表明識別準確率為99.375%。以鹵鎢燈為光源時，提出簡單且高效的“組合-閾值”的方式。實驗證明了本文兩種光源結合的方法在公路狀況檢測領域中的可行性，但并未對冰和雪的厚度做出預估計，這將是未來進一步深入工作的重點。

[1] 歐彥, 浦翔, 周旭馳, 等. 路面結冰檢測技術研究進展[J]. 公路, 2013(4): 191-195.

OU Yan, PU Xiang, ZHOU Xunchi, et al. Review on icing detection techniques of pavement[J]., 2013(4): 191-195.

[2] 童魁. 路面冰水檢測系統技術研究[D]. 南京: 東南大學, 2011.

TONG Kui. Research On System Technology of Road Ice And Water Detection[D]. Nanjing: Southeast University, 2011.

[3] 張鎮, 葛俊鋒, 葉林, 等. 基于神經網絡的主動式紅外結冰探測[J]. 華中科技大學學報: 自然科學版, 2010, 38(6): 1-3.

ZHANG Zhen, GE Junfeng, YE Lin, et al. Active infrared icing detection using neural networks[J].: Natural Science Edition, 2010, 38(6): 1-3.

[4] Colace L, Santoni F, Assanto G. A near-infrared optoelectronic approach to detection of road conditions[J]., 2013, 51(5): 633-636.

[5] 梁曹佳, 葉林, 葛俊鋒. 非接觸式路面狀態檢測技術研究進展[J]. 傳感器與微系統, 2019, 38(2): 1-4.

LIANG Caojia, YE Lin, GE Junfeng. Research progress of non-contact road surface condition detection technology[J]., 2019, 38(2):1-4.

[6] Johan Casselgren, Mikael Sjodahl, James LeBlanc. Angular spectral response from covered asphalt[J]., 2007, 46(20): 4277-4288.

[7] 王琮琪. 非接觸式路面狀況檢測系統的研究[D]. 杭州: 浙江大學, 2014．

WANG Zongqi. No-contact Measuring System of the Condition of Road[D]. Hangzhou: Zhejiang University, 2014.

[8] 高斌, 趙鵬飛, 盧昱欣, 等. 基于BP神經網絡的血液熒光光譜識別分類研究[J]. 光譜學與光譜分析, 2018, 38(4): 3136-3143.

GAO Bin, ZHAO Pengfei, LU Yuxin, et al. Study on recognition and classification of blood fluorescence spectrum with BP neural network [J]., 2018, 38(4): 3136-3143.

[9] 劉厚林, 吳賢芳, 王勇, 等. 基于BP神經網絡的離心泵關死點功率預測[J]. 農業工程學報, 2012(11): 45-49.

LIU Houlin, WU Xianfang, WANG Yong, et al. Power prediction for centrifugal pumps at shut off condition based on BP neural network[J]., 2012(11): 45-49.

[10] 王威, 李青, 孫葉青, 等. 基于卷積神經網絡的紅外熱成像罐車內壁裂紋識別[J]. 紅外技術, 2018, 40(12): 1198-1205.

WANG Wei, LI Qing, SUN Yeqing, et al. Inner crack identification on car tanks using thermal imaging based on convolutional neural network[J]., 2018, 40(12): 1198-1205.

[11] 楊觀賜, 楊靜, 李少波, 等. 基于Dropout與ADAM優化器的改進CNN算法[J]. 華中科技大學學報: 自然科學版, 2018, 46(7): 122-127.

YANG Guanci, YANG Jing, LI Shaobo, et al. Modified CNN algorithm based on dropout and ADAM optimizer[J].: Natural Science Edition, 2018, 46(7): 122-127.

Research on Highway State Detection Based on Visible-Near-Infrared Spectrum

XIONG Xianming，ZHANG Qiankun，QIN Zujun

(Key Laboratory of Photoelectric Information Processing, Guilin University of Electronic Science and Technology, Guilin 541004, China)

Spectral technology is a promising prospect for highway state detection(whether frozen, water accumulated, or snow accumulated). However, there is little research on using sunlight as a light source to identify highway states. Sunlight and halogen tungsten lamps were used as experimental light sources in the day and night. Spectral curves of the visible-near-infrared bands of ice, water, snow, and highway backgrounds were obtained using a micro-spectrometer. During the day, the state of icing and stagnant water resulted in a phenomenon known as "Different substances with similar spectra" under different illumination conditions. Then, based on the characteristics of sunlight illumination, the solution of "environmental variables" as eigen values was proposed. The curve of the spectrum and the normalized "environmental variables" were combined into a new data waveform, and a neural network model based on Dropout and an Adam optimizer was established for training and recognition. The final recognition rate was 99.375%. At night, due to the evident differences in the spectra of various samples, the spectral curves of each sample were identified using the "combination-threshold" method. Experiments proved that the method of combining two light sources can effectively identify the road surface state.

highway state detection，visible-near infrared spectrum，neural network，the environment variables，combination-threshold

TN219

A

1001-8891(2021)02-0131-07

2019-07-19；

2019-10-08.

熊顯名（1964-），男，學士，研究員，碩士生導師，研究方向為光電信息處理、光纖傳感器。E-mail：5311128@qq.com。

國家自然科學基金（61665001）。