公路貨運危險駕駛行為智能預測技術研究

【摘要】基于某省載貨汽車歷史行駛數據，提出了一種基于卷積神經網絡-長短期記憶（CNN-LSTM）網絡與自注意力機制的危險駕駛行為預測方法。針對載貨汽車行駛數據量大、維度高、特征提取難度大、時序性強的特點，首先運用XGBoost對特征進行篩選，接著利用卷積神經網絡（CNN）進行空間特征提取，再運用長短期記憶（LSTM）網絡捕捉駕駛行為的時序信息，最后通過自注意力機制對危險駕駛行為進行預測。試驗結果表明，該方法相對其他長時間序列預測方法在某省公路貨運駕駛數據上表現優異，識別準確率達到85.05%，加權平均召回率達到83%，F1分數（F1-Score）達到84%。

主題詞：公路貨運 數據驅動 自注意力機制 危險駕駛 行為預測

中圖分類號：U471.15 " 文獻標志碼：A " DOI： 10.19620/j.cnki.1000-3703.20230141

Research on Intelligent Prediction Technology of Dangerous Driving Behavior in Highway Freight

Liu Pengfei1， Lu Jianguang2，3， Xu Lei1， Tang Xianghong2， Liu Fangjie4

（1. Key Laboratory of Advanced Manufacturing Technology of the Ministry of Education， Guizhou University， Guiyang 550025; 2. State Key Laboratory of Public Big Data， Guizhou University， Guiyang 550025; 3. Chongqing Industrial Big Data Innovation Center Co.， Ltd.， Chongqing 400707; 4. Guizhou Xin Si Wei Technology Co.， Ltd.， Guiyang 550001）

【Abstract】Based on the historical driving data of trucks in a province， this paper proposed a prediction method of dangerous driving behavior based on Convolutional Neural Network-Long Short-Term Memory （CNN-LSTM） network and self-attention mechanism. For the characteristics of large amount of truck driving data， high dimension， difficult feature extraction and strong time sequence， this method first used XGBoost to filter the features， then used CNN to extract spatial features and LSTM to further capture the temporal information of driving behaviors. Finally， dangerous driving behaviors were predicted by self-attention mechanism. Experimental results show that the method presented in this paper performs better than other long time series prediction methods on highway freight driving data in a province， with recognition accuracy reaching 85.05%， the weighted average recall rate reaches 83%， and the F1-score reaches 84%.

Key words： Highway freight， Data driven， Self-attention mechanism， Dangerous driving behavior， Prediction of driving behavior

【引用格式】 柳鵬飛， 陸見光， 徐磊， 等. 公路貨運危險駕駛行為智能預測技術研究[J]. 汽車技術， 2024（3）： 56-62.

LIU P F， LU J G， XU L， et al. Research on Intelligent Prediction Technology of Dangerous Driving Behavior in Highway Freight[J]. Automobile Technology， 2024（3）： 56-62.

1 前言

隨著物流產業的快速發展，公路運輸成為我國主要的貨運物流方式之一[1]。載貨汽車數量的增加也導致了交通運輸業成為我國每年事故死亡人數最多的行業，載貨汽車超載、追尾、疲勞駕駛等現象嚴重[2]，對公路交通安全造成了極大威脅。因此，如何在事故發生前利用載貨汽車車載裝置記錄的駕駛數據對危險駕駛行為進行預警顯得尤為重要。

針對上述問題，現有研究分為駕駛員駕駛行為識別模型和車輛預警模型兩個方面。張俊[3]等對駕駛員視頻監控數據進行離線分析，建立駕駛員駕駛行為識別預測模型。Katare[4]等將車載雷達感知到的加速度、速度和分離距離等輸入人工神經網絡，向駕駛員發出可能碰撞的警報。上述研究基于車輛、駕駛員狀態信息進行建模，為車輛行駛安全提供預警，但均未涉及利用車聯網下載貨汽車車載裝置記錄信息提升公路交通安全。

依賴于采集到的車輛駕駛數據量的不斷擴充，基于行駛數據的載貨汽車駕駛行為分析成為可能。本文針對車聯網中載貨汽車駕駛數據集，利用卷積神經網絡（Convolutional Neural Network，CNN）[5]和長短期記憶（Long Short-Term Memory，LSTM）[6]網絡對具有復雜相關性的駕駛數據進行時空特征提取，并提出一種復合高斯誤差線性單元（Gaussian Error Linear Unit，GELU）和Sigmoid損失函數與多重自注意力模塊[7]，進一步提高模型對特征的提取能力。

2 基于CNN-LSTM與MSE_GS的載貨汽車駕駛行為預測方法

公路載貨汽車行駛的歷史數據是典型的長時間序列，其數據量大、維度高，且空間與時間關聯性強，特征提取難度大。因此，本文采用CNN和LSTM相結合的方法提取空間與時間特征。首先，CNN中卷積核能有效融合多個特征并生成更高層次特征，還可以提取數據空間特征，利用全局平均池化抑制過擬合，為防止數據量堆積產生的數值爆炸問題，在每一個卷積層后增加1個批標準化層。其次，將CNN所提取的特征作為LSTM中的輸入繼續訓練，采用多個不同記憶體捕捉其時序特征。

由于駕駛數據特征的非線性較強，若只用CNN-LSTM對模型進行訓練，將導致網絡模型對非線性特征提取能力不足。針對這一問題，本文在CNN-LSTM中引入多重自注意力機制來提高非線性特征的提取能力。由于多重自注意力模塊在神經網絡的全連接層之后，故不需要添加全局池化，可以減少模型欠擬合的發生[8]。同時為了抑制過擬合，在多重自注意力模塊中引入隨機正則思想，將激活函數改為高斯誤差線性單元（Gaussian Error Linear Units，GELU）。因此，為了提取數據中的非線性特征，提高網絡模型對非線性特征的擬合能力，進而提高模型準確性，本文提出一種基于GELU和Sigmoid損失函數的多重自注意力模塊（Multiple Squeeze-and-Excitation based on GELU and Sigmoid，MSE_GS），其網絡結構如圖1所示。其中，輸入特征維度F經過3個全連接層先后變為F/16、F/4和F，激活函數分別為GELU、GELU和Sigmoid。將全連接層的權重與輸入特征相乘得到最后輸出。

綜上，本文提出一種基于CNN-LSTM與MSE_GS的載貨汽車駕駛行為預測方法，其流程如圖2所示，圖3所示為該方法的網絡結構示意。

3 試驗及結果分析

3.1 試驗數據及試驗環境

本文數據來源于某省車聯網企業提供的2021年5～6月，17 659位駕駛員共計3 241 595條駕駛數據。數據通過車載高級輔助駕駛系統（Advanced Driver Assistant System，ADAS）采集，觸發報警時數據將被上傳至車聯網公司數據庫。在30個原始字段中，剔除企業平臺業務通信數據（如頭標識、校驗碼等），剔除重復性數據（如報警類型與報警二進制字符串、車牌號與車輛平臺ID、設備ID之間的重復）。考慮到所需數據均為載貨汽車駕駛員的駕駛數據，故剔除經營范圍、行業類型字段。因此，本文所使用的字段內容如表1所示。數據選定后對空數據、異常值數據進行處理。鑒于數據量大，故對空數據、異常值數據進行剔除操作，剩余數據量為2 335 593條，滿足本文試驗所需數據量。

其中，報警類型“alarm”作為駕駛數據的標簽，能夠直接反映駕駛行為的特征。單個報警信息定義來自于我國交通運輸部頒布的《道路運輸車輛衛星定位系統終端通信協議及數據格式》中報警預警標志位定義。載貨汽車觸發報警時車載設備向車聯網公司終端發送報警信息，經二進制編碼后車聯網公司記錄其報警內容并采取相應對策。單個報警類信息共29種，剔除如“終端電壓欠壓報警”“終端電源掉電報警”等與道路安全相關度較小的報警信息，并從數據庫匯總篩選出報警頻率相對較高的17類復合報警信息，如表2所示。

根據報警信息危害程度不同，將駕駛行為劃分為低風險和高風險2類。若報警信息中至少含有超速、疲勞、碰撞側翻、累計駕駛超時、右轉盲區中的一個，則該駕駛行為被定義為高風險，因為一旦發生事故，必然會造成極大生命財產損失。其余報警信息所表示的駕駛行為被定義為低風險。

3.2 特征篩選

特征選擇也稱為屬性選擇，是從原始特征中選擇一些有效特征來降低數據維度的過程[9]。本文采用的是常見特征選擇方法中的過濾式（Filter）方法。其主要思想是先進行特征選擇，再訓練學習器，特征選擇的過程與學習器無關，對每一維特征賦予權重，代表其重要性，然后依據權重排序。運用XGBoost算法進行特征篩選，其主要特點有：具有良好的防止過擬合特性；擁有較高的計算效率；計算過程中有一定的啟發性。

根據表1中所選字段內容，將不屬于同一量綱的數據進行標準化處理，轉化為無量綱數據，對不便于分析的字段進行獨熱編碼操作。以字段報警“alarm”為標簽y，其他字段內容為輸入量x，將所選特征輸入XGBoost進行特征選擇。特征重要性排序用來衡量特征在構建決策樹時的價值，特征價值的高低體現了該特征對于駕駛行為影響的重要性。對每個屬性進行特征重要性計算，在單一決策樹中以該屬性為分裂點計算分裂前、后模型性能變化，性能度量一般選擇基尼（Gini）系數作為指標，將所有決策樹的結果進行加權平均得到重要性得分。圖4所示為各特征對標簽“alarm”的重要性，只保留對標簽影響最大的6個特征，降低輸入神經網絡的維度，可以提高神經網絡的計算效率。

試驗保留的特征為總里程數（Total Mileage）、經緯度（Latitude， Longitude）、車籍地（Vehicle Nationality）、行駛記錄速度（Speed）、上報時間戳（GPS Time）6個特征。總里程數對標簽“alarm”的重要性最強，里程越長，遭遇危險的可能性越高，長時間行車必然會影響駕駛員的判斷，超速、疲勞、累計駕駛超時等會造成較為嚴重的生命財產損失；經緯度對固定位置的報警類型影響較大，側翻、違停、視野盲區等報警常發生在固定路段；車籍地與車輛進出區域、進出路線、路線偏移這類報警相關性較強；行駛記錄速度主要影響超速、車輛非法位移類報警，超速報警最直接的判斷標準是行駛記錄速度；上報時間戳為載貨汽車行駛的時間信息，長時間行車與夜間行車對疲勞、累計駕駛超時、危險駕駛行為等報警類型影響較大，危害較高。

在2 335 593條數據中，保留上述6個特征與標簽，再按照7∶3分別劃分成測試集與驗證集。以表2中的類別編號作為標簽，取0～16共17類。

3.3 CNN-LSTM模塊參數選擇

為了研究激活函數對預測結果的影響，本文對Sigmoid、ReLU和雙曲正切函數（Tanh函數）3種激活函數進行試驗，結果如表3所示。為避免試驗結果受到隨機因素的影響，每次測試均進行10次試驗取平均準確率。圖5所示為10次試驗中模型收斂穩定時不同激活函數對比的平均結果，模型迭代次數以訓練至網絡收斂為準。可以看出，ReLU激活函數在準確率（Accuracy）、損失率（Loss）和穩定性方面均比Sigmoid與Tanh函數更適合。

為了研究優化器對預測結果的影響，本文對自適應矩估計（Adaptive moment estimation，Adam）、隨機梯度下降（Stochastic Gradient Descent，SGD）和均方根傳遞（Root Mean Square prop，RMSprop）3種優化器進行試驗，結果如表4所示。圖6所示為3種優化器模型收斂示意。為保證試驗準確性，取10次重復試驗準確率平均值作為最終結果。設計優化器的激活函數均為ReLU，迭代次數以訓練至網絡收斂或損失率不再下降為準，學習率為0.003。可以看出，在相同激活函數與學習率條件下，Adam有著相較于SGD與RMSprop更穩定與更高的準確率。故本文試驗采用Adam作為優化器。

綜上，設置CNN-LSTM網絡模塊中激活函數為ReLU，優化器為Adam，學習率為0.003。

3.4 消融試驗

本文消融試驗組將提出的MSE_GS模型與不引入多重自注意力機制的CNN-LSTM模型、CNN以及LSTM模型進行比較。在車聯網公司提供的數據集上，迭代倫次為1 000，計算各自的準確率和損失率。各消融試驗組的準確率及損失變化曲線如圖7所示。

從圖7a中可以看出，MSE_GS相較于CNN-LSTM準確率提升1.5%，相較于CNN準確率提升了2%，并且沒有出現過擬合現象。而LSTM模型的準確率則在訓練初期出現大幅下降問題，但是LSTM模型損失率下降最快，并將損失率降至消融試驗組最小，MSE_GS模型與CNN-LSTM模型在損失率方面的表現一致。在損失率相差0.026的情況下，MSE_GS準確率比LSTM準確率提升3%。

圖8所示為MSE_GS與普通CNN-LSTM在測試集上的混淆矩陣。可以直觀看出，CNN-LSTM模型在預測準確率方面相較于本文提出的MSE_GS模型有待進一步加強。

表5所示為消融試驗組在測試集上的結果，其中T為訓練時間。從表5中可以看出，MSE_GS模型在精度P、召回率R、F1分數上整體水平均高于其他模型。在訓練時間方面：CNN訓練時間短，但由于其對時序不敏感，導致其他評價指標低于MSE_GS模型；LSTM不僅訓練時間長，而且在其他評價指標方面整體低于MSE_GS模型。

綜上，在消融試驗組中，本文提出的MSE_GS模型因引入多重自注意力機制，特征擬合能力得到進一步提高，相較于傳統CNN-LSTM模型預測準確率得到進一步提高。

3.5 對比試驗

為驗證本文提出的方法在準確預測載貨汽車公路運輸時報警類型的有效性，基于本文試驗中數據規模大且數據為長時間序列的特點，選取文獻[10]、文獻[11]、文獻[12]和文獻[13]的方法作為對比試驗組，這些方法均采用CNN-LSTM及其改進模型。為了避免試驗結果受到隨機因素的影響，每次測試均進行10次重復性試驗，計算出模型的平均準確率及其標準差，試驗結果如表6所示。

由表6可以看出，本文所提出的模型相較于其他4種算法具有明顯優勢，平均預測準確率達到85.05%，標準差達到0.000 977，為對比試驗中最小，說明其在長時間大規模數據集的應用中具有較好的穩定性。

圖9所示為上述對比模型在測試集上的準確率及損失變化曲線。從圖9中可以直觀地看出，本文所提出的算法在準確率與損失率變化中均具有較好表現。這是因為在長時間序列數據預測中，若只針對時空特征的提取使用CNN-LSTM模型將會導致模型對非線性特征學習不足，丟失原數據中的部分特征，導致預測率下降，本文利用改進注意力機制，提高了模型對非線性特征的學習能力。

4 結束語

本文面向車聯網公路貨運駕駛數據，使用基于CNN-LSTM與MSE_GS的貨車駕駛行為識別方法，實現了公路貨車報警類型預測。試驗結果表明，通過引入復合GELU和Sigmoid損失函數下多重自注意力的深度學習模型，能夠提高模型對長時間序列數據的特征提取能力。通過消融試驗對比，相比傳統CNN-LSTM、CNN、LSTM深度學習算法，本文所提出的算法在2 335 593條數據上平均準確率更高，達到85.05%，加權平均召回率、F1分數分別為83%、84%。通過對比試驗，與現有長時間序列模型算法相比，準確率至少提高1.4%，表現出了最優的綜合性能。

但是當前所利用模型的超參數依然需要通過大量試驗手動調整，此外，因為數據規模大等問題導致模型訓練時間依舊較長，后續工作是研究如何在大規模長時間序列數據條件下，在提高預測準確率的同時利用算法實現超參數自適應尋優，縮短模型訓練時間。

參 考 文 獻

[1] 甘蜜， 卿三東， 劉曉波， 等. 貨車軌跡數據在公路貨運系統中應用研究綜述[J]. 交通運輸系統工程與信息， 2021， 21（5）： 91-101.

GAN M， QING S D， LIU X B， et al. Review on Application of Truck Trajectory Data in Highway Freight System[J]. " " Journal of Transportation Systems Engineering and " " " " " " Information Technology， 2021， 21（5）： 91-101.

[2] HELAI H， CHOR C H， HOCK H A H. Effect of Red Light Cameras on Accident Risk at Intersections[J]. Transportation Research Record： Journal of the Transportation Research Board， 2006， 1969（1）： 18-26.

[3] 張俊. 基于車聯網數據的駕駛行為識別與風險評估方法研究[D]. 合肥： 中國科學技術大學， 2020.

ZHANG J. Study on Driving Behavior Recognition and Risk Assessment Based on Internet of Vehicle Data[D]. Hefei： University of Science and Technology of China， 2020.

[4] KATARE D， EL-SHARKAWY M. Embedded System " " " Enabled Vehicle Collision Detection： An ANN Classifier[C]// 2019 IEEE 9th Annual Computing and Communication Workshop and Conference （CCWC）. Las Vegas， NV， USA： IEEE， 2019： 284-289.

[5] 孫浩， 陳進， 雷琳， 等. 深度卷積神經網絡圖像識別模型對抗魯棒性技術綜述[J]. 雷達學報， 2021， 10（4）： 571-594.

SUN H， CHEN J， LEI L， et al. Adversarial Robustness of Deep Convolutional Neural Network-Based Image " " " " " Recognition Models： A Review[J]. Journal of Radars， 2021， 10（4）： 571-594.

[6] CHRISTOPHE F. Learning Algorithm Recommendation Framework for IS and CPS Security： Analysis of the RNN， LSTM， and GRU Contributions[J]. International Journal of Systems and Software Security and Protection （IJSSSP）， 2022， 13（1）： 1-23.

[7] 張宸嘉， 朱磊， 俞璐. 卷積神經網絡中的注意力機制綜述[J]. 計算機工程與應用， 2021， 57（20）： 64-72.

ZHANG C J， ZHU L， YU L. Review of Attention Mechanism in Convolutional Neural Networks[J]. Computer Engineering and Applications， 2021， 57（20）： 64-72.

[8] HENDRYCKS D， GIMPEL K. Gaussian Error Linear Units （GELUs）[EB/OL]. （2020-07-08）[2023-04-07]. https：//arxiv.org/abs/1606.08415v4.

[9] 李占山， 劉兆賡. 基于XGBoost的特征選擇算法[J]. 通信學報， 2019， 40（10）： 101-108.

LI Z S， LIU Z G. Feature Selection Algorithm Based on " XGBoost[J]. Journal on Communications， 2019， 40（10）： 101-108.

[10] BOGAERTS T， MASEGOSA A D， ANGARITA-ZAPATA J S， et al. A Graph CNN-LSTM Neural Network for Short and Long-Term Traffic Forecasting Based on Trajectory Data[J]. Transportation Research Part C， 2020， 112： 62-77.

[11] YUSUF S A， ALSHDADI A A， ALASSAFI M O， et al. " " Predicting Catastrophic Temperature Changes Based on Past Events via a CNN-LSTM Regression Mechanism[J]. Neural Computing and Applications， 2021.

[12] 付加勝， 劉偉， 韓霄松， 等. 基于CNN-LSTM融合網絡的溢流早期預測深度學習方法[J]. 石油機械， 2021， 49（6）： 16-22.

FU J S， LIU W， HAN X S， et al. CNN-LSTM Fusion " " "Network Based Deep Learning Method for Early Prediction of Overflow[J]. China Petroleum Machinery， 2021， 49（6）： 16-22.

[13] 張鵬， 楊濤， 劉亞楠， 等. 基于CNN-LSTM的QAR數據特征提取與預測[J]. 計算機應用研究， 2019， 36（10）： 2958-2961.

ZHANG P， YANG T， LIU Y N， et al. Feature Extraction and Prediction of QAR Data Based on CNN-LSTM[J]. " "Application Research of Computers， 2021， 49（6）： 16-22.

（責任編輯 斛 畔）

修改稿收到日期為2023年4月7日。