基于視頻序列的危險駕駛預警技術研究

周正陽，陳璐莎，張 坤，朱啟兵，2

(1.江南大學物聯網工程學院，江蘇無錫 214122；2江南大學輕工過程先進控制教育部重點實驗室，江蘇無錫 214122)

隨著道路交通的發展和私家車不斷普及，世界各國的道路交通事故和死亡人數也呈上升趨勢。據交通部資料顯示，2017年我國因交通事故死亡人數高居世界第二，達到6.3萬人。而駕乘人員疲勞駕駛、注意力不集中是導致事故的主要原因。

由于具有非接觸、準確率較高的特點，基于視頻序列的危險駕駛技術已逐漸成為智能交通領域的研究熱點［1］。Alioua N等人提出使用修正圓形霍夫變換來測定嘴巴張開度，通過嘴部張開的連續時間判斷哈欠行為的發生［2］。陳云華利用方差投影方法確定眼部、嘴部位置，并分別使用虹膜似圓比、輪廓橢圓擬合參數定義眼睛睜開度和嘴部張開度，實現眼部疲勞和哈欠行為識別［3］。但現有研究多局限于使用傳統的圖像處理方法來進行眼部、嘴部初步定位，傳統的定位方法涉及大量參數閾值，這使得系統在多變的環境中適應性較差；且多數研究基于單幀圖像進行分類，缺少與時間維度的關聯，這使得算法魯棒性較弱。此外，多數危險駕駛預警系統僅使用疲勞特征來表征危險駕駛，參數單一，預測效果不佳［4］。本文基于全局人臉特征點定位集成回歸樹(Ensemble Regression Tree，ERT)算法構造嘴部幾何特征，提出缺失值補償方法，融合嘴部動作和頭部姿態，構建基于視頻序列的多特征危險駕駛判定模型，以實現危險駕駛的準確預警。

1 基于視頻序列的危險駕駛預警技術

1.1 危險駕駛預警方案概述

所提出的基于視頻序列的危險駕駛預警方法，采用網絡攝像頭采集視頻數據，數據輸入計算機進行人臉檢測、人臉特征點定位。基于特征點位置分別計算頭部姿態角和嘴部幾何特征值，并將頭部姿態角用于嘴部幾何特征值的修正以得到嘴部張開度，從而形成頭部姿態角和嘴部張開度的時間序列，完成由視頻序列到數據特征序列的轉換。首次提出使用滑動平均法對張開度丟失幀進行補償，并進行序列平滑處理，然后將張開度序列應用于哈欠、說話檢測，將頭部姿態角序列轉化為視線方向，作為視線偏移評估的依據。最后，將哈欠、說話、視線偏移參數融合，計算危險得分，并使用標準化系數將結果直觀化。危險駕駛預警方案技術流程如圖1所示。

圖1 危險駕駛預警技術流程圖

1.2 人臉檢測

因實際測試時背景噪聲、光照條件不盡相同，為保持系統的穩定性，在圖像采集后首先進行中值濾波、直方圖均衡化，以削弱光照強度給檢測帶來的影響。由于梯度方向直方圖(Histogram of Gradient，HOG)特征在局部單元上運行，除方向外，其具有幾何和光照強度不變性特征。在駕駛室內，駕駛員頭部運動相對局限，不會有較大偏離，故利用該人臉檢測方案能夠較好檢測。

人臉檢測時，使用滑動窗口在整張圖片中逐行提取HOG特征矩陣，使用SVM分類器分類，找到人臉區域［5-6］。

1.3 人臉特征點定位

因傳統的圖像處理方案涉及多閾值參數，采用基于集成回歸樹(Ensemble Regression Tree，ERT)的人臉特征點全局定位，通過算法預測面部68個特征點，而后選取所需要的特征點坐標用于特征構建。

基于ERT的特征點定位算法將圖片像素的強度值作為特征，從原始圖像中進行檢索，并索引當前臉部形狀的估計。I表示原始圖像，表示當前臉部形狀的估計，當前第t輪回歸器為rt，在集成中預測更新向量并把加入到當前的估計中去。臉部形狀更新公式為［7］

輸入待定位的人臉，首先將訓練集中的平均臉作為初始臉部形狀，而后基于全局最優目標通過集成回歸從粗到精逐步進行精確定位［7］。測試過程中，使用集成回歸器進行迭代，人臉特征點定位索引號如圖2所示。

圖2 人臉特征點定位索引及嘴部幾何特征示意圖

1.4 基于POSIT頭部姿態角計算

頭部姿態角由頭部三個自由度定義，這三個自由度分別是俯仰角(Pitch)、偏航角(Yaw)、翻滾角(Roll)，分別表示點頭動作、搖頭動作和歪頭動作偏移正面的角度。POSIT算法輸出頭部姿態角的三個值［8］。姿態角度示意如圖3所示。

圖3 頭部姿態偏角示意圖

1.5 嘴部張開度計算

下面將以嘴部動作識別主要研究對象，故需從視頻圖像中提取嘴部幾何特征，從而將視頻序列轉化為數據特征序列。

1.5.1 特征點外接矩形提取

使用人臉特征點定位所獲得的嘴部內輪廓特征點(圖2所示的第60～67索引號)，計算其外接矩形。該矩形寬高比能夠較好地刻畫嘴巴的張開度大小，當頭部在平面內旋轉，其張開度保持穩定，可避免坐標軸旋轉的煩瑣。

基于凸包算法求取多邊形的外接矩形［9］，記外接矩形的寬為w，高為h，定義嘴部張開度alph值為

構建基于張開度alph的時間序列，如該幀因人臉檢測失敗沒有定位坐標輸入，則該幀張開度記為0，以便于后續數據分析。據國外研究顯示，哺乳動物哈欠全過程平均時間為4.5 s［10］，故設定時間窗約15 s，共N幀，得到基于張開度的時間序列deque_mouth為

1.5.2 基于姿態角的修正

經實驗發現，因頭部發生偏轉會導致嘴部張開度失真，根據1.4節計算得到的頭部姿態，由空間幾何推算。對于嘴部輪廓外接矩形而言，w值受Yaw方向影響較大，h值受Pitch方向影響較大，修正后w'、h'分別與Yaw、Pitch方向角度呈余弦三角函數關系，推理得到：

式中，alph'為嘴部張開度的更新值。

下文在不引起誤解的情形下將更新后的張開度alph'仍記作alph，并將此作為下文計算的原始數據。

1.6 嘴部動作及視線偏移識別

駕駛員行車過程中，其駕駛狀態可通過頭部姿態和嘴部動作進行監測。頭部姿態表征駕駛人員的視線偏移情況，可由頭部姿態角序列描述。嘴部動作一般可分為靜默、哈欠和說話，其中哈欠表征駕駛員精神狀態可能處于疲勞態，說話表征駕駛人員部分注意力分散。嘴部動作識別使用1.5節計算得到的嘴部張開度時間序列作為原始數據，根據序列形態進行模式識別，識別方法為基于滑動窗口的特征和時序分析，即同時計算下文涉及的相關參數。同一滑動窗口中僅顯示一種狀態，本文設定哈欠具有較高優先級。

1.6.1 基于雙閾值的深淺哈欠識別

為更好地捕捉哈欠動作、充分考慮不同的人的行為習慣，提出深、淺哈欠不同判決方法。對于一般哈欠檢測，基于張開度及其對應時間關系建立如下約束關系：

式中，t1為alph連續單調遞增的時間；T上升為alph張開度持續上升的時間閾值，t1大于T上升時，系統進入哈欠預判狀態；Alph為張開度閾值，當alph大于該值，表示該幀具有哈欠特征；t2為alph大于Alph的連續幀數。算法要求嘴部由閉到張、持續單調增大才進入哈欠預判，以區分正常說話和開口唱歌等其他異常張嘴行為［11］。

為區分深淺哈欠，采用Alph、T哈欠的雙閾值。滿足t1大于T上升即進入哈欠預判狀態，嘴巴張開度大于Alph1的持續時間大于T哈欠1即可判斷為哈欠，當張開度較大且大于Alph2的持續時間大于T哈欠2，判斷為深哈欠，其余為淺哈欠，如表1所示。

表1 深淺哈欠判別表

深、淺哈欠張開度值的時間序列形態如圖4所示。三角形曲線表示達標深哈欠，其滿嘴巴張開度大于Alph2的連續幀數大于等于T哈欠2幀，五角星曲線表示達標淺哈欠，其嘴巴張開度滿足大于Alph1的連續幀數大于等于T哈欠1幀。經實驗，推薦閾值如表2所示。

圖4 深淺哈欠示意圖

表2 深淺哈欠推薦閾值

1.6.2 針對哈欠識別的數據補償與修正

實驗發現，人臉檢測和人臉關鍵點定位算法會在人臉具有較大偏轉時檢測失敗，基于該問題本文提出基于滑動平均法的丟失幀預測。針對未檢測到人臉的情況，在首次計算時已記為0，考慮到前后幀的張開度應具有一定的連續性，可使用該幀的前、后具有有效alph值的m幀數據，計算平均值作為當前幀的數據，其丟失幀更新公式為

式中，k為當前幀索引；n為前后m幀中有效幀的個數；i為循環變量。

除此之外，因關鍵點定位會發生一定程度的抖動，導致alph值在一段時間內上下波動，這在時間alph曲線上形成了高頻噪聲，為減小誤差，對曲線做平滑處理，采用加權線性回歸法對原始數據進行回歸，擬合效果如圖5所示，最終使用擬合后數據進行哈欠識別。

使用該方案后，少量丟失幀均可補償，一旦打哈欠時出現仰頭的情況，由于其具有仰頭前嘴巴張大，當頭部回到原位嘴巴可能仍未合的特征，此時丟失幀已通過算法填補，并進行平滑處理，哈欠可動作被捕捉。某次發生哈欠的嘴部張開度數據處理前后曲線如圖5所示(圖5中取m=4)。

圖5 經數據處理前后哈欠曲線對比

1.6.3 基于方差-均值的說話識別

說話時張開度曲線上下波動，其頻率較高，且嘴部張開幅度較哈欠。在檢測時間窗內，計算alph值序列的均值、方差、最大值，形成當前時間序列的三個統計特征。嘴部的張合頻繁程度可以用一能量函數來表征，本文構造方差能量函數，嘴部因說話上下運動而具有能量，能量越大，表示越可能發生說話，且說話時間的均值)、方差能量E、最大值Alphm。根據1.5.2節所計算得到的時間序列，進行如下參數計算。

①均值計算公式：

②方差能量函數：

③最大值：

經過統計數據分析，說話時存在如下的約束關系：

式中，alph1為alph閾值左邊界；alphr為alph閾值右邊界；El為能量左邊界；Er為能量右邊界；A為張開度最大值，A值約束其將哈欠排除在外，若最大值較大，則可能包含哈欠，不作說話判定。

1.6.4 視線偏移識別

駕車時視線視線偏離前方是注意力不集中的重要表現。一般情況下，視線隨著頭部的轉動而偏轉。本文借助1.4節計算得到的頭部偏轉角來近似來代替視線的偏轉角。

文獻顯示駕駛員注意力集中時，80%～90%的視線都集中在前方±12°內［12］。根據檢測的實際精度及實際車內環境，將這個范圍定義為水平方向和垂直方向的角度范圍為偏航角、俯仰角均在±15°內。

頭部姿態角中Yaw、Pitch處于±15°內，認為駕駛員視線正常，否則為視線偏離，同時在綜合判定時間窗序列WIN(約1 min)中以0正常、1偏離進行記錄。注意力分散可定義為：

①WIN中分散不集中，即在時間窗序列中存在零散的0，且0的數量占時間窗總長度的比例較大，滿足一比例閾值L1。

②WIN中連續不集中的時間較長，滿足一時間閾值L0。

針對以上情形，建立二元時間序列，序列中保存該幀視線偏離與否的狀態。

1.7 多特征危險駕駛判定模型

采取多參數融合綜合判定潛在的危險駕駛程度，依據特征對危險駕駛的影響程度計算危險總分，并通過非線性映射關系得到范圍在［0，1］之間的危險系數coeff。

首先通過上述檢測方法統計在規定時間內說話、哈欠、視線偏移的情況。對于每一個長度為WIN的時間窗，說話特征為WIN中表示具有說話特征的幀數占WIN的比例，哈欠特征為時間窗WIN內哈欠發生的總次數，視線偏移特征為偏移幀數占時間窗的比例，分別記為 speak_rate、yawn_times、pose_rate。

在決策前具有以下經驗知識：

①認為哈欠與疲勞的相關性為中等，且疲勞與危險駕駛的相關性也為中等，故認為時間段內兩次哈欠為疲勞狀態、輕度危險。

②說話分散駕駛員部分注意力，與危險駕駛相關性為中等，若50%時間均為說話，則可判定為輕度危險。

③視線與危險駕駛具有高相關性，在一般道路上行駛，若注意力持續L0=15 s以上偏離前方，或偏離總時間占時間窗L1=50%以上，可判定為輕度危險。

危險決策模型如下。

①針對哈欠動作，1次淺哈欠記30分，1次深哈欠記40分，2次則疊加計算，3次哈欠及以上則記為100分。得分定義為score1，計算方法為

式中，n為淺哈欠次數；m為深哈欠次數。

②說話動作、視線偏移均為表征注意力集中程度的量。提出基于Sigmoid變式函數的模糊隸屬度，即將Sigmoid函數通過平移、伸縮變換得到，該函數具有抑制兩頭、中間近似線性的特點，與所需要的非線性映射特性相符。經變換后，Sigmoid函數值可映射至0～100，恰好為該項危險得分，易得Sigmoid變式隸屬度評分函數形式為

式中，rate2，rate3分別表示speak_rate和pose_rate。為得到合適的參數b，分別取b為5、10、15，映射關系如圖6(a)所示。當b取較小值時，初值和終值明顯與本文所需映射不符，且不能很好地體現Sigmoid函數中間靈敏度高的特點，而b取較大值時，占比時間處于較低值時，說話、視線偏移對駕駛的危害程度過低。故b=10時相對合理。

③總分計算公式與危險系數計算。總分Score為三者總分。

由經驗知識知，在時間窗內，2次哈欠即已經發生疲勞，50%以上時間的說話、視線偏移，均關聯為輕度危險，據此按如下方案將危險得分與危險系數coeff進行關聯，關聯方法如表3所示。

表3 危險得分與危險系數關聯表

取各分數段中值對應于其危險系數，擬合非線性映射模型，將分數映射至0～1的標準化系數，將危險程度直觀化。采用拋物線進行擬合，計算方法如下：

式中，Score為總分；β為擬合待定系數。由最小二乘法得到β=0.0579，擬合結果如圖6(b)所示。

圖6 隸屬度函數與危險系數擬合結果

綜上，在滑過第一個 WIN后，每一幀均會得到Score和coeff。系統預警決策方法為：當單項分超過50時，進行單個動作報警，當綜合危險系數超過0.5時進行輕度危險報警，并分別在達到0.75、0.9時進行中度危險報警和重度危險報警甚至需開啟汽車減速裝置，以將危險程度降至最低。

2 實驗

2.1 數據預處理前后哈欠準確率對比

實驗方法：邀請13位具有駕駛經驗的被試者，模擬處于駕駛環境，并要求在實驗過程中發生哈欠、說話、突然張大嘴巴、轉頭、低頭看手機等動作，且每人哈欠總數不少于3個，記錄嘴部張開度、頭部姿態角數據和視頻數據。

本算法實驗平臺CPU為i7-7700HQ，運算速度約為14 f/s，結合表2和1.5.1、1.6.4節的參考時間，涉及幀率閾值的參數如表4所示。此處表中時間單位均已換算為f。

表4 幀數閾值參數 單位：f

數據預處理包括滑動平均法預測、張開度曲線平滑去噪，實驗對比處理前后哈欠檢測準確率變化。實驗結果如表5所示。

表5 預測補償、平滑去噪前后哈欠檢測率對比

如表5所示，經改進后的模型，哈欠檢測準確率提高至82.97%，提高了約44%。

2.2 說話檢測實驗

實驗方法：從2.1節錄制數據中選取所有說話與靜默的視頻段，記錄每幀嘴部張開度。劃分訓練集和測試集，60%數據為訓練集，40%為測試集，以連續50 f為一組數據。測試樣例從測試集中隨機選取22組獨立隨機的連續50 f。分別計算時間窗中的方差和均值，借鑒SVM“間隔最大化”思想處理該問題，求得說話時方差、均值的最小值和靜默時方差、均值的最大值，將這兩者均值作為靜默與說話的臨界值，即El，右臨界值為左臨界值的2.5倍。均值應大于說話最小值和靜默最大值的均值，其右臨界為左臨界值的2倍。實驗閾值如表6所示。

表6 “說話”分類實驗閾值表

基于方差-均值特征的分類在測試集中正確率達到100%，效果優秀。

2.3 系統實驗結果

在Linux平臺下編寫C++程序，使用dlib19.6、OpenCV 3.2作為依賴庫。將筆記本連接車載攝像頭，進行實時現場測試。現場測試圖片如7所示，圖中左上方共7行，首行為嘴部張開度alph的實時測量值，第2行為系統檢測到的當前嘴部動作，為speaking，第3～5行分別為頭部姿態估計角測量值，第6行為當前幀視線狀態，ON表示未偏移，末行所示為當前危險系數。圖片下方顯示系統在WIN時間窗內已測得長時間視線偏移的報警提示。

圖7 車載測試

測試為另行實時測試，要求被試者進行至少2次哈欠，1次長時間說話，2次突然張嘴，部分測試結果如表7所示。

表7 系統部分測試結果

本系統在Linux嵌入式平臺下，基于人臉特征序列對危險駕駛的行為模式進行識別與評估。對不同年齡、不同性別的50位被試者進行測試，實驗表明哈欠檢測平均準確率為82.44%、說話檢測平均準確率100%，能夠容忍大姿態下的哈欠和說話動作，準確捕獲潛在的危險動作，但在較大姿態下快速移動欠穩定。其監測效率為14 f/s，滿足實時性要求。本系統軟件實現簡單，硬件需求低，經濟價值高，具有較高的應用性能和嵌入式移植特性，因此，可適用于實時危險駕駛預警監測。

3 結束語

本文構建了基于ERT人臉特征點定位算法的嘴部特征時序模型，并通過嘴部特征點外接矩形來計算嘴部張開度。尤其是所提出的基于頭部姿態角更新張開度值并對丟失數據進行預測，融合哈欠、說話、視線偏移等在駕駛時可能存在危險的行為，建立了多參數融合的危險駕駛判斷的模型，并取得了較好的實驗效果。依據多個參數計算指征危險可能性的危險系數。由于危險駕駛數據較少，故本系統的危險預警在模型融合時以經驗權重為主，今后擁有具有標簽的駕駛視頻，可基于深度學習方法基于視頻流進行訓練以進一步抽取時空特征、捕獲時空相關性，深度網絡模型魯棒性將較高于現有模型，可適應更復雜環境。進一步將依靠智慧交通系統，結合實時路網狀態［13］，對當前車輛的危險駕駛系數做多視角、精細化判斷。