面向駕駛意圖識別的駕駛員頭、面部視覺特征提取＊

張立軍 唐鑫 孟德建

（同濟大學，上海 201804）

主題詞：駕駛意圖 機器視覺 特征提取 關聯性

1 前言

在“人-車-路”系統中，駕駛員是重要的參與者，其駕駛意圖和表現出的駕駛行為對整個系統的安全性具有至關重要的影響。統計表明，接近90%的道路交通安全事故都是由駕駛員直接或間接導致的[1]。戴姆勒公司認為，提前0.5 s對駕駛員的危險行為進行示警可消除60%的追尾事故，提前1 s示警可消除90%的追尾事故[2]。因此，駕駛意圖的識別可用于碰撞預警，有效改善道路安全性。

駕駛行為是駕駛意圖的外在表現，汽車安全領域越來越多的學者希望通過識別駕駛員的駕駛意圖對其駕駛行為進行早期預測。在駕駛意圖產生階段，其主要表征是頭部和眼部運動狀態的變化。為了進行駕駛意圖的識別，需要提取眼部和頭部的運動狀態和特征。目前，基于駕駛員頭、面部視覺特征的駕駛意圖識別主要基于視覺特征，包括后視鏡注視時間、掃視持續時間、頭部水平和垂直轉角標準差等，所采用的方法主要是利用秩檢驗等統計學檢驗方法分析不同駕駛意圖下的視覺特征是否存在差異性，若差異性滿足閾值即認為特征與意圖有較強的關聯關系，可以用于識別駕駛意圖[3-4]。但是，當前研究對機器視覺特征的提取主要基于眼動儀，成本高，難以商業化。用于駕駛意圖識別的特征選擇主要依賴于主觀判斷，缺乏科學系統的依據。

在此背景下，本文進行了自然駕駛整車道路試驗，開發了基于機器視覺的視線方向及頭部姿態估計算法，并利用眼動儀驗證了其有效性，構建了包含駕駛員頭、面部視覺和運動特征以及駕駛員行為/意圖的數據集，并使用T檢驗方法分析了頭、面部機器視覺特征與駕駛意圖的關聯性，可為駕駛意圖識別的特征選擇提供科學依據。

2 自然駕駛整車道路試驗

2.1 試驗設計

2.1.1 試驗平臺搭建

基于試驗車輛、Smart Eye眼動儀、測力轉向盤、場景攝像頭等搭建的自然駕駛整車道路試驗平臺及各儀器的連接關系如圖1所示，試驗儀器的規格如表1所示。其中，Smart Eye眼動儀主要由3個視線追蹤攝像頭、采集卡和主機組成。攝像頭1與攝像頭3固連有近紅外光源，以提供穩定照明，同時，紅外光源在眼睛中反射的耀點可以作為定位的參考點。采集卡用于攝像頭及紅外光源的供電和同步開閉。主機用于眼動儀采樣頻率、坐標定義等參數設置，及導出攝像頭采集的視頻。

圖1 試驗平臺

表1 道路試驗設備

該平臺有3個功能：

a.利用眼動儀攝像頭采集駕駛員駕駛過程視頻圖像，利用開發的視覺算法計算駕駛員眼部及頭部的運動狀態數據；同時，眼動儀內置算法也可直接導出駕駛員眼部、頭部運動狀態，作為真值驗證視覺算法。

b.場景攝像頭采集駕駛過程中車外環境信息,判斷工況類別（左、右轉彎/直行）。

c.利用轉向盤力角測量儀采集試驗過程中車輛的轉向盤轉角信號，作為判斷駕駛意圖產生的起始和終止時間的依據。

如圖2所示，在左、右后視鏡及前風窗玻璃的邊緣布置標定點，用于后續標定確定各區域邊界。

圖2 標定點

2.1.2 試驗路段及試驗人員

分別在上海市嘉定區的開放道路和半封閉道路進行了試驗。社會開放道路全程約38 km，包含城市道路、高速路、高架路等路段；半封閉道路為校園道路。本次試驗共招募7位駕駛員，年齡22～43歲不等，駕齡均在3年以上，無散光。試驗前24 h內保持充足睡眠，避免用眼過度，以保持較好的駕駛狀態。

2.2 駕駛意圖數據集獲取

對于采集到的整段數據，通過觀察場景視頻推斷出車輛及駕駛員行為，粗選出左換道、右換道與直行樣本片段。在粗選時，保留換道前轉向盤轉角變化較小的一段數據。按照各粗選樣本的轉向盤轉角信號對其進行精選。如圖3所示，計算平直段的轉向盤轉角均值與標準差σ，根據拉依達準則，滿足|θt-|＞3σ的測定轉角θt對應的起始時刻t即為換道行為的起點時刻，也是換道意圖的終點時刻。以2 s為意圖時窗大小，即認為轉向盤開始大范圍轉動時刻為駕駛意圖終點，該時刻前2 s為產生駕駛意圖的起點[4-6]。對于直行片段來說，駕駛員沒有明顯的行為特征，且直行行為一般會持續一段時間，因此可根據場景攝像頭中的車輛行為及轉向盤轉角信號，按照與左、右換道相同的時窗選取一段直行數據。

按照上述原則截取意圖階段樣本數據，最終獲得470組樣本，其中左換道117組，右換道179組，直行174組。

3 視線方向及頭部姿態估計算法開發

駕駛意圖產生階段的主要表征是頭部和眼部運動狀態的變化。為了進行駕駛意圖識別，需要提取眼部和頭部的運動狀態。基于機器視覺的運動狀態估計方法設備簡單、成本低、精度高且對駕駛員的干擾小，因此最適合用于研究駕駛員的行為。開發的視覺算法技術路線如圖4所示。

圖3 轉向盤轉角信號

圖4 視線方向及頭部姿態估計算法技術路線

3.1 人臉特征點定位

利用主動形狀模型（Active Shape Model，ASM）算法[7]進行人臉特征點定位。ASM算法包括模型訓練和搜索兩個階段。在模型訓練階段，首先建立由若干個面部特征點坐標組成的形狀向量作為面部的整體形狀模型，然后建立形狀向量中每個特征點的局部特征，用于調整整體形狀模型的位置，使模型更加貼合面部。訓練完成后得到總體形狀模型和各點局部特征，就可以進行模型搜索，完成定位。

如圖5所示為某正面人臉定位到的68個特征點，各特征點與面部較為貼合，可以認為算法有效。

圖5 人臉特征點定位結果

3.2 視線方向估計

3.2.1 瞳孔中心與普爾欽斑定位

在人臉特征點定位基礎上，提取眼部感興趣區域如圖6a所示。可以看到瞳孔部位的灰度值與周圍區域差別較大，為了準確找出瞳孔與周圍區域的分界線，使用Canny算子[8]進行邊緣檢測，如圖6b、圖6d～圖6h所示。結合瞳孔邊緣的形狀特點，使用霍夫變換[9]檢測瞳孔。為了減小霍夫空間的維數，使用改進的2-1霍夫變換[10]，即把霍夫變換分為2個階段：檢測圖像中可能存在的圓心；根據找到的圓心計算圓的半徑。瞳孔中心檢測結果如圖6i所示。

圖6 瞳孔中心和普爾欽斑定位

普爾欽斑是近紅外光在用戶角膜上產生的高亮度反射點，如圖6a所示，其亮度明顯高于眼睛其他區域，故可以根據灰度值定位普爾欽斑。選擇合理的閾值，將眼部圖像二值化，普爾欽斑被較為準確清晰地提取出來。同時，由于人的眼球是濕潤的球體，在轉動時，眼部其他區域可能同樣產生反光點，為了保證算法在復雜環境下的魯棒性，防止其他高亮度反光點的干擾，選擇離瞳孔中心最近的兩個普爾欽斑作為候選位置。最終，提取到的普爾欽斑如圖6c所示。

3.2.2 基于立體視覺的視線方向估計

為了計算駕駛員的三維視線，需要知道瞳孔中心及普爾欽斑的三維坐標，該問題可以基于立體視覺計算：以空間中某個待求的點P(Xw,Yw,Zw)為例，假設該點在2個相機中分別成像P1(u1,v1)和P2(u2,v2)，并已知2個相機的投影矩陣為M1、M2，為3×4矩陣。根據相機的成像公式有：

式中，zc1和zc2為2個相機坐標系下點P的z坐標。

聯立式（1）和式（2）可消去zc1和zc2，利用最小二乘法求解得到P點坐標(Xw,Yw,Zw)。

獲得瞳孔中心及2個普爾欽斑的三維坐標后，利用圖7所示的眼球模型估計視線方向，其中O為角膜球面中心，P0為瞳孔虛像，為真實瞳孔，C1和C2為紅外光源所在點，P1和P2為紅外光源的虛像，即普爾欽斑。

圖7 眼球模型

O的位置可以通過求解直線C1P1與C2P2的交點得到，O與的連線即為視線方向。但是實際上是不可知的，而根據球面反射原理，瞳孔和折射產生的虛像在同一半徑方向上，即和P0都在眼睛光軸上。因此可以使用OP0代替[11-12]。理論上C1P1和C2P2相交于O，但是在實際求解中，由于誤差的存在，兩條空間直線不會恰好相交。因此，這里計算兩條空間直線的公垂線，將公垂線的中點作為點O。結合已求得的P0，向量OP0即為視線方向。

3.3 頭部姿態估計

使用比例正交投影迭代變換算法（Pose from Or?thography and Scaling with Iteration，POSIT）求解頭部的俯仰、橫擺和側傾角度，即頭部姿態。該算法一般用來估計空間中物體的姿態，輸入是物體上至少4個點的三維坐標以及這些點在圖像上的對應位置，輸出是待求物體的旋轉和平移矩陣[13]。其核心思想為：對待求的物體，使用弱透視投影模型代替透視投影模型，求解弱透視投影模型所產生的方程組，得出待求物體的旋轉和平移矩陣，以此作為初值。然后使用該初值更新弱透視投影模型，該模型相對于前述弱透視模型更加逼近透視模型，對其進行求解得到新的估計值。不斷迭代直至估計值的變化小于閾值。

如圖8所示，攝像機坐標系的原點在攝像機的光心Q，坐標系的XC軸和YC軸分別與圖像物理坐標系的兩軸平行，坐標系的軸ZC是攝像機的光軸，各軸的單位方向向量分別為i、j、k。攝像機的成像平面為G，光心距離為f。假設已知待檢測物體上若干點M0,M1,…,Mn-1的三維坐標，在物體上以M0為原點建立物體局部坐標系。則要求取的問題轉換為求解該局部坐標系和攝像機坐標系之間的平移和旋轉矩陣。求解過程具體的算法流程如圖9所示，其中n為迭代次數，εk(n)為第n次迭代的估計值，xk、yk為特征點Mk透視投影的像點坐標，x0、y0為特征點M0透視投影的像點坐標，x′、y′為特征點Mk弱透視投影的像點坐標，Z0為M0的ZC軸坐標。

圖8 POSIT算法

圖9 POSIT算法流程

計算得到旋轉矩陣R的3個分量i、j、k：

根據旋轉矩陣可以求出頭部繞3個坐標軸旋轉的角度：

3.4 算法評價

為了保證視覺算法能夠有效提取自然駕駛試驗中駕駛員的視線方向與頭部姿態，需要進行算法有效性驗證。

對視線方向估計的精度進行評價時，由于視線方向是由3個分量組成的單位向量，為了方便比較誤差，將各視線向量轉化為水平和垂直方向角：

式中，x、y、z分別為視線向量的3個分量；α為水平方向角；β為垂直方向角。

將眼動儀采集到的視線方向作為真值，基于視覺算法估計得到的視線方向作為估計值，分別繪制水平視角與垂直視角隨時間變化的曲線，如圖10所示。由圖10可見，估計視角與真實視角基本重合，可以體現被試人員的運動規律。同樣繪制頭部姿態俯仰角、側傾角和橫擺角3個分量的估計值與真值隨時間的變化曲線，如圖11所示。

圖10 視線方向估計值與真值

圖11 頭部姿態角估計值與真值

計算視線方向估計、頭部姿態角估計的誤差均值與方差，如表2所示，估計值相對于真值的誤差較小，驗證了算法的有效性。

表2 視線及頭部姿態估計誤差

4 頭、面部機器視覺特征提取

4.1 數據清洗

由于圖像采集以及處理過程中會存在誤差，基于視覺算法提取后的數據中依然可能存在“臟數據”。如果在分析時不加選擇地使用這些數據，可能會產生錯誤的分析結果，因此需要清洗數據以便后續分析。

4.1.1 異常數據剔除

試驗中眼動儀攝像頭通過膠接固定在攝像頭上，行駛過程中的車輛振動以及駕駛員異常操作都可能引起拍攝圖像異常，需要對這些異常值進行剔除。根據拉依達準則，將樣本中與平均值的偏差超過3倍標準差的測定值視為高度異常值，予以剔除。剔除前后的視線方向如圖12a所示，對比可見，通過異常值剔除，消除了明顯離群的視點。

4.1.2 缺失值填充

在圖像采集過程中，某些姿態下面部特征點不可見；此外，當檢測不到駕駛員或駕駛員眼睛閉合，無法計算視線方向時，視線方向的3個分量都將置為0，從而產生缺失值。為了恢復這部分數據，需要對數據中的缺失值進行填充。考慮到人運動的連續性，對于缺失值前、后2幀的值求均值，作為該幀的值。圖12b以水平視角為例，展示了缺失值填充后的圖像，補充了曲線缺失的部分，填充后的曲線較為完整。

4.1.3 濾波

缺失值填充后的各運動狀態均值與真值較為接近，但是還存在一些高頻噪聲干擾。由于后續還要通過差分計算各運動的速度與加速度，為了減小這些衍生量的誤差，需對得到的數據進行濾波，這里選擇中值濾波對數據進行處理。仍以水平視角為例，濾波前、后的曲線如圖12c所示，高頻噪聲被明顯減小。

4.2 運動特征提取

對清洗后的數據提取眼部水平、垂直運動特征和頭部俯仰、橫擺、側傾運動特征。對于眼部運動特征，提取清洗后的水平和垂直視角，結合幀率進行差分，獲得水平運動速度和垂直運動速度，對運動速度再進行差分即為運動加速度。對于每個意圖片段均得出其角度、速度及加速度變化的數據，然后分別統計最大值、最小值、算術平均值、幾何平均值、調和平均值、截尾平均值、中位數、下四分位數、上四分位數、極差、標準差、變異系數、偏度和峰度等14項常用統計特征。頭部運動特征的提取方法與眼部運動特征的提取較為類似，同樣統計上述14項統計特征。

圖12 數據清洗

4.3 注視與掃視特征提取

4.3.1 視野平面劃分

試驗前需進行標定，使用開發的立體視覺視線估計算法獲取各標定點坐標，然后使用式（7）、式（8）將注視向量轉化為水平和垂直方向角，以這些標定點的方向角作為各視野區域的邊界。將各視野區域邊界與視線方向角疊加到同一圖中，如圖13所示。

4.3.2 注視與掃視區分

駕駛員在觀察環境時，有3種基本的眼部運動：注視、掃視和眨眼。注視是視線對準某一區域并保持相對靜止的運動，通過注視提取環境中的關鍵信息。掃視發生于駕駛員對行車過程中的感興趣目標的搜索過程或切換不同注視目標時。眨眼是一種不自主運動，在駕駛過程中與環境信息的獲取和處理無關。本文只研究注視和掃視這兩種基本眼動形式。

圖13 視野平面劃分及注視、掃視區分

以眼球運動狀態作為注視和掃視的劃分依據，將眼動速度的閾值設置為100°/s[14-16]，即眼動速度小于100°/s則認為是注視行為。如圖13所示，注視點大部分集中在前風窗玻璃中央、左、右后視鏡和組合儀表等需要駕駛員視線稍作停留以提取信息的位置，而掃視點大部分在各注視區域之間，這也比較符合實際駕駛行為。根據視點類型與幀率進行計算，提取各區域的注視次數、注視時間、掃視次數、平均掃視時間、平均掃視角度和平均掃視速度等特征。

5 視覺特征與駕駛意圖的關聯性分析

為了研究視覺特征與駕駛意圖之間的關聯性，需要分析不同駕駛意圖下的視覺特征是否存在差異性，若差異性滿足閾值即認為特征與意圖有較強關聯關系，可以用于識別駕駛意圖。

箱線圖是利用數據中的最大值、上四分位數、中位數、下四分位數與最小值來描述數據的一種方法，可以直觀地表示差異性。以總注視次數為例，用箱線圖表示其在左換道、右換道和直行情況下的數據分布，如圖14所示，可以看出在不同駕駛意圖下，總注視次數的分布雖然存在略微差異，但大體相同。

圖14 總注視次數箱線圖

對于差異性較小的樣本，箱線圖很難直觀地判斷樣本是否存在差異性，這里使用獨立樣本T檢驗計算不同駕駛意圖樣本兩兩之間的差異性水平，如果差異性均小于閾值，則認為該特征與駕駛意圖存在關聯關系。計算不同駕駛意圖下總注視次數的差異性：左換道-右換道、左換道-直行、右換道-直行之間的T檢驗結果分別是0.847、0.787、0.904。根據經驗值選擇差異性水平閾值0.05，可以看出各特征間的差異性水平均大于閾值，即不同駕駛意圖間總注視次數的分布不具有差異性，因此總注視次數這一特征與駕駛意圖沒有關聯關系。

采用相同的方法分析4.2和4.3節中提取的各個特征在不同駕駛意圖下的差異性。結果表明：

a. 駕駛員注視特征中左、右后視鏡注視次數、注視時間與駕駛意圖有關聯關系，掃視特征中平均掃視時間、平均掃視角度、平均掃視速度與駕駛意圖有關聯關系。

b.駕駛員眼部運動特征中，水平運動的部分特征與駕駛意圖有關聯關系，而垂直運動特征與駕駛意圖沒有關聯關系；駕駛員頭部運動特征中，橫擺、側傾運動的部分特征與駕駛意圖有關聯關系，而俯仰運動特征與駕駛意圖沒有關聯關系。具體結果如表3所示。

表3 眼部、頭部運動特征與駕駛意圖的關聯性

6 結束語

本文基于自然駕駛試驗采集到的場景視頻、駕駛員視頻和轉向盤轉角信號，開發了基于機器視覺的視線方向及頭部姿態估計算法，并用眼動儀驗證算法的有效性；經過數據清洗后，使用箱線圖和獨立樣本T檢驗統計了駕駛員的注視、掃視特征、眼部和頭部運動特征與駕駛意圖的關聯性。

后續研究中：可引入車輛CAN信號中的轉向盤轉角、轉向燈狀態、車速等信息，對直行、換道等駕駛行為進行更準確的判斷；視覺算法可基于幀間的運動特征進行目標跟蹤，提高檢測速度和準確率；可對各個特征與意圖之間的關聯性強弱進行排序，選取關聯性較強的特征使用隱式馬爾科夫模型識別駕駛意圖。