穩定的視頻內頭部姿態估計方法

陳得恩，張建偉，柯文俊

(中國航天科工集團第二研究院 七〇六所，北京 100854)

0 引 言

自20世紀90年代以來，頭部姿態估計一直是較為活躍的研究方向，各國學者提出了大量算法以提高方法的準確性[1-4]。但上述算法均沒有考慮應用于視頻數據時能否反映頭部姿態的變化趨勢，這使得姿態估計值相對于真實值可能具有較大的波動性，為一些安全關鍵系統帶來潛在的安全隱患，例如實時監測駕駛員疲勞和注意力分散情況的駕駛輔助系統。

而傳統基于特征點的頭部姿態估計方法受人臉特征點檢測和姿態估計采用的3D人臉模型的準確性等因素影響[3]，容易導致姿態估計值不精確、波動性較大(應用于視頻數據時)的問題。針對估計值不精確問題，設計了一種誤差補償方法，利用極端梯度提升XGBoost機器學習模型[5]，擬合該頭部姿態估計值的誤差。針對姿態估計值波動性較大的問題，提出僅與姿態角增量方向有關的穩定性度量CSS(cosine similarity based stability metric)，同時引入自適應移動平均方法對姿態估計值進行平滑處理。本文方法僅使用RGB圖像作為輸入，圖1顯示其頭部姿態估計示例結果，可以看出估計結果較為準確。

圖1 本文方法的頭部姿態估計結果

1 相關工作

1.1 穩定性

傳統基于特征點的頭部姿態估計方法包含人臉檢測、人臉對齊(又稱人臉特征點定位)和姿態估計3個步驟。對于上述前兩步，文獻[6]研究了目標檢測算法的穩定性，基于當前精度指標mAP(mean average precision)，提出了中心點位置誤差、大小和比例誤差等穩定性度量，可用于人臉、手或行人等目標的檢測；為解決當前人臉對齊方法結果不夠穩定的問題，文獻[7]在模型訓練過程中引入一種基于穩定性的損失函數，使得相鄰視頻幀間的人臉特征點檢測更加平穩。然而，目前還沒有針對頭部姿態估計穩定性的研究。

視頻數據是連續的圖像序列，相鄰兩幀的頭部姿態具有較強的相關性。姿態估計算法應反映真實值的變化趨勢，即如果頭部姿態角度增大/減小，則算法的估計值也應對應增大/減小。在本文中，穩定性定義為姿態估計算法能夠反映姿態真實值變化趨勢/方向的性質。本文認為，穩定性不僅是視頻內頭部姿態估計應具有的理論性質，在實際系統應用中也需要加以考慮。例如，在利用頭部姿態的輔助駕駛系統中[8]，若頭部姿態估計值不穩定，相對于真實值存在較大波動，則可能會給駕駛員疲勞監測帶來困難。

1.2 監督下降法

監督下降法(supervised descent method，SDM)是一種采用級聯回歸的方式解決非線性最小二乘問題(nonli-near least squares，NLS)的監督學習方法，由傳統牛頓法演變而來，有著嚴格的數學理論基礎，并且在計算上非常高效，其廣泛應用于人臉對齊領域，是目前性能最好的方法之一。文獻[9]將其應用于目標姿態估計、剛性和非剛性目標跟蹤，驗證了其用于解決計算機視覺中NLS問題的有效性和準確性。

1.3 移動平均

在時間序列分析中，移動平均是常用的對數據進行平滑的技術，包括簡單移動平均、加權移動平均、指數移動平均、Kaufman自適應移動平均等。

指數移動平均(exponential moving average，EMA)是一種經典的方法，通過對數據指數式遞減加權，可以平滑短期波動，其參數為平滑因子α。

Kaufman自適應移動平均(Kaufman’s adaptive moving average，KAMA)是EMA的改進，進一步撫平短期波動，反映數據中的長期趨勢。KAMA引入基于效益率(efficiency ratio，ER)的平滑系數(smoothing constant，SC)，替代EMA中的α，使KAMA指標能根據當前數據的波動性賦予每個數據不同的權重。當數據穩定地增大或減小時，該指標變得敏銳，為當前數據賦予較大的權重，體現數據趨勢。當數據存在較大波動時，該指標變得遲鈍，為當前數據賦予較小的權重，減小數據波動帶來的影響。給定時間序列 {Y(t)}， 定義KAMA如下

(1)

其中

(2)

式中：Change、Volatility分別表示N個周期內數據的凈變化量和總變化量， fast=2/(periodf+1) 和slow=2/(periods+1) 分別表示短時EMA和長時EMA的α值，periodf和periods為其對應周期數。

2 基于SDM的頭部姿態估計

給定由一系列3D點M∈R3×n表示的頭部模型、其在圖像上的投影U∈R2×n以及相機內參K∈R3×3， 頭部姿態估計的目標是計算圖像中的頭部姿態角，一般用歐拉角表示。歐拉角常被用于描述剛體在三維歐幾里得空間的方向，由偏航角Yaw、俯仰角Pitch和滾轉角Roll組成。頭部姿態估計可表述為無約束的NLS問題，其目標是最小化重投影誤差

(3)

(4)

其意義為物體坐標系下的三維點經過旋轉和平移在二維成像平面的投影，式中?表示克羅內克積，表示逐元素除法。

(5)

(6)

訓練過程在最小化損失式(5)和樣本點更新式(6)之間交替進行。在測試階段，給定人臉特征點U′，SDM算法遞歸地應用式(6)更新姿態值，即每一次迭代更新對應一個回歸器。

基于SDM的頭部姿態估計屬于較新穎的方法，相關研究較少[10]，仍然存在提升的空間。本文選取SDM算法進行頭部姿態估計。常用的準確性度量為平均絕對誤差(mean absolute error，MAE)

(7)

其中，prei為頭部姿態估計方法預測的姿態角，labeli為姿態角標注。MAE越小表示方法越準確。

3 穩定的視頻內頭部姿態估計方法

本文使用基于學習梯度下降方向的監督下降法SDM進行頭部姿態估計，主要包括人臉檢測、人臉對齊和姿態估計3個步驟，如圖2所示。

圖2 穩定的視頻內頭部姿態估計方法框架

人臉檢測是從圖像中定位人臉位置的過程，在實際應用中對遮擋、旋轉、光照等應有一定的魯棒性。人臉對齊在人臉檢測的基礎上定位人臉特征點，獲取二維圖像坐標，其準確性會影響到后續的姿態估計。考慮到所采用的頭部姿態估計流程每幀平均運行時間為28 ms，基本滿足實際需要，本文對人臉及其特征點進行逐幀檢測，實驗環境詳見第4節。

對于視頻第t幀，姿態估計利用小孔透視成像原理，根據人臉對齊得到的人臉關鍵點坐標與頭部三維坐標的對應關系，計算重投影誤差，經過迭代運算得到頭部姿態角P(t)。為了提高方法準確率，本文利用XGBoost算法，根據人臉對齊和頭部姿態估計的結果擬合當前幀姿態估計值的誤差(即姿態真實值與估計值之差)，記誤差的擬合值為δ(t)，然后得到優化的姿態估計值Pc(t)=P(t)+δ(t)。 為了提高方法穩定性，通過式(1)自適應移動平均對Pc(t) 進行平滑得到穩定的姿態估計結果Pa(t)。

若某一幀沒有檢測到人臉，考慮到移動平均對數據進行加權，對歷史數據有一定的記憶效果，因此為防止其帶來錯誤的影響，提高算法準確性，在下一次檢測到人臉時重新初始化序列Pc(t)和Pa(t)。

基于此方法框架，本節具體介紹所提出的穩定的視頻內頭部姿態估計方法。

3.1 誤差補償方法

傳統基于特征點的頭部姿態估計方法包含3個步驟：人臉檢測、人臉對齊和姿態估計，存在較多引入誤差的潛在因素。首先，若人臉檢測不準確，將影響人臉對齊算法關鍵點在檢測框中的初始位置，可能會降低關鍵點對齊的精度；其次，如果無法檢測到足夠多的關鍵點，可能無法恢復頭部姿態；最后，姿態估計的精度取決于3D頭部模型的準確性，對于任一用戶，通用的頭部模型可能會帶來誤差，若使用變形模型以適應每個用戶的頭部形狀，則需要大量數據，并且計算量較大[3]。對此，本文提出一種誤差補償方法，使用XGBoost模型[5]回歸擬合姿態估計值的誤差。XGBoost是一個梯度提升(Gradient Boosting)算法庫，在許多國際機器學習競賽中表現出優異的性能，具有較強的泛化能力、較高的拓展性和較快的運算速度。

為了闡釋清晰，將誤差補償方法與頭部姿態估計的訓練過程進行對比，如圖3所示，圖中由訓練集指出的箭頭表示利用該數據集訓練模型，指向訓練集的箭頭表示將訓練好的模型應用于該數據集。本文僅對SDM的輸出中姿態角進行誤差補償，未對平移進行補償。箭頭①表示在頭部姿態估計模型訓練過程中，使用二維人臉特征點和三維旋轉、平移標注信息進行訓練；3個箭頭②共同組成基于XGBoost機器學習模型的誤差補償方法的訓練過程，對于訓練集中視頻第t幀，首先應用人臉對齊方法，得到預測的人臉關鍵點位置lms=(x1,y1,…,xn,yn)， 作為SDM姿態估計模型的輸入，得到姿態角的估計值P=(p,y,r)， 計算與真實值 (pg,yg,rg) 之間的誤差，記作殘差δ=(pg-p,yg-y,rg-r)。 訓練XGBoost，使其根據人臉對齊得到的關鍵點位置lms和姿態估計方法得到的姿態角P擬合姿態估計值的誤差δ。值得注意的是，在箭頭①對應的頭部姿態估計訓練過程中，為了得到更精確的模型，姿態估計方法以二維關鍵點標注作為輸入；而在由箭頭②組成的誤差補償方法訓練過程中，為了優化傳統頭部姿態估計方法的誤差，姿態估計模型以人臉對齊方法得到的關鍵點坐標作為輸入，由XGBoost模型學習所得姿態角的誤差。類似地，在測試頭部姿態估計方法時，對于輸入的視頻幀t，首先由人臉對齊算法定位人臉特征點，作為SDM的輸入計算姿態估計值，XGBoost模型根據特征點和姿態估計值擬合殘差δ，優化的姿態估計值計算公式為Pc(t)=P(t)+δ(t)。

圖3 誤差補償方法與頭部姿態估計訓練過程對比

3.2 穩定性度量CSS

除了精度容易受特征點準確性等因素影響外，視頻內基于特征點的頭部姿態估計還具有波動性較大的特點，表現為姿態角所成曲線在短時期內通常呈現鋸齒狀。本節首先分析了頭部姿態估計現有精度指標MAE無法反映這一特點，然后定義了視頻內的穩定性，并給出了計算方法，提出穩定性度量。若頭部姿態估計方法具有足夠的穩定性，姿態估計值將更加平穩、自然，更有利于實際應用。例如，在輔助駕駛系統中，穩定的頭部姿態估計值將有利于駕駛員疲勞監測。

精度指標MAE度量了頭部姿態估計方法對于每幅圖像的平均誤差，然而對于視頻數據，不能反映相鄰兩幀之間的變化趨勢/方向信息。為方便闡釋，以一維情況為例，如圖4所示。

圖4 MAE無法反映變化趨勢/方向信息

圖4中橫坐標表示相鄰兩視頻幀，縱坐標表示姿態估計值，左圖虛線表示相鄰兩幀姿態估計方法所得結果，實線表示對應的真實值，其兩幀的差值分別記為-Δ1和Δ2；右圖為當差值分別為Δ1和Δ2的情況。這兩種情況下，對該相鄰兩幀而言，MAE值完全相同，但是左圖的姿態估計值顯然錯誤地反映了真實值的趨勢，而右圖顯示出與真實值相同的趨勢。

針對這個問題，本文定義穩定性為姿態估計算法能夠反映姿態真實值變化趨勢/方向的性質，即穩定的姿態估計算法能反映相鄰兩幀姿態真實值的變化方向，并基于余弦相似性提出穩定性度量CSS。

對于任一頭部姿態估計算法，其得到的姿態值是一個三維向量，包含俯仰角、偏航角和滾轉角分量，在視頻數據中形成估計值向量序列 {P(t)}。 記姿態真實值向量序列為 {G(t)}。 為彌補MAE的不足，在穩定性度量的設計方面，本文以序列 {P(t)} 和 {G(t)} 相鄰兩幀間變化量的方向差異表征姿態估計方法的穩定性大小。在機器學習中，余弦相似性通過測量兩個向量夾角的余弦值來度量其相似性，從而確定兩個向量是否大致指向相同的方向。因此基于余弦相似性與向量長度無關、僅與方向有關的性質，提出穩定性度量

(8)

其中， simcos(·,·) 表示余弦相似度， ΔP(t)=P(t)-P(t-1)、 ΔG(t)=G(t)-G(t-1) 分別為相鄰兩幀姿態估計值和對應真實值的變化量，N為視頻幀數。CSS表示了連續圖像序列中相鄰兩幀姿態角估計值增量與真實值增量之間的余弦相似度的平均值，在區間[-1,1]之間，其值越大，估計值越能反映真實值趨勢，相對于真實值而言更為穩定。CSS與估計值、真實值增量大小無關，僅與其方向有關，因此可與MAE互相補充，共同分別度量頭部姿態估計方法用于視頻數據的穩定性和準確性。

3.3 移動平均

為了清晰地闡釋移動平均的作用，圖5顯示了采用第4節使用的人臉檢測和人臉對齊方法，用EMA對UPNA數據集[11]中user_04的視頻video_08中第55到105幀圖像人臉檢測和對齊結果進行平滑的效果，左圖EMA系數α均取0.1，右圖不采用EMA，顏色從淺到深表示幀數的推移。可見EMA對檢測框和關鍵點的計算具有穩定作用，使其運動更平滑、自然。

圖5 EMA對人臉檢測框和關鍵點的平滑效果

為了解決傳統基于特征點的視頻內頭部姿態估計方法存在波動性的問題，在3.2節所提穩定性度量基礎上，將視頻內頭部姿態視為時間序列，引入Kaufman自適應移動平均方法，對姿態估計值進行平滑處理。在式(1)中，將經過誤差補償的姿態估計值Pc(t) 代入Y(t)， 將得到的KAMA(t)作為最終的姿態估計值Pa(t)。實驗結果表明這種改進方法對于提升穩定性是有效的。

4 實驗結果與分析

4.1 基準方法

本文采用西班牙納瓦拉公立大學(Public University of Navarre)發布的用于測試頭部姿態的基準數據集UPNA進行實驗，選取其中user_04的12段頭部姿態運動的視頻，其分辨率為1280×720，共3600幀，以video_04、video_05和video_06中的視頻幀作為測試集，其余為訓練集。該數據集中包含標定好的相機內參數、三維頭部模型、二維人臉關鍵點、頭部旋轉和平移標注。

對于人臉檢測，本文采用經典的Haar 級聯檢測器。對于人臉對齊，采用RCR(random cascaded-regression)[12]方法，其設計了一種并行級聯結構，提高了模型泛化能力，并通過尺度不變的形狀更新和局部特征提取，對人臉的大小變化和形變更魯棒；同時考慮到實際應用場景中采集的數據集通常沒有人臉關鍵點標注或標注需要大量人力，而采用在其它公開數據集上訓練人臉對齊算法的情況，本文在LFPW人臉數據集上訓練RCR算法。

對于頭部姿態估計，采用監督下降法SDM，根據 UPNA 數據集中54個人臉特征點標注方案，如圖6所示，選取其中32、11、15、23、19、38、40、42、44這9個距離較遠的特征點作為SDM的輸入，利用二維特征點和三維姿態標注訓練SDM模型。為確定模型中回歸器個數，表1顯示了回歸器個數為1～6個時的訓練誤差，單位為角度°，其中Total為Pitch、Yaw和Roll這3個分量平均絕對誤差MAE的均值。可以看出，回歸器較少時(1～3)，增加回歸器可以較大幅度降低訓練誤差，而當個數≥4時，訓練趨于穩定。本文選取4個回歸器級聯的SDM模型，將RCR+SDM作為基準方法與本文提出的優化方法進行比對。實驗環境為Ubuntu 18.04 64位系統，Intel Core i5-8400 CPU，16 GB內存。

表1 對于不同回歸器個數SDM模型訓練誤差

圖6 UPNA數據集的54個人臉特征點

4.2 誤差補償方法

為了使姿態估計更準確，本文提出誤差補償方法，利用XGBoost擬合姿態估計值的誤差，與原估計值疊加得到優化的估計值。實驗中XGBoost參數設置：學習率為0.3，最大樹深為6，每個節點的最少實例數為1。實驗結果見表2，表中SDM-X表示在基準方法基礎上利用XGBoost進行誤差補償的方法，可以看出，通過引入誤差補償，方法準確率取得了2.85的提升。因此，盡管不同于傳統從某一方法的內部性質出發進行改進的優化思路，本文提出的誤差補償優化方法也能較大幅度地提高頭部姿態估計精度。同時，對于每張圖像XGBoost的平均運行時間為0.01 ms，幾乎不產生時間開銷。對該表中SDM-XK的分析見4.3節。

表2 優化方法對MAE的影響

4.3 穩定性分析

為了增強頭部姿態估計算法的穩定性，在SDM-X基礎上，本文引入自適應移動平均KAMA平滑優化的姿態估計值，作為最終的估計結果，記為SDM-XK方法。在式(2)中取N=10,periodf=2,periods=30，并剔除video_06中姿態標注相同的208、209幀。由于移動平均方法的原理是對數據進行加權平均，對歷史數據有記憶效果，導致該類方法具有滯后的缺點，因此引入KAMA對數據進行平滑的同時，會一定程度上影響頭部姿態估計的精度MAE，見表2。但相對于基準方法，SDM-XK的精度提升了2.73，相對于SDM-X，提升幅度僅降低4.2%，可以看出其MAE變化并不明顯。同時，對于每張圖像KAMA的平均運算時間為0.04 ms，在實際應用中幾乎不產生影響。

本文提出的優化方法對穩定性的影響實驗結果見表3，度量CSS越大表示頭部姿態估計方法越穩定，越能反映真實值變化趨勢。可以看出，SDM-X對于穩定性影響不大，而相對于基準方法，SDM-XK的CSS值提升了0.25，表明其可以較為顯著地提升穩定性。值得注意的是，SDM-X明顯提升了MAE，對CSS的影響不大，而SDM-XK對MAE的影響不大，卻明顯提升了CSS，體現了CSS與MAE可以互為補充的特點，共同分別度量頭部姿態估計方法用于視頻數據的穩定性和準確性。

表3 優化方法對穩定性的影響

為能更清晰地觀察本文方法的優化效果，同時驗證CSS穩定性度量的合理性，圖7顯示了各方法對視頻 video_05 中110幀～224幀頭部姿態Yaw角預測值所成曲線。可看出，3種方法中最接近真實值的是SDM-X，但仍存在明顯的波動。與之相比，SDM-XK雖然整體上距真實值稍遠，但能夠不受原姿態估計值中波動的影響，過濾序列中的噪音，起到穩定作用，較好地反映真實值的變化趨勢。

圖7 各方法對比結果

5 結束語

以往的頭部姿態估計方法注重準確率的提升，而在穩定性方面尚無研究。本文首先提出誤差補償方法，在姿態計算時，引入XGBoost機器學習模型，根據人臉對齊和頭部姿態估計的結果，擬合該頭部姿態估計值的誤差，將該誤差的擬合值與原估計值疊加得到優化的姿態估計值。然后根據目前在頭部姿態估計領域沒有穩定性相關指標的現狀，基于余弦相似性提出僅與姿態角增量方向有關的穩定性度量CSS。最后引入自適應移動平均對姿態估計值進行平滑處理。實驗結果表明：本文提出的優化方法能有效提高頭部姿態估計的準確性和穩定性。

基于本文的工作，未來工作包括：①本文探討了單用戶逐幀檢測情形下的誤差補償，由于對于不同用戶使用的3D模型不同，為了進一步提升算法準確率，研究適合多用戶的誤差補償方法；②將穩定性作為約束融入到SDM學習過程中，例如作為損失函數的一部分，同時提高算法準確率。