Bagging-SVM集成分類器估計頭部姿態方法*

梁令羽，孫銘堃，何 為，李鳳榮

1.中國科學院 上海微系統與信息技術研究所 寬帶無線移動通信研究室，上海 201800

2.上海科技大學 信息科學與技術學院，上海 200120

3.中國科學院大學，北京 100864

1 引言

近年來，頭部姿態估計因其在人機交互、人臉識別[1]、虛擬現實以及疲勞監測[2]等領域的廣泛應用而成為新的研究熱點。頭部姿態估計是指計算機通過對輸入圖像或者視頻序列的分析、預測，確定人的三維空間中頭部的位置以及姿態參量[3]。如圖1 所示，如果將人的頭部視為一個剛體，則可以通過俯仰角（pitch）、偏航角（yaw）、滾動角（roll）三個角度集合在一個固定的坐標系下描述剛體運動。

Fig.1 Angle of rotation of head pose in three dimensions圖1 頭部姿態在三維空間中的旋轉角度

按照是否需要定位面部關鍵點，可以將頭部姿態估計方法分為基于模型的方法（model-based method）和基于外觀的方法（appearance-based method）[4]。基于模型的方法主要是通過檢測頭部形狀以及人臉輪廓、眼角、鼻尖、嘴唇等面部特征點，構建幾何模型或以其他方法來估計頭部姿態。文獻[5]提出了基于面部特征點的頭部姿態估計方法，該方法計算簡單，有著不錯的準確率，然而估計頭部姿態前需要手動提取面部區域，且易受到環境、遮擋等干擾因素影響。張萬枝等人提出了一種基于面部特征三角形的機車駕駛員頭部姿態參數估計方法[6]。該方法在定位眼睛位置、嘴巴區域，構建面部特征三角形的基礎上，通過特征三角形的位置變化進行頭部姿態估計。該算法的準確率依賴于對人臉特征點的定位精度，雖然可以獲得連續的頭部姿態估計值，然而準確率易受到遮擋、光照變化及較大頭部偏轉姿態等干擾因素影響。Derkach 等人提出基于SRILF（shape regression with incomplete local features）算法和基于字典的方法檢測面部特征點[7]，然后通過幾何估計和外觀估計的方法估計頭部姿態，該方法對具有較大偏轉范圍的頭部姿態估計問題表現良好，然而需要采集帶有深度信息的頭部姿態圖片。

基于外觀的方法主要是通過將未知姿態的圖片與一組已標記圖片數據集進行比較，通過測量未知姿態圖片與已標記圖片的相似性來確定所屬的姿態。Huang等人利用監督局部子空間學習方法，從訓練數據的HOG（histogram of orientation gradient）特征中學習局部線性模型來估計頭部姿態[8]，解決了少量訓練樣本擬合模型能力的不足，訓練樣本不均勻影響頭部姿態識別準確率等問題。Yan 等人提出了一種基于多任務學習的頭部姿態估計框架[9]，將識別區域劃分為密集的均勻空間網格，通過聚類的方法形成具有相似面部外觀的區域并進行學習和識別，該方法解決了低分辨率情況下的頭部姿態估計問題。文獻[10]提出了一種自適應梯度的卷積神經網絡方法，該方法對外觀、環境變化、遮擋等干擾因素具有較好的魯棒性。基于外觀的方法不依賴于人臉特征點定位，將頭部姿態的估計問題視作頭部姿態的分類問題，通過訓練-學習的方法獲得人臉圖像和頭部姿態之間的對應關系，該類方法性能依賴于人臉樣本好壞和學習模型的設計[11]。

將頭部姿態的識別問題視為分類問題，分類器性能的高低直接影響頭部姿態識別的準確率。針對離散化的頭部姿態估計問題，常用的分類器包括線性判別分類器（linear discriminant analysis，LDA）、支持向量機（support vector machine，SVM）以及樸素貝葉斯分類器（na?ve Bayes，NB）等[12]。然而這些分類器性能并不能滿足對于頭部姿態分類準確性的要求。此外，當面臨視頻圖像中的復雜背景、光照變化等干擾因素影響時，頭部姿態識別準確率會降低。本文提出了一種基于Bagging-SVM集成分類器來估計頭部姿態算法，該算法在面對離散頭部姿態識別問題時具有良好的識別效果，對光照變化等干擾因素具有較好的魯棒性。

2 Bagging-SVM相關原理

2.1 支持向量機SVM

支持向量機SVM最開始是為了解決二元分類問題而被提出的，對于給定的二分類訓練集D={(x1,y1),(x2,y2),…,(xm,ym)},其中y={-1,+1}，算法的目的是尋找一個最優分類超平面wTxi+b，該分類超平面滿足以下條件：

當樣本線性不可分時，引入懲罰項C和松弛變量（slack variables）ξi≥0，那么滿足最優分類超平面的條件變為：

式（2）是一個二次規劃問題，根據最優化理論，通過使用拉格朗日乘子法將該優化問題轉換為對偶問題來求解：

Fig.2 Support vector and margin圖2 支持向量和間隔

本文采用的核函數為高斯核函數（Gaussian kernel），將樣本從原始空間映射到高維空間中從而實現該特征空間內的線性可分。

2.2 Bagging-SVM基本思想

Bagging 的全稱是Bootstrap Aggregating，算法基于自助采樣法（bootstrap sampling），核心思想是采用有放回的采樣規則[13]。所謂有放回的采樣規則是指，在原始數據集里，隨機取出一個樣本放到新數據集中，然后將這個樣本放回到原數據集后繼續采樣。對于一個含有m個樣本的給定集合D，進行T輪采樣，每輪采集n個數據(n≤m)，從而構成T個采樣子集Dk(k=1,2,…,T)。對T個采樣子集分別對給定的基分類器進行訓練，每個采樣子集都會產生一個弱分類器φ(x,Dk)，將T個弱分類器集成為強分類器φ(x,D)。測試階段，強分類器的分類結果為T個弱分類器的簡單投票結果，即投票中占多數票數的類別作為測試樣本的類別。

由于Bagging算法的采樣子集不同，因此每個采樣子集訓練出的基分類器具有差異。同時，有放回的采樣規則保證了多個采樣子集中有重復樣本出現，為了避免每個基分類器只用了小部分訓練數據導致訓練效果不足的情況，增強了集成算法的性能。

Bagging過程實現如圖3。

Fig.3 Flow chart of Bagging algorithm圖3 Bagging算法基本流程圖

3 基于Bagging-SVM的頭部姿態估計

對于基于外觀的估計離散化頭部姿態的方法，通常將頭部姿態識別視為分類問題，通過設計性能優良的分類器對頭部姿態進行分類。本文設計了一種基于Bagging-SVM集成分類器算法來對頭部姿態進行估計。本文算法的核心思想是：對于一個給定的訓練集，該訓練集進行T輪基于自助采樣法采樣形成T個訓練子集，利用這T個訓練子集進行SVM分類器訓練，生成T個SVM弱分類器，最后基于簡單投票的原則將T個弱分類器集成為強分類器。具體流程如圖4。

在對圖像進行分析前，為了減少復雜背景以及光照變化對頭部姿態估計準確率的影響，首先需要對圖像進行預處理和檢測人臉區域。然后采用融合HOG特征和LBP（local binary pattern）特征對處理好的人臉圖片進行特征提取，并利用主成分分析法對主元特征分量進行選擇。最后將選擇后的特征分量輸入到Bagging-SVM集成分類器進行頭部姿態估計。

Fig.4 Flow chart of Bagging-SVM integrated classifier algorithm圖4 Bagging-SVM集成分類器算法流程

3.1 數據預處理及人臉區域檢測

在提取特征前，為了減少背景、光照等干擾因素對人臉特征選擇的影響，通常需要對圖片進行預處理以及提取人臉區域。本文采用的預處理方法主要包括圖像灰度化、直方圖均衡化以及圖像歸一化三個步驟[14]。經過預處理的圖像像素點在顏色空間所占字節數降低，增強了圖像對比度和灰度色調的變化以及提高了算法處理圖片的速度。對于人臉區域的提取，本文采用基于Adaboost 檢測人臉算法[15]，該算法采用Haar 特征描述符表示人臉特征，通過選取的重要特征構造多個弱分類器。將多個弱分類器組合成若干個強分類器，使用若干個強分類器構造級聯分類器。通過該級聯分類器完成人臉區域檢測。Adaboost算法不容易出現過擬合現象，具有高檢測率和高時效性的特點。對于檢測到的人臉區域，將其歸一化處理成48×32像素大小的圖像，方便接下來提取不同頭部姿態中人臉特征。

3.2 融合HOG和LBP特征的人臉特征選擇

3.2.1 HOG特征

方向梯度直方圖（HOG）特征是一種用來進行物體檢測的描述因子，主要通過統計圖像局部區域的梯度方向直方圖來描述圖像特征[16]。在一幅圖像中，梯度或邊緣的方向密度分布能夠很好地描述圖像的局部目標的表象和形狀。由于HOG特征是對局部區域求梯度特征值，因此提取HOG 特征對光照變化具有較好的魯棒性。

首先，在提取HOG 特征前，采用Gamma 校正法進行顏色空間的標準化。其次，需要計算圖片中每個像素點的梯度，包括梯度的幅度和方向。圖像中像素點(x,y)的梯度為：

式中，Gx(x,y)、Gy(x,y)、H(x,y)表示像素點處的(x,y)水平方向梯度、垂直方向梯度和像素值。像素點(x,y)處的幅度值G(x,y)和梯度方向θ(x,y)為：

在完成圖片像素的梯度計算后，將圖像劃分為若干大小相同的單元細胞（cell），在每個單元細胞內統計梯度信息。梯度方向范圍為(0,π]，量化區間個數為n，即由一個n維向量來描述每個單元格的梯度信息。將若干個相鄰cell 組合成一個空間上連通的塊區域（block），該block 的梯度特征為所有cell 的梯度特征串聯后的結果。由于局部光照變化以及前景-背景對比度變化都會導致梯度幅度變化過大[17]，因此需要對block 區域進行歸一化處理。本文采用L2-norm歸一化方法：

本文采取的cell 大小為6×4 像素，block 大小為12×8像素。針對不同維數n對頭部姿態識別率的影響，在CAS-PEAL-R1 數據庫上進行實驗。結果如表1 所示，維度取9 時，識別率最高，因此將梯度方向量化為9 個區間，對于大小為48×32 像素的圖片，HOG特征提取后的數量為576。

3.2.2 LBP特征

局部二值模式（LBP）是一種用來描述圖像局部紋理特征的圖像描述符[18]。該描述符以局部某個像素點的灰度值為閾值，與周圍各個鄰域像素點的灰度值進行比較。若大于閾值則標記為1，否則為0，得到的8位二進制數即為該點的LBP值。

Table 1 Recognition rate based on HOG of different feature dimensions表1 不同特征維度的HOG識別率

如圖5 所示，本文將圖片分成8×8 個大小統一、互不重疊的圖像子塊。對每個子塊的LBP特征進行直方圖統計，直方圖的量化區間個數選擇為8。將所有子塊的直方圖特征級聯成圖像的特征向量，最終的特征向量的維數為512。

Fig.5 Feature extraction of LBP圖5 LBP特征提取

3.2.3 特征融合

將HOG特征ζ1和LBP特征ζ2按照式（7）進行特征融合，得到融合特征向量Ζ，其中σ1和σ2分別為ζ1和ζ2的標準差。

3.3 基于PCA方法的特征提取

本文采用融合HOG 和LBP 特征對人臉圖像進行特征提取后得到的特征向量的維數較大，因此需要對提取的圖像特征進行特征選擇，減少特征數量，增強模型的泛化能力。本文采用主成分分析法，通過線性變換將高維數據在損失最小的情況下映射到低維數據，從而達到降維的目的[19]。對于樣本矩陣Dsample=[ξ1,ξ2,…,ξn]，其中每個樣本ξ都是原始灰度圖像樣本向量化得到的一維圖像向量。利用式（8）中心化所有訓練樣本，即訓練樣本矩陣減去樣本均值得到標準訓練矩陣：

對協方差均值Σ做特征值分解，將求得的特征值按照從大到小的順序排序可得特征值矩陣V=[λ1,λ2,…,λn]，其中λ1≥λ2≥…≥λn。其對應的特征向量組P=[P1,P2,…,Pn]稱為最優投影向量組。取最優投影向量組的前d個最大特征值的d個最優向量Pd=[P1,P2,…,Pd](d≤n)用于特征映射，Pd稱為投影矩陣，也稱特征子空間。利用式（10）可以將標準化后的人臉圖像γn投影到低維空間，即可得到降維后的特征向量：

由于PCA（principal component analysis）降維維度對特征的表達能力差異較大，本文給出了不同維度下算法對頭部姿態識別的準確率，結果如圖6所示。

Fig.6 PCA dimension and head pose recognition rate圖6 PCA維數與頭部姿態識別率

從圖6中可以看出，當維數為170時，頭部姿態識別準確率最高，因此本文選擇降維后的特征數為170。

經PCA特征選擇后，將最終特征輸入到Bagging-SVM集成分類器中進行頭部姿態估計。

3.4 Bagging-SVM集成分類算法

在圖像完成預處理，提取人臉區域以及選擇好描述人臉區域的特征符后，采用Bagging-SVM 集成分類器對圖片進行分類訓練。在訓練每個弱SVM分類器時，Bagging 的自助采樣過程并不會抽取測試集中的所有圖片。因此可以記錄抽取出的圖片，將剩余未被抽取到的圖片作為驗證集驗證每個弱分類器的分類性能，從而提高集成分類器的性能。

Bagging-SVM算法偽代碼如下：

輸入：訓練集S={(x1,y1),(x2,y2),…,(xm,ym)};基分類器算法H；支持向量機SVM；訓練輪數T

1.fort=1,2,…,Tdo

2.Strain,Stest←S

Bagging 從訓練集中有放回地抽樣，其中Strain為抽出的訓練樣本，Stest為未抽出的用于驗證弱分類器性能的測試樣本

3.ht=H(Strain)|ht←Stest

測試樣本準確率>0.5則保留該分類器，否則重新訓練

4.end for

即多個弱分類器簡單投票。

假定弱分類器的計算復雜度為Ο(m)，采樣和投票/平均復雜度為Ο(s)，則本文算法復雜度為Τ×Ο(m)+Ο(s)，考慮到采樣和投票/平均復雜度Ο(s)較小，Τ通常是一個不太大的常數，因此本文算法與直接訓練一個弱分類器的復雜度同階，是一個很高效的集成算法，較好地適用于多分類、回歸等任務。

4 實驗結果與分析

4.1 實驗數據集準備

本實驗采用的數據集為Pointing'04 數據集和CAS-PEAL-R1數據集。Pointing'04數據集由15組圖像組成，每組圖像包含兩個系列的93 張不同姿態的同一人圖像。每組圖像的不同系列差別包括衣物顏色不同以及有無眼鏡等。頭部姿態方向包含俯仰角（pitch）和偏航角（yaw）兩個方向，其中俯仰角包含{-90,-75,…,75,90}，共計13 個離散姿態，偏航角包含{-90,-60,…,60,90}，共計9 個離散姿態。CASPEAL-R1數據庫由1 040名志愿者，每人21張頭部姿態圖片，共計21 840 幅圖像組成。每個志愿者頭部姿態包括抬頭、平視、低頭3個離散俯仰角的姿態以及7個離散的偏航角的姿態。部分數據庫圖片如圖7。

Fig.7 Part of experimental head posture library picture圖7 部分實驗用的頭部姿態庫圖片

由于這兩個數據庫頭部姿態旋轉的角度并不相同，且實際應用中判斷頭部姿態處于低頭或抬頭等動作相比判斷頭部姿態具體角度更有意義。因此人為設計了9種姿態來進行分類和識別，頭部姿態與對應角度如表2。

Table 2 Head pose and angle表2 頭部姿態及其對應角度

實驗采用Python3.6 環境編程，計算機型號為Macbook Pro 13.3，處理器為2.7 GHz Intel Core i5，內存為8 GB 1 867 MHz DDR3。對于數據集選擇，本文選擇了Pointing'04數據集的全部圖像和CAS-PEALR1數據集編號為102到900的圖片。

4.2 分類器評價指標

為了更好地評價實驗結果，本實驗采用準確率（Precision）、召回率（Recall）和F1 值（F1-score)作為算法性能的評價指標。先定義機器學習基礎評價-混淆矩陣，定義1為正類，0為反類，如表3。

Table 3 Confusion matrix表3 混淆矩陣

根據表3，各個評價指標定義如下：

準確率：用來表示被正確識別的圖片和被錯誤識別的圖片數量之比。

召回率：用來表示被正確識別的圖片和實際圖片數量之比。

F1值：為準確率和召回率的調和平均值。

4.3 實驗結果

由于人臉區域檢測相關研究和應用非常成熟，且不是本文重點，因此本文采用文獻[15]提供的方法完成對人臉區域的檢測和提取，并歸一化到48×32大小的灰度圖片。人臉區域提取的圖像如圖8。

Fig.8 Face area images after extraction圖8 提取后的人臉區域圖像

為了驗證本文提出算法具有較好的性能，本文選擇了K-鄰近（K-nearest neighbor，K-NN）、線性判別分類器（LDA）、樸素貝葉斯（NB）以及支持向量機（SVM）等分類器作為對比實驗。表4 和表5 分別對比了不同分類器在CAS-PEAL-R1 數據集和Pointing'04數據集上頭部姿態識別準確率。從表中結果可以看出：

（1）與HOG 特征和LBP 特征相比，本文提出的融合HOG和LBP特征具有更高的頭部姿態識別率。

（2）經過PCA 特征選擇后的頭部姿態識別率相比于不進行特征選擇的頭部姿態識別率更高，在各個分類器的識別準確率都有提升。說明經過PCA特征選擇能夠進一步提高系統的頭部姿態識別能力。

（3）本文提出的Bagging-SVM 分類器相比其他常用的分類器在兩個數據集上都有更好的性能。相比識別率最低的K-NN算法在CAS-PEAL-R1數據集和Pointing '04 數據集的識別率分別為88.32%和86.78%，本文提出的算法識別率為96.41%和93.21%，提高了8.09%和6.43%。相比識別率最高的SVM 算法在CAS-PEAL-R1 數據集和Pointing '04 數據集的識別率分別為93.57%和91.33%，本文算法提高了2.84%和2.09%。

Table 4 Test result of different classifiers on CAS-PEAL-R1 dataset表4 不同分類器在CAS-PEAL-R1數據集測試結果 %

Table 5 Test result of different classifiers on Pointing'04 dataset表5 不同分類器在Pointing'04數據集測試結果 %

表6 和表7 分別對比了本文算法與近年文獻提出的算法在Pointing '04 數據集和CAS-PEAL-R1 數據集上所取得的實驗結果。實驗結果表明，本文提出的算法性能在兩個數據集上均好于近年來一些研究成果，說明本文算法對于頭部姿態的估計達到了不錯的效果。

Table 6 Result of different methods on CAS-PEAL-R1 dataset表6 不同方法在CAS-PEAL-R1數據集結果

Table 7 Result of different methods on Pointing'04 dataset表7 不同方法在Pointing'04數據集結果

為了驗證本文算法對光照干擾具有良好的魯棒性，實驗采集了35名志愿者在強光照、弱光照和正常光照條件下各9種姿態，共計945張實驗圖片。部分圖片如圖9。

Fig.9 Partial head posture picture under different illumination圖9 不同光照條件下部分頭部姿態圖片

圖10為不同光照強度下本文提出的算法在各個姿態上識別準確率。從圖中可以看出，強光照和弱光照與正常光照趨勢大致相同，說明強、弱光照對各種頭部姿態識別準確率的影響不大。3 個折線波動較為平緩，說明本文提出的算法在各個頭部姿態上都具有較好的識別性能。

Fig.10 Recognition accuracy of each gesture under different illumination圖10 不同光照強度下各個姿態識別準確率

5 結束語

本文提出了一種基于Bagging-SVM集成分類器進行頭部姿態估計的方法。該方法通過提取融合的HOG和LBP人臉特征，并引入PCA變換進行特征選擇。用設計好的Bagging-SVM集成分類器對特征進行訓練。在Pointing'04 數據集、CAS-PEAL-R1 數據集和自建數據集上進行驗證實驗，實驗結果表明相比常用的分類算法和近年最新算法，本文提出的算法具有更好的性能，并對光照變化干擾具有較好的魯棒性。