基于卡方距離度量學習的面部表情識別算法

秦 毅，趙二剛

(1.重慶電子工程職業學院 人工智能與大數據學院，重慶 401331； 2.南開大學 電子信息與光學工程學院，天津 300071)

0 引 言

面部表情識別(facial expression recognition，FER)作為一個活躍的多學科研究領域，在轉錄視頻、電影或廣告推薦、遠程醫療中的疼痛檢測等領域具有廣泛的應用潛力[1,2]。

根據從圖像中提取面部表情特征的不同，可以將現有的FER方法分為基于幾何特征[3]和外觀特征的方法[4]兩類方法。文獻[5]提出一種基于外觀特征進行面部識別的方法，該方法采用Viola-Jones框架提取面部表情感興趣區域的局部二值模式圖像，利用卷積神經網絡識別結果。文獻[6]提出了一種基于幾何特征的面部識別方法，該方法利用面部特征點來確定面部特征間的相對距離，以便捕獲不同表情下的面部肌肉運動形態，然后使用面部特征點間的相對距離來訓練網絡，提高分類模型的辨別能力。文獻[7]提出了一種新的特征提取技術，該技術使用壓縮感測技術將提取的特征變換為高斯空間，在降低特征向量維數的同時，將特征向量與分量支持向量機的徑向基函數核匹配，從而可以對任何向量進行分類。文獻[8]提出了一種利用局部人臉區域識別面部表情的方法，該方法對每個局部區域采用類成對的中級描述符來提取中級特征和Adaboost特征選擇用以選擇更多的判別特征，在野外面部表情識別中提高了準確率。文獻[9]提出了一種基于孤島損失來增強深度學習特征判別力的方法，該方法采用減少類內變化，同時擴大類間差異的方式提高野外面部表情識別的準確率。

野外面部表情圖像識別具有各種挑戰，如自發情緒和光照變化等，使得大多數FER方法不能有效識別。此外，在不受控制的條件下的面部表情識別也是一個尚未解決的問題。針對上述問題，提出了一種基于局部卡方距離的KNN算法，用于人臉的表情識別。首先定義了計算卡方距離的新公式；其次，在優化算法中引入了Dropout技術用于解決過擬合現象；最后，使用KNN算法進行表情識別。此外，所提出的損失函數使用了卡方距離，從而進一步改善所提方法的識別準確率。

1 K最近鄰算法

K最近鄰(k-nearest neighbor，KNN)算法是近年來新興的分類方法之一，它在訓練大數據集的同時，具有資源利用有限的優點。KNN是一種無監督學習分類算法，也是應用最廣泛的非參數模式分類方法之一，它降低了對概率密度復雜性的關注。KNN算法通過在K個最近的鄰居樣本標簽來對目標樣本進行分類。KNN算法在分類問題和回歸問題中具有廣泛的應用空間。

在KNN算法中，影響結果的主要是K值和距離，因此使用KNN算法解決分類或回歸問題時，需要重點關注K值的優化和合適的距離度量方法。若K取值太小時，樣本的分類結果取決于最近的樣本類別，容易受到噪聲點的影響；若K取值太小時，樣本的分類結果容易受到不平衡數據集的影響，導致分類模糊。因此，在使用過程中，選擇K值從1開始逐步增大，使用交叉驗證來評估不同K值下的分類情況，選擇最優K值。

距離度量則是衡量樣本之間的距離，當兩個樣本之間的距離越小，說明兩者的相似度越大，同屬一類別的概率也就越大。常用的距離的度量方法有歐幾里得距離和馬哈拉諾比斯距離。歐氏距離是指空間中兩點之間的絕對距離，定義為

(1)

式中：xi和xj為樣本點。歐氏距離在多數情況下只能對低維空間中超球狀分布的數據有效，容易受到數據集中噪聲的干擾。

馬氏距離表示數據的協方差距離，該度量是計算樣本屬性標準化之后的距離，其定義為

(2)

式中：S表示樣本xi和xj的協方差。馬氏距離對數據集中呈超橢球型分布的數據有效。

下面給出KNN算法的計算步驟：

(1)初始化K值；

(2)計算目標數據與帶標簽數據之間的距離；

(3)按照距離遠近進行升序排序；

(4)選取與當前目標數據最近的K個點；

(5)選擇K個點出現最多的類別進行新樣本分類。

2 基于卡方距離度量的面部表情識別

在過去的十年中，人們對度量學習進行了許多研究。度量學習的目標是利用訓練集的信息改進數據比較度量。現有的方法大多集中在馬氏距離度量學習上。然而，在人臉表情識別中廣泛使用的特征往往是基于直方圖的圖像紋理描述，而馬氏距離無法準確描述該空間中數據之間的關系。卡方距離是直方圖數據比較中最著名的方法。因此，本文提出了一種基于卡方距離KNN的表情識別方法，其算法流程如圖1所示。

圖1 所提方法的流程

2.1 基于卡方距離度量的KNN

距離度量學習(distance metric learning，DML)也稱為相似度學習，其目的是為了衡量樣本之間的相近程度，DML通過特征變換得到特征子空間，然后使用度量學習，讓類似的目標距離更近，不同的目標距離更遠。DML經常應用于大量的機器學習方法中，如K近鄰、支持向量機、徑向基函數網絡等分類方法以及K-means聚類方法。

(3)

(4)

(5)

(6)

基于卡方距離度量的損失函數為

(7)

2.2 基于隨機梯度下降卡方距離度量

基于卡方度量的KNN分類時需要對訓練數據中獲取每個訓練數據的K近鄰先驗知識，然后根據損失函數對訓練誤差進行最小化處理，求解映射矩陣L。由于基于卡方距離度量的損失函數在L矩陣的元素中是非凸的，因此，使用諸如梯度下降之類的方法來最小化成本函數時，需要對矩陣L的初始值進行優化，而且存在陷入局部最小值的問題。本文通過半正定規劃(semi-definite programming，SDP)克服陷入局部最小值的問題。SDP作為線性規劃的一種擴展，通過約束矩陣的半正定性實現求解優化問題，常用于實際問題的凸優化求解，SDP可描述為

(8)

其中，F0,F1,…,Fn表示對稱矩陣(k階)。

在SDP中，通過結合矩陣的半正定約束來完成優化。基于卡方距離度量的優化問題可以表示為

(9)

(10)

Frobenius范數是度量學習中流行的正則化算子，用于避免過度擬合訓練數據。Frobenius規范的度量學習問題的標準形式定義為

(11)

(12)

在Dropout技術中，如果p(φij=0)=α，則有

(13)

由于Frobenius范數只能簡單地以相同的方式約束學習矩陣的所有元素，無法對學習矩陣的對角元素做特殊處理。且在學習矩陣中，對角元素描述了每個特征的重要性，其余元素描述了特征的相互作用，因此對角元素相對于其它元素更重要。本文提出了一種針對學習矩陣的對角線和非對角線元素Dropout正則化方法。

假定Φ為隨機矩陣，其對角元素和非對角元素分布服從 [0,0.5] 和 [0,1] 之間的均勻分布， [0,0.5] 上的累積分布函數可以表示為

(14)

基于矩陣Φ，Dropout方法在0≤δ≤0.5的概率定義為

p(φij=0)=p(Φij≤δ)=F(δ)

(15)

因此

(16)

根據式(11)優化問題可以修改為

(17)

從上式可以看出，利用Frobenius范數和L1范數對矩陣A進行了正則化。因此，矩陣A的對角元素在Frobenius范數和L1范數正則化器中都有貢獻，其余元素僅在Frobenius范數中有所貢獻。

2.3 基于局部的卡方度量表情識別方法

(18)

根據特征向量的維數，學習矩陣A是D×D方陣，包含U×U個圖像塊。為了在每個圖像塊中執行單獨學習，可以在矩陣A的相應塊上采用求解距離度量問題的dropout正則化方法。對于第U個圖像塊，對應矩陣A的第U個對角塊。其特征是為每個圖像塊訓練數據

(19)

因此，輸入數據的維數減少到k，每個塊的學習矩陣是k×k。 局部度量學習如算法1所示。

算法1：局部度量學習用于人臉表情識別

(1)輸入： 訓練數據Y， 步長γ；

(2)迭代A0←0，A0∈RD×D(包含U×U個子塊)和T；

(4) 當前子區域特征：Yu；

(5) 使用dropout正則化的度量學習在Yu上訓練Au；

(6) ∏psd(At)；

(7) endfor

(8) 返回A

在所有局部矩陣學習后，兩個人臉圖像的特征距離可以利用式(20)計算

(20)

由于矩陣A的非對角塊為零，因此，式(20)可重寫為僅為非零塊計算的距離之和

(21)

如果正確地學習對角線塊，那么將最小化來自類似類的兩個圖像塊與塊之間的特征距離；而對于來自不同類的圖像，將最大化這些特征距離。由于圖像的塊與塊的特征距離在數學上是正的且彼此獨立，因此這些值的總和對于來自同一類的數據是最小的，來自不同類的數據是最大的。

本文提出的基于局部卡方距離的KNN表情識別方法體現了特征量之間的相對關系，對每個特征量賦予相同的權重，但是不同特征對分類的貢獻并不同，在局部卡方度量的表情識別方法上，引入特征權重系數，對不同的特征賦予不同的權重。

針對局部卡方距離識別方法中錯誤樣本數量為n， 之后去除第p,p=1,2,…m個特征量，使用局部卡方度量的KNN方法對測試樣本進行識別，得到錯誤樣本數量為np。 計算vp=np/n， 該值越大說明分類誤差越大，反映了第p個特征量對分類的貢獻就越大,反之亦然。則第p個特征權重系數可定義為

(22)

3 實驗結果與分析

為了驗證所提算法的有效性，采用FER研究領域公開可用的受控環境下和非受控環境下的數據集進行面部表情識別的各種實驗，用于評估所提出的度量學習算法中卡方距離、特征提取補丁大小、局部學習和正則化器的貢獻度，并且將獲得的結果與現有方法進行比較。所有實驗均在配置為CPU Intel Core i7-4700MQ @2.4 GHz，RAM 8 GB，Windows10環境下的機器中執行。

3.1 數據集

本文選取擴展Cohn-Kanade(CK+)數據集、野外的靜態面部表情(SFEW)數據集和大型的面部表情數據庫RAF-DB這3個數據集用于測試。下面給出幾個數據集的詳細信息。

CK+數據集是在實驗室控制條件下獲得的圖像，這個數據集由來自123個受試者的593個圖像序列組成，其中327個序列具有包含6個基本情感和蔑視的面部表情標簽。在發布的數據集中，使用活動外觀模型定位了68個面部界標點。每個圖像序列從中性面開始到其表達標簽的峰值。在本文中，選擇327個標記序列的最終峰幀用于評估所提出的算法。

SFEW 2.0為在野外(非控制)場景下獲得的自然表情的圖像，由一組光照、頭部姿勢等存在巨大變化的靜態圖像組成。該數據集分為訓練、驗證和測試3個圖像子集，圖像數量分別為958、436和372，其中，培訓和驗證集的標簽可供研究人員公開使用。在本文針對SFEW數據集的所有實驗中，訓練和驗證集分別用于訓練和測試階段。

RAF-DB數據集包含了從互聯網上下載的29 672張不受控制的面部圖像，共有315個學習注釋器對該數據集中的每個圖像進行了大約40次標記。除了基本情緒外，該數據集還包含11種復合情緒，因此，這是嘗試提供在不受控制的條件下具有復合情緒的大規模面部表情識別數據庫。在數據集中的每個圖像旁邊還發布了面部邊界框，5個手動注釋的面部界標點，37個自動界標點。在訓練集和測試集中，包括6種基本情緒和中性情緒等7類情緒，分別有12 271幅和3068幅。本文利用RAF-DB在一個大規模人臉表情識別數據集上對該算法的可擴展性進行了評估。

3.2 對比研究

通過進行各種實驗來評估所選擇的距離，特征提取補丁大小，局部學習和正則化器在所提出的度量學習算法中的效果。首先在基于不同直方圖特征的人臉表情識別算法中，將運用卡方距離、馬哈拉諾比距離以及KNN和SVM分類器的識別結果進行了比較。其次，將不同的補丁大小用于特征提取，以探索此參數對所提出算法的影響。然后，將所提出的局部度量學習與全局度量學習的結果進行對比。最后，執行所提出的度量學習采用不同正則化器的測試。

3.2.1 度量距離對比

為了驗證卡方度量距離的優越性，對現有3類直方圖特征LBP-LPQ[10]、HWP[11]和CA-LBFL[12]應用不同的度量距離，并對測試結果進行對比。提取特征的分類方法有4種：基于歐式距離的KNN分類、基于一對一的RBF核的SVM分類、基于馬哈拉諾比距離的KNN分類和基于提出的卡方距離度量學習的KNN分類。在這些實驗中，對于KNN分類器，K設置為7。評價方法采用獨立的10倍交叉驗證各種分類方法。在驗證方案中，圖像隨機分成10組，圖像數量大致相等。其中一組作為實驗組，其余9組作為訓練組。此過程重復10次，以使每個組都會充當測試集。

圖2和圖3為不同數據集上的識別率實驗結果，從圖中可以看出，本文提出的基于卡方距離識別人臉表情的算法比其它方式更優，對這些特征描述符進行度量學習時更有效。

圖2 不同度量距離在CK+數據集的識別率

圖3 不同度量距離在SFEW數據集的識別率

3.2.2 補丁大小的影響

為了評估算法1在所提算法中的貢獻度，使用尺寸為2×2～8×8等不同大小的補丁進行實驗。對于每個分區，首先從圖像塊中局部提取直方圖特征；其次，將提取的局部特征串接成最終的特征向量；然后，使用算法1學習所提出的度量；最后，利用基于卡平方度量的KNN分類器進行分類。在特征提取方面，采用了LBP-LPQ、HWP和CA-LBFL等多種方法。該實驗過程在CK+和SFEW數據集上執行。對于CK+數據集，使用獨立的10倍交叉驗證方案，而SFEW數據集則將訓練集和驗證集分別用作訓練集和測試集。圖4和圖5給出了實驗結果。

圖4 CK+數據集中使用不同補丁時的識別率

圖5 SFEW數據集中使用不同補丁時的識別率

從圖4中可以看出，CK+數據集的總體準確性隨補丁數量的增加而近似增加。這可能是由于在最終特征向量中，尺寸很小的補丁無法正確地表示面部圖像的足夠信息，而當補丁數量增加時，特征向量包含更多的局部信息。因此，當補丁尺寸提高到6×6時，識別率最高。同理，從圖5中看到，SFEW數據集的識別率隨著增大到4×4獲得最高。但是，當補丁的尺寸繼續增加時識別率呈現降低的趨勢。這可能是由于數據集中較大的頭部姿勢引起的。大頭姿勢時，小補丁的效率會大大降低。因此，數據集上的識別率會隨著補丁數量的增加而降低。為了在計算成本和準確性之間進行權衡取舍，對于CK+和SFEW數據集，本文之后的實驗分別選擇了6×6和4×4的補丁尺寸進行測試。

3.2.3 局部與全局學習對比

為了探索基于卡方距離度量的局部學習在面部表情識別中的效率，進行全局和局部學習。在全局學習中，將提取的特征進行整體學習。在局部學習中，分別對每個圖像塊執行學習過程，最后進行權重調整。表1中顯示了使用基于不同特征的兩種方法的識別率。從該表中可以看出，應用于不同提取方法的局部度量學習在CK+、SFEW數據集上的測試結果明顯優于全局度量學習。

表1 全局和局部度量學習的測試結果

3.2.4 正則化器對比

為了避免過度擬合訓練數據，本文提出了基于Dropout的正則化器，下面需要評估該技術的效率。為此，在所提出的面部表情識別的局部度量學習方法中定義并使用3種變體：沒有正則化器、Frobenius Dropout正則化、結構化Dropout正則化。采用SFEW數據集對這3類不同正則化進行測試，測試結果如圖6所示。

圖6 不同正則化器在SFEW數據集的測試結果

從圖6中可以看出，相對于不使用Dropout技術的情況，采用Frobenius Dropout正則化的識別率提高了約0.5%～3%，結構化Dropout正則化提高了大約3.4%～7.6%。實驗結果表明，所提出的正則化增加了度量學習算法對測試數據的通用性。

3.3 實驗結果

為了驗證提出方法的分類效果，本文采用LBP、LPQ、HOG和POEM這4個直方圖特征組合的方式在CK+、SFEW和RAF-DB數據集上進行分類測試，獲得的分類混淆矩陣結果見表2、表3、表4。從表中可以看出，對于CK+數據集，提出的方法能夠完全識別高興、驚訝兩種表情，在7種表情中厭惡表情的識別率也很高，排名第三；對于SFEW數據集，識別率最高的表情為憤怒，在6種表情中排名第二、三位的表情為驚訝和高興；對于RAF-DB數據集，識別率最高的表情為驚訝，在7種表情中排名第二、三位的表情為高興和憤怒。

表2 CK+數據集生成的混淆矩陣

為了驗證提出方法的優越性，本文比較了不同的最新的人臉表情識別方法：IL-CNN[9]、IACNN[13]、DLP-CNN[14]和SJMT[15]。表5給出了本文方法與其余方法在CK+、SFEW和RAF-DB數據集的測試對比結果。從表5中可以看出，所提出的算法比其它算法更準確，不同外觀特征直方圖的組合以及所提出的度量學習方法有效地提高了面部表情識別準確度。

表3 SFEW數據集生成的混淆矩陣

表4 RAF-DB數據集生成的混淆矩陣

表5 不同人臉表情識別方法的識別率

4 結束語

本文提出了一種基于卡方距離度量學習的面部表情識別算法，用于解決野外復雜環境下面部表情面臨的頭部姿勢變化、光照變化等挑戰。提出的方法采用基于卡方距離方法進行KNN分類，利用SDP方法將損失函數修正為凸優化，同時將Dropout技術引入度量學習防止訓練數據出現過擬合現象，最后引入權重系數，提高識別準確性。實驗結果表明，提出的算法提高了不受控環境下的面部表情識別率。