基于GMRF和KNN算法的人臉表情識別

張立志 王冬雪 陳永超 孫華東 韓小為

(哈爾濱商業大學計算機與信息工程學院 黑龍江 哈爾濱 150028) (黑龍江省電子商務與信息處理重點實驗室 黑龍江 哈爾濱 150028)

0 引 言

隨著計算機視覺技術、模式識別的發展，表情識別成為了當下的一個研究熱點[1]。表情在人類日常溝通中占有重要地位，它不僅可以進行情緒的表達，還可以進行情感信息的交流。表情識別技術在人機交互、駕駛員駕駛狀態研究和醫學陪護領域都有著廣泛的研究前景[2-3]。

人臉面部表情識別過程一般包括前期圖像預處理、圖像特征提取和圖像分類識別等部分。圖像預處理主要是人臉的檢測，去除人臉部分之外其他的干擾因素；圖像特征提取是從預處理后的圖像中提取反映人臉表情的特征信息；圖像分類識別則是將提取到的表情特征信息輸入分類器中進行訓練和測試，實現人臉表情的識別。

人臉面部表情識別的過程中，最重要的是特征信息的提取，提取特征的方法有很多，現階段表情特征提取的主要方法有：局部二值模式(LBP)[4]、主成分分析法(PCA)[5]、Gabor小波變換[6]等，其中局部二值模式(LBP)是現階段最為流行的方法之一。LBP算子具有旋轉不變性和灰度不變性等顯著優點，但LBP算子只考慮鄰域像素灰度值和中心像素之間的大小關系，因此灰度變化會使LBP算子受到影響，使識別率降低[7]。主成分分析法在分析圖像整體性特征時有優勢，但是在分析表情圖像局部的差異時效果較差。Gabor小波提取的是多尺度多方向信息，故產生的特征向量信息的維度較高，不利于算法的實時處理[8]。

本文提出一種基于高斯馬爾可夫隨機場Guassian Markov Random Field(GMRF)的多種分塊特征結合的表情識別方法。現階段高斯馬爾可夫隨機場模型在圖像處理領域中具有非常廣泛的應用，能夠很好地表達圖像的紋理信息且具有良好的空間相關性。本文采用高斯馬爾可夫隨機場多分塊特征結合的特征提取方法，使用K近鄰算法K-Nearest Neighbor(KNN)[9]方法進行表情識別分類，在JAFFE數據集上的識別結果表明該方法在表情識別上的有效性。

1 表情圖像預處理

預處理過程是對人臉表情圖像進行圖像分割，提取實驗所需的感興趣區域(ROI)部分，對提取后的圖像進行分塊處理。本文采取Snake模型[10]進行人臉圖像分割，其基本原理是預先確定待分割圖像的初始輪廓曲線，在外部力和內部力的共同作用下，使得初始輪廓曲線逐漸接近感興趣區域圖像的邊緣，從而完成圖像分割[11]。

1.1 純人臉區域分割

將人臉表情圖片的人臉部分從圖像中裁剪出來，去掉圖像中人的頭發、衣服和圖像背景等部分，防止在提取反映表情的紋理特征信息時造成干擾。依據人臉的形狀和位置，標注人臉的大致形狀邊緣，采用Snake模型提取純人臉區域。如圖1所示，第一層是原始的數據集表情圖像，第二層是經過純人臉區域分割的圖像。

圖1 圖像純人臉區域分割

1.2 圖像分塊

經過純人臉區域分割后，根據特征的提取要求將人臉區域圖像進行多種方式的均勻分塊，不同分塊方式得到的子塊數量不同。本文根據數據集圖像的實際大小，將每幅表情圖像分別進行了9、16、25、36、49、64子塊的劃分。

2 特征提取

2.1 高斯馬爾可夫隨機場模型

高斯馬爾可夫隨機場模型是馬爾可夫隨機場的兩個分支之一，即假設激勵噪聲的分布方式為高斯分布，這樣可以得到一個差分方程且該方程由空域像素灰度來表示，該模型稱為高斯馬爾可夫隨機場模型[12]。在實際應用中，相對于馬爾可夫隨機場和吉布斯分布模型，高斯馬爾可夫隨機場模型具有計算量小的優點，因此得到了廣泛的運用[13]。本文基于表情識別技術的實時性選擇提取圖像的高斯馬爾可夫隨機場特征進行人臉表情圖像的分類識別。

高斯馬爾可夫隨機場模型是一個平穩自回歸過程，其協方差矩陣正定、鄰域系統對稱、對稱鄰域點的參數相等[14]。用高斯馬爾可夫隨機場特征來表達圖像的紋理特征時，可以用條件概率來表示：

P(y(s)|all:y(s+r)r

(1)

式中：Nei表示以s為中心，r為半徑的對稱鄰域(對稱鄰域不包括中心點s)。式(1)表示圖像中任意一像素點s的灰度y(s)是s所有方向的鄰域點灰度的函數。高斯馬爾可夫隨機場模型鄰域關系由高斯馬爾可夫隨機場模型結構圖表示,如圖3所示。

圖3 高斯馬爾可夫隨機場結構圖

設S為M×M網絡上的點集，S={(i,j),1≤i,j≤M},給定的紋理[y(s),s∈S,S={(i,j),1≤i,j≤M}]是零均值的高斯隨機過程,則GMRF模型可以用一個包含多個未知參數的線性方程來表示[15-16]。

(2)

式中：NS表示點S的GMRF鄰域；θr表示系數；e(s)為高斯噪聲序列且均值為零。因為像素點鄰域對稱,θr=θ-r,可將式(2)寫成：

(3)

式中：y1(s+r)為封閉環形區域S中的點。將式(3)應用于區域S中的每一點,則可得到M2個關于{e(s)}和{y(s)}的方程：

(4)

用矩陣的形式表示所有由y1(s+r)所構成的方程組，可以寫成：

y=QTθ+e

(5)

式(5)為高斯馬爾可夫隨機場的線性模型,QT為關于全部y1(s+r)的矩陣，θ為模型的待估計特征向量。用最小平方誤差準則，可獲得：

(6)

線性自回歸的GMRF模型中,當階數比較低時,雖然分析計算方便，但描述復雜圖像特征時，具有一定的局限性。隨著階數增加,計算量雖然變大，但能夠描述圖像的豐富紋理信息。選取最佳的階數, 能有效地反映圖像的紋理特征。本文選用了高斯馬爾可夫隨機場的二階、四階、五階模型，進行人臉表情識別。

2.2 人臉表情圖像的特征提取

表情識別技術的難度就在于對人臉面部表情細節特征的提取，所以對表情細節特征的提取是表情識別的關鍵[17-18]。高斯馬爾可夫隨機場特征很好地描述了圖像局部的紋理信息及其圖像的空間位置關系，能夠反映圖像的細節信息。高斯馬爾可夫隨機場有多個階數的參數特征，為保證實驗的合理性以及更好地提高人臉表情識別的準確率，實驗中針對每幅人臉表情圖片分別提取二階、四階和五階高斯馬爾可夫隨機場特征。為了進一步提取圖像的細節信息，將圖片以多種分塊方式分為多個子塊，針對每個子塊進行高斯馬爾可夫隨機場特征的提取。不同分塊方式、不同子塊可以提取到不同的細節特征信息，多分塊方式有利于人臉表情圖像特征信息的完整性，以及特征提取后的表情識別分類。

首先將圖片分為6種分塊方式，如圖2所示。分別分成9、16、25、36、49、64個互不重疊的子塊。記子塊個數為bi(i=1,2,…,6),b1=9,b2=16,b3=25,b4=36,b5=49,b6=64。然后分別提取每個子塊二階、四階、五階的高斯馬爾可夫隨機場特征，記階數為o，o=2,4,5，以上分塊方式的GMRF特征記為：

圖2 純人臉圖像分割子塊

(7)

式中：N為特征向量維度。

本文通過實驗探討分塊方式及GMRF階數選取的特征差距，結果表明：同種分塊方式的不同表情的特征數據之間特征數值分布差異較大；特征數值不同，各種特征數值數量也不同，表明提取的GMRF特征類間差距大；不同分塊方式得到的GMRF特征不相同，子塊數量越多，特征數據量越大，表情的細節特征信息越豐富，類間差距越大。不同分塊方式的表情圖像GMRF特征柱狀圖如圖4所示，其中：(a)為9分塊二階GMRF特征提取方式得到的不同表情的特征數值分布圖；(b)為25分塊二階GMRF特征提取方式得到的不同表情的特征數值分布圖；(c)為49分塊二階GMRF特征提取方式得到的不同表情的特征數值分布圖。因此GMRF特征用于人臉表情分類較理想。

(a)9分塊二階GMRF θb1,2特征數據分布圖

為了獲取人臉表情圖像更多的細節信息，可以將不同分塊方式得到的特征進行結合，不同分塊方式提取到的特征信息不同，采用分塊方式組合的方式可以使人臉表情信息更加有效。實驗結果表明，不同分塊方式的結合可以進一步提高特征提取效果，將不同分塊方式提取到的各個階數高斯馬爾可夫隨機場特征進行結合，形成一個空域增強的人臉表情特征向量，其特征向量為：

θBi,o=θ[b1,b2,…,bi],oi=2,3,…,6

(8)

式中：Bi表示前i種分塊方式的結合。分塊方式結合的實驗獲得的特征柱狀圖如圖5所示，其中：(a)為9、16分塊結合的二階GMRF特征提取方式，即θB2,2得到的不同表情的特征數值分布圖；(b)為9、16和25分塊結合的二階GMRF特征提取方式，即θB3,2得到的不同表情的特征數值分布圖；(c)為9、16、25和49分塊結合的二階GMRF特征提取方式，即θB4,2得到的不同表情的特征數值分布圖。對比單分塊方式的特征數據分布圖可以看出，得到的特征數據特征值更多，不同特征值數據的數量更加多樣化，表明得到了更多的人臉表情細節信息，因此組合方式相對于單一分塊方式的類間差異更大。

(a)9、16分塊結合二階GMRF θB2,2特征數據分布圖

本文針對人臉表情圖像的高斯馬爾可夫隨機場特征提取過程如圖6所示。

圖6 GMRF特征提取過程

3 分類識別

人臉表情的高斯馬爾可夫隨機場特征提取后，要實現對人臉表情進行分類識別，還需要選定并設計表情分類器。本文采用基于K近鄰算法(KNN)方法來實現，該方法是一種典型的非參數分類算法，是圖像處理應用中有效的模式識別算法[20]。

KNN算法的主要思想就是已知訓練集中的數據和標簽，輸入測試數據，然后比較測試數據的特征和訓練集中對應的特征，找到訓練集中與之最相近的前K個數據，那么K個數據中出現次數最多的那個分類就是該測試數據所屬的類別，KNN算法的基本流程如下[20]：

(1)計算歐氏距離。計算測試集中的69個表情數據分別與訓練集中的144個表情數據的歐氏距離。

(2)距離的排序。將歐式距離按照從大到小的順序排列。

(3)選取K值。根據步驟(2)的結果選取距離最近的K個點。

(4)分類判別。查找出K個近鄰的類別，根據投票的方式決定待分類樣本的類別。

假設待測試樣本為ξ=(ξ1,ξ2,…,ξn)，訓練集中樣本為η=(η1,η2,…,ηn)，則待測樣本與每個訓練樣本之間的歐式距離定義為：

(9)

式中：ξk、ηk為待測樣本和訓練樣本的特征屬性；n為樣本特征屬性的個數。在實驗中，采用MATLAB學習庫中KNN模型算法，分別采取不同的K值進行多次實驗。實驗結果表明，當K=1時，測試集的識別率最高。

4 實驗結果與分析

實驗采用了國際上公開的人臉表情數據集JAFFE進行了人臉表情識別分類實驗。JAFFE人臉表情數據集共有213幅人臉表情圖像，由十位日本女性組成，每位女性都包含生氣(anger)、厭惡(disgust)、恐懼(fear)、高興(happy)、中性(neutral)、悲傷(sad)、驚訝(surprise)七種表情。其中每人每種表情都有2到4幅圖像，JAFFE數據集圖像大小為256×256像素。從JAFFE人臉表情數據集中選取144幅圖片用來訓練，69幅圖片用來進行實驗測試，訓練數據和測試數據的數量比值為2∶1，符合實驗的正常測試比例。為了確保實驗的合理性和準確性，用來訓練的144幅圖片和用來測試的69幅圖片中，都包含每位女性的每種表情。

本實驗中，二階、四階、五階高斯馬爾可夫隨機場模型提取的特征維數不同，分別為四維、十維、十二維。因此圖像在不同分塊方式、不同階數高斯馬爾可夫隨機場特征下提取到的特征向量維數不同。例如圖像分為9個子塊提取二階高斯馬爾可夫隨機場特征得到的特征向量為36維；圖像分為16個子塊提取四階高斯馬爾可夫隨機場特征得到的特征向量為160維；圖像分為25個子塊提取二階高斯馬爾可夫隨機場特征得到的特征向量為300維。

表1表示在不同分塊方式下JAFFE人臉表情數據集上的識別率，圖7表示不同分塊方式在JAFFE上的識別率折線圖。可以看出，如果對預處理之后的整幅表情圖像進行分類，則無論對圖像提取哪個階數的高斯馬爾可夫隨機場特征，識別率都較低。其主要原因是對圖像細節信息提取不完全。但是，如果對預處理圖像進行分塊，多種分塊方式的識別率均高于整幅圖像不分塊的識別率。所以，采用適當的分塊方式可以提高人臉表情識別正確率。

表1 不同分塊方式在JAFFE上的識別率

圖7 不同分塊方式在JAFFE上的識別率折線圖

表2表示不同分塊方式組合的識別率，圖8表示不同分塊方式組合的識別率折線圖。可以看出，不同分塊方式組合的特征向量相對于單一分塊方式得到的特征向量，識別率有明顯的提高。然而，在9、16、25、36、49和64子塊的結合時，分塊結合的不同階數的GMRF特征θb6,o，其識別率開始降低或者不再上升，這是由于過多分塊方式的結合使特征信息重復率升高，差異化越來越小造成的。

表2 不同組合方式在JAFFE上的識別率

圖8 不同組合方式在JAFFE上的識別率折線圖

綜上所述，多個分塊方式的結合有利于人臉表情識別率的提高。但人臉表情的分塊以及分塊方式的結合都需要在一定限度之下，過多的分塊以及組合會降低人臉表情識別率。在9、16、25、36、49和64子塊的結合時，不同階數GMRF特征θb6,o的情況下，本文算法的人臉表情識別率達到最高(89.85%)，表明了其有效性。

5 結 語

本文采用高斯馬爾可夫隨機場算法進行人臉表情圖像的特征提取，高斯馬爾可夫隨機場特征可以有效地描述圖像局部的紋理信息及其空間位置關系，刻畫人臉表情變化。為了獲得人臉表情更多的細節信息，本文還對圖像進行分塊處理，且對不同分塊方式提取的GMRF特征進行組合。最后采用KNN分類器進行表情分類實驗，結果表明了本文方法的有效性。