基于人臉T型區域Gabor小波變換的表情識別方法

段曉珊，王坤俠

(安徽建筑大學 電子與信息工程學院，安徽 合肥230601)

0 引言

面部表情是人類情緒一種直觀的外在表達方式，是人與人之間非語言交流的有效手段。心理學家Mehrabian[1]在對人們交流過程中的信息傳達進行了一系列的研究中得出一個公式：“信息的總效果=7%言詞＋38%語調＋55%面部表情。”由此可見，面部表情在信息傳達中占有很重要的比重。人臉表情情感識別的研究可以使計算機更智能、更高效的為人們服務。

作為一種良好的人機情感互動方式，表情識別的研究在近些年受到了眾多學者的重視。根據人類情感的不同，Ekman等[2]定義了六種基本情感：憤怒、恐懼、厭惡、快樂、悲傷、驚訝。并且提出了面部運動編碼系統(FACS)，根據臉部特征部位的運動來更好的描述表情動作。表情識別系統一般包括人臉檢測與定位、表情圖像預處理、表情圖像特征提取和情感識別分類四個步驟。表情特征的好壞直接影響到識別性能的好壞，因此提取到魯棒性強的特征在表情識別中起到很重要的作用。人臉表情特征主要有幾何特征、統計特征、頻率特征等特征。不同的特征在識別中各有各的優缺點。提取表情特征的方法主要有幾何特征提取方法[3，4]、外貌特征提取方法[5]、特征點跟蹤法[6]、彈性圖匹配法[7，8]等。

Gabor濾波器的頻率和方向與人類的視覺系統類似，適合用于紋理表示與判別。因此，Gabor小波變化在人臉表情識別的研究受到廣泛研究者的關注。龔安等[9]使用Gabor變換進行人臉表情圖像的特征提取，并利用局部線性嵌入(LLE)系列算法進行數據降維。公維軍等[10]提出了一種改進的基于基于Gabor的局部敏感人臉識別算法，該方法先用Gabor小波提取局部敏感人臉特征，再用改進的邊界Fisher分析(MFA)算法進行分析。

一些研究者將提取圖像的Gabor特征和其他特征融合之后進行情感識別。陳鵬展等[11]融合Gabor、LBP、LPQ三種特征，并利用基于ELM神經網絡面部表情分類器來進行分類。江淵廣等[12]融合了Gabor特征和幾何特征，對提取的特征塊分別進行Procrustes Analysis，提出了一種基于特征塊權重化的Bp神經網絡算法來進行分類。

Gabor特征具有很好的識別性能，但其冗余度和特征維數較高。為了克服這些缺點，本文提出一種基于人臉T型區域Gabor小波變換的表情識別方法。該方法先提取檢測表情圖像的人臉區域并進行分割，對該區域進行尺寸歸一化和直方均衡化預處理之后，利用構造好的Gabor濾波器對圖像進行不同尺度和方向的卷積。之后提取人臉T型區域的Gabor特征構造成特征向量，通過PCA方法對特征向量進行降維。實驗中通過改變Gabor的不同參數、降維的維數、劃分測試集訓練集的方式和比例，在SVM不同核函數下進行分類，來分析不同參數的識別效果。

1 基于Gabor小波的特征提取

根據人臉表情識別系統的步驟，本文分為表情圖像預處理、Gabor小波特征提取和情感分類三個步驟。本實驗的流程圖如圖1。

圖1 系統流程圖

1.1 圖像預處理

由于圖像采集設備的不同和采集環境的不同，原始的表情圖像往往存在著噪聲、光照明暗不均、對比度不夠的問題。為了保證人臉圖像中人臉大小，眼睛位置以及人臉圖像質量的一致性，在表情識別過程中，首要環節就是對輸入的原始表情圖像進行預處理。

原始的JAFFE表情圖像庫存在背景、頭發等干擾因素，在實驗中先進行人臉檢測，只提取人臉部分進行識別，可以很好的去除干擾。實驗中先用OpenCv下的Haar級聯分類器進行人臉檢測，對原始表情圖像截取到人臉部分之后，由于得到的人臉部分圖片尺寸不一，需要將圖片尺寸歸一化為100*100尺寸。為了保證表情圖像消除光線和光照強度的影響，再對表情圖像進行灰度化和直方圖均衡化處理，預處理之后的圖像如圖2：

圖2 預處理后的表情圖像

1.2 Gabor特征提取

Gabor小波變換[13]具有時域信號和頻域信號的局部化的優點，能夠很好地提取目標圖像的不同空間位置、頻率和方向上的特征，并且能夠克服光照、尺度、角度等全局干擾對識別效果的影響[14]。因此在人臉識別領域獲得了廣泛的應用。

Gabor變換是一種采用高斯函數作為窗函數時的短時傅里葉變換，二維Gabor小波定義如下：

其中μ,ν分別表示Gabor濾波器的方向和尺度，‖‖.表示范數，z(x,y)表示圖片的某一點像素的坐標，σ表示高斯包絡，kμ,ν決定控制高斯窗的寬度、震蕩部分波長及方向。定義kμ,ν為：

其中，kν為濾波器采樣頻率，kmax為最大頻率，fυ表示限制頻域中核函距離的間隔因子。實驗中經常采用5個頻率和8個方向組成的40個濾波器，采用 σ=2π，μ=0，1，2，3，4。υ=0，1，2，3，4，5，6，7。濾波器核函數的圖像如下圖3。

圖3 Gabo核函數圖

對經過預處理之后的圖像，用構造好的Gabor小波核函數與其進行卷積。用I(z)表示經過預處理之后的圖像，ψ(z)表示 Gabor核幅值特性，Iμ,ν(z)表示Gabor核函數和圖像進行卷積后的結果。圖像的卷積輸出為復數形式，該復數的量值為提取的Gabor特征值。得到的40個卷積后的圖像如圖4。

圖4 與Gabor卷積后的圖

1.3 T型區域的提取

由于人臉信息大部分存于眼睛、鼻子、嘴巴等區域，且Gabor小波變換存在著冗余度大的問題。如實驗中預處理之后的圖片尺寸為100*100，使用40個Gabor濾波器與圖像進行卷積后得到的特征維度為400000(100*100*5*8)。本文提出的提取人臉T型區域進行識別的方法，區域包括眼睛，鼻子，嘴巴。T型區域主要包括兩部分，第一部分選取濾波后圖像的0-100行中間20-50列的像素，第二部分選取濾波后圖像的20-75行中間50-95列的像素。T型區域共5475(100*30+55*45)個像素，為原圖像一半的像素，進行卷積后得到219000維特征維度，因此采用T型分布的Gabor特征，不僅可以保留絕大部分重要的Gabor特征點，同時很好地降低Gabor矢量的特征維數。得到的T型區域如下圖5。

圖5 人臉T型圖

1.4 PCA降維

經過Gabor變換后的特征向量維度高，實驗采用PCA方法，即主成分分析法進行特征向量降維。PCA應用在人臉識別的基本思想就是從人臉圖像中找出最能代表人臉的特征空間，去除一些不能代表人臉特征的屬性。圖片經過PCA降維投影到特征空間，使得數據在一個低維的空間里被處理，減少的冗余同時還可以保留原始數據的絕大部分信息。PCA方法步驟如下：

(1)按列計算數據矩陣的均值。

(2)計算步驟(1)的協方差矩陣。

(3)計算步驟(2)的特征值和特征向量。

(4)按從大到小順序排列特征，選擇前k個組成特征向量。

2 實驗結果及分析

實驗在日本JAFFE庫上進行，該庫由10名女性的7種表情構成，分別為生氣、厭惡、害怕、高興、中性、悲傷和驚訝。每種情感有3-4張圖像，總共有213張圖像。實驗中隨機選取170張圖片作為訓練集，43張圖片作為測試集。選取支持向量機(SVM)作為分類方法，根據SVM的核函數可應用于不同的分類情況。實驗中在不同核函數條件下分別計算了相對應的識別率。

實驗結果經過整理如表1、表2。由表1可見，生氣、厭惡、害怕和中性表情的識別率最高，其次為驚訝和悲傷，高興的識別率最低，平均識別率可達88.37%。因為在多角度多方向的Gabor濾波器作用下，生氣、厭惡、害怕和中性的特征容易提取，而高興的表情特征相對于不容易提取，因此識別效率相對于較差。表2未經過T型提取的實驗結果，表情識別率可達86%，對比可知，T型區域(眼睛、鼻子和嘴巴)進行人臉識別可有效提高識別性能和效率且T型區域具有明顯的人臉表情特征。表3給出了主要分類指標的文本報告。根據每種情感的精度、召回率和F1值的結果綜合評價，可以看出生氣和中性的F1值達到了1，表明這兩種情感的特征比較明顯，精度和召回率都達到了最佳。

表1 人臉T型Gabor小波變換識別效果

表2 人臉原臉Gabor小波變換識別效果

2.1 Gabor濾波器參數的影響

Gabor濾波器可構造不同方向和不同角度的核函數，與圖像進行卷積即可得到不同方向和角度的特征圖像，實驗中選擇了Gabor核函數為5*8、4*8和3*8的三組濾波器分別進行，得到的結果如表4。可以看到，當選擇了3*8的Gabor核函數可以達到90.7%的準確率，在時間效率上也有一定提高。

表3 人臉T型Gabor小波變換分類報告

2.2 PCA降維維度的影響

經過Gabor濾波器之后的特征向量特征維度較高，實驗采用PCA進行降維，根據實驗可知，不同的維度可產生不同的識別率。不同維度的識別率結果如表5.根據表5所示，進行PCA降維后，與未進行降維相比，可達到同樣的準確率88.37%，但是大大縮短了識別時間。

2.3 劃分數據集方式的影響

實驗采用了隨機劃分和交叉驗證的兩種劃分方式來探究對識別率的影響。train_test_split是將數據集隨機劃分為矩陣訓練集和測試集。StratifiedKFold分層采樣交叉切分，確保訓練集，測試集中各類別樣本的比例與原始數據集中相同。由表6可知，選取隨機分配方式，測試集比例為0.1的時候可達最高準確率95.45%。

3 結論

人臉T型區域Gabor小波變換的表情識別方法很好的降低了Gabor濾波器提取的特征維度。與人臉全臉表情識別相比較，該方法具有更高的表情識別率以及更強的魯棒性，并且在時間效率上也有很大的提升。實驗結果證明，選擇構造合適的Gabor濾波器組、PCA降維維度和圖像測試集訓練集劃分方式和比例對識別結果都有一定的影響。

表4 不同Gabor參數的識別率效果

表5 不同維度的識別率效果

表6 劃分方式不同的識別率效果