基于改進LBP和Gabor感興趣區域的個體情緒分類

沈繼云

（無錫南洋職業技術學院 江蘇省無錫市 214081）

1 引言

面部表情作為情感計算的一個重要分類，同時應用于其他領域如機器視覺、人機交互以及智能控制等[1]。當前研究者主要將人臉表情分為七類：中性（Neutral）、高興（Happy）、悲傷（Sad）、憤怒（Angry）、恐懼（Fear）、驚訝（Surprise）和厭惡（Disgust）。

Gabor 小波變換[2]作為表情特征提取的重要方法之一，因魯棒性強對噪聲不敏感一度成為研究熱點，但其特征維數較高計算量大。局部二值模式（Local Binary Pattern,LBP）能夠較好的描述圖像的局部紋理，但其對噪聲敏感易受影響[3]。

基于以上考慮，本文通過對LBP 算子進行改進，提出基于改進LBP和Gabor感興趣區域表情特征提取方法。該方法首先對LBP 進行改進，提取方向均值LBP；再將方向均值LBP 特征與Gabor 感興趣區域特征結合；最后將結合后的方向均值LBP-Gabor特征作為BP 神經網絡的輸入進行分類。

2 特征提取

2.1 Gabor小波

二維Gabor 小波與人類大腦皮層的二維反射區有著相似的特性[4]，其對于圖像的光照強度具有一定的容忍能力，對表情的局部特征提取明顯。

二維Gabor 小波可以用以下函數表示：

其中，參數u 表示濾波器的方向，參數v 表示濾波器的尺度；z=(x,y)表示表情圖像中像素的坐標；濾波器寬度與波長的比例表示為σ；i 是復數單位。

2.2 感興趣區域

感興趣區域ROI（Region of Interest）提取[5]，在表情識別領域通常指的是圖像中對表情分類起主要作用的區域。眼睛、鼻子和嘴巴三個區域幾乎涵蓋了所有表情的重要特征，所以本文在Gabor 和LBP 特征提取中只選取這三部分特征作為BP 分類器的輸入。

在表情庫并不是太大的情況下，ROI 區域的選取采用手動獲取將會更加準確。圖1 展現了ROI 獲取過程，算法采用四點標注依次來選取眼睛、鼻子以及嘴巴三個區域并用矩形表示，獲取后的區域切割后進行保存并提取相應Gabor 以及LBP 特征。

圖1：ROI 獲取過程示意圖

3 方向均值LBP

3.1 經典LBP算法及分析

LBP 算子主要用來描繪圖像的局部紋理細節。如圖2所示，原始的LBP 算子設定為窗口大小3*3 內，3*3 的中間像素值為閾值，將周邊8 個像素依次與中心像素進行比較，若大于閾值則該像素點記為1，否則記為0。這樣，按照一定的順序（如順時針或逆時針）將0、1 組成一組8 位二進制數，將該二進制轉換成十進制即代表中心像素的LBP 值，且用該值表示圖像局部紋理信息。

圖2：LBP 編碼過程

經典LBP 算法可以描繪圖像的局部紋理信息，用周圍像素來表征中心像素。但其總是從中心像素特定方向位置開始生成表征LBP 值得二進制編碼，如圖2所示，圖像中每一個中心像素二進制編碼計算都是從左上方的0 或1 開始，最終中心像素左上方總是處于二進制編碼的最高位，最終導致生成的二進制陷入局部方向特征。在特定位置總賦予固定編碼位，最終的LBP 特征呈現出加強或減弱特定方向的特征信息，影響算法識別速度與精度。

3.2 方向均值LBP計算方法

針對3.1 節提出的經典LBP 算法的缺陷，提出改進的方向均值LBP。該方法為避免 LBP 算子陷入方向特征信息，采用相對于中心像素不同位置的周圍像素依次作為二進制編碼最高位，按照順時針方向依次生成8 個二進制LBP 編碼，最后將二進制編碼轉換成十進制，并取它們的均值，即得出方向均值LBP 編碼如圖3所示。分別從編號（①②…）按照順時針方向開始記錄二進制編碼并轉換成十進制，即得到8 個LBP 編碼，將8 個LBP 編碼取平均且取整，得到最終表示中心像素的方向均值LBP 編碼。

圖3：方向均值LBP 編碼

4 實驗與分析

本文基于改進方向均值LBP 和Gabor 感興趣方向的人臉表情特征提取方法采用JAFFE 人臉表情庫進行實驗，該庫總計213 張表情圖片。其中包含日本10 名女性的7 種表情，每種表情涵蓋2-4張圖片，實驗環境為MatLab。實驗的運行平臺性能如表1所示。

表1：測試平臺

表2給出了在不同算法同一JAFFE 表情庫下的表情識別率。從表中可以看出，本文算法相比于直接運用Gabor 和LBP 進行特征提取提高了一個百分點，因為改進的LBP 克服了經典LBP 算子易陷入局部特征方向的缺陷，使領域像素更能清晰的表示中心像素，提高算法識別率。其次，對于感興趣區域的人臉眼睛、鼻子以及嘴巴進行特征提取而不是將整個人臉進行提取，有效的降低了特征維數提高算法效率。

表2：不同算法下的識別率對比

5 總結

總而言之，本文提出改進的方向均值LBP，將中心像素和領域像素作差得到特征符號后，再分別以各領域像素占據局部二值編碼的最高位，將八個局部二值編碼取平均得到中心像素的特征表示。最后將圖像子區域方向均值LBP 特征與Gabor 特征結合，用于BP神經網絡分類的輸入特征數據。本文方法在JAFFE 表情庫上進行實驗并與原有LBP 和Gabor 結合進行比較，驗證了本文算法的有效性。本文表情識別結果可用于預測可疑人員情緒判斷其行為，提高城市公共安全。

從研究的視角來看，本文提出的基于改進方向均值LBP 融合Gabor 感興趣特征的表情特征提取方法。該方法針對經典LBP 算法易陷入局部方向特征的不足進行改進，并提取人臉的感興趣區域提取方向均值LBP 和Gabor 的融合特征，有效的避免了LBP 特征陷入方向特征信息并利用僅對感興趣區域提取特征降低了算法復雜度，提高了算法效率。

與此同時，如何將表情識別算法應用于城市交通監測監管設備，通過檢測個體表情或情緒預測其行為傾向提高城市公共安全，這將是下一步研究的重點和方向。