基于NIFEIEN和GLBP特征的人臉表情識別

張 偉，伊力哈木·亞爾買買提

(新疆大學電氣工程學院，新疆 烏魯木齊 830047)

1 引言

人臉表情既是人與人之間進行溝通的重要手段，也是信息時代實現人機交互的前提，隨著人機交互與人工智能的興起，它已經成為國內外模式識別和人工智能的熱門研究課題，被廣泛應用于人機交互系統中，如遠程教育、人群分析、生物識別、臨床監測等[1]。

由于存在表情個體間的變換，外加面部圖像獲取時受姿態、表情、光照，遮擋，種族等背景條件變化因素影響[2，3]，人臉表情識別率有待進一步提高。表情特征提取作為表情識別研究中最重要的一環，所提取特征的魯棒性和完整性會決定最終識別結果的好壞[4]。為解決非均勻光照下人臉表情識別問題，近年來，提出各種針對非均勻光照干擾情況的算法：主成分分析法(PCA)[5]、局部二值模式(LBP)[6]、Gabor變換[7]、深度學習方法等。

以上這些算法雖然具備一定的識別能力，但是識別精度有待進一步提高。主成分分析法(PCA)可以進行特征壓縮，去除特征冗余，但在復雜環境下，如非均勻光照下，其性能普遍較差；局部二值模式(LBP)在人臉表情識別中會使其獲取的LBP直方圖特征向量維數較大，計算時間增加；因Gabor人臉表情特征提取是多尺度和方向，所以存在特征冗余和提取時間過長問題；深度學習方法雖在人臉識別領域取得不錯效果，但在非均勻光照下，N.Pattabhi Ramaiah[8]和 Y.-H.Kim[9]等人首先利用深度卷積神經網絡提取非均勻光照人臉圖像的光照魯棒特征，然后利用常用識別算法進行后續的人臉識別，但是識別率不是很好。

同時也有研究者提出改進方法，周書仁等[10]在對 PCA 進行改進后，提出了獨立成分分析(Independent component analysis，ICA)，并將其與隱馬爾科夫模型(Hidden Markov model，HMM)結合，在保持識別效率的同時提升了識別準確率。Kumar[11]通過改進LBP算法，通過加權投影的LBP算法提取投影到神經面部圖像表情信息，在不同數據集取得不錯識別效果。魏月納等[12]提出基于Gabor 融合和分塊處理的人臉識別算法，提高了訓練樣本不足時人臉識別的準確率。Perez[13]等人通過構建六層卷積神經網絡，實現了水下圖像增強，該網絡僅由大小均為 3×3 的卷積核堆疊六層得到，卻取得優于傳統算法的效果。

鑒于以上因素，提出一種圖像增強網絡和信息熵加權的GLBP特征提取算法，其既利用卷積神經網絡中特定卷積結構代替多尺度Retinex算法中固定的高斯核函數進行非均勻光照干擾估計，使得估計更加精確、更加完整，同時，相較于傳統的人臉表情特征提取算法，信息熵加權的GLBP特征識別算法具有較強的特征解析能力和非均勻光照下魯棒性。提出的算法克服了非均勻光照下特征提取困難、識別效果差等問題，并提升了表情識別準確率。

2 非均勻光照下表情圖像預處理

作為表情識別過程的第一步，有效的圖像預處理可以提取更好的表情特征。在Jaffe數據集和自建數據集上進行預處理工作。其中，Jaffe人臉庫包含213張由10名日本女學生做出憤怒、厭惡、恐懼、高興、悲傷、驚訝、中性的7種表情圖像。自建數據集包含174張由29名新疆維吾爾族學生做出除中性外的6種表情圖像。預處理工作主要包括4個步驟：

1)將圖像人臉區域裁剪出來并尺寸歸一化為48*48像素大小的圖像，效果如圖1。

圖1 裁剪效果圖

2)添加正常、半黑、暗光、弱光和強光5種光照，效果如圖2。

圖2 添加光照效果圖

3)考慮到數據集中圖像數量不足和在實際生活中人在做表情存在歪頭情況，對數據集進行左右各10°、20°旋轉和翻轉的數據增強操作，將數據集擴充至原來的6倍，經過數據增強，Jaffe數據集和自建數據集圖像數量分別為6390和5220張。

4)構建非均勻光照人臉表情圖像增強網絡(Non-uniform Illumination Facial Expression Image Enhancement Network，NIFEIEN)，將表情圖像由非均勻光照下轉換至均勻光照下，得到增強的圖像。

2.1 多尺度Retinex理論的圖像增強算法

多尺度Retinex 算法的核心問題是從原始圖像S(x，y)中通過近似的方法來對光照分量進行估計[14]，并將其去除，得到增強的圖像。為了確保圖像增強效果良好，使用小、中、大三個多尺度的高斯核函數進行光照分量L獲取和去除。多尺度Retinex算法公式如式 (1)所示

(1)

其中，K是中心環繞函數的個數，Fk(x，y)是第k個中心環繞函數，wk是對不同尺度半徑下所獲得圖像加的權重，S(x，y)是原始圖像，r(x，y)是結果圖像。

2.2 NIFEIEN網絡結構

傳統卷積神經網絡(Convolution Neural Network，CNN)是一種前饋神經網絡，一般由輸入層、隱含層和輸出層構成。其中，輸入層主要是接收外界輸入的信息，隱含層對輸入的信息進行分析與傳播，輸出層發送已被處理的信息。根據上述思想，NIFEIEN網絡包含了淺層表達、非均勻光照干擾估計、特征壓縮和圖像生成四大模塊。下面對各模塊功能進行介紹：

2.2.1 淺層特征表達模塊

該模塊包含一個卷積結構，其功能是將原始圖像進行特征表達，實現空域與特征域的轉換。此模塊將用64張特征圖對1張原始圖像進行充分特征表達，同時和下一模塊完成特征圖數量匹配，從而進行減法操作，每個特征圖都存在非均勻光照干擾。

2.2.2 非均勻光照干擾估計模塊

該模塊分別由并列的2、3、4個卷積結構構成，它的3個支路分別將上一模塊的64張特征圖作為輸入，得到64張非均勻光照干擾估計圖。受多尺度Retinex理論啟發，此模塊用不同深度的卷積結構代替多個尺度的高斯核獲取非均勻光照干擾估計圖。在此設計中，所有參數都是通過訓練數據學習得到，避免了手動設置不準確的問題，使得對非均勻光照干擾估計更準確，并且每個支路得到64張特征圖，使得對非均勻光照干擾估計更完整。最后3個支路得到的192張非均勻光照干擾估計圖與上一模塊獲取的特征圖進行減法操作得到去除非均勻光照干擾的人臉表情特征圖。

2.2.3 特征壓縮模塊

該模塊包含一個卷積結構。它將非均勻光照干擾估計模塊輸出的192張特征圖進行修正和消除冗余信息操作，得到64張高質量的人臉表情特征圖，保證了下一模塊獲取的均勻光照人臉表情圖像的質量。

2.2.4 圖像生成模塊

該模塊包含一個卷積結構。其功能是將上一模塊中64張人臉表情特征圖生成一張增強的人臉表情圖像。作為輸入的64張人臉表情特征圖經過前三個模塊后，去除了非均勻光照干擾，保留了主要的人臉表情信息。但由于對人臉表情信息保留程度和對非均勻光照干擾的去除程度不同，造成人臉表情特征圖之間存在差異性。該模塊對這些差異性進行學習，從而得到每張人臉表情特征圖最佳權重，使得網絡增強效果提升。網絡結構圖如圖3。

圖3 NIFEIEN網絡結構圖注：(a)淺層特征表達；(b)非均勻光照干擾估計；(c)特征壓縮；(d)圖像生成

其中 N 為卷積層提取的特征圖個數，S 為步長，卷積核的大小為3*3，網絡中的基本卷積結構是由卷積層(Convolution，Conv)、批規范化層(BN)、激活函數層(Relu)構成。非均勻光照下人臉表情圖像經過NIFEIEN網絡去光照處理效果如圖4。

圖4 光照去除效果圖

從圖4可以看出，經過上述預處理步驟得到了大小合適的去除非均勻光照干擾的人臉表情圖像，接下來需要對其進行特征提取。

3 非均勻光照下表情圖像特征提取

作為表情識別過程的第二步，特征提取的好壞直接影響表情識別準確率的高低。為提高非均勻光照下表情識別準確率，提出了特征解析能力更強的信息熵加權的GLBP特征識別算法。

3.1 Gabor特征提取

Gabor特征具有空間局部性和方向選擇性，能夠描述眉毛、眼睛等幾個關鍵表情部位多尺度紋理特征，并且對光照具有一定的魯棒性，適用于非均勻光照下人臉表情特征提取。

二維Gabor小波的定義為

(2)

圖5 Gabor特征圖

從圖5可以看到，Gabor提取的主要是眉毛、眼睛、鼻子和嘴巴等主要特征部位信息。但取5尺度8方向的分解方式描述人臉表情特征造成特征冗余和提取時間過長問題。所以，需對提取到的Gabor特征進行融合。用fmn(x，y)表示得到的5個尺度、8個方向的Gabor特征。其中m取1到5，n取1到8。公式如下

(3)

(4)

利用式(3)對Gabor特征進行同一尺度8方向的融合，得到5個尺度的特征。然后，利用式(4)對5尺度特征采用求均值方式進行融合，得到融合特征圖。

3.2 LBP特征提取

LBP(Local Binary Pattern，局部二值模式)是一種用來描述圖像局部紋理特征的算子，它具有旋轉不變性和灰度不變性等顯著的優點[15]。將Gabor特征圖分成9個子塊，每個子塊中的面部特征由9個像素的灰度值描述，利用LBP對相鄰8個像素的灰度值與中心的像素的灰度值依次比較，得到一個8位的二進制數，再轉化為十進制，得到GLBP特征值。目標部位的9個像素的灰度值分布如圖6，Gabor特征分塊圖如圖7。

圖6 像素的灰度值分布

圖7 Gabor特征分塊

以圖6為例，首先，以P1為起點將相鄰8個像素的灰度值以順時針方式進行排列。然后按照順序，從P1開始依次與中心像素的灰度值P9進行比較，結果如下

(5)

其中，C∈[1，8]。最后，將得到的二進制數轉化為十進制數，作為該目標部位GLBP特征值

(6)

以圖7(b)為例，獲取嘴巴部位像素的灰度值分布，并進行LBP特征提取得到該部位的GLBP特征值，過程如圖8。

圖8 GLBP紋理提取過程

3.3 圖像信息熵

1948年，香農提出了信息熵的概念，并將其定義為“用來消除不確定性的東西”[16]。非均勻光照干擾估計本身存在不確定性，為了去除它，將圖像信息熵作為權值系數加到LBP特征中，突出表達眉毛、眼睛等重要表情部位特征，提高識別準確率。

設圖像分為9個子塊，第i個子塊的信息熵表示為

(7)

(8)

最后，將所求每個子塊權重數Wi與對應的GLBP特征值TGLBP相乘，得到一組3行3列的矩陣，利用主成分分析(Principal Component Analysis，PCA)對數據進行降維，得到信息熵加權的GLBP特征用于NN網絡的訓練與分類。綜上所述，改進的信息熵加權的GLBP算法流程如圖9。

圖9 算法流程圖圖

具體步驟如下：

1) 裁剪數據集中人臉區域并添加光照。

2) 利用NIFEIEN網絡去除圖像中光照干擾，輸出增強圖像。

3) 提取增強圖像的Gabor特征，并對特征圖分塊。

4) 利用式(5)、(6)求得GLBP特征值。

5) 對GLBP特征進行加權處理，并利用PCA對加權特征進行降維。

6) 使用NN網絡進行表情識別與分類。

4 實驗分析

用于NIFEIEN網絡訓練的Jaffe數據集和自建數據集圖像數量分別為6390和5220張。訓練集和測試集按3：1劃分。所有實驗使用CPU2.40GHz，內存為8GB的計算機，在Anaconda3 Spyder實驗平臺下進行。

4.1 算法分析和比較

在特征提取階段，圖像信息熵的計算是分別計算一張特征圖若干子塊的信息熵。而不同分塊方式會對識別率有影響，所以在2個數據集上對3種不同的分塊方法共進行了5次實驗，通過實驗結果進行比較，選擇最優分塊方式。實驗步驟按照上述算法流程步驟。2個數據集的不同分塊方式識別率見表1和表2，識別率對比圖如圖10和圖11。

表1 Jaffe數據集不同分塊方式識別率

表2 自建數據集不同分塊方式識別率

圖10 Jaffe數據集不同分塊方式識別率

圖11 自建數據集不同分塊方式識別率

從表1和2、圖10和11中可以看出，隨著訓練次數增加，不同的分塊方式的識別率也隨之提高，但相比于2×2與4×4的分塊方式，3×3分塊方式在5次不同的訓練次數實驗中識別率略高，取得不錯的分類效果。并且，在相同訓練次數中，3×3分塊方式的識別率都高于2×2與4×4的分塊方式的識別率，可見3×3分塊方式是一種最優分塊方式。

選擇3×3分塊方式在2個數據集上采用不同的訓練次數對各算法進行比較實驗。實驗結果見表3和表4，識別率對比圖如圖12和圖13。

表3 Jaffe數據集在不同算法的識別率

表4 自建數據集在不同算法的識別率

圖12 Jaffe數據集在不同算法的識別率

圖13 自建數據集在不同算法的識別率

從表3和4、圖12和13可以看出，相比其它3種算法，所提算法在2個數據集中實驗識別率最高。在經過50輪訓練后，所提算法在Jaffe數據集上達到0.9614的最高識別率，并且在自建數據集上達到0.935。而除了NIFEIEN+LBP+PCA+NN算法外，剩下2種算法的識別率普遍比較低，在Jaffe數據集上最高識別率均未超過0.91；在自建數據集上最高識別率均未超過0.84，由此看出所提算法識別準確率大幅度提升。結果證明，所提算法對非均勻光照下人臉表情圖像辨識效果更好，識別優勢明顯。

4.2 運算時間比較

同時，本文又從運行時間方面考慮，對比各算法在非均勻光照下的Jaffe數據集和自建數據集中人臉表情識別的處理運算速度，運算時間見表5和表6。時間單位：s。

表5 不同算法處理Jaffe數據集運算時間

表6 不同算法處理自建數據集運算時間

從表5和6可以看出，經過NIFEIEN網絡去光照之后，采用了不同特征提取方法進行表情識別。Gabor和HOG算法在Jaffe數據集上運算耗時分別為102.793 s和171.365 s，在自建數據集上運算耗時分別為98.215s和126.432s。雖然耗時相對較短，但它們精度偏低，不適宜用于表情識別。相比于LBP算法，信息熵加權的GLBP特征提取算法在Jaffe數據集和自建數據集上平均運行時間分別縮短0.97%和0.96%，運算速度提高說明了所提算法在2個據集上的運行速度存在明顯優勢，大大縮短了識別時間。

5 結束語

針對非均勻光照下人臉表情識別速度慢，精度低等問題，提出一種圖像增強和信息熵加權的GLBP特征提取算法。從表情識別的圖像預處理和特征提取兩方面對算法性能進行優化，并在識別準確率和識別速度兩方面與傳統算法進行比較實驗，突出體現所提算法三大優勢：

1) 經NIFEIEN網絡去除非均勻光照干擾的表情圖像保持了高質量，利于特征提取。

2) 改進的信息熵加權的GLBP識別算法憑借對非均勻光照下表情圖像優異的特征解析能力，取得更高的識別準確率。

3) 所提算法加快識別速度，很大程度上減少識別時間。