高斯核方向導數和RILPQ融合的人臉表情識別?

張鵬鵬 陳 英 葛楊銘

（南昌航空大學軟件學院 南昌 330063）

高斯核方向導數和RILPQ融合的人臉表情識別?

張鵬鵬 陳 英 葛楊銘

（南昌航空大學軟件學院 南昌 330063）

針對人臉表情識別中特征提取出紋理信息粗糙、邊緣輪廓不清的問題，論文提出了一種基于高斯核方向導數與RILPQ相結合圖像特征提取方法。在RILPQ算法中引入高斯核多方向導數形成濾波器，在支持向量機中進行表情分類，將算法應用于JAFFE數據集表情數據集。實驗結果為在濾波窗口半徑為11像素，論文算法識別率最優，并高于LPQ算法、RLPQ算法識別率。同時也證明，高斯窗窗口半徑和濾波方向對算法的表情識別率有影響。

人臉表情識別（FER）；旋轉不變局部相位量化（RILPQ）；各向高斯核函數及方向導數；支持向量機（SVM）

1 引言

人臉表情包括豐富的情感信息和心理信息，是人類情感表達的最主要最直接的肢體語言之一。人臉表情識別（Facial Expression Recognition，FER）技術就是在人機交互條件下，使用計算機技術提取出人臉表情豐富的圖像特征信息，計算機通過人臉表情圖像分類識別的結果推斷出人不同的心里狀態。

旋轉不變局部相位量化（Rotation Invariant Local Phase Quantization，RILPQ）理論，由Ville Ojansivu等于2008年提出［1］，應用于空間模糊不敏感圖像紋理特征提取。此算法通過在LPQ算法［2］基礎上發展而來，通過旋轉變換定位系數矩陣，加入圖像旋轉不變性，也增強圖像模糊、光照、方向下的魯棒性。Jiawei Li等于2012年提出RILPQ算法與稀疏算法（SPC）結合算法，應用在人臉表情識別領域，證明在JAFFE數據集該算法識別率高于LBP、LBP+SRC、2DPCA+SVM等算法［3］。

本文繼承RILPQ特征提取算法的旋轉不變性和模糊不變性的優點同時，針對RILPQ算法中邊緣輪廓不清、紋理信息較為粗糙等問題，提出了一種基于高斯核方向導數和RILPQ融合的特征提取算法。通過在RILPQ算法中引入方向導數高斯濾波器，在高斯圓窗內進行四方向和八方向特征提取，將特征變量送入支持向量機（Support Vector Machine，SVM）中訓練后表情識別。實驗考察了不同的高斯窗窗口半徑下在四方向和八方向提取的特征變量在SVM中識別率，將此算法與LPQ［4］、RILPQ［5］算法比較，證明本算法JAFFE數據集［6］下表情識別率高于前兩者。

2 RILPQ特征提取算法

RILPQ算法主要思想是通過計算每一個像素點的典型方向，再將每個局部鄰域旋轉到典型方向計算圖像的LPQ特征［7］。每幅人臉表情圖像在一個窗口中相位位置的信息去相關后被均勻量化到多維空間，將連接各個區域的RLPQ直方圖序列作為圖像特征表示。

在旋轉半徑為r的圓上，頻率點為vi=r[cos(φi)sin(φi)] ，旋 轉 角 度 φi表 示 為φi=2πi/M ，M 為在圓周上的旋轉方向數。高斯窗中離散傅里葉變換結果向量表示為

式（1）中函數wR(x)為高斯圓窗，表示為

式（1）中離散傅里葉變換后的結果向量表示為V(x)=[F(v0，，x)， F(v1，，x)， F(v2，，x)， …， F(vM-1， x)]

（3）

此時，結果向量V(x)為對行和列的一維卷積定位x旋轉后狀態。再將V(x)虛部量化，得到虛部量化矩陣C(x)：

量化方向b(x)可以表示為

式（5）中ci是C(x)第i個分量。每個像素點x的典型方向δ(x)定義為

旋轉θ角后的典型方向作為估算特征方向，用δ'(x)表示，其中Rθ為θ角對應二維旋轉矩陣：

總之，RLPQ算法的核心就是把每一個局部鄰域旋轉到典型方向，再在進行短時傅里葉變換［8］。

圖像短時傅里葉變換公式為

圖像旋轉后公式為

推導結果表明，RILPQ旋轉變換僅僅重新定位了LPQ系數矩陣，不影響直方圖構造，所以RILPQ算法在繼承了LPQ模糊不變性的同時也具有旋轉不變性［9］。

3 各向高斯核方向濾波器

高斯核和方向導數通過計算不同平滑下的方向導數，可以應用于圖像的輪廓檢測［10］。高斯核函數可以表示為

其中，δ是尺度因子，圖像的平面坐標表示為x=[x，y]T。將高斯核函數旋轉θ角度，得到一組各向高斯核函數為

Rθ為旋轉矩陣，表示為

對上式各向高斯核函數在θ方向上求方向導數，得到θ方向上的各向高斯核方向導數濾波器φσ，θ(x)：

由上面推導可以看出，各向導數濾波器平滑作用只與尺度因子σ有關，方向因子θ是為了提取圖像在各個方向上的變化信息［11～12］。

4 本文提出的RILPQ與高斯核方向導數融合算法

本文算法是在旋轉半徑為r的圓上，使用高斯核方向導數濾波器在窗口函數上濾波，各向高斯核方向濾波器可以表示為φσ，θ(x)：

將該濾波函數加入傅里葉變換中后公式表示為

上式可以看出，方向濾波器濾波范圍在高斯圓窗內，濾波范圍由高斯窗半徑大小決定，濾波尺度由尺度因子σ決定，濾波方向由旋轉濾波角度θk決定。

θk=kπ/n（其中 k=0，1…，n），n為濾波方向數。

傅里葉變化的結果向量V(x)為

其中M為在圓周上的旋轉方向數，離散精度為2π/M ，結果向量量化后的方向向量為

此時，圖像也做短時傅里葉變換：

圖像旋轉后表示：

推導結果表明，本文算法中RILPQ旋轉變換重新定位RLPQ系數矩陣，不影響直方圖構造。通過在各旋轉方向上加入了利用高斯核方向導數形成方向濾波器濾波因子，繼承RLPQ算法旋轉不變性和模糊不變性的同時在設定的方向上旋轉濾波，達到去除圖像噪聲，增強圖像輪廓作用。

圖1為在半徑為R高斯圓窗內，四方向濾波和八方向示意圖。圖2為圖1對應的濾波方向上的導數濾波器，四個特征頻率點 μ1=[a，0]Tμ2=[0，a]Tμ3=[a，a]T，μ4=[a，-a]T的實部和虛部形成的導數濾波器從左到右排列。

圖1 四方向和八方向濾波器示意圖

對一張256×256像素表情圖像分別進行RILPQ算法和本文算法特征提取后生成典型方向灰度圖進行對比研究，如圖3所示。特征提取濾波半徑R=5，尺度因子σ2=4，圖3顯示了改進后的RILPQ算法人臉輪廓更為清晰，且加入濾波效果（也較為明亮）。這也證明了本文算法同時具有增強圖像邊界和平滑效果。

圖2 四方向和八方向下導數濾波器

圖3 原圖像、改進前、改進后的典型方向灰度圖

本文采用RILPQ算法與高斯核方向導數融合的算法特征提取后，再將特征矩陣送入SVM中。識別流程如圖4所示。首先，將高斯方向濾波器加入傅里葉變換中，抽取特征向量的典型方向（如圖4中典型方向圖）；然后，圖像的RILQ特征提取，并使用特征變量分級量化構造直方圖（如圖4中RILPQ特征）；最后，將直方圖送入SVM訓練后實現七種人臉表情的表情分類。

圖4 表情識別流程圖

本文使用高斯核函數，SVM輸出表示為

其中權重參數 ai是 SVM［13］的 Langrange乘子，中心點xi是SVM的支持向量，閾值b和中心點的個數自動設定，懲罰參數的選擇與誤差上界有關，可以表示為C=10θ。對于一個固定的特征空間，當C超過一定值時，支持向量機的復雜度達到空間T上允許的最大值，經驗風險就不再變化，即識別率不在發生變化［16］。所以，本實驗只需要設置懲罰參數和核半徑δ就可完成人臉表情分類［14～15］。

5 數值實驗和分析

為了驗證算法的性能，本文使用JAFFE數據集實驗，JAFFE中一組表情如圖5。實驗每次隨機選取不同女性的七種基本表情各兩張圖片作為訓練樣本，各140張，剩余表情作為測試樣本，個別樣本表情不足用中性表情代替。實驗重復三次，訓練樣本為140×256矩陣，測試樣本為70×256矩陣，使用平均分類識別率作為判別正確分類表情樣本數與所有測試樣本數的比值。

圖5 JAFFE中的一組表情

在本實驗中，共分為兩組實驗。第一組實驗是分別四方向濾波和八方向濾波的表情識別。其中，尺度因子σ2=4，SVM核半徑δ分別為2.5、2，不同濾波半徑下四方向和八方向識別率見表1和表2。實驗結果為：1）高斯核方向濾波器的濾波半徑和濾波方向影響本算法的識別率。2）采用四方向濾波，設置高斯圓半徑為11像素時，在JAFFE數據集上取得的識別率最高，為0.9315。

表1 不同濾波半徑下四方向濾波實驗結果

表2 不同濾波半徑下八方向濾波實驗結果

第二項實驗分別使用LPQ、RILPQ和本文算法在JAFFE數據庫中比較實驗，七種表情的識別率如圖6所示。橫坐標代表七種表情，分別為：生氣、厭惡、恐懼、高興、中性、悲傷、驚奇。實驗數據顯示：本文算法除恐懼表情識別率低于RILPQ算法外，其他表情識別率均高于LPQ、RILPQ算法。

圖6 三種算法中不同表情識別率

最后，本文實驗可以證明，高斯窗窗口半徑的選擇和濾波方向選擇對表情識別率有影響。采用四方向濾波，高斯圓半徑為11像素時，JAFFE數據集表情識別率最高。分析認為由于高斯核方向導數濾波器可以捕捉圖像的初始輪廓的同時圖像平滑［17］，所以該濾波器在窗口半徑一定時，四方向最能清晰直觀表示出人臉表情特征。當濾波方向過多時，可能將人臉表情中斜對角方向信息（如法令線、眉頭紋等）平滑掉，而導數識別率下降。另外，當濾波窗口半徑選擇較小時，圖像平滑效果過于明顯，微小的面部紋理都被平滑掉，造成了表情識別率下降明顯，這也是本算法的一個不足之處。

6 結語

本文提出了一種高斯核方向導數和RILPQ融合的人臉表情識別算法。主要思想將高斯核方向導數濾波算法引入到RILPQ的傅里葉變換公式中，實現在高斯圓窗內表情圖像多方向性濾波和輪廓加強。通過兩項實驗，證明可以自己設定高斯圓窗的半徑和濾波方向，在不模糊表情細節的前提下全面提取到人臉表情圖像特征細節信息，提高表情識別率。

［1］Ojansivu V，Rahtu E，Heikkila J.Rotation Invariant Local Phase Quantization for Blur Insensitive Texture Analysis［C］//Proc.Of the 19th International Conference on Pattern Recognition.IEEE Press，2008：1-4.

［2］Ojansivu V，Heikkila J.Blur Insensitive Texture Classification Using Local Phase Quantization［M］.Elmaataz A，Lezoray O，Nouboud F，et al.Image and Signal Processing.Berlin，Germany：Springer，2008：236-243.

［3］Li J，Ying Z.Facial Expression Recognition Based on Rotation Invariant Local Phase Quantization and Sparse Representation［C］//Second International Conference on Instrumentation，Measurement，Computer，Communication and Control.IEEE Computer Society，2012：1313-1317.

［4］Xiubin Zhu.Face Representation with Local Gabor Phase Quantization［J］.Journal of Networks，2014，96.

［5］Gao Z S，Yuan H Z，Yang J.Search of face verification algorithm based on RILPQ descriptor［J］.Application Research of Computers，2012，29（1）：352-351.

［6］The Janpanse Female Facial Expression（JAFFE）Database［OL］.http：//www.kasrl.org-Jaffe.Html.

［7］高志升，袁紅照，楊軍.基于旋轉不變局部相位量化特征的人臉確認算法研究［J］.計算機應用研究，2012，29（1）：352-354.GAO Zhisheng，YUAN Hongzhao，YANG Jun.Face recognition algorithm based on rotation invariant local phase quantization feature［J］.Computer Application Research 2012，29（1）：352-354.

［8］翟懿奎，甘俊英，徐穎.基于局部相位量化與仿生模式的偽裝人臉識別算法［J］.信號處理，2012，28（11）：1498-1504.ZHAI Yikui，GAN Junying，XU Ying.A face recognition algorithm based on local phase quantization and biomimetic pattern［J］.SignalProcessing，2012，28（11）：1498-1504.

［9］儲久良，袁寶華.基于完備局部相位量化的低分辨率人臉識別［J］.高技術通訊，2014，24（11）：1115-1119.CHU Jiuliang，YUAN Baohua.Complete local phase quantization of low resolution face recognition technology based on［J］.communication，2014，24（11）：1115-1119.

［10］Hu W，Zhou X，Li W，et al.Active contour-based visual tracking by integrating colors，shapes，and motions［J］.IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2013，22（5）：1778-92.

［11］陳雅靜，劉橋，周驊，等.基于各向異性高斯核方向導數濾波器的圖像輪廓檢測［J］.傳感器與微系統，2013，32（6）：126-129.CHEN Yajing，LIU Qiao，ZHOU Jiahua，et al.Image contour detection based on anisotropic Gauss kernel directional derivative filter［J］.sensor and micro system，2013，32（6）：126-129.

［12］Flusser Jan，Farokhi Sajad，Hoschl Cyril，Suk Tomas，Zitova Barbara，Pedone Matteo.Recognition of Images Degraded by Gaussian Blur.［J］.IEEE transactions on image processing：a publication of the IEEE Signal Processing Society，2016，790-806.

［13］Milan Sonka PhD，Vaclav Hlavac PhD，Roger Boyle DPhil.Image Processing，Analysis and Machine Vision（Third editon）［M］.Beijing：Tsinghua University Press，2011：142-146.

［14］M.M.Sani，K.A.Ishak，S.A.Samad.Classification using Adaptive Multiscale Retinex and Support Vector Machine for Face Recognition System［J］.Journal of Applied Sciences，2010，106.

［15］GNIRMALA PRIYA，R S D WAHIDA BANU.Occlusion invariant face recognition using mean based weight matrix and support vector machine［J］.Sadhana，2014，303-315.

［16］ Reshma Khemchandani，Sweta Sharma.Robust Least Squares Twin Support Vector Machine for Human Activity Recognition［J］.Applied Soft Computing，2016，33-46.

［17］Li X，Wu X，Wang K.Directional Gaussian Derivative Filter Based Palmprint Authentication［C］//International Conference on Computational Intelligence and Security.IEEE Computer Society，2008：467-471.

Facial Expression Recognition Based on Gaussian Kernel Direction Derivative and RILPQ

ZHANG PengpengCHEN YingGE Yangming
（College of Software，Nanchang Hangkong University，Nanchang 330063）

In view of the problem that the feature of facial expression recognition is not clear，this paper proposes a method of image feature extraction based on Gauss kernel direction derivative and RILPQ.In the RILPQ algorithm，the Gauss kernel multi direction derivative is introduced to form a filter，and the algorithm is applied to the expression data set of JAFFE data set.Experimental results for the filter window radius of 11 pixels，the algorithm recognition rate is optimal，and higher than the LPQ algorithm，RLPQ algorithm recognition rate.At the same time，it is proved that the Gauss window radius and the direction of filtering have effect on the recognition rate of the algorithm.

facial expression recognition（FER），rotation invariant local phase quantization（RILPQ），anisotropic Gaussian kernel function and directional derivative，support vector machine（SVM）

TP391

10.3969/j.issn.1672-9722.2017.10.026

Class Number TP391

2017年4月10日，

2017年5月30日

張鵬鵬，女，碩士，研究方向：圖像處理、人臉識別。陳英，男，博士，研究生導師，研究方向：虹膜識別、無線傳感器。葛楊銘，男，碩士，研究方向：身份認證、訪問控制及安全。