基于非下采樣Contourlet變換的人臉表情識別算法研究

賈函龍 王金芳 黃利飛

摘 要：本文研究了非下采樣Contourlet變換在人臉表情識別中的應用，并設計了相應的算法流程。首先將人臉表情圖像分割為最能表征表情信息的眼睛和嘴巴兩個部分，然后利用非下采樣Contourlet變換對分割的局部圖像進行特征提取，最后使用極限學習機進行分類，并與BP神經網絡進行對照實驗。研究結果顯示，表情分類平均準確率可達86.57%，比BP神經網絡的分類方法平均準確率高出7.43%。而在執行速度方法，極限學習機卻是BP神經網絡的11.09倍，表明了本實驗方案的高效性和可行性。

關鍵詞：人臉表情識別；非下采樣Contourlet變換；極限學習機；BP神經網絡

中圖分類號：TP391 文獻標識號： A 文章編號：2095-2163（2015）05-

Facial Expression Recognition based on the Next Sampling Contourlet Transform Algorithm Research

Jia Hanlong1， Wang Jinfang2， Huang Lifei3

（1 Liaoning Mechatronics College， Liaoning Dandong， 118000， China；2 Yanshan University， Qinhuangdao， 066200， China；3Hangzhou ChouTou Tech Co. LTD， Hangzhou， 310000， China）

Abstract： This paper studies the next sampling Contourlet transform in the application of facial expression recognition， and the corresponding algorithm design process. The image segmentation of facial expression is divided into two parts covering the eyes and the mouth， which to the most extent can represent the expression information， and then uses the sampling Contourlet transform under the division of local image feature extraction， furtherly using extreme learning machine for classification， and makes the comparison with the BP neural network control experiment. The results showed that expression classification accuracy can reach 86.57% on average， than the BP neural network classification method of average accuracy higher than 7.43%. In the speed of execution method， the fact that extreme learning machine is 11.09 times that of the BP neural network shows the efficiency and feasibility of the experiment scheme.

Key words： Facial Expression Recognition； Next Sampling Contourlet Transform； Extreme Learning Machine； BP Neural Network

0引 言

人臉表情含有豐富的人體行為信息，可以直觀地反映一個人的心理狀態。隨著人機交互的研究日益得到關注，人臉表情識別已經成為模式識別一個重要且具實效意義的研究分支。目前，應用于表情識別的方法有基于gabor小波特征的方法[1]，基于主動形狀模型（ASM）和主動外觀模型（AAM）的方法[2]，基于流形的方法[3]等。

典型的人臉表情提取主要包括人臉表情的預處理，特征提取與選擇和人臉表情分類三個主要步驟。其中，表情特征的提取與選擇是人臉表情識別步驟中最具決定性的一步。如何將人臉表情預處理得到的高維數據進行快速有效的降維，既是表情識別系統的核心，也是目前為止最難于有效解決的關鍵所在。Gabor小波可以提取多尺度、多方向的空間頻率特征，在人臉識別和表情識別的應用技術中，已經取得了一定的成果。Contourlet變換也是一種多尺度、多方向的變換，早在2002年，Martin Vetterli和M.N.Do就研究了該算法。該變換是基于小波多尺度分析的思想而開展的一種新的多尺度多方向分析方法研究。該變換不僅可以實現任意方向和尺度的分解，具有同小波變換一樣的優勢，而且由于其在圖像輪廓特征和紋理信息方面的獨到的提取和描述，使其在圖像處理領域獲得了較為廣泛的應用。然而，該變換在輪廓波采樣過程進行了下采樣轉換，因此失去了平移不變性，導致在圖像的恢復變換時，會造成偽吉布斯失真。為此，A.L.Cunha等人研究了非下采樣Contourlet變換 ，其中由于取消了變換過程中的下采樣，從而實現了偽Gibbs失真的有效抑制。

鑒于Contourlet變換存在的明顯缺陷，A.L.Cunha等人提出了NSCT變換。該變換是由非下采樣金字塔分解 （Nonsubsampled Pyramid，NSP）和非下采樣方向性濾波器組（Nonsubsampled Directional Filter Banks，NSDFB）組成的。非下采樣金字塔分解通過一個雙通道的濾波器組，可將信號分解成一個多通和多個帶通部分。

1 表情圖像預處理

由于拍攝環境的復雜性以及人體自身的運動，獲取的人臉表情信息或多或少會受到一些干擾。因此預先即需針對擬實現特征提取和特征選擇的圖片進行人臉特征區域的定位，人臉區域的幾何歸一化以及直方圖均衡化，則將具有重要的基礎性意義的[4]。JAFEE人臉表情庫后預處理前后的圖像如圖1和圖2所示，每行分別對應一個人的7種表情，分別為憤怒、厭惡、恐懼、高興、中性、悲傷和驚奇。

人臉特征區域的定位采用基準特征結合仿射變換[5]的方法，該方法可以估計左右瞳孔的位置，然后依據左右瞳孔的坐標來確定人臉的位置，從而實現對人臉特征區域的定位。幾何歸一化是指圖像經過尺度變換，得到統一大小的校準圖像，即具有相同的高和寬，這樣可以使圖像在后期特征提取和特征選擇階段上具有相同的特征維數，由此簡化了實際運算。直方圖均衡化可以消除部分光線和光照強度的影響，使圖像動態范圍增大，對比度更加擴展，有助于提高識別率。

2 Contourlet變換與非下采樣Contourlet變換

Contourlet變換是一種新的圖像二維表示算法，其基本思想是首先使用一個類似小波的多尺度分解描述出輪廓段，然后將圖像數據拉普拉斯金字塔變換（Laplacian Pyramid，LP）和二維方向濾波器組（Directional Filter Bank，DFB）進行多尺度、多方向的變換。LP變換的基礎是高斯金字塔，這是通過對原始圖像循環進行高斯低通濾波和下采樣來完成的，下采樣的過程相當于帶通濾波器，基于此就形成了從上到下有層次的金字塔樣式的圖像分解，LP變換的主要功能是將圖像分解為低頻系數子帶和高頻系數子帶。

從根本上說，圖像是由一個數值矩陣組成的。矩陣相鄰的像素點可以組成短小的線條，而多個線條的聚集就形成圖像的基本輪廓和紋理特性，因此引入DFB濾波器組的作用就是基于方向的角度對圖像進行從粗分辨率到細分辨率的特征提取。DFB濾波器組首先將LP變換得到的高頻分量抽樣進行多方向分解，然后通過將分布在同一方向的奇異點，合成一個系數，用類似于線段的基結構表征圖像的邊緣細節等幾何特征，實現對圖像信息的稀疏逼近。

對低頻子帶重復上述LP和DFB分解過程即可實現圖像的多尺度多方向分解。LP分解的每一層將圖像分解為高頻部分和低頻部分，而DFB的優點是對于高頻部分的表現更加優秀，這也就是兩者疊加之后的Contourlet變換更具有優異性的原因。但是由于該變換在LP變換的分解和重構濾波器的過程中，帶寬均大于 。因此，對濾波后的圖像進行縮減下采樣將會產生頻譜混疊。頻譜混疊相應削弱了Contourlet變換的方向選擇性，因為同一方向的信息會在幾個不同的方向子帶中再次出現。同時，Contourlet變換的下采樣也使該算法失去了平移不變性。

如上所述，針對Contourlet變換的缺陷分析，A.L.Cunha等人隨即提出了NSCT變換。NSCT變換由兩步組成，先將圖像經非下采樣金字塔分解濾波器分解為低頻圖像矩陣系數部分和高頻圖像矩陣系數部分，再由非下采樣方向性濾波器將高頻圖像矩陣系數部分分解為若干個子帶方向，如圖3所示。

在NSP分解過程中由于沒有下采樣環節，則使得NSCT變換具備了平移不變性，這就增強了圖像特征信息的方向選擇性，并在多尺度多方向上更好地實現了紋理特征的描述。

因為上述兩個步驟中已經全部去除了濾波器組的下采樣因子，圖像的錯位也就不再出現，這就是該變換滿足平移不變性的原因。運用該變換進行圖像的NSCT變換分解后，同Contourlet變換一樣，也會得到一個低頻子帶和若干個高頻子帶，而且隨著子帶層數的增加，細節就實現了逐級放大。

將JAFEE人臉表情庫中的一幅圖像進行NSCT變換三層分解之后，變換分解結果則如圖4所示，仔細觀察圖像的細微之處，由此可知，低頻子帶的圖像系數矩陣主要描述了人臉五官的基本輪廓，對原始圖像進行了低頻濾波之后，圖像變得模糊不清，而高頻子帶的圖像系數矩陣則主要描述了人臉五官的更細節的輪廓及紋理等信息。如第二層四個方向上的高頻子帶信息較為細膩地從不同方向描述了口、眼、鼻子的細節特征，驗證了隨著子帶層數的增加，細節紋理等被逐漸放大的效果事實；其他可如第三層高頻子帶信息則描述了更加細微的對光照等外部因素魯棒性強的細節特征。在采用支持向量機或者極限學習機進行分類的時候，考慮該變換的平移不變性，分解次數太多會導致維數災難。另外，也進一步考慮到各層子帶所描述和包含的信息量，研究擇取三層NSCT變換分解，且設定各層方向數目為2，4，2的時候，較為理想。

3 非下采樣Contourlet變換表情識別

在人臉表情識別系統中，人臉的每個部位對表情識別的貢獻率是不同的。研究表明，眼睛和嘴唇部位，對人臉表情的識別，起著決定性的作用。因此，本算法將人臉表情分割成含有豐富表情的眼睛部位和嘴唇部位兩個區域開展研究。本文在人臉表情識別技術中使用了NSCT算法，先用該算法進行人臉表情關鍵區域的特征選擇，其中，在人臉表情的非下采樣Contourlet特征融合之后，因為維數較大（如選取JAFFE人臉表情庫的210幅圖片，特征提取并融合后可達210*101025維），直接帶入分類器的話，會引發維數災難，而且會顯著降低分類器的分類效率。為此，在把特征提取之后的數據引入分類器之前，應先進行數據壓縮，以避免維數災難。本文引入PCA方法進行維數約簡。然后調用主成分分析算法進行特征提取，最后采用極限學習機（extreme learning machine，簡稱ELM）進行表情分類，并與BP神經網絡[6]分類算法進行識別正確率和識別效率的對比。

在此，給出非下采樣Contourlet變換表情識別的原理實現框架，具體如圖5所示。

4 極限學習機

2004年，新加坡南洋理工大學的黃廣斌副教授研究極限學習機（Exteme Learning Machine，ELM）算法。這是一種簡單小巧、高效可靠的單隱層前饋神經網絡學習算法。傳統的神經網絡學習算法，比如BP神經網絡，不僅容易產生局部最優解，而且在訓練時，還需要人為設置大量的訓練參數。極限學習機則具有學習速度快且泛化性能好的優點，這是因為該算法流程簡潔在只需要提前設置網絡的隱層節點數目，在算法運行過程中將不再需要調整網絡的輸入權值和隱元的偏置大小，而且算法最終只會產生唯一的最優解。因此，近年來，ELM已經成為神經網絡研究領域的一個研究熱點，并成功應用于手寫數字識別、人臉識別、時間序列預測等領域。以下介紹ELM算法的工作原理。

已知給定N個不同的樣本D={（xi ，yi）|xi Rn， yi Rn }， i=1，2，3，…，M。ELM算法是前饋神經網絡，主要用于訓練單隱含層，這點與BP神經網絡不同，BP神經網絡可以手動設置隱含層數目。那么，該神經網絡的數學模型可以表述為：

在式（3）中，行代表訓練樣本所有隱結點的輸出。ELM算法是一種速度極快的單隱層前饋神經網絡學習算法。其算法設計原理可以分析總結為如下幾步：

第一步，通過隨機初始化的方式，對偏置 和權值 進行隨機賦值。需要說明的是，這一步由于不需要調整網絡的輸入權值和隱元的偏置大小，就大大提高了ELM算法的運行速度。

第二步，計算隱含層輸出矩陣H。利用公式（4），求得訓練樣本所有隱節點的輸出，并將其計算成矩陣的形式。

第三步，近似求解權值 。利用公式 ，即可求得計算隱含層到輸出層的權值。

5實驗結果

運用非下采樣Contourle變換的方法，對人臉表情圖像進行特征提取，并用PCA算法進行特征選擇，最后以BP神經網絡和極限學習機進行分類。本章實驗中所使用的數據庫是日本的JAFFE表情庫，該圖像庫由有10個女性的7種表情（生氣、厭惡、恐懼、高興、悲傷、驚訝和中性），共計213幅圖像組成。本算法選取每人每種表情3幅，七種表情共210幅表情圖像來進行實驗。將每幅人臉表情圖像經過幾何歸一化、直方圖均衡化等預處理后，可以得到每幅像素點為130×130的統一大小的圖像。實驗采用三層NSCT變換分解，且各層方向數目為2，4，2，并將“PKVA”作為默認的濾波器。所以，每張人臉表情經變換后可以得到7個子帶特征信息。為了做到與人無關的表情識別，在表情的分類環節，引入BP神經網絡和ELM算法進行對照試驗，并且隨機選擇每類表情的25幅表情圖像作為訓練集，其余5幅表情圖像作為測試集。實驗中BP神經網絡和ELM算法的激勵函數都是S型函數。實驗重復10次以降低隨機性。

由表1可以看出，經過非下采樣Contourle變換提取后，使用極限學習機的表情分類平均準確率可達86.57%，比使用BP神經網絡的分類方法平均準確率高出7.43%。而在執行時間方面，結果對比如表2所示，BP神經算法執行十次的平均時間為6.82s而，ELM算法僅為0.92s，因此可知，極限學習機的速度達到了BP神經網絡的11.09倍，由這一結果已然明顯可見ELM算法的高速性和高效性。

本文還分析了各類表情識別的相關分布，如表3所示。可以看到，分類正確率最低的是恐懼和厭惡，各自只有76%和80%。在恐懼表情的分類中，表情大多被錯分為厭惡和憤怒，在厭惡表情的分類中，表情大多被錯分為憤怒和恐懼。因此證明了這四種表情在JAFFE庫上的表情單元的相近性，以致于無法使用NSCT變換提取出精確的表情特征。

在六種基本表情的實驗分類結果中，可以通過繪制直方圖來更加簡明地進行對比分析，如圖6所示。各類表情中分類正確率最高的憤怒、驚奇和高興，對應達到了96%，96%和90%。相對來說，各種表情的識別率都已達到了較高范疇，這也在整體上表明了本算法在實現表情正確分類上的有效性。

本文所提方法比已有的研究方法在識別效果上提高了8%～12%，具體如表4所示，顯示了文獻報道中不同的方法在JAFFE表情數據庫中的識別率，可知本文所研究的方法的測試結果優于文獻報道結果.進一步表明了本算法的有效性。

6 結束語

本文研究將NSCT變換用于人臉表情的特征提取，并且使用極限學習機進行分類，而后又將實驗結果與BP神經網絡算法進行對比。詳細描述了實驗結果中各類表情的識別率，通過各類表情識別率都比較高這一結果事實，表明了本方法的有效性和高效性。

NSCT算法中，并沒有對NSCT各層分解方向數目做具體的探討；在表情分類時，ELM算法和BP神經網絡各自的參數尋優也并未是實現深化，因此對NSCT算法各層分解方向數目做具體的探討，并進行深化的參數尋優，則有望進一步提高人臉表情研究的識別效果。

參考文獻：

[1] HUANG G， ZHOU H. Extreme learning machine for regression and multiclass cassification[J]. Systems，Man， and Cybernetics，PartB Cybernetics， IEEE Transactions on， 2012，42（2）：513-529.

[2] ZUO Kunlong ，LIU Wenyao. Facial expression recognion using active appearance models[J ] . Journal of Optoelectronics ·La ser （光電子·激光） ，2004 ，15 （7） ： 853-857.

[3] CHANG Ya， HU Changbo， TURK M.Probabilistic expression analysis on Manifolds[C]//Proc.of Conference on Computer Vision and Pattern Recognition， Washington D. C.， USA： [s. n.]， 2004.

[4]朱健翔， 蘇光大， 李迎春. 結合Gabor特征與Adaboost的人臉表情識別[J]. 光電子：激光， 2006， 17（8）：993-998.

[5] Littlewort G， Bartlett M S， Fasel I， et al. Analysis of machine learning methods for real-time recognition of facial expressions from video[J]. Computer Vision & Pattern Recognition， 2004.

[6] 喬杉. 基于BP神經網絡的人臉識別方法研究[D]. 武漢：中國地質大學， 2014.