基于模糊核判別分析的靜態面部表情情緒識別方法

楊婷婷

（安徽文達信息工程學院 計算機工程學院，安徽 合肥 231201）

引言

人臉面部表情是一個人最重要的面部特征，人臉表情中包含了豐富的行為信息，是個人情感表達的重要載體，人們可以通過面部表情表達自己的情感，并對外界信息作為反饋[1-2]。隨著人工智能技術以及自動識別技術的發展，人們對于人機交互過程提出了更高的要求，如何使用計算機技術對于人臉面部表情進行識別成為人工智能領域研究的熱點問題。通過文獻分析可以看出，表情情緒識別是一門涉及計算機技術、社會學、生物學、情感識別的交叉型學科，其具有廣泛的應用前景與發展潛力[3]。

在人臉表情情緒識別的過程中，存在大量難點。一方面人臉之間具備著明顯的差異性，另一方面每個人的情緒表達特點不同。如何解決上述問題，完成高質量的人臉情緒識別一直是此領域中學者研究的重點問題。當前，大量的學者提出了靜態面部表情情緒識別方法，但此部分方法在應用過程中無法對識別精度進行控制，導致識別結果可靠性不足[4-5]。針對此問題，在此次研究中提出了基于模糊核判別分析的靜態面部表情情緒識別方法，采用模糊核判別分析技術優化表情類別劃分環節，以此獲取到可靠性更高的識別結果，提升表情情緒識別結果的應用性。

1 原始人臉圖像采集

通過文獻分析可知，使用相機獲取人臉靜態表情時，設備與拍攝對象會發生相對的位移，導致圖像模糊[6]。在此情況下，假設表示人臉圖像在曝光時間 的積分，則沒有運動模糊與噪聲干擾的圖像可表示為：

根據此公式，得到逆濾波退化公式，則有：

在此次研究中，不計入噪聲對圖像的影響，取值結果為0，則有：

對上述計算內容進行整理，得到修復后的清晰圖像：

由于在圖像處理的過程中，需要克服信噪比[9]對圖像的影響，因此在處理過程中增加一個計算常數，將其設定為，則公式（6）可以優化為：

使用上述公式，完成原始人臉圖像的預處理工作，并將其作為后續圖像處理分析的基礎。

2 人臉表情情緒特征提取

當前人臉特征提取技術較多，針對此次研究目標，在此次研究中選擇奇異值分解技術[10-11]完成表情情緒特征提取工作。

3 人臉表情情緒模糊核判別分析

在上文設計內容的基礎上，使用模糊核判別分析技術，完成面部人臉表情情緒識別。文獻研究結果發現，傳統的模糊核判別分析技術不能反映真實的樣本屬性[13-14]，因此，對傳統的模糊核判別分析技術進行優化，彌補當前應用過程中的不足。

將處理后的圖像整合到訓練圖像數據庫中，并將此數據庫設定為n維。假設圖像庫中的人臉表情可以劃分為類，樣本個數為，核映射處理完成后，核空間的樣本形式為樣本的第類情緒屬性值為。此時，在此空間內情緒樣本的類均值可表示為：

與此同時，根據當前圖像處理要求，將表情情緒判別準則[15]設定為：

通過上述公式，根據提取到的人臉表情情緒特征，完成人臉表情情緒模糊核判別分析，實現人臉情緒識別過程。對上文設計內容進行整合，至此，基于模糊核判別分析的靜態面部表情情緒識別方法設計完成。

4 實驗論證分析

4.1 實驗圖像采集處理

本次實驗中采用以往研究中使用的JAFFE表情圖像庫為此次方法應用實驗提供圖像來源，此圖像庫中包含由10 個對象構成的6 個基礎表情以及部分派生表情共計500 張。采集到的原始圖像大小統一為512*512 像素。此圖像庫完全開放，且表情標定較為合理，因此大部分實驗均采用此圖像庫完成。在此次實驗過程中，為降低實驗難度，將圖像中人物表情的眼睛作為原始圖像的剪裁點，將圖像按照均勻的尺寸調整為可直接分析的格式。在圖像處理的過程中，不對圖像的五官結構以及光照進行處理。裁剪后圖像如圖1 所示。

圖1 實驗圖像數據集部分圖像

對實驗圖像集中的圖像進行劃分，隨機選取200 張圖像作為訓練樣本，剩余300 張圖像作為測試圖像。與此同時，對圖像數據集中不同表情類型的圖像個數進行劃分，所得統計結果如表1 所示。

表1 實驗圖像集各類表情數量統計結果

對上述圖像以及相關圖像信息進行整理，將其作為此次研究中的基礎，使用文中方法對圖像中的情緒進行識別，確定文中方法的應用效果。為了更好地完成文中方法的實驗與分析過程，選取局部特征表情情緒識別方法以及特征融合表情情緒識別方法與文中方法進行對比分析，以此全面分析文中方法與當前方法在應用過程中的差異。

4.2 五官結構關鍵信息提取結果

在表情情緒識別的訓練與實驗過程中，需要構建相應的圖像分類器，以此完成圖像表情的初始劃分。分析大量實驗案例后發現，在以往的研究中多采用五官結構關鍵信息提取結果作為圖像分類器的基礎，通過表情匹配的形式，構建表情標簽，作為后續情緒識別的載體。為此，在此次實驗過程中，將首先完成五官結構關鍵信息提取工作，對比不同方法的五官結構信息提取能力。由于實驗圖像庫中的圖像較多，選取一張較為復雜的圖像作為目標圖像，并對其進行提取。

如圖2 所示，圖像中的方框表示五官結構的關鍵信息。在此次實驗中，使用標注點對目標圖像中的五官信息進行提取，所得結果如圖3 所示。

圖2 目標圖像

對圖3 中標注點位置進行分析后可以看出，文中方法可以對圖像中的五官關鍵信息進行準確地定位，同時還可確定人臉表情的中心位置。其他兩種方法的五官信息定位提取能力相對較差，局部特征表情情緒識別方法對人臉表情的中心位置無法精準識別，特征融合表情情緒識別方法在對表情結構信息進行提取的過程中出現缺失，此兩種方法的應用效果均不如文中方法，還需進行相應的改進。

4.3 表情信息匹配精度實驗結果分析

獲取五官結構關鍵信息后，將其與預設的表情特征進行匹配比對，完成初次表情劃分。為了更好對比實驗中三種方法表情信息匹配能力，使用特征信息之間的偏移值作為此能力的衡量標準，當偏移值取值結果越小時，說明此方法的表情信息匹配能力越好。偏移值計算公式設定如下：

圖4 表情信息匹配精度實驗結果

分析圖4 可知，256 像素時，本文方法的表情信息匹配精度為97.0%，局部特征識別方法的表情信息匹配精度為93.6%，特征融合識別方法的表情信息匹配精度為92.8%；512 像素時，本文方法的表情信息匹配精度為96.1%，局部特征識別方法的表情信息匹配精度為94.9%，特征融合識別方法的表情信息匹配精度為91.5%；1080 像素時，本文方法的表情信息匹配精度為96.1%，局部特征識別方法的表情信息匹配精度為96.0%，特征融合識別方法的表情信息匹配精度為94.9%；對上圖中內容進行分析可以看出，在不同的像素環境下，文中方法應用后的偏移值最低，且并沒有出現波動，可見此方法應用效果較為穩定。與文中方法相比，其他兩種方法的偏移值計算結果相對較大，且在不同的實驗環境中波動較大。根據上述實驗結果可以確定，文中方法的表情情緒提取與匹配精度優于其他兩種方法。此結果也充分證實了，文中方法或者獲取到更加優越的靜態面部表情情緒識別結果。

4.4 靜態面部表情情緒識別精度實驗結果分析

根據預設實驗方案以及上述兩部分實驗結果，得到最終靜態面部表情情緒識別精度實驗結果，具體數據如表2 所示。

表2 靜態面部表情情緒識別精度

對表2 中數據進行分析可以看出，文中方法對于不同類型的情緒識別精度均優于其他兩種方法。局部特征表情情緒識別方法與特征融合表情情緒識別方法對表情類型的依賴性相對較高，無法對全部類型的表情情緒進行識別，且兩種方法的表情情緒識別精度并不能達到文中方法的識別精度。因此，整合上述實驗結果可以確定文中方法的靜態面部表情識別能力較高，在日后的研究中可將其作為情緒識別的核心方法。

5 結束語

本次研究在當前靜態面部表情情緒識別方法的基礎上，提出了更為先進的識別方法，并證實了此方法具有較好的應用效果。針對當前識別方法在應用過程中的不足，對表情情緒劃分環節進行了優化與完善。在后續的研究中，還需對此方法中的其他環節進行完善，以此推動靜態人臉研究領域的發展。