基于改進卷積神經網絡的人臉情緒識別研究

王 遙 金 玲 林紫雯 韓慧娜

（吉林工商學院,吉林 長春130062）

1 改進的卷積神經網絡

卷積神經網絡在本質上是一種從輸入到輸出的映射關系,并且不需要任何的數學表達式來表達其輸入到輸出之間的關系,而只需要利用已知的數據對卷積網絡模型進行訓練,從而能使得網絡具有了輸入輸出之間的映射關系。并且再卷積神經網絡進行有監督學習之前, 需要采用不同的隨機數對網絡中的各項權值進行初始化操作。本文設計的用于人臉情緒識別的改進后的卷積神經網絡,結構如圖1 所示。

圖中所示的模型有著20 個卷積層,以此來形成人臉表情的特征提取。此模型中含有8 個殘差深度可分離卷積層,在每個卷積層后都是一個批歸一化操作和Relu 激活函數。接著是一個全局平均池化層,在將最后的結果輸入Softmax 分類器當中從而生成表情識別的預測值。最后的Softmax 分類器對全局平均池化層的輸出結果進行分類處理,將人臉情緒分類憤怒、沮喪、恐懼、高興、悲傷、驚訝、中性七類。

1.1 卷積層

卷積神經網絡是一種前饋神經網絡,它的人工神經元可以響應一部分覆蓋范圍內的周圍單元, 對于大型圖像處理有出色表現。卷積神經網絡中每層卷積層由若干卷積單元組成,第一層卷積層可能只能提取一些低級的特征如邊緣、線條和角等層級,更多層的網絡能從低級特征中迭代提取更復雜的特征。一般情況下,設輸入圖像矩陣A,B,其行列數分別為ma、na、mb、nb,則卷積層的計算公式如下：

圖1 表情識別模型

當我們選擇激活函數為Relu 函數時, 卷積層的計算公式如下：

卷積層作為實現起到特征提取的功能, 每一層的每個神經元輸入需要與前一層的局部感受相連, 從而提取出該局部的特征。本文模型中的卷積層1 采用3×3×8 的卷積核對輸入圖像進行卷積求和操作,最后輸出得到8 個46×46 的特征圖,同理經過卷積層2 得到16 個44×44 的特征圖。深度可分離卷積層1、深度可分離卷積層2 以及深度可分離卷積層3 均分別得到32個44×44、64 個11×11、128 個6×6 的特征圖。卷積層4 等得到7 個3×3 的特征圖。

1.2 池化層

本文模型中采用了兩類池化層,一類是最大池化層,另一類是平均池化層。為了防止直接將學習到的特征直接進行Softmax訓練從而帶來的參數維度過高的問題, 最大池化層的目的就是將特征圖大小減小, 并且在減小的同時是特征圖的輸出具有平移不變性。全局平均池化層與最大池化層不同,它不改變輸入特征圖的大小,而是會將每個特征圖形成一個值。相對與使用全連接層減少了參數并且提高了訓練時間,減少了過擬合。

1.3 Softmax 層

2 實驗結果及分析

采用的數據集是來自kaggle 競賽中的數據Fer2013, 數據集由35886 張人臉表情圖片組成,其中,測試圖28708 張,公共驗證圖和私有驗證圖各3589 張, 每張圖片是由大小固定為48×48的灰度圖像組成,共有7 種表情分別對應于數字標簽0-6,具體表情對應的標簽和中英文如下:0 anger 生氣；1disgust 厭惡；2fear 恐懼；3happy 開心；4sad 傷心；5surprised 驚訝；6normal 中性。但是,數據集并沒有直接給出圖片,而是將表情、圖片數據、用途的數據保存到csv 文件中。經過10000 次的迭代訓練,本文的表情識別模型在fer2013 數據集上的訓練效果達到了67.2%的準確率,結果如下表（表1）。圖2 與圖3 分別描述了本文模型在訓練過程中的訓練損失值及訓練準確值。

表1 本文模型在fer2013 數據集上的識別結果

從表1 中可以看出,本表情識別模型對高興與驚訝的識別準確率最高,準確率分別為86%和88%,但是對于恐懼和悲傷這兩種表情的識別準確較低,分別為57%及49%,根據模型猜想是對特征圖的提取參數過少,忽略了部分表情特征使分類效果降低。

與傳統的深度學習模型在fer2013 數據集上的準確率對比結果如表2 所示,其中LBP 由Rivera 設計提出,采用人工特征提取篩選進行表情識別, 但其識別準確度略低于常用深度學習算法。CNNs 模型采用并行卷積神經網絡模型,使fer2013 的最終識別準確率達到了65.6%。本文中設計的表情識別模型,比LBP 模型提高了1.7%,比CNNs 模型提高了1.6%,證明了本文設計的模型在人臉識別上具有較好的識別功能。

表2 不同模型在fer2013 數據集上識別率對比

3 結論與反思

本文以CNN 卷積神經網絡為基礎,建立人臉情緒識別模型,實驗證明建立的模型預測效果優秀,正確率較高,并且以改進的卷積神經網絡提高了傳統識別模型對于fer2013 數據集上的識別了吧, 但分析識別結果在對于恐懼和悲傷表情的識別上該模型仍具有進步空間, 需要對與臉部特征再進行細分提取從而提高分類準確率。本模型為人臉情緒識別提供了可靠的技術分析支持,可以將該模型應用于病理研究、公共安全預警系統、機器人仿真等方面。