基于改進卷積神經(jīng)網(wǎng)絡(luò)的人臉情緒識別研究

王 遙 金 玲 林紫雯 韓慧娜

（吉林工商學院,吉林 長春130062）

1 改進的卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是一種從輸入到輸出的映射關(guān)系,并且不需要任何的數(shù)學表達式來表達其輸入到輸出之間的關(guān)系,而只需要利用已知的數(shù)據(jù)對卷積網(wǎng)絡(luò)模型進行訓練,從而能使得網(wǎng)絡(luò)具有了輸入輸出之間的映射關(guān)系。并且再卷積神經(jīng)網(wǎng)絡(luò)進行有監(jiān)督學習之前, 需要采用不同的隨機數(shù)對網(wǎng)絡(luò)中的各項權(quán)值進行初始化操作。本文設(shè)計的用于人臉情緒識別的改進后的卷積神經(jīng)網(wǎng)絡(luò),結(jié)構(gòu)如圖1 所示。

圖中所示的模型有著20 個卷積層,以此來形成人臉表情的特征提取。此模型中含有8 個殘差深度可分離卷積層,在每個卷積層后都是一個批歸一化操作和Relu 激活函數(shù)。接著是一個全局平均池化層,在將最后的結(jié)果輸入Softmax 分類器當中從而生成表情識別的預(yù)測值。最后的Softmax 分類器對全局平均池化層的輸出結(jié)果進行分類處理,將人臉情緒分類憤怒、沮喪、恐懼、高興、悲傷、驚訝、中性七類。

1.1 卷積層

卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò),它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元, 對于大型圖像處理有出色表現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)中每層卷積層由若干卷積單元組成,第一層卷積層可能只能提取一些低級的特征如邊緣、線條和角等層級,更多層的網(wǎng)絡(luò)能從低級特征中迭代提取更復(fù)雜的特征。一般情況下,設(shè)輸入圖像矩陣A,B,其行列數(shù)分別為ma、na、mb、nb,則卷積層的計算公式如下：

圖1 表情識別模型

當我們選擇激活函數(shù)為Relu 函數(shù)時, 卷積層的計算公式如下：

卷積層作為實現(xiàn)起到特征提取的功能, 每一層的每個神經(jīng)元輸入需要與前一層的局部感受相連, 從而提取出該局部的特征。本文模型中的卷積層1 采用3×3×8 的卷積核對輸入圖像進行卷積求和操作,最后輸出得到8 個46×46 的特征圖,同理經(jīng)過卷積層2 得到16 個44×44 的特征圖。深度可分離卷積層1、深度可分離卷積層2 以及深度可分離卷積層3 均分別得到32個44×44、64 個11×11、128 個6×6 的特征圖。卷積層4 等得到7 個3×3 的特征圖。

1.2 池化層

本文模型中采用了兩類池化層,一類是最大池化層,另一類是平均池化層。為了防止直接將學習到的特征直接進行Softmax訓練從而帶來的參數(shù)維度過高的問題, 最大池化層的目的就是將特征圖大小減小, 并且在減小的同時是特征圖的輸出具有平移不變性。全局平均池化層與最大池化層不同,它不改變輸入特征圖的大小,而是會將每個特征圖形成一個值。相對與使用全連接層減少了參數(shù)并且提高了訓練時間,減少了過擬合。

1.3 Softmax 層

2 實驗結(jié)果及分析

采用的數(shù)據(jù)集是來自kaggle 競賽中的數(shù)據(jù)Fer2013, 數(shù)據(jù)集由35886 張人臉表情圖片組成,其中,測試圖28708 張,公共驗證圖和私有驗證圖各3589 張, 每張圖片是由大小固定為48×48的灰度圖像組成,共有7 種表情分別對應(yīng)于數(shù)字標簽0-6,具體表情對應(yīng)的標簽和中英文如下:0 anger 生氣；1disgust 厭惡；2fear 恐懼；3happy 開心；4sad 傷心；5surprised 驚訝；6normal 中性。但是,數(shù)據(jù)集并沒有直接給出圖片,而是將表情、圖片數(shù)據(jù)、用途的數(shù)據(jù)保存到csv 文件中。經(jīng)過10000 次的迭代訓練,本文的表情識別模型在fer2013 數(shù)據(jù)集上的訓練效果達到了67.2%的準確率,結(jié)果如下表（表1）。圖2 與圖3 分別描述了本文模型在訓練過程中的訓練損失值及訓練準確值。

表1 本文模型在fer2013 數(shù)據(jù)集上的識別結(jié)果

從表1 中可以看出,本表情識別模型對高興與驚訝的識別準確率最高,準確率分別為86%和88%,但是對于恐懼和悲傷這兩種表情的識別準確較低,分別為57%及49%,根據(jù)模型猜想是對特征圖的提取參數(shù)過少,忽略了部分表情特征使分類效果降低。

與傳統(tǒng)的深度學習模型在fer2013 數(shù)據(jù)集上的準確率對比結(jié)果如表2 所示,其中LBP 由Rivera 設(shè)計提出,采用人工特征提取篩選進行表情識別, 但其識別準確度略低于常用深度學習算法。CNNs 模型采用并行卷積神經(jīng)網(wǎng)絡(luò)模型,使fer2013 的最終識別準確率達到了65.6%。本文中設(shè)計的表情識別模型,比LBP 模型提高了1.7%,比CNNs 模型提高了1.6%,證明了本文設(shè)計的模型在人臉識別上具有較好的識別功能。

表2 不同模型在fer2013 數(shù)據(jù)集上識別率對比

3 結(jié)論與反思

本文以CNN 卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ),建立人臉情緒識別模型,實驗證明建立的模型預(yù)測效果優(yōu)秀,正確率較高,并且以改進的卷積神經(jīng)網(wǎng)絡(luò)提高了傳統(tǒng)識別模型對于fer2013 數(shù)據(jù)集上的識別了吧, 但分析識別結(jié)果在對于恐懼和悲傷表情的識別上該模型仍具有進步空間, 需要對與臉部特征再進行細分提取從而提高分類準確率。本模型為人臉情緒識別提供了可靠的技術(shù)分析支持,可以將該模型應(yīng)用于病理研究、公共安全預(yù)警系統(tǒng)、機器人仿真等方面。