深度學習在情感識別上的研究

周偉，付曉峰，常耀中

深度學習在情感識別上的研究

周偉，付曉峰，常耀中

（杭州電子科技大學，浙江 杭州 310018）

針對現有情感分析算法在處理大量的人臉數據時未能展現良好魯棒性的問題，提出一種新的情感識別方法。提出Z-libface人臉檢測器，并設計出一種新的卷積神經網絡模型RT-CNN，同時使用大型表情數據集fer2013以及改良后的FER+，訓練出一個比較好的模型。使用提出的卷積神經網絡RT-CNN在fer2013、FER+兩個表情數據集上進行10倍交叉驗證，取10次驗證準確率的平均值，在fer2013及FER+上取得了66.72%與80.02%的準確率。

Z-libaface人臉檢測；fer2013數據集；FER+數據集；深度學習

1 引言

情感是人類心理感受的一種重要特征[1]，在人們的交流中起著非常重要的作用。情感識別就是利用計算機進行人類情感圖像的獲取、情感圖像的預處理、情感特征的提取和情感分類的過程，它通過計算機分析人的情感信息，從而推斷人的心理狀態，最后實現人機之間的智能交互。

最近關于人臉情感識別的研究大多基于深度學習。在大多數情況下，CNN的訓練依賴大量的數據，在模型訓練中，樣本的大小會直接影響模型和網絡，當樣本有限時，模型很容易發生過擬合現象。因此本文直接使用數據量較大的fer2013數據集以及其改良后的FER+數據集。

本文的主要貢獻如下：提出Z-libface人臉檢測器；利用FER+對fer2013數據集進行改良和優化，提高約14%的準確率；提出RT-CNN模型，在fer2013、FER+數據集上取得較好的效果。

2 基于Z-libface的人臉檢測

目前的人臉檢測器[2]主要有Opencv自帶的Haar檢測器、Dlib人臉檢測器、libface人臉檢測器等。

本文提出的Z-libface人臉檢測器是在libface人臉檢測器的基礎上進行改良得到的，經實驗發現，libface人臉檢測器有如下缺陷：當人臉是側臉時，截取區域不當，最后得到的人臉截取圖片有近1/5的空白區域。

針對libface人臉檢測器的缺陷，本文利用該檢測器檢測人臉時提供的信息包括人臉68個特征點的坐標、截取矩形框左上角的橫坐標、截取矩形框寬、人臉左右偏轉時人臉偏轉的角度。按照opencv的規則，圖片左上角為坐標原點，順時針旋轉為負，逆時針旋轉為正，當人臉向左偏轉時為正，向右偏轉時為負。

3 RT-CNN模型

本文設計出一種新的卷積神經網絡模型RT-CNN，其網絡模型結構以及參數設置如表1所示。在輸入層之后加入1*1的卷積層使輸入增加非線性的表示、加深了網絡、提升了模型的表達能力，同時基本不增加計算量。為了防止過擬合問題，在最后兩個全連接層中，把全連接層之間的連接隨機丟棄50%，在卷積層3、4、5中分別進行2層、1層、2層全零填充，保證輸出特征圖的長寬不變。

表1 RT-CNN模型結構及參數設置

種類核步長輸出丟棄 輸入 48*48*1 卷積層11*1148*48*32 卷積層21*1148*48*32 卷積層35*5148*48*32 池化層13*3223*23*32 卷積層43*3123*23*32 池化層23*3211*11*32 卷積層55*5111*11*64 池化層33*325*5*64 全連接層1 1*1*2 04850% 全連接層2 1*1*1 02450% 輸出 1*1*7

4 實驗結果與分析

在fer2013數據集中有一些圖像是黑白圖，同時有很多的圖片情感標注并不準確，這些情況對訓練造成很大的干擾，有國外學者對fer2013數據集進行重新標簽化，數據集叫FER+，圖片順序與fer2013相對應。把錯誤的標簽改成正確的標簽，剔除了fer2013數據集中的黑白圖。

為了保證實驗結果的有效性，本次實驗采取了10倍交叉驗證。將fer2013數據集平均分為10組。每次選取其中的9組作為訓練集，另外1組作為驗證集，進行10次實驗，最后取10個結果的均值作為最終的準確率。這樣保證了每個樣本都可以作為驗證集和訓練集。對FER+數據集進行了同樣的處理，本文模型與其他模型在fer2013數據集上識別率對比的結果如表2所示。

表2 本文模型與其他模型在fer2013數據集上識別率對比結果

名次模型準確率/（%） 1RBM71.16 2Unsupevised69.26 3Maxim Milakov68.82 4Radu+marius+Cristi67.49 5本文模型66.72 ……… 10sayit62.19

在實驗過程中，各參數保持不變，當訓練集設置為fer2013改良后的FER+時，最后的訓練準確率為83.30%，驗證準確率為80.02%。相比在fer2013數據集上識別率66.72%而言，本文模型在改良后的fer2013數據集 FER+上，訓練集和驗證集準確率提升約14%。

5 結語

本文針對人臉檢測，提出性能更加高效的Z-libface人臉檢測器。其次，提出一種新的人臉情感識別算法在fer2013數據集上取得了66.72%的識別率，并同時利用新的分類規則對fer2013數據集進行優化得到FER+數據集，本文算法在FER+數據集上取得了80.02%的識別率，在很大程度上改善了識別效果。雖然取得了一定的成果，但還存在一些問題，比如識別率有待進一步提高等。在接下來的工作中會繼續探索人臉檢測器的增強、網絡結構以及參數的設置等。

［1］劉錦峰.基于卷積神經網絡的學生課堂面部表情識別研究［J］.高教學刊，2020（7）：67-69.

［2］汪欣，吳薇，曾照.基于視頻的人臉檢測算法研究［J］.電子科技，2020，33（2）：25-31.

2095－6835（2021）06－0097－02

TP18；TP391.41

A

10.15913/j.cnki.kjycx.2021.06.036

周偉（1998—），男，本科，研究方向為人工智能、計算機視覺、圖像處理。付曉峰（1981—），女，博士，副教授，研究方向為人工智能、計算機視覺、圖像處理。常耀中（1997—），男，本科，研究方向為人工智能、計算機視覺、知識圖譜。

〔編輯：嚴麗琴〕