基于卷積神經網絡的微表情識別

薛天坤

摘 要：卷積神經網絡（CNN）是一類人工神經網絡，對于處理復雜的人工智能問題展現了高效的特性，而對于微表情這類持續時間短，動作幅度小的模式識別提供了新契機。本文闡述了CNN在微表情模式識別上的應用，進行了不同構建模型對該任務的特性分析，并開展了CNN在CPU下的優化形式的特征分析。這包括了對整個網絡結構的見解、卷積內在算法的強度、不同的訓練方式對于網絡影響、其可擴展的特性以及運行的動態特性。在特征分析中，我們給出了自動網絡架構優化，這包括了高效的并行執行和兩個卷積核傳播器，并且利用了此種卷積網絡在微表情應用上展現了較好的結果。

關鍵詞：卷積神經網絡；深度學習；微表情識別

中圖分類號：TP391 文獻標志碼：A

0 引言

微表情是當人受到某種情緒影響時做出的一種下意識動作，它反映了人最真實的感情，常常使人在不知不覺中暴露自己的內在想法，從而讓謊言無處可逃，它是一種非常有效的非語言線索.一些了解測謊原理的人有可能很容易就能經過測謊儀的考驗，但他們在經過微表情檢測時，往往束手無策。

傳統方法對微表情識別率低，圖片預處理復雜。而深度學習能夠完成對數據的抽象，將底層特征組合映射到高層特征，在滿足可分性的同時具有更強的表征能力； CNN作為一種常見的深度學習結構，是前沿的識別任務中常用的一種方法。隨著大量訓練數據的應用以及計算機運算能力的提高，CNN處理問題的結果顯得十分理想。CNN能自主進行特征提取以及識別精確性高且速度快，可以滿足實時性的要求。

CNN計算是密集的，特別是面對具有挑戰性任務。例如我們每次計算會有數以億計的浮點數計算，給我們帶來極大計算量，每次訓練需要迭代多次，因而可能完成整個過程需要幾天或者一周。本文通過不同的計算方式計算，不同的訓練模式測試，尋找最高效的網絡拓撲結構；并且采取了并行CPU運行方式，Stencil-核和Sparse-核分析CNNs高性能的執行方式，比較分析CNN的可擴展性能、輸出特性、計算強度特性。

1 傳統方法

目前已經提出了多種應用于微表情識別的有效方法，如光流法，SVM、BP、CNN等。BP算法是一種局部搜索的優化算法，但它要解決復雜函數的全局最優解，因此效率低；Vapnik等人在多年研究統計學習理論的基礎上對線性分類器提出了一種新設計準則，支持向量機。支持向量機具有很好的推廣能力。但是SVM計算量過大，分類時間越長。而一張表情圖像的樣本數量常常數以萬計，因此它一般不能滿足實時性的要求；光流法應用于微表情識別，該方法能夠成功地捕獲微小表情變化、探測和區分宏表情和微表情。但值得注意的是，基于光流的方法需要一個恒定的光照條件，光流法計算量大，耗時長，在對實時性要求苛刻的情況下并不適用。總之傳統神經網絡缺陷在于它們是基于啟發式特征提取的方法，需要設計者具備足夠的先驗知識，提取的特征往往是提取在研究對象中比較感興趣的部分，具有片面性，損失了大量的信息。

2 卷積神經網絡

傳統的神經網絡，是對于輸入的浮點數據陣列傳遞到每一層之中，層與層之間通過全連接權值相乘累加，再通過相應的非線性函數得到輸出結果。卷積神經網絡建立在傳統神經網絡基礎上。其與傳統神經網絡不同之處在于，CNN每一層只和小區域相連接，被分為一組一組特征圖，所有特征圖對應相同輸入。由于使用該網絡不需要對原始圖像進行復雜的預處理，所以目前已在字符識別、圖像識別、表情分類等領域廣泛應用。它通過3種方式使網絡學習到的特征更具有魯棒性：局部感受野、權值共享和下采樣。

3 實驗設計

3.1 BP與SGD

在反向傳播算法提出之前人們應該想到了使用SGD學習模型，也想到了一些辦法求解網絡模型的偏導數，但這些算法求解效率比較低，所以提出反向傳播算法來更高效的計算偏導數。反向傳播利用鏈式法則，極大地加速了學習速度。

梯度下降（GD）是最小化損失函數的一種常用方法。隨機梯度下降（SGD）通過每個樣本來迭代更新一次。如果是樣本量很大的情況（例如幾十萬），對比批量梯度下降，迭代一次需要用到十幾萬訓練樣本，一次迭代不可能最優，如果迭代10次的話就需要遍歷訓練樣本10次。

3.2 對每層特征的分析

下面通過對一張微表情圖像通過不同數量卷積池化層得到的輸出圖像進行特征分析與對比分析。經過多次卷積、池化，得到了高級特征要點。這說明卷積池化結構對微表情特征提取是有效的，成功測試了卷積神經網絡應用于微表情特征提取時的高效性。

3.3 交叉訓練與非交叉訓練

在利用反向傳播對CNN的卷積核權重等進行訓練時，一般基于兩種方法，交叉訓練與非交叉訓練。非交叉訓練即在反向訓練時，一部分數據只用來訓練，另一部分數據只用來測試；而交叉訓練則是數據中有一部分既用來訓練，又用來測試。下面通過圖像來展示交叉訓練的優勢。

3.4 卷積神經網絡最佳層數尋找

對于一般的卷積神經網絡，隨著卷積層數的增加，網絡復雜度增大，意味著最終提取出的數據會更加抽象和高級，能夠完成更大規模的學習，對原始圖像識別的準確率更高。若要增加層數使網絡更復雜，增加隱層的數目和單純的增加隱層神經元的個數都可達到目的，但增加隱層的數目比增加隱層神經元數目更加有效，因為增加隱層數目不僅增加了擁有激活函數的神經元個數，還增加了激活函數嵌套的層數；但是，隨著層數增加，所需的卷積核權重，也就是所需的訓練參數變多，這需要更長訓練時間，甚至會使計算復雜化，降低正確率。針對這個矛盾的問題，下面進行實驗，通過比較隨層數增多，識別錯誤率的變化情況以及所需訓練時間長短，試圖尋找最優層數方案。

表1設計了四組實驗對照，分別代表4種復雜程度不同的網絡結構，前兩組都有3個卷積層和3個池化層，但兩組每層卷積核幅數不同；后兩組都有兩個卷積層和兩個池化層，兩組每層卷積核幅數也不同。對比各組實驗結果不難看出，最優的神經網絡模型是第一組。而且也可以發現：過于簡單的模型，因為參數較少，無法擬合訓練數據；過于復雜的模型，因為參數太多，容易過度擬合訓練數據，降低泛化能力。

我們再看下一個小實驗的結果，如圖1所示，虛線代表了出現錯誤的個數，通過觀察其走勢，我們發現，當層數達到5層～10層中某一層時，隨著訓練時間增加，識別錯誤的概率減小得越來越慢，最后甚至不再減小。說明層數增加到這一層時，已經達到了較高正確率，且該正確率幾乎不再隨層數增加而變化，那么這時再試圖通過增加層數來提高正確率，就沒有意義了。

4.5 卷積加速

通過了GEMM-IN-Parallel，通過多核提高了卷積計算在硬件上的可擴展特性，實現了多工作單線程工作，實現了并行的運算方式，每個核心之間是相互獨立的。我們分析了每個核心數的并行特性，增加了核的數量，觀察計算伸縮性能的變化。表明了隨著核增加計算性能的變化，表明了隨著核增加計算加速情況。圖1是沒加速地隨著核增加計算性能比較。

結語

本文首先比較了深度學習中卷積神經網絡相對于傳統神經網絡在微表情識別特征提取的優勢，即通過權值共享、局部感受野、下采樣過程使特征提取有更高的魯棒性和正確率。

利用了基礎的卷積神經網絡結構，對深度學習在微表情識別領域進行了探索和實驗，主要基于4個方面對算法進行討論和認知：（1）BP和SGD算法優勢簡述；（2）通過比較交叉訓練和非交叉訓練，展示了交叉訓練的優勢；（3）構建不同規模、不同復雜程度的CNN模型進行訓練；（4）實驗通過加入兩個不同的計算核提高了計算速率并保證了計算正確率。實驗結果表明，相比于傳統算法，本文的方法對微表情識別這一任務有更優秀的表現。本文中CNN模型高度適用于一幀幀圖像的識別，但對于較長的視頻識別能力弱，也就是說，CNN對于短至幾微秒的微表情識別水平高，但遇到持續時間較長的微表情或動作則表現不優秀。

參考文獻

[1]劉宇灝.微表情識別的理論和方法研究[D].江蘇：東南大學，2016.

[2]賁晛燁，楊明強，張鵬，等.微表情自動識別綜述[J].計算機輔助設計與圖形學學報，2014，26（9）：1385-1395.

[3]施徐敢.基于深度學習的人臉表情識別[D].浙江：浙江理工大學，2015.

[4]牛新亞.基于深度學習的人臉表情識別研究[D].廣東：華南理工大學，2016.

[5]陶勤勤.基于卷積神經網絡和改進支持向量機的人臉檢測[D].安徽：合肥工業大學，2016.

[6]唐爽.基于深度神經網絡的微表情識別[J].電子技術與軟件工程，2017（3）：93-95.

[7]羅翔云，周曉慧，付克博.基于深度學習的人臉表情識別[J].工業控制計算機，2017，30（5）：92-93.