基于光流和自編碼器的微表情檢測方法

黃樹成 羅德廣

(江蘇科技大學計算機學院 江蘇 鎮江 212003)

0 引 言

面部表情是日常社會交往的主要方式,也是察覺個人的情緒和心理狀態的最重要的外在指標之一。隨著心理學的日益成熟,研究發現人們可以通過控制自己的面部表情,產生自主的假表情去欺騙觀察者,所以通過表情往往不能反映人的真實情緒[1],針對這類現象Haggard等[2]發現一種新的情緒表達機制——微表情。微表情具有持續時間短并且出現強度弱的特點,但通常能反映出人真實的情緒,但這種微小的運動變化和瞬時性對人的肉眼來說是巨大的挑戰[3]。微表情出現在高風險的環境下,試圖去隱藏所在經歷的情感時所流露出的非自主的臉部肌肉運動,微表情由自然狀態到頂峰狀態再恢復到自然狀態下的時間少于500 ms[4]。由于微表情的不可欺騙性,微表情檢測被廣泛應用在例如公共安全[5]、刑偵心理學[6]、政治心理學[7]、教育心理學[8]等地方。

為了編碼微表情,人臉動作編碼系統(FACS)被廣泛地應用到微表情的研究之中,FACS的產生建立了人臉肌肉和情緒表達之間的關系,而動作單元(AUs)就是FACS中必不可少的組成部分,每一個AUs代表著局部的人臉肌肉運動。通過觀察人臉的AUs去判斷微表情(ME)所產生的區域,大大提高了標注的準確度。

研究微表情需要從可用數據集開始,然而可供研究的自發微表情數據集很少,目前可用的自發性微表情數據集有:SMIC[9],CASME[10]、CASME II[11]、CAS(ME)2[12]和SAMM[13]。然而通過AUs標注了的數據集只有SAMM和CASME數據集。

近年來,微表情的研究方向更多的在于微表情識別方向,而微表情檢測很少。為了提高檢測的準確性,不同的特征被用于來做微表情檢測任務,從ME的產生開始,人臉的局部運動變化變得可以捕捉,LBP模式[14]是目前常見的特征分析方法,用于提取局部紋理變化信息。隨著光流的算法被廣泛地利用,光流特征逐漸被用作為微表情檢測的特征。Liu等[15]提出的主方向平均光流加入了微表情的研究之中。2018年Li等[16]提出了一種視頻微表情檢測的改進光流算法,針對人為識別的困難性,提出改進光流的HS光流算法,用于自動的微表情檢測,取得不錯的效果。隨著數據集的逐漸完善,一開始Li等[17]提出的LTP-ML方法使得微表情檢測的準確度達到了75%,到Li等[18]提出的一種基于深度學習下的微表情時許檢測方法,微表情檢測的準確率在一直提高。即使ME在被控制的嚴格環境下被采集,也還有許多如頭動和眨眼等外界因素的干擾,使得微表情檢測的準確度受到了影響,所以缺少自發性帶標注的微表情數據集成為了微表情檢測的主要挑戰。為了克服數據集標注所帶來的阻礙,通過大量的攝像頭來采集實驗場景下的微表情的方法,在采集到微表情后需要標注出起始幀、頂峰幀和結束幀,這就帶來了一個另外挑戰——因為標注所帶來的巨大成本。目前為止,標注過程都是通過人在低速下觀察每個采集到的微表情視頻片段進行標注,然而標注者可能在很長的視頻中標注只含有幾個微表情變化的片段。為了解決這個問題,需要一種方法能去除長視頻中不包含微表情變化的片段,因此需要帶有標注的長視頻。

現有的數據集中只有CAS(ME)2和SAMM數據集包含了這樣的長視頻,而其他的數據集只是帶有一個微表情片段的預訓練短視頻。如圖1的例子所示。

本文提出一種利用自編碼器學習光流特征去識別微表情長視頻的方法,提取指定區域的稠密光流特征,然后傳遞給自編碼器學習后再去做檢測的任務。相比于用傳統的神經網絡模型,由于微表情數據集的label量大且是人工標注,容易導致訓練的準確率不高,自編碼器(Autoencoder)模型特點是無監督學習,不需要標簽值,使得網絡模型學習到的特征更加精確。在實驗預處理中將采集的微表情視頻轉換為圖片,再通過Dlib數據庫中的人臉檢測算法捕捉到人臉,提取出興趣區域后做人臉對齊,很大程度上減少了物理干擾。本文所提出的方法最大的貢獻就是在微表情檢測中引入了自編碼器模型,降低了無標簽所帶來的不足。

近年來,深度學習成為了研究中必不可少的主要技術,通過深度學習的方法提取的特征更加的精確。近兩年中在CV(Computer Vision,CV)方向發現,基本所有的比賽中都加入了如CNN(Convolution Neural Network),RNN(Recurrent Neural Network)等技術,結果都在往越來越好的趨勢發展。本文將結合自編碼器技術和光流算法。

1 相關理論與技術

1.1 ROIs區域提取

ROIs(Region Of Interest)區域的提取是對微表情預處理中最常見的方法之一,選取區域的優勢在于消除了物理因素對微表情檢測所帶來的誤差。

ROIs最早是由Liong等[19]所提出用于提取出微表情序列中的頂峰幀,最早提出時所選擇的區域為“右眼和右邊眉毛”“左眼和左邊眉毛”“嘴巴”這三個區域,然后由Liong等[20]研究改進后發現在微表情檢測中眨眼對檢測的準確度有大的影響,所以將眼睛區域的區域去掉。

Davison等[21]而后提出了在FACS(Facial Action Coding System,FACS)的基礎上建立提取區域,這種方法所提取的區域是根據人臉的一些特定的AUs(Action Units,AUs)的運動去提取出檢測區域,很大程度上結合了人臉肌肉運動與微表情產生之間的聯系。

1.2 微表情發現方法

早期Moilanen等[22]引入一種從外觀特征的差異去點注微表情的方法,首次提出了用一個大小為N的滑動窗口去做檢測,其中N的大小為微表情出現的周期,而本文將采用稠密光流場算法去發現微表情變化。光流(optical flow)法有兩個基本的假設條件,一個是亮度保持基本的不變性,第二就是時間是連續的或者運動是非常小的,其公式如下:

I(x,y,t)=I(x+dx,y+dy,t+dt)

(1)

式中:I表示t時刻的光流;dx和dy表示t時間內,x和y的偏移量。

將式(1)做泰勒展開(ε為二階無窮小,可忽略),得到式(2)。

(2)

結合式(1)與式(2)可得:

(3)

1.3 自編碼器

隨著深度學習應用的不斷成熟,從最早的CNN、RNN到現在的自編碼器、GNN,深度學習的框架不斷地受到了重視,深度學習的學習方式包括有監督學習、無監督學習、自監督學習。所謂的有監督學習就是在輸入數據進入模型訓練時,每組需要訓練的數據都有自己的label值,再通過模型產生的預測值與訓練數據的真實標簽進行比較,不斷地優化過程。而無監督學習就是在沒有label的輸入下對輸入數據尋找變化的特征,常見用于對數據的可視化,去噪或者降維下使用。而自監督就是監督學習中的一個特例,訓練過程中沒有人工的標注,通常可以看作無人工標注下的監督學習。自編碼器就是采用了自監督學習的方式,自編碼器最早由Lecun等提出,因為自編碼器獨有的特征使得這類網絡模型受到了大數的微表情研究者們的喜愛。對于標注數據不足的微表情數據集而言,采用自編碼器模型大大地減少了對數據集標注的依賴。自編碼器分為encoder和decoder層,通常采用自編碼器的encoder層對輸入的圖片數據進行訓練,對特征進行不斷地學習,圖2為卷積自編碼器模型圖。

圖2 卷積自編碼器模型圖

2 檢測方法設計

提出的方法主要包括了四個主要的步驟:圖像預處理、光流場計算、自編碼器模型訓練、SVM分類檢測微表情。第一步就是將微表情視頻處理為圖片后,對圖片進行預處理操作,主要包括了對圖像的人臉檢測、裁剪以及對齊,對齊之后選取關鍵的ROIs區域。第二步就是對圖像進行光流的計算,得到光流特征,將光流特征作為自編碼器的輸入進行訓練,截取出encoder層的結果,通過SVM分類器中做二分類操作。

2.1 預處理

預處理中首先通過Dlib[24]庫中的人臉檢測器對人臉進行檢測,通過檢測之后可以得到一個框出了人臉的矩形框,然后對人臉進行裁剪,如圖3的上半部分所示。第二步,采用了Dlib庫中的人臉68特征點標注的函數對人臉進行定位,然后通過計算兩眼的角度,利用opencv[25]中的圖像旋轉方法對圖像進行對齊,使得兩眼處于同一水平線上,對齊以后再對圖像進行landmarks檢測與定位,如圖3的下半部分所示。

2.2 光流計算

通過對圖片的預處理部分可以得到經過了對齊以后的人臉圖片,接下來就是提取圖片的稠密光流運動特征,通過計算兩圖之間各像素點的運動信息來保存微表情信息,這部分是實驗中必要的部分,因為訓練自編碼器時,深度學習模型從圖片學習的特征不定,通過光流處理后,保存的運動信息可以讓模型更好地學習輸入數據。如圖4所示,光流特征提取及光流有無累加進行了比較。對齊以后的光流再進行了光流累加的效果,使得光流圖特征更加完善。

(b) 直接計算Deepflow

(4)

(a) (b)

2.3 自編碼器模型

2.3.1編碼層網絡結構

編碼層中我們主要采用了卷積層、池化層、BN層、激活函數層。

(1) 卷積層:是由所設定的卷積層層數組成,每個卷積單元的參數都是通過不斷訓練網絡利用反向傳播算法最佳化所得的,卷積操作的引入目的是提取出網絡輸入中的不同特征,添加多層的網路能從網絡中學習到更加復雜的特征。

(2) BN層:訓練網絡時,除了輸入層數據進行了歸一化的操作保證了輸入數據分布一致以外,每層訓練中網絡的輸入數據分布不一致,使得網絡不得不適應新的數據分布,導致了訓練網絡所花費的時間增加,網絡收斂速度慢,于是就引入了BN層。和網絡的激活函數層、卷積層一樣,BN(Batch Normalization)層也屬于網絡的結構之一。引入BN層可以改變原始數據存在的雜亂無章,使得數據分布具有一定的規律,加快了收斂速度。

(3) 激活函數層:常見使用線性整流(Rectified Linear Units,ReLU) f(x)=max(0,x)作為神經網絡的激活函數。常見的激活函數還包括雙曲正切函數、Sigmoid函數,但是ReLU激活函數更受青睞,因為在訓練過程中使用ReLU激活函數可以提升模型的訓練速度,卻不影響模型的泛化性。

(4) 池化層:池化(Pooling)是卷積網絡類型一個重要的操作,它實際上是一種降采樣的方式,常見的有兩種池化方式:最大池化、平均池化。最大池化就是將輸入圖像劃分為若干個區域,選取區域中的最大值。而平均池化為選取區域的平均數。池化過程可以減少數據的空間大小,使得訓練的參數以及計算量下降。

2.3.2解碼層網絡結構

解碼層中我們首先將編碼層中的圖上采樣為指定大小后利用反卷積操作得到與原圖大小一致的圖片。

3 方法模型設計及訓練

本文提出的網絡模型如圖6所示。訓練時,選擇batch-size為32,學習率為0.025,訓練迭代次數為300次,每層深度模型中加入了Dropout層來防止過擬合,大大提高了模型的泛化性。訓練過程中首先對微表情數據集進行了裁剪以及對齊的方法處理微表情視頻幀,得到了N幀源圖,通過稠密光流計算得到光流圖,將光流特征傳入自編碼器中,自編碼器網絡模型為:encoder層使用4層卷積,分別為Conv1_1(16個卷積核大小為3×3,stride為1),Maxpool2D,Activation(主要使用ReLU函數);Conv2_1(32個大小為3×3卷積核,stride為1),Maxpool2D,Activation;Conv3_1(64個大小為3×3的卷積核),Maxpool2D,Activation;Conv4_1(128個大小為3×3的卷積核),Maxpool2D,Activation。從encoder層中出來的特征為(h,w,128)大小的特征數,decoder層使用向上采樣的方式進行反卷積操作,使用AdamOptimizer進行優化。再將學到的特征扁平到2維,格式如[num_iamge,nums_feature],其中num_image為圖片數,nums_feature為每幅圖的特征數,通過機器學習SVM分類器對數據進行標簽處理,再與源數據的標簽進行比較計算準確率。

圖6 本文提出的網絡模型

4 實驗結果與分析

本文的實驗在Windows下,使用TensorFlow深度學習框架進行的,TensorFlow提供了完善的神經網絡搭建方式,是目前深度學習框架最為實用與簡便的框架之一。

本文中通過預處理微表情視頻的圖片,對有微表情的圖片通過光流計算以及消除頭部以及眨眼的過程,將所有處理之后的數據作為卷積自編碼器的訓練數據集,設定了一些超參數如Batch-size、學習率,為了防止過擬合,在訓練訓練集時通過dropout算法來處理,迭代300次,圖7為訓練的loss曲線。

圖7 訓練的loss曲線

通過圖7發現,迭代了300次以后,網絡模型基本處于穩定狀態。再將特征放入SVM分類器中,通過給每幅特征圖進行編入標簽(0,1),與原數據集中的標簽值進行比較,達到了75.58%,如表1所示。相比于LBP-TOP-SVM[11]、VGGNet、RESNET、LEARNET,本文提出的方法得到了優化,雖然相比于LEARNET在檢測的準確率上不足,但是,從網絡參數量、占用資源、運行深度模型所需時間相比減少許多。

表1 方法比較

5 結 語

本文提出了一種基于傳統光流方法與深度學習自編碼器結合的微表情檢測算法,在一定程度上克服了傳統方法的不足。使用傳統光流時做了對齊以及累加的改進,使得光流圖效果以及特征更加完善。在深度學習方面,本文引入了較為成熟的自編碼器模型,并且在模型中進行了改善,加入了歸一化以及Dropout層防止過擬合的出現,利用4層卷積操作,解碼層采用上采樣的方式,大大減少了訓練所需的時間,提高了方法的性能。針對微表情檢測時出現的幾種常見的影響因素,分別給出了相應的解決辦法。實驗表明,檢測的準確率有所提高。

然而,由于采用深度學習以及光流方式來研究,微表情出現的微弱以及數據量的不足還是導致微表情檢測率不高的主要因素,加上人工標注時所帶來的誤差使得檢測準確率受到了一定程度的影響。在以后的工作中,可以建立更加合理的微表情數據集來進行操作,促進微表情研究的發展。