基于改進紋理特征與遷移學習的人臉表情識別

焦陽陽，黃潤才

（上海工程技術大學 電子電氣工程學院，上海 201620）

0 引言

在情感計算領域中，面部表情可以最有效地表達出一個人的情感信息。隨著計算機的飛速發展，研究人員開始嘗試使用機器自動識別人臉表情。人類的面部表情按照Ekman 和Friesen［1］的定義可分為憤怒、厭惡、恐懼、興奮、悲傷與驚訝等6 類。伴隨著研究的不斷深入，表情識別準確率不斷提高，人臉表情識別也開始廣泛應用于人們的日常生產生活中，如醫療診斷、駕駛員疲勞檢測以及學生課堂管理等。

人臉表情識別按技術路線可分為3 個步驟：表情圖像預處理、特征提取與表情識別。目前用于提取人臉表情特征的方法有兩種：基于傳統特征的方法與基于深度學習的方法。傳統特征提取方法使用不同的編碼算子來提取圖像的局部信息，其中編碼算子主要有局部二值模式（LBP）［2］、方向梯度直方圖（HOG）［3］和局部圖結構（LGS）等。Abusham［4］于2011 年提出使用局部圖結構來提取圖像特征，隨后Mohd［5］等針對LGS 的非對稱性提出了改進后的SLGS。但傳統方法只能提取圖像的局部信息，無法獲取全局語義信息，因此深度學習技術被不斷運用在表情識別領域。馮楊［6］等設計了一個小尺度卷積核的神經網絡來提取面部表情特征，提高了表情識別的準確率。Jiang［7］等設計了一種混合深度分離殘差網絡，用于表情特征提取。Transformer 在最近幾年中被廣泛運用在自然語言處理領域中，研究人員也開始嘗試將其運用在計算機視覺任務。Alexey［8］等人提出了VIT，將Transformer 移植到了計算機視覺領域中，在圖像分類及目標檢測等不同任務中均獲得了巨大的成功。由于單一方法提取的特征信息不夠豐富與小樣本表情數據集的表情樣本不足等問題，不少研究人員開始嘗試融合不同特征以提高特征的表征能力，并嘗試使用遷移學習的方法訓練神經網絡。Wang［9］等使用MO-HOG 與卷積神經網絡提取的特征進行融合。Yang［10］等將幾何特征、紋理特征與ResNet 網絡提取的特征進行結合，構成復合面部特征進行表情識別。

傳統的LGS 算子表征了圖像的局部信息，但存在一些不足，如采樣范圍小，左右兩邊權重分配不均勻。本文首先對LGS 進行了改進，提出了完全局部圖結構（Complete Local Graph Structure，CLGS）特征描述符，通過CLGS 對表情圖像提取局部圖像特征。隨后通過遷移學習的方法，使用視覺注意力機制對面部表情進行全局特征提取，通過將局部特征與全局特征進行級聯融合，使表情特征能夠表達更加豐富的信息，最后使用Softmax 對表情進行分類。

1 人臉表情識別模型

本文提出的人臉表情識別模型如圖1 所示。首先將原始圖像經過預處理操作，把背景等無關因素去除掉，然后對圖像進行分塊處理，分別送入兩條支路提取特征向量。將分塊后的圖像展平成一維向量，在每個向量位置上添加一個位置嵌入，得到Transformer 編碼器的輸入向量，經過Transformer 處理后得到全局特征向量。與此同時將分塊后的圖像通過CLGS 特征描述符提取特征，并轉換為直方圖形式，得到局部紋理特征。最后將全局特征與局部紋理特征拼接融合，經過全連接層后送入Softmax中得到最終預測結果。

圖1 人臉表情識別模型Fig.1 Facial expression recognition model

1.1 圖像預處理

在原始圖像中存在著許多對表情特征提取無關的信息，如果直接將原圖像送入模型進行處理，對表情識別的準確性有一定的影響。因此需要對表情圖像進行預處理，包括人臉檢測、灰度及尺寸歸一化等。檢測并裁剪出人臉部位，然后將三通道RGB 圖像轉換為灰度圖，統一縮放成相同規格的尺寸大小，得到模型所需的輸入圖像。

1.2 CLGS 特征

Abusham 等提出的局部圖結構（LGS）算子用于描述局部紋理特征，其通過構建一個圖結構來描述中心像素與周邊像素的關系，其計算過程如圖2所示。在中心像素周邊選取5 個像素點，從左側開始按照圖中標記的箭頭位置，依次比較箭頭首端與箭頭末端所指像素的大小，大于則將連接兩像素的邊取0，小于取1。沿著圖中標記的順序，依次得到8 個二進制數，將其按照排列順序賦予一定的權重轉換為十進制數，這個數值即為中心像素的LGS 特征值。在圖2 中，得到的8 個二進制數為00110100，轉換為十進制數52。

圖2 LGS 編碼示意圖Fig.2 Diagram of LGS coding

從圖2 可知，LGS 存在著對左右兩邊像素點利用不均勻與權重賦予左重右輕等特點，左邊采樣兩個像素點，權重賦予了128、64 與32，而右邊雖然多一個采樣點，但權重明顯比左邊低。于是SLGS 通過在中心像素兩側提取相同數量的像素，解決了采樣不平衡的問題。但SLGS 的采樣范圍僅利用了周邊的一半像素點，另一半像素點則沒有利用，并且權重賦予的問題也沒有解決。因此，本文提出了CLGS描述符對上述問題進行了改進。

如圖3 所示，CLGS 描述符通過構建兩個不同的圖結構分別計算出特征值，描述符采樣范圍擴大了一倍。然后根據圖4 所示的權重賦予機制，分別對計算完成后的二進制值乘以相應的權重得到兩個特征值，中心像素的兩邊權重分配更加合理。局部最大特征值能夠更好地反映周邊像素的變化情況，保存更多的紋理信息，因此取最大的那個值作為中心像素的特征值。將圖像分為16×16 大小的圖像塊，分別處理為CLGS 圖像，再對這些圖像內的特征值進行統計得到特征直方圖，作為圖像的局部特征信息。

圖3 CLGS 示意圖Fig.3 Diagram of CLGS

圖4 權重賦予示意圖Fig.4 Weight assignment diagram

1.3 Vision Transformer（VIT）

VIT 通過計算圖像塊之間的關系獲得圖像的全局特征，視覺注意力機制的結構如圖5 所示。

圖5 VIT 示意圖Fig.5 VIT diagram

首先將圖像進行裁切，分為16×16 大小的圖像塊，再將圖像塊進行展平處理，轉換為一維向量。與自然語言處理中的BERT 類似，在輸入序列的最前端添加一個可學習的向量，用于表示分類信息；然后使用可學習的一維向量作為位置向量，與圖像向量進行相加，保留位置信息。式（1）展示了輸入向量的計算過程：

將處理得到的向量序列作為編碼器的輸入。在整個編碼器中，最重要的部件是多頭注意力機制，由z個自注意力構成。自注意力通過計算單個向量與其他向量之間的關系得到全局注意力表示，其通過可學習的3 個參數Q、K、V來進行表示。具體的計算如式（2）：

其中，d為輸入向量的維度，輸入向量與3 個權重矩陣相乘得到Q、K、V。

在得到單個自注意力矩陣后，使用多個自注意力頭，生成多頭注意力。計算公式如式（3）：

其中，wo為權重矩陣。輸入的向量矩陣首先進行歸一化處理，然后送入多頭注意力機制中，再次經過歸一化以及感知機層，得到輸出向量矩陣。在編碼過程中，編碼器還使用了兩個殘差連接，其目的是為了防止梯度消失。經過多個編碼器的計算后，輸出最終的特征向量。

由于表情識別數據集樣本小，而深度學習的訓練需要大量樣本的支撐，因此遷移學習被廣泛運用于小樣本任務中。遷移學習指的是首先在一個與目標任務類似的任務上進行模型的訓練，該任務的樣本量非常大，常用的有ImageNet 數據集。在該任務上訓練好模型，然后將模型參數遷移到目標任務上。遷移學習可以解決小樣本數據集圖像特征不足的問題，本文使用在ImageNet 上預先訓練過的模型，通過微調得到全局特征向量。

1.4 特征融合

如前所述，通過CLGS 描述符得到了圖像的局部特征信息后；再通過遷移學習的方式，使用VIT 得到了圖像的全局信息。在此基礎上可通過將局部信息與全局信息相融合，得到最終的表情特征向量。融合方法使用串聯拼接的方式：

其中，Xdeep為全局特征向量；Xclgs為局部特征向量；X為模型最終得到的特征向量。

經過全連接層后，通過Softmax 進行表情分類。在整個模型訓練過程中，選擇交叉熵損失函數作為梯度下降的優化函數：

其中，yi為真實值為預測值；N為樣本數。使用梯度下降的方法不斷縮小預測值與真實值之間的差異。

2 實驗結果與分析

本文模型使用Pytorch 深度學習框架搭建，操作系統為Ubuntu，GPU 為NVIDIA Tesla K80，Python版本為3.8。其中神經網絡參數設置為：優化器使用Adam，Batchsize 為64，Epoch 設置為20。

2.1 數據集

本文所進行的所有實驗均使用CK+［11］與Oulu-CASIA［12］數據集。CK+數據集包含了123 個被采集對象的593 個表情圖像序列，其中包含憤怒、厭惡、恐懼、中性、興奮、悲傷與驚訝7 種表情，本文選用CK+數據集最后三幀的圖像進行實驗。Oulu-CASIA 數據集共采樣80 個人的6 種基本表情，對比CK+數據集缺少中性表情，采樣方式分為兩種：可見光與近紅外光，本文使用可見光數據進行實驗。將兩個數據集均按照8 ∶2 的比例劃分出訓練集和測試集，模型驗證使用五折交叉方法。

2.2 消融實驗

為了驗證本文提出的模型有效性，進行了模型消融實驗，共設置了兩組對照實驗。實驗一僅使用VIT 視覺注意力機制，實驗二使用未經過預訓練的VIT 模型，使模型從頭開始訓練。實驗分別在CK+與Oulu-CASIA 數據集上進行，并與本文模型進行對比。實驗結果見表1。

表1 消融實驗結果Tab.1 Results of ablation experiments

從表1 中可見，本文模型比單一特征提高了8%的準確率，證明本文將全局特征與局部特征進行融合，能夠表達更加豐富的信息。實驗二的結果證明了經過預訓練的模型比重新開始訓練的模型識別效果更好，能夠提升表情識別的準確率。

2.3 紋理特征對比實驗

本文提出了CLGS 特征描述符，為了驗證描述符的有效性，選用了不同類型的描述符進行對比實驗。實驗選用LGS、SLGS 作為參照，最終實驗結果如圖6 所示。

圖6 紋理特征實驗結果Fig.6 Experimental results of texture features

從圖6 可知，本文提出的CLGS 在CK+數據集上取得了97.4%的準確率，在Oulu-CASIA 上得到了87.6%的準確率，均高于其他特征描述符。CLGS對目標周圍像素的利用率均高于其他紋理特征，而改進后的權重賦予機制對左右兩邊像素的利用更加合理。

2.4 混淆矩陣

為了反映本文模型對不同表情的識別率，繪制了CK+和Oulu-CASIA 數據集的表情分類混淆矩陣。

從圖7（a）可以得知，模型對CK+數據集中部分恐懼、自然及悲傷圖像識別效果較差；在圖7（b）中，悲傷、厭惡及憤怒的識別率明顯低于其他表情，模型對于興奮和驚訝兩種表情的識別率較高。分析可知，識別率較低的表情其面部動作相似度高，動作幅度較小，識別率高的表情面部動作幅度較大，特征比較明顯。

圖7 混淆矩陣Fig.7 Confusion matrix

2.5 算法對比

表2 展示了本文提出的方法與其它主流表情識別算法的識別率對比。經過對比，無論是傳統方法還是深度學習方法，本文模型在CK+與Oulu-CASIA 數據集上的識別準確率均高于表中所列其它方法，證明了本文方法的有效性。

表2 與其他算法識別率對比Tab.2 Comparison of recognition rate with other algorithms

3 結束語

本文對傳統LGS 算子進行了改進，提出的CLGS 算子能更加合理地表示出圖像的局部紋理信息，并通過遷移學習的方式提取了表情的全局特征，將局部特征與全局特征進行融合與表情分類。在CK+和Oulu-CASIA 上的實驗證明了本文表情識別模型的有效性。由于模型還存在對特定表情識別準確率不高的問題，下一步將繼續研究如何提高難區分表情的識別率。