基于LBP和注意力機制的改進VGG網(wǎng)絡的人臉表情識別方法

張中華 楊慧炯

關鍵詞：面部表情識別;局部二值模式;注意力機制

0 引言（Introduction）

面部表情是判斷人類情感和人機交互效果的重要依據(jù)，早在20世紀，EKMAN等[1]系統(tǒng)地將面部表情劃分為生氣、害怕、厭惡、開心、悲傷、驚訝六類，這一理論的提出在表情識別領域具有跨時代的意義，同時開啟了表情識別領域新世界的大門。

目前，表情識別的方法有傳統(tǒng)算法和深度學習算法兩大類。常見的傳統(tǒng)表情識別算法有局部二值模式（LBP）[2]、Gabor小波變化法[3]和尺度不變特征變換[4-5]等。深度學習算法主要是利用神經(jīng)網(wǎng)絡模型實現(xiàn)自動特征提取和面部表情分類。常見的網(wǎng)絡模型有卷積神經(jīng)網(wǎng)絡、深度置信網(wǎng)絡和堆疊式自動編碼器等[6]。

上述算法雖然在當時取得了良好的效果，但是存在一些問題，例如提取的特征單一化、模型參數(shù)過大、訓練時間過長及識別精確度低等。為了避免追求高準確率而不斷增加網(wǎng)絡模型深度或不斷對面部表情數(shù)據(jù)集進行擴充而將問題復雜化，本文不再對實驗數(shù)據(jù)集樣本進行擴充，而是對VGG網(wǎng)絡模型進行改建，創(chuàng)建NEW-VGG模型，以此加快模型的訓練速度，通過傳統(tǒng)算法與深度學習算法相結合的方法，將LBP算法與NEWVGG模型進行融合，并對兩種具有代表性的數(shù)據(jù)集CK+和Fer2013進行驗證，本文所提方法不僅降低了樣本的訓練時間，還提高了表情識別的準確率。

1 基于LBP和注意力機制的改進VGG 模型（Improved VGG model based on LBP andattention mechanism）

本文首先對原始數(shù)據(jù)集進行圖片歸一化處理，以消除原始數(shù)據(jù)集中與表情識別無關的干擾因素;其次使用LBP算法對已處理數(shù)據(jù)集圖片的紋理特征進行提取，同時對VGG網(wǎng)絡模型進行改建，創(chuàng)建了新的神經(jīng)網(wǎng)絡模型NEW-VGG，并將LBP紋理特征與NEW-VGG網(wǎng)絡進行級聯(lián);最后通過Softmax分類器對面部表情進行分類。本文表情識別總體流程圖如圖1所示。

1.1LBP特征提取

LBP是一種用來描述圖像局部紋理特征的算子，與SIFT（Scale-Invariant Feature Transform）和HOG（Histogram ofOriented Gradient）算法的作用類似，都可以對圖片的局部紋理特征進行提取，對于原始的LBP算法來說，其最大的缺點在于它只能覆蓋一個固定的小區(qū)域，這并不能滿足不同尺寸和不同頻率紋理的需求。繼原始LBP算法之后又出現(xiàn)了許多改進的LBP算法，例如LBP等價模式、多尺度LBP（Multiscale BlockLBP）和CS-LBP（Center-Symmetric LBP）等，本文通過比較后決定采用CircularLBP算法，因為其具有旋轉(zhuǎn)不變性、灰度不變性及光照變化不敏感等顯著的優(yōu)點。利用LBP算法對歸一化的數(shù)據(jù)集進行紋理特征的提取，通過多次實驗，對比LBP（R=1，P=8）、LBP（R=3，P=8）和LBP（R=1，P=6）不同參數(shù)下表情識別的效果，最終采用半徑R=1和采樣點P=6時的最佳結果。不同參數(shù)下的特征提取效果圖如圖2所示。

1.2 改進后的VGG網(wǎng)絡

為快速、準確地對面部表情實現(xiàn)分類，需要對VGG-16模型進行一定的改進，改進后的模型NEW-VGG如圖3所示。眾所周知，在VGG-16網(wǎng)絡模型中，第一個全連接層FC1有4 096個節(jié)點，上一層POOL2有7×7×512=25 088個節(jié)點，則該傳輸需要4 096×25 088個權值，需要消耗很大的內(nèi)存。LIN等[7]設計了一個維度自適應全局平均池化（GlobalAverage Pooling，GAP）層取代傳統(tǒng)CNN中的全連接層，用于融合學習到的深度特征。借鑒LIN等[7]提出的方法，在NEWVGG模型中利用自適應全局平均池化層（GAP）取代傳統(tǒng)VGG-16中的全連接層，解決全連接層容易造成的過擬合、參數(shù)超多及模型臃腫等問題，極大地降低了模型的訓練速度。此外，在VGG-16模型的第一層卷積層后和全局平均池化層前加入注意力機制模塊，可以使模型更多地關注面部表情中一些重要的特征。在本文模型的每個卷積層之后還添加了BN 層、ReLU激活函數(shù)和2×2最大池化層。BN層和ReLU 激活函數(shù)可以使卷積層線性輸出的數(shù)據(jù)以非線性化的形式來表達，避免梯度爆炸和彌漫的問題。Softmax層則是進行表情圖片的輸出分類。

1.3 注意力機制模塊

在NEW-VGG網(wǎng)絡中，為了達到快速準確的分類效果，采用增加不同區(qū)域特征的關注程度，加入注意力模塊的方法，即引入注意力機制，這已經(jīng)被證明在像素級計算機視覺任務中能取得不錯的效果，可以使模型更多地關注面部表情一些重要的特征。

本文所提注意力機制模塊采用混合注意力機制（CBAM）[8]，CBAM模塊會沿著通道和空間兩個維度依次獲取注意力特征圖，然后將注意力特征圖與輸入特征圖相乘，對特征進行自適應修飾。相較于只具有通道注意力機制的SENet[9]來說，CBAM 模塊可以取得更好的效果。同時，CBAM模塊還是輕量級的，在保證網(wǎng)絡模型速度穩(wěn)定的情況下，還可以提高對面部表情的識別率。混合注意力機制（CBAM）網(wǎng)絡框架圖如圖4所示。

對于本文來說，LBP提取的紋理特征經(jīng)過一次卷積后得到在空間維度上的特征圖F 會分別沿著全局最大池化層（Maxpool）和全局平均池化層（Avgpool）兩個方向進行壓縮得到空間描述特征Fcmax 和Fcavg，從而提高特征圖F經(jīng)過通道注意力模塊的計算效率;空間描述特征Fcmax 和Fcavg 會經(jīng)過一個共享網(wǎng)絡MLP，將兩個特征相加后經(jīng)公式（1）得到通道注意力權重系數(shù)Wc（F）。

其中：σ 為sigmoid操作，通過公式（2）將通道注意力權重系數(shù)Wc（F）乘以輸入特征圖F生成通道注意力特征圖F1，通道注意力模塊網(wǎng)絡框架如圖5所示。

空間注意力模塊的使用是對通道注意力模塊的補充，其模塊內(nèi)部操作和通道注意力模塊類似。首先將通道注意力機制模塊得到的特征圖F1作為其輸入特征圖。其次輸入特征圖F1經(jīng)過最大池化層（Maxpool）和平均池化層（Avgpool）在通道維度上聚合信息，得到特征描述符Fsmax 和Fsavg，將特征描述符Fsmax 和Fsavg 橫向拼接后傳入一個7×7的卷積核中進行卷積操作;通過公式（3）得到空間注意力權重系數(shù)Ws（F）。

其中：σ 為sigmoid操作，通過公式（4）將空間注意力權重系數(shù)Ws（F）乘以輸入特征圖F1生成空間注意力特征圖F2，這樣就可以使輸入的特征圖變成更為精細的特征圖，從而進一步增強NEW-VGG網(wǎng)絡的魯棒性。空間注意力模塊網(wǎng)絡框架如圖6所示。

2 實驗（Experimental）

2.1 實驗條件

本文實驗的開發(fā)環(huán)境是基于Python語言的PyTorch框架，實驗軟硬件平臺為64位Linux操作系統(tǒng)、CPU 為第三代Intel Xeon Gold系列，主頻為2.2 GHz，內(nèi)存為32 GB，GPU型號為NVIDIA RTX A4000，顯存是16 GB。本文選取了兩種著名的人臉表情數(shù)據(jù)集CK+數(shù)據(jù)集、Fer2013數(shù)據(jù)集。兩種數(shù)據(jù)集在樣本數(shù)量、參與者的種族和參與者的年齡上具有較大差異，甚至數(shù)據(jù)集中還有些圖片并不是關于人臉表情的。本文選取這兩種數(shù)據(jù)集可以確保網(wǎng)絡模型的可靠性。本文實驗方法采用消融實驗法，探索全局平均池化層和注意力模塊對VGG-16網(wǎng)絡的影響。本文驗證方法采用10倍交叉驗證法，將預處理好的CK+和Fer2013數(shù)據(jù)集分為10份進行實驗以測試算法的準確性，其中9份作為訓練數(shù)據(jù)，1份作為測試數(shù)據(jù)。

由于CK+和Fer2013兩種實驗數(shù)據(jù)集樣本數(shù)量存在較大差異，本文對兩種數(shù)據(jù)集設置了不同的網(wǎng)絡模型參數(shù)（表1）。

2.2 實驗結果和分析

為了驗證本文改進方法的正確性，對其進行消融實驗，并在CK+數(shù)據(jù)集上做多次測試，選取平均識別率作為最終的測試結果（表2）。由表2中的數(shù)據(jù)可知，融合了注意力機制且用平均池化層替代全連接層的NEW-VGG模型，比基準模型的識別準確率高。同時還發(fā)現(xiàn)NEW-VGG在CK+數(shù)據(jù)集上訓練迭代一次的平均時間為0.1 s，而基準模型訓練迭代一次的平均時間為0.2 s，對比后發(fā)現(xiàn)NEW-VGG模型訓練速度更快，LBP和NEW-VGG融合后的識別率進一步提高，達到較好的識別效果。

本文比較了本文所提方法和文獻[10][該文獻主要探究準映射網(wǎng)絡（AMN）在Fer2013數(shù)據(jù)集的性能表現(xiàn)]、文獻[11][該文獻本文首先綜述了目前最流行和最先進的降維方法，然后提出了一種新的、更有效的流形學習方法—軟局部保持映射（SLPM）并探究其在CK+和Fer2013數(shù)據(jù)集上的表現(xiàn)]、文獻[12]（該文獻為了進行分類，使用了基于樣本和原型分布的庫爾巴克判別法的方法）、文獻[13][該文獻首先使用卷積神經(jīng)網(wǎng)絡（CNN）從VGG_Faces中學習面部特征，然后將其鏈接到長短期記憶網(wǎng)絡，以利用視頻幀之間的時間關系，報告了CK+面部表情數(shù)據(jù)集中的競爭結果]、文獻[14][該文獻提出了一種面部姿勢生成對抗網(wǎng)絡（FaPE-GAN），用于合成新的面部表情圖像以增強數(shù)據(jù)集并應用于訓練目的，然后學習基于LightCNN的Fa-Net模型進行表情分類]在CK+和Fer2013數(shù)據(jù)集上的準確度（表3、表4），表3和表4的結果表明，本文所提方法的識別率明顯高于其他方法。

本文通過繪制混淆矩陣探究每個表情在不同數(shù)據(jù)集上的識別效果。CK+混淆矩陣中對開心、驚訝和蔑視3種表情的識別率最高，因為人們在做出這3種表情時，其面部顯露特點比較明顯，不易與其他表情混淆;然而，生氣、憎惡、恐懼和悲傷4種表情的識別率相對較低，這是因為人在消極的情況下表露的表情的特點較為相似，這也給網(wǎng)絡模型區(qū)分這些表情帶來了一定的困難。本文所提方法在CK+數(shù)據(jù)集和Fer2013數(shù)據(jù)集上的混淆矩陣分別見表5和表6。Fer2013數(shù)據(jù)集上的混淆矩陣中只有開心和驚訝2種表情的識別率最高，其他5種表情的識別率較低。主要原因在于Fer2013數(shù)據(jù)集標簽本身存在錯誤且受干擾因素也比較多，這也說明了原始數(shù)據(jù)集樣本在實驗過程中的重要性。

3 結論（Conclusion）

本文提出了一種融合LBP特征和注意力機制的面部表情識別方法，通過對VGG-16網(wǎng)絡進行改進，創(chuàng)建出了NEWVGG模型，并通過消融實驗驗證了全局平均池化層和注意力機制對VGG-16網(wǎng)絡模型在速度、精度提升上的正確性。將LBP算法和NEW-VGG模型進行融合，并對CK+和Fer2013兩種著名人臉表情數(shù)據(jù)集進行實驗，實驗結果表明，該模型在CK+和Fer2013數(shù)據(jù)集上分別取得了97.98%和76.75%的準確率，經(jīng)與其他文獻識別率對比可以發(fā)現(xiàn)，本文方法明顯高于文獻[10]至文獻[14]的表情識別方法。但是，從實驗中繪制的數(shù)據(jù)集混淆矩陣可以發(fā)現(xiàn)，本文所提方法針對生氣、恐懼和悲傷表情的識別效果不盡如人意。在接下來的工作中，應考慮進一步探索用更好的深度學習方法增強網(wǎng)絡，通過增強數(shù)據(jù)特征的提取，以便更加快速、準確地區(qū)分易混淆的面部表情。