基于遮擋感知卷積神經網絡的面部表情識別模型

王 軍，趙 凱，程 勇

（1.南京信息工程大學 科技產業處，南京 210044；2.南京信息工程大學 計算機與軟件學院，南京 210044）

0 概述

近年來，面部表情識別（Facial Expression Recognition，FER）在人機交互、自動駕駛和心理健康評估等方面應用廣泛。作為交叉領域技術，面部表情識別的發展可以推動人臉檢測技術［1-2］、人臉重組技術［3-4］、動畫模擬技術［5］等相關技術領域的進步。盡管現有面部表情識別系統已有較高識別率，但大多數基于實驗室數據庫系統獲取，如CK+［6］、JAFFE［7］、MMI［8］等，這些面部圖像多數是正臉圖像且沒有任何遮擋，在實際應用中不具有普適性。為提升真實場景下的表情識別率，研究人員收集大量臉部圖像組建表情數據庫［9-10］，并提出新穎算法［11-13］與優化網絡架構［14-16］，但從現有模型在數據庫上的表現來看，真實場景下的面部表情識別技術仍處于起步階段，其中對識別率影響最大因素之一就是遮擋問題。在真實場景中，遮擋不可避免，它可能由本身引起，如姿態、頭發、手臂等引起的自遮擋，也可能由外物引起，比如眼鏡、圍巾、口罩、食物和其他人的遮擋，這都將不可避免地導致識別精度下降。本文對表情識別中的遮擋問題進行分析，提出具有遮擋感知能力的神經網絡以提取遮擋情況下的面部表情特征。設計區域遮擋判定單元并集成到VGG16網絡（Visual Geometry Group Network，VGGNet），使整個模型能夠提取未遮擋區域及遮擋較少區域表情特征，在網絡卷積層利用遷移學習算法對卷積層進行參數預訓練，并使用基于殘差神經網絡［16］修改的網絡（The modified Residual Network，modified ResNet）提取全臉特征。最終通過加權融合殘差網絡和遮擋感知網絡的輸出進行面部識別。

1 相關工作

1.1 網絡結構

卷積神經網絡（Convolutional Neural Network，CNN）在計算機視覺領域所取得的顯著成就，如圖像分類［17-18］、目標檢測［19-20］等的主要原因是網絡架構的不斷改進。例如，ALEX 等［14］提出的AlexNet在ImageNet競賽中獲得出色表現（top1 和top5 的錯誤率分別為37.5%和17.0%），以高于第2 名10.9 個百分點的成績取得第1，AlexNet的出現引起人們對CNN 的學習熱潮。隨后為探索CNN 為何在圖像處理中有著優異表現，ZEILER等［21］設計反卷積神經網絡（Deconvolutional Network）對網絡內部進行可視化分析并進一步提高CNN 能力。反卷積神經網絡主要由反池化、反激活、反卷積3 個部分組成，通過可視化AlexNet 各個特征層，對卷積核大小及步長進行優化，改進后的模型ZFNet 在ImageNet 2012的分類誤差與AlexNet相比均有所下降。2014年，由SIMONYAN 等［15］提出的VGGNet，通過探索分析出卷積神經網絡深度和性能之間的關系，成功構建出16/19 層深度神經網絡。此后，為解決網絡層數達到一定程度后出現的性能退化問題，HE 等［16］提出殘差卷積神經網絡，通過在網絡中增加跳躍結構以實現恒等映射，實現了利用網絡深度來提高準確率的目的。當前，科研人員對網絡結構優化的興趣較高，HUANG 等［22］提出的網絡模型的深度已達數百層。

本文基于VGGNet 和殘差網絡提出模型架構，選用VGGNet的主要原因在于其在圖像特征提取方面的優異表現，且易于修改和訓練。使用殘差網絡是由于其易于優化，且經過簡單修改就可以很好地提取面部表情特征。

1.2 特征提取

真實場景下的面部表情識別是一項極具挑戰的任務，因為在識別過程中會遇到諸多不可避免的問題，如部分遮擋、光照變化、個體差異等，這些問題在空間表達上都與表情非線性相關。因此，有效提取表情相關特征難度很大。為解決面部表情識別中遇到的各種問題，研究人員通過嘗試不斷優化網絡架構和提出新算法來解決。例如，為有效提升模型對光照變化的魯棒性，YANG 等［23］提出名為雙通道混合神經網絡模型（Weighted Mixed Deep Neural Network，WMDNN），該模型能有效地對面部灰度圖像特征和LBP 圖像特征進行融合，成功構建出光照不敏感模型。本文提出的模型與之類似，也采用雙通道輸出融合的方式來獲得更好的性能。為解決遮擋問題，LI 等人［24］提出帶有注意力機制的卷積神經網絡（Convolution Neutral Network with Attention mechanism，ACNN），其由局部感知網（patch based ACNN，pACNN）和全局感知網（global based ACNN，gACNN）組成，通過感知面部遮擋區域比例，使網絡專注于未遮擋區域。與ACNN 不同，本文模型使用多個區域遮擋判定單元構成遮擋感知網絡，比ACNN更容易訓練和優化。為解決樣本數據不足，DING等［11］提出遷移學習算法FaceNet2ExpNet以針對表情識別網絡的卷積層進行參數預訓練，該算法為2 階段訓練算法：第1 階段利用人臉信息作為卷積層參數訓練的監督值，以實現卷積層參數初始化；第2 階段以面部表情信息作為監督值來訓練全連接層參數，從而解決因訓練數據不足帶來的過擬合問題。

本文提出的模型主要針對面部表情識別中部分遮擋問題，在ACNN 的基礎上進行優化，設計區域遮擋判定單元并將其集成到單個網絡中，使網絡具有遮擋感知功能。采用雙通道網絡結構來實現特征互補，以獲得更好地表現性能。此外，利用遷移學習算法對網絡進行預訓練，解決訓練樣本不足帶來的過擬合問題。

2 本文方法

2.1 系統框架

本文提出的模型整體框架如圖1所示。藍色（彩色效果見《計算機工程》官網HTML版）實線框中為遮擋感知網絡，用來提取遮擋較少區域的表情相關特征。藍色虛線框部分為區域遮擋判定單元（Region Decision Unit，RD-Unit），其主要功能為判定子區域遮擋比例是否超過設定值，當某一區域遮擋超過設定比例時，即舍棄該區域特征向量。本文通過將多個區域遮擋判定單元集成于VGG16網絡中，使其能夠篩選出臉部遮擋較少的子區域。因此遮擋感知網絡能夠提取遮擋較少區域的表情相關特征。紅色實線框部分為修改后的殘差神經網絡，用以提取全臉表情特征，該網絡以殘差網絡作為主干網并進行針對性優化。2個網絡的輸出通過單因子加權方式進行特征向量融合，融合后的特征向量將用以表情分類。

圖1 本文模型框架Fig.1 Framework of the proposed model

2.2 遮擋感知網絡

如圖2 所示，本文使用Face++調用應用程序編程接口的方式對臉部進行關鍵點檢測，隨后在OpenCV 中對圖像包含關鍵點的區域進行選取操作，處理后的面部圖像尺寸將統一縮放至128 像素×128 像素，隨后將會作為遮擋感知網絡的輸入進行特征提取。在特征提取階段將使用滑動劃分的方式對子區域進行選取，即使用固定大小的窗口并設定滑動步長，隨后使用逐步滑動方式對人臉圖像進行滑動選取。

圖2 圖像滑動劃分方式Fig.2 Facial image sliding division methods

假設輸入圖像的寬和高分別為w和h，滑動窗口尺寸為d×d，使用滑動劃分方式對輸入圖像進行劃分后，將得到n子區域，其計算公式如下：

其中：s為滑動步長大小。通過實驗分析，滑動步長和網絡精確度及內存消耗成正比。綜合考慮，本文將滑動步長設定為滑動窗口尺寸的1/2，即s=d/2。使用滑動方式進行選取會產生部分區域重疊和資源消耗，但這有助于保留更多臉部信息。滑動選取方式在整個圖像上操作，對臉部關鍵點定位精度依賴性不高，因此該方式在一定程度上可以提升遮擋感知網絡的性能。臉部圖像區域的滑動劃分方式如圖2 所示，當d的大小被設定為32，在尺寸為128 像素×128 像素的臉部圖像上進行滑動劃分后將得到49 個子區域。在實際操作中，此劃分方式在圖像特征圖層面進行，通過共享卷積層減少網絡參數。劃分后的區域特征圖將通過遮擋判定單元以提取遮擋少于設定比例的區域表情特征。

遮擋感知網絡結構如圖3 所示，紅色（彩色效果見《計算機工程》官網HTML版）虛線框部分為網絡卷積層，其主要功能是將輸入轉化為特征圖，其包含12 個卷積層和4 個池化層，卷積層過濾器尺寸為3×3，池化層過濾器尺寸為2×2。藍色（彩色效果見《計算機工程》官網HTML 版）虛線部分為區域遮擋判定單元，其主要功能是對劃分后的區域進行遮擋判定，即判斷該區域的遮擋比例是否超過設定比例閾值。遮擋判定單元由2個分支構成，第1個分支是決策網，第2個分支是全連接層。決策網由1個池化層、2個全連接層和1個邏輯回歸函數組成。決策網的輸入為區域特征圖，經過池化操作和向量特征提取后得到1個一維向量，最后通過一個邏輯回歸函數以實現對該區域向量的遮擋判定。如果該區域遮擋比例超過了設定閾值，則判定該區域標簽為0，并舍棄該區域由第2 分支提取的特征向量，如果遮擋比例小于設定閾值則保留該區域特征向量。

圖3 遮擋感知網絡結構Fig.3 Structure of the convolutional neural network with occlusion perception

本文使用ρi表示第i個區域特征圖。第1 個分支是決策網，可對ρi執行遮擋比例判定：

其中：ηi表示第i個區域判定結果；δ(·)為分類函數，表示決策網中的判定操作，如式（3）所示：

其中，Ob為區域遮擋比例；β是設定遮擋比例閾值；1 表示該區域遮擋比例低于設定閾值；0 則表示判定該區域遮擋比例超過設定閾值，意味著從該區域學習的特征向量將不會進行融合操作。最后，對第i個通道的輸出執行判定操作：

實驗結果表明，當臉部關鍵區域遮擋比例為0.45 時的平均識別率為36.9%，遮擋比例為0.55 時平均識別率為29.1%，即遮擋比例超過0.5 時準確率出現明顯下降。因此將遮擋比例閾值手動設置為0.5，即保留遮擋比例少于1/2 的區域特征向量用以表情分類。通過遮擋判定單元的篩選，遮擋感知網絡將保留遮擋較少區域的特征向量。

文中將多個遮擋判定單元集成到單個神經網絡中，使用窗口滑動方式進行區域劃分，通過這2 種方式的結合使神經網絡能篩選出遮擋比例較少的區域，從而形成遮擋感知神經網絡。此外，采用在特征圖上進行子區域劃分的方式來實現卷積層共享以減少網絡參數，從而達到優化模型的效果。遮擋感知網絡卷積層參數將利用遷移學習算法FaceNet2 ExpNet［11］進行預訓練。

2.3 殘差網絡

考慮到大面積遮擋以及非遮擋性問題會導致遮擋感知網絡丟失部分細節，因此將使用另一個深度神經網絡來提取全臉特征，以達到和遮擋感知網絡互補的效果。該網絡以更易優化的殘差網絡作為基礎網絡結構。殘差網絡的優點在于當網絡深度達到一定程度時，可進一步優化以提升性能，而不會像普通網絡那樣隨著網絡深度增加而產生性能退化問題，這是因為殘差網絡在2 個卷積層中引入恒等映射（Identity mapping）。恒等映射相當于在網絡層中間加入捷徑連接（Short-cut connections）以形成高速支路來構成基本殘差單元。假設本來需學習的輸出為H(x)，而在殘差網絡中，將學習F(x)，即H(x)-x，這意味著原來要學習網絡的輸出H(x)變成了學習輸出H(x)與輸入x之間的差值，如果差值逼近于0，則說明這一層網絡發生了梯度消失，意味著在這層網絡中未學習到有效信息，將對這一層網絡進行跳躍。網絡通過恒等映射的方式在未引入額外參數和未增加計算量的情況下實現進一步優化。殘差學習單元應用于深度卷積神經網絡可有效緩解網絡模型訓練時反向傳播中梯度消失問題，進而解決深層網絡難以訓練和性能退化的問題。

本文使用殘差網絡作為第2 個網絡的骨干網，基于101 層殘差網絡進行修改以提取全臉圖像表情相關特征。修改后網絡結構為102 層，其網絡結構如圖4 所示。對于網絡第一層，將尺寸為7×7 的過濾器改為5×5，因為7×7 的過濾器對表情特征來說相對較大，無法捕捉細節。隨后的池化層過濾器尺寸也做出相應調整，由3×3 減小到2×2。其余4 個卷積塊仍使用尺寸為1×1 和3×3 過濾器。在卷積層訓練階段使用ReLU（Rectified Linear Unit）作為激活函數，并使用批歸一化（Batch Normalization，BN）對激活值進行處理。最后，將1 000 維的單個全連接層改為2 個全連接層，分別為256 維和64 維。由于1 000 維向量對表情特征來說容易導致過擬合現象，因此改用256 維向量以減少特征維數，并使用Dropout 以進一步防止過擬合現象發生。最后，殘差網絡的64 維向量將和遮擋感知網絡的輸出進行特征融合。

圖4 修改后的殘差網絡結構Fig.4 Structure of the modified ResNet

2.4 卷積層預訓練

在主通道卷積層訓練階段，使用遷移學習算法FaceNet2ExpNet 對卷積層參數進行預訓練。其訓練過程如圖5 所示。訓練過程分為2 個階段。在第1 個階段訓練中，利用人臉網絡中的人臉深層特征信息作為監督值，使表情學習變得容易。訓練中定義卷積層的訓練損失函數Loss 如下：

圖5 遷移學習算法Fig.5 Transfer learning algorithm

其中：G(I)表示人臉網絡卷積層輸出；gθ(I)表示表情網絡卷積層輸出表示使用p范式來進行正則化訓練。本文使用的是L2 范式，并且在每個卷積層都使用ReLU 作為激活函數。

在第2 階段訓練時，首先將卷積層參數進行凍結，隨后使用pool5 的輸出對表情網絡學習進行監督學習，最后在卷積層后面加上全連接層進行訓練。

2.5 特征融合

2 個網絡通道完成特征提取后，輸出將進行加權融合。文中采用單因子加權方式，其融合方式如圖6所示。其中遮擋感知網絡的輸出將進行等量融合，即遮擋判定單元中的有效輸出進行等量加權融合后得到一個64 維特征向量。隨后該特征向量將與殘差網絡特征向量進行單因子加權融合。

圖6 雙通道輸出加權融合Fig.6 Weighted fusion outputs of two channels

使用vi表示區域判定單元的單個輸出；vf_1表示遮擋感知網絡中所有有效特征向量融合后得到的向量，即所有遮擋少于設定閾值子區域轉化的向量融合得到的特征向量；vf_2表示殘差網絡輸出向量，最后進行單因子加權融合得到融合向量vf：

其中：α為加權因子，代表遮擋感知網絡輸出在融合向量中所占比重，α取值范圍為［0，1］。使用softmax 分類函數對表情進行分類，計算出每個表情概率值

其中：K（6 或7）表示表情種類；xi表示第i個表情的輸出值。在訓練全連接層時，交叉熵損失函數將被用于優化整個網絡，其公式定義如下：

其中：yi為表情真值標簽是表情預測標簽。

3 實驗結果與分析

3.1 數據庫

本文在3 個公開的數據庫上進行實驗評估，分別為1 個實驗室圖像數據庫CK+和2 個真實場景下的數據庫，包括RAF-DB 和SFEW。圖7 是數據庫樣本圖像對比。第1 排是CK+數據庫樣本圖像，第2 排為RAF-DB 數據庫樣本圖像，最后一排為SFEW 數據庫圖像樣本。

圖7 數據庫樣本圖像Fig.7 Examples images in datasets

CK+［6］數據庫是最廣泛使用的實驗室收集圖像數據庫。CK+包含來自123 名的593 個視頻序列項目。這些序列持續時間從10 幀到60 幀不等，包含面部表情從自然到最高峰值的轉變。在這些視頻中，來自118 名采集者的327個序列基于面部表情動作編碼系統（FACS）被標注為7 種基本表情，包括憤怒、輕蔑、厭惡、恐懼、快樂、悲傷和驚訝。因為CK+不提供指定訓練、驗證和測試集，所以算法評估在這個數據庫上并不統一。基于靜態的識別方法，最常用的數據選擇方法是提取第一幀自然表情到最后一幀中的峰值表情，并將受試者分為n組進行n次交叉驗證實驗，其中n值通常選擇為5、8 和10。

RAF-DB［25］為真實世界情感人臉數據庫，是一個大型面部表情數據庫，該數據庫從互聯網上下載了約3 萬張各種各樣的面部圖像。在眾包標注基礎上對每張圖片進行了大約40 次獨立標注。數據庫中圖像受試者年齡、性別、種族、頭部姿勢、光照條件、遮擋（如眼鏡、面部毛發或自遮擋）、后處理操作（如各種濾鏡和特殊效果）等方面具有很大差異性。RAF-DB 具有多樣性、數量大、注釋豐富等特點。數據庫包含2 個不同子集：單標簽子集和雙標簽子集。單標簽子集包括7 類基本情緒和邊界框；雙標簽子集包括12 類復合情緒、5 個準確的地標位置、37 個自動地標位置、邊界框、種族、年齡范圍，每張圖片性別屬性都有注釋，使用基線分類器輸出基本情緒和復合情緒。為了能夠客觀地評估測試系統的性能，將數據庫分為訓練集和測試集，其中訓練集的大小為測試集的5 倍，兩組表達式的分布幾乎相同。

SFEW［9］數據庫是從真實場景下實際表情中選擇的靜態幀圖片，是一個非常具有挑戰性的數據庫，因為SFEW 數據庫包含不同程度面部表情、不受約束的頭部姿勢、不同遮擋、不同年齡范圍以及不同光照變化。數據庫樣本是1 個帶有7 個表達式的表情標簽：憤怒、厭惡、恐懼、幸福、悲傷、驚訝和自然。數據庫中有95 個主題，其中有663 張明確標簽的圖像。該數據庫已被分類為訓練、驗證和測試集。SFEW 2.0 分為3 組：訓練集包含958 個樣本，驗證集包含436 個樣本，測試集為372 個樣本。該數據庫的每個圖像都被分類到7 種表情中的1 個，即憤怒、厭惡、恐懼、自然、快樂、悲傷和驚喜。表情的測試集和驗證集的標簽是公開的。

判定單元訓練數據集為訓練遮擋判定單元，從公開數據庫中選擇100 張面部圖像進行遮擋合成，并用作訓練樣本。

遮擋物根據其在日常生活中出現的頻率進行選取，例如水果、頭發、帽子、書籍、杯子、玻璃杯等。此外，另選取100 張自然遮擋圖像作訓練樣本，經過組員一致標記和檢查，最終該數據庫包含200 個訓練樣本。圖8 展示了該數據庫部分圖像樣本。本文將區域遮擋率閾值設置為0.5，即當區域遮擋率超過1/2 時，將標簽設置為0。因此，該數據庫易于標記和訓練。訓練過程中，使用LOPES 等［26］提出的數據擴充策略對樣本進行了7 次增強，通過訓練，最終準確率達到了84.3%。

圖8 遮擋判定單元訓練數據庫樣本圖像Fig.8 Examples images in the datasets for region decision units

3.2 實驗配置及權值評估

3.2.1 實驗配置

本文基于Keras 框架提出的模型并運行在Ubuntu 操作系統上，實驗數據均在NVIDIA CUDA framework 6.5 上獲取，并使用了NVIDIA GTX 1080 GPU 進行實驗。此外，采用了VGGNet 作為ACNNs的骨干網絡，首先使用ImageNet 上的圖像數據對網絡參數進行初始化訓練。實驗中采用了小批量隨機梯度下降法優化模型，基礎學習率的初始值設置為0.001，通過多項式策略將其降至0.1。動量設定為0.9，重量衰減設置為0.000 5。在訓練階段，將實際批大小的值設置為64 并迭代10 000 次。在訓練殘差網絡時，同樣使用ImageNet 上的臉部圖像對卷積層進行預訓練，并初始化所有卷積層的參數。隨后固定卷積層參數，對最后全連接層進行微調訓練。訓練過程中，將學習率的值設置為0.01，迭代20 000次后，在微調階段將學習率的值調整為0.000 1，并繼續迭代10 000 次。整個模型訓練耗時5 天，參數固定后模型處理單張圖像時間為1.2 s。

3.2.2 權值評估

本文在3個基準數據庫上對權重因子α進行評估。測試過程中α的初始值設定為0，增幅設置為0.1。當α=0 時表示只使用遮擋感知網絡的輸出作為分類結果，α=1 時則表示只使用殘差網絡輸出作分類結果。如圖9所示，圖9（a）、圖9（b）、圖9（c）分別表示在CK+，RAFDB 和SFEW 這3 個數據庫上的評估結果。在這3 個數據庫上，α取值分別為0.5、0.7 和0.6 時，模型取得最佳表現。隨后進一步對α的取值進行測試，結果表明當α取值為0.6 時模型在3 個數據庫上的整體表現最好，因此最終手動將α的值設定為0.6。圖9 證明2 個網絡的輸出融合可以有效地提升模型性能。

圖9 不同數據庫上的權重因子評估結果Fig.9 Evaluations of fusion weight on different datasets

3.3 實驗結果

所提模型在3 個公開數據庫上的混淆矩陣結果如圖10 所示。圖10（a）是在數據庫CK+上的實驗結果，對于6 個表情而言，識別準確率均達95%以上，和人類的識別率不相上下。尤其是對變化特征比較明顯的幾個表情更是達到了99%的準確率，比如高興、憤怒等。這意味著實驗室圖像數據庫對于現有模型而言已不具有挑戰性，因此研究人員需要更多關注于解決真實場景下的表情識別問題。圖10（b）是在數據庫RAF-DB 下的混淆矩陣，對于高興和憤怒這2 個變化特征明顯的表情，實驗模型達到了90%以上的準確率，在可接受范圍內。而對于外觀變現并不明顯的表情，比如厭惡、悲傷，識別率仍然在85%以下。分析實驗結果可知，其主要原因是這些表情在真實場景下外在表現差異并不明顯，甚至對人類而言，也難以準確地分辨這2 個表情。圖10（c）是在數據庫SFEW 上的實驗結果，此為評估實驗中最具挑戰性的數據庫。實驗結果表明，只有2 個表情取得了80%以上的識別率，其余所有表情識別率都低于70%，最低甚至只有49%的識別率。通過分析可知導致表情“厭惡”識別率低的主要原因是表情變化并不明顯；另外，有2 對表情經常發生混淆，包括“悲傷”和“恐懼”、“驚訝”和“開心”。在現實中這些表情往往是伴隨性發生。例如，恐懼導致的悲傷，開心中帶著驚訝，這些表情即使人類在真實場景下也很難通過單幅靜態圖像對其進行明確區分。

圖10 3 個公開數據庫上的混淆矩陣結果Fig.10 Confusion matrices on three public databases

3.4 實驗對比評估

本文將提出的模型與相似模型以及目前廣泛使用的模型進行了實驗結果對比。表1～表3 分別是本文模型與其他模型在3 個不同數據庫上的對比結果。

表1 CK+數據庫上的實驗對比評估Table 1 Comparisons between proposed approach and other approaches on CK+database %

表2 RAF-DB 數據庫上的實驗對比評估Table 2 Comparisons between proposed approach and other approaches on RAF-DB database %

表3 SFEW 數據庫上的實驗對比評估Table 3 Comparisons between proposed approach and other approaches on SFEW database %

表1 是在數據庫CK+上的對比結果，分析可知，本文所提出的模型平均準確率為97.33%，取得了排名第2 的成績。排名第1 的算法模型是FaceNet2 ExpNet，其準確率比本文模型高1.27 個百分點。CK+數據庫中的圖像都是在實驗室情況下采集的無遮擋正面人臉照片，且并不提供指定訓練集和測試集，因此不同的劃分結果會導致實驗結果有所差異。由表1 還可知，大多數模型在實驗室數據庫上的識別率均取得了較為滿意的準確率，實現了與人類相當的識別水平。

表2 是在RAF-DB 數據庫上的對比結果，結果表明本文模型取得了86%的平均準確率，排名第1，其精確度比遮擋感知模型ACNN［24］提高了0.93 個百分點。與ACNN 相比，本文模型使用滑動劃分選取方式在驅域上劃分，不依賴于關鍵點的精確度，選取方式與卷積神經網絡中濾波器類似，使得網絡可以保留更多有效特征。此外，本文的單個遮擋判定單元只需對子區域進行遮擋閾值的判定，而不需要計算子區域的精確遮擋比例，這使得單個遮擋判定單元更容易訓練。在輸出的融合方式上，使用單因子方式進行融合，也進一步提升了模型的表現。此外，與基礎VGG16 和殘差網絡相比，遮擋感知網絡和修改后的殘差網絡分別提高了2.16 和1.7 個百分點。實驗結果證實加入區域遮擋判定單元及優化網絡結構均可提升網絡性能。

表3 是在SFEW 數據庫上的對比情況。在所有對比模型中，準確率最高的是YU 等［27］提出的模型，其精確度比本文模型高0.23 個百分點，該模型在臉部檢測階段有效結合3 種臉部檢測方式，使臉部的選取更為精準，從而提升了模型整體表現。遮擋感知網絡在SFEW 數據庫上的精確度比基礎VGG16 高了3.89 個百分點，修改后的殘差網絡比基礎殘差網絡提升了1.96 個百分點。通過RAFDB 和SFEW 這2 個真實場景表情數據庫上的結果分析可知，對于挑戰難度更大的SFEW 數據庫，加入遮擋判定單元所帶來的性能提升比在RAF-DB數據庫上更為明顯，這證實了遮擋感知網絡的實際應用潛力。從本文模型在3 個公開數據庫上的表現以及與現有方法的對比分析結果來看，該模型具有實際應用價值。

4 錯誤案例分析

實驗結果對后續工作及方向十分重要，因此仔細檢查了實驗結果中所有錯誤預測圖像，其中部分錯誤樣本如圖11 所示。

圖11 RAF-DB 數據庫上的錯誤預測樣本圖像Fig.11 Some example images in RAF-DB that proposed model failed to predict the correct expression categories

通過對錯誤樣本的仔細分析，發現模型將圖像錯誤分類主要由幾個原因引起，如關鍵區域均被遮擋、圖像模糊、光照條件差異、表情變化微小等。錯誤案例中，當表情相關區域均被遮擋時，模型則不能對表情進行正確地分類，這時需要從手勢及姿態等方面進行表情判定。在對相似表情（悲傷和恐懼、驚訝和恐懼等）進行分類時，需要考慮加入額外的輸入（如聲音）以提高系統識別準確率。同時，微表情也是判定表情極大的依據，而系統往往不能很好地對微表情進行識別，結果導致系統將表情錯誤分類。通過對錯誤案例的分析，將進一步明確后續工作方向及改進點。

5 結束語

本文提出具有遮擋感知能力的雙通道網絡模型，通過設計遮擋感知神經網絡提取遮擋情況下面部圖像的表情特征，利用優化后的殘差網絡對全臉圖像表情特征進行提取。在模型訓練階段，使用遷移學習算法對卷積層參數進行預訓練，并融合2 個網絡輸出以進一步提升整體模型表現。實驗結果表明，與基礎網絡模型相比，本文提出的模型有效提升了真實場景數據庫上的表情識別準確率。下一步將增加網絡對光照問題的魯棒性及提升對微表情的識別率，以提高模型在真實場景下的表情識別率。