基于多任務學習的人臉屬性識別方法

李 亞,張雨楠,彭 程,楊俊欽,劉 淼

(廣州大學 計算機科學與網絡工程學院,廣州 510006)

0 概述

人臉具有豐富的屬性信息,如性別、年齡、膚質、是否戴眼鏡等。這些屬性特征在人機交互、嫌犯識別、視頻監控、精準廣告投放[1-3]等方面都有廣泛應用。

傳統人臉屬性識別方法主要包括3個階段:人臉檢測、特征提取和識別分類器訓練。其中,常見的特征提取方法有局部二值模式(Local Binary Pattern,LBP)[4]和方向梯度直方圖(Histogram of Oriented Gradient,HOG)[5]。在現實應用中,傳統方法易受非限定條件下復雜環境的影響,導致錯誤率升高。近來出現了多個基于深度學習的屬性識別方法,不但降低了非限定條件下的識別錯誤率,還能識別更加精細的人臉屬性。如文獻[6]提出的LNet+ANet網絡以及相關改進[7-8]。隨著神經網絡的加深,屬性識別效果逐步提升,但同時也帶來了應用部署時計算資源要求高,以及難以實時識別處理的問題,限制了模型在資源有限的嵌入式和便攜式設備上的應用。

為解決上述問題,本文提出一種輕量高效的人臉屬性識別方法。通過輕量化的殘差模塊構建基礎網絡,極大減少了模型參數,同時可以加快訓練和預測過程速度。根據屬性類間的關聯關系設計共享分支網絡,與每個屬性一個分支相比進一步減少模型參數。為了改善正負樣本數不均衡問題,采用帶權重的交叉熵作為損失函數訓練網絡。

1 網絡基礎

常用的卷積神經網絡由LECUN提出[9],通常由卷積層、池化層和全連接層組成,通過反向傳播算法[10]對模型參數進行更新。

1.1 一般卷積操作

卷積層是卷積神經網絡的核心,用多個卷積核和上一層輸出的特征圖進行卷積。卷積層公式如下:

(1)

由式(1)可知,要得到當前層某通道的特征圖需融合上一層所有通道的特征圖,計算過程包括濾波和融合。假設卷積層輸入尺寸為hi×wi×ci,即上一層輸出的特征圖大小為hi×wi,通道數為ci。若卷積核大小統一為d×d,步長為1,輸出尺寸為hi×wi×ci+1。計算過程即ci+1個d×d卷積核遍歷ci個特征圖進行濾波,產生ci+1×ci個中間特征圖,再疊加每個輸入通道對應的特征圖產生ci+1個特征圖。一個卷積層的計算量如式(2)所示:

cost(i+1)=hi×wi×d×d×ci×ci+1

(2)

隨著網絡深度的增加,卷積層的計算量將成倍增加,而所需要存儲的參數個數,即空間花銷亦成倍增加。一個通道的特征圖需要對上一層所有通道的特征圖進行過濾與融合才能獲得,卷積層的這種計算方式存在著大量的計算冗余,需進一步優化。

1.2 深度可分離卷積操作

針對計算冗余問題,深度可分離卷積對傳統卷積過程進行改進,將完整的卷積運算分解為完全解耦的兩步進行,網絡上用獨立的兩層來實現,第一層是逐通道卷積層,第二層是逐點卷積層。

基于1.1節假設,卷積層輸入尺寸為hi×wi×ci,輸出尺寸為hi×wi×ci+1。逐通道卷積層對輸入的每個通道用單個卷積核進行過濾,從而得到與輸入通道數相同的中間輸出。與傳統卷積不同,該層只產生ci個中間特征圖,計算量為hi×wi×d×d×ci。第二層是逐點卷積層,用ci+1個1×1的卷積核遍歷第一層輸出的ci個特征圖,然后對同一輸出通道的特征進行融合,最后輸出ci+1個特征圖,計算量為hi×wi×ci×ci+1。因此,采用深度可分離卷積結構的卷積層計算量為:

hi×wi×ci×(d2+ci+1)

(3)

1.3 跨層連接

跨層連接是指將網絡中的前后層連通,使網絡中的每一層都接受它前面層的特征作為輸入。隨著網絡層數的加深,網絡在訓練過程中的前傳信號和梯度信號會逐漸消失。跨層連接可使信號在輸入層和輸出層之間高速流通,有效抑制梯度丟失和梯度爆炸等問題,在圖像分類和分割等問題上表現出了良好的性能。跨層連接的網絡單元結構如圖1所示。

圖1 跨層連接模塊示意圖

傳統神經網絡原本擬合的是y=F(x),而跨層連接將網絡的擬合目標轉變為y=F(x)+x。Resnet[14]的實驗證明了這種擬合的轉變能夠保留輸入的原始結構信息,不但能有效防止過擬合,而且使網絡更易優化。受Resnet啟發,本文采用跨層連接來設計網絡模塊。

2 輕量化人臉屬性識別方法

2.1 整體網絡結構

本文設計了一個面向豐富人臉屬性識別的輕量化多任務學習網絡LFaceA。整體網絡結構如圖2所示,包括特征學習共享網和屬性識別分支網兩部分。

圖2 整體網絡結構

特征學習共享網絡基于Resnet進行改進,由多個輕量殘差模塊(Light Residual Module,LightRM)構成。模塊由一對深度可分離卷積結構組成,模塊間采用跨層連接。這種輕量化的設計大大減少了參數量,加快了訓練和預測的速度。此外,本文采用小卷積核來改進傳統卷積。與大卷積核相比,小卷積核所需要的參數更少,并且可通過堆疊多個小卷積核達到與大卷積核一樣的感受野[15]。本文網絡均采用了3×3和1×1的小卷積核,進一步減少網絡的參數和計算量。

網絡各層參數大小及詳細網絡設計結構如表1所示,輸入是三通道的224×224大小的圖像。特征學習共享部分首先是一個普通的3×3卷積,然后連接16個輕量化殘差模塊進行特征學習。屬性識別分支網以學到的特征為輸入,多個關聯屬性共享一個分支網。屬性識別分支先通過一個輕量化殘差模塊和一個大小為1×1的卷積層提取與該屬性組相關的精細特征;再連接一個7×7的平均池化層進行降維;然后為預防過擬合,連接了一個dropout層,以0.5的比率丟棄部分神經元;最后通過一個全連接層進行屬性識別并輸出。

2.2 輕量化殘差模塊設計

輕量化殘差模塊詳細設計如圖3所示。深度可分離卷積結構第一層的卷積核尺寸為3×3,卷積輸出先經過批歸一化處理(Batch Normalization,BN),然后進行非線性化處理。非線性化處理采用ReLU6激活函數,該函數是ReLU[16]的變種。ReLU的處理方法是將卷積結果小于零的部分置零,大于零的部分保持不變。而ReLU6除了保持小于零的部分置零外,大于零的部分設置上限為6。深度可分離卷積結構第二層的卷積核尺寸為1×1,對第一層的中間輸出進行融合,最終經過批歸一化處理后輸出滿足目標通道數的卷積結果。輕量化殘差模塊間采用跨層連接的模式,使信號在前后層之間高速流通,可有效抑制梯度消失。

圖3 輕量化殘差模塊

2.3 共享屬性識別子網絡構建

人臉具有豐富的屬性,而部分屬性間往往具有較強的關聯性[8,17-19]。例如,“山羊胡子”“光頭”等屬性與“性別是男”這一屬性有極強的關聯度,而與“直發”“灰發”“卷發”等屬性幾乎沒有關聯關系。由此,本文構建了可共享的屬性識別子網絡。為確定屬性間的關聯關系,本文對CelebA數據集中的圖像進行了統計,各屬性對通過構建關聯矩陣得到關聯關系圖。如圖4所示,不同顏色表征屬性對間的關聯程度,紅色表示關聯程度最高,藍色表示關聯程度最低(本刊為黑白印刷,彩色效果請至《計算機工程》官網查看電子文檔)。

圖4 CelebA數據集中人臉屬性關聯關系圖

與每個屬性都單獨設計一個識別分支相比,多屬性共享識別分支網絡的方法可進一步減少網絡參數,加快識別速度。受文獻[8]的啟發,本文把CelebA數據集上的40種屬性分成9組(如表2所示),分別設計了9個共享的子網絡來進行屬性識別。子網絡首先通過一個輕量殘差模塊提取與本屬性組相關的精細特征,然后再進行相應的識別。這種設計不僅避免了大量屬性分支的計算與空間花銷,而且更好地利用了關聯屬性間的共同特征,具有更好的識別效果。

表2 屬性分組表Table 2 Attribute grouping table

3 實驗結果與分析

3.1 數據集介紹

實驗采用了CelebA[6]人臉屬性數據集,如圖5所示。該數據集由香港中文大學發布,提供了人臉對齊和自然場景下近20萬張人臉圖像,標注了40種人臉屬性。本文按照8∶1∶1的比例劃分數據集,分別用于模型的訓練、驗證和測試,采用屬性識別錯誤率對模型進行評價,與當前較先進的人臉屬性識別方法進行了比較。

圖5 CelebA數據集部分圖像展示

3.2 模型損失函數與評價方法

和文獻[20]一樣,本文也采用了交叉熵損失函數對模型進行訓練,其一般形式如下:

(4)

與發酵前荷葉上清液相比，2株腸球菌荷葉發酵上清液的3種抗氧化酶活力均顯著提高(P<0.001)(圖3)。其中，WEHI01發酵上清的SOD、CAT酶活力均極顯著高于WEFA23發酵上清(P<0.001)，而WEFA23發酵上清的GSH-Px酶活力顯著高于WEHI01發酵上清(P<0.01)。

(5)

(6)

結合權重式(5)、式(6),本文在模型訓練中采用的損失函數如式(7)所示:

(7)

為了便于與現有研究比較,本文采用了識別錯誤率(ERR)和多屬性平均識別錯誤率(mERR)作為評價指標。

3.3 識別錯誤率比較

將本文方法與的人臉屬性識別方法文獻[6]方法,Moon[7]和Mcnn[8]在識別錯誤率上進行了比較。文獻[6]首次采用深度神經網絡方法,超越了傳統方法。Moon和Mcnn在文獻[6]的基礎上,分別通過改進損失函數和網絡結構的方式,進一步降低了識別錯誤率。詳細實驗結果見表3,其中Mcnn-AUX是Mcnn的變體。結果表明,本文方法在大部分屬性上的識別錯誤率表現良好,在平均識別錯誤率上的效果最好。此外,本文用自然場景下的人臉圖像進行網絡訓練和測試,mERR指標僅僅上升0.2%。實驗證明本文提出的網絡模型具有很強的抗噪聲能力,在復雜自然環境下依然保持較好的識別效果。

表3 屬性識別錯誤率比較Table 3 Comparison of attribute recognition error rates %

3.4 模型效率比較

為了衡量模型效率,本文分別從模型參數量、空間開銷和運算速度三方面進行評價,與當前最新的屬性識別方法文獻[6]方法,Moon和Mcnn,以及主流的深度模型進行比較。在運算速度方面,分別比較了基于GPU(單塊Nvidia 1080Ti 顯卡)和基于CPU(Intel i7-8700k 3.7 GHz)的處理速度。詳細的比較結果如表4所示,第2、3列分別表示GPU和CPU環境下處理一幅圖需要的時間。其中,Moon和Mcnn沒有公布源碼,標號*表示該結果由復現所得。

表4 網絡模型計算與空間開銷對比

Table 4 Comparison of calculation and space cost of network models

網絡模型GPU/msCPU/ms參數量/107模型大小/MBResnet-181.1840.0711.7745.0Resnet-502.85112.2425.6498.0VGG-162.92283.30138.44528.0Moon2.86*282.18*135.00528.0*Mcnn0.65*19.50*15.0052.5*LFaceA0.6212.970.662.7

由表4可知,本文設計的網絡模型與其他網絡模型相比,運行速度大大提升,尤其是在計算能力弱的CPU上,與現有的深度學習模型拉開了較大的距離。在模型參數量上,本文方法僅為其他方法的幾十分之一,模型的空間開銷非常小,能方便地部署在資源受限的移動和嵌入式設備中。

3.5 消融實驗

本文提出的網絡模型基于輕量化殘差模塊構建,而輕量化殘差模塊由2個深度可分離卷積結構組合而成,模塊間通過跨層連接的方式堆疊。此外考慮到屬性間的關聯關系,本文還設計了共享的屬性識別分支網絡。為了驗證網絡設計的有效性,本節設計了一系列實驗進行驗證。

首先定義需要驗證的網絡變體。為了驗證跨層連接和深度可分離卷積結構的有效性,本文在原LFaceA網絡的基礎上分別構建了去掉跨層連接的模型LFaceA-Ⅰ和去掉深度可分離卷積結構的模型LFaceA-Ⅱ。LFaceA-Ⅰ和LFaceA-Ⅱ的模型中仍包含共享的屬性識別分支網。其次,為了驗證共享屬性分支網絡的有效性,在原LFaceA網絡的基礎上構建了完全去掉屬性識別分支網絡的LFaceA-Ⅲ和每個屬性一個分支網絡的LFaceA-Ⅳ。LFaceA-Ⅲ和LFaceA-Ⅳ的模型中共享的特征學習網絡部分保持不變,仍基于輕量化殘差模塊構建,模塊間通過跨層連接的方式堆疊。

實驗結果如表5所示。LFaceA和LFaceA-Ⅰ相比參數量一樣,但跨層連接結構下平均識別錯誤率和處理速度均優于LFaceA-Ⅰ。LFaceA和LFaceA-Ⅱ相比雖然網絡層數完全一樣,但采用了深度可分離卷積結構后,參數量僅是LFaceA-Ⅱ的1/5,而且參數的減少對識別錯誤率和處理速度影響不大。LFaceA-Ⅲ因為去除了屬性識別分支,其參數量最少,但識別的速度和錯誤率與LFaceA相比有所降低。LFaceA-Ⅳ模型的參數量最大,但每個屬性都有獨立的識別分支,并未降低識別錯誤率。

表5 消融實驗結果Table 5 Results of ablation experiment

由實驗結果可以看出,模型LFaceA的識別錯誤率最低,雖然在參數量上高于去除了屬性識別分支的LFaceA-Ⅲ,但其大小僅2.7 MB,完全可以部署于資源有限的移動或便攜式設備上。分析LFaceA模型特點可得出以下3點結論:

1)輕量化殘差模塊中采用的可分離卷積結構對模型輕量化效果提升明顯,同時對識別錯誤率的影響不大,可廣泛應用于需要輕量化的網絡模型中。

2)輕量化殘差模塊間的跨層連接方式對模型識別錯誤率的影響較大,未采用跨層連接的網絡錯誤率有大幅上升。隨著深度的增加,跨層連接有利于特征在層間的保持,因此提升了識別效果。

3)關聯屬性共享識別網絡的方法,有效利用了關聯屬性的共享特征,提升了關聯屬性的識別效果。

3.6 識別結果統計及可視化

本文提出的網絡模型在CelebA上用接近20萬張圖片進行了測試,平均錯誤率降低至8.45%。數據集中的所有圖像均標注了40種人臉屬性,其中75%的圖像都能正確識別出35個以上的屬性,而單張圖像能正確識別的最低屬性個數是27,且只有2張,正確識別屬性數在30～35之間的占總圖像數的24%,正確識別屬性數在27～30的圖片僅有19張。

從上述統計數據可以看出,99%的圖像都能正確識別30個以上的人臉屬性。本文將屬性識別個數達到最高值40的和屬性識別個數較少的圖像進行了可視化。如圖6所示,圖中數字比值為人臉屬性識別正確個數與屬性總數之比。圖像分為2組,圖6(a)組為識別效果好的人臉圖像組,圖6(b)組為識別效果差的人臉圖像組。從可視化結果上可以觀察到,識別效果差的人臉圖像受背景復雜、非常規眼鏡配戴方式等因素的影響較大。

圖6 人臉圖像屬性識別結果

4 結束語

本文設計了一個面向人臉屬性識別的輕量化多任務學習網絡。網絡基于輕量化殘差模塊進行構建,包括特征學習共享網和屬性識別分支網兩部分。輕量化殘差模塊由兩個深度可分離卷積結構組合而成,模塊間采用跨層連接。屬性識別分支網基于屬性類間的關聯關系進行分組,相互間關聯程度大的屬性共享一個識別分支。實驗結果表明,本文提出的網絡模型降低了空間開銷,提升了預測速度,同時未引起識別錯誤率的升高,達到了實時應用的要求,可以方便地部署在資源有限的移動便攜式設備上。下一步將結合時空信息將算法擴展到視頻人臉屬性識別任務中。