一種端到端的人臉對齊方法

康智慧，王全玉，王戰(zhàn)軍

（1.北京理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，北京 100081；2.北京理工大學(xué) 人文與社會(huì)科學(xué)學(xué)院，北京 100081）

0 概述

人臉對齊是在給定的圖像中確定人臉主要器官（如眼睛、鼻子、嘴巴等）的輪廓點(diǎn)位置，這些輪廓點(diǎn)在人臉研究中被稱為人臉特征點(diǎn)或人臉關(guān)鍵點(diǎn)，對人臉研究具有重要意義，在人臉驗(yàn)證、人臉表情識(shí)別、人機(jī)交互以及人臉動(dòng)畫技術(shù)方面起著不可代替的作用。

隨著研究人員對人臉關(guān)鍵點(diǎn)檢測的研究，許多優(yōu)秀的方法不斷被提出。其中根據(jù)是否有參數(shù)分為參數(shù)化方法和非參數(shù)化的方法。在參數(shù)化方法中具有代表性的人臉關(guān)鍵點(diǎn)檢測方法有基于主動(dòng)形狀模型（Active Shape Model，ASM）［1］的方法和基于主動(dòng)外觀模型（Active Appearance Model，AAM）［2］的方法。ASM 方法是基于局部特征的，獨(dú)立考慮每個(gè)關(guān)鍵點(diǎn)周圍的變化，通過訓(xùn)練學(xué)習(xí)到的全局形狀來檢測人臉關(guān)鍵點(diǎn)；AAM 是對ASM 的一種改進(jìn)和優(yōu)化，同時(shí)考慮面部形狀和紋理，以便更精確地檢測人臉關(guān)鍵點(diǎn)?；诜菂?shù)化的方法有基于圖模型的馬爾科夫隨機(jī)場的建模、基于級聯(lián)回歸的方法和基于深度學(xué)習(xí)的方法。基于級聯(lián)回歸的方法采用從粗略估計(jì)到精細(xì)估計(jì)的方式對人臉關(guān)鍵點(diǎn)進(jìn)行直接估計(jì)，并不需要對任何模型進(jìn)行學(xué)習(xí)和建模。隨著深度學(xué)習(xí)研究的不斷深入，基于深度學(xué)習(xí)的方法在人臉關(guān)鍵點(diǎn)檢測方面的應(yīng)用也隨之增加，該方法通過對訓(xùn)練數(shù)據(jù)的學(xué)習(xí)自動(dòng)地生成人臉關(guān)鍵點(diǎn)檢測模型，無需人工干預(yù)。這種超強(qiáng)的學(xué)習(xí)能力，使其成為近年來廣泛使用的方法。然而，即使已經(jīng)存在大量先進(jìn)的人臉關(guān)鍵點(diǎn)檢測算法，人臉關(guān)鍵點(diǎn)檢測任務(wù)仍然面臨很多挑戰(zhàn)：不同的人臉表情、不同的頭部姿勢以及遮擋、光線等外在條件都會(huì)影響人臉關(guān)鍵點(diǎn)的位置和外觀特征，從而影響人臉關(guān)鍵點(diǎn)檢測的準(zhǔn)確性和可靠性；現(xiàn)存的人臉關(guān)鍵點(diǎn)檢測方法大多不是端到端的檢測，中間過程需要大量的人工干預(yù)，使得模型不具有良好的穩(wěn)定性；目前的多數(shù)方法輸入的是人臉的局部特征，關(guān)鍵點(diǎn)定位不具有整體的穩(wěn)定性。很多方法雖然具有良好的定位精度，但是其模型規(guī)模過大，在實(shí)時(shí)性方面還有待提高。

為解決上述方法的不足，本文提出一種基于深度學(xué)習(xí)的人臉對齊方法。采用整張圖像作為網(wǎng)絡(luò)的輸入，以保證人臉對齊具有全局性，在此基礎(chǔ)上設(shè)計(jì)一種端到端的網(wǎng)絡(luò)結(jié)構(gòu)，減少中間過程人工干預(yù)帶來的不確定性，并采用基于深度可分離卷積［3］模塊，構(gòu)建一個(gè)類VGG［4］結(jié)構(gòu)的網(wǎng)絡(luò)進(jìn)行人臉特征提取與關(guān)鍵點(diǎn)定位。

1 相關(guān)工作

在計(jì)算機(jī)視覺領(lǐng)域的研究初期，人臉關(guān)鍵點(diǎn)檢測大都基于傳統(tǒng)機(jī)器學(xué)習(xí)，其中的經(jīng)典方法是基于AAM［2］的算法，其采用人臉形狀和外觀2 種特征進(jìn)行人臉關(guān)鍵點(diǎn)檢測，隨后文獻(xiàn)［5-6］在AAM 基礎(chǔ)上進(jìn)行優(yōu)化，其中主要有2 個(gè)優(yōu)化方向：對關(guān)鍵點(diǎn)準(zhǔn)確率進(jìn)行提升與對擬合的速度進(jìn)行提升。

隨著深度學(xué)習(xí)的普及以及計(jì)算機(jī)性能的提升，人們開始采用深度學(xué)習(xí)的方法對人臉關(guān)鍵點(diǎn)進(jìn)行檢測。2013 年，SUN 等［7］提出采用深度學(xué)習(xí)方法對人臉關(guān)鍵點(diǎn)進(jìn)行檢測和跟蹤，該算法采用了三層級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的結(jié)構(gòu)對人臉的5 個(gè)關(guān)鍵點(diǎn)進(jìn)行檢測，取得了較好的檢測結(jié)果。

文獻(xiàn)［8］采用由粗到精的深度學(xué)習(xí)方法對人臉的68 個(gè)關(guān)鍵點(diǎn)進(jìn)行檢測，該方法的貢獻(xiàn)在于檢測的關(guān)鍵點(diǎn)更多，而且降低了傳統(tǒng)卷積網(wǎng)絡(luò)的網(wǎng)絡(luò)復(fù)雜性和減輕了訓(xùn)練模型的負(fù)擔(dān)。文獻(xiàn)［9］提出人臉關(guān)鍵點(diǎn)檢測不是一個(gè)獨(dú)立的問題，對人臉關(guān)鍵點(diǎn)位置的估計(jì)會(huì)受到許多因素的影響，因此提出了一種基于多任務(wù)學(xué)習(xí)的人臉關(guān)鍵點(diǎn)檢測算法（Multi-Task Convolutional Neural Networks，MTCNN）。當(dāng)人臉有遮擋或者人臉姿勢變化較大時(shí)，該算法獲得了較高的準(zhǔn)確率。為了能夠更好地克服頭部姿勢運(yùn)動(dòng)帶來的困擾，2017 年KOWALSKI 等［10］提出深度對齊網(wǎng)絡(luò)（Deep Alignment Network，DAN）的人臉關(guān)鍵點(diǎn)檢測算法。該算法在人臉關(guān)鍵點(diǎn)檢測的整個(gè)過程中采用整張臉作為輸入，使得對于頭部運(yùn)動(dòng)較大變化時(shí)關(guān)鍵點(diǎn)的檢測都很穩(wěn)定，這也是本文的創(chuàng)新動(dòng)機(jī)來源之一。除了卷積神經(jīng)網(wǎng)絡(luò)外，遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）也被用于人臉關(guān)鍵點(diǎn)的檢測與跟蹤。

2 用于人臉對齊的端到端網(wǎng)絡(luò)

本節(jié)首先對提出的用于人臉對齊的端到端的網(wǎng)絡(luò)模型進(jìn)行總體概述。然后分別對每個(gè)子模塊進(jìn)行介紹，子模塊主要包含深度可分離卷積模塊、改進(jìn)的倒殘差結(jié)構(gòu)和Squeeze-and-Excitation 結(jié)構(gòu)［11］。最后介紹本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)的具體實(shí)現(xiàn)。

2.1 端到端的網(wǎng)絡(luò)模型方法

本文設(shè)計(jì)一種端到端的網(wǎng)絡(luò)模型對圖像中的N個(gè)人臉關(guān)鍵點(diǎn)進(jìn)行定位。圖1 所示為該方法的整體結(jié)構(gòu)。

圖1 人臉對齊網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of face alignment network

本文基于深度可分離卷積的方法對圖像中的人臉關(guān)鍵點(diǎn)進(jìn)行定位。采用該網(wǎng)絡(luò)結(jié)構(gòu)的主要原因是：深度可分離卷積可以采用不同尺寸的視野域，不同的視野域可以提取出不同的圖像特征。在計(jì)算量一定的情況下，與傳統(tǒng)的全卷積網(wǎng)絡(luò)相比，深度可分離卷積可以被設(shè)計(jì)為更深層次的網(wǎng)絡(luò)，因此其采集到的圖像特征會(huì)更加豐富。采用深度可分離卷積神經(jīng)網(wǎng)絡(luò)可以減少網(wǎng)絡(luò)模型中的參數(shù)個(gè)數(shù)，縮短計(jì)算時(shí)間，從而提升效率。由于VGG 結(jié)構(gòu)在目標(biāo)檢測中具有良好的表現(xiàn)，因此采用類VGG 的結(jié)構(gòu)進(jìn)行網(wǎng)絡(luò)構(gòu)建來提高人臉對齊的精度。

2.2 深度可分離卷積結(jié)構(gòu)

在特征提取網(wǎng)絡(luò)中，主要是從圖像的像素信息中提取與關(guān)鍵點(diǎn)定位相關(guān)的特征，本文采用基于深度可分離卷積的網(wǎng)絡(luò)結(jié)構(gòu)對圖像信息進(jìn)行提取。深度可分離網(wǎng)絡(luò)是由HOWARD 等［3］在2017 年提出的。視野域在深度卷積操作中對應(yīng)的就是卷積核，選擇不同尺寸的卷積核進(jìn)行操作，意味著考慮的圖像周圍的環(huán)境不同，因此提取到的特征就會(huì)不同。一個(gè)標(biāo)準(zhǔn)的卷積既可以卷積又可以將輸入合并為一組新的輸出，而深度可分離卷積包含2 個(gè)部分：一個(gè)專門用于卷積的層稱為深度卷積層；另一個(gè)專門用于特征生成的層稱為點(diǎn)式卷積層。深度卷積層將卷積按照圖像通道數(shù)均勻分解，點(diǎn)式卷積層采用1×1 的卷積實(shí)現(xiàn)。深度可分離卷積結(jié)構(gòu)如圖2 所示。

圖2 深度可分離卷積結(jié)構(gòu)Fig.2 Structure of depth separable convolution

假設(shè)輸入特征圖為D1×D1×M，輸出的特征圖為D2×D2×N，卷積核的大小為K，若采用普通的卷積操作，則計(jì)算成本為K×K×M×N×D1×D1。若采用深度可分離卷積操作，則深度卷積的計(jì)算成本為K×K×M×D1×D1，1×1 卷積操作的計(jì)算成本為M×N×D1×D1，因此深度可分離卷積的總的計(jì)算成本為K×K×M×D1×D1+M×N×D1×D1。僅一次卷積操作，在計(jì)算成本上采用深度可分離卷積為普通卷的1/N+1/(K2)。由此可見，采用深度可分離結(jié)構(gòu)比普通的卷積網(wǎng)絡(luò)的計(jì)算成本低，因此在計(jì)算量一定的情況下，深度可分離卷積能夠提取到更深層次的圖像特征。因此，本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)在設(shè)備的計(jì)算能力有限或者對實(shí)時(shí)性要求較高的場景下具有一定的優(yōu)勢。

為加速模型收斂和防止過擬合，在每個(gè)卷積分支的卷積后都會(huì)進(jìn)行一次批量正規(guī)化，采用的激活函數(shù)是ReLU6，ReLU6 的計(jì)算如式（1）所示：

2.3 改進(jìn)的倒殘差結(jié)構(gòu)

為避免訓(xùn)練階段出現(xiàn)梯度消失等情況，采用MobileNet 系列中的一種稱為“倒殘差”［11］模塊，即在每次深度卷積之后再與此次深度卷積之前的圖像特征做合并，作為下一次深度卷積的輸入。但是這一“倒殘差”的變換與傳統(tǒng)的殘差網(wǎng)絡(luò)的變換過程有所不同，由于深度可分離卷積不能改變通道數(shù)，通道數(shù)量越多采集到的特征也就越多，因此為了提取到更多的特征，在進(jìn)行深度卷積之前需要先增加通道數(shù)，“倒殘差”結(jié)構(gòu)的變換過程在通道數(shù)量上的變化恰好與傳統(tǒng)的殘差結(jié)構(gòu)的變換過程相反，即倒殘差的變換過程是“擴(kuò)展-深度分離卷積-壓縮”。

原始的倒殘差結(jié)構(gòu)在輸入尺寸與深度卷積后的尺寸相同的情況下直接合并通道，若兩者尺寸不同則直接采用卷積后的特征作為下一模塊的輸入，這在一定程度上損失了圖像特征。為了最大限度地避免圖像特征的丟失，本文對輸入尺寸與深度可分離卷積后的尺寸不同的情況做了改進(jìn)，即將輸入的尺寸經(jīng)過池化變換后生成與深度可分離卷積輸出尺寸相同的特征圖，然后將兩者合并，作為下一次卷積的輸入。改進(jìn)前后的倒殘差結(jié)構(gòu)在2 種情況下的結(jié)構(gòu)如圖3 所示。圖3（a）表示當(dāng)卷積的步長stride=1時(shí)的情況，即直接將輸入與卷積之后的輸出合并；圖3（b）是原始倒殘差結(jié)構(gòu)卷積步長為stride=2 時(shí)的情況，即直接將卷積后的輸出作為下一卷積的輸入；圖3（c）是卷積步長stride=2 時(shí)改進(jìn)后的結(jié)構(gòu)，將原始的輸入進(jìn)行池化操作后與卷積后的輸出進(jìn)行合并。

圖3 改進(jìn)前后的倒殘差結(jié)構(gòu)Fig.3 Inverse residual structure before and after improvement

很明顯，當(dāng)stride=2 時(shí)，在改進(jìn)后的結(jié)構(gòu)中，不僅包含了原始結(jié)構(gòu)的卷積操作的輸出特征，另外增加了對輸入進(jìn)行池化后的特征，池化后的特征在一定程度上保留著原始輸入的特征，與原始模型相比較，用于下一次卷積的特征內(nèi)容更加豐富。

2.4 Squeeze-and-Excitation 結(jié)構(gòu)

Squeeze-and-Excitation 結(jié)構(gòu)由HU 等［12］提出，該結(jié)構(gòu)能夠?qū)W習(xí)圖像通道之間的關(guān)系。圖4 所示為Squeeze-and-Excitation 模塊詳細(xì)結(jié)構(gòu)，X??H′×W′×C′為輸入，F(xiàn)tr為普通的卷積操作，U??H×W×C為X經(jīng)過Ftr卷積后的輸出，F(xiàn)sq（·）為全局的平均池化操作，該操作是Squeeze 過程，F(xiàn)ex（·，W）為2 個(gè)連續(xù)的全連接操作，全連接的輸出維度為1×1×C，該過程稱為Excitation，F(xiàn)scale（·，·）為采用hard_sigmoid 激活函數(shù)的激活層，目的是將最后的輸出值限定在［0，1］之間，并將該值作為每個(gè)通道的系數(shù)乘以特征U，使得到的特征中重要的特征增強(qiáng)，不重要的特征減弱，最終提取到的特征指向性更強(qiáng)。

圖4 Squeeze-and-Excitation 模塊結(jié)構(gòu)Fig.4 Modular structure of Squeeze-and-Excitation

在卷積操作Ftr中，輸入為X??H′×W′×C′，卷積核表示為V=［v1，v2，…，vc］，卷積操作的輸出表示為U=［u1，u2，…，uc］。其中，vc是第c個(gè)卷積核參數(shù)，對應(yīng)的輸出uc可以表示為：

其中：*為卷積操作；vc=是二維空間卷積核，其代表著vc的一個(gè)通道，對應(yīng)于X的單個(gè)通道。根據(jù)式中的表達(dá)可知輸出是由所有通道之和產(chǎn)生的，通道之間的依賴關(guān)系隱藏在vc中。

每個(gè)卷積核都只能對局部區(qū)域進(jìn)行操作，因此輸出的uc都無法利用該區(qū)域以外的上下文信息。為克服這一問題，采用全局的平均池化的方法將全局信息壓縮到一個(gè)通道中，生成通道的統(tǒng)計(jì)信息。統(tǒng)計(jì)信息z??C是通過將U的空間維度減小到H×W實(shí)現(xiàn)的。因此，z的第c個(gè)統(tǒng)計(jì)信息如式（3）所示：

在獲得統(tǒng)計(jì)信息后，為了捕捉通道之間的依賴關(guān)系，采用式（4）進(jìn)行全連接操作，該過程即Excitation 操作。

其 中：δ表 示ReLU 函 數(shù)；；σ表示sigmoid 激活函數(shù)。運(yùn)算的流程如圖5 所示。

圖5 Excitation 結(jié)構(gòu)Fig.5 Excitation structure

2.5 人臉對齊網(wǎng)絡(luò)

根據(jù)上文的分析可以得出：深度可分離卷積結(jié)構(gòu)與傳統(tǒng)的卷積操作相比具有計(jì)算成本低的特點(diǎn)，因此在計(jì)算成本一定的情況下，采用深度可分離卷積可以提取到更深層次的網(wǎng)絡(luò)結(jié)構(gòu)。圖像通道數(shù)越多，提取到的圖像特征也會(huì)越多，但是深度可分離卷積又不能改變圖像的通道數(shù)，因此采用改進(jìn)的倒殘差結(jié)構(gòu)對圖像的通道數(shù)進(jìn)行增加，同時(shí)在原始深度卷積特征的基礎(chǔ)上增加了對輸入的池化輸出部分特征，使得用于下一次卷積的輸入特征增加。采用Squeeze-and-Excitation 可以學(xué)習(xí)到不同通道之間的關(guān)系，更加有利于最終人臉關(guān)鍵點(diǎn)的定位。搭建類VGG 結(jié)構(gòu)是由于VGG 結(jié)構(gòu)在目標(biāo)檢測中表現(xiàn)良好，說明這樣的結(jié)構(gòu)是利于特征提取的。

本文基于深度可分離卷積結(jié)構(gòu)、改進(jìn)的倒殘差機(jī)構(gòu)和Squeeze-and-Excitation 結(jié)構(gòu)構(gòu)建一個(gè)類VGG結(jié)構(gòu)的人臉對齊網(wǎng)絡(luò)。

在人臉特征提取網(wǎng)絡(luò)中，輸入是人臉圖像X??W′×H′×C′，W′為圖像的寬度，H′為圖像的高度，C′為圖像的通道（RGB）。本文使用的是224×224×1 的二維圖像，經(jīng)過多次的深度可分離卷積后提取出豐富的人臉特征，用于最終的人臉關(guān)鍵點(diǎn)定位。

本文設(shè)計(jì)的網(wǎng)絡(luò)輸出為對人臉的N個(gè)關(guān)鍵點(diǎn)進(jìn)行定位，采用（x，y）表示人臉關(guān)鍵點(diǎn)坐標(biāo)位置，最終輸出的結(jié)果為（N，2）結(jié)構(gòu)。本文對人臉的68 個(gè)關(guān)鍵點(diǎn)進(jìn)行測試時(shí)N為68，當(dāng)僅對人臉內(nèi)部關(guān)鍵器官眼睛、鼻子、嘴巴進(jìn)行測試時(shí)，N為各個(gè)器官的輪廓關(guān)鍵點(diǎn)數(shù)目。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文介紹了用于人臉關(guān)鍵點(diǎn)定位［13-15］的各種數(shù)據(jù)集［16-17］，300W［18］數(shù)據(jù)集是來自文獻(xiàn)［13-17］中介紹的LFPW、HELEN、AFW、IBUG 和300W 私有測試集這5 個(gè)數(shù)據(jù)集的集合。300W 數(shù)據(jù)集具有圖像內(nèi)容廣泛、數(shù)據(jù)量大等優(yōu)點(diǎn)，數(shù)據(jù)集對圖像中的人臉標(biāo)記了68 個(gè)關(guān)鍵點(diǎn)的坐標(biāo)，根據(jù)文獻(xiàn)［10］的劃分方法將數(shù)據(jù)集劃分為訓(xùn)練集和測試集。

訓(xùn)練集部分包括AFW 數(shù)據(jù)集以及LFPW 和HELEN 的訓(xùn)練子集，共計(jì)3 148 張圖像。測試數(shù)據(jù)由其余數(shù)據(jù)集組成：IBUG、300W 專用測試集，LFPW、HELEN 測試子集。為便于與現(xiàn)有的方法進(jìn)行比較，將該測試數(shù)據(jù)分為4 個(gè)子集：

1）普通數(shù)據(jù)集。包括LFPW 和HELEN 測試子集，共計(jì)554 張圖像，該測試集的特點(diǎn)是圖像均為正面人臉，可以很容易地定位到人臉關(guān)鍵點(diǎn)位置。

2）具有挑戰(zhàn)性數(shù)據(jù)集。包括IBUG 數(shù)據(jù)集，共有135 張圖像，該測試集的特點(diǎn)是這類圖像或者為側(cè)面人臉，或者是光線不佳時(shí)的人臉，該數(shù)據(jù)集中的人臉關(guān)鍵點(diǎn)不易被定位。

3）由子集1）、子集2）共同構(gòu)成的300W 公共測試集，共計(jì)689 張圖像。

4）300W 專用測試集，共600 張圖像。

普通數(shù)據(jù)集的樣例如圖6（a）所示，具有挑戰(zhàn)性的數(shù)據(jù)集樣例如圖6（b）所示。

圖6 300W 測試數(shù)據(jù)集樣例Fig.6 Samples of 300W test dataset

3.2 評估方法

對于人臉關(guān)鍵點(diǎn)的檢測，在近來的相關(guān)研究中，針對單個(gè)面部圖像的面部特征點(diǎn)檢測誤差的度量有如下3 種方法：

1）預(yù)測關(guān)鍵點(diǎn)和真實(shí)關(guān)鍵點(diǎn)之間的平均距離除以眼間距離（外眼角之間的距離），如圖7 所示。

圖7 兩眼間外側(cè)距離Fig.7 Outer distance between eyes

2）預(yù)測關(guān)鍵點(diǎn)和真實(shí)關(guān)鍵點(diǎn)之間的平均距離除以瞳孔間距離（眼中心之間的距離）。

3）預(yù)測關(guān)鍵點(diǎn)和真實(shí)關(guān)鍵點(diǎn)之間的平均距離除以邊界框的對角線。

本文采用第1 種歸一化方法，以便與先進(jìn)的算法進(jìn)行比較。均方誤差的計(jì)算方法如式（5）所示：

另外，本文還采用累積誤差分布（CED）曲線下的面積（AUC0.08）和失敗率進(jìn)行結(jié)果評估。

3.3 實(shí)驗(yàn)及數(shù)據(jù)集處理

本文主要采用平均誤差、失敗率等對實(shí)驗(yàn)結(jié)果進(jìn)行評估。首先對本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行68 個(gè)人臉關(guān)鍵點(diǎn)的定位評估，并與先進(jìn)的人臉對齊方法進(jìn)行比較。其次分別對人臉的眼睛、鼻子和嘴巴這3 個(gè)主要器官的輪廓進(jìn)行評估，并與現(xiàn)存的眼睛、鼻子、嘴巴的定位方法進(jìn)行比較。

為提高訓(xùn)練模型的性能，本文進(jìn)行數(shù)據(jù)增強(qiáng)，即對原始數(shù)據(jù)進(jìn)行平移、放大、縮小、旋轉(zhuǎn)等操作，最終將每個(gè)原始圖像擴(kuò)充為10 張，這樣獲得的訓(xùn)練圖像共計(jì)31 480 張，測試圖像是原來的10 倍。

3.4 實(shí)驗(yàn)結(jié)果

采用300W 訓(xùn)練集進(jìn)行模型的訓(xùn)練，并分別在300W 的4 個(gè)子測試集上進(jìn)行測試。

1）68 個(gè)關(guān)鍵點(diǎn)定位結(jié)果

首先在300W 的公共測試集的普通數(shù)據(jù)集和具有挑戰(zhàn)性數(shù)據(jù)集上對設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)分別進(jìn)行測試。表1 為先進(jìn)的人臉對齊方法和本文設(shè)計(jì)的人臉對齊方法的平均誤差的測試結(jié)果。

表1 人臉對齊方法在300W 公共測試集上的平均誤差Table 1 The average error of the face alignment method on the 300W public test set %

從表1 的數(shù)據(jù)可知，本文方法在所有列出的關(guān)鍵點(diǎn)定位方法中僅次于DAN 算法的結(jié)果，但是本文方法的模型簡單，參數(shù)數(shù)量少于DAN。

在300W 公共測試集上采用AUC 和錯(cuò)誤率對設(shè)計(jì)的網(wǎng)絡(luò)模型進(jìn)行評估，其中將可接受的誤差設(shè)置為0.08，實(shí)驗(yàn)結(jié)果如表2 所示。

表2 人臉對齊方法在300W公共測試集上的AUC和失敗率Table 2 AUC and failure rate of face alignment method on 300W public test set %

從表2 的數(shù)據(jù)可知，本文方法對68 個(gè)關(guān)鍵點(diǎn)的AUC0.08僅比ESR 和SDM 稍高，但是失敗率卻低于這2 種算法，在此種評估方法中本文設(shè)計(jì)的模型處于居中偏上的水平。

2）人臉內(nèi)部關(guān)鍵器官輪廓點(diǎn)的定位結(jié)果

本文分別對眼睛、鼻子、嘴巴這3 個(gè)主要的面部器官的輪廓進(jìn)行測試，并與現(xiàn)有的面部器官的定位結(jié)果進(jìn)行比較，如表3 所示。

表3 在300W 公共測試集上測試的平均誤差Table 3 The average error of tested on the 300W public test set %

從對人臉的關(guān)鍵器官的關(guān)鍵點(diǎn)定位可以看出，在普通數(shù)據(jù)集上這3 個(gè)器官的定位誤差比最先進(jìn)的算法誤差還要小，在挑戰(zhàn)性數(shù)據(jù)集上，只比DAN 的結(jié)果稍差一點(diǎn)，在整體數(shù)據(jù)集上的測試結(jié)果都優(yōu)于其余方法。由此推斷出本文算法的較大誤差存在于人臉外輪廓的定位上，因此本文算法適用于對眼睛鼻子嘴巴定位精度較高且對人臉外輪廓定位精度相對不高的人臉任務(wù)中。

為評估提出算法的穩(wěn)定性，在300 W 的專用的私有測試集上對人臉內(nèi)部關(guān)鍵點(diǎn)的平均誤差、AUC0.08和失敗率進(jìn)行評估，與先進(jìn)方法的比較如表4 所示。

表4 300W 私有測試集上的平均誤差A(yù)UC 和失敗率Table 4 Average error AUC and failure rate on 300W private test set %

從表4 的數(shù)據(jù)可知，在僅對內(nèi)部51 個(gè)關(guān)鍵點(diǎn)進(jìn)行評估時(shí)，AUC0.08的值要遠(yuǎn)高于最好的算法DAN 的AUC0.08值，失敗率比DAN 算法降低了0.67 個(gè)百分點(diǎn)，比MDM 方法降低了4.8 個(gè)百分點(diǎn)，說明本文設(shè)計(jì)的方法有良好的關(guān)鍵點(diǎn)定位效果。表4 中的結(jié)果與在300W 公共數(shù)據(jù)集上的得到的結(jié)論一致，說明了本文設(shè)計(jì)算法的有效性和穩(wěn)定性。

3）人臉對齊性能對比

本文采用python 語言實(shí)現(xiàn)的算法在NVIDIA GeForce RTX 2060 GPU 筆記本電腦上的人臉對齊速度為65 frame/s，為證明本文提出算法在性能方面的優(yōu)勢，在同樣的硬件條件下對python 實(shí)現(xiàn)的DAN 算法進(jìn)行了性能評測，其人臉對齊速度為50 frame/s，這一結(jié)果充分說明了本文提出方法在性能上優(yōu)于DAN 算法。

4 結(jié)束語

本文基于MobileNets 系列的子模塊，設(shè)計(jì)一種端到端的用于人臉對齊的網(wǎng)絡(luò)。該網(wǎng)絡(luò)基于深度可分離卷積構(gòu)建，對倒殘差模塊進(jìn)行改進(jìn)，減少特征的損失。實(shí)驗(yàn)結(jié)果表明，該方法對人臉68 個(gè)關(guān)鍵點(diǎn)的定位，在定位精度上優(yōu)于大部分先進(jìn)算法，而對面部主要器官的51 個(gè)輪廓關(guān)鍵點(diǎn)的定位誤差明顯小于多數(shù)先進(jìn)算法的定位誤差，在性能方面具有良好的實(shí)時(shí)性，適用于對眼睛、鼻子、嘴巴定位精度較高且對人臉外輪廓定位精度相對較低的人臉任務(wù)。下一步將研究提高本文算法對人臉外部輪廓關(guān)鍵點(diǎn)的定位精度，使算法適用于更廣泛的人臉研究相關(guān)領(lǐng)域。