低質量無約束人臉圖像下的超分辨率擺正

孫 強，譚曉陽

(南京航空航天大學 計算機科學與技術學院，南京 210016)

低質量無約束人臉圖像下的超分辨率擺正

孫 強*，譚曉陽

(南京航空航天大學 計算機科學與技術學院，南京 210016)

針對人臉識別算法準確率受面部姿態、遮擋、圖像分辨率等因素影響的問題，提出一種超分辨率擺正的方法，作用于低質量無約束輸入圖像上，生成高清晰度標準正面視圖。主要通過估計輸入圖像與3D模型間的投影矩陣，產生標準正面視圖，通過人臉對稱性的特點，補全由于姿態、遮擋等原因所產生的面部缺失像素。在擺正過程中，為了提高圖像分辨率以及避免面部像素信息丟失，引入一個16層的深度遞歸卷積神經網絡進行超分辨率重構; 并提出兩個擴展：遞歸監督和跳躍鏈接，來降低網絡訓練難度以及縮小模型體量。在經過處理的LFW數據集上實驗表明，該方法對人臉識別和性別檢測算法的性能具有顯著提升作用。

人臉識別；人臉擺正；3D重建；超分辨率重構；深度遞歸卷積神經網絡

0 引言

人臉識別在現實社會中的應用，由于其潛在的巨大價值而得到廣泛關注；過去四十年間，研究人員在該領域開發出許多優秀項目，取得巨大成就。隨著計算機硬件的不斷升級，深度學習得到飛速發展，人臉識別技術的精度更是被提升到一個空前的高度。早在20世紀60年代，人臉識別系統的研究就已經開始，具有代表性的是1965年Chan和Bledsoe設計的模型[1]。2012年底，Krizhevsky 等[2]采用深度學習算法，在圖片分類競賽ImageNet 上一舉拿下冠軍，從此深度學習開始影響整個計算機視覺(Computer Vision, CV)領域并成功推動人臉識別技術的飛速前進。業內頂尖難度的公共數據集LFW(Labeled Faces in the Wild)[3]的最新結果排名顯示，來自大華股份的人臉識別團隊通過一個上百層深度網絡達到99.78%的識別準確率，取得最優排名。這個數字不僅打敗了人類 94.27% 的識別準確率，甚至觸及LFW 識別成功率的天花板。而實際應用中，人臉識別技術所表現得卻并沒有如同其在官方文檔數字中描述得那樣完美。如目前百度團隊公布的最新人臉識別算法，在日常安防使用中測試成功率勉強只能達到80%左右，遠低于其LFW上的99.7%。其主要原因是：在實際生活中，傳感器設備采集到的圖像數據對姿態、光照、遮擋以及分辨率等因素具有高度不可控性，因而使得識別準確率大打折扣。

為了解決上述問題，本文擬對設備采集到的人臉數據進行處理，使用3D重建方法建立二維側面人臉與3D標準面部模型間像素的對應關系，以便對二維多姿態人臉進行擺正。對于已擺正的圖像進行像素點檢測，同時計算由于遮擋及側面不可見等原因產生的像素缺失， 利用人臉全局對稱性的特點進行像素補全，產生最終的標準正面視圖。在擺正過程中，嘗試引入圖像超分辨率(Super-Resolution, SR)技術提高采集圖像數據的精度，得到一張高分辨率正面人臉視圖。在SR中，使用一個深度遞歸卷積神經網絡建立低分辨率(Low-Resolution, LR)圖像塊與高分辨率(High-Resolution, HR)圖像塊間的對應關系，進行圖像超分辨率重建。由于進行SR時的網絡很深，為了降低訓練難度避免出現梯度消失及梯度爆炸現象，引入遞歸監督和跳躍連接兩種技術進行改進。

1 相關工作

對于低質量無約束人臉圖像的研究,由于其潛在的巨大應用價值，一直以來都是人臉處理和識別的重點探索方向。針對姿態不統一而無法進行有效識別的情況，已經開發出了許多優秀的方法。基于形變模型的方法[4-7]主要使用一個三維人臉樣本集的線性組合來表示每個人臉。通過使用一個對形變模型進行迭代的方案以逼近輸入圖像。Blanz等[5-6]首先提出了基于形變模型的3D合成臉方法并成功應用到人臉識別中，之后一些研究人員基于此算法進行調整得到很多不同恢復正面合成人臉圖像的方法。Zhu等[8]提出了一種新的深度學習框架用以恢復人臉圖像的典型正面視圖，并取得很好的效果。不同于之前其他人的工作，他們直接從一組大規模人臉數據集中學習到將多姿態人臉圖像變化為標準正面視圖的模型。深度學習的方法，由于其可以解決大角度面部傾斜的問題，所以在日常生產生活應用更廣[9]。然而，由于深度學習的特點，這種方法需要大量數據訓練才能得到最終模型。

本文對傳統3D形變模型算法進行改進，使用一個不變的單一三維參考面去匹配所有輸入圖像，并以此產生標準正面視圖。在擺正過程中，對由于姿態、遮擋等原因造成人臉部分區域無法觀測的問題，基于人臉全局對稱性的特點，進行缺失估計與填充。相較于傳統3D形變模型方法，本文模型產生擺正視圖更加高效且準確；同時，避免了深度學習方法中需要大規模數據集進行訓練的問題。

雖然產生標準面部視圖有助于改進實際應用中由于姿態不統一造成的識別率低下的問題。然而，另一個主要問題仍然沒有得到有效解決：由于硬件設備等原因采集到的圖像質量不高、分辨率不足造成識別困難。近年來，國內外對于這個問題的處理主要集中在兩個方向進行，分別為分辨率穩健特征表達方法和圖像超分辨率(SR)方法[10]。分辨率穩健特征表達方法，直接從低分辨率人臉圖像上提取有鑒別性的特征信息，代表方法有：局部頻域描述子(Local Frequency Descriptor，LFD)[11]、耦合局部保持映射(Coupled Locality Preserving Mapping, LPM)[12]、多維標定分析(Multi-Dimensional Scaling, DS)[11]、 耦合核嵌入(Coupled Kernel Embedding,KE)[13]等。對于圖像超分辨率方法，早期使用大量快速插值，簡便但效果不佳。后來，一些方法引入圖像的簡單特征(如邊緣等)，利用圖像的先驗知識進行統計[14-15]，顯示出其更加強大的性能。近幾年，一些更加先進的學習方法被廣泛應用于LR-HR塊映射模型中。如稀疏編碼[16]、卷積神經網絡[17]以及隨機森林[18]等。本文工作在所提出的深度遞歸卷積神經網絡的基礎上，增加網絡深度并通過遞歸監督和跳躍連接簡化訓練難度，將其應用到圖像超分辨率重構中，并從Google 爬取100 000張人臉圖像進行訓練以使其更加適用于人臉幻構的應用。

2 算法簡介

2.1 基本模型結構

本文的目標是對于采集到的低分辨率無約束人臉圖像在姿態矯正還原為標準正面視圖的同時進行超分辨率重構。本文方法如圖1所示。使用現有的人臉檢測器檢測到人臉[19]，然后裁剪并重新調整到一個標準坐標系；用同樣的檢測器在參考正面視圖上進行特征定位，其中參考正面視圖通過對一個三維人臉模型進行紋理渲染得到, 二維坐標系中的坐標對應輸入圖像在三維人臉模型并計算出一個投影矩陣進行擺正以及后續的遮擋區域估計，在擺正過程中引入一個深度遞歸卷積神經網絡進行人臉的超分辨率重構提高圖像精度質量；最后通過人臉對稱性的特點對由于姿勢光照等原因產生的正面人臉缺損區域進行補全(圖1中，像素缺失的部分顯示為綠色)，得到輸出的超精度正面人臉圖像。系統各步驟的具體細節與實現會在后文中進行描述。

圖1 人臉超分辨率擺正系統結構Fig. 1 Frame work of image super-resolution and face frontalization system

2.2 3D人臉擺正

這一部分主要介紹產生正面視圖的主要過程。給定一個單一的三維模型，它只包含紋理信息而忽略了形狀信息，同時已提供三維模型面部特征點的坐標。對于查詢圖像，可以通過人臉特征點檢測的方法得到二維坐標，隨后通過查詢圖像與參考面，以及參考面與三維模型間特征點坐標的對應關系計算出一個3×4的投影矩陣，通過投影矩陣和3D人臉模型對查詢圖像進行操作，初步獲取正面人臉視圖。隨后對此視圖進行姿態估計，補全缺失像素點得到標準正面視圖。

人臉特征點檢測 最近很多非常有效的方法被提出用于面部特征點的檢測[20-22]。出于速度與精度的雙重考慮，本文選用SDM(Supervised Descent Method)[20]來對查詢圖像以及參考面進行特征點定位，SDM使用監督梯度下降的方法來求解非線性最小二乘的問題，并成功地應用于人臉對齊任務上。與以往SDM算法不同的是，本文僅采用48個面部特征點，排除了下巴上的特征點檢測(如圖1綠點所示)，這主要是因為本文僅使用一個共同的三維模型進行擺正，排除了其形狀信息的作用而僅僅采用其紋理信息，這在以往的實驗中被證明對于最終檢測精度并無影響[23]。

姿態估計 給定一個3D人臉模型，我們的目標是計算投影矩陣，從而揭示三維人臉模型表面點與查詢圖像點間的對應關系，如式(1)所示：

p～CQP

(1)

其中p=(x,y)T是查詢圖像中的面部特征點(如圖1所示)。CQ是3×4的投影矩陣，P=(X,Y,Z)T對應3D模型上的特征點。單一人臉3D模型通過指定一個參考投影矩陣CM=AM[RMtM]合成渲染一個唯一的二維正面人臉參考示意圖IR,其中AM是內部矩陣，外部矩陣由旋轉矩陣RM和平移向量tM組成，即式(2)：

p′～CMP

(2)

能見度估計 圖像可見性的估計是相當困難的。大多數研究人員對于估計能見度，更喜歡使用兩個或多個視圖估計出3D幾何模型。本文中，使用類似于文獻[24-25]的方法，使用一個單一的3D幾何模型和其對應的參考正面視圖，將所有的3D人臉模型中的點映射到查詢圖像中。這種情況下，查詢圖像中的大多數點可以有一個或多個對應的3D模型上的點。計算V(q′)=1-exp(-#q),其中#q代表查詢圖像該位置對應3D點的數量，V(q′)為計算得分，設置一個閾值來確定看不見的區域。對于估計出不可見區域的像素強度，本文基于人臉對稱性的特點通過加權該點處的平均強度以及另一側面部對應位置的像素強度覆蓋得到。

2.3 圖像超分辨率重建

上節提到在產生初步擺正視圖的過程中，引入超分辨率(SR)技術進行正面人臉圖像的超精度重構，這么做的目的主要在于：既補全了由于圖像平移旋轉過程中所丟失的像素信息，又在一定程度上避免了設備落后等諸多原因造成的實際應用中圖像分辨率不高而導致人臉識別算法準確率下降的情況。最近幾年，基于深度學習的算法在SR方向上展示了強大的可操作性，在SRCNN(Super-Resolution Convolutional Neural Network)[16]中應用卷積神經網絡進行端到端的學習方法在SR上得到了不錯的效果。對于提高SRCNN效果的想法之一便是盡可能多地增加神經網絡的深度來獲得更好的結果；然而這將大幅增加參數個數導致需要更多的數據去學習以避免出現過擬合的情況，并且由于層數增加在學習中存在梯度消失/爆炸的現象而導致訓練變得艱難。因此，本文引入遞歸監督和跳躍鏈接來簡化訓練難度，引入遞歸來避免增加模型的容量。

本文進行SR的基本結構如圖2所示，包括三個子網絡：嵌入網絡、推理網絡和重構網絡。

圖2 圖像超分辨率重構網絡模型Fig. 2 Image super-resolution reconstruction network model

嵌入網絡用于將給定的低質量正面人臉圖像表示為特征圖送入推理網絡，在推理網絡中解決任務后，將最終推理網絡中的特征圖送入重構網絡進行重構產生高分辨率人臉正面圖像。本文的目標是學習一個模型:

(3)

H-1=max(0,W-1*x+b-1)

(4)

H0=max(0,W0*H-1+b0)

(5)

f1(x)=H0

(6)

其中：操作符*表示一個卷積(核大小為3×3)，而max(0,)則對應一個ReLU(Rectified Linear Unit)，權重和偏置矩陣對應W和b，推理網絡f2使用輸入H0并且計算輸出HD。本文對所有的操作使用相同的權重和偏置矩陣W和b。g表示一個單一的遞歸層的遞歸模型函數:

g(H)=max(0,W*H+b)

(7)

遞推關系如下：

Hd=g(Hd-1)=max(0,W*Hd-1+b)

(8)

對于d=1,2,…,D。推理網絡f2是由相同的基本函數g組合而成：

f2(H)=(g°g°…°g)g(H)=gD(H)

(9)

其中:°操作符表示函數組合，gd代表了g的d層。重構網絡f3使用HD作為輸入并輸出目標圖像。概況地說，重構網絡是嵌入網絡的逆運算，將重建好的高分辨率塊補全到相應位置上。具體推導如下：

HD+1=max(0,WD+1*HD+bD+1)

(10)

(11)

(12)

雖然遞歸模型簡單強大且不會引入額外的卷積(新的參數)，但訓練一個深度遞歸模型確實很困難的，在以往的成功案例中，也僅僅遞歸到三層為止，這主要歸結于兩個重要的原因：梯度消失和梯度爆炸。為了解決以上兩個問題，本文引入遞歸監督和跳躍連接進行模型的改進，使遞歸層數達到了16層之多。

遞歸監督 所有遞歸都被監督，每次遞歸后，特征映射被用來重構高精度圖像，重構方法對于每個遞歸過程都相同。如圖3所示，每次遞歸給出一個高精度圖像的預測，結合遞歸的不同層次所帶來的不同預測結果來達到更加精準的預測。本文的遞歸監督很自然地降低了訓練遞歸網絡的難度。此外，由于本文是通過監督所有的中間層預測得到最終目標圖像的，所以獲得遞歸最有層數的重要性被降低，更快地得到最優的結果。

跳躍連接 在SR中，低分辨率圖像(輸入)和高分辨率圖像(輸出)大范圍享有共同信息，然而對于輸入的精準復制在前向傳播中會進行衰減。如圖3所示，本文添加一個跳躍連接直接將輸入鏈接到重建層，簡單且有效地保留了預測圖像中與輸入圖像的高度相關性。

圖3 引入遞歸監督和跳躍連接的超分辨率重構模型Fig. 3 SR reconstrution model with recursive-supervision and skip-connection

3 實驗結果與分析

本章將在經過分辨率處理的LFW人臉數據集上評估本文方法的有效性。人臉姿態校正模塊，本文采用了“calib”函數估計投影矩陣[23]。使用SDM進行人臉特征點檢測，其中SDM在作者的主頁上是開源的[4]。在超分辨率模塊，使用從Google上通過爬蟲獲取的100 000張人臉圖像進行訓練。需要注意的是，本文算法的主要目的在于驗證經過人臉擺正和超分辨率重構對人臉識別性能的影響，因此后續實驗并沒有使用當前結果最優的人臉識別算法進行驗證。

3.1 實驗數據集

LFW是時下最為熱門的無約束人臉圖像數據集，其圖像采集自Yahoo！News，由5 749人組成共13 233張，其中1 680人有兩幅及以上的圖像，4 069人只有一幅圖像。所有圖像均產生于現實場景，具備自然的光線、表情、姿態和遮擋。然而與應用場景中監控攝像頭采集到的圖像相比，LFW具有統一的較高分辨率的特點，因此實驗中將LFW數據集圖像降采樣到統一的50×50(在后面的實驗中統一稱其為LFW1)，在此基礎上進行后續的擺正與超分辨率操作，以更好地貼近實際應用中的情況。最終實驗用數據如圖4所示，其中橫向對應人臉超分辨率重構，縱向表明是否加入人臉擺正處理。

在超分辨率重構模塊，在Google上爬取100 000張人臉圖像進行訓練，目的主要是為了契合其在人臉超分辨率重構上更好的應用。

3.2 人臉驗證

在這個實驗中，本文方法首先對LFW數據集降采樣至50×50，然后進行處理并測試結果。LFW官網的view2測試協議提供了10個子集，其中9個用于訓練、1個用于測試，交叉驗證得到10個不同的分類器，對10次分類結果進行平均得到最終識別準確率[3]。由于本文的目標是查看人臉擺正與超精度重構對于人臉識別算法精度是否有提高，因此使用類似于文獻[23]的方法作為評價標準，分別使用LBP(Local Binary Pattern)[26-27]、TPLBP(Three-Patch Local Binary Pattern)[28]特征用于人臉表示以及使用L2范式進行相似性度量。

表1列出了數據集上的驗證準確率。其中LEW1表示對LFW數據集進行降采樣后50×50的原始圖像，LFW1-3D為對LFW1 圖像進行人臉擺正而不進行超辨率處理的低質量正面人臉圖像。LFW1×2和LFW1×4則分別對應于LFW1進行2倍倍增因子和4倍倍增因子超分辨率重構后的人臉圖像，LFW1×2- 3D和LFW1×4- 3D則對應二者添加人臉擺正步驟后得到的較高清正面人臉圖像，LFW則作為超分辨率算法的ground truth進行對比，顯示本文超分辨率算法具有很好的還原效果。從表1中可以看出，隨著圖像分辨率的提升結果也在大幅度改進，同時當圖像分辨率較高時人臉擺正的引入同樣會起到較顯著的作用，而當圖像分辨率較低時人臉擺正的引入可能會起到反效果。

圖4 實驗用數據示例Fig. 4 Experimental data example

3.3 性別估計

在本節中，采用上面實驗所用到數據集的一個子集進行性別評估實驗。通過人臉性別估計，可以滿足快速區分人群并進行分類的需求。商家針對客戶性別統計，能夠更加快速準確地制定符合市場的產品定位等。這里每個數據分類采用同樣的2 000張圖像進行測試，這2 000張圖像由人工手動進行男、女標簽的標記。在實驗中，其中500張圖像進行訓練，而剩余1 500張被用于測試。同樣LBP、TPLBP特征被用于人臉表示，支持向量機(Support Vector Machine, SVM)被用于進行分類。表2中可以看到，與上面人臉驗證相類似的結果，證明本文方法同樣適用于人臉性別估計的應用上。

表1 實驗數據上的人臉驗證準確率 %Tab. 1 Face verification accuracies on experimental data %

表2 實驗數據上的性別估計準確率 %Tab. 2 Gender estimation accuracies on experimental data %

4 結語

本文針對實際應用中的低質量無約束人臉圖像，引入人臉擺正和圖像超分辨率重構進行處理，旨在生成高精度正面標準人臉圖像。在人臉擺正過程中，算法提議對所有圖像采用一個單一的3D形狀模型產生正面人臉圖像，并根據3D模型以及與之對應的正面參考視圖進行補全。同時，通過使用一個很深的遞歸卷積神經網絡引入超分辨率重構模塊進行重構。由于遞歸的存在，網絡并未增加多余的參數且保證了較小的體量。為了降低模型訓練的難度以及確保低分辨率圖像與高質量圖像間的高度相關性，采取遞歸監督和跳躍連接對網絡進行改進。

將LFW數據集進行降采樣后得到LFW1數據集，并在其上實驗的結果表明，本文的方法對于低質量無約束人臉圖像在人臉驗證以及性別估計的準確率上具有明顯的提高作用，表現出該方法在諸如安保、人防等實際應用中巨大的推廣價值。

References)

[1] 蘇楠,吳冰, 徐偉,等. 人臉識別綜合技術的發展[J]. 信息安全研究，2016, 2(1): 33-39.(SU N,WU B,XU W, et al. The comprehensive technology development of face recognition[J].Journal of Information Security Research, 2016,2(1):33-39.)

[2] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe: Curran Associates Inc., 2012: 1097-1105.

[3] HUANG G B, MATTAR M, BERG T, et al. Labeled faces in the wild: a database for studying face recognition in unconstrained environments[EB/OL].[2016- 11- 20]. http://cs.umass.edu/～elm/papers/lfw.pdf.

[4] DING C, XU C, TAO D. Multi-task pose-invariant face recognition[J]. IEEE Transactions on Image Processing, 2015, 24(3): 980-993.

[5] BLANZ V, VETTER T. Face recognition based on fitting a 3D morphable model[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(9): 1063-1074.

[6] BLANZ V, VETTER T. A morphable model for the synthesis of 3D faces[C]// Proceedings of the 26th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM, 1999:187-194.

[7] TAIGMAN Y, YANG M, RANZATO M, et al. DeepFace: closing the gap to human-level performance in face verification[C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2014:1701-1708.

[8] ZHU Z, LUO P, WANG X, et al. Recover canonical-view faces in the wild with deep neural networks[EB/OL].[2016- 11- 20]. http://arxiv-web.arxiv.org/pdf/1404.3543v1.

[9] 賀飛翔, 趙啟軍. 基于深度學習的頭部姿態估計[J]. 計算機技術與發展, 2016, 26(11):32-37.(HE F X,ZHAO Q J. Head pose estimation based on deep learning[J]. Computer Technology and Development, 2016,26(11):32-37.)

[10] 龍超. 圖像超分辨率重建算法綜述[J]. 科技視界,2015(13):88-89.(LONG C. Survey of super-resolution algorithms[J]. Science and Technology Vision, 2015(13):88-89.)

[11] BISWAS S, BOWYER K W, FLYNN P J. Multidimensional scaling for matching low-resolution face images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10):2019-2030.

[12] LI B, CHANG H, SHAN S, et al. Low-resolution face recognition via coupled locality preserving mappings[J]. IEEE Signal Processing Letters, 2010, 17(1):20-23.

[13] REN C X, DAI D Q, YAN H. Coupled kernel embedding for low resolution face image recognition[J]. IEEE Transactions on Image Processing, 2012, 21(8):3770-3783.

[14] SUN J, SUN J, XU Z, et al. Image super-resolution using gradient profile prior[C]// Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2008:1-8.

[15] KIM K I, KWON Y. Single-image super-resolution using sparse regression and natural image prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(6):1127-1133.

[16] WANG Z, LIU D, YANG J, et al. Deep networks for image super-resolution with sparse prior[C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2015:370-378.

[17] DONG C, LOY C C, HE K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2):295-307.

[18] SCHULTER S, LEISTNER C, BISCHOF H. Fast and accurate image upscaling with super-resolution forests[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015:3791-3799.

[19] VIOLA P, JONES M J. Robust real-time face detection[J]. International Journal of Computer Vision, 2004, 57(2):137-154.

[20] XIONG X, TORRE F D L. Supervised descent method and its applications to face alignment[J]. Computer Vision & Pattern Recognition, 2013, 9(4):532-539.

[21] RAMANAN D, ZHU X. Face detection, pose estimation, and landmark localization in the wild[C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2012: 2879-2886.

[22] KAZEMI V, SULLIVAN J. One millisecond face alignment with an ensemble of regression trees[C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2014: 1867-1874.

[23] HASSNER T, HAREL S, PAZ E, et al. Effective face frontalization in unconstrained images[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2014: 4295-4304.

[24] KUTULAKOS K N, SEITZ S M. A theory of shape by space carving[C]// Proceedings of the 7th IEEE International Conference on Computer Vision. Piscataway, NJ: IEEE, 1999: 307-314.

[25] ZENG G, PARIS S, QUAN L, et al. Progressive surface reconstruction from images using a local prior[C]// Proceedings of the 10th IEEE International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2005:1230-1237.

[26] OJALA T, PIETIKINEN M, MENPT. A generalized local binary pattern operator for multiresolution gray scale and rotation invariant texture classification[C]// Proceedings of the Second International Conference on Advances in Pattern Recognition. London: Springer-Verlag, 2001:397-406.

[27] OJALA T, PIETIKINEN M, MENPT. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7):971-987.

[28] WOLF L, HASSNER T, TAIGMAN Y. Descriptor based methods in the wild[EB/OL].[2016- 11- 20]. http://www.openu.ac.il/home/hassner/projects/Patchlbp/WolfHassnerTaigman_ECCVW08.pdf.

This work is partially supported by the National Natural Science Foundation of China (61373060,61672280); Qing Lan Project.

SUNQiang, born in 1992, M. S. candidate. His research interests include computer vision, face recognition.

TANXiaoyang, born in 1971, Ph. D., professor. His research interests include computer vision, pattern recognition, machine learning.

Super-resolutionandfrontalizationinunconstrainedfaceimages

SUN Qiang*,TAN Xiaoyang

(CollegeofComputerScienceandTechnology,NanjingUniversityofAeronauticsandAstronautic,NanjingJiangsu210016,China)

Concerning the problem that face recognition is affected by the factors such as attitude, occlusion, resolution and so on, a method for image super-resolution and face frontalization in unconstrained image was proposed, which could generate high-quality and standard front images. The projection matrix between the input image and 3D model was estimated to generate the standard front image. Also, through the characteristics of face symmetry, the missing pixels by occlusion and attitude could be filled. In order to avoid the loss of pixel information during the process of generating standard front image and improve the image quality, a deeply-recursive convolutional network which had 16 layers was introduced for image super-resolution. To ease the difficulty of training, two extensions were proposed：recursive-supervision and skip-connection. The experimental results on the processed LFW datasets show that it is surprisingly effective when used for face recognition and gender estimation.

face recognition; face frontalization; 3D reconstruction; image super-resolution; deeply-recursive convolutional network

2017- 05- 11;

2017- 06- 27。

國家自然科學基金資助項目(61373060,61672280)；青藍工程。

孫強(1992—)，男，陜西西安人，碩士研究生，主要研究方向：計算機視覺、人臉識別； 譚曉陽(1971—)，男，重慶人，教授，博士，CCF會員，主要研究方向：計算機視覺、模式識別、機器學習。

1001- 9081(2017)11- 3226- 05

10.11772/j.issn.1001- 9081.2017.11.3226

(*通信作者電子郵箱15251767790@163.com)

TP389.1

A