超分辨率重建的微小人臉識別算法

摘要：針對低分辨率下小尺度人臉圖像缺失有效身份信息導(dǎo)致的識別率低的問題，提出了超分辨率重建的微小人臉識別算法。該算法首先將采集到的低分辨率人臉圖像進(jìn)行超分辨率重建，并采用細(xì)節(jié)增強(qiáng)的方法，以恢復(fù)圖像的面部輪廓信息與紋理細(xì)節(jié)等高頻信息，再通過一個(gè)改進(jìn)的密集連接網(wǎng)絡(luò)做特征提取，進(jìn)行圖像識別。實(shí)驗(yàn)結(jié)果表明，該方法對于小尺度的人臉圖像，在圖像識別率上優(yōu)于其它人臉識別算法，能夠有效解決現(xiàn)實(shí)環(huán)境中微小人臉識別率低的問題。

關(guān)鍵詞：超分辨率重建;人臉識別;特征提取;細(xì)節(jié)增強(qiáng)

DOI：10.15938/j.jhust.2022.03.007

中圖分類號： TP391.4文獻(xiàn)標(biāo)志碼： A文章編號： 1007-2683（2022）03-0052-07

Small Face Recognition Algorithm Based

on Super-resolution Reconstruction

LI Jing-yu1，CHENG Wei-yue2，LI Zi-xiang1，LIN Ke-zheng1

（1.School of Computer Science and Technology， Harbin University of Science and Technology， Harbin 150080，China;

2.Heilongjiang College of Business and Technology， Harbin 150025， China）

Abstract：Aiming at the problem of low recognition rate caused by the lack of effective identity information in small-scale face images with low resolution， this small face recognition algorithm based on super-resolution reconstruction is proposed. The algorithm first performs super-resolution reconstruction on the collected low-resolution face images， and uses the method of detail enhancement to restore high-frequency information such as facial contour information and texture details of the image， and then uses an improved densely connected network to do feature extraction and image recognition. Experimental results show that this method is aimed at small-scale face images， and is superior to other face recognition algorithms in image recognition rate， and can effectively solve the problem of low recognition rate of small faces in real environments.

Keywords：super-resolution reconstruction; face recognition; feature extraction; detail enhancement

0引言

隨著人工智能與深度學(xué)習(xí)的發(fā)展，人臉識別技術(shù)已日漸成熟，越來越多的應(yīng)用于人們的日常生活中，包括人臉識別門禁、智能安防系統(tǒng)、人臉識別考勤等領(lǐng)域。其中基于高分辨率的人臉識別技術(shù)已經(jīng)相對成熟，但對于微小人臉的識別，還存在準(zhǔn)確率低等問題。

超分辨率概念的提出最早是在光學(xué)領(lǐng)域中，是指試圖復(fù)原衍射極限以外數(shù)據(jù)的過程。近年來，圖像超分辨率的研究越來越活躍，圖像的超分辨率研究方法層出不窮，美國加州大學(xué)Farsiu等[1]提出了大量實(shí)用超分辨率圖像復(fù)原算法。Nagy等[2]從數(shù)學(xué)方法、多幀圖像的去卷積和彩色圖像的超分辨率增強(qiáng)方面，對超分辨率圖像恢復(fù)進(jìn)行了研究。Chan等[3]對超分辨率圖像恢復(fù)的預(yù)處理迭代算法進(jìn)行了研究。Brifman等[4]對運(yùn)動圖像的超分辨率恢復(fù)進(jìn)行了研究。Wood等[5]分別從物理學(xué)角度和成像透鏡散射的角度提出了新的超分辨率圖像恢復(fù)方法;韓國浦項(xiàng)科技大學(xué)將各向異性擴(kuò)散應(yīng)用于圖像的超分辨率。Yang等[6]提出了基于圖形塊的稀疏表示的超分辨率方法。

通用的超分辨率方法可分為3種：基于插值的方法，基于圖像統(tǒng)計(jì)的方法[7-8]和基于示例（補(bǔ)?。┑姆椒╗9-10]?；诓逯档姆椒ǎɡ珉p線性插值和雙三次插值）既簡單又有效，但隨著縮放比例的增加，會產(chǎn)生過度平滑的邊緣，從而無法生成高分辨率細(xì)節(jié)?；趫D像統(tǒng)計(jì)的方法采用自然圖像先驗(yàn)來預(yù)測高分辨率圖像，但僅限于縮放比例較小的重建任務(wù)?；谑纠姆椒ㄓ锌赡艽蚱谱畲罂s放比例的限制，利用輸入圖像中補(bǔ)丁的自相似性來生成高分辨率補(bǔ)丁，或從訓(xùn)練數(shù)據(jù)集構(gòu)造低分辨率圖像和高分辨率圖像補(bǔ)丁對，然后在低分辨率空間中搜索最相近的補(bǔ)丁，從相應(yīng)的高分辨率補(bǔ)丁重建高分辨率輸出。最近，基于深度學(xué)習(xí)的方法[11]越來越成為研究的熱門，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)，從大數(shù)據(jù)集中學(xué)習(xí)低分辨率圖像與高分辨率圖像之間的映射函數(shù)。在超分辨率方法中[12～13]，進(jìn)一步利用圖像類別中的統(tǒng)計(jì)信息，從而帶來更好的性能。早期使用貝葉斯公式建立高分辨率圖像和低分辨率圖像之間的對應(yīng)關(guān)系，從而可以將數(shù)據(jù)集中的高頻細(xì)節(jié)傳送到低分辨率圖像以用于圖像細(xì)節(jié)的生成，但是，有時(shí)也會產(chǎn)生偽影。

人臉超分辨率（SR）又稱人臉幻覺，旨在根據(jù)低分辨率（LR）圖像輸入生成高分辨率（HR）或超分辨率人臉圖像。目前最先進(jìn)的人臉幻覺方法通常是學(xué)習(xí)從低分辨率圖像到高分辨率圖像的映射函數(shù)，這種映射函數(shù)可以是漸進(jìn)的，也可以是基于樣本的。當(dāng)前的人臉幻覺算法和人臉去模糊算法都不能有效的恢復(fù)清晰的HR圖像，同時(shí)，基于深度學(xué)習(xí)的方法[14]不能有效的恢復(fù)紋理細(xì)節(jié)結(jié)構(gòu)。

在現(xiàn)實(shí)生活中，受自然環(huán)境的影響，特別是采集圖像的設(shè)備距離人物較遠(yuǎn)或者是人群密集的環(huán)境下，所采集到的人臉圖像尺寸往往較小，分辨率較低，這樣的圖像缺失高頻細(xì)節(jié)，且存在模糊等情況。此時(shí)，普遍的基于高分辨率的人臉識別技術(shù)已經(jīng)不適用于此類情況，直接對低分辨率圖像進(jìn)行特征提取往往不能夠提取到足夠的有利于身份識別的有效信息，無法滿足人臉識別的準(zhǔn)確率與精度。因此，提出一種基于超分辨率的微小人臉識別算法，該方法通過對檢測到的微小人臉先進(jìn)行超分辨率重建后再進(jìn)行識別，通過二階段的方法，能夠有效解決人群密集等環(huán)境下采集到的微小人臉識別率低的問題。

1相關(guān)基本理論

1.1殘差神經(jīng)網(wǎng)絡(luò)

隨著深度神經(jīng)網(wǎng)絡(luò)的發(fā)展，人臉識別算法的精度已越來越高，逐步取代了基于傳統(tǒng)特征的人臉識別算法[15]。在深度神經(jīng)網(wǎng)絡(luò)中，隨著網(wǎng)絡(luò)深度的增加，對于圖像特征的提取效果越好，可以提取更加復(fù)雜的圖像特征，例如VGG16網(wǎng)絡(luò)與VGG19網(wǎng)絡(luò)[16]等，其網(wǎng)絡(luò)深度達(dá)到了16層與19層。但網(wǎng)絡(luò)層數(shù)的增加往往會伴隨以下幾個(gè)問題：計(jì)算資源消耗，模型過擬合，梯度消失、爆炸，深度網(wǎng)絡(luò)退化等。隨著網(wǎng)絡(luò)深度的增加，訓(xùn)練集損失函數(shù)逐漸下降，最終趨于飽和，當(dāng)再增加網(wǎng)絡(luò)深度的話，訓(xùn)練集損失函數(shù)反而會增大。為解決網(wǎng)絡(luò)退化的問題，提出一種殘差網(wǎng)絡(luò)ResNet[17]。

殘差網(wǎng)絡(luò)通過殘差學(xué)習(xí)來保證l+1層的網(wǎng)絡(luò)一定比l層包含更多的圖像信息。對于一個(gè)堆積層結(jié)構(gòu)，當(dāng)輸入為x時(shí)其學(xué)習(xí)到的特征記為H（x），通過殘差F（x）=H（x）-x，可以將學(xué)習(xí)到的特征表示為：H（x）=F（x）+x，這樣，當(dāng)網(wǎng)絡(luò)進(jìn)行到下一層時(shí)，不需要重頭開始學(xué)習(xí)，只需要學(xué)習(xí)殘差即可。殘差網(wǎng)絡(luò)由一系列殘差塊組成，殘差塊可表示為

yl=h（xl）+F（xl，Wl）（1）

xl+1=f（yl）（2）

其中：xl 和xl+1分別表示第l和l+1個(gè)殘差單元的輸入和輸出;F（xl， Wl）為殘差函數(shù)，表示學(xué)習(xí)到的殘差;h（xl） = xl表示恒等映射;f為ReLU激活函數(shù)?；谏鲜剑汕蟮脧臏\層l到深層L的學(xué)習(xí)特征為

xL=xl+∑L-1i=1F（xi，Wi）（3）

殘差網(wǎng)絡(luò)參考了VGG19網(wǎng)絡(luò)，在其基礎(chǔ)上進(jìn)行修改，并通過短路機(jī)制加入了殘差單元，形成了殘差學(xué)習(xí)，解決了深度網(wǎng)絡(luò)的退化問題。

1.2二階段識別方法

針對小尺度的人臉圖像，其本身所具有的有效特征信息偏少，特別是缺失高頻的細(xì)節(jié)紋理信息，使得基于特征提取的一階段人臉識別算法準(zhǔn)確率低。因此提出了一種針對低分辨率小尺度人臉圖像的二階段識別算法，在識別之前先進(jìn)行圖像的超分辨率重建，通過重建圖像特征信息，來進(jìn)一步提高識別的準(zhǔn)確率。

二階段識別方法流程圖如圖1所示。

2基于超分辨率的微小人臉識別

2.1基于示例的人臉超分辨率模型

由于人臉的獨(dú)特結(jié)構(gòu)與自然圖像相差很大，紋理大部分位于面部組件周圍，因此面部結(jié)構(gòu)生成網(wǎng)絡(luò)專注于面部組件的恢復(fù)，而不是其他相對平緩且信息較少的區(qū)域。對于給定的低分辨率輸入圖像，首先使用雙三次插值[18]對其進(jìn)行上采樣，使其與輸出圖像的分辨率相同;之后在上采樣的圖像上檢測面部標(biāo)志;然后使用界標(biāo)生成面部組件模板。將面部成分分為4種類型，分別是眉毛，眼睛，鼻子和嘴巴。對于每種類型的面部組件，都分別生成一張面部組件圖，其中組件區(qū)域內(nèi)的像素標(biāo)記為1，其他像素標(biāo)記為0。一張圖片總共生成4個(gè)組件圖，分別覆蓋了所有4種類型的面部組件。

網(wǎng)絡(luò)架構(gòu)基于條件生成對抗網(wǎng)絡(luò)[19-21]（C-GAN），其中生成網(wǎng)絡(luò)由25個(gè)殘差塊和總共53個(gè)卷積層組成。除了每個(gè)殘差塊中的本地跳過連接之外，還從第一個(gè)卷積層到最后一個(gè)卷積層添加了一個(gè)額外的遠(yuǎn)程跳過連接。網(wǎng)絡(luò)是完全卷積的，所有卷積層中使用的卷積核大小為3×3。網(wǎng)絡(luò)中沒有池化層，所有卷積層輸出的特征圖尺寸大小與輸入圖像相同。生成網(wǎng)絡(luò)的參數(shù)如表1所示。

2.2細(xì)節(jié)增強(qiáng)

雖然面部結(jié)構(gòu)生成網(wǎng)絡(luò)能夠有效的恢復(fù)主要的面部結(jié)構(gòu)，但它往往會使恢復(fù)的人臉圖像的細(xì)節(jié)過于平滑。為了解決這個(gè)問題，提出了一種細(xì)節(jié)增強(qiáng)方法，通過使用高分辨率示例圖像來恢復(fù)人臉圖像中缺失的細(xì)節(jié)。細(xì)節(jié)增強(qiáng)方法包括2個(gè)步驟。第一步，建立面部結(jié)構(gòu)生成網(wǎng)絡(luò)生成的基礎(chǔ)圖像與高分辨率的示例圖像之間的補(bǔ)丁對應(yīng)，然后使用高分辨率的示例圖像中的補(bǔ)丁對基礎(chǔ)圖像進(jìn)行回歸，得到中間結(jié)果。第二步，將示例圖像中的細(xì)節(jié)補(bǔ)丁傳輸?shù)交A(chǔ)圖像，以獲得最終結(jié)果。

示例回歸：將通過面部結(jié)構(gòu)生成網(wǎng)絡(luò)生成的基礎(chǔ)圖象分成若干本地補(bǔ)丁。對于以像素p為中心的一個(gè)補(bǔ)丁，在高分辨率的示例圖像中通過K近鄰算法，找到K個(gè)最相似的補(bǔ)丁。在基于K-NN算法的補(bǔ)丁搜索步驟中，每個(gè)輸入補(bǔ)丁對應(yīng)于一個(gè)高分辨率示例圖像中搜索區(qū)域。每個(gè)搜索區(qū)域的中心與輸入補(bǔ)丁的中心相同。在搜索區(qū)域中，通過使用滑動窗口的方法選擇一個(gè)補(bǔ)丁，該滑動窗口的大小與輸入補(bǔ)丁的大小相同。通過補(bǔ)丁搜索，從高分辨率的示例圖像中獲得了N個(gè)補(bǔ)丁，并在其中進(jìn)一步選擇K。

Dp=α·（1-Dncc）+（1-α）·Dabs（4）

其中α是兩個(gè)指標(biāo)相結(jié)合的權(quán)重，將其設(shè)置為0.5。將圖像像素值標(biāo)準(zhǔn)化為[0，1]，從而將兩個(gè)指標(biāo)設(shè)置在同一范圍內(nèi)。

在通過基于K-NN算法的搜索之后，從高分辨率的示例圖像中得到了K個(gè)候選補(bǔ)丁。令Hip（i∈[1，…，K]）表示包含第i個(gè)高分辨率候選補(bǔ)丁的所有像素值的向量，Ip表示包含輸入補(bǔ)丁的像素值的向量。線性回歸函數(shù)表示為Fp=[F1p，…，F(xiàn)kp]T，其中Fip=（i∈[1，…，K]T）是Fp的每個(gè)系數(shù)。能量函數(shù)定義為

Edatap=‖Hp·Fp-Ip‖2（5）

其中Hp=[H1p，H2p，…，Hkp]。也可以將Fp表示為：

Fp=（HTp·Hp）-1HTp·Ip（6）

當(dāng)候選補(bǔ)丁塊包含紋理時(shí)（即Hp中的像素值相似度低時(shí)），可以有效地計(jì)算Fp的值。但是在某些情況下，當(dāng)像素p處在平滑區(qū)域（例如臉頰）時(shí)，HTp·HP可能成為奇異矩陣，因此Fp不準(zhǔn)確。 此時(shí)需要通過添加以下正則項(xiàng)來解決該問題：

Ep=Edatap+Eregp=‖Hp·Fp-Ip‖2+λ‖F(xiàn)p‖2（7）

其中λ是控制正則項(xiàng)影響效果的權(quán)重，通過將其設(shè)置為補(bǔ)丁塊中的像素?cái)?shù)。 可以將上述能量函數(shù)求解為

Fp=（HTp·Hp+λE）-1HTp·Ip（8）

其中E是單位矩陣。

得到了回歸函數(shù)Fp之后，將HR示例補(bǔ)丁映射到輸出補(bǔ)丁中。令Hip（i∈[1，…，K]）表示一個(gè)包含相應(yīng)HR示例補(bǔ)丁像素值的向量。輸出補(bǔ)丁Rp可以計(jì)算為：

Rp=∑Ki=1Hip·Fip（9）

同理可計(jì)算出每個(gè)像素的輸出補(bǔ)丁。對于不同補(bǔ)丁之間的重疊區(qū)域，通過求其平均值得到最終結(jié)果。

2.3基于深度殘差網(wǎng)絡(luò)的人臉識別

傳統(tǒng)的殘差單元如圖3（a）所示，其中的批量歸一化層（BN）層可以加快網(wǎng)絡(luò)的收斂速度，提高訓(xùn)練的穩(wěn)定性，并可以從根本上解決網(wǎng)絡(luò)訓(xùn)練中的梯度消失現(xiàn)象。圖3（b）顯示了改進(jìn)的殘差塊結(jié)構(gòu)，去除了原有結(jié)構(gòu)中的兩個(gè)BN層，并在第2個(gè)卷積層后添加了ReLU，以提高殘差單元的非線性表達(dá)能力，避免了BN層對圖像空間信息的破壞。為增強(qiáng)殘差網(wǎng)絡(luò)的性能，減輕網(wǎng)絡(luò)的訓(xùn)練負(fù)擔(dān)，提出一種跨層集成策略，如圖3（c）所示，通過快捷連接來組合每個(gè)殘差單元的輸出特征圖，網(wǎng)絡(luò)結(jié)構(gòu)從全局殘差變?yōu)槿志植繗埐?，同時(shí)避免了模型訓(xùn)練中的過擬合，避免了梯度反向傳播中梯度消失的現(xiàn)象。在全局殘差結(jié)構(gòu)的基礎(chǔ)上結(jié)合了每個(gè)殘差單元的輸出特性，從而充分利用了每個(gè)殘差單元的輸出特征，增強(qiáng)了網(wǎng)絡(luò)淺層特征的表達(dá)能力。網(wǎng)絡(luò)的輸出可定義為

Xout=∑Nl=0Xl=X0+X1+…+XN（10）

其中：X0表示特征提取網(wǎng)絡(luò)所提取到的低分辨率圖像的漸層特征;Xl為第l個(gè)殘差單元的輸出，Xout為淺層特征和所有殘差單元的輸出總和，總共有N個(gè)殘差單元。

基于示例的人臉圖像超分辨率模塊和改進(jìn)的基于深度殘差網(wǎng)絡(luò)的人臉識別模塊，通過級聯(lián)的方式，有效的將兩個(gè)模塊結(jié)合起來。

2.4算法步驟

該算法的主要思想為，首先經(jīng)過面部結(jié)構(gòu)生成網(wǎng)絡(luò)得到基礎(chǔ)圖象Imid，通過示例回歸算法得到回歸圖像Ireg。使用導(dǎo)引濾波器以Ireg為指導(dǎo)平滑Imid，將Ireg中的面部細(xì)節(jié)轉(zhuǎn)移到Imid中，得到圖像Imid_2。再使用引導(dǎo)濾波器以Ireg為指導(dǎo)平滑Ireg，得到圖像Ireg_2。之后使用圖像Ireg減去圖像Ireg_2以捕獲平滑細(xì)節(jié)，得到細(xì)節(jié)圖像Idet。最后將細(xì)節(jié)圖像Idet添加到Imid_2以獲得最終的輸出圖像。經(jīng)過以上步驟，即可得到融合了面部輪廓生成與紋理細(xì)節(jié)傳輸?shù)母叻直媛蕡D像。 具體的算法步驟如算法1所示。

算法1細(xì)節(jié)增強(qiáng)算法描述

輸入：低分辨率圖像與人臉組件圖

輸出：高分辨率圖像

1）使用人臉圖像和人臉組件圖訓(xùn)練FSGN

2）將低分辨率的人臉圖像輸入到訓(xùn)練好的FSGN，得到基礎(chǔ)圖像Imid

3）for 每一個(gè)像素p in Imid do

4） 使用公式（4）K-NN算法進(jìn)行補(bǔ)丁搜索

5） 使用公式（8）計(jì)算回歸矩陣

6） 使用公式（9）計(jì)算輸出補(bǔ)丁Rp的值

7）end for

8）得到回歸圖像Ireg

9）使用引導(dǎo)濾波以Ireg為指導(dǎo)平滑Imid，得到圖像Imid_2

10）使用引導(dǎo)濾波以Ireg為指導(dǎo)平滑Ireg，得到圖像Ireg_2

11）計(jì)算最終輸出圖像為Imid_2 +Ireg_2-Ireg

細(xì)節(jié)增強(qiáng)算法通過添加身份細(xì)節(jié)來改善基礎(chǔ)圖像Imid的質(zhì)量，首先使用示例回歸來合成圖像細(xì)節(jié)，然后使用引導(dǎo)濾波提取細(xì)節(jié)并將其傳輸?shù)交緢D像。與基礎(chǔ)圖像相比，細(xì)節(jié)增強(qiáng)方法在不涉及偽影的情況下豐富了面部組件周圍的局部細(xì)節(jié)。

通過級聯(lián)的方式，有效的將基于示例的人臉圖像超分辨率模塊和改進(jìn)的基于深度殘差網(wǎng)絡(luò)的人臉識別模塊融合起來。能夠在進(jìn)行識別前有效的恢復(fù)小尺度低分辨率人臉圖像所丟失的高頻細(xì)節(jié)特征。

3實(shí)驗(yàn)結(jié)果與分析

3.1實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)的軟硬件環(huán)境為：Windows 10（64位）操作系統(tǒng)，使用Tensorflow1.13深度學(xué)習(xí)框架，Python3.6.6編程語言，顯卡為NVIDIA GTX 1060，6GB顯存，CPU為Inter Core i7-8750H，實(shí)驗(yàn)平臺為PyCharm。

3.2數(shù)據(jù)預(yù)處理

實(shí)驗(yàn)數(shù)據(jù)集選擇LFW數(shù)據(jù)集與PIE數(shù)據(jù)集，2個(gè)數(shù)據(jù)集均為當(dāng)前主流的人臉數(shù)據(jù)集。其中LFW數(shù)據(jù)集用做人臉識別的訓(xùn)練集與測試集，該數(shù)據(jù)集的人臉圖片均來源于生活中的自然場景，其中的人臉圖像包含姿態(tài)、光照、表情、年齡等因素，該數(shù)據(jù)集共包含5749個(gè)人的共13233張人臉圖像，其中有1680人，他們有2張及以上的人臉圖像，圖片的分辨率大小為250×250，通過下采樣將其降為32×32像素。PIE數(shù)據(jù)集作為圖像超分辨率模型的訓(xùn)練集與測試集，該數(shù)據(jù)集包含了2184張人臉圖像，其分辨率大小為320×240，通過padding的方式將其調(diào)整為320×320像素，再對其進(jìn)行下采樣至32×32像素。圖4展示了數(shù)據(jù)集中的數(shù)據(jù)樣本。

3.3實(shí)驗(yàn)分析與對比

超分辨率模型使用PIE數(shù)據(jù)集作為訓(xùn)練集與測試集，選取數(shù)據(jù)集中的1800張人臉圖像用作訓(xùn)練集，300張圖像用作測試集。為驗(yàn)證本模塊的有效性，將本文的方法與雙三次插值、SRCNN、VDSR、SRResNet、FSRNet等方法進(jìn)行比較，先將圖像降采樣至32×32大小，然后通過本文方法將圖像重建到128×128像素大小，并使用PSNR和SSIM作為評價(jià)指標(biāo)對實(shí)驗(yàn)結(jié)果進(jìn)行評價(jià)，圖像的重建效果如圖5和表2所示。

由圖5和表2可清晰的看出，在與本文做對比的5種方法中，雙三次插值方法作為最早被提出來的方法，其在評價(jià)指標(biāo)上與視覺效果上均不如其他方法表現(xiàn)出色，圖像整體模糊，且輪廓不清晰。SRCNN、SRResNet和FSRNet方法可以實(shí)現(xiàn)較高的PSNR值，但是，圖像的高頻面部結(jié)構(gòu)（包括眼睛、鼻子和嘴巴等五官）周圍會出現(xiàn)模糊不清的現(xiàn)象，缺少必要的紋理細(xì)節(jié)，圖像相對平滑，這也使得圖像的質(zhì)量不高。VDSR方法與SRResNet方法性能相似，這也表明了一般的基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率方法在生成圖像細(xì)節(jié)的方面效果不佳，本文方法在評價(jià)指標(biāo)上和視覺效果上對比于其他方法均有較好的提升。

使用LFW數(shù)據(jù)集作為人臉識別模塊的訓(xùn)練集與測試集，選取數(shù)據(jù)集中的10000張人臉圖像作為訓(xùn)練集，選取3000張人臉圖像作為測試集。批處理設(shè)置為128，學(xué)習(xí)率從0.01開始，迭代次數(shù)epoche設(shè)置為10000次，當(dāng)?shù)螖?shù)為4000～8000時(shí)，將學(xué)習(xí)率調(diào)整為0.001，迭代次數(shù)為8000～10000時(shí)，將學(xué)習(xí)率調(diào)整為0.0001。觀察在訓(xùn)練過程中識別率隨迭代次數(shù)的增加而變化的情況，可以發(fā)現(xiàn)識別率在迭代次數(shù)為4000次左右趨于收斂，結(jié)果如圖6所示。

為測試小尺度低分辨率人臉圖像的識別效果，將訓(xùn)練集與測試集圖像尺寸統(tǒng)一下采樣至32×32像素大小，并將本模塊方法與Taigman等提出的DeepFace算法[22]、Sun等提出的DeepID[23]算法以及沒有融合超分辨率模塊的DenseNet特征提取網(wǎng)絡(luò)做對比試驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。

由表3可以看出，本文所提出的算法對于小尺度的人臉圖像識別有較好的表現(xiàn)，在圖像識別率上相比深度殘差網(wǎng)絡(luò)能高出4.5%，對比DeepFace與DeepID算法，在識別率上能高出7%～9%，也說明了針對有效信息較少的人臉圖像，融合了人臉圖像超分辨率的識別算法能夠有效提升小尺度人臉識別的準(zhǔn)確率。

4結(jié)論

本文提出了一種超分辨率重建的微小人臉識別算法。將采集到的低分辨率人臉圖像進(jìn)行超分辨率重建，將人臉圖像超分辨率模型和改進(jìn)的深度殘差網(wǎng)絡(luò)模型級聯(lián)完成人臉識別，該識別方法綜合了兩種模型的優(yōu)點(diǎn)。一方面能夠在識別前有效的恢復(fù)小尺度低分辨率人臉圖像所丟失的高頻細(xì)節(jié)特征;另一方面通過改進(jìn)的深度殘差網(wǎng)絡(luò)，在增加網(wǎng)絡(luò)深度的同時(shí)減少了模型的計(jì)算量。實(shí)驗(yàn)結(jié)果表明，本文方法對于小尺度人臉圖像在圖像識別率上優(yōu)于其它人臉識別算法，有效提高了現(xiàn)實(shí)環(huán)境中微小人臉識別準(zhǔn)確率。

參 考 文 獻(xiàn)：

[1]FARSIU S， ROBINSON M D， ELAD M， et al. Fast and Robust Multiframe Super Resolution[J]. IEEE Transactions on Image Processing， 2004， 13（10）： 1327.

[2]NAGY A， VAMOSSY Z. Super-resolution for Traditional and Omnidirectional Image Sequences[J]. Acta Polytechnica Hungarica， 2009， 6（1）： 117.

[3]CHAN Takming， ZHANG Junping， PU Jian， et al. Neighbor Embedding Based Super-resolution Algorithm Through Edge Detection and Feature Selection[J]. Pattern Recognition Letters， 2009， 30（5）： 494.

[4]BRIFMAN A， ROMANO Y， ELAD M. Unified Single-image and Video Super-resolution Via Denoising Algorithms[J]. IEEE Transactions on Image Processing， 2019， 28（12）： 6063.

[5]WOOD S L. Super-resolution Image Reconstruction for a Steerable Array of Sub-imagers[J]. Digital Signal Processing， 2009， 19（6）： 923.

[6]YANG Yongqiang. Research on the Single Image Super-resolution Method Based on Sparse Bayesian Estimation[J]. Cluster Computing， 2019， 22（7）： 423.

[7]徐亮， 李欣. 利用ANNF統(tǒng)計(jì)預(yù)測模型的單幀超分辨率算法[J].控制工程， 2017， 24（9）： 1918.

XU Liang， LI Xin.Single-frame Super-resolution Algorithm Using ANNF Statistical Prediction Model[J]. Control Engineering， 2017， 24（9）： 1918.

[8]PELEG T， ELAD M. A Statistical Prediction Model Based on Sparse Representations for Single Image Super-resolution[J].IEEE Transactions on Image Processing， 2014， 23（6）： 2569.

[9]FREEMAN W T， JONES T R， PASZTOR E C.Example Based Super-resolution[J].IEEE Computer Graphics and Applications， 2002， 22（2）：56.

[10]CHANG H， YEUNG D Y， XIONG Y.Super-resolution Through Neighbor Embedding[C]// IEEE Computer Society Conference on Computer Vision amp; Pattern Recognition. IEEE， Washington， DC， USA， 2004.

[11]KIM J， LEE J K， LEE K M. Accurate Image Super-Resolution Using Very Deep Convolutional Networks[J]. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， Las Vegas， NV， USA， 2016.

[12]ZHOU ErJin， FAN HaoQiang， et al. Learning Face Hallucination in the Wild. [C]// Twenty-Ninth AAAI Conference on Articial Intelligence， 2015： 3871.

[13]WANG Nannan， TAO Dacheng， GAO Xinbo， et al. A Comprehensive Survey to Face Hallucination [J]. International Journal of Computer Vision， 2014， 106（1）： 9.

[14]XU XiangYu， SUN DengQing， PAN JinShan ， et al. Learning to Super-Resolve Blurry Face and Text Images[C]// 2017 IEEE International Conference on Computer Vision （ICCV）， Venice， Italy， 2017， 251.

[15]SCHROFF F， KALENICHENKO D， PHILBIN J.FaceNet： A Unified Embedding for Face Recognition and Clustering[J]. Automatic Control and Computer Sciences， 2015， 55（1）： 815.

[16]SIMONYAN K， ZISSERMAN A.Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. ArXiv Preprint ArXiv， 2014， 12（1）： 1409.

[17]HE KaiMing， ZHANG XiangYu， REN ShaoQing， et al. Deep Residual Learning for Image Recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016： 770.

[18]DONG Chao， CHEN Change Loy， HE Kaiming， et al. Learning A Deep Convolutional Network for Image Super-resolution[C]//Proceedings of The 13th European Conference on Computer Vision. Zurich， Switzerland：Springer， 2014： 184.

[19]GOODFELLOW I， POUGET J， MIRZA M， et al. Generative Adversarial Nets[C]//Advances in Neural Information Processing Systems， 2014： 2672.

[20]GOODFELLOW I. NIPS 2016 Tutorial： Generative Adversarial Networks[J]. ArXiv Preprint ArXiv， 2016， 10（2）： 667.

[21]史彩娟， 涂冬景， 劉靖祎. Re-GAN： 殘差生成式對抗網(wǎng)絡(luò)算法[J]. 中國圖象圖形學(xué)報(bào)， 2021， 26（3）： 594.

SHI CaiJuan， TU DongJing， LIU Jingyi. Re-GAN： Residual Error Generative Adversarial Network Algorithm[J]. Journal of Image and Graphics， 2021， 26（3）： 594.

[22]TAIGMAN Y， MING Y， RANZATO M， et al.DeepFace： Closing the Gap to Human-Level Performance in Face Verification[C]// IEEE Conference on Computer Vision amp; Pattern Recognition. IEEE Computer Society， 2014， 6（3）： 1701.

[23]SUN Yi， LIANG Ding， WANG XiaoGang， et al. DeepID3： Face Recognition with Very Deep Neural Networks[J]. Computer Science， 2015， 11（2）： 648.

（編輯：溫澤宇）