基于特征部位圓形域的人臉圖像修復方法

王 肖，魏嘉旺，袁玉波，2

（1. 華東理工大學信息科學與工程學院，上海200237； 2. 上海大數據與互聯網受眾工程技術中心，上海200072）

（*通信作者電子郵箱1450061144@qq.com）

0 引言

數字人臉圖像識別是目前學術界研究的焦點，具有廣闊的應用前景。然而，由于人為因素干擾、拍攝設備故障，在傳輸的過程中的編碼、解碼等因素，致使原始數字圖像有明顯缺損［1］，帶來人臉圖像特征信息損失問題，嚴重影響人臉識別的精確性。數字圖像修復技術針對圖像中缺損區域，從目標區域邊緣開始，利用非目標區域的結構和紋理信息，按照匹配準則預測并修補未知區域，使得填充后圖像視覺上合理真實［2］。

根據修復原理的不同，數字圖像修復算法可以分為兩類:基于偏微分方程（Partial Differential Equation，PDE）的結構傳播方法［3］和基于樣本塊的紋理合成方法［4］。基于PDE 的結構傳播方法結合平滑先驗知識，從目標區域的外部向內部傳遞結構信息完成圖像修復［5］。該類有兩種經典方法:基于總體變分（Total Variation，TV）［6］的方法和基于曲率驅動擴散（Curvature Driven Diffusion，CDD）［7］的方法。基于PDE 的方法針對小面積非結構的缺損區域（如劃痕），修復效果良好，但并不適用于大塊缺失且包含復雜結構信息的圖像［8］。

基于樣本塊的紋理合成圖像修復方法的原理由非目標區域的信息構造修復優先權，對最高優先權塊搜尋最佳匹配塊填充目標區域完成圖像修復［9］。該類方法最初由Criminisi等［10］于2003 年提出，以去除圖像中的大物體為目標，采用非目標區域的紋理信息合成圖像中未被遮擋的原始背景。文獻［11］在基于樣本塊的修復基礎之上，提出樣本塊結構稀疏性概念，通過塊與相鄰塊的稀疏性的相似性來度量圖像結構塊的置信度構造優先級，結果顯示該方法使修復區域紋理清晰且與周圍結構保持一致。文獻［12］在修改Criminisi算法基礎上，將圖像梯度卷積后的散度作為數據項構造結構張量，進一步提高了修復圖像的質量。針對以上方法存在的填充塊選擇不恰當的問題，2015 年文獻［13］提出了一種分離優先級的圖像修復方法，根據圖像中紋理信息與非紋理信息的比例設計分離優先級定義的算法，實驗結果顯示該方法可以較好地恢復圖像的紋理結構信息。文獻［14］針對修復結果存在鋸齒效應問題，在優先級修復模型中加入局部特征信息，約束目標塊的修復順序；通過加入梯度信息減小搜索域，提高修復的時間效率。

對于人臉數字圖像，文獻［15］通過引入人臉先驗知識，在人臉數據庫中選擇同一人臉圖像做源區域搜尋匹配塊填充目標區域完成圖像修復。文獻［16］針對人臉圖像大塊缺失問題，利用在線稀疏字典學習算法，從人臉圖像的各種數據集的語料庫中設計大量的適應性原子來完成圖像修復，該方法在全局模型上，將修復任務表示為一個具有稀疏推廣先驗的逆問題。但文獻［15］和文獻［16］的方法均需要人臉數據庫的支持，對單一人臉圖像并不適用。文獻［17］提出了一種新的動態閾值策略，使用快速迭代收縮閾值算法來實現了人臉圖像修復。文獻［18］針對經典圖像修復方法對強紋理結構圖像修復效果好，而對于弱紋理的人臉圖像修復存在分解精度低，修復結果差的問題，提出分解人臉圖像為骨架部分與紋理部分獲取稀疏系數修復人臉圖像，結果表明該方法可以有效提高圖像分解精度恢復人臉圖像。

本文方法將人臉特征點定位思想應用于基于樣本塊的人臉圖像修復框架中，提出了基于特征部位圓形域的人臉圖像修復方法。通過引入結構梯度項，改善了原始優先級修復模型中未能保持良好的結構連通性的問題，精確計算優先級，使修復效果更接近真實人臉圖像；通過人臉特征點定位的自適應窗回歸模型［19］對人臉特征部位圓形域分割，提高匹配塊搜尋效率，有效減少算法的時間消耗。

1 基于樣本塊的紋理合成算法原理

基于樣本塊的紋理合成方法的過程是按照一定順序搜尋目標塊的匹配塊修復圖像，用優先級函數確定修復順序，用相似匹配規則確定匹配塊的選擇。對于輸入圖像I，圖像中的待修復的目標區域為Ω，搜索匹配塊的源區域為=I-Ω，即已知區域，目標區域的邊界表示為?Ω，如圖1 所示。其中ψp是邊界線?Ω中以點p為中心的像素塊。

基于樣本塊的紋理合成算法的基本步驟如下:

1）計算目標區域Ω中所有像素點的初始優先級：

C（p）為置信度項，計算如式（2）所示:

其中|ψp|是像素塊ψp的面積，即像素點數目。初始化時，置信度C（p）在目標區域Ω均為0，在源區域Ωˉ均為1。D（p）為數據項，計算如式（3）所示:

圖1 算法原理示意圖Fig. 1 Schematic diagram of algorithm

2）選取最高優先級待填充塊ψp。以最大優先級像素點p為中心，選取一定大小的像素塊為作為待填充的目標塊。

3）搜尋最佳匹配塊。對目標塊ψp，在源區域Ωˉ搜素匹配塊，相似性度量規則是:

其中:d（）表示目標塊與搜索塊像素之間的差異平方和，n是ψp中像素點的數目。

將匹配塊的像素值填充到目標塊ψp，目標區域Ω發生變化，置信度項與數據項也隨之變化，需對其進行更新。重新計算優先級P(p)并重復上述三個步驟直至目標區域Ω為空，完成圖像修復。

2 基于特征部位圓形域的人臉圖像修復方法

對人臉圖像，本文方法在基于人臉特征點定位的自適應窗回歸技術［19］上，改進基于樣本塊的紋理合成方法，提出基于特征部位圓形域的人臉圖像修復方法。本文方法的流程如圖2所示。

算法的關鍵內容包括:

1）人臉特征點定位。通過引入人臉特征點定位技術，定位待修復人臉圖像的特征點，明確待修復區域在人臉的位置。

2）特征部位圓形域確定。具體實現是根據特征點定位結果，對不同特征部位的特征點分類，計算出特征部極大半徑以及圓形域，更精確地定位待修復區域所處的特征部位。

3）重新定義優先級。通過加入結構梯度項，使用梯度信息約束目標區域優先級，優先修復結構區域，提高修復結果的結構連通性。

4）特征部位圓形域搜尋匹配塊。對待修復塊，判斷其所處的特征部位，在其所處的特征部位中搜尋匹配塊。對符合結構相似性準則的搜尋結果，直接復制匹配塊到目標塊完成修復；否則在圖像全局搜索匹配塊，取結構相似性大的塊填充目標區域。

圖2 基于特征部位圓形域的人臉圖像修復方法流程Fig. 2 Flow chart of face image inpainting based on circular field of feature parts

2.1 人臉特征點定位

對待修復的人臉圖像，在基于顯式形狀回歸（Explicit Shape Regression，ESR）［20］的人臉特征點定位的基礎上，使用自適應窗回歸方法模型［19］，初步定位人臉特征點。該模型核心包括:人臉形狀初始化，自適應調整窗口穩定預測結果和基于互信息相關計算的特征選擇，該模型的流程如圖3所示。

圖3 人臉特征點定位模型流程Fig. 3 Flow chart of face feature point location model

針對ESR算法的多級級聯回歸中預測形狀與真實形狀偏差較大的問題，自適應窗回歸模型使用由粗到細的自適應特征選擇方法。該模型在基于先前回歸的均方誤差上，以αk=αk-1-λμ的方式調整特征窗口長度。具體方式是通過級聯回歸誤差，調整縮減參數λ進而約束特征窗口長度α。基于特征窗口更新方式，對于大誤差結果采用大窗口，小誤差使用小窗口的方式動態調整搜索窗口，使預測結果不斷向真實值逼近。

在特征選擇迭代N次后得到N個候選特征點，將特征點成對做差得N*N個像素差。為了規避ESR 算法通過線性相關系數選擇特征點的弊端，自適應窗回歸方法模型使用基于互信息的特征選擇策略。首先計算像素差μ的信息熵H(μ)，以及特征點的定位殘差值Y 的條件信息熵H(Y|μ)，然后根據定位殘差與像素差之間的互信息I(Y|μ)，最后使用熵相關系數ECC(Y|μ)選擇出R個最具代表性的像素差。根據R各像素差構造葉節點數為2R的隨機蕨構造回歸模型。

2.2 特征部位極大半徑圓形域

基于人臉特征點定位的自適應窗回歸模型，得到初步定位的人臉特征點。人臉特征點集合記為:

分類為特征點集合S1、S2、S3、S4、S5。S1是左眉眼特征點1～11的集合；S2是右眉眼特征點12～22的集合；S3是鼻子特征點23～31 的集合；S4是嘴巴特征點32～51 的集合；S5是臉部輪廓特征點52～68的集合。

特征點集合S1、S2、S3、S4中的特征點分布在特征部位周圍，根據特征點的位置信息確定特征部位的范圍。對集合Si分別計算其中心點Ri(Xi，Yi)，Xi、Yi可以通過（7）得到:

其中（xij，yij）∈Si，Ni表示集合Si中特征點的個數。以中心點Ri（Xi，Yi）為圓心，計算特征集合Si中特征點到圓心的歐氏距離，選擇最遠距離為極大半徑ri，即:

其中i= 1，2，3，4。特征部位極大半徑圓形域的就是以Ri為圓心、ri為極大半徑得到人臉圖像的特征部位區域Ei。實驗結果如圖4所示。

圖4 人臉特征部位圓形域Fig. 4 Circular fields of facial feature parts

2.3 優先級的計算

基于樣本塊的紋理合成圖像修復方法中，優先級由置信度項和數據項計算得到。置信度是目標塊周圍像素信息可靠程度的度量，如圖5（a）所示的圓圈部分會有更高優先級，會隨著圖像修復進程逐漸減小。數據項使得修復過程優先沿著線性結構的方向進行，如圖5（b）所示的圓圈部分為結構方向，傳播過程進行到目標區域內部，使修復后的圖像視覺上有更好的連通性。

置信度項C（p）表示待修復塊中已知像素信息的可靠程度，在圖像修復過程中會迅速衰減為0 而失去約束效力。對C（p）做指數ex變換，改變衰減趨勢使其在修復過程中有效約束優先級。人臉圖像作為弱紋理圖像，數據項D（p）在圖像修復結果的結構連通性上表現并不突出，為了使圖像結構信息得到更高的關注，本文引入結構梯度項α（p）。重新定義修復

圖6 不同算法的人臉修復結果對比Figure 6 Inpainting results comparison of face images by different algorithms

圖7 不同算法修復結果的局部放大對比Figure 7 Local magnification comparison of inpainting results by different methods

3.2 定量分析

實驗的定量分析借助峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）與結構相似性（Structural Similarity Index，SSIM）作為評估指標。PSNR的計算方式如下:

其中均方誤差（Mean Square Error，MSE）是對比圖像的均方誤差，2n- 1= 255。PSNR值越大證明兩張圖像越相似。SSIM的計算如式（15）:

其中:μ是均值，σ是方差，σxy是x和y的協方差。c1、c2是用來維持穩定的常數。SSIM的取值范圍是0～1，越接近1 表示兩張圖像的結構越相似。

采用PSNR 和SSIM 對圖6 中的5 張人臉圖像修復效果進行對比，如表1所示。

表1 不同算法修復結果的PSNR對比 單位：dB Tab. 1 Comparison of PSNR of inpainting results of different methods unit:dB

相比對比實驗，本文方法修復結果的PSNR 值均有最優結果，提高了0.13～4.39 dB。SSIM值結果如圖8所示，本文算法對結構相似性也有提高，最高值達到0.977。在科學角度論證了上本文方法相較對比方法有更好的修復效果。即使是修復效果不好的實驗結果（圖6 人臉1），本文方法在PSNR、SSIM以及視覺效果上均比對比表現優異。

圖8 不同算法結果的SSIM對比Fig. 8 Comparison of SSIM of inpainting results of different methods

為了驗證本文算法的有效性，對100 張人臉圖像進行修復實驗及對比實驗。實驗結果的PSNR 對比如圖9 所示。其中柱狀圖是文獻［10，12-14］的方法的結果，折線圖是本文算法的結果。對100張人臉圖像，本文算法修復效果只有3%的情況下略遜于對比實驗。對于所有人臉圖像的修復結果，文獻［10，12-13］方法的PSNR 均值差異不大，分別為34.132 dB、34.354 dB、34.576 dB；文獻［14］相對有較好的修復效果，PSNR 均值為35.576 dB；而本文算法的PSNR 均值為36.795 dB，比對比方法高出1.219～2.663 dB，再一次論證本文算法在修復人臉圖像上的優越性。

圖9 不同算法修復人臉圖像的PSNR對比Figure 9 PSNR comparison of different algorithms for inpainting face images

3.3 時間評估

相對于對比實驗采用全局搜索的方案，本文方法在搜索匹配塊時是在特征部位極大圓形域內搜索，所以在時間效率上有絕對的優勢。為了驗證本文方法的時間效率優越性，對圖5的各個實驗的耗時記錄如表2所示。由表可知，修復方法的時間消耗與圖像大小以及破損像素數緊密相關。文獻［12］的時間消耗最多，這是由于該方法將圖像梯度卷積后的散度作為數據項構造結構張量，在每次更新目標域后的數據項計算極度消耗時間。文獻［14］的方法由于加入梯度信息減小搜索域，實驗耗時會比文獻［10，12-13］的方法少。本文方法采用局部搜索匹配塊的方式不僅可以準確修復目標域，且速度更快。

表2 不同方法消耗時間對比Tab. 2 Comparison of time consumption of different methods

對100張人臉圖像的修復耗時箱型圖如圖10所示。本文算法在修復耗時上的優越性非常明顯。對于所有人臉圖像的實驗耗時，文獻［10］的平均結果為36.918 s，文獻［12］為59.308 s，文獻［13］為52.688 s，文獻［14］為27.568 s；本文方法為18.003 s，時間消耗減少了34.7%～69.6%。以文獻［10］方法時間消耗作為基準，可以看出文獻［12-13］方法均是以時間消耗作為代價提高圖像修復精度的；文獻［14］方法在時間消耗上有所減少，但對于人臉圖像的修復效果并沒有非常突出；而本文算法在提升精度的同時有效減少時間消耗，具有最佳性能。

圖10 不同方法的耗時箱型圖對比Fig. 10 Box diagram of time consumption of different methods

4 結語

由于優先級計算的不精確性，對弱結構特征的人臉圖像，基于樣本塊的紋理合成方法在修復時通常會出現結構不連通和填充不合理的情況。鑒于此，本文在文獻［10］方法的基礎上，提出了一種基于特征部位圓形域的人臉圖像修復方法，通過引入人臉特征點定位的自適應窗回歸模型定位特征點，確定人臉特征部位極大半徑圓形域，精確分割人臉圖像。對優先級函數進行改進，引入結構梯度項，使修復順序更為合理。此外，在搜索匹配塊的過程中，根據目標塊與各特征部位圓形域的相對位置，選擇更為精準的搜索域完成匹配塊搜索，減少時間消耗。實驗結果表明，本文方法在修復人臉圖像上，不僅可以保持結構連通性，相比文獻［10，12-14］方法，視覺上更加合理，更接近真實人臉特征，且限定搜索域有效地縮短修復時間。