基于朗伯反射模型的光照估計及魯棒人臉識別

韓袁琛，程 勇

(南京工程學院 通信工程學院，江蘇 南京 211167)

基于朗伯反射模型的光照估計及魯棒人臉識別

韓袁琛，程 勇

(南京工程學院 通信工程學院，江蘇 南京 211167)

復雜光照下的人臉識別是模式識別領域一個具有挑戰性的問題。通過光照估計提取光照不變量是解決該問題的一種有效方法。在研究朗伯圖像獲取模型的基礎上，提出一種有效的光照估計模型。該模型能夠從復雜光照圖像中更準確地估計光照，提取光照不變量。Yale B+復雜光照人臉庫的實驗結果表明所提算法能夠提取更為魯棒的光照不變量，識別性能優于當前的先進方法。

光照估計模型；光照不變量；朗伯反射模型；人臉識別

在數字圖像獲取過程中，輕微的光照變化會導致同一目標的圖像信號產生較大差異，增加了圖像分析和模式識別的難度。自FERET 1996和FRVT 2000的測試結果表明光照變化嚴重影響人臉識別系統的性能后，復雜光照問題引起了國內外圖像處理與模式識別研究機構的廣泛關注，特別是最近幾年，已成為人臉識別技術的一個研究熱點。

目前，為了有效地消除復雜光照對人臉識別性能的影響，國內外學者已經提出了諸多方法。其中，從復雜光照人臉圖像中提取光照不變量是一類經典、有效的方法。過去，為了從乘性模型中分離出光照不變量和成像光源，首先假設光照不變量快速變化，成像光源緩慢變化，然后采用低通濾波實施光照估計間接提取光照不變量。該類方法可以分為直接和間接兩種模式提取光照不變量。直接模式是指從人臉圖像中提取高頻特征作為光照不變量，有效高頻特征主要包括：梯度特征[1-2]、紋理特征[3-4]和變換域高頻特征[5-8]。間接模式是指先從人臉圖像中估計出光照，再實施光照和人臉本征的分離，提取光照不變量。有效的光照估計方法主要包括：高斯濾波[9]、加權各向異性高斯濾波[10]、對數全變差[11]和變換于平滑濾波[12]。

雖然這些方法在復雜光照人臉識別中已經取得了一定的進展，但仍具有局限性。一方面，假設人臉的光照不變特征快速變化具有一定的狹隘性。因為人臉大部分區域內的光照不變特征，如眉毛、瞳孔、痣和皮膚都是緩慢變化的，只有區域之間才存在光照不變特征快速變化。另一方面，當前的低通濾波、平滑濾波和去噪模型從獲取圖像低頻信息的角度估計光照(模糊的圖像)，包含了過多的人臉本征信息，僅能滿足光照緩慢變化的特性，忽略了圖像成像模型的特性，與圖像光照沒有直接的關聯。為了彌補以往算法的不足，本文在研究朗伯反射模型的基礎上，不再假設人臉本征的頻率特性，提出了一種新的光照估計模型，能夠更加準確地從人臉圖像中估計光照，提取更加魯棒的光照不變量。

1 本文算法

1.1 朗伯反射模型

圖像是指目標物體表面反射到圖像獲取傳感器上形成的光線強度的度量。朗伯反射模型作為經典的可見光圖像成像模型，被廣泛應用于復雜光照人臉識別中。式(1)給出了朗伯反射模型，描述了目標物體的成像原理。

F(x,y)=ρ(x,y)n(x,y)Ts

(1)

其中：ρ(x,y)和n(x,y)T分別表示目標物體表面的反射率和法向量；s表示成像光源；F(x,y)表示目標物體的圖像。

物體表面的反射率和法向量與成像光源無關，是物體的內在特征(光照不變量)。因此，目標物體的成像原理可以用簡單的朗伯反射模型進行描述，即一幅人臉圖像F(x,y)可以表示為

F(x,y)=I(x,y)·R(x,y)

(2)

其中：R(x,y)表示人臉本征(光照不變量)，數值范圍屬于[0,1]；I(x,y)表示成像光源(圖像光照)。

1.2 光照估計模型

鑒于以往光照估計方法都是假定在光照緩慢變化且人臉本征快速變化的基礎上，通過平滑或去噪技術估計光照，因而包含了人臉本征的低頻信息，不能從人臉圖像中準確地估計光照。筆者從圖像的復雜光照特征和朗伯成像模型出發，提出一種新的光照估計模型。圖1給出了Yale B人臉庫中一個人在不同光照條件下獲取的4幅人臉圖像。圖1可以看出，圖像中的光照情況可以分為3個部分：無遮擋區域、遮擋區域和過渡區域(無遮擋和遮擋區域之間的區域)。這些區域的光照分別呈現如下特征：光線無遮擋區域光照比較明亮且變化緩慢；光線遮擋區域光照比較灰暗且變化緩慢；光線過渡區域光照由亮到暗且快速變化。而且由朗伯反射模型可知：人臉圖像是人臉本征和成像光照相乘的產物；人臉本征的數值范圍屬于[0,1]；人臉圖像的強度低于成像光照的強度；人臉圖像的最大值比以往任何的光照估計方法更接近于成像光照。

圖1 復雜光照人臉圖像

因此，結合復雜光照特征和朗伯成像模型，構建了一種新的人臉圖像光照估計模型，人臉圖像F對應的圖像光照I定義為

I(x,y)=Ims(x,y)×(P(x,y,Ω2)·G(x,y,Ω2)/∑Ω2PG)

(3)

(4)

(5)

Im(x,y)=maxoi,j∈Ω1(F(oi,j))

(6)

Is(x,y)=minoi,j∈Ω1(Fa(oi,j))+F(x,y)

(7)

Fa(x,y)=Im(x,y)-F(x,y)

(8)

t=mean(Fg)+k×(max(Fg)-mean(Fg))

(9)

Fg(x,y)=Fa(x,y)/Im(x,y)

(10)其中：G為標準差為ρ、卷積核尺度為Ω2的高斯核；P(x,y,Ω2)是Ims(x,y)對應的各向異性模板；Ims(i,j)是Ims(x,y)在Ω2鄰域中的像素點；oi,j是點(x,y)在Ω1鄰域中的相鄰點；max(·)，min(·)和mean(·)分別表示求取集合數據的最大值、最小值和平均值；k∈[0,1]是一個可調因子。本文參數k和ρ分別設置為0.6和1，Ω1和Ω2鄰域窗口設置為3×3。

1.3 光照不變量

從人臉圖像中估計出光照后，可以根據式(2)描述的朗伯反射模型，推導出人臉圖像的光照不變量。圖像F(x,y)的光照不變量可表示為

R(x,y)=F(x,y)/I(x,y)

(11)

圖2給出了一幅人臉圖像光照估計與光照不變量提取的示例。圖2a為原始圖像；圖2b～2f分別是原始圖像對應的Im，Is，Ims，I和R。從圖2f中可以看出，本文算法可以有效地消除原始圖像的光照差異。而且所提光照不變量R的數值范圍介于0和1之間，與人臉本征的數值范圍一致。

圖2 光照估計與光照不變量

2 實驗結果

為了驗證算法的有效性，本文將Yale B[13]和擴展Yale B[14]組合成Yale B+人臉庫進行實驗。該庫復雜照明模式對于魯棒光照人臉識別算法依然是個具有挑戰性的問題。識別階段，主成份分析用于特征提取，基于歐氏距離的最近鄰分類器用于識別分類。本文算法與當前先進算法MSR[8]，Gradientfaces[1]和Luo[4]進行了對比實驗，給出相應的識別效果。

Yale B+人臉庫包含38個人，64種光照模式，共計2 432幅圖像。所有圖像尺度被調整為100×100。根據光源與面部中心軸線夾角的不同，共將人臉庫分為5個集合。圖3給出了Yale B+人臉庫中一個人每個集合1幅人臉圖像及本文算法提取的光照不變量，可以看出本文算法能夠有效消除不同光照對人臉本征的影響。

首先，從5個集合中依次選擇一個集合為訓練集，其他4個集合作為測試集，表1～5給出了不同算法的實驗結果。可以看出本文算法性能穩定，總體識別率高于其他算法。然后，為了驗證本文算法的魯棒性和高效性，每個人任意選擇一幅圖像作為訓練集(共計38幅人臉圖像)，其他圖像作為測試集(共計2 394幅人臉圖像)，重復實驗60次，不同算法的平均識別率如表6所示，可以看出本文算法的平均識別率明顯高于著名的MSR和Gradientfaces算法，優于最新Luo的算法。

圖3 Yale B+人臉庫的光照不變量

表1 集合1作為訓練集不同算法的識別結果 %

方法集合2識別率集合3識別率集合4識別率集合5識別率全部集合識別率MSR99.7895.4994.5294.0495.71Gradientfaces100.0098.8787.2894.7495.29Luo97.5999.0694.3095.4396.54本文算法100.0099.8198.9098.0699.08

表2 集合2作為訓練集不同算法的識別結果 %

方法集合1識別率集合3識別率集合4識別率集合5識別率全部集合識別率MSR97.7494.1793.6490.3193.12Gradientfaces99.2595.3092.5493.9194.69Luo93.9991.5499.1392.9494.13本文算法100.0098.1299.5698.0298.74

表3 集合3作為訓練集不同算法的識別結果 %

方法集合1識別率集合2識別率集合4識別率集合5識別率全部集合識別率MSR99.6298.2596.2797.6597.74Gradientfaces100.00100.0098.0399.0399.16Luo98.1293.2097.8198.2096.90本文算法99.2598.9099.3499.3199.21

表4 集合4作為訓練集不同算法的識別結果 %

方法集合1識別率集合2識別率集合3識別率集合5識別率全部集合識別率MSR95.8796.7194.1799.3196.86Gradientfaces100.0099.5697.3799.7299.09Luo97.7499.1297.7498.7598.43本文算法98.50100.0099.2599.3199.34

表5 集合5作為訓練集不同算法的識別結果 %

方法集合1識別率集合2識別率集合3識別率集合4識別率全部集合識別率MSR96.6291.4592.6799.3494.74Gradientfaces96.2491.6790.2399.5694.04Luo98.1293.8699.0699.5697.66本文算法100.0099.78100.00100.0099.94

表6 隨機抽取每個人一張圖像作為訓練集不同算法的平均識別結果 %

方法集合1識別率集合2識別率集合3識別率集合4識別率集合5識別率全部集合識別率MSR84.1981.3674.3774.2180.2078.45Gradientfaces87.6580.1673.9482.1890.1982.95Luo91.7689.8590.6993.3293.6891.76本文算法94.4492.3591.4893.0195.0693.32

3 小結

本文從圖像成像原理出發，在研究朗伯成像模型的基礎上，提出了一種新的復雜光照人臉圖像光照估計、光照不變量提取方法。該算法估計的光照不僅滿足光照的緩慢變化特性，而且滿足圖像的成像原理，更接近于人臉圖像獲取時的真實光照；所提光照不變量不僅能夠有效消除復雜光照的影響，而且數值范圍介于0和1之間，符合人臉本征的取值范圍。與當前有效的算法相比，本文算法在Yale B+復雜光照人臉數據庫上能夠獲取更高的識別效果，具有更強的光照魯棒性。

[1] ZHANG T， TANG Y Y， FANG B， et al. Face recognition under varying illumination using Gradientfaces[J]. IEEE transactions on image processing， 2009， 18 (11)： 2599-2606. DOI： 10.1109/TIP.2009.2028255.

[2] NIKAN S， AHMADI M. Local gradient-based illumination invariant face recognition using local phase quantisation and multi-resolution local binary pattern fusion[J]. IET image processing， 2015， 9 (1)： 12-21. DOI： 10.1049/iet-ipr.2013.0792.

[3] TAN X， TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions[J]. IEEE transactions on image processing， 2010， 19(6)： 1635-1650. DOI： 10.1007/978-3-540-75690-3_13.

[4] LUO Y， GUAN Y. Enhanced facial texture illumination normalization for face recognition[J]. Applied optics， 2015， 54(22)： 6887-6894. DOI： 10.1364/AO.54.006887.

[5] ZHANG T， FANG B， YUAN Y， et al. Multiscale facial structure representation for face recognition under varying illumination[J]. Pattern recognition， 2009， 42(2)： 251-258. DOI： 10.1016/j.patcog.2008.03.017.

[6] CAO X， SHEN W， YU L G， et al. Illumination invariant extraction for face recognition using neighboring wavelet coefficients[J]. Pattern recognition， 2012， 45(4)： 1299-1305. DOI： 10.1016/j.patcog.2011.09.010.

[7] 高濤. 基于小波域多尺度Retinex的復雜光照的人臉識別[J]. 電視技術， 2012， 36(5)： 122-125．DOI： 10.3969/j.issn.1002-8692.2012.05.035.

[8] HU H. Illumination invariant face recognition based on dual-tree complex wavelet transform[J]. IET computer vision， 2015， 9(2)： 163-173. DOI： 10.1049/iet-cvi.2013.0342.

[9] JOBSON D J， RAHMAN Z， WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE transactions on image processing， 1997， 6(7)： 965-976. DOI： 10.1109/83.597272.

[10] WANG H， LI S Z， WANG Y. Face recognition under varying lighting conditions using self quotient image[C]//Proc. IEEE International Conference on Automatic Face and Gesture Recognition. Seoul， Korea：IEEE Computer Society， 2004：819-824. DOI： 10.1109/AFGR.2004.1301635.

[11] CHEN T， YIN W， ZHOU X S， et al. Total variation models for variable illumination face recognition[J]. IEEE transactionsn pattern analysis and machine intelligence， 2006， 28(9)： 1519-1524. DOI： 10.1109/TPAMI.2006.195.

[12] 程勇， 趙春霞， 王歡， 等. 基于NSCT和SQI的光照不變量及人臉識別[J]. 南京理工大學學報(自然科學版)， 2010， 34(4) ： 425-430. DOI： 10.3969/j.issn.1005- 9830. 2010.04.004. [13] GEORGHIADES A S， BELHUMEUR P N， KRIEGMAN D J. From few to many： illumination cone models for face recognition under variable lighting and pose[J]. IEEE transactions on pattern analysis and machine intelligence， 2001， 23(6)： 643-660. DOI： 10.1109/34.927464.

[14] LEE K C， HO J， KRIEGMAN D. Acquiring linear subspaces for face recognition under variable lighting[J]. IEEE transactions on pattern analysis and machine intelligence，2005，27(5)：684-698.DOI： 10.1109/TPAMI.2005.92.

韓袁琛(1994— )，女，本科生，主研圖像處理；

程 勇(1975— )，博士，本文通信作者，主研圖像處理、模式識別、智能檢測等。

責任編輯：閆雯雯

Illumination estimation and robust face recognition based on Lambertian reflectance model

HAN Yuanchen， CHENG Yong

(SchoolofCommunicationEngineering，NanjingInstituteofTechnology，Nanjing211167，China)

Face recognition under complex illumination is a challenging task in the field of pattern recognition. Extracting illumination invariants through illumination estimation is an effective way of solving this issue. Based on the research of Lambertian reflectance model， an effective illumination estimation model is proposed in this paper. This model can estimate the illumination and extract illumination invariants more accurately from the complex illumination images. Experimental results on the Yale B+database show that the proposed method extracts more robust illumination invariants and achieves higher recognition performance， compared with the-state-of-the-art methods.

illumination estimation model； illumination invariants； Lambertian reflectance model； face recognition

韓袁琛，程勇. 基于朗伯反射模型的光照估計及魯棒人臉識別[J].電視技術，2017，41(1)：79-83. HAN Y C，CHENG Y. Illumination estimation and robust face recognition based on Lambertian reflectance model[J]. Video engineering，2017，41(1)：79-83.

TN911.73

A

10.16280/j.videoe.2017.01.016

國家自然科學基金青年基金項目(61305011)；江蘇省自然科學基金面上項目(BK20131342)

2016-04-24