融合原始樣本和虛擬樣本的人臉識別算法

項曉麗，武　圣，龍　偉，武和雷

(1.南昌大學 信息工程學院，江西 南昌　330031；2.山東大學 軟件學院， 山東 濟南　250100)

?

融合原始樣本和虛擬樣本的人臉識別算法

項曉麗1，武圣2，龍偉1，武和雷1

(1.南昌大學 信息工程學院，江西 南昌330031；2.山東大學 軟件學院， 山東 濟南250100)

由于有限的存儲容量和捕獲圖片的時間，實際的人臉識別系統往往只能獲得少量的訓練樣本，但是，在小訓練樣本情況下大多數人臉識別算法都會遇到困難。因此，為了提高人臉識別的分類正確率，提出了一種融合原始樣本和虛擬樣本的人臉識別方法。該方法先利用人臉的對稱性來構造虛擬訓練樣本；然后，利用協同表示方法分別對原始訓練樣本和虛擬訓練樣本進行分析，并且分別得到每一類訓練樣本的重建誤差；最后，將原始訓練樣本和虛擬訓練樣本的同一類重建誤差進行加權融合并得到最終的分類結果。大量的實驗結果比較分析表明，該方法可以獲得更好的識別效果。

人臉識別；小訓練樣本；協同表示方法；虛擬樣本；加權融合；重建誤差

人臉識別是模式識別和圖像處理中的一項關鍵技術[1]，廣泛應用于刑偵破案、視頻監控、證件核對、姿態識別等方面[2]。在過去的幾十年里，研究者們已經提出了許多人臉識別算法[3]。其中，比較經典的是主成分分析(Principal Component Analysis，PCA)[4]方法和線性鑒別分析(Linear Discriminant Analysis，LDA)[5]方法。這兩種方法都是通過投影變換獲得原始圖像的低維特征，從而達到降維的目的。在獲取人臉特征以后，結合分類器即可完成識別分類。目前，應用較廣泛的是最近鄰分類器(NNC)[6]。最近鄰分類器根據離測試樣本最近的一個訓練樣本來進行樣本的識別分類，但NNC的分類結果易受噪聲或異常樣本影響。

2009年，Wright等人將稀疏表示引入人臉識別問題中[7]，提出了稀疏表示分類器(Sparse Representation based Classification，SRC)，該方法的基本思想是首先將測試樣本表示為所有訓練樣本的一個稀疏的線性組合，這里“稀疏”的意思指：在將測試樣本表示為所有訓練樣本的一個線性組合時，一些訓練樣本所對應的系數的值為零或接近于零；然后SRC利用范數最小化技巧來獲得最稀疏的解；最后，根據每一類訓練樣本對測試樣本的重建誤差做出分類決策。實驗證明SRC可以獲得令人滿意的結果，且SRC對光照、噪聲、遮擋具有較強的魯棒性。隨后，人們對基于稀疏的人臉識別方法進行了大量研究。盡管SRC可以在人臉識別中取得非常好的分類結果，但人們依然不清楚它的潛在理論基礎，因此，相關研究提出基于SRC的人臉識別中協同性比稀疏性更重要，例如，Shi等人提出基于范數的算法可以媲美于基于范數的算法[8]；Zhang等人提出了一種協同表示分類器(Collaborative representation based classification，CRC)[9]，CRC采用了正則化范數最小化技巧，實驗證明CRC與SRC可以獲得相當的分類結果，但CRC具有更高的運算效率。

目前，大多數人臉識別算法非常依賴于訓練樣本，這些算法進行分類識別的前提之一就是假設有足夠多的訓練樣本。如果沒有足夠多的訓練樣本，那么這些算法的性能會受到嚴重影響，甚至無法進行識別。然而，在實際的人臉識別系統中，由于有限的存儲容量和捕獲圖片的時間，往往只能獲得少量的訓練樣本，即實際中的人臉識別更有可能是一個小樣本問題[10]。為了獲得更好的人臉識別結果，研究人員提出了合成虛擬樣本來擴充訓練樣本集，如Thian等人利用簡單的幾何變換來構造虛擬樣本[11]；Tang等人通過在原始訓練樣本上增加噪聲來構造虛擬樣本[12]；Xu等人利用人臉的對稱性來構造虛擬樣本[13]，這也是第一次在人臉識別中提出對稱臉的概念。

為了有效地解決小樣本情況下的人臉識別分類問題，本文提出一種融合原始樣本和虛擬樣本的人臉識別方法(Fusion of Original Sample and Virtual Sample Method，FOSVSM)。該方法先利用人臉的對稱性來構造虛擬樣本；然后利用協同表示方法分別對原始訓練樣本和虛擬訓練樣本進行分析，并且分別得到每一類訓練樣本的重建誤差；最后，將原始訓練樣本和虛擬訓練樣本的同一類重建誤差進行加權融合并得到最終的分類結果。人臉具有對稱結構，不僅面部結構是對稱的，而且面部表情也是對稱的，因此，根據人臉的對稱性所構造的虛擬樣本能夠反映某些情況下的可能的人臉變化，這也就是說，本文所提的方法能夠有效地解決小樣本問題。

1　融合原始樣本和虛擬樣本的方法(FOSVSM)

假設存在L個不同的模式類別，且每一類包含n個訓練樣本，x1,x2,…,xN代表所有的N個訓練樣本(N=n×L)，若某個訓練樣本來自第i類，則它的類標簽是i。FOSVSM主要包含三個階段。FOSVSM的第一階段是構造原始訓練樣本的左、右對稱臉并產生虛擬訓練樣本集；FOSVSM的第二階段是利用協同表示方法分別對原始訓練樣本和虛擬訓練樣本進行分析，并且分別得到每一類訓練樣本的重建誤差；FOSVSM的第三階段是將原始訓練樣本和虛擬訓練樣本的同一類重建誤差進行加權融合并得到最終的分類結果。

1.1構造虛擬訓練樣本

(1)

(2)

1.2協同表示分類器(CRC)

FOSVSM的第二階段是利用協同表示方法分別對原始訓練樣本和虛擬訓練樣本進行分析，并且分別得到每一類訓練樣本的重建誤差。FOSVSM需要利用協同表示方法分別對原始訓練樣本集和虛擬訓練樣本集進行分析，但為了方便介紹，這里只描述CRC在原始訓練樣本集上的分析過程。

根據1.1節內容，訓練樣本集為X，現在給定某個測試樣本y，CRC首先假設存在下面的等式

y=Xα

(3)

然后，CRC利用正則化最小二乘方法對式(3)進行求解，可以得到式(3)的解為α=(XTX+λI)-1XTy。其中，λ是一個很小的正數；I是一個單位矩陣。

在獲得系數解α之后，即可求得第i類訓練樣本對測試樣本y的重建誤差

(4)

其中，Xi=[x(i-1)×n+1,…,xi×n]表示第i類原始訓練樣本；αi表示第i類原始訓練樣本對應的解向量。

同樣地，可以按上述過程對虛擬訓練樣本集進行分析，則將虛擬訓練樣本集的第i類訓練樣本對測試樣本的重建誤差表示如

(5)

1.3加權融合

FOSVSM的第三階段是將原始訓練樣本和虛擬訓練樣本的同一類重建誤差進行加權融合并得到最終的分類結果。根據第1.2節的內容可知，原始訓練樣本和虛擬訓練樣本的第i類訓練樣本的重建誤差分別為ri和vi，將它們進行加權融合并作為第i類訓練樣本對測試樣本的最終的重建誤差，表示為freci，則有

freci=w1ri+w2vi,i=1,2,…,L

(6)

其中，w1和w2表示進行加權融合時的權值，且有w1+w2=1。

最后，根據每一類訓練樣本對測試樣本的最終的重建誤差，將測試樣本分類給具有最小重建誤差的那類，即若frecl=minfreci，則測試樣本被分類識別為第l類。

總的來說，FOSVSM方法的主要算法步驟可表示如下：

1)由式(1)和(2)構造原始訓練樣本的左、右對稱臉并組成一個虛擬的訓練樣本集；

2)根據式(4)和(5)分別計算原始訓練樣本集和虛擬訓練樣本集對測試樣本的第i類重建誤差；

3)將原始訓練樣本和虛擬訓練樣本的同一類重建誤差進行加權融合，即根據式(6)計算第i類訓練樣本對測試樣本的最終的重建誤差；

4)根據每一類訓練樣本對測試樣本的最終的重建誤差，將測試樣本分類給具有最小重建誤差的那類，即若frecl=minfreci，則測試樣本被分類識別為第l類。

2　實驗結果及分析

為了測試本文算法的性能，利用ORL和AR人臉數據庫進行人臉識別實驗。ORL數據庫總共有400幅人臉圖像，分別來自40個人，即每一個人包含10幅圖像。這些人臉圖像分別是在不同的時期、不同表情(如笑與不笑)和不同細節(如戴眼鏡和不戴眼鏡)等條件下獲取的，圖1表示來自于ORL數據庫的一些人臉圖像及其對應的左、右對稱臉。AR數據庫包含126個人共4 000多幅彩色圖像，其中有70名男性和56名女性。這些人臉圖像是分兩個批次采集完成的，包含不同的表情、不同的光照和遮擋物。本文選取AR數據庫的一部分圖像進行實驗，包括120個人，每人26幅圖像，共3 120幅圖像，且所有的圖像在實驗前均被轉化成灰度圖像，圖2表示來自于AR數據庫的一些人臉圖像及其對應的左、右對稱臉。

圖1　來自ORL數據庫的一些人臉圖像及其對應的左、右對稱臉

圖2　來自AR數據庫的一些人臉圖像及其對應的左、右對稱臉

2.1ORL數據庫實驗

對于ORL數據庫，本文分別選取每人的前1，2，3幅圖像作為訓練樣本，剩余的圖像作為測試樣本，因此，訓練樣本總數分別為40，80，120，相應的測試樣本總數分別為360，320，280。在實驗前利用下采樣方法[14]將所有的圖像裁剪為56×46大小。為了驗證FOSVSM算法的有效性，本文將FOSVSM算法的實驗結果分別與CRC_OR，CRC_VI，SRC等方法的實驗結果進行對比，其中，CRC_OR表示協同表示方法在原始訓練樣本集上進行實驗分析；CRC_VI表示協同表示方法在虛擬訓練樣本集上進行實驗分析。對比結果如表1所示。

表1在ORL數據庫上的算法的識別率

%

算法每一類的訓練樣本數123FOSVSM(w2=0.8)69.1783.1287.50FOSVSM(w2=0.7)69.4484.0686.79CRC_OR68.0683.4486.07CRC_VI65.8376.2580.00SRC69.5677.8183.93

從表1可以看出，FOSVSM算法總能獲得更高的識別率。例如，當每一類的訓練樣本數為2時，FOSVSM(w1=0.7)的識別率比CRC_OR，CRC_VI和SRC分別高了0.62%，7.81%和6.25%。比較CRC_OR和SRC的結果可知，CRC_OR能夠獲得與SRC相當的識別率，甚至更高的識別率，但CRC算法的運算效率更高，這證明FOSVSM算法中利用CRC方法進行實驗分析能在一定程度上提高運算效率。從表1可以得知：當每一類的訓練樣本數由1到3變化時，FOSVSM算法的識別率總是高于CRC_OR的識別率，這說明增加訓練樣本數確實能夠提高分類識別率；同樣地，在不同的權值條件下，FOSVSM算法的識別率總是高于CRC_OR和CRC_VI的識別率，這說明FOSVSM算法將原始訓練樣本和虛擬訓練樣本的同一類重建誤差進行加權融合確實能夠提高識別率。

2.2AR數據庫實驗

對于AR數據庫，本文分別選取每人的前13，14，15幅圖像作為訓練樣本，剩余的圖像作為測試樣本，因此，訓練樣本總數分別為1 560，1 680，1 800，相應的測試樣本總數分別為1 560，1 440，1 320。同樣地，在實驗前利用下采樣方法[14]將所有的圖像裁剪為50×40大小。實驗結果如表2所示。

從表2可以看出，FOSVSM算法往往能獲得更高的識別率。例如，當每一類的訓練樣本數為13時，FOSVSM(w1=0.7)的識別率比CRC_OR、CRC_VI和SRC

表2在AR數據庫上的算法的識別率 %

算法每一類的訓練樣本數131415FOSVSM(w2=0.8)71.9985.2188.41FOSVSM(w2=0.7)71.6785.0788.11CRC_OR71.0385.1488.18CRC_VI64.1772.8577.42SRC67.6383.2683.18

分別高了0.64%，7.50%和4.40%。從表2可知，CRC_OR的識別率總是高于SRC的識別率，這再次證明了FOSVSM算法中利用CRC方法進行實驗分析能在一定程度上提高運算效率。同樣地，表2中的結果也再次證明了增加訓練樣本數且對原始訓練樣本和虛擬訓練樣本的同一類重建誤差進行加權融合確實能提高人臉識別率。

3　結束語

本文提出了一種融合原始樣本和虛擬樣本的人臉識別方法，該方法包含三個階段。第一階段通過構造原始訓練樣本的左、右對稱臉來產生虛擬訓練樣本集；從圖1和圖2可以看出，對稱臉確實反映了某些情況下的可能的人臉變化，從表1和表2的結果可知，增加訓練樣本數確實能提高算法的識別率。第二階段利用協同表示方法分別對原始訓練樣本和虛擬訓練樣本進行分析，并且分別得到每一類訓練樣本的重建誤差；從表1和表2的結果可知，CRC_OR總能獲得與SRC相當的識別率，甚至更高的識別率，但CRC算法具有更高的運算效率，這就證明FOSVSM算法能在一定程度上提高運算效率。第三階段是將原始訓練樣本和虛擬訓練樣本的同一類重建誤差進行加權融合并得到最終的分類結果；從表1和表2的結果可知，FOSVSM算法將原始訓練樣本和虛擬訓練樣本的同一類重建誤差進行加權融合確實能夠提高識別率。上述實驗結果表明，FOSVSM算法能有效地解決小樣本問題，且能獲得較好的識別結果。

[1]ZHUNB，LIST.Akernel-basedsparserepresentationmethodforfacerecognition[J].Neuralcomput&applic，2014(24)：845-852.

[2]朱明旱，李數濤，葉華. 稀疏表示分類中遮擋字典構造方法的改進[J].計算機輔助設計與圖形學學報，2014，26(11)：2064-2069

[3]周激流，張曄. 人臉識別理論研究進展[J].計算機輔助設計與圖形學學報，1998，11(2)：180-184.

[4]TURKM，PENTLENDA.Eigenfacesforrecognition[J].Cognitiveneuroscience，1991，3(1)：7l-86.

[5]BELHUMEURPN，HESPANHAJP，KRIEGMANDJ.Eigenfacesvs.fisherfaces：recognitionusingclassspecificlinearprojection[J].IEEEtransactionsonpatternanalysis&machineintelligence，1997， 19(7)：711-720.

[6]COVERT，HARTP.Nearestneighborpatterclassification[J].IEEEtransactionsoninformationtheory，1967，13(1)：21-27.

[7]WRIGHTJ，YANGAY，GANESHA，etal.Robustfacerecognitionviasparserepresentation[J].IEEEtransactionsonpatternanalysis&machineintelligence，2008， 31(2)：210-227.

[8]SHIQ，ERIKSSONA，HENGELAVD，etal.IsfacerecognitionreallyaCompressiveSensingproblem?[C]//IEEEConferenceonComputerVision&PatternRecognition. [S.l.]：IEEE，2011：553-560.

[9]ZHANGL，YANGM，FENGX.Sparserepresentationorcollaborativerepresentation：Whichhelpsfacerecognition[C]//Proc.IEEEInt.Conf.Comput.Vision. [S.l.]：IEEE，2011：471-478.

[10]QIAOL，CHENS，TANX.Sparsitypreservingdiscriminantanalysisforsingletrainingimagefacerecognition[J].Patternrecognit.lett.，2010，31 (5) ：422-429.

[11]THIANNPH，MARCELS，BENGIOS.Improvingfaceauthenticationusingvirtualsamples[C]//Proc.IEEEInternationalConferenceonAcoustics，Speech，andSignalProcessing. [S.l.]：IEEE，2003：6-10.

[12]TANGDY，ZHUNB，FUY，etal.Anovelsparserepresentationmethodbasedonvirtualsamplesforfacerecognition[J].Neuralcomputing&applications， 2014， 24(3)：513-519.

[13]XUY，ZHUX，LIZ，etal.Usingtheoriginaland‘symmetricalface’trainingsamplestoperformrepresentationbasedtwo-stepfacerecognition[J].Patternrecognition，2013，46 (4) ：1151-1158.

[14]XUY，JINZ.Down-samplingfaceimagesandlow-resolutionfacerecognition[C]//Proc.InternationalConferenceonInnovativeComputingInformationandControl. [S.l.]：IEEE，2008：392-392.

項曉麗(1988— )，女，碩士生，主研模式識別、圖像處理；

武圣(1996— )，本科生，主研模式識別與智能系統、信息安全技術；

龍偉(1952— )，教授，主要研究方向為模式識別與智能系統；

武和雷(1965— )，教授，主要研究方向為模式識別與圖像處理、智能機器人。

責任編輯：閆雯雯

Face recognition based on the fusion of original sample and virtual sample

XIANG Xiaoli1，WU Sheng2，LONG Wei1，WU Helei1

(1.SchoolofInformationEngineering，NanchangUniversity，Nanchang330031，China；2.SoftwareCollege，ShandongUniversity，Jinan250100，China)

A real face recognition system often can obtain only a small number of training samples because of the limited storage space and the limited time of capturing images. However， most face recognition algorithms will encounter difficulties in the case of small training samples. Therefore，a new face recognition method based on the fusion of original sample and virtual sample is proposed to improve the classification accuracy of face recognition. First， the proposed method exploit the symmetry of the face to generate virtual samples. Then， it use the collaborative representation method to perform the original and virtual training samples classification， respectively and it will obtain reconstruction error of every class. Finally， it combines the reconstruction error of the same class obtained by the original and virtual training samples to conduct weighted fusion and gets the ultimate classification result. A large number of experimental results show that the proposed method can obtain better recognition effect.

face recognition； small training samples； collaborative representation method； virtual samples； weighted fusion； reconstruction error

TP391

A

10.16280/j.videoe.2016.09.024

國家自然科學基金項目(61261011)

2015-11-21

文獻引用格式：項曉麗，武圣，龍偉，等. 融合原始樣本和虛擬樣本的人臉識別算法[J].電視技術，2016，40(9)：117-121.

XIANG X L，WU S，LONG W，et al. Face recognition based on the fusion of original sample and virtual sample[J]. Video engineering，2016，40(9)：117-121.