改進加權投票的PCA-Net多特征融合SSFR

趙淑歡,葛佳琦,梁曉林,2,劉帥奇,2

(1. 河北大學電子信息工程學院,河北 保定 071000;2. 河北省機器視覺技術創新中心,河北 保定 071000)

1 引言

人臉識別[1-4]技術廣泛應用于監控、人機交互、犯罪調查和邊境控制等場景,成為近年來模式識別領域研究的熱點,隨著科技的發展,人們對這項技術的需求越來越大。經過多年的研究和發展,其識別的精度已經很高,尤其在將深度學習[5-8]方法引入到人臉識別之后,其性能更是有了突破性進展,但深度學習方法需要大量訓練樣本、運算量大、模型訓練時間長。很多實際應用中,系統只能獲取每人一張圖像作為訓練樣本,并需要快速得到結果,因此深度學習方法在單樣本[9-12]人臉識別中不再適用。

單樣本人臉識別面臨諸多挑戰,和常規人臉識別同樣存在的光照、姿態、表情、年齡變化帶來的影響,單樣本人臉識別最大的難題是每個人只有一張圖像作訓練,包含的信息太少導致無法預測各種人臉變化,更加劇了上述因素帶來的負面影響,從而無法訓練出有效的模型。由于在單樣本情況下無法計算類內散度矩陣,線性判別分析[13](LDA)無法應用;同樣的原理,類內分布無法被估計,基于概率[14]的方法識別效果也很差;主成分分析[15](PCA)方法也很難在單樣本情況下提取出具有判別性的特征向量,導致識別效果不理想。

由于經典算法在單樣本人臉識別中的性能很差,近年來很多研究人員提出一些改進算法來解決單樣本人臉識別準確率低的問題。這些方法大致可以分為三個類別:直接在單樣本上提取魯棒性特征的方法;基于遷移學習,使用輔助數據集進行特征學習的方法;生成虛擬樣本的方法。對于第一類,文獻[16]提出了子模式下的LBP與HOG特征融合的方法;文獻[17]提出了SPCA與HOG特征融合的方法;文獻[18]提出中心對稱梯度幅值相位模式的方法。這類算法直接使用單一樣本提取魯棒特征,并在經典算法的基礎上做了改進,在性能上有了一定的提升,但都屬于無監督學習,一些判別性信息沒有被利用,還具有很大的提升空間。文獻[19]提出了從輔助數據集中的中性圖像和變化圖像中提取二值加權插值圖來分析類內變化的方法;文獻[20]提出了判別遷移學習方法,先對多樣本通用訓練集進行判別分析,然后將判別分析遷移到單樣本數據庫的方法。這類方法采用一個額外的通用數據集進行特征學習,假設每個人的類內變化都是相似的,并通過類內變化訓練出模型,估計出實驗所使用的數據集的散點矩陣,然而這類方法也有一個明顯的缺陷,即大多忽略了輔助數據集和測試數據集的分布差異所導致的準確率下降。文獻[21]提出QR分解重構生成虛擬樣本的單樣本人臉識別方法;文獻[22]提出利用LU分解生成虛擬樣本并結合LDA的方法;文獻[23]提出改進虛擬樣本的方法。這類方法先生成虛擬樣本,再進行特征學習,既保留了較多的判別性信息,也不會因為不同數據集之間的差異造成識別性能下降,所以本文的方法也屬于這一類。上述文獻在經典算法的基礎上做了改動,識別性能有了一定的提升,但是和深度學習的方法相比,還有差距。因此,研究傳統方法的單樣本人臉識別是一項勢在必行的工作。

本文針對單樣本情況下識別率低的問題,提出了一種以PCA-Net[24-26]為主體,多種特征融合的單樣本人臉識別算法PMFF(PCA-Net Multi-Feature Fusion)。首先,將每個人的單樣本利用LU分解生成2張虛擬樣本,與單樣本構成新的訓練集;然后,分別提取測試樣本和訓練樣本的PCA-Net特征并計算皮爾遜相關系數[27],并將其初步分類為最大相關系數對應的類,同時保留相關系數最大的3張圖像作為細化訓練集;其次,分別提取測試樣本和細化訓練集的LBP、CSLBP[28]、BGCSBP[29]、IMLBP[30]特征,并記錄基于皮爾遜相關系數的分類結果;最后,將所有特征的識別結果加權投票,得到最終的識別結果。

2 PCA-Net

PCA-Net是基于卷積神經網絡(CNN)的簡化淺層網絡模型,CNN訓練時間長,且需要大量的訓練樣本,這些因素限制了CNN在某些方面的應用,因此,一種新型的淺層網絡模型應運而生,這個模型訓練過程更簡單,運算量更小,即PCA-Net模型。

對于給定的圖像集X=[x1,x2,…,xN],其中xi∈Rm×n,N表示樣本數,PCA-Net特征的提取共有三個階段。

步驟3:將步驟2得到的每個特征圖進行二值處理,再進行二值化哈希編碼,再進行級聯,就完成了PCA-Net特征提取。PCA-Net特征提取過程的原理圖如圖1所示。

圖1 PCA-Net原理圖[21]

3 本文方法

本文將PCA-Net與多種LBP算法融合構成改進加權投票的PCA-Net多特征融合單樣本人臉識別算法,記為PMFF,流程圖如圖2所示,具體步驟如下:

圖2 算法流程圖

算法1:PMFF

輸入:

訓練集X=[x1,x2,…,xN],其中x∈Rm×n,N為類別數;測試集Y=[y1,y2,…,yM],其中y∈Rm×n,M為測試樣本總數,圖像的尺寸為m×n。

輸出:

測試圖像的預測結果Rp=[r1,r2,…,rM]

步驟:

1)虛擬樣本的生成;

2)提取PCA-Net特征進行粗識別并形成細化訓練集;

3)提取LBP及其改進特征,進行細識別;

4)多特征識別結果投票得到最終識別結果。

3.1 虛擬樣本的生成

本文采用生成虛擬樣本的方法,增加訓練樣本數量,擴展類內變化。生成方法中比較有代表性的有奇異值擾動、鏡像臉、圖像分解、線性對象類別模型等方法。因LU分解具有計算量較小、對重要信息的保留程度較高的優點,本文采用LU分解重構的方法生成虛擬樣本。圖像矩陣xj通過式(1)被分解成一個下三角矩陣L和一個上三角矩陣U的乘積

xj=LU

(1)

其中,L∈Rm×n為下三角矩陣,U∈Rn×n為上三角矩陣,L和U的具體表達如式(2)和式(3)所示。

(2)

(3)

其中,l1～ln為矩陣L的每一列,u1～un為矩陣U的每一行。定義n個矩陣[B1,B2,…,Bn],Bi=li×ui,其中Bi∈Rm×n,即矩陣L的第i列和矩陣U的第i行的乘積,i∈[1,n]。利用式(4)分別計算各矩陣能量,從中選取k個能量最大的B矩陣并按能量大小重新排列,再利用式(5)重構虛擬樣本xj1,則該重構樣本包含了原圖中的大部分能量,較完整的保留了圖像的紋理信息。

(4)

(5)

圖3 原圖和兩張虛擬樣本

3.2 基于PCA-Net特征的粗識別

虛擬樣本與原樣本構成增廣訓練集XA=[x10,x11,x12,x20,x21,x22,…,xN0,xN1,xN2]。對于每一張測試樣本y,在特征空間中,訓練集中與測試樣本距離很遠的樣本對識別起到干擾作用,所以可先用粗識別將其剔除。

對測試樣本和新訓練集分別提取PCA-Net特征,記為XpA∈Rω×(3N),yP∈Rω,其中ω為PCA-Net特征維數,并根據式(6)計算yp與每個訓練樣本的PCA-Net特征間的皮爾遜相關系數,同時為測試樣本分配最大相關系數對應的類標簽,記為R1,保留與測試樣本相似度最大的3個訓練樣本,形成細化訓練集XX=[xx1,xx2,xx3],其中xx∈Rm×n。

(6)

3.3 基于LBP及其改進特征的細識別

因局部二值模式(LBP)計算量小,并且對光照和灰度的變化具有很好的魯棒性,所以選用LBP及其改進特征對細化訓練集進行特征提取。

LBP是基于r×r的窗口滑動提取圖像特征,比較中心點像素值gc與臨近像素值關系,按照式(7)進行編碼,即得該點的LBP特征值。

(7)

原始LBP特征的維數很高,所以有了特征維數更低的中心對稱局部二值模式(CSLBP),計算方法與傳統LBP基本一致,不同的地方在于比較窗口中邊緣點的像素值和該點關于中心點對稱的位置的像素值,然后按照式(8)進行編碼,得 CSLBP值。由于每個窗口只有一半的像素參與了編碼,特征維數就變為了LBP的一半。

(8)

為提取更多的有效信息,BGCSBP在CSLBP的基礎上進行改進,先獲取圖像兩個方向的梯度信息,再用CSLBP算子進行編碼,然后將4位水平方向的二進制編碼作為高四位,4位垂直方向的二進制編碼作為低四位,再轉為十進制數即為BGCSBP的值。

上述三種LBP及其改進特征都是只考慮了窗口中間像素和其鄰域像素的關聯性,而沒有考慮各鄰域像素的關聯性,所以本文同時選用另一種改進的LBP特征(IMLBP),將中心點像素值與周圍各鄰域點像素值相加,再將各鄰域點得到的像素值按照一定的順序與相鄰鄰域點的值比較,進行二值化處理,再轉成十進制即位該點的IMLBP值。

分別對細化訓練集和測試樣本提取LBP、CSLBP、BGCSBP、IMLBP四種特征記為XL=[xx1lb,xx1cs,xx1bg,xx1im,xx2lb,xx2cs,xx2bg,xx2im,xx3lb,xx3cs,xx3bg,xx3im,],yL=[ylb,ycs,ybg,yim],圖4表示原圖和四種LBP特征的對比圖。

圖4 原圖和三種特征圖

在每種LBP特征空間上,分別計算測試樣本yl和細化訓練集樣本的皮爾遜相關系數,最大相關系數對應的類即為該特征下的分類結果,因而可得到四種特征下的細分類結果[R2,R3,R4,R5]。

3.4 多特征識別結果融合

4 實驗結果分析

4.1 Extended Yale B數據庫

Extended Yale B數據庫共包含38個人,每人64張圖像,共2432張圖像,大小為192×168,圖像沒有遮擋,但有輕微表情變化,變化較大的是光照強度,數據庫中前三個人的部分圖像如圖5所示。

圖5 Extended Yale B數據庫中前三個人的部分圖像

實驗選取每個人1張光照強度適中且沒有表情變化的圖像分別作為訓練樣本,剩余的63張圖像作為測試集,單樣本和虛擬樣本共同組成的訓練集共38*3=114張圖像,測試集共38*63=2394張圖像,選取不同的訓練樣本,重復10次實驗。

選用幾種在ImageNet數據庫預訓練好的經典深度網絡提取的特征作為對比算法,只保留網絡最后的全連接層作為特征向量,再用最近鄰進行分類,得到預測結果,10次實驗后的平均識別率及標準差如表1所示。

表1 Extended Yale B數據庫上各算法準確率

由表1可知,在ImageNet預訓練的深度網絡識別率很差,而LBP特征及其改進所取得的效果比預訓練網絡要好,但也未達到最佳效果,PCA-Net特征在所有單一特征中識別效果最好,穩定性也最佳,而本文方法(PMFF)則對PCA-Net的性能有了提升。由于本文算法是將5種特征做決策級融合,所以將算法的特征維數記為5種特征維數的總和。

為了確定每種特征在融合過程中是否起到了提升識別率的作用,在得到五種單特征的識別結果之后,進行消融實驗。按照表1中的識別率高低,對5種特征進行排序,并按識別率的高低對五種特征加權融合,以PCA-Net:LBP:CSLBP: IMLB:BGCSBP=5:2:1:3:4的比例融合,再進行消融實驗,結果如表2所示。

表2 Extended Yale B數據庫上的消融實驗結果

從表2中可以看出,五種特征去掉其中任何一種,融合算法的識別率都會下降,說明每種特征在融合過程中都起到了提升識別率的作用,所以都應該保留。

4.2 AR數據庫

AR數據庫總共有100個人,每個人26張圖像,大小為165×120,共有2600張圖像包含表情、光照變化,墨鏡、圍巾遮擋,數據庫中前三個人的部分圖像如圖6所示。

圖6 AR數據庫中前三個人的部分圖像

每人選取一張圖像作為訓練樣本,剩余的25張圖像作測試單樣本,因此擴展后的訓練樣本訓練集共100*3=300張圖像,測試集共100*25=2500張圖像。每次選取不同的訓練樣本,重復10次實驗,其中8次選取為光照適中無遮擋圖像作訓練樣本,2次選取遮擋圖像作訓練樣本。

同樣選用幾種預訓練網絡提取的全連接層作為特征向量進行分類,作為對比算法,10次實驗后的平均識別率及標準差如表3所示。

表3 AR數據庫上各算法的準確率

由表3可知,預訓練的深度網絡識別率很差,而LBP特征及其改進所取得的效果比預訓練網絡要好,但也未達到最佳效果,PCA-Net特征在所有單一特征中識別效果最好,穩定性也最佳,而本文方法(PMFF)則對PCA-Net的性能有了提升。同時分析表1和表3可知,因AR數據的測試樣本中含較大面積的遮擋(圍巾、墨鏡)其識別率整體偏低。

按照表3中的識別率高低,對5種特征排序加權融合后進行了消融實驗,結果如表4所示。

表4 五種特征在AR數據庫的消融實驗結果

由表4可知,去掉五種特征中的任何一個,識別結果都會下降,說明了五種特征在融合過程中都起到了提升性能的作用。

4.3 CMU-PIE數據庫

CMU-PIE數據庫共包含68個人,每人49張圖像,共3332張圖像,大小為64×64,無遮擋,無明顯的表情變化,唯一變化較大指標是光照強度,數據庫中前三個人的部分圖像如圖7所示。

每個人選取1張圖像做訓練,剩余的48張圖像做測試,單樣本和虛擬樣本共同組成的訓練集68*3=204張圖像,測試集共68*48=3264張圖像,每次選取不同的訓練樣本,重復10次實驗。

首先,直接利用上述幾種單特征直接進行識別,再利用幾種預訓練網絡提取特征進行識別,10次實驗后的結果如表5所示。

表5 CMU-PIE數據庫各算準確率

由表5可知,預訓練的深度網絡識別率很差,而LBP特征及其改進所取得的效果比預訓練網絡要好,但也未達到最佳效果,PCA-Net特征在所有單一特征中識別效果最好,穩定性也最佳,而本文方法(PMFF)則對PCA-Net的性能有了提升。

然后按照表5中的識別率高低,對5種特征進行排序加權融合后進行了消融實驗,結果如表6所示。

表6 CMU-PIE數據庫上的消融實驗結果

由表6可知,去掉任何一種特征都會使識別率下降,說明五種特征都對算法性能起到了提升作用。

在AR、Extended Yale B、CMU-PIE三個人臉數據庫中進行試驗,本文算法的識別率分別為85.39%、91.43%、91.71%,全部超過了五種單一特征中識別率最高的PCA-Net特征的83.74%、89.88%、91.14%,說明本文算法對PCA-Net特征有提升。在Extended Yale B、CMU-PIE數據庫中的識別率超過了90%。

4.4 RFW數據庫

上述三個數據庫均為限制條件下的所采集的圖像,為了測試算法在非限制條件下的性能,在RFW數據庫中選取了部分數據進行試驗。該數據庫共有非洲、亞洲、美洲和印度四個人種,均為非限制條件下所采集的圖像,大小為400×400,圖像有較多的背景環境、姿態以及表情的影響,RFW數據庫的部分圖像如圖8所示。

圖8 RFW數據庫中的部分圖像

每個人種各選取了200人做實驗,每人一張圖像做訓練樣本,2-4張圖像做測試。首先對圖像進行預處理,將人臉部分從背景中分離出來,再進行特征提取、分類。預處理之后的圖像如圖9所示,實驗結果如表7所示。

表7 本文算法及PCA-Net特征在RFW數據庫準確率

圖9 預處理之后的圖像

由表7可知,本文算法對非限制條件下采集到的圖像識別性能很低,對比PCA-Net也有一些差距。造成這種情況的原因可能是在非限制條件下采集的圖像姿態、表情、拍攝角度等方面有很大差異,類內變化巨大,而選取的單樣本無法涵蓋如此大的類內變化,造成識別效果很差。在今后的工作中會不斷完善算法在非限制條件下采集到圖像的識別率。

5 結論

本文算法,先生成虛擬樣本,再進行粗識別并形成細化訓練,然后進行細識別并將結果投票融合。識別效果超過了在傳統特征中性能較好的PCA-Net;對比使用預訓練網絡所提取的特征,識別效果有了很大提升。同時,本文算法也存在諸多不足:算法對非限制條件的圖像識別效果很差;對遮擋圖像作單樣本的識別率也有待提高;而分類算法也只用了較為簡單的最近鄰分類器,性能有待提高;選取預訓練網絡提取特征時僅采用了其全連接層的數據,并未微調。在今后的工作中會對這些不足的地方加以改進,多使用一些其它性能良好的、對遮擋具有魯棒性的特征進行融合,并且嘗試其它性能更出色的分類器進行分類,提高在非限制情況下的識別性能。

本文受河北大學高性能計算平臺支持。