基于空間光譜信息融合的Gabor PCA高光譜人臉識別算法研究

施曉倩 肖志勇

(江南大學物聯網工程學院 江蘇 無錫 214000)

0 引 言

隨著人臉技術的不斷發展，現有的人臉識別算法在可見光人臉圖像識別方面已取得較好的效果，但是仍然會受到光照、姿態、裝飾物等外界因素的影響，人臉識別需要探索新的思路和方法。近來，由于高光譜相機的成本降低，以及高光譜圖像技術的發展，高光譜圖像在眾多領域得到了廣泛的應用和研究[1]，比如：地理學、地質學、生態學、環境科學、大氣科學和海洋性等。高光譜圖像數據是一個具有兩個空間和一個光譜維度的圖像立方體，在圖像空間中每個波段對應一幅二維圖像[2]；在光譜空間中每個像素點的光譜信息表示一條連續的光譜曲線，不同的物質在高光譜圖像中具有不同的光譜反應曲線；近紅外線的光譜測量可以感知人臉內部組織結構，這些結構在人與人之間有顯著差異[3]。這為提高人臉面部識別精度提供了新的機會。

高光譜圖像包含物體豐富的光譜信息，可以更大程度上描述物體特征，對物體分類和識別有巨大的貢獻。高光譜圖像覆蓋的電磁波波長范圍更寬(從可見光光譜波段到紅外光譜波段)、光譜分辨率更高、圖像波段眾多，還可以根據研究的需要通過波段選擇等技術手段突出某物體的特征，并對目標實現精細分類和有效識別。將高光譜圖像處理技術與人臉識別技術進行結合，在理論上能夠很好地幫助提高識別效果，但是高光譜成像在給人臉識別帶來新的機會的同時，由于其數據量大、維數高、波段間相關性強導致的大量的數據冗余等特點，也為人臉識別帶來新的挑戰。

由于這些挑戰，高光譜人臉識別相關的文獻非常稀疏。最早的是Pan等[4]在NIR光譜(700～1 000 nm)的人臉位置使用31D(31波段)光譜特征進行面部識別。他們的方法在包含200個人臉的1 400個高光圖像的專有數據庫中有很高的識別率，但是在其他公開高光譜人臉數據庫上并不能直接使用。Robila[5]使用光譜角度測量比較了不同面部區域的光譜特征，但是他們的實驗僅限于由八個類別組成的非常小的數據庫。Uzair等[6]使用3D-DCT在高光譜人臉圖像中最佳地壓縮了低頻系數中的信息來提取特征，并結合PLS回歸進行分類。Di等[7]將高光譜人臉數據投影到低維2D PCA空間，并對最具信息性的吸收特征帶進行特征融合。

本文研究了空間-光譜信息融合結合Gabor PCA(Spatial-spectral fusion+Gabor PCA)的高光譜人臉特征提取方法，將高光譜人臉的所有波段的有效信息融合到一張人臉上。然后用Gabor小波提取每幅人臉圖像不同方向、尺度的40個Gabor小波特征，并用PCA對所得特征進一步降維。最后利用KNN分類器分類。實驗在CMU Hyperspectral[8]數據庫上進行，并將結果與現有高光譜人臉算法進行比較。

傳統的波段融合通過將高光譜數據投影到二維空間上來操作，類似于沿著光譜維度的加權平均，但是這種投影沒有考慮到空間信息。空間-光譜信息融合(見圖1)是在傳統的波段融合上加入局部空間信息，通過平均光譜和空間信息來有效地去除噪聲，并且有效地改善了小的身體運動，如眨眼或小的表情變化對識別效果的影響[9]。

圖1 波段融合算法過程解析

(1)

式中：μp,q∈Rλ平均值向量。計算Lp,q的空間-光譜樣本協方差矩陣Σp,q∈Rλ×λ作為Lp,q的二階統計量：

(2)

Σp,q很好地反映了各個波段間相關性。然后將平均值向量μp,q和空譜協方差矩陣Σp,q的每一列按權重相加來融合子區域Lp,q的一階和二階統計量，通過計算其Frobenius范數，將所得到的λ×λ矩陣中存在的所有信息壓縮為奇異變量：

τ=‖βΣp,q+αμp,q11×λ‖F

(3)

式中：11×λ是一個值為1的向量。

在實現過程中，每個子區域Lp,q在空間維上僅從前一個位置移動一行，因此每個人臉數據立方體Cj包含的子區域數量為(m-r+1)×(n-s+1)，其中r≤m，s≤n。對于每個Cj，定義一個二維矩陣Γj∈R(m-r+1)×(n-s+1)，對于空間維的每個位置(p,q)，Γj(p,q)=τp,q包含融合后的圖像信息。這樣，我們就將包含在高光譜數據立方體中λ個波段的信息融合到一個二維矩陣Γj中。

1.2 Gabor PCA

在眾多特征提取方法中，Gabor小波由于其生物相關性和突出的計算性質而被認為是非常有效的特征提取方法[10]。在空域，一個二維的Gabor濾波器是一個正弦平面波和高斯核函數的乘積，可以同時在空間域和頻率域取得最優局部化[11]，能夠很好地提取人臉紋理特征，描述人臉對應于空間不同位置、不同頻率及不同方向的局部結構信息，是特征提取的強大工具[12]。二維Gabor濾波器的核函數形式：

(4)

(5)

式中：v=0，κ,4；μ=0,κ,7。

將融合后的人臉圖像與Gabor小波濾波器卷積來提取特征，本文使用其幅值特性提取人臉特征。用Γ(p,q)表示融合后的人臉圖像，z0(p0,q0)是圖像中的位置為(p0,q0)的點，Gabor小波提取了與點z0鄰近區域的圖像紋理特征，則Gabor小波濾波器與融合圖像的卷積可以表示為：

(6)

人臉經過Gabor小波變換之后能取得很好的局部結構信息，但是也使得數據量增加了40倍，這在識別過程中會造成數據冗余和計算負擔[13]。所以在對每幅人臉圖像進行Gabor小波濾波后，使用PCA對提取的特征進行降維，提取對識別影響較大的特征向量。

1.3 基于最近鄰距離(KNN)的判別方法

人臉識別的實質其實是圖像間距離的判別，而最鄰近判別是距離判別方法中較為常用簡單的方法，被認為是基于即時的分類算法，且適合小樣本識別，算法思想是：測試樣本中的一個樣本與訓練樣本中的k個樣本最相似，如果這k個訓練樣本中的大部分屬于某一個類別，則該訓練樣本也屬于這個類別。本文通過計算測試樣本投影矩陣Γj與訓練樣本投影矩陣Ψ之間的最小距離來判斷測試樣本的類別[14]：

(7)

2 實驗和結果

將所提出的算法與Di等提出的算法Feature_band+2D PCA，以及Band_fusion+2DPCA，Feature_band+Gabor PCA進行比較。

2.1 高光譜人臉數據庫

我們在CMU標準高光譜人臉數據庫上進行了實驗，表1給出了數據庫的總結。CMU數據庫是用原型光譜偏振相機獲取的高光譜人臉數據庫(CMU-HSFD)[8](如圖2所示)。每個高光譜圖像包含450～1 090 nm光譜范圍的65個波段，步長為10 nm。對于照明，使用三個相同的具有600 W鹵素燈泡的燈。數據庫包含48個人臉類別，每個人臉在不同的時間段和不同的照明組合中獲得4到20個高光譜圖像。各個波段具有較低的信噪比，并且大多數拍攝對象在圖像采集期間會有眨眼或小的移動。我們僅使用所有燈都開啟的圖像，并且選用的人臉圖像都有3到5 個樣本。因此，我們的實驗數據由29個受試者中的125個高光譜圖像組成，每個受試者有3到5個圖像。

表1 高光譜數據庫CMU介紹

圖2 CMU-HSFD高光譜人臉數據

2.2 現有的高光譜算法

Di等[7]將高光譜人臉中最具信息性的吸收特征帶進行融合，再進行2D PCA分類，很好地驗證了所選波段包含的信息的有效性，本文參考Di的方法，選取每個人臉的530～700 nm波段進行融合(Feature band fusion)，并進行2D PCA分類(Feature_band+2D PCA)，分類精度在主成分數為4時達到最大值，最大分類精度為71.64%，圖3為分類精度隨主成分數變化圖。

圖3 Feature_band+2D PCA識別結果隨主成分數變化圖

2.3 本文算法

2.3.1 實驗設計

本文首先對所有高光譜人臉圖像進行預處理，再用Spatial-spectral fusion算法對每幅人臉圖像進行融合，降低數據維度，然后用Gabor濾波提取融合后圖像的5個尺度8個方向的小波特征，再用PCA算法對提取的特征進行降維，最后將所得特征放到KNN分類器分類，算法流程圖如圖4所示。

圖4 Spatial-spectral fusion+Gabor PCA+KNN高光譜人臉識別算法流程圖

2.3.2 實驗結果

本文實驗在Ubuntu 16.04 Intel Xeon(R) CPU E5_2360 v3 @2.40 GHz×32集群上，基于Matlab R2014a 平 臺 ，通 過Matlab庫函數、Matlab語言進行編程實現。在CMU人臉庫上，共選用29個不同的人臉，每個人臉3～5張不同的樣本，共125張人臉圖像，選29個人的前2幅作為訓練樣本，其他作為測試樣本，因此，訓練樣本共58幅，測試樣本共67幅。

由于原始圖像包含的噪聲較多，有很多無用信息，所以先對所有人臉圖像進行預處理，以人眼為定位點，截取一個包含眼鼻嘴等能表征人臉的圖像，大小為188×188，然后將尺寸為3×3×65的立方體以一個像素的位移滑過高光譜人臉圖像，對圖像進行融合，并將融合后的圖像縮放到35×35的尺寸來節約計算成本。圖5為融合后的人臉圖像，可以看出，融合后的圖像特征更加突出，有肉眼可見的變化。接著對圖像進行Gabor濾波，提取每幅圖像不同方向、尺度的40個Gabor小波特征，再用PCA降維后的數據用Knn算法分類，PCA選取的主成分維數用Eigen_NUM表示。本文算法分類精度在主成分維數32～40范圍內達到最高，最高精度為92.54%(見表2)。

圖5 融合后人臉圖像

Eigen＿NUM1020304050Bandfusion+GaborPCA/%80．0689．5589．5592．5491．04

圖6為本文算法分類精度隨主成分維數的變化圖。從圖中可以看出，當主成分維數小于20時，分類精度隨著主成分維數的增加而持續上升，隨后緩慢上升；在主成分維數為Eigen_NUM=32時，分類精度達到最高，最高精度為92.54%，稱Eigen_NUM=32為最佳主成分維數；當主成分維數大于32 以后，分類精度保持不變或有略微下降，說明適當增加特征空間的主成分數可以提高分類精度，但是，處于后面的特征對識別貢獻較小，即使繼續增加主成分維數也不會對分類精度有大幅度提升，而且，選取的主成分數超出最佳主成分維數后，主成分維數的增加反而會造成數據冗余，影響識別過程，降低分類精度。

圖6 Spatial-spectral fusion+Gabor PCA識別結果隨主成分數變化圖

表3為本文算法與Spatial-spectral fusion+2D PCA算法分類精度，Spatial-spectral fusion+2D PCA是在Di等提出的算法Feature_band+2D PCA基礎上，使用本文的融合算法融合每幅人臉圖像的全部波段得到的圖像進行2D PCA分類。可以看出，同樣的融合圖像，本文算法分類精度比算法Feature_band+2D PCA分類精度高17.91%，本文的Gabor PCA能通過不同方向、尺度的40個Gabor 濾波器對人臉圖像進行濾波，提取人臉紋理特征，能夠抑制姿態、裝飾物等外在條件對分類結果的影響，提高分類精度。

表3 本文算法與算法Spatial-spectral fusion+2D PCA分類精度

表4為本文算法與算法Feature_band+Gabor PCA，Feature_band+2D PCA分類精度，Feature_band+Gabor PCA是在Di等提出的算法Feature_band+2D PCA基礎上，使用本文的融合算法融合每幅人臉的530～700nm波段得到的圖像進行Gabor PCA+Knn分類。可以看出，本文算法分類精度比算法Feature_band+Gabor PCA分類精度高5.97%，雖然Di等很好地驗證了高光譜人臉圖像的530～700 nm波段包含對人臉識別影響較大的兩個血紅蛋白吸收帶，但是本文算法的融合圖像包含來自所有波段的綜合信息，且本文算法比Di等提出的算法Feature_band+2D PCA分類精度高20.9%。圖7為Spatial-spectral fusion+Gabor PCA與Feature_band+Gabor PCA識別結果隨主成分維數變化的對比圖。從圖中可以看出，本文算法分Spatial-spectral fusion+Gabor PCA分類精度總體上高于Feature_band+Gabor PCA。在相比較的所有算法中，本文提出的高光譜人臉識別算法始終保持最高識別精度。

表4 算法Spatial-spectral fusion+Gabor PCA與算法Feature_band+Gabor PCA，Feature_band+2D PCA分類精度

圖7 Spatial-spectral fusion+Gabor PCA與Feature_band+Gabor PCA識別結果比較

3 結 語

高光譜人臉圖像具有光譜分辨率高，圖譜合一的特點，具有人臉豐富的光譜信息和空間信息。為了后續處理的要求，在保證有效信息不被破壞的情況下，需要對高光譜人臉圖像進行一定的處理來進行分類。本文提出了Spatial-spectral fusion+Gabor PCA+KNN的高光譜人臉識別算法，能夠抑制姿態、裝飾物等外在條件對識別結果的影響，提高識別率。融合算法在傳統的波段融合上加入局部空間信息，有效地將高光譜人臉的所有波段信息融合到一張人臉上；Gabor PCA利用不同方向、尺度的40個Gabor濾波器對融合后人臉圖像進行濾波，提取人臉紋理特征，然后使用PCA對提取的特征進行降維，提取對識別影響較大的特征向量，減少計算量，提高識別實時性。實驗表明本文使用的方法識別率比Feature_band +2D PCA的方法提高了 20.9%，在高光譜人臉識別中應用前景廣闊。

參考文獻

[1] 孟貴宇. 基于非負結構稀疏表示的光譜圖像超分辨率重建[D]. 西安電子科技大學, 2014.

[2] 李媛媛, 景文博, 劉學,等. 基于混合預測高光譜圖像無損壓縮[J]. 長春理工大學學報(自然科學版), 2016(1):77-81.

[3] 周爽. 蟻群算法在高光譜圖像降維和分類中的應用研究[D]. 哈爾濱工業大學, 2010.

[4] Pan Z, Healey G E, Prasad M, et al. Face Recognition in Hyperspectral Images[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on, 2003, 25(12):1552-1560.

[5] Robila S A. Toward hyperspectral face recognition[J]. Proceedings of the SPIE, Image Processing: Algorithms and Systems VI, 68120X. 2008.

[6] Uzair M, Mahmood A, Mian A. Hyperspectral Face Recognition using 3D-DCT and Partial Least Squares[C]//BMVC 2013, At University of Bristol, UK. 2013.

[7] Di W, Zhang L, Zhang D, et al. Studies on Hyperspectral Face Recognition in Visible Spectrum With Feature Band Selection[J]. IEEE Transactions on Systems, Man, and Cybernetics-Part A: Systems and Humans, 2010, 40(6):1354-1361.

[8] Denes L J, Metes P, Liu Y. Hyperspectral Face Database[R]. Tech. Report, CMU-RI-TR-02-25, Robotics Institute, Carnegie Mellon University, October, 2002.

[9] Uzair M, Mahmood A, Mian A. Hyperspectral Face Recognition With Spatiospectral Information Fusion and PLS Regression[J]. IEEE Trans Image Process, 2015, 24(3):1127-1137.

[10] Vinay A, Shekhar V S, Murthy K N B, et al. Face Recognition Using Gabor Wavelet Features with PCA and KPCA-A Comparative Study[J]. Procedia Computer Science, 2015, 57:650-659.

[11] Ameur B, Masmoudi S, Derbel A G, et al. Fusing Gabor and LBP feature sets for KNN and SRC-based face recognition[C]//International Conference on Advanced Technologies for Signal and Image Processing. IEEE, 2016:453-458.

[12] Norouzi M R, Vafadoust M. Face Detection by Gabor Transform[J]. Molecular Microbiology, 2014, 94(2):340-352.

[13] 李彥璇, 王蓉. 基于Gabor小波特征提取的PCA人臉識別方法[J]. 電腦知識與技術, 2015, 11(32):138-141.

[14] 李靖平. 基于分塊的2DPCA人臉識別方法[J]. 長春師范大學學報, 2014, 33(2):93-98.