基于自適應并行結構的多模態生物特征識別

王風華，孟文杰

（中國石油大學（華東）山東 青島 266580）

隨著信息技術的發展及人們對社會安全要求的增加，生物特征識別受到廣泛關注，并成為研究熱點。單一模式的生物特征識別在復雜環境下易受干擾，在實際應用中較難達到理想效果，而且部分生物特征具備一些自身難以克服的缺點，影響了識別穩定性及普及程度。目前，研究人員開始把目光轉向多種生物特征的身份識別，即多模態生物特征識別技術，絕大多數研究結果也證明了多模生物特征融合可以有效的提高識別性能[1-4]。

多模態生物識別的實現首先會涉及融合層次的選擇問題。異類生物特征融合時，可選擇的層次有特征層、匹配層和決策層。特征層融合時，不同特征的表達形式往往差別很大，實現難度較大。決策層通常采用與、或、投票法或決策樹等融合策略，但不同生物特征的置信度無法給出準確的度量，所以決策層融合對系統性能提高有限。相比之下，匹配層融合更靈活也更實用有效。在前期的研究中，文中從匹配層融合入手，提出了一種融合人臉和虹膜的雙模生物特征識別方法[5]，該方法具有較好的靈活性和擴展性。但該方法和許多傳統方法一樣，在實際應用中，如果存在某種生物特征的缺失、損傷或病變時，會出現識別性能明顯下降的問題。針對此問題，提出了一種基于自適應并行結構的多模態生物特征識別方法，并應用于人臉、虹膜和掌紋的多模生物識別中，仿真實驗結果表明該方法既可提高識別可靠性又可保證當存在生物特征缺失時性能保持穩定，同時還具有較好的可擴展性。

1 多模態生物識別系統框架

多模態生物特征識別主要利用多種生物特征的不同特性，進行某種層面的融合，其目的是克服或者規避單一特征的局限性，提高識別可靠性。多模生物特征的融合有兩個目的，一是提高識別的可靠性，二是防備可能的生物特征缺失。目前的研究往往過多的關注前一個目的，而忽視后一個，所以會出現存在生物特征缺失時，系統性能明顯下降。為解決以上問題，文中基于人臉、虹膜和掌紋，提出一種自適應并行結構的多模態生物識別方法，該方法思路是在實際應用中如果某些特殊群體存在某種生物特征的缺失、損傷、病變或特征不明顯，系統可根據當前的生物特征輸入情況，自適應的選擇合適融合策略。系統框架如圖1所示。

如圖1所示，3種生物特征虹膜、人臉及掌紋分別經過預處理、特征提取及匹配等過程得到各自的匹配得分值（具體算法下一節介紹），并構造得分值向量，然后進行匹配層融合。融合時選擇器模塊首先獲取當前的生物特征狀態即獲知輸入的生物特征數目及種類，在并行結構的融合模塊中選擇合適的融合策略，將得分值向量轉變為一標量的融合后得分值。選擇器模塊在選擇合適融合的策略的同時，還需要根據輸入狀態設置對應的判決閾值，用于融合后匹配值的最后決策，判斷出是同類匹配或異類匹配。

圖1 并行結構多模態生物識別框架Fig.1 Multimodal biometric framework based on parallel structure

2 識別算法介紹

1）人臉識別算法

Laplacianfaces方法是一種基于拉普拉斯特征映射的線性形式－LPP（Locality Preserving Projections）降維的人臉識別算法[6]，文中對拉普拉斯臉人臉識別算法進行了變換以應用于多模態生物特征識別，具體實現如下：

首先對檢測到的人臉圖像預處理，以達到位置校準、尺度不變性和灰度歸一化的目的，然后利用訓練樣本生成Laplacianfaces[6]，過程如圖2所示。

圖2 人臉識別處理過程Fig.2 Face recognition process

識別時，將待識別的人臉圖像向由Laplacianfaces張成的子空間上投影，得到的系數向量作為該人臉圖像的特征向量。本文通過計算待識別人臉與模板庫中已知人臉的特征向量的歐式距離作為人臉識別的匹配得分值。

2）虹膜識別算法

在進行虹膜特征提取及匹配時，本文采用基于2D Log-Gabor濾波的相位編碼算法。

首先對虹膜圖像進行預處理，包括內外邊緣及眼瞼的定位、歸一化、對比度增強及噪聲屏蔽模板生成等，過程如圖3所示

圖3 虹膜圖像預處理過程Fig.3 Iris preprocessing process

當利用2D Log-Gabor濾波器提取相位信息時，采用分塊計算并編碼的方法。預處理后虹膜圖像被分成m個大小相同的子塊，利用濾波器模板提取子塊相位信息，每個子塊的相位信息用兩位二進制編碼表示，最終產生大小為2m的虹膜特征碼。匹配時，采用海明距離進行匹配。

3）掌紋識別算法

在提取掌紋特征時，采用局部保留投影算法[7]。首先進行預處理、對準和歸一化掌紋圖像；然后選出部分掌紋作為訓練樣本，并利用訓練樣本生成拉普拉斯掌紋。當對未知掌紋進行識別時，將待識別的掌紋圖像向由拉普拉斯掌紋張成的子空間上投影，得到的系數向量作為該掌紋的特征向量。最后通過計算待識別掌紋與模板中已知掌紋的特征向量的歐式距離作為掌紋識別的匹配得分值。

3 自適應并行結構融合策略

在得到人臉、虹膜和掌紋這3種生物特征的匹配得分值后，下一步需要在匹配層進行融合。本文在設計融合策略時，采用并行結構，所有可能的生物特征缺失情況都被考慮到，當存在輸入缺失狀況時，可以根據系統的輸入情況，從并行多MPM融合模塊中自適應選擇合適融合策略，避免系統識別性能出現明顯下降，確保系統的正常運行，原理如圖4所示。

圖4 并行結構融合模塊示意圖Fig.4 Fusion module based on parallel structure

該融合模塊主要有兩部分組成，一部分是得分值規范化模塊，另一部分是一組并行的多最小最大概率機（minimax probability machine，MPM）融合函數。

由于不同生物特征得到的匹配值分布范圍不同，首先需要進行規范化處理。規范化模塊采用了雙sigmoid函數指數模型。并行結構的融合策略部分由一系列訓練好的MMP融合函數組成。MPM是一種基于最小錯分概率的新型分類學習算法，其優異的融合識別性能在前期工作中已得到驗證[5]。每個MPM融合函數由訓練樣本訓練產生，而且考慮到了所有可能的生物特征輸入狀態，即：（虹膜，人臉，掌紋），（虹膜，人臉），（虹膜，掌紋），（人臉，掌紋），（單生物特征）。 對于每一種可能的輸入狀態，都有訓練好的MPM融合函數與其對應，同時對應著決策閾值。

這樣，利用并行結構的多MPM融合算法可以很好的解決存在生物特征缺失的情況，比如，當出現掌紋特征缺失時，選擇器會自適應的選擇MPM（Iris，face）融合策略，如果僅有一種生物特征輸入，則此系統相當于一個單生物特征識別系統，則對輸入的得分值直接輸出，僅需要設置對應的決策閾值，即可實現正常的識別。

4 實驗結果與分析

為了對提出的方法進行分析和評價，文中選取ORL人臉圖像庫、UBIRIS虹膜庫和 PolyU（Version 2.0）掌紋庫構成多模生物特征庫，模擬實際應用環境。多模特征庫共包含40人，每人包括7個記錄，每個記錄包含一幅虹膜圖像、一幅人臉圖像和一幅掌紋圖像，一個記錄表示一次采集數據。

首先測試3種生物特征同時存在輸入的情況，這種情況下得到的接受特性曲線如圖5所示，并與單模生物特征識別性能做了比較。

圖5 接受特性曲線比較圖Fig.5 ROC curves of unimodal method and our method

當存在生物特征輸入缺失時，即當虹膜、人臉、掌紋分別存在輸入缺失時測試結果如圖6所示。

圖6 存在生物特征缺失時接受特性曲線圖Fig.6 ROC curves of one modality missing

通過上面的仿真實驗數據可見，當三種生物特征同時存在輸入時，本文方法獲得非常好的識別性能，等錯誤率明顯下降，說明利用多種生物特征的融合可以非常有效的提高識別可靠性，這種方式可以應用到對安全性要求非常高的環境。另外，當存在一種生物特征缺失時，由于選擇器模塊可以根據輸入的狀態自動選擇合適融合函數，識別性能保持穩定，不會出現明顯下降的現象，說明本文方法具備更好的實用性。

5 結 論

在復雜應用環境下，利用多種生物特征的融合識別來提高身份識別可靠性是目前的研究熱點。文中針對傳統多模態生物識別方法當存在生物特征輸入缺失時，會出現識別性能明顯下降的問題，提出了一種基于人臉、虹膜和掌紋的自適應并行結構多模態生物特征識別方法。該方法采用并行結構考慮到所有可能的輸入缺失，能根據輸入狀態自適應選擇融合策略進行識別。實驗測試結果表明，文中方法識別性能穩定，具有較好的實用性。

[1]LIU Zong-yi，Sarkar S.Outdoor recognition at a distance by fusing gait and face[J].Image Vision Computing，2007，25（6）:817-832.

[2]Ross A，Jain A.K.Information fusion in biometrics[J].Pattern Recognition Letters，2003，24（13）:2115-2125.

[3]Kim D，Chung K，Hong K.Person authentication using face，teeth and voice modalities for mobile device security[J].IEEE Transactions on Consumer Electronics，2010，56 （4）:2678-2685.

[4]Poh N，Bourlai T.A multimodal biometric test bed for quality-dependent，cost-sensitive and client-specific scorelevel fusion algorithms[J].Pattern Recognition，2010，43（3）:1094-1105.

[5]王風華，韓九強，姚向華.一種基于虹膜和人臉的多生物特征融合方法[J].西安交通大學學報，2008，42（2）:133-137.WANG Feng-hua，HAN Jiu-qiang，YAO Xiang-hua.A multimodal biometric fusion approach based on iris and face[J].Journal of Xi’an Jiaotong University，2008，42（2）:133-137.

[6]HE Xiao-fei，YAN Shui-cheng， et al.Face recognition using laplacianfaces[J].IEEE Transaction on Pattern Analysis and Machine Intelligence，2005，27（3）:328-340.

[7]Wang J，Yau WY，Suwandy A，et al.Person recognition by fusing palmprint and palm vein images based on“Laplacianpalm” representation[J].Pattern Recognition，2008，41（5）:1514-1527.