基于三角范數的多模態手指生物特征的分數層融合方法

彭加亮

摘 要：多模態的生物特征融合已成為目前生物識別研究領域的主要發展趨勢，本文從防偽性角度出發，滿足普適性和易采集、易接受性的應用需求，提出了基于手指靜脈，并結合指紋、指關節紋和指形的分數層融合來實現多模態生物特征的身份認證方案。實驗結果表明，本文提出基于Sugeno-Weber三角范數的分數層融合方法，能夠增大類內與類間匹配分數分布間的距離，提高了多模態生物特征的身份認證性能。

關鍵字：多模態；手指；分數層融合；三角范數

中圖分類號：TP391；TN911.73 文獻標識碼：A 文章編號：2095-2163（2014）02-

Finger Multimodal Biometric Verification based on Score-level Fusion

PENG Jialiang1， 2， LI Qiong1， NIU Xia-mu1

（1 School of Computer Science and Technology， Harbin Institute of Technology， 150080 Harbin， China；2 Information and Network Administration Center， Heilongjiang University， 150080 Harbin， China）

Abstract：Multimodal biometrics has become the main trend in the field of current biometric research. From the anti-spoofing point of view， the paper proposes the finger multimodal biometric approach that combines finger vein， fingerprint， finger knuckle print and finger shape to meet the actual demand of universality， acquisition and acceptance convenience. The experimental results show that the proposed score-level fusion approach using triangular norm can enlarge the distance between intra-class and inter-class matching scores and make verification performance improvement over the existing score-level fusion approaches.

Key words：Multimodal biometrics； Finger； Score-level fusion； Triangular norms

0引 言

基于手指生物特征的身份認證技術，現已廣泛應用于社會生活的各個領域，這些身份認證技術所利用的人體手指生物特征，一般包括指紋、指靜脈、指關節紋、指形等[1-3]。但是，基于手指單一模態的身份認證技術面臨著諸多固有的問題，例如，生物特征類內變化大、普適性低、防偽性差等[4]。而且，手指單模態生物特征的身份認證系統的識別性能往往受到手指生理情況、采集光照、采集傳感器類型等條件的嚴重影響。因此，基于手指的多模態生物特征認證技術吸引眾多研究人員的高度關注[6-7]，目的是為當前手指單模態生物特征的身份認證系統所遇到上述的問題尋求解決辦法。多模態手指生物特征的認證系統較單模態系統來說，具有更高的普適性、識別準確性、噪聲抵制性、防偽性。本文以手指的生物特征為研究對象，選擇使用具有防偽性的指靜脈特征，并結合其他的指紋、指關節紋、指形生物特征，構建了基于手指的多模態生物特征身份認證方法。

多模態生物特征認證技術的關鍵問題是如何將來自不同模態的生物特征數據實現融合。從生物特征信息的不同利用角度來說，基于多模態生物特征的融合方法可以分為如下的三個主要融合層次：特征層（融合不同模態的生物特征數據），分數層（融合不同模態產生的匹配分數）和決策層（融合不同模態產生的認證結果）[8]。與特征層和決策層融合方法相比較，分數層融合方法能夠從不同模態的類內＼類間的匹配分數中獲得更好的區分性，而且相對來說實現起來也要更為容易。目前，針對手指多模態的分數層融合方法所使用的融合規則，主要包括：基于Sum， Weighted Sum， Max， Min規則的融合方法[7]，基于支持向量機（SVM）的融合規則[6]，基于高斯混合模型（GMM）的分數概率密度估計的融合規則[9]。但是，現有的分數層融合方法的主要缺陷是沒有充分考慮類內與類間分數分布的問題，由此而導致融合后認證性能的提高程度有限。

為了避免上述分數層融合方法的不足，本文提出了一種新的基于三角范數的分數層融合方法來實現多模態手指生物特征的融合。同時，受到文獻[10]的研究工作啟發，本文進一步評估了用于分數層融合的不同三角范數的認證性能，并且提出了基于Sugeno?Weber三角范數的融合方法。與現有其它分數層融合方法比較，基于Sugeno?Weber三角范數的融合方法能夠獲得更好的類內與類間匹配分數分布的區分性，進而將使手指多模態生物特征的身份認證性能得到顯著提高。

1多模態手指生物特征的身份認證方法

1.1 基于三角范數的分數層融合方法的架構

本文針對指紋、指靜脈、指關節紋、指形的多模態融合系統，所設計的分數層融合方法如圖1所示。

圖1 基于三角范數的手指多模態分數層融合方法

Fig.1 Finger multimodal fusion scheme using triangular norm at score level fusion

圖1中分數層融合方法所涉及的具體過程，可描述如下：

（1）指靜脈特征是利用本文之前的研究工作成果，通過Gabor小波與LBP模式所得提取到的GLBP特征[11]；指形特征是通過檢測指靜脈圖像中的手指輪廓，并利用傅里葉描述子（Fourier Descriptors，FD）[7]計算得到；

（2）指紋特征是經過Gabor濾波器卷積所產生的固定長度Fingercode特征[12]所得到，指關節紋特征是經過Log-Gabor的相位一致性模型計算所產生的Pccode特征[2]；

（3）針對每個手指的單一模態特征，分別經過獨立的單模態特征匹配過程，產生對應匹配分數，即 、 、 、 ；

（4）分數 、 、 、 經Max-min規則歸一化到[0，1]區間，歸一化后的結果分別為 、 、 、 ；

（5）利用三角范數計算得到融合后的分數 ，并經閾值匹配來獲得類內＼類間的認證結果。

1.2三角范數的選擇

三角范數在模糊集理論以及信息融合理論中有著重要作用，根據Bonissone等人的結論，三角范數是將二維單位空間映射到一維單位區間的函數[13]：

（1）

并且對 ，三角范數T滿足以下的條件：

（1） 交換律： ；

（2） 結合律： ；

（3） 單調性：如果 ，那么 ；

（4） 邊界條件： 。

以上這些屬性使得三角函數更加適用于多模態的分數層融合。提別需要指出的是，利用三角范數進行分數融合，并不需要所融合的單模態分數具有分布獨立性的假設[10]，而且三角范數滿足結合律，在多模態分數融合過程中，也就不需再考慮所融合單模態分數出現次序問題。同時，三角范數的單調性還可以進一步地保證在融合過程后類內與類間的匹配分數的區分性。

因此，針對手指多模態分數 、 、 、 ，利用三角范數的計算融合后的分數過程如公式（2）所示：

（2）

其后，再將分數 經過與預先設定的閾值 進行比較，不妨設 為類內匹配，否則為類間匹配。

已有的文獻[10]在多模態分數層融合中使用了以下幾種三角范數：

（1）Einstein product （EP） ：

（2）Frank （Fk）：

（3）Hamacher （Hm）： （3）

（4）Yager （Yg）：

（5）Schweizer-Sklar （SS）：

其中， 分別表示歸一化后的單模態分數，實數 為對于三角范數的延展范圍。

如何選擇具體三角范數是實現多模態分數融合的關鍵，因此根據公式（3）中三角范數的定義，本文分析了在[0，1]區間上各函數值的分布情況，如圖2（a）-（e）所示。其中，Frank，Yager，Schweizer- Sklar中p的取值分別對應為0.4，0.5和-0.1，這里p的取值分別是由實驗中基于相應三角范數的分數融合所能獲得的最佳認證性能而最終決定的。由圖2（a）-（e）中，可以發現除了Yager三角范數，其他的三角范數僅能最大化類內分數（Score2），卻不能同時最小化類間分數（Score1）。

因此，本文的目標是繼續尋找新的三角范數用于多模態分數融合，在提高融合后類內分數值的同時，進一步降低融合后類間分數值，使得類內與類間分數更容易得到區分，以利于確定閾值來提高認證性能。也就是說，比較現有的三角范數，最終使得公式（4）和（5）能夠同時成立。

圖2 不同三角范數的數據分布圖

Fig.2 Data distribution graphs of the different t-norms

（4）

（5）

其中， 為融合后的分數值， 為融合后的閾值。

在對三角范數進行研究時，發現Sugeno?Weber三角范數[14]在適當的條件下，可以滿足上述需求。對于給定的 ，有

Sugeno-Weber （SW） [14]： （6）

如圖2（f）所示，通過適當地選擇參數p的取值（ ），三角范數SW即可同時滿足公式（4）和（5）的條件。在下一小節中，將討論基于三角范數SW的手指多模態的分數融合所獲得的認證性能。

2 實驗結果

如圖3所示，手指多模態分數層融合方法是利用指靜脈的HKPUFID圖像數據庫[15]、指紋的 FVC2002圖像數據庫[16]和指關節紋PolyU FKP圖像數據庫[17]來形成的手指多模態圖像樣本進行實驗。其中，指形特征提取使用的圖像均來自指靜脈圖像樣本。由于不同數據庫中樣本類別和樣本數量上的差異，因此針對每種手指單模態特征折中地選擇了100個類別的圖像樣本，每類單模態圖像樣本包含6幅圖像，隨機選擇3幅進行注冊產生特征模板，剩余3幅進行認證性能的測試。因此，實驗中共進行300 （100*3）次多模態的類內匹配，29 700 （100*99*3） 次多模態的類間匹配。

實驗中，等錯誤率（Equal Error Rate，EER）作為評價身份認證性能的指標[5]。EER是指ROC曲線中錯誤匹配率（False Match Rate，FMR）曲線與錯誤非匹配率（False Non-Match Rate，FNMR）曲線的交點。EER數值越低，則代表所使用方法的認證性能越準確越好。

圖3手指多模態樣本圖像實例： a） 指靜脈 b） 指紋 c） 指關節紋 d） 指形

Fig.3 The finger multimodal image samples：a） finger vein image sample b） fingerprint image sample c）finger knuckle image sample d） finger shape image sample

首先，本文給出基于手指單模態特征的身份認證性能的ROC曲線，如圖4所示。其中，指靜脈、指紋、指關節紋、指形四類特征所對應EER性能指標分別為0.36e-02，1.55e-02，2.55e-02，2.73e-02。

圖 4 手指單模態特征的身份認證的ROC曲線

Fig.4 ROC curves of finger unimodal modalities

表1中給出了基于不同分數層融合方法的手指多模態認證性能的EER，可以發現EER隨著所參與融合的手指模態數量增加而降低，從中可以看出使用手指多模態生物特征融合可以提高身份認證性能。而且，基于SW三角范數的融合方法，在選擇參數 時，無論是在融合2個手指特征模態（FVP）、3個手指特征模態（FVPS），還是4個手指特征模態（FVPKS）的情況下，相對表1中其他融合方法均獲得了更好的認證性能。

為了進一步說明SW三角范數的融合方法的優勢，圖5分別給出了不同分數融合方法在FVPKS情況下的ROC曲線。其中，EER數值較低方法的ROC曲線如圖5（a）所示，EER數值較高方法的ROC曲線如圖5（b）所示。從圖5中可以看出，基于SW三角范數融合的手指多模態認證方法具有最佳的認證性能。

圖5 在FVPSK情況下不同分數層融合方法的ROC曲線

Fig.5 ROC curves of different score-level fusion approaches on FVPSK

3 結束語

本文提出了融合指靜脈、指紋、指關節紋、指形的多模態生物特征的身份認證方案，并利用了基于Sugeno-Weber三角范數的分數層融合來提高手指多模態的認證性能。基于三角范數的分數層融合方法不需要任何學習與訓練過程，降低了多模態融合過程中的計算代價。實驗結果表明，Sugeno-Weber三角范數相對其他分數層融合方法，能夠獲得更大的類內與類間分數的分布距離，從而提高手指多模態特征的身份認證性能。

參考文獻：

[1]KUMAR A， ZHOU Y. Human identification using finger images [J]. IEEE Transactions on Image Processing， 2012， 21（4）：2228–2244.

[2]ZHANG L， ZHANG L， Zhang D， et al. Phase congruency induced local features for finger-knuckle-print recognition [J]. Pattern Recognition， 2012， 45（7）：2522–2531.

[3]MALASSIOTIS S， AIFANTI N， STRINTZIS M G. Personal authentication using 3-D finger Geometry [J]. IEEE Transactions on Information Forensics and Security， 2006， 1（1）：12–21.

[4] FENG J， JAIN A K. Fingerprint reconstruction： from minutiae to phase [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（2）：209–223.

[5]LI S Z. Encyclopedia of Biometrics [M]. NJ， USA： Springer， 2009.

[6] KANG B， PARK K. Multimodal Biometric method based on Vein and Geometry of a single finger [J]. Computer Vision， IET， 2010， 4（3）：209–217.

[7]KANG B， PARK K. Multimodal Biometric method that combines veins， prints， and shape of a finger [J]. Optical Engineering Letters， 2011， 50（1）：090501–1–3.

[8]ROSS A A， NANDAKUMAR K， JAIN A K. Handbook of Multibiometrics [M]. London： Springer， 2006.

[9]NANNI L， LUMINI A， BRAHNAM S. Likelihood ratio based features for a trained biometric score fusion [J]. Expert Systems with Applications， 2011， 38（1）：58–63.

[10]HANMANDLU， MADASU， GROVER， et al. Score level fusion of multimodal biometrics using triangular norms [J]. Pattern Recognition Letters， 2011， 32（14）：1843–1850.

[11]PENG J， LI Q， EL-LATIF A.A.A. ， et al. Finger vein recognition with gabor wavelets and local binary patterns [J]. IEICE Transactions on Information and Systems， 2013， E96-D（8）： 1886–1889.

[12]JAIN A K， PRABHAKAR S， HONG L. A multichannel approach to fingerprint classification [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1999， 21（4）：348–359.

[13]BONISSONE， PIERO P. Summarizing and propagating uncertain information with triangular norms [J]. Int. J. Approx. Reasoning， 1987， 1（1）：71–101.

[14]WEBER， SIEGFRIED. A general concept of fuzzy connectives， negations and implications based on t-norms and t-conorms [J]. Fuzzy Sets System， 1983， 11（1-3）：103–113.

[15]http：//www4.comp.polyu.edu.hk/～csajaykr/fvdatabase.htm.

[16]MALTONI D， MAIO D， JAIN A K， et al. Handbook of Fingerprint Recognition [M]. NJ， USA： Springer， 2009.

[17]http：//www.comp.polyu.edu.hk/～biometrics/FKP.htm.