基于分類距離分數的自適應多模態生物特征融合

張 露 王華彬 陶 亮 周 健

1(計算智能與信號處理教育部重點實驗室(安徽大學) 合肥 230601)

2(安徽大學媒體計算研究所 合肥 230601)

(zldiol@163.com)

傳統的單模態生物特征識別技術[1]，如人臉識別[2]、虹膜識別[3]以及指靜脈識別[4]等，雖然取得了不錯的成效，但由于其單一模態的固有限制，僅靠單模態的生物特征識別技術已不能滿足日益提高的安全性等要求.而多模態融合技術[5-6]是將同一個生物的多個不同的生物特征，按照某種融合規則融合成一個整體進行識別，具有更強的區分性和安全性，可以做出更為精確的識別.因此多模態融合技術已成為近年來的研究熱點.1998年，Hong等人[7]首次嘗試將指紋和人臉的生物特征融合規則融合成一個整體進行識別，識別精確有了很大幅度的提高.Jain等人[8]提出了基于指紋人臉和手行的多生物特征識別技術.Jing等人[9]首次嘗試了基于人臉和掌紋圖像的融合識別技術.袁廣林等人[10]提出了基于自適應多特征融合的目標跟蹤算法.支力佳等人[11]融合多種特征點信息的最小生成樹應用到醫學圖像上進行配準.文獻[12-13]分別將層次特征信息、整體和局部信息進行融合，提高了圖像的分類效果.

多模態融合技術一般可以分為4個部分，分別為生物特征信號的獲取、特征提取、特征匹配和分類決策.根據融合信息的不同，可分為傳感器層融合[14]、特征層融合[15]、分數層融合[16]、決策層融合[17].圖1為多模態融合技術的組成以及融合層次.其中，分數層融合是最常用的融合方式，因其包含了類內分數值和類間分數值，可通過某種融合規則增大類間距離、減小類內距離，從而實現分數層的融合識別.目前，對于多模態生物特征融合的研究，大部分文獻均采用分數層進行融合信息.Nandakumar等人[18]將分數層融合分成3類：基于歸一化的融合、基于分類器的融合、基于密度的融合.

Fig. 1 Composition of multimodal fusion technology and the levels of fusion圖1 多模態融合技術的組成以及融合層次

基于歸一化的融合方法，首先將單模態獲取的匹配分數進行歸一化處理，通過某種轉換規則函數得到一個新的轉換分數，用轉換后的分數作為分數指標進行識別.常用的歸一化函數有Min-Max，Z-score，Tanh，Sigmoid[19].文獻[20]提出了一種新的分數轉換函數，得出特征的匹配分數后將其分類，計算每個得分屬于某一類的概率，即分類置信度分數(classification confidence score， CCS).由于CCS加入了類別信息，其分類性能要優于常用的歸一化函數，但CCS對某些特定數據卻沒有很好的分類效果.文獻[21] 提出了一種總錯誤率(total error rate, TER)的概念，將TER代替匹配分數作為融合分數指標引入到融合識別中，此方法計算較為復雜繁瑣.

基于分類器的融合方法，是將匹配分數作為一個特征向量，對此特征向量進行分類.文獻[18]首次提出了用分類器將多個生物特征進行分類識別，從而推導出SUM，MAX等4種基本的融合規則，雖然效果要優于單模態的識別效果，但融合規則過于簡單，沒有考慮到樣本訓練集和測試集的劃分的影響.文獻[21]在不確定度量的基礎上利用信息熵理論，提出基于特征關聯的多特征自適應融合策略，獲得了較好的效果.文獻[22]采用Min-Max歸一化函數對匹配分數進行歸一化處理，融合規則采用加權和的方法，總權重限制為1，沒有考慮生物特征之間的關聯性質.文獻[23-24]采用匹配分數作為融合分數指標，用SVM，KNN等分類器對其進行訓練，但由于SVM參數較多且其設定較困難，時間效率不高.文獻[25-26]利用三角范數公式將歸一化后的匹配分數融合起來，但是構造一個合適的三角范數很困難.

基于密度的融合方法是將匹配分數轉換成后驗概率，根據貝葉斯判決作出最終的決策.文獻[27-28]使用混合高斯模型求取匹配分數的匹配分數密度，將此匹配分數密度用于融合識別，此方法需要準確估計出匹配分數的密度，實現代價較大.

基于歸一化的融合方法只需將匹配分數通過轉換函數轉換成某一分數，不需考慮匹配分數服從某一分布，實現較為簡單；采用SVM，KNN等分類器進行融合，含有較多參數，降低了識別算法的時間效率；基于密度的融合方法需要準確估計出合法用戶和不合法用戶匹配分數的密度，實現較復雜，由于多模態識別系統中合法用戶數目比不合法用戶數目少，其匹配分數很難服從某一分布，因此，很難明確估計出匹配分數的密度.基于此，本文提出了一種基于分類距離分數(classification distance score， CDS )的自適應融合識別算法.相對于分類置信度分數[20]，不僅攜帶有一級分類信息，也包含有匹配分數與分類閾值之間的距離信息，可增大融合后類內類間分數之間的距離，便于設置閾值進行識別；信息熵表示信息價值的多少，通過用信息熵定義關聯系數和特征權重系數，可以讓樣本包含的信息更加集中突出，在不確定度量的融合框架[29]的基礎上，采用關聯系數和特征權重系數，將加權融合和傳統SUM規則統一在同一個自適應的算法框架中，提高了融合識別率.

為了驗證CDS和融合算法的有效性，在單模態數據庫、雙模態數據庫以及三模態數據庫上進行大量實驗，將CDS與傳統的匹配分數和文獻[20]提出的CCS對比，實驗表明CDS取得更好的效果；將本文提出的融合算法和多個融合方法進行比較，實驗表明：本文方法可以取到更好的分類性能.

1 分類距離分數

傳統的分數層融合方法中，其融合分數指標一般為匹配分數，當2類樣本非常相似的情況下，其與類模板的匹配分數數值上很接近，即類內距離和類間距離數值上很接近，不能很好地區分開類內類間的數據.文獻[20]在傳統匹配分數的基礎上，提出了分類置信度分數，該方法可以較好地分離開類內樣本和類間樣本.但是對于匹配分數僅次于分類閾值的數據，卻不能很好地分開.

在文獻[20]的基礎上，本文提出了一種將匹配分數與分類閾值之間的距離分數作為融合的分數指標.分類距離分數不僅含有分類置信度分數的類別信息，也包含匹配分數與分類閾值之間的距離信息，因此，在融合階段采用分類距離分數作為分數指標，可以讓類內類間融合后分數之間的距離增大，提高融合識別率.圖2為距離信息分析圖，其中S為樣本的匹配分數，T為分類閾值，p為距離參數，為保證CDS的取值范圍保持在[0,1]，同時要求類內樣本的分類距離分數遠大于類間樣本的分類距離分數，式(2)中的距離參數p=2較為合適.

Fig. 2 The diagram of distance information analysis圖2 距離信息分析圖

首先，在訓練階段求出每個樣本的匹配分數S，根據匹配分數為每個模態特征訓練一個分類閾值T，大于等于此閾值的為類內樣本，否則為類間樣本；通過比較樣本的S與T的大小，對樣本進行分類；然后再計算每個匹配分數與分類閾值之間的距離和分類閾值的比值，這個比值即為分類距離分數.以下為具體實現的步驟:

1) 用Imean，Omean分別表示生物特征類內、類間的匹配分數的平均值，則可以定義一個閾值T，閾值T是指某一類樣本區別于其他類樣本的一個閾值，可根據此閾值的大小判斷該樣本的類別，從而在融合分數指標中加入類別信息：

(1)

2) 根據求出的分類閾值T，對樣本求出的匹配分數進行分類，然后求出每個樣本的分類距離分數.在單模態下，比較樣本的匹配分數S與分類閾值T的大小，當S≥T時，用式(2)求出該樣本的分類距離分數，否則用式(3)求出該樣本的分類距離分數.如果一個樣本屬于這一類，這個樣本對應于某個類的分類距離分數為正數，否則為負數，即可以很明顯將類內類間樣本區分出來，同時增大了類內類間樣本的融合分數之間的距離.

(2)

(3)

假設有指靜脈匹配器和掌紋匹配器，且類內的匹配分數要高于類間的匹配分數.假設融合公式fusion=2Svein+Spalm，其中Svein，Spalm分別為靜脈和掌紋的匹配分數.對于某一類來說，根據指靜脈區分類內類間的閾值為0.6，根據掌紋區分類內類間的閾值為0.3，其樣本1的匹配分數為(0.3，0.4)，其中0.3，0.4分別為指靜脈、掌紋的匹配分數；樣本2的匹配分數為(0.4，0.2) ，其中0.4，0.2分別為指靜脈、掌紋的匹配分數.由于分類距離分數加入了類別信息，從圖3～圖4可見,本文提出的方法可看出樣本2不屬于此用戶的概率明顯比樣本1大；采用式(2)(3)對不同類別的樣本求出分類距離分數，2個樣本融合分數的距離為2/3，比采用分類置信度分數得出的融合分數之間的距離要大.因此，分類距離分數加入了類別信息以及增大融合后類內類間的距離，可以很好地判斷樣本的類別，便于融合分類.

Fig. 3 The diagram of calculating the classification confidence score and the distance of fusion scores圖3 計算分類置信度分數及其融合分數間距離的示意圖

Fig. 4 The diagram of calculating the classification distance score and the distance of fusion scores圖4 計算分類距離分數及其融合分數間距離的示意圖

2 自適應融合方法

傳統的融合識別算法中，一般給生物特征賦一個全局權重，這種方法具有很大的局限性[20].由于每個生物特征包含的信息不一樣，對于不同的人，具有代表性的生物特征不同.例如：一類樣本的指靜脈信息具有很大的辨識度，而掌紋信息辨識度很低；另一類樣本的掌紋信息具有很大的辨識度，指靜脈信息辨識度很低，因此，對于不同類的樣本，應根據其每個模態所含有效信息的多少賦予不同的權重.文獻[22]雖然考慮到權重的影響，但是僅僅通過簡單加權和的方法對融合分數指標進行融合，沒有考慮到特征與特征之間的相互關聯性.

信息熵是用來衡量一個隨機變量出現的期望值，一個變量的信息熵越大，那么它出現的各種情況也就越多，也就是包含的信息多.本文通過利用信息熵的這一特性，定義每個樣本特征之間的關聯系數和權重系數，利用這2個系數將加權融合和傳統SUM規則統一在同一個自適應算法框架中，進行融合識別.圖5表示多模態生物特征融合的算法流程.

2.1 特征提取

分數層融合是在特征匹配與分類決策之間進行的，因此需要對原始的生物特征進行特征提取.

1) 指靜脈特征是利用文獻[30]的方法，通過對歸一化后的圖像進行增強、Niblack分割、細化以及加寬等處理來得到.

2) 掌紋特征采用文獻[31]的方法，將Gabor和PCA結合起來，對增強后掌紋圖像進行特征提取，每個樣本均可得到一個320維的特征向量.

3) 指形特征是通過檢測到指靜脈的輪廓圖像，通過分層梯度方向直方圖(PHOG)計算得到.

2.2 類模板

為了獲得每類中每個樣本的類間類內的匹配分數，需要為每類訓練一個類模板，這樣既可以減少計算量，也具有代表性.

對于提取的圖像特征，某類的某個樣本圖像的特征向量用hk表示，每類中有M個樣本圖像，k表示第k個樣本圖像，將每類中的每個樣本圖像提取出的特征、對應位置的特征加在一起，同時除以該類所含樣本的數目M，即為每類圖像的類模板.

(4)

其中，k=1,2,…,M.

2.3 融合策略

一個變量的信息熵越大，其含有信息價值越大，本文的融合方法利用信息熵的這一特性，通過求出關聯系數和特征權重系數，關聯系數可以根據特征之間的關聯性，將傳統SUM規則和加權融合統一到一個自適應框架中來，特征權重系數可以根據特征信息動態地調節加權的比重，將所含有的有效信息更突出地表現出來，提高了融合識別率.

2.3.1 特征權重系數

假設每類均融合N個不同的生物特征，分別用F1,F2,…,FN表示每類不同模態的生物特征.在訓練階段，已經求出某類需要融合特征的分類距離分數D_CDSt(Fi)，其中i表示某類需要融合的第i個特征，共N個特征；t表示某類的第t個樣本.

根據信息熵[32-33]理論，采用的信息熵為

H=-pilbpi.

(5)

利用式(5)求出每個分類距離分數對應的信息熵：

Ht(Fi)=-D_CDSt(Fi)×D_CDSt(Fi)，

(6)

其中，Ht(Fi)表示某類里的第t個樣本分類距離分數的信息熵，其物理意義表示為分類距離分數含有的有效信息的多少.

定義特征權重系數式(7).對于某類里的第t個樣本，先通過式(6)計算出其對應的信息熵之后，然后由式(7) 求出一個匹配器相對于其他匹配器的特征權重系數，特征權重系數為特征Fi的分類距離分數的信息熵和其他特征的分類距離分數的信息熵的比重，表明特征Fi在所有特征信息熵中所占的比重信息，比重越大，說明特征Fi含有的有效信息越多，有利于融合后的識別.

(7)

2.3.2 關聯系數

定義某一個特征Fi相對于另外一個特征Fj的偏熵[34]：

HFi(Fj)=-D_CDSt(Fi)×D_CDSt(Fj).

(8)

Fig. 6 The flowchart of training and testing圖6 訓練和測試階段流程

通過定義特征Fi的偏關聯系數式(9)，表示為特征Fi的分類距離分數的信息熵和特征Fi相對于其他特征的分類距離分數的偏熵之和的比值，表明特征Fi與其他模態的特征之間的相互關聯性：

(9)

對于某類的第t個樣本，先通過式(6)(8)計算出其對應的信息熵和偏熵之后，然后由式(9) 求出某一個特征Fi相對于其他特征的偏關聯系數.此時，定義關聯系數為所有特征的偏關聯系數之和，如式(10)，偏關聯系數是指所有模態特征之間的相互關聯性.

(10)

由實驗可知，采用式(6)(8)直接計算出來的信息熵和偏熵的值為復數，為了更簡便地計算，將這2個 計算公式進行了轉化[35]，分別為

2.3.3 融合算法

不確定性度量融合方法[25,36]是利用圖像信息間的不確定性，將加權融合和乘性融合結合起來，并將其放入一個自適應框架中.文獻[21]考慮到圖像信息間的相關性，提出了一種基于特征關聯性的自適應融合框架[37-38]，將乘性規則和加性融合統一在一個框架中.由于乘性規則易受到樣本訓練集和測試集劃分的影響，且沒有SUM規則的識別效果好，因此本文通過將傳統的SUM規則和加權融合統一在一個自適應框架中，利用信息熵表示信息的價值，將某一個特征Fi的信息熵和其他所有特征的信息熵之和的比重作為特征權重系數rt，特征權重系數rt可以根據特征含有有效信息的多少賦予相應的權重系數，起到有效利用有效信息的作用；用某個樣本t的某個特征Fi和Fi與其他特征之間偏熵之和的比重表示關聯系數λt，λt表示不同模態特征之間的關聯性，可以根據特征與特征之間的聯系，動態地調節2種基礎融合方法——SUM規則和加權融合的權重，即本算法通過2層權重，將含有有效信息多的特征作為融合識別算法中的重點，實驗證明取得了不錯的識別效果：

(13)

由實驗可知，λt的數值較高，且加權融合的識別效果比SUM規則要好，所以將λt作為加權融合的系數，K為不為0的自然數.

2.4 訓練和測試階段

多模態生物特征融合的識別系統主要包括2個階段：訓練階段和測試階段.

1) 訓練階段

① 對樣本圖像預處理，進行特征提取；

② 根據2.2節求出每個類的均值模板，求出樣本與每個類模板的匹配分數；

③ 利用第1節的方法求出每類的閾值，并將匹配分數轉化為分類距離分數；

④ 將分類距離分數轉化為信息熵，并計算出每個樣本的特征權重系數和關聯系數；

⑤ 根據2.3.3節的方法，求出2種生物特征融合后的分數fusion，根據此融合分數求出每個類的融合后的閾值，為后面測試階段提供 分類依據.

2) 測試階段

求出測試樣本中某類的樣本與每類的類模板的匹配分數，同訓練階段一樣，求出生物特征融合后的分數，與訓練階段求出的融合閾值進行比較，驗證是否屬于同一類.詳細流程如圖6所示.

3 實驗與結果

本文實驗采用的是天津市智能信號與圖像處理重點實驗室提供的指靜脈圖庫、香港理工大學的掌紋公開數據庫和指形數據庫，由于目前沒有來自同一個用戶的多個生物特征圖像的多模態數據庫，且考慮到生物特征之間的無關性，因此，將多模態的圖像數據用人為的方式進行1對1的匹配，確定為同一個用戶的生物特征圖像.因為不同來源的數據庫類別和數量上都會存在差異，所以針對每個用戶的單模態特征折中地進行選取，共取64個用戶，每個用戶的單模態特征圖像有6個樣本，隨機選取2幅作為訓練樣本，剩下的4幅作為測試樣本.為了驗證本文提出分類距離分數CDS和自適應融合算法的有效性，共設計5個實驗：

實驗1. 為尋找到融合算法最佳的參數，可以使本文提出的自適應融合方法和分數距離分數相結合達到最優的識別效果.

實驗2. 比較在不同模態下采用不同融合分數指標的性能，融合方法均選擇自適應融合算法進行識別，驗證本文第1節提出的CDS的有效性.

實驗3. 分別將分類置信度分數CCS和CDS作為分類指標，并與SVM分類器和本文提出自適應融合識別相結合性能的比較，不僅進一步驗證了CDS的有效性，同時也驗證了本文提出的自適應融合算法的有效性.

實驗4. 將自適應融合方法和常系數融合方法進行比較，驗證本文提出自適應融合方法中自適應參數λt，rt的有效性.

實驗5. 采用自適應融合識別的方法，與其他融合識別方法的性能進行比較，均采用CDS作為融合分數指標，驗證本文提出的自適應融合算法的有效性，以及CDS與自適應融合算法結合的合理性.

本文實驗采用錯誤率(error rate,ER)來評價融合識別的性能.ER值越低，表示識別性能越好.其中，用FV表示單模態的指靜脈識別，用PP表示單模態的掌紋識別，用CT表示單模態的指形識別.

3.1 實驗1

通過比較雙模態下、三模態下采用自適應融合方法的識別性能，從而選取最優的K值.其中，融合分數指標采用分類距離分數CDS.

通過圖7可以看出，在雙模態下，當K≥2時，識別性能已經達到最優，其中指靜脈和掌紋的融合性能已經穩定，指靜脈和指形的融合性能ER隨著K的增大會逐漸增大；在三模態下，當K≥3時，識別性能已經達到最優，趨于穩定.因此，取雙模態和三模態的取值交集的最小值，最后K=3.

Fig. 7 Recognition performance of adaptive fusion methods with different values of K圖7 不同K值對應的自適應融合方法的識別性能

3.2 實驗2

通過分別比較單模態、雙模態和三模態下不同融合分數指標的識別性能，從而證明了采用分類距離分數CDS作為融合分數指標的有效性，其融合方法采用本文提出的自適應融合方法.

從表1可以看出，單模態下將CDS作為融合分類指標，每個模態的ER都得到了一定程度的下降，其中指形在單模態下相對于傳統匹配分數，其ER下降了10.8154%，可見通過增大類內類間距離以及把類別信息加入到CDS中，其分類效果要優于傳統的匹配分數.從表2可知，無論是雙模態下還是三模態下，將分類置信度分數作為融合分數指標得到的識別效果還沒有將匹配分數作為融合分數指標的好，但是將CDS作為融合分數指標得到的識別效果ER遠遠低于匹配分數和分類置信度分數，這是因為CDS不僅增大了類內類間的距離，還加入了類別信息，將匹配分數含有的有效信息盡可能地利用起來.由此可見,將CDS作為融合指標可以提高識別率，從而證明了第1節中提出的分類距離分數CDS作為融合分數指標的合理性和有效性.

Table1ERPerformancewithDifferentFusionScoreMetricsforSingleMode

表1 單模態下采用不同融合分數指標的ER性能 %

Table2ERPerformanceofDifferentFusionScoreMetricsforDifferentModes

表2 不同模態下采用不同融合分數指標的ER性能 %

3.3 實驗3

雙模態和三模態下，分別將分類置信度分數CCS和分類距離分數CDS作為分類指標，并分別與SVM分類器和本文提出自適應融合算法相結合，對其識別性能進行比較.

為了進一步說明分類距離分數CDS作為融合分數指標的優越性，結合表3可以看出,當均采用SVM進行融合識別時，明顯CDS作為融合分類指標的ER要遠低于CCS；當均采用自適應融合算法時，將CDS作為融合指標的ER相對于CCS，平均下降了1.796 454%，由此可見,將分類距離分數CDS作為融合分數指標的優越性.

Table 3 ER Performance of Uniting Different Fusion Score Metrics and Different Fusion Methods for Different Modes

當均采用分類置信度分數作為融合分數指標時，明顯自適應融合的識別性能ER低于SVM分類器的識別性能；當均采用分類距離分數作為融合分數指標時，SVM分類器的識別性能ER相對于自適應融合的識別性能平均增大了0.22673%，可見自適應融合的識別性能要高于SVM分類器的識別性能，驗證了自適應融合算法的有效性.

當采用分類距離分數CDS和自適應融合算法時，對比其他3種相結合方法的識別效果，其效果識別要遠好于其他3類算法，可見CDS與自適應融合算法相結合的合理性.

3.4 實驗4

通過比較常系數的融合方法和自適應融合方法的性能，進一步驗證自適應融合算法中參數λt，rt的有效性.由于單模態下指靜脈的識別效果要優于掌紋和指形，所以雙模態融合時，rvein=0.8，rpalm=0.2，λt取K值的一半，即λt=1.5；三模態融合時，rvein=0.5，rpalm=0.25，rcoutour=0.25，λt=1.5.其中，以分類距離分數CDS作為融合分數指標.

從表4可以看出，采用自適應的融合識別方法比常系數的融合方法要好.由于本實驗選取的常系數取值趨近于自適應融合方法各系數的取值，且采取的是分類距離分數作為融合分數指標，所以常系數的融合方法的識別率還是很高的，盡管如此，其識別效果還是低于自適應融合方法.自適應參數可以根據CDS的信息熵的大小來判斷每個CDS帶有有效信息的多少，參數可以根據有效信息動態地調整融合算法的權重，達到充分利用有效信息的目的.

Table4ERPerformanceofAdaptiveFusionMethodandtheConstantCoefficientFusionMethod

表4 自適應融合方法和常系數融合方法的ER性能 %

3.5 實驗5

通過比較雙模態、三模態下采用分類距離分數CDS作為融合指標，分別與現有的融合方法相結合，對其識別性能進行比較.

表5可以看出，無論是雙模態還是三模態，將分類距離分數與自適應融合算法結合起來的識別ER是最低的，識別效果是最好的，其中掌紋和指靜脈的融合性能ER最低為0.012207%，指靜脈和指形的融合性能ER最低為0.061035%，掌紋、指靜脈和指形的融合性能為0.012207%.

為了進一步說明自適應融合方法的有效性，圖8～10給出了不同模態下不同融合方法的ROC曲線圖.

Table5ERPerformanceofUnitingDifferentFusionScoreMetricsandCDSforDifferentModes

表5 不同模態下CDS結合不同融合方法的ER性能 %

Fig. 8 The ROC curves of the fusion of PP and FV圖8 掌紋和指靜脈融合的ROC曲線圖

Fig. 9 The ROC curves of the fusion of CT and FV圖9 指形和指靜脈融合的ROC曲線圖

Fig. 10 The ROC curves of the fusion of CT,FV and PP圖10 指形、指靜脈和掌紋融合的ROC曲線圖

先看圖8，其為掌紋和指靜脈的不同融合性能的比較，可以看出MAX規則的融合方法性能是最差的，自適應融合方法、SVM分類器以及MIN規則的性能相對來說很好，雖然圖8中的這3條線看起來幾乎是重合的，但SVM分類器和MIN規則仍在自適應融合方法的曲線內，說明自適應融合方法的性能是最好的.圖9和圖10很明顯可以看出，自適應融合的識別性能遠優于其他的融合方法，從而驗證自適應融合算法的有效性.

實驗5均采用分類距離分數作為融合分數指標，表5可以看出，將分類距離分數和SVM、三角范數等融合算法結合進行識別時，識別效果并沒有和本文提出的自適應融合算法相結合的識別效果好.首先因為分類距離分數相對于傳統的融合分數指標攜帶有更多的有效信息，本文提出的基于信息熵的自適應融合算法，可以通過信息熵有效利用分類距離分數含有的有效信息，同時參數λt，rt可根據每個模態特征含有有效信息的比重信息動態調整自適應算法的框架結構，所以分類距離分數和自適應融合算法的結合具有合理性.

3.6 時間效率分析

通過實驗1～實驗5的分析，可知本文提出的算法在識別率是優于對比算法的.由表6可知，本文提出的方法在所用時間上僅略高于MAX方法，但是由于MAX融合規則較簡單，沒有考慮到訓練集和測試集劃分的影響，其融合識別效果低于本文提出的方法.由于指靜脈特征集采用的是原始圖像的信息，不是對原始圖像提取特征之后的信息，這在特征集與特征集比較的過程中需要消耗大量的時間.為了提高本文算法的時間效率，可考慮對樣本進行特征提取，將對整幅圖像信息的操作轉換為低維數據的處理.

Table 6 The Recognition Time of One Class in Testing Process

4 總 結

本文提取了一種基于分類距離分數的自適應融合識別方法.實驗表明分類距離分數不僅在一定程度上反映了特征的性能，也可預分類樣本特征，為融合算法提供了一個具有有效判別信息的特征融合集，大大提高了融合指標的利用率；其次利用信息熵的自適應融合算法既可以有效利用分類距離分數的判別信息，也可利用雙層權重系數根據有效信息動態地調整融合算法的權重，達到充分利用有效信息的目的，從而提高融合識別率.

圖像的特征是其固有的屬性，如何有效地利用這些固有的屬性特征進行融合分類是一個有意義的研究課題.本文改進了融合分數指標以及特征融合算法，為解決多模態特征間的融合問題提供了一個新的思想.

[1] Zheng Fang, Rozi A, Wang Renyu, et al. Overview of biometric recognition technology[J]. Journal of Information Security Research, 2016, 2(1): 12-26

[2] Zhang Shiqing, Zhao Xiaoming. Locality-sensitive kernel sparse representation classification for face recognition[J]. Journal of Visual Communication and Image Representation, 2014, 25(8): 1878-1885

[3] Sun Zhenan, Zhang Hui, Tan Tieniu, et al. Iris image classification based on hierarchical visual codebook[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2014, 36(6): 1120-1133

[4] Yang Jinfeng, Shi Yihua. Finger-vein network enhancement and segmentation[J]. Pattern Analysis and Applications, 2014, 17(4): 783-797

[5] Sanjekar P S, Patil J B. An overview on multimodal biometrics[J]. Signal and Image Processing, 2013, 4(1): 57-64

[6] Gudavalli M, Raju S V, Babu A V, et al. Multimodal biometrics—sources, architecture and fusion techniques: An overview[C] //Proc of Int Symp on Biometrics and Security Technologies. Los Alamitos, CA: IEEE Computer Society, 2012: 27-34

[7] Hong Lin, Jain A K. Integrating faces and fingerprints for personal identification[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 1998, 20(12): 1295-1307

[8] Jain A K, Ross A. Learning user-specific parameters in a multibiometric system[C] //Proc of the 9th Int Conf on Image Processing. Piscataway, NJ: IEEE, 2002: 57-60

[9] Jing Xiaoyuan, Yao Yongfang, Zhang D, et al. Face and palmprint pixel level fusion and kernel DCV-RBF classifier for small sample biometric recognition[J]. Pattern Recognition, 2007, 40(11): 3209-3224

[10] Yuan Guanglin, Xue Mogen, Han Yusheng, et al. Mean shift object tracking based on adaptive multi-features fusion[J]. Journal of Computer Research and Development, 2010, 47(9): 1663-1671 (in Chinese)

(袁廣林, 薛模根, 韓裕生, 等. 基于自適應多特征融合的mean shift目標跟蹤[J]. 計算機研究與發展, 2010, 47(9): 1663-1671 )

[11] Zhi Lijia, Zhang Shaomin, Zhao Dazhe, et al. Minimum spanning tree fusing multi-feature point information for medical image registration[J]. Journal of Computer Research and Development, 2011, 48(3): 501-507 (in Chinese)

(支力佳, 張少敏, 趙大哲, 等. 融合多種特征點信息的最小生成樹醫學圖像配準[J]. 計算機研究與發展, 2011, 48(3): 501-507)

[12] Zhu Jun, Zhao Jieyu, Dong Zhenyu. Image classification using hierarchical feature learning method combined with image saliency[J]. Journal of Computer Research and Development, 2014, 51(9): 1919-1928 (in Chinese)

(祝軍, 趙杰煜, 董振宇. 融合顯著信息的層次特征學習圖像分類[J]. 計算機研究與發展, 2014, 51(9): 1919-1928)

[13] Zhang Pan, Lian Qiusheng. Low-Rank relaxed collaborative representation combined with global and local features for face recognition[J]. Journal of Computer Research and Development, 2014, 51(12): 2663-2670 (in Chinese)

(張盼, 練秋生. 融合整體與局部特征的低秩松弛協作表示[J]. 計算機研究與發展, 2014, 51(12): 2663-2670)

[14] Meng Weizhi, Wong D S, Furnell S, et al. Surveying the development of biometric user authentication on mobile phones[J]. IEEE Communications Surveys and Tutorials, 2015, 17(3): 1268-1293

[15] Haghighat M, Abdel-Mottaleb M, Alhalabi W. Discriminant correlation analysis: Real-time feature level fusion for multimodal biometric recognition[J]. IEEE Trans on Information Forensics and Security, 2016, 11(9): 1984-1996

[16] He Mingxing, Horng S J, Fan Pingzhi, et al. Performance evaluation of score level fusion in multimodal biometric systems[J]. Pattern Recognition, 2010, 43(5): 1789-1800

[17] Liu Haicang, Li Shutao. Decision fusion of sparse representation and support vector machine for SAR image target recognition[J]. Neurocomputing, 2013, 113: 97-104

[18] Nandakumar K, Chen Yi, Dass S C, et al. Likelihood ratio-based biometric score fusion[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2008, 30(2): 342-347

[19] Ross A A, Nandakumar K, Jain A K. Handbook of Multibiometrics[M]. Berlin: Springer, 2006

[20] Xi Xiaoming, Yin Yilong, Yang Gongping, et al. Personalized fusion method based on finger vein and finger contour[J]. Journal of Computer Research and Development, 2013, 50(9): 1914-1923 (in Chinese)

(襲肖明, 尹義龍, 楊公平, 等. 基于手指靜脈和手指輪廓的個性化融合方法[J]. 計算機研究與發展, 2013, 50(9): 1914-1923)

[21] Wu Di, Tang Yongqi, Lin Guohan, et al. Multibiometric recognition based on total error rate and feature correlation adaptive fusion[J]. Journal of Optoelectronics·Laser, 2016, 27(1): 67-76 (in Chinese)

(吳迪, 唐勇奇, 林國漢, 等. 基于總錯誤率和特征關聯的自適應融合多模態生物特征識別[J]. 光電子·激光, 2016, 27(1): 67-76)

[22] Cui Feifei, Yang Gongping. Score level fusion of fingerprint and finger vein recognition[J]. Journal of Computational Information Systems, 2011, 7(16): 5723-5731

[23] Yuan Chenhu, Liu Tiegen, Li Xiuyan. Identification algorithm for fusion of hand vein iris and fingerprint based on kNN-SVM[J]. Opto-Electronic Engineering, 2013, 40(4): 101-105 (in Chinese)

(袁臣虎, 劉鐵根, 李秀艷. 基于kNN-SVM的手背靜脈虹膜和指紋融合身份識別[J]. 光電工程, 2013, 40(4): 101-105)

[24] Gawande U, Zaveri M, Kapur A. A novel algorithm for feature level fusion using SVM classifier for multibiometrics-based person identification[J]. Applied Computational Intelligence and Soft Computing, 2013, 2013: 1155-1166

[25] Wu Di, Cao Jie. Multimodel biometrics fusion based on FAR and FRR using triangular norm[J]. International Journal of Computational Intelligence Systems, 2015, 8(4): 779-786

[26] Peng Jialiang, Li Qiong, Niu Xiamu. Finger multimodal biometric verification based on score-level fusion[J]. Intelligent Computer and Applications, 2014, 4(2): 36-44 (in Chinese)

(彭加亮, 李瓊, 牛夏牧. 基于三角范數的多模態手指生物特征的分數層融合方法[J]. 智能計算機與應用, 2014, 4(2): 36-44)

[27] Tran Q D, Liatsis P, Zhu Bing, et al. Using density based score fusion for multimodal identification systems under the missing data scenario[C] //Proc of Developments in E-systems Engineering. Los Alamitos, CA: IEEE Computer Society, 2011: 238-242

[28] Aravinth M J, Valarmathy D S. A novel feature extraction techniques for multimodal score fusion using density based gaussian mixture model approach[J]. International Journal of Emerging Technology and Advanced Engineering, 2012, 2(1): 189-197

[29] Gu Xin, Wang Haitao, Wang Lingfeng, et al. Fusing multiple features for object tracking based on uncertainty measurement[J]. ACTA Automatica Sinica, 2011, 37(5): 550-559 (in Chinese)

(顧鑫, 王海濤, 汪凌峰, 等. 基于不確定性度量的多特征融合跟蹤[J]. 自動化學報, 2011, 37(5): 550-559)

[30] Zhao Dandan. Novel algorithm for finger-vein image enhancement and thinning and its application in recognition[D]. Hefei: Anhui University, 2015 (in Chinese)

(趙丹丹. 手指靜脈圖像的增強和細化算法及其在身份識別中的應用[D]. 合肥: 安徽大學, 2015)

[31] Guo Jingyu. The research of palmprint identification algorithm[D]. Hefei: Anhui University, 2015 (in Chinese)

(郭婧宇. 基于掌紋的身份識別算法研究[D]. 合肥: 安徽大學, 2015)

[32] Shannon C E. A mathematical theory of communication[J]. The Bell System Technical Journal, 1948, 27(3): 379-423

[33] Omari A, Figueiras-Vidal A R. Feature combiners with gate-generated weights for classification[J]. IEEE Trans on Neural Networks and Learning Systems, 2013, 24(1): 158-163

[34] Jiang R M, Crookes D, Luo Nie. Face recognition in global harmonic subspace[J]. IEEE Trans on Information Forensics and Security, 2010, 5(3): 416-424

[35] Feng Shikun, Lei Zhen, Yi Dong, et al. Online content-aware video condensation[C] //Proc of IEEE Int Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2012: 2082-2087

[36] Wu Di. Audio-visual person recognition based on rank level fusion and Gaussian mixture model[J]. International Journal of Control and Automation, 2015, 8(4): 313-332

[37] Lin Sen, Xu Tianyang, Tang Yonghua, et al. Palm vein identity recognition based on improved S-transform[J]. Journal of Optoelectronics·Laser, 2015, 26(9): 1776-1782 (in Chinese)

(林森, 徐天揚, 湯永華, 等. 基于改進S變換的手掌靜脈身份識別[J]. 光電子·激光, 2015, 26(9): 1776-1782)

[38] Wang Feng, Jin Xiaobo, Yu Junwei, et al. A positive recognition algorithm for fake plate vehicles based on fusion strategy[J]. Journal of Optoelectronics·Laser, 2015, 26(11): 2209-2216 (in Chinese)

(王峰, 靳小波, 于俊偉, 等. 基于融合策略的套牌車主動識別算法[J]. 光電子·激光, 2015, 26(11): 2209-2216)ZhangLu, born in 1991. Master. Her main research interests include pattern recognition and information processing.