利用特征距離信息引導決策融合的多模態生物特征識別方法

周晨怡，黃 靖*，楊 豐，劉婭琴

(1.南方醫科大學生物醫學工程學院，廣州 510515；2.廣東省醫學圖像處理重點實驗室(南方醫科大學)，廣州 510515)

隨著互聯網應用的普及，人們在越來越依賴互聯網的同時，信息安全也面臨著較大的風險。為了保證個人隱私信息的安全性，除了用戶要提高個人信息保護意識以外，基于生物特征識別的身份驗證技術也亟待提升。單一模態的生物特征識別技術由于易受噪聲污染[1]且復制和偽造難度低[2]，無論是在識別率還是穩定性上都不能達到完美的結果[3]。因此研究者們針對以上缺點提出了多模態生物特征識別技術，通過融合面部、指紋、掌紋、聲音和虹膜等[4]多種特征來提高生物特征識別的穩定性、準確性和不可偽造性[5]。

生物特征識別系統分為圖像采集、特征提取、特征匹配以及分類決策四個階段。根據融合的階段不同，多模態生物特征融合方法可分為四類，即傳感器層融合[6]、特征層融合[7-8]、分數層融合[9-10]以及決策層融合[11-12]。傳感器層融合是將多個采集器采集到的數據進行拼接，因此對采集裝置的要求較高。特征層融合是指將多個模態的特征向量進行融合，從而使融合后的特征向量具有比單模態更強的識別能力[12]。分數層融合是指在識別過程中生成一個多模態匹配分數[13]，并對其使用歸一化等方式提高匹配精度。決策級融合則是將多個分類器的分類結果融合得出最終決策[14]。其中，特征層融合作為信息量最多的融合層，理論上能夠取得最佳的識別效果[4]，但是由于異質特征融合過程中會存在不同生物特征難以兼容的問題，在特征層融合的難度較大[15]，常見的特征層融合方法有典型相關分析法(canonical correlation analysis, CCA)[16-17]以及判別相關分析法(discriminant correlation analysis, DCA)[12]等。

決策層作為高層次的融合，它所需處理的數據量相比起其他層次小，通信量小，抗干擾性較強[18]。Kittler等[19]提出使用簡單的邏輯“與”“或”運算，即AND規則和OR規則進行融合。但是由于決策層融合所涉及的信息量過小，提升的程度有限，因此雖然其簡單可行，但是在處理中會忽略特征之間的內在聯系。Sinha等[20]提出使用加權投票進行表決，即在各個分類器相同權重的情況下，以“少數服從多數”的方式得出最終決策。為了進一步提高準確性。Pinar等[21]使用模糊決策進行決策層融合，即應用模糊集合論把不易量化的因素和信息進行量化處理，再通過模糊集合的數學運算，變非定量決策為定量決策。但是以上的方法只是針對決策層的少量信息進行融合，受各模態分類性能差異和外部噪聲等因素影響較大。

為了彌補決策層信息不足的缺點，提出一種基于特征信息引導的決策層融合方法，應用于虹膜、手指靜脈和手掌靜脈三種模態的身份識別。利用特征距離的分布信息對決策融合進行引導，同時增加分類器分類性能參數作為決定置信度的另一個主要因素，不僅在特征層面上，更在分類性能的層面上對置信度進行定量的描述，從而完善本文提出的多模態生物特征識別系統，同時達到識別精度和抗干擾能力的提升。

1 單模態生物特征

為了提高身份認證的安全性，使用虹膜、手指靜脈和手掌靜脈三種單模態特征進行融合。靜脈識別由于其活體識別和不外顯的特點[22]，能夠提高識別系統的安全性。同時，三種模態在特征上相互獨立且互補[23]，使入侵者很難同時偽造用戶的多組生物特征[24]。針對不同模態特征，下面將根據各模態生物特征的特性進行預處理。

1.1 虹膜特征

虹膜為位于黑色瞳孔和白色鞏膜之間的環形可視區域，包含細絲、斑點、冠狀等豐富的紋理結構。這些特征在嬰兒發育階段形成后，便具有終身不變性[25]，竊取和復制虹膜的難度大，因此虹膜識別方法的安全性較高。虹膜識別中，對虹膜圖像的預處理和虹膜區域的定位會影響其識別率。為了準確地定位虹膜的內外邊界，去除發絲和眼瞼的干擾，使用Canny算子檢測圖像邊緣，采用Hough變換定位瞳孔以及虹膜邊界[26]。

1.2 手指靜脈特征

手指靜脈不同于傳統的指紋，其中流動中的血液可吸收特定波長光線，形成清晰的靜脈圖像[27]。手指靜脈識別是根據手指有規則的定向排列的條狀靜脈紋路進行身份識別，因此其擁有特征不外顯，不易于竊取的優點[28]。在手指靜脈進行識別之前，需要對其進行預處理操作，對手指區域提取出感興趣區域(region of interest, ROI)，再經過自適應局部對比度增強[29]算法完成對手指靜脈圖像的預處理。

1.3 手掌靜脈特征

手掌靜脈與手指靜脈同為活體識別，包含靜脈多且重復概率低于指紋[22]，同樣了受到身份鑒別領域的青睞。由于手掌靜脈識別性能的高低很大程度上取決于手掌靜脈圖像的質量[30]，因此采用文獻[31]的增強方法，對原始的手掌圖像進行去掌紋的靜脈圖像增強處理。

1.4 特征識別過程

為了方便驗證多模態生物特征識別方法的識別性能與抗干擾能力，對所有單模態生物特征采用主成分分析方法(principal component analysis, PCA)[31]進行壓縮并提取特征，計算兩幅圖像之間的特征距離，將待測圖像按最近鄰分類法進行分類，得識別結果。

2 基于特征信息引導決策融合的多模態生物特征識別方法

以虹膜、手指和手掌靜脈三種特征組成多模態生物特征識別系統，識別系統的框架如圖1所示。

2.1 決策融合的權重計算

2.1.1 特征距離的歸一化

為了豐富決策層的信息，利用特征層的距離信息輔助引導決策層融合，根據特征距離信息計算各模態的置信度，用置信度進行權重判定，從而得出預測結果。

圖2 特征距離分布及量綱

根據文獻[9,32]研究分析，對于特征匹配距離來說，真值距離(即識別正確的匹配距離)和假值距離(即識別錯誤的匹配距離)分布的非重疊區域越大，則該模態的特征識別能力越強，越不容易識別錯誤。

首先計算一個基于真值距離和假值距離之間的非重疊區域參數作為量綱：

γk=max(Imp,k)-μ(Imp,k)+μ(Gen,k)-min(Gen,k)

(1)

式(1)中，μ表示均值；Gen,k為真值距離集合；Imp,k為假值距離集合，對于三模態的生物特征識別系統來說k=1,2,3。由式(1)可知，γk為圖2中的非重疊區域。γk越高，則說明距離之間的區分度越高，分類能力越強。考慮到重疊鄰域存在介于均值和極值之間的距離分數，去除重疊鄰域使γk更體現距離的區分能力。

(2)

2.1.2 置信度及權重的計算

在識別系統中，拒識率(false rejection rate，FRR)是衡量系統分類性能的一個重要參數。拒識率是指系統將真正的合法個體拒絕，從而造成的出錯概率，其值越低，系統的性能越好。在多模態識別過程中，模態間的分類性能差異會降低系統的識別精度。因此，將拒識率納入模態置信度的計算，有利于融合系統有效地提取分類能力的信息。根據特征距離信息以及拒識率，計算每個模態的置信度為

(3)

計算每個模態在決策層融合的權重為

(4)

模態權重值反映了各模態的子分類結果在決策中所處的地位，因此會直接影響到最終決策的質量和效果。選擇融合系統的特征距離信息以及分類拒識率作為權重因子的兩個主要參數。權重因子越高，該模態的分類能力越強，對于最終決策的影響力越大。

2.2 決策層融合

在決策融合時，利用式(4)計算得出的權重因子作為子決策的權重得出最終決策H：

(5)

(6)

式中，Hk為每個子模態的識別結果;Cj為目標類別。

本文所提出的基于特征信息引導的決策融合方法，通過計算每一模態匹配時的距離量綱[圖2和式(1)]獲得包含模態區分能力的特征距離信息。由于特征距離來自不同模態，其匹配距離所包含的信息不同，為非標準化的特征距離。本文的優點在于不追求其標準化，而是通過提取特征距離在分布上的有效信息，加上系統的拒識率，得到該模態的置信度。將這個置信度通過數學映射得出權重，從而引導進行決策級的融合。所提出的決策融合策略是根據數量龐大的統計結果和一定的學習方式，權衡對比匹配從而得出最終的決策結果。

3 實驗結果與分析

由于目前暫無公開的多模態生物特征數據庫，且研究[35]表明兩個個體之間生物特征在統計學上是獨立的，因此將三種模態數據庫進行隨機的1對1匹配，組成一個虛擬的同源多模態數據集。數據庫中包括100位用戶，每位用戶分左右側各采集6個樣本。如圖3所示，每個樣本包括1幅虹膜、1幅手掌靜脈和3幅手指靜脈圖像。其中，虹膜圖像來自CASIA-IrisV4數據庫，分辨率為640×480；手掌靜脈圖像采用香港理工大學生物特征識別研究中心(PolyU_BRC)手掌靜脈數據庫中的ROI圖像，原始圖像大小為128×128的256色灰度圖像；手指靜脈圖像選取山東大學機器學習與數據挖掘實驗室的SDUMLA-HMT手指靜脈數據庫，大小為320×240像素，包含了食指、中指以及無名指的手指靜脈。本文實驗的測試環境為安裝了MATLAB軟件(版本:2015年)的臺式計算機，主機配置：CPU為Intel(R)Core(TM)i5-6500 @ 3.20 GHz，安裝內存為8GBRAM。

圖3 多模態特征識別數據庫范例

為了驗證本文提出的基于特征距離信息引導的決策層融合算法的有效性和魯棒性，共設計了4個實驗：

實驗1比較在不同的訓練樣本數下，本文方法的識別時間和識別率。

實驗2比較在不同模態的組合之下，多種決策融合方法的性能，驗證本算法在不同的多模態系統下的有效性。

實驗3為了驗證本算法充分利用特征層等前項信息的假設，在系統增加特征融合，對多種決策融合方法的性能進行比較。

實驗4為了驗證本識別系統在復雜情境下具有自適應能力的假設，比較在PCA特征能量較低情況下，不同決策融合方法的性能優劣。

3.1 實驗1

在使用PCA算法壓縮多模態特征向量空間時，需要把數據庫中圖像分為訓練集和測試集，并且訓練集和測試集的比例會影響到最后的測試結果。為了選擇最佳的參數，實驗通過改變每類訓練樣本的個數(N=2,3,4,5)得到不同的識別率，其中類內總數為6。在其他條件相同的情況下，比較不同訓練樣本個數下多模態識別系統的識別率和識別時間，實驗結果如表1所示。

表1 不同訓練樣本個數下的識別時間和識別率比較

通過表1可以看出，隨著訓練樣本個數的增加，多模態生物特征系統的識別率逐漸增長，當N≥3時，識別率已經達到最優，但識別時長也逐漸增長。因此選擇訓練樣本數為3，既保證了識別的精度，又縮短了運行時間。

3.2 實驗2

根據實驗1的結果，選擇每類訓練樣本個數為3。為了驗證本文提出的決策融合算法的有效性，分別選擇雙模態模式：虹膜和手掌靜脈，虹膜和手指靜脈，以及三模態模式：虹膜、手掌和手指靜脈進行特征匹配，比較四種決策層融合算法的識別率。

從表2可以看出選擇AND規則的識別率在各模式下均為最低。除此之外，對于使用模糊決策和投票方法，增加模態后識別率確有提升，但無論是雙模態還是三模態下均低于本文提出的方法，說明了在增加特征匹配的距離信息和分類性能作為決策權重指標之后，系統識別效果提升。

表2 不同模態下各種決策融合方法的識別率對比

3.3 實驗3

由表2可知，本文提出的算法相比于其他決策融合算法，識別效果更優。為了進一步證明本文算法融合了特征層信息豐富的優點，對實驗2中的三模態識別系統繼續進行實驗。在保證三模態識別系統其他部分不變的情況下，在手指靜脈模態中增加了特征層融合——使用典型相關分析CCA[16, 37]以及判別相關分析DCA[12]融合食指、中指以及無名指的手指靜脈特征，觀察其對最終的識別結果造成的影響，其中CCA和DCA分別可以通過并行[38-39]和串行[38-39]方法進行融合。

表3 多模態下各種決策融合方法的識別率對比

通過表3可以觀察到，使用不同的特征融合方法，都會給AND規則、模糊決策和多數投票的決策融合方法帶來識別率的提升(2.67%～15.66%)。但是對于本文提出的方法而言，增加特征層的融合方法，系統的識別率并沒有提升，這證明了本文所提出的方法已經充分地利用特征層級的豐富信息應用于決策，不需要再進行額外的特征融合。本文提出的算法補充了特征距離和分類性能參數的信息，對識別精度的提升優于一般決策融合算法。

3.4 實驗4

在使用PCA算法對特征向量空間進行壓縮的過程中，需要選擇保留的特征主成分能量百分比，即保留了原特征向量空間內信息的百分比。為了驗證本識別系統在復雜情境下的自適應能力，以實驗3為基礎(保留手指靜脈模態中的特征融合)，在保證其他條件相同時，降低特征分量的主成分能量百分比，模擬環境噪聲較大時，單模態識別性能下降的情況。在改變特征主成分能量(從25%變化至95%)下，圖4為使用串并行CCA和串并行DCA的特征融合后，不同決策融合算法的識別率曲線。通過圖4可以很明顯地發現，模擬識別系統出現噪聲時，AND規則、模糊決策和多數投票的決策融合算法的識別能力均低于本文算法，尤其在特征主成分能量較低時，差距更加明顯。這說明了本算法在特征主成分能量較低時，可以通過計算置信度獲得特征匹配分數中含有的有效信息，通過權重動態地調整各模態對最終決策的影響。在圖4的各融合系統下，本方法的識別率均遠優于其他方法，并且當特征主成分能量為25%時，差距最明顯，即當特征信息最匱乏時，系統噪聲最大，本文算法可以通過特征距離信息和分類性能參數，使系統在此復雜情境下更具魯棒性。

圖4 不同決策融合算法的識別率曲線

4 結論

以多模態生物特征識別系統為研究對象，提出了通過特征距離信息引導的決策融合算法，得到如下結論。

(1)本文提出的多模態的生物特征融合識別系統充分發揮了虹膜特征安全性高、手指和手掌靜脈紋理特征識別率高的優點。特別是增加了以活體檢驗為特點的靜脈識別，大大提高了多模態識別系統的安全性。同時本文提出的融合策略在分配權重的過程中加入了前端特征層的距離信息和分類器的分類性能參數，充分利用了原始圖像的數據信息，具有很強的實用性，使得融合系統在提高效率的同時，對準確性以及可靠性都有了提高。

(2)在系統噪聲水平較高，特征有效信息較少時，本文基于特征距離信息引導的決策融合方法表現優于其他融合算法，證明了其在噪聲較大的復雜情境下可以通過補充特征距離信息及分類性能參數達到識別精度提升的效果，使系統更具魯棒性。