基于多尺度局部特征融合的手指靜脈識別方法

（杭州電子科技大學通信工程學院，浙江杭州 310018）

0 引言

目前，生物識別技術是一種既方便又安全可靠的身份鑒定方法。相比其它生物識別技術，如指紋識別、人臉、DNA（即基因識別）、掌紋、虹膜、聲紋［1-3］等，手指靜脈識別具有速度快、安全等級高、精度高等優勢［4］，因此被廣泛應用于門禁系統及其它安防領域對保密性與安全性要求較高的場合［5-7］。但是目前手指靜脈識別技術也存在一些問題，如信息量利用不充分、抗噪性能偏弱、特征不穩定等。

手指靜脈特征識別主要分為特征點匹配［8］和圖像配準［9］。特征點匹配易受采集圖像時手指放置姿勢的影響，且手指靜脈圖像曝光對識別性能有很大影響，而圖像配準相對而言利用的信息量更多、魯棒性更強、受光照影響更小。圖像配準又分為全局特征和局部特征［10］，雙向二維費希爾主成分分析（（2D）2FPCA）和雙向二維主成分分析（（2D）2PCA）［11-12］是典型的基于全局特征的識別方法，該方法將手指靜脈圖像變換到訓練得到的最佳投影空間，產生新的特征，因而可以很好地保留圖像全局信息，但魯棒性易受訓練樣本的影響，且指靜脈圖像在采集時容易曝光，對于投影空間訓練會造成很大影響。局部二值模式算子（LBP）［13］是基于局部特征的算法，通過比較鄰域像素點值之間的大小反映局部紋理變化情況，其不受整幅圖像光照線性變換的影響，計算簡單、高效，但計算尺度小，提取的指靜脈特征在魯棒性上有缺陷。文獻［14］提出的針對LBP 改進的多塊均值近鄰二值模式（MMNPB）通過分塊、取均值操作進一步增強了指靜脈特征的魯棒性，但對全局信息把握不足，靜脈結構性不夠突出；文獻［15］基于手掌靜脈提出近鄰匹配積分變換（NMRT）方法，通過比較局部區域線性像素點的累加和提取主靜脈方向特征，對靜脈方向描述準確，但缺乏對局部紋理細節特征的描述，且手指靜脈相較于手掌靜脈，靜脈寬度更小，更易受噪聲影響，紋理錯綜復雜，還具有豐富的局部紋理細節特征。另外，以上幾種局部特征提取算法都是基于像素點提取特征，計算梯度都處于一階梯度上，在特征穩定性上具有一定缺陷。

綜上所述，在指靜脈手指圖像采集過程中，由于受光照不均勻［16］、手指厚度差異等因素影響［17］，圖像紋理模糊、對比度低，目前基于局部特征的指靜脈識別算法的計算梯度都還處于一階梯度上，局部紋理特征提取困難，特征穩定性不足，且目前的局部特征算法對于局部紋理特征描述單一，信息量利用不充分。針對以上問題，本文提出一種基于多尺度局部特征融合的手指靜脈識別方法，先采用多尺度方向模板提取紋理方向響應值，通過比較得到一階梯度上的局部靜脈方向特征，再以方向響應值為基底計算MLBP 算子得到二階梯度上的局部紋理細節特征，最后通過最優權值方式融合局部靜脈方向特征和局部紋理細節特征。這種多梯度特征融合方式充分利用了圖像信息，增強了特征穩定性，能很好地突出手指靜脈的結構性，而且采用多尺度模式下的計算方式還能增強特征對全局信息的把握。

1 靜脈圖像預處理

圖像采集過程中由于放置姿勢不統一，采集圖像中的靜脈紋理會出現一定的縮放，并且每個人手指尺寸也不一樣［18］。為便于特征提取，本文對ROI 提取后的圖像利用雙線性插值進行圖像尺寸歸一化到180×80。圖像采集易受光照影響，曝光度不均勻會導致手指靜脈圖像模糊［19］。為解決曝光問題，以及更好地突出手指靜脈紋理，需要對靜脈圖像進行增強。手指靜脈圖像灰度值范圍較小，但由于光線問題會導致圖像邊緣較暗，本文采用文獻［20］中的自適應直方圖均衡CLAHE 方式對靜脈圖像進行增強。

2 基于多尺度局部特征融合的指靜脈圖像特征提取

在指靜脈圖像中，靜脈所處線狀區域灰度值較小，非靜脈的線狀區域灰度值較大，則過點作多個斜率方向上的直線。直線方向選取與像素點方向辨識信息是否充分有直接聯系：若選取的直線方向太少，則不能充分覆蓋經過該像素點的靜脈線，提取的方向特征不足以描述該像素點方向；若選取的直線方向太多，盡管可以很好地辨識方向特征，但過多的直線在計算時會導致更多的干擾與冗余信息，使特征提取效率下降。

計算各直線上一定長度范圍內像素點的和，得到各個方向特征的響應值。在得到圖像8 個方向的方向特征響應圖后，對各方向的方向特征響應圖進行多尺度化處理，得到多尺度方向特征響應圖。與靜脈方向重合的直線計算得到的多尺度方向特征響應值可以取最小值，則最小值對應的直線方向即是該點方向特征。對得到的多尺度方向響應值求平均之后計算MLBP 算子得到多尺度局部方向二值編碼，即為中心像素點的紋理細節特征。

首先構建方向模板，然后通過方向模板計算得到方向特征編碼矩陣。設方向模板為Y，窗口大小為N×N，表示窗口內有N×N個像素點，定義：

Xk表示由方向模板Y內一條線上的點組成的集合，（ic，jc）為模板Y的中心像素點，F 為直線Xk的斜率，k為直線代表的方向。

選擇不同的直線長度范圍將對最終求得的方向特征有一定影響：若直線長度范圍太大，則會增加計算量；若直線長度范圍太小，如長度小于等于靜脈線寬度時，過該像素點所有不同直線上的像素點累加和幾乎相等，導致方向描述不準確。因此，本文選用8 個N 為15 的方向模板，如圖1 所示。

Fig.1 Direction template圖1 方向模板

設Hk(i,j) 為點(i,j) 在k方向模板下的方向響應值，先計算整幅圖像8 個方向的響應值：

其中，imgm,n為直線Xk上的點，m、n為點的坐標，然后對各個圖像方向響應值矩陣以大小為p*p的滑動窗口計算均值，得到各個方向上的多尺度方向特征響應值，即：

其中，H'k(i,j)為k方向的多尺度方向特征響應值，通過比較取最小方向作為點(i,j)的方向特征，有：

得到多尺度局部方向特征Dire(i,j)，由Dire(i,j)構成的多尺度局部方向特征構建的矩陣為：

式中，m=R-(N-1)-(p-1)，n=C-(N-1)-(p-1)，其中圖像尺寸大小為R×C，N為方向模板窗口大小，p 為多尺度滑動窗口大小。然后對圖像像素點中心區域求得原圖像像素點均值為：

定義：

再對多尺度方向特征響應值均值與中心點均值作比較，得到中心像素點的紋理細節特征，算子定義為：

其中，Deta(i,j) 為多尺度局部特征的紋理細節特征，則最終由多尺度局部紋理細節特征構建的特征矩陣為：

式中m=R-(N-1)-(p-1)，n=C-(N-1)-(p-1)，其中圖像尺寸大小為R×C，N為方向模板窗口大小，p為多尺度窗口大小。

手指靜脈圖像采集設備的鏡面上容易堆積粉塵，從而產生噪聲，給指靜脈識別造成很大困擾。圖2 給出了包含粉塵噪聲情況下的圖像原圖、CLAHE 增強圖、LBP、MMN?BP、NMRT 以及對應多尺度局部特征的方向特征圖和局部紋理細節特征圖。

從圖2（c）中可以看到，在LBP 圖像中相對原圖的噪聲點位置有許多凸點，說明了傳統LBP 對于噪聲的敏感程度，并且圖2（d）相比圖2（c）噪聲斑點明顯減少，特征更穩定，但靜脈結構性不夠突出；圖2（e）中的紋理特征不連續程度強烈，說明NMRT 在抗噪性能上有一定缺陷；圖2（f）中的紋理特征連續，紋理邊緣平滑，說明了多尺度在抗噪性能上的優勢；圖2（g）中的靜脈紋理結構突出，紋理輪廓清晰，說明相比一階梯度上的局部特征算子，在二階梯度上提取局部特征更準確，且特征更穩定。

Fig.2 Image effect with dust and noise圖2 包含粉塵噪聲情況下圖像效果

3 基于漢明距離的最優特征權值融合手指靜脈匹配算法

本文用加權方式對兩種不同特征值進行匹配，對提取特征后得到的局部方向特征和局部紋理細節計算漢明距離，并通過最優權值加權方式進行融合得到最終匹配值。對每次得到的匹配值進行歸一化，取最小值作為最終匹配值。兩個特征匹配值越小，說明相似程度越高。在識別過程中，當Dis(P,Q)＜t（閾值t由多次類間比對得到，根據選定的誤識率進行設置）時，說明圖像配對成功。具體計算公式如下：

其中，P為手指靜脈模板圖像數據庫中某個用戶的多尺度局部融合特征編碼矩陣，Q為未知用戶的多尺度局部融合特征編碼矩陣，PN、PL分別代表矩陣P的局部紋理細節特征二進制編碼矩陣和局部方向特征二進制編碼矩陣，QN、QL分別代表矩陣Q的局部紋理細節特征二進制編碼矩陣和局部方向特征二進制編碼矩陣，P?Q為矩陣P和矩陣Q的重疊區域，‖ ‖表示計算重疊區域內的像素點數量，hamdist表示計算兩個編碼矩陣重疊區域的漢明距離，α為特征值匹配融合最優權值，也即在低誤識率（False Accept Rate，FAR）情況下拒識率（False Rejection Rate，FRR）更小。

4 基于多尺度局部特征融合的手指靜脈識別流程

本文算法可分為以下幾個步驟：①將讀取的指靜脈圖像歸一化到180*80，通過自適應直方圖均衡對圖像進行增強；②構建多個方向模板，首先提取多個方向的多尺度方向特征響應值，最小響應值對應方向即為多尺度局部方向特征值，再對多尺度方向特征響應值取平均計算MLBP 算子，得到多尺度局部紋理細節特征編碼矩陣；③對不同圖像的多尺度局部方向特征編碼矩陣和多尺度局部紋理細節特征編碼矩陣同時進行多平移重疊區域比對，對特征匹配值以基于漢明距離的最優特征權值進行加權，取最相似的匹配值作為最終特征匹配值；④比較閾值與最終特征匹配值，判斷是否為同一用戶。

算法具體流程如圖3 所示。

Fig.3 The flow of finger vein recognition algorithm based on multi-scale local feature fusion圖3 基于多尺度局部特征融合的手指靜脈識別算法流程

5 實驗結果及分析

5.1 實驗環境

采用自主研發的近紅外圖像采集設備采集200 類正常圖像，60 類噪聲圖像，每類圖像有10 幅圖，圖像尺寸為440×200。利用Matlab R2014a 軟件進行仿真，電腦配置為：Windows7 64 位操作系統，Intel（R）Core（TM）i5-6500主頻3.20 GHz，內存為4 GB。

5.2 特征融合權重系數α 測試

由于在提取的多尺度局部融合特征編碼矩陣中，多尺度局部方向特征與多尺度局部細節特征有一定關聯性，并且對不同靜脈圖像的局部紋理信息提取能力不同，因此本文最終匹配值如式（10）所示。需要確定一個最優權值系數α，使得類間特征相似度更低，類內特征相似度更高，從而得到更好的識別性能。

識別率高低是用于評判權重系數α的標準，為消除圖像在正常情況以及在粉塵噪聲情況下的誤差，本文通過訓練200 類正常圖像P1和60 類噪聲圖像P2確定最優權重系數α。在正常圖像庫P1中，每次權重測試的類間匹配次數為1 990 000，類內匹配次數為9 000，誤識率固定為0。圖4 為在固定誤識率下，訓練正常圖像庫中識別率隨α變化情況的曲線。由圖4 可知，首先在正常圖像庫中，當權重系數在70%～90% 之間時，得到最高識別率為89.53%。在綜合不同誤識率的基礎上，本文選取權重系數為81.25%。其次評判噪聲圖像庫中的最優權重系數，給定誤識率為0，最優權重測試的類間匹配次數為177 000，類內匹配次數為2 700。圖5 為在固定誤識率下，訓練噪聲圖像庫中識別率隨權重系數變化情況的曲線，通過觀察可以看到，當權重系數為81.25% 時，得到最高識別率52.04%，同時證明了將權重系數設置為81.25% 較為合理。

Fig.4 Relation curve between recognition rate and weight α in image database P1圖4 圖像庫P1 中識別率與權值α 關系曲線

Fig.5 Relation curve between recognition rate and weight α in image database P2圖5 圖像庫P2 中識別率與權值α 關系曲線

5.3 粉塵噪聲圖像庫與正常圖像庫實驗結果

采用自主研發的指靜脈圖像采集設備分別采集粉塵噪聲圖像庫和正常圖像庫，粉塵噪聲圖像庫中共有60 個不同用戶，每個用戶10 幅圖像，一共600 幅圖像；正常圖像庫中共有200 個不同用戶，每個用戶10 幅圖像，一共2 000 幅圖像。每張圖像尺寸大小為440×200。在MAT?LAB 2014a 平臺上進行識別驗證，以下分別為采用傳統LBP［10］、MMNBP［11］、NMRT［12］、多尺度局部特征融合識別算法得到的對應ROC 曲線。其中，圖6 表示粉塵噪聲圖像庫的ROC 曲線，圖7 表示正常圖像庫的ROC 曲線。

由圖6 可以看出，在粉塵噪聲圖像庫中，相比LBP 算法，MMNBP 算法的識別性能有明顯提升，說明MMNBP 的抗噪聲能力更強；相比MMNBP 和NMRT 兩種局部特征提取算法，當FAR=0% 時，本文提出的多尺度局部特征融合算法的 FRR 分別從 MMNBP 的 59.01% 與 NMRT 的60.78% 下降至48.96%，且整體ROC 曲線位于MMNBP 和NMRT 之下，說明本文算法對于噪聲圖像庫有更好的識別性能，特征的穩定性及抗噪聲能力更強。

由圖7 可以看出，在正常圖像庫中，相比LBP 算法、NMRT 算法與MMNBP 算法，本文提出的多尺度局部特征融合識別算法性能有明顯提升。其中，MMNBP 的識別率低于LBP，說明MMNBP 比LBP 的特征更穩定；當FAR=0% 時，本文算法的FRR 分別從MMNBP 的17.21% 與NMRT 的15.34% 下降至10.47%，且整體ROC 曲線完全在NMRT 和MMNBP 之下，證明在正常圖像庫中，本文算法的特征穩定性更強，對信息量的利用更充分，相比其它局部特征提取算法識別率有一定程度提高。

Fig.6 ROC curve of dust noise image database圖6 粉塵噪聲圖像庫ROC 曲線

Fig.7 ROC curve of normal image database圖7 正常圖像庫ROC 曲線

6 結語

本文提出一種基于多尺度局部特征融合的手指靜脈識別算法，通過提取圖像的一階局部方向特征和二階局部紋理細節特征，將兩者加權融合進行識別。多梯度融合的特性在很大程度上可增強特征的穩定性，并突出手指靜脈紋理結構。傳統局部特征提取算法的計算梯度都處于一階梯度上，相比之下，本文提出的算法拒識率更低，因此具有一定優勢。后期將針對算法運算效率，從時間性能上對算法作進一步優化。