基于局部宏觀結構和微觀特征融合的手指靜脈識別算法*

程申前，游 林

（杭州電子科技大學 通信工程學院，浙江 杭州 310018）

0 引 言

在大數據（Big Data）、云計算（Cloud Computing）等高新技術的推動下，人類進入了萬物互聯的數據時代。海量數據的交互和私密信息的云端存儲，導致個體對身份認證的需求不斷增加。傳統的身份認證體系一般采用密碼作為判斷條件，但在使用過程中，過短的密碼容易被黑客暴力破解而造成錯誤授權、數據丟失等安全性問題。此外，過于復雜的密碼因為難以記憶而導致用戶體驗下降，即使使用介質存儲也會造成用戶認證不便。因此，傳統的身份認證系統存在用戶日益增長的認證安全性需求和復雜且不便捷的認證方式之間的矛盾。為了克服基于密碼認證的缺陷，基于具有唯一性以及不可復制或轉移的生物特征的用戶認證方法成為了替代傳統認證方案的最佳選擇。在現有的生物特征識別技術[1-2]中，手指靜脈識別技術[3-6]具有很強的普遍性和適用性，采集設備屬于非接觸式類型，且造價十分低廉，用戶和制造商都十分容易接受。同時，相對目前主流的指紋和人臉識別技術，手指靜脈識別技術具有很好的活體特性。所以，手指靜脈特征很難被偽造，安全性極高。手指靜脈識別在安全性和易用性上的優越性，使其具有很大的應用場景和發展空間，必將成為未來生物認證的主流識別技術。

典型的手指靜脈識別系統一般包含如下基本步驟：圖像采集、手指區域提取、預處理、特征提取以及匹配。其中，特征提取方法直接影響靜脈識別的準確度，也導致了靜脈識別的特征提取方法的多樣性[7-16]。編碼特征[7-11]不需要獲取靜脈紋路，只要使用ROI圖像即可進行特征提取，所以基于編碼特征的手指靜脈識別算法簡單高效，使其成為手指靜脈識別中的一類重要特征。

局部二值模式（Local Binary Pattern，LBP）是一種在灰度變化范圍內有效的紋理描述算子。LBP算子在1996年由Timo Ojala等[7]最早提出，并在2002年首次被用來表征靜脈圖形特征信息[8]，獲得了較為理想的結果。局部二值模式是最常見的一種高效局部紋理描述算子。使用LBP算子提取靜脈特征時不需要細化和分割圖像，具有良好的灰度變化魯棒性和旋轉不變性。Timo Ojala等人[8]發現，同一標準下的LBP模式LBPN,R中，有些LBP編碼出現的頻率顯著高于其他編碼值，所以有理由推斷出現概率高的模式包含有圖像更多的局部紋理特征。基于上述分析，研究者建議采用原始LBP模式的一些子集來描述圖像紋理，即所謂的歸一化LBP算子當圖像發生旋轉時，某中心像素點周圍鄰域內像素也會發生變化，從而引起LBP模式的改變（全為0或者全為1的LBP模式除外）。為了消除圖像旋轉帶來的變化影響，Timo Ojala等人[8-9]提出了一種旋轉不變的LBP算子LBPriN,R。旋轉不變LBP算子在N增加到很大時，旋轉不變的性能受到影響。為了提高其性能并進一步降低其特征維數，Timo Ojala[9]等人在LBPN,R、算子的基礎上，提出了旋轉不變歸一化LBP算子

之后，一些LBP算子的改進算子也因為不同的側重問題而被提出。多尺度塊局部二值模式[10-11]（Multi-scale Block Local Binary Pattern，MB-LBP）是對傳統局部二值模式（Local Binary Patter，LBP）算法的改進，因為原始LBP缺乏對圖像局部結構的描述能力。MB-LBP的基本思想是將原始LBP算法元素間的簡單差分規則轉換為編碼矩形區域。為了對矩形區域進行編碼，用平均灰度值來表征每個矩形塊，即利用圖像局部結構特征，得到了更加全面的圖像信息。MB-LBP采用局部平滑的方式，可能會引起一部分特征信息的損失，但是降低了對噪聲的敏感性。MB-LBP有大尺度結構的描述能力，但隨之帶來了計算復雜度和計算量的增加，且特征維數很高。中心對稱局部二值模式[12]（Center-Symmetric Local Binary Pattern，CS-LBP）被提出，以用來降低原始LBP模式維度過高而無法進行應用的問題。不同于比較每個鄰域內元素與中心像素點的差異，CS-LBP只關心中心對稱的鄰域像素點之間的差異，減少了對中心像素點的重復比較過程。CS-LBP模式的特征維度較LBP小很多，使得該算法的信息處理速度得到顯著提升，同時具有更強的抗噪能力。然而，該算法同LBP算子一樣，只是比較相鄰像素點之間的差異，對局部結構的表征能力不足。

為了解決上述問題，本文提出了一種新的描述算子——局部宏觀結構和微觀特征融合的局部二元模式（Local Binary Pattern based on Local Macrostructure and Microfeature Fusion，LMMFLBP），對ROI圖像進行編碼完成特征提取。之后，本文提出了一種新型的基于加權分塊LMMF-LBP算子的手指靜脈識別算法，即基于LMMF-WPLBP的手指靜脈識別算法。具體是將圖像進行分塊，并使用加權模板以突出圖像顯著特征，同時抑制其余不顯著特征。實驗表明，提出的算法對靜脈信息的表征能力更強，魯棒性更好，能夠進一步提高身份認證的精度和速度。

1 局部宏觀結構和微觀特征融合的局部二元模式（LMMF-LBP）

類似LBP、CS-LBP等算子都是基于單像素之間的比較，只能反映相鄰像素點之間的灰度變化，對于圖像的噪聲比較敏感，缺乏對局部結構的表征。而類似MB-LBP算子雖然可以描述局部宏觀結構，但是因為使用矩形區域的平均灰度值導致了圖像特征信息的丟失，而這種信息丟失對于本身特征不豐富的指靜脈圖像來說是不能接受的。為了解決LBP模式存在維數過高、改進的LBP模式不能兼顧表征細節特征信息和局部宏觀結構的問題，基于已有的改進LBP算子，提出了一種新的描述算子——局部宏觀結構和微觀特征融合的局部二元模式LMMFLBP。

這里選取圖像上的某個像素點作為中心像素點來描述LMMF-LBP算子，具體步驟如下。

（1）獲取中心像素點的局部宏觀結構信息。選擇以中心像素點為中心的s×s鄰域區域作為要覆蓋的局部宏觀區域，并將該區域等分為9大塊，將中心像素點所在區域相鄰的8個區域的灰度平均值定義為BlockAveragei(i=0,…,7)，具體求解為：

式中，Pixelk表示第i個區塊內第k個像素點的灰度值。

該中心像素點的局部宏觀結構編碼MacrostructureLocal求解如下：

（2）獲取中心像素點的微觀特征信息。選取該中心像素點周圍的8個鄰域像素點，定義第i個像素點的灰度值為Pixeli(i=0,…,7)。該中心像素點的微觀特征信息編碼Macrostructure求解如下：

（3）將步驟（1）和步驟（2）分別得到的局部宏觀結構編碼MacrostructureLocal和微觀特征信息編碼Macrostructure進行串接，得到8位的局部二值模式。串接方式如下：

（4）對串接得到的LMMF-LBPConnection算子進行旋轉不變歸一化處理。使用該算子得到的直方圖特征維數為256（28）。因為維度過高會增加計算復雜度，影響圖像識別效率，所以對該算子進行旋轉不變以及歸一化處理。使用式（6）對LMMFLBPConnection算子實現旋轉不變處理得到LMMF-LBPri算子：

為了方便敘述，這里設8位的LMMF-LBPri編碼第t位上的數值為Binaryt(t=0,1,…,7)。用式（7）和式（8）對LMMF-LBPri算子實現歸一化處理，得到旋轉不變歸一化的LMMF-LBPriu2算子（為簡潔表示也記作LMMF-LBP算子）：

圖1顯示了尺度s=15時，LMMF-LBPriu2編碼的形成過程。

圖1 LMMF-LBP riu2編碼過程

2 基于LMMF-WPLBP的手指靜脈識別算法

第1章節已經得到可以兼顧局部宏觀結構和微觀特征的LMMF-LBP描述子，但是因為該算子描述靜脈圖像信息的特征維數為10，如果直接對提取的ROI區域進行表征，會因為特征維數較小而降低手指靜脈識別算法的識別率。因此，提出了基于加權分塊的LMMF-LBP手指靜脈算法，即基于LMMF-WPLBP的手指靜脈識別算法。

2.1 基于分塊的LMMF-LBP算法

（1）對提取的ROI區域分塊，將ROI區域分為M×N個子塊。這里，分塊大小的選擇對最終識別準確性有著重大影響。如果分塊太少，則無法提高LMMF-LBP維度，導致靜脈圖像的類間差別減小；如果分塊太多，又會因為維度過高增加計算量，影響識別效率。因此，選取將ROI區域分為2×4塊，分塊示意如圖2所示。

圖2 ROI區域2×4分塊

（2）從每塊子圖中提取LMMF-LBP特征，并統計得到的局部直方圖，如圖3所示（第一個矩形子塊的LMMF-LBP直方圖）。

圖3 第一個矩形子塊的LMMF-LBP直方圖

將所有子圖的直方圖進行連接，得到完整的LMMF-PLBP直方圖，即共有8×10個特征向量來表征整個ROI區域圖像。圖2中分塊ROI區域圖像對應的LMMF-PLBP直方圖如圖4所示，該直方圖的包絡折線圖如圖5所示。

2.2 基于加權的LMMF-PLBP算法

從圖3可以發現，二進制模式3～7較其他二進制模式出現的概率更高，其他子塊的重復實驗也證明了二進制模式3～7的出現概率占比約90%。這說明這五類特征屬于ROI區域圖像的顯著特征。對未分塊的ROI區域提取LMMF-LBP特征，如圖6所示，其中圖6（a）為原始ROI區域，圖6（b）為LMMF-LBP編碼后的ROI區域圖像。圖7為10種LMMF-LBPriu2編碼下的特征圖。

圖4 LMMF-PLBP直方圖（80維）

圖5 LMMF-PLBP折線圖（80維）

圖6 LMMF-LBP編碼后的ROI圖像

圖7 不同LMMF-LBP riu2下的特征圖像

從圖7可以直觀看出，模式3～7所包含的信息明顯多于其他模式，其余模式則幾乎不包含紋理特征信息。所以，根據不同LMMF-LBP對ROI區域紋理信息所做的貢獻，可以利用加權的方式，突出較為顯著的特征，并抑制不夠明顯的特征。這樣可以在近乎不丟失顯著特征信息的前提下，降低LMMF-PLBP特征的維數，從而減少不必要的計算量，提高識別效率。

為了達到突出顯著特征的同時抑制其余非明顯特征的目的，可以建立一個加權模板來選擇已確定的顯著特征。基于加權的LMMF-PLBP直方圖定義為：

其中，Hi(i=0,1,…,7)為8個子圖的LMMF-LBP直方圖；W用來突出顯著特征的加權模板，定義為：

后續實驗中，令wi=1(i=0,1,…,9)表示篩選出的需要突出的LMMF-LBP特征，令wi=1(i=0,1,…,9)表示要忽略的LMMF-LBP特征。

根據上述內容，如果要通過加權方式對生成的LMMF-PLBP直方圖降維，則應該讓顯著特征的權重為1，即wi=1(i=3～7)，并讓其余特征權重設為0。經過上述處理會生成特征維數為40的基于加權的LMMF-PLBP直方圖（記作LMMF-WPLBP直方圖）。這樣在ROI區域的特征信息丟失微小的情況下，原本80維的LMMF-PLBP特征轉換成40維的LMMF-WPLBP特征。

生成的LMMF-WPLBP直方圖和LMMFWPLBP直方圖的包絡折線圖分別如圖8、圖9所示。

圖8 LMMF-WPLBP直方圖（40維）

圖9 LMMF-WPLBP折線圖（40維）

2.3 LMMF-WPLBP直方圖用于手指靜脈識別

一幅手指靜脈ROI區域圖像，經過LMMFWPLBP編碼后得到了LMMF-WPLBP直方圖。假設數據庫的手指靜脈圖像的ROI區域經過編碼后的直方圖為HistogramWeightingA，新采集的一幅圖像的ROI區域經過編碼后的直方圖為HistogramWeightingB。通過歐式距離度量兩個直方圖的相似度，具體方法為：

式中，HistogramWeightingA(i)和HistogramWeightingB(i)分別表示對應直方圖中第i個維度上的特征值，L則表示直方圖的特征維數。

3 實驗結果與分析

3.1 實驗環境

本部分的實驗是為了驗證提出的基于LMMFWPLBP編碼的手指靜脈識別算法的性能。圖像處理算法和識別算法是基于Python開發的，硬件配置如表1所示。

表1 實驗硬件配置信息

3.2 基于LMMF-WPLBP編碼的手指靜脈識別算法的驗證

本實驗使用山東大學采集建立的SDUMLA-FV數據庫[13]。該數據庫共收集了106組樣本，每組樣本包含左右手指的食指、中指和無名指的手指靜脈采集圖像各6幅，即相當于收集了636個手指，每個手指采集6幅圖片。手指靜脈圖像大小為320×240，手指為水平擺放。研究中提出的基于LMMF-WPLBP編碼的手指靜脈識別算法將會在辨別模式和驗證模式下進行驗證。

3.2.1 辨別模式下的算法驗證

辨別模式是指工作在1: N的狀態，即對于給定的手指靜脈圖像，令其和手指靜脈數據庫中所有的模板圖像一一對比，選取相似度得分最高且超過給定閾值的模板為識別結果。辨別模式適用于準確判斷某一用戶是否存在于已注冊用戶數據庫中。若存在，進一步確定該用戶是哪一位注冊用戶的場景。

在辨識模式實驗中，嘗試判斷一幅采集的手指靜脈圖像所屬的類別。在每根手指的6幅圖像中，隨機選取一幅圖像作為模板，剩下的5幅圖像作為試樣圖像。這樣共有636幅模板圖像和3 180（636×5）幅試樣圖像。每一幅試樣圖像要和所有的模板圖像進行匹配，取與該試樣圖像相似度得分最大的模板圖像作為識別結果完成一次測試。重復上述步驟，得到每一幅試樣圖像的匹配結果。最終的辨別模式驗證結果，如表2所示。

表2 基于LMMF-WPLBP的手指靜脈識別準確率

由表2結果可以看到，基于改進的采集和處理方法以及LMMF-WPLBP手指靜脈識別算法的身份認證系統，在1: N的辨別模式下識別率為98.11%，且識別速度小于0.793 s。這表明本文提出的算法對于手指靜脈身份認證性能的提高是有效的。

3.2.2 驗證模式下的算法驗證

驗證模式是指工作在1:1的狀態，即對于給定的手指靜脈圖像，判斷它與某一幅手指靜脈圖像是否匹配。驗證模式適用于準確判斷某一用戶是否為某一位手指靜脈數據庫中已注冊用戶的場景。

在驗證模式實驗中，在同源比較和異源比較時，每根手指的6幅圖像均被使用。因此，共有9 540（636×6×5/2）次同源比較和7 269 480（636×6×6/2）次異源比較。

驗證模式下，計算給定手指靜脈圖像的LMMFWPLBP直方圖與某一幅圖像的LMMF-WPLBP直方圖相似度。如果相似度小于閾值SimilarityT，則判斷為匹配；否則，不匹配。閾值SimilarityT的設定需要根據交叉匹配得出的直方圖相似度分布來進行設置。

圖10展示的是交叉匹配得到的手指靜脈圖像與靜脈模板之間的LMMF-WPLBP直方圖相似度分布。實線部分是相同手指間靜脈樣本和模板的LMMFWPLBP直方圖相似度分布，虛線部分是不同手指間靜脈樣本和模板的LMMF-WPLBP直方圖相似度分布。

圖10 交叉識別產生的LMMF-WPLBP直方圖相似度的分布

從圖10可以看出，相同手指間靜脈樣本與模板的LMMF-WPLBP直方圖相似度以超過98%的比例分布在區間[0.78，096]上，超過60%的數據集中分布在區間[0.86，0.93]上。而不同手指間靜脈樣本與模板的LMMF-WPLBP直方圖相似度以超過98%的比例分布在區間[0.61，0.83]上，超過60%的數據集中分布在了區間[0.65，0.76]上。實線和虛線的交叉重疊區域很少，且集中分布的數據區間也有很大差別。這說明基于LMMF-WPLBP編碼的手指靜脈識別算法可以準確有效地區分匹配和不匹配的情況。圖10中實線和虛線交叉的區間是[0.76，0.84]，將該區間的圖像放大，如圖11所示。顯然，相似度閾值SimilarityT的取值范圍應該是[0.76，0.84]。

圖11 交叉識別產生的LMMF-WPLBP直方圖相似度的分布（局部）

在這里引入誤識率（False Acceptance Rate，FAR）和拒真率（False Rejection Rate，FRR）兩個指標，定義分別如下：

其中NumberDiff為不同手指的靜脈圖像之間進行匹配的總次數，也就是異源匹配的次數；NumberErrorDiff為將本來不匹配的圖像誤判為匹配的次數；NumberSame為同一根手指的靜脈圖像之間進行匹配的總次數，也就是同源匹配的次數；NumberErrorSame為將本來匹配的圖像誤判為不匹配的次數。

分別用誤識率和拒真率作為橫縱坐標來繪制基于LMMF-WPLBP編碼的手指靜脈識別算法的錯誤率曲線，如圖12所示。

圖12 基于LMMF-WPLBP手指靜脈識別算法的ROC曲線

圖12 中，曲線與直線Y=X的交點對應的坐標值被稱為該算法的等錯誤率（Equal Error Rate，ERR），是用于評價生物特征識別算法的一個重要指標。根據圖12可以得到，基于LMMF-WPLBP編碼的手指靜脈識別算法的EER為1.91%，如表3所示。

表3 本研究中身份認證系統的EER及其對應的相似度閾值

當相似度閾值SimilarityT左移時，該算法會將更多的不匹配判定為匹配，但同時也將更少的匹配判定為不匹配，即當相似度閾值SimilarityT變小時，該算法的誤識率會升高，但是拒真率會下降。反之，當相似度閾值SimilarityT變大時，手指靜脈識別算法的誤識率會下降，但同時拒真率也會上升。EER處對應的相似度閾值SimilarityT是0.817 8，此時基于LMMF-WPLBP編碼的手指靜脈識別算法以最小的總錯誤率區分匹配和不匹配的情況。可見，在實際應用中，設計者需要根據不同的應用場景，平衡系統的安全性和用戶的可用性之間的關系，設置一個合適的相似度閾值SimilarityT用于識別。

3.3 基于LMMF-WPLBP編碼的手指靜脈識別算法的性能評價

根據3.2小節算法辨別實驗的驗證結果，本研究設計的基于手指靜脈身份認證系統的識別率可以達到98.11%，可滿足生物特征識別系統對識別率這一項的性能要求。根據3.2小節算法驗證實驗的驗證結果，設計的基于LMMF-WPLBP手指靜脈識別算法的身份認證系統的等錯誤率為1.91%。

本部分提出四個實驗以進一步評價所提出的LMMF-WPLBP手指靜脈識別算法的性能，具體實驗結果和分析如下。

3.3.1 LMMF-WPLBP與不同LBP算子的識別效果比較實驗

本實驗對比了使用不同LBP算子特征提取方法的手指靜脈算法的識別效果，將基于LMMFWPLBP的手指靜脈識別算法同基于LBP、CSLBP、MB-LBP以及LMMF-PLBP的手指靜脈識別算法進行對比，得到的實驗結果如表4、圖13所示。

表4 不同手指靜脈識別算法的EER結果

圖13 不同手指靜脈識別算法的ROC曲線

3.3.2 LMMF-WPLBP手指靜脈算法與其他文獻方法的對比

列出了國內外一些文獻中不同手指靜脈算法的EER的統計結果，如表5所示。

表5 常見手指靜脈識別算法的EER統計結果

3.3.3 訓練樣本數對識別準確率的影響實驗

對于基于LBP算子的手指靜脈識別算法，訓練樣本的數量對算法的識別性能會產生影響。將LMMF-WPLBP與4種基于LBP的方法進行對比，改變訓練樣本數量SampleNumber（簡記為SN），統計各個方法對應的識別率，結果如表6、圖14所示。

表6 不同算法在不同數目訓練樣本下的識別率對比

圖14 不同算法在不同數量訓練樣本下對應的識別率

3.3.4 LMMF-WPLBP手指靜脈算法運行耗時實驗

高效性也是手指靜脈識別的一個重要性能指標。本研究中的手指靜脈識別算法在完成包括邊緣檢測、ROI提取、生成LMMF-WPLBP直方圖特征和識別的全部流程耗時小于0.8 s，完全可以滿足手指靜脈識別系統的實用要求。手指靜脈身份認證系統各個階段功能的耗時如表7所示。

表7 手指靜脈身份認證系統各個階段耗時

對比圖表數據可以看出，本部分設計的基于LMMF-WPLBP編碼的手指靜脈識別算法具有較為優秀的性能，基于本研究算法設計的身份認證系統效果表現良好。

4 結 語

（1）使用紋理特征來表征提取好的ROI區域圖像以完成手指靜脈識別。針對LBP編碼以及其改進模式在描述手指靜脈圖像紋理時無法兼顧局部宏觀結構和微觀特征的缺陷，提出了一種局部宏觀結構和微觀特征融合的局部二元模式LMMF-LBP，能夠更準確地描述靜脈信息，有較強的魯棒性。之后，在考慮到實際應用中特征維數過高帶來的計算量問題時，提出了一種新型的基于加權分塊LMMF-LBP算子的手指靜脈識別算法。

（2）通過實驗得出，該手指靜脈識別算法在辨別模式下的識別準確率為98.11%，在驗證模式下的EER為1.91%，且算法整體運行耗時小于0.8 s。由此，本文提出的基于LMMF-WPLBP算子的手指靜脈識別算法具有比較優秀的性能表現，完全滿足生產、生活中手指靜脈識別系統的性能需要。