基于深度學習的小面積指紋匹配方法

張永良，周 冰，詹小四，裘曉光，盧天培

(1.浙江工業大學 計算機科學與技術學院，杭州 310023； 2.浙江外國語學院 計算機科學與技術學院，杭州 310024；3.杭州易和網絡有限公司，杭州 310012)

基于深度學習的小面積指紋匹配方法

張永良1*，周 冰1，詹小四2，裘曉光3，盧天培1

(1.浙江工業大學 計算機科學與技術學院，杭州 310023； 2.浙江外國語學院 計算機科學與技術學院，杭州 310024；3.杭州易和網絡有限公司，杭州 310012)

針對傳統的基于細節特征點的指紋匹配方法多適用于采集面積較大的指紋，在面向智能手機端的小采集面積指紋時準確率明顯下降的問題，提出一種基于深度學習的小面積指紋匹配方法。首先,提取指紋圖像的細節特征點信息; 其次, 搜索和標定感興趣紋理區域(ROI); 然后, 構建并改進基于殘差結構的輕量級深度神經網絡，通過采用二值化特征模式優化網絡和Triplet Loss方式訓練模型; 最后, 制定一種智能手機端注冊-匹配策略實現小面積指紋匹配。實驗結果表明，提出方法在公開庫FVCDB1與自建數據庫上的等錯率(EER)分別僅為0.50%與0.58%，遠低于傳統的基于細節特征點的指紋匹配方法，能夠有效提升小面積指紋匹配的性能，更好地滿足智能手機端的應用需求。

指紋匹配; 深度學習; 卷積神經網絡; Triplet Loss

0 引言

隨著移動互聯網和智能手機的快速發展，移動支付已成為支付領域的新寵。自蘋果公司于2013年將Touch ID集成到智能手機以來，各大互聯網巨頭紛紛推出指紋支付方案，例如Apple Pay、Samsung Pay和支付寶錢包等。其中，基于指紋識別的移動終端用戶身份認證方式應用得最為廣泛。尤其是在互聯網新經濟、新金融的背景下，指紋識別不再局限于解鎖手機這一應用場景，而是被更好地嫁接于安全支付等領域，充分體現其安全、穩定、方便、高效的優點。此外，從便捷性、用戶接受度、技術成熟度等方面綜合考慮，指紋識別技術相對于人臉、虹膜等其他生物特征技術也具有較大的優勢。目前，指紋識別技術已經成為應用于智能手機終端最為成熟的基于生物特征的身份認證與支付交易認證技術。

然而，由于應用環境的特殊性，面向智能手機的指紋識別技術依然存在著一些關鍵問題需要解決。與傳統的指紋采集儀不同，嵌入到智能手機的采集儀通常都比較小，例如蘋果公司的Touch ID指紋采集儀僅僅6.35 mm×6.35 mm[1]。因此，利用智能手機內嵌的指紋采集儀采集到的指紋圖像的面積通常都比較小，普遍都在160×160像素以下，一般只有正常指紋面積的30%～60%，所包含的細節特征點數目也較少[2]，如圖1所示。已有研究表明，隨著指紋采集儀面積的減小，傳統的基于細節點的指紋識別方法由于捕捉到的細節點過少導致性能下降得比較厲害[1-7]。本文的測試結果表明，傳統的基于細節點比對的指紋比對算法在小面積指紋(160×160像素)樣本庫的準確率只有74.34%左右，遠達不到實際應用需要。

圖1 移動端指紋采集儀尺寸及細節特征點分布Fig. 1 Fingerprint sensor size on mobile device and minutiae overlaid on a small-size fingerprint

小面積指紋識別是面向智能手機的指紋識別需要解決的一個關鍵問題。早期的小面積指紋識別研究主要還是借助于細節點信息實現匹配的目的： Jea等[8]利用從細節點導出的輔助特征結合基于流量網絡(flow network)的匹配技術來實現小面積指紋匹配； Girgis等[9]提出基于圖匹配理論的小面積指紋比對方法，并利用遺傳算法來改善脊線形變和彈性形變對指紋匹配所造成的不良影響； Chen等[4]把小面積指紋的面積信息用來進行小面積指紋識別; 此外，pore-valley描述子[10]、重構全局特征[11]的方法也都被用于小面積指紋識別領域。

與上述方法中所關注的小面積指紋相比，智能手機上的指紋采集儀所采集到的指紋面積更小，包含更少的細節點，這使得基于細節點匹配或者重構全局特征的方法的性能受到很大影響。為了解決這一問題，近來科研工作者開始嘗試從圖像匹配的角度研究面向智能手機的小面積指紋識別問題。該類方法主要包括：

1)基于相關系數的方法[12]。該類方法主要利用指紋圖像本身的信息，逐個像素地計算兩幅指紋之間的相關系數。

2)基于紋理特征的方法[2,13]。該類方法利用尺度不變特征變換(Scale Invariant Feature Transform, SIFT)或者加速-風(Accelerated-KAZE, A-KAZE)來提取指紋圖像的紋理特征，進而通過紋理特征實現指紋匹配。

3)基于感知哈希算法的方法[14-16]。該類方法主要利用哈希編碼和圖像塊匹配的思想，計算兩幅指紋圖像的相似程度。

4)基于相位相關的方法[17]。該類方法利用兩幅指紋圖像的相位差進行逆傅里葉變換，實現基于相位相關的指紋匹配。

最近，Zhang等[18]提出了一種針對手機端的深度學習方法，其主要思想：在訓練階段采用K最近鄰(K-Nearest Neighbor,KNN)方法選取合適的三元組作為訓練樣本；同時，在網絡中融入Triplet Loss和Softmax Loss代替常規的只采用一種Loss進行優化，該算法在其自建庫上等錯率(Equal Error Rate, EER)達到1.94%。

綜上所述，針對智能手機的小面積指紋識別研究才剛剛開始，相關工作還比較少，特別是受限于手機端的硬件環境，基于深度學習理論的指紋匹配算法更加稀少。因此對小面積指紋識別進行深入研究，有助于提高基于指紋識別的智能手機身份認證方案的安全性和可靠性。據此，本文提出了一種基于深度神經網絡與注冊模板的小面積指紋匹配方法。實驗結果表明，本文方法有效提高了小面積指紋匹配的準確率和魯棒性。

本文的主要貢獻：

1)構建一個基于殘差結構的深度網絡模型，克服特征描述子設計過程中需要專家先驗知識的困難，通過學習自動提取判別特征；

2)借鑒智能手機指紋“注冊-認證”模式，提出一種基于注冊模板的小面積指紋匹配方法；

3)改進與優化現有網絡結構，在降低特征復雜度的同時增加特征的有效表達能力，在保證算法性能不下降的前提下，提高匹配速度與效率。

1 構建卷積神經網絡模型

隨著智能移動終端的迅速發展，關于如何構建深度學習網絡模型并移植到智能移動終端上的研究也受到了廣泛關注，科研工作者提出了一系列的方法，如文獻[19-21]。此外，一些深度學習平臺，如MXNet，已經支持把訓練好的網絡移植到手機端。因此，針對現有的大部分指紋匹配方法對小面積指紋匹配的性能無法適應實際使用需求，以及充分模擬移動端指紋注冊與識別的流程，本文提出了一種基于深度學習的小面積指紋匹配方法。該方法采用深度殘差網絡模型結構，有效避免訓練誤差和測試誤差隨著網絡層數加深而增大的情況，實現對指紋圖像進行更高等級特征的描述，網絡模型的具體訓練過程如圖2所示。

圖2 網絡模型訓練流程Fig. 2 Training procedure of the proposed CNN

1.1 細節特征點提取

采用傳統的細節特征提取算法提取小面積指紋中的細節特征點(端點、分叉點)的坐標、方向、質量等信息，細節特征點如圖3所示。

圖3 細節特征點的坐標和方向Fig. 3 Coordinates and directions of minutiae

1.2 確定感興趣區域及歸一化

在獲取一幅圖像的細節特征點之后，以細節點為中心，對指紋圖像進行旋轉歸一化，將細節點的方向統一旋轉到45°角，然后截取尺寸為64×64的圖像塊Bi，并記上標簽(即在同一個手指的多幅指紋圖像中，同一個特征點對應的感興趣圖像塊記上相同的標簽)，并進行以下處理：

1)感興趣圖像塊篩選。

為了削弱低質量樣本對算法模型的影響，有必要計算每個Bi的有效指紋面積，方法如下：對于每個Bi，使用sobel算子對其提取邊緣信息，然后使用9×9圓形模板對邊緣圖像進行閉運算，得到作為有效指紋區域判定的Bi′。若Bi′所占面積比重超過64×64的60%，則保留對應的Bi；否則，刪去對應的Bi。

2)感興趣圖像塊擴充。

為了增加樣本的多樣性，增強算法的魯棒性，防止過擬合現象，對1)中篩選后的訓練樣本Bi進行45°-6°、45°-3°、45°+3°、45°+6°旋轉，如圖4所示。

圖4 感興趣圖像塊旋轉擴充Fig. 4 Augmenting regions of interest with rotation

1.3 卷積神經網絡

鑒于殘差網絡在ImageNet2015上的優越表現，本文提出的卷積神經網絡由一系列殘差結構串聯而成，其目的是為了有效提取指紋圖像的高階語義特征。一個基本的殘差結構如圖5(a)所示。其中每個卷積層后接一個批歸一化層(Batch Normalization, BN)，在圖中未標出，dropout層的丟棄率為0.2。在每個池化層之后，當特征模板的個數需要改變時，為了保證相加運算的兩部分長度相同，需要增加一個映射層，殘差結構改為如圖5(b)所示。網絡的整體結構如圖6(a)所示，輸入圖像為64×64，經過一個5×5卷積層，3個池化層和13個殘差結構的運算后，得到256個4×4的特征模板，再經過全連接層后得到一個1 024維的向量輸出。

圖5 基礎殘差結構改進Fig. 5 Improvement original residual module

(1)

其中:(a)+等效于max(0,a)。該式從本質上定義了同類樣本和異類樣本之間的距離關系，其目的在于通過訓練，使得參考樣本與正樣本之間的歐氏距離DisP和參考樣本與負樣本之間的歐氏距離DisN滿足同類樣本間的距離加上某個給定的閾值threshold要小于異類樣本間的距離，即:

(2)

1.4 網絡結構改進

浮點型特征通過使用符號函數sign()可以得到整型表示的二值化特征，那么兩組特征之間的相似度可以從余弦距離代替為漢明距離計算[30-31]：

d(x,y)=∑x[i]⊕y[i]

(3)

其中:⊕表示異或運算。但是，由于符號函數無法計算梯度，導致無法直接進行網絡優化，因此采用tanh()代替sign()來計算梯度值。

最終網絡結構優化如下：在輸入端增加一個卷積層；減小中間層的feature map數目；全連接層替換成二個1×1的卷積層；新增一個tanh層進行特征二值化操作。網絡最終輸出128個8×8尺寸的feature map，即總長度為8 192的二值特征，并使用Triplet Loss進行匹配訓練，如圖6(b)所示。

圖6 整體卷積神經網絡結構改進Fig. 6 Improvement overall structure of CNN

2 基于注冊模板的指紋匹配方法

針對小面積指紋中包含特征點較少的問題以及結合手機端“注冊-認證”的常規模式，本文提出一種注冊-匹配相結合的策略，具體流程(如圖7所示)如下：

1)用訓練好的模型對每個注冊手指的多幅指紋圖像提取特征，并構建注冊特征模板；

2)用訓練好的模型對每幅待測指紋圖像提取特征；

3)將待測指紋圖像特征與所有注冊特征模板進行匹配及計算相似度，并根據設定的相似度閾值判別匹配結果。

圖7 注冊/匹配流程Fig. 7 Procedure of registering and matching

2.1 構建注冊模板

根據訓練得到的網絡模型，構建注冊指紋特征模板。由于指紋采集模塊尺寸較小，每次只能采集到完整指紋的部分信息，因此注冊過程中需要采集多張指紋圖像(與目前手機端指紋注冊模式類似)，此處設定單枚手指最大采集張數為P，實際有效注冊圖像數量為S。同時，為了獲取注冊指紋更多的有效信息，注冊過程中需要用戶配合指令進行相應的操作，具體操作如下：第一張注冊圖像要求將手指的中心位置置于采集儀的采集表面；后續在注冊過程中手指相對采集儀的位置需要進行一些移動。具體步驟如下：

假設Ii表示第i張注冊的指紋圖像，MIi表示Ii對應的特征點集，FIi表示Ii對應的特征點集的語義特征集合。

1)當采集第1張指紋圖像時(即N=1時，其中N表示采集指紋圖像的張數)，判斷采集到圖像的指紋有效面積Areae，若Areae≥thrarea時，將MI1加入注冊模板中，此時注冊模板中特征點集為MI1，特征模板為FI1。其中thrarea為采集到指紋圖像中指紋有效區域的閾值；若Areae

2.2 指紋匹配

3 實驗及結果分析

3.1 數據集

由于目前沒有公開的小面積指紋數據庫，所以暫時無法與其他最新的算法進行直接公開比較。而FVC2000、FVC2002、FVC2004和FVC2006等公開庫都為圖像尺寸較大的指紋庫(如圖8所示)，一般含有較完整的指紋信息，不能有效衡量本文提出的小面積指紋匹配算法的性能，表1給出了FVC指紋庫中各個子庫的指紋圖像的尺寸等基本信息。因此，為了更好地驗證本文算法的有效性，針對算法性能測試的實際需求，構建了兩個小面積指紋數據庫。

圖8 FVC2002指紋圖像樣例Fig. 8 Sample fingerprint image of FVC2002

數據庫1(DB1)為自建庫，采用晟元AS650電容式指紋儀采集了尺寸僅為160×160的13 433幅指紋圖像(如圖9、10所示)。其中，訓練集包括98個手指的1 731幅指紋圖像；驗證集包括80個手指的1 600幅指紋圖像；注冊集包括133個手指的1 330幅指紋圖像，即每個手指用10幅圖像注冊成模板；測試集包括133個手指的8 772幅指紋圖像。訓練集、驗證集、注冊集與測試集三者之間手指兩兩互斥；注冊集、測試集二者之間手指相同，但指紋圖像互斥。具體劃分如表2所列。

表1 FVC2002指紋圖像信息Tab. 1 Fingerprint image information of FVC2002

圖9 晟元電容指紋采集儀(AS650型號)Fig. 9 Shengyuan capacitive fingerprint sensor (Version AS650)

圖10 晟元數據庫指紋圖像樣例Fig. 10 Fingerprint image samples of Shengyuan database表2 晟元自建庫指紋圖像信息Tab. 2 Fingerprint image information of Shengyuan database

集合采集儀類型圖像尺寸圖像個數分辨率/dpi訓練集電容160×1601731508驗證集電容160×1601600508注冊集電容160×1601330508測試集電容160×1608772508合計——13433—

數據庫2(DB2)為重構和擴充后的FVC2002DB1(如圖11所示)，其中訓練集包括DB1_a中50×8×5幅160×160指紋圖像(即表示共50個手指，每個手指含8幅原圖，從每幅原圖中隨機截取5個160×160尺寸的圖像，依此類推)(DB1_a和DB1_b分別為FVC2002DB1的兩個子庫)；驗證集包括DB1_b中10×8×5幅160×160指紋圖像；注冊集包括DB1_a中50×4×5幅160×160指紋圖像；測試集包括DB1_a中50×4×5幅160×160指紋圖像。其中，訓練集、驗證集、注冊集與測試集三者之間手指兩兩互斥；而注冊集、測試集二者之間手指相同，但指紋圖像互斥。具體劃分如表3所列。

圖11 FVC2002DB1重構后的指紋圖像樣例Fig. 11 Rebuilt fingerprint image samples of FVC2002DB1表3 本文重構FVC2002DB1指紋圖像信息Tab. 3 Rebuilt fingerprint image information of FVC2002DB1

集合采集儀類型圖像尺寸圖像個數分辨率/dpi訓練集電容160×16050×8×5500驗證集電容160×16010×8×5500注冊集電容160×16050×4×5500測試集電容160×16050×4×1500合計——3600—

3.2 實驗結果

本實驗的主要模擬環境為Inter CPU i5-3450 3.1 GHz和4 GB內存，將測試集中每個手指的每幅指紋圖像與注冊集中的所有模板進行匹配，并采用目前國際上慣用的指紋匹配算法評價指標來衡量本文算法性能，即采用以下指標：

1)誤識率(False Match Rate, FMR)。來自不同手指的兩幅指紋圖像被錯誤地判定為來自相同手指的概率。

2)誤拒率(False NonMatch Rate, FNMR)。來自相同手指的兩幅指紋圖像被錯誤地判定為來自不同手指概率。

3)等錯率(Equal Error Rate, EER)。當誤識率和誤拒率相同時，則EER=FMR=FNMR。

4)萬分之一誤識率FMR(0.000 1)。當誤識率FMR為0.000 1時，對應的誤拒率FMR。

5)匹配率(Match Rate, MR)。MR1表示Top1的準確率。

6)平均匹配時間(Average Match Time, AMT)。兩幅指紋圖像之間匹配運算所需的平均時間。

傳統的基于細節特征點的指紋匹配方法和是目前比較主流的指紋匹配方法，并在大指紋圖像上擁有良好的性能[32]。本項目團隊早期研發的一種基于細節特征點的指紋圖像匹配算法[32]，在2014年第二屆中國生物特征識別競賽指紋識別競賽中獲得一等獎，說明該算法針對大采集面積的指紋具有良好的性能。然而，該算法在小面積的指紋數據庫的測試中性能下降較為明顯，無法滿足智能手機端的應用需求。為了增加實驗的說服力，本文在晟元數據庫和重構后的FVC2002DB1上分別設計了4種和5種算法進行對比實驗，比較上述性能指標。

在晟元自建庫上，本文設計的4種算法：

1)基于傳統特征點的方法。即在測試集中任意一張圖片與注冊集中的任意一張圖片進行匹配計算相似度，并按單張圖相似度高低排序；

2)基于傳統特征點與注冊策略的方法。即在測試集中任意一張圖片與注冊集中的每個手指10張圖片為一組進行匹配計算相似度，取3個最大相似度求均值，并按手指排序；

3)本文提出的基于深度神經網絡和注冊策略的方法；

4)本文提出的基于改進深度神經網絡和注冊策略的方法。

上述四種方法在晟元測試庫上進行對比實驗，結果如表4所列，受試者工作特征曲線(Receiver Operating Characterisitic curve, ROC)如圖12所示。

表4 幾種算法在晟元數據庫上的實驗結果Tab. 4 Experimental results on Shengyuan database

圖12 晟元數據庫ROC曲線Fig. 12 ROC of Shengyuan database

在重構后的FVC2002DB1上，本文新增一種算法：5)基于傳統特征點的方法，即在測試集原圖(388×374)中任意一張圖片與注冊集原圖(388×374)中的任意一張圖片進行匹配計算相似度，并按單張圖相似度高低排序。該方法與上述4種方法進行對比實驗，結果如表5所列，ROC曲線如圖13所示(因1)算法的性能明顯劣于其他4種算法，比較意義不大，同時為了ROC曲線更好的整體表達效果，故將其排除)。

表5 幾種算法在FVC2002DB1數據庫上的測試結果Tab. 5 Experimental results on FVC2002DB1

圖13 FVCDB1的ROC曲線Fig. 13 ROC of FVCDB1

深入分析實驗結果可知：

1)分別對比表4和表5中算法1)與算法2)，可以證明本文提出的“注冊模式”策略對小面積指紋(160×160)匹配算法的有效性。其中算法1性能嚴重下降是因為晟元數據庫是自建庫，指紋圖像是用晟元AS650電容式指紋儀采集得到，指紋圖像尺寸較小，僅為160×160。FVC2002DB1是公開庫，其指紋圖像尺寸較大，為388×374，測試樣本是從388×374中隨機截取160×160得到的，相互之間的重疊區域面積很難保證，而基于傳統特征點的匹配方法非常依賴于重疊面積中的細節特征點信息。因此在公開庫FVC2002DB1和晟元數據庫上，算法1的性能均較差，實驗結果是合理的，同時也突出了在小面積指紋匹配方面，“注冊模式”的有效性和必要性。

2)分別對比表4和表5中算法1)、2)與算法3)、4)，證明本文提出的基于深度神經網絡的小面積指紋(160×160)算法比傳統基于細節特征點算法，在各項性能指標上具備更為明顯的優勢。此外，盡管在大面積指紋上(388×374)，算法5)也取得了不錯的效果，但仍遜于本文算法。

3)分別對比表4和表5中算法3)與算法4)，表明改進ResNet網絡后算法的平均匹配時間在公開庫FVC2002DB1上從49.78 ms降低至26.21 ms，在晟元數據庫上從50.12 ms降低至26.53 ms，同時保證其他各項性能指標不下降，部分指標性能還有所提升，證明了改進ResNet的有效性。

實驗結果表明，在智能手機端小面積指紋圖像上，僅憑借傳統特征點的匹配算法在各項指標上性能明顯下降，已達不到實用要求；而本文提出的基于改進深度神經網絡的算法在性能上有較為顯著的提升。其中，在晟元數據庫上等錯率EER僅為0.58%，萬分之一誤識率FMR(0.000 1)僅為1.39%，Top1準確率MR1達到99.57%，每次平均匹配時間僅為26.53 ms；在FVCDB1數據庫上，EER僅為0.50%，FMR(0.000 1)僅為0.50%，MR1達到99.50%，每次平均匹配時間僅為26.21 ms。綜上所述，本文方法在以上各項重要評價指標上均獲得了良好的性能，達到手機端小面積指紋識別的應用要求。

4 結語

針對傳統基于細節特征點的指紋匹配算法在小面積指紋圖像上普遍存在精度低、魯棒性差等缺點，本文提出一種基于深度學習理論的小面積指紋圖像匹配方法。該方法能夠顯著提高小面積指紋匹配的多項重要性能評價指標，具備較高的準確率、較強的魯棒性。隨著移動互聯和智能手機的興起，基于指紋識別的移動終端用戶身份認證方式逐漸被廣大用戶所接受，而擁有高精度、高魯棒性的小面積指紋匹配方法必將廣泛應用于智能手機端的指紋解鎖、指紋安全支付等新領域。

References)

[1] FERNANDEZ-SAAVEDRA B, SANCHEZ-REILLO R, ROS-GOMEZ R, et al. Small fingerprint scanners used in mobile devices: the impact on biometric performance[J]. IET Biometrics, 2016, 5(1): 28-36.

[2] MATHUR S, VJAY A, et al. Methodology for partial fingerprint enrollment and authentication on mobile devices[C]// Proceedings of the 9th IAPR International Conference on Biometric. Piscataway, NJ: IEEE, 2016: 1-8.

[3] CHEN F, ZHOU J. On the influence of fingerprint area in partial fingerprint recognition[C]// Proceedings of the 7th Chinese Conference on Biometric Recognition. Berlin: Springer, 2012: 104-111.

[4] CHEN F, LI M, et al. A fusion method for partial fingerprint recognition[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2013, 27(6): 1356009.

[5] 毛元, 馮桂, 湯繼生. 采用八方向Gabor濾波的指紋識別算法[J]. 華僑大學學報(自然科學版), 2013, 34(2): 151-155.(MAO Y, FENG G, TANG J S. Fingerprint recognition algorithm based on the eight directions Gabor filter[J]. Journal of Huaqiao University (Natural Science), 2013, 34(2): 151-155.)

[6] 賀穎, 蒲曉蓉. 應用Gabor濾波的指紋識別算法的研究和實現[J]. 計算機工程與應用, 2010, 46(12): 172-175. (HE Y, PU X R. Development and implementation of Gabor filterbank-based fingerprint recognition algorithm[J]. Computer Engineering and Applications, 2010. 46(12): 172-175.)

[7] 劉映杰, 馬義德, 馮曉蘭, 等. Gabor濾波器在基于細節點的指紋識別中的應用[J]. 計算機測量與控制, 2007, 15(1): 132-134. (LIU Y J, MA Y D, FENG X L, et al. Fingerprint identification preprocessing algorithms based on Gabor filter[J]. Computer Measurement and Control, 2007, 15(1): 132-134.)

[8] JEA T, GOVINDARAJU V. A minutia-based partial fingerprint recognition system[J]. Pattern Recognition, 2005, 38(10): 1672-1684.

[9] GIRGIS M R, SEWISY A A, MANSOUR R F. A robust method for partial deformed fingerprints verification using genetic algorithm[J]. Expert Systems with Application, 2009, 36(2): 2008-2016.

[10] ZHAO Q, ZHANG D, ZHANG L, et al. High resolution partial fingerprint alignment using pore-valley descriptors[J]. Pattern Recognition, 2010, 43(3): 1050-1061.

[11] WANG Y, HU J. Global ridge orientation modeling for partial fingerprint identification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(1): 72-87.

[12] ZANGANEH O, SRINIVASAN B, BHATTACHARJEE N. Partial fingerprint matching through region-based similarity[C]// Proceedings of the 2014 International Conference on Digital Image Computing: Techniques and Applications. Piscataway, NJ: IEEE, 2014: 1-8.

[13] YAMAZAKI M, LI D, ISSHIKI T, et al. SIFT-based algorithm for fingerprint authentication on smartphone[C]// Proceedings of the 2015 6th International Conference of Information and Communication Technology for Embedded Systems. Piscataway, NJ: IEEE, 2015: 1-5.

[14] ZAGORUYKO S, KOMODAKIS N. Learning to compare image patches via convolutional neural networks[C]// Proceedings of the 2015 Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 4353-4361.

[15] HAN X, LEUNG T, JIA Y, et al. MatchNet: unifying feature and metric learning for patch-based matching[C]// Proceedings of the 2015 Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 3279-3286.

[16] JIANG Y, WANG J, CHANG S F. Lost in binarization: query-adaptive ranking for similar image search with compact codes[C]// Proceedings of the 1st ACM International Conference on Multimedia Retrieval. New York: ACM, 2011: 16-23.

[17] SHABRINA N, ISSHIKI T, KUNIEDA H. Fingerprint authentication on touch sensor using phase-only correlation method[C]// Proceedings of the 2016 7th International Conference of Information and Communication Technology for Embedded Systems. Piscataway NJ: IEEE, 2016: 85-89.

[18] ZHANG F D, FENG J F. High-resolution mobile fingerprint matching via deep joint KNN-triplet embedding[C]// Proceedings of the 31st AAAI Conference on Artificial Intelligence. Menlo Park, CA: AAAI Press, 2017: 5019-5020.

[19] KIM Y D, PARK E, YOO S, et al. Compression of deep convolutional neural networks for fast and low power mobile applications[J]. Computer Science, 2015, 71(2): 576-584.

[20] CHEN W, WILSON J, TYREE S, et al. Compressing convolutional neural networks in the frequency domain[C]// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, New York: ACM, 2016: 1475-1484.

[21] WANG Y H, XU C, YOU S, et al. CNNpack: packing convolutional neural networks in the frequency domain[EB/OL].[2016- 11- 20].http://papers.nips.cc/paper/6390-cnnpack-packing-convolutional-neural-networks-in-the-frequency-domain.pdf.

[22] BALNTAS V, JOHNS E, TANG L, et al. PN-Net: conjoined triple deep network for learning local image descriptors[EB/OL].[2017- 02- 15].http://xueshu.baidu.com/s?wd=paperuri%3A%28ff8216fda10792903f171174e547f13a%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Farxiv.org%2Fabs%2F1601.05030&ie=utf-8&sc_us=13359624053645813751.

[23] LAI H, PAN Y, LIU Y, et al. Simultaneous feature learning and hash coding with deep neural networks[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 3270-3278.

[24] LIN G, SHEN C, HENGEL A V D. Supervised hashing using graph cuts and boosted decision trees[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(11): 2317-2331.

[25] LIONG V E, LU J, WANG G, et al. Deep hashing for compact binary codes learning[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 2475-2483.

[26] LIU W, WANG J, JI R, et al. Supervised hashing with kernels[C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2012: 2074-2081.

[27] STRCHA C, BRONSREIN A M, FUA P. LDAHash: improved matching with smaller descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 34(1): 66-78.

[28] ZHAO F, HUANG Y, WANG L, et al. Deep semantic ranking based hashing for multi-label image retrieval[C]// Proceedings of the 2015 Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015: 1556-1564.

[29] WANG J, KUMAR S, CHANG S F. Semi-supervised hashing for large-scale search[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(12):2393-2406.

[30] ZHANG L, ZHANG Y, TANG J, et al. Binary code ranking with weighted hamming distance[C]// Proceedings of the 2013 Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2013: 1586-1593.

[31] GONG Y, LAZEBNIK S, GORDO A, et al. Iterative quantization: a Procrustean approach to learning binary codes for large-scale image retrieval[C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2013: 817-824.

[32] ZHANG Y, FANG S, ZHOU B, et al. Fingerprint match based on key minutiae and optimal statistical registration[C]// Proceedings of the 9th Chinese Conference on Biometric Recognition. Berlin: Springer, 2014: 208-215.

This work is partially supported by the Natural Science Foundation of Zhejiang Province (Y1101304).

ZHANGYongliang, born in 1977, Ph. D., associate professor. His research interests include biometric recognition, pattern recognition, artificial intelligence, machine learning.

ZHOUBing, born in 1991, M. S. candidate. His research interests include biometric recognition, machine learning.

ZHANXiaosi, born in 1975, Ph. D., professor. His research interests include image processing, pattern recognition, biometric recognition, machine learning.

QIUXiaoguang, born in 1976, M. S., senior engineer. His research interests include biometric recognition, smart fingerprint lock.

LUTianpei, born in 1996. His research interests include biometric recognition, pattern recognition.

Small-sizefingerprintmatchingbasedondeeplearning

ZHANG Yongliang1*, ZHOU Bing1, ZHAN Xiaosi2, QIU Xiaoguang3, LU Tianpei1

(1.SchoolofComputerScienceandTechnology,ZhejiangUniversityofTechnology,HangzhouZhejiang310023,China;2.SchoolofComputerScienceandTechnology,ZhejiangInternationalStudiesUniversity,HangzhouZhejiang310024,China;3.HangzhouCommnetCompanyLimited,HangzhouZhejiang310012,China)

Focused on the issue that the traditional fingerprint matching methods based on minutiae are mainly applicable for large-size fingerprint and the accuracy rate would reduce significantly when dealing with small-size fingerprint from smart phone, a small-size fingerprint matching method based on deep learning was proposed. Firstly, the detailed information of minutiae was extracted from fingerprint images. Secondly, the Regions Of Interest (ROI) were searched and labeled based on minutiae. Then a lightweight deep neural network was built and improved from original residual module. In addition, binary feature pattern and triplet loss were used to optimize and train the proposed model respectively. Finally, the small-size fingerprint matching was accomplished with the fusion strategy of registration and matching. The experimental results show that the Equal Error Rate (EER) of the proposed method can reach 0.50% and 0.58% on public FVC_DB1 and in-house database respectively, which is much lower than the traditional fingerprint matching methods based on minutiae, and can improve the performance of small-size fingerprint matching effectively and meet the requirements on smart phone.

fingerprint matching; deep learning; Convolutional Neural Network (CNN); triplet loss

2017- 05- 11;

2017- 06- 05。

浙江省自然科學基金資助項目(Y1101304)。

張永良(1977—)，男，浙江杭州人，副教授，博士，CCF會員，主要研究方向：生物特征識別、模式識別、人工智能、機器學習； 周冰(1991—)，男，浙江寧波人，碩士研究生，主要研究方向：生物特征識別、機器學習； 詹小四(1975—)，男，安徽桐城人，教授，博士，主要研究方向：圖像處理、模式識別、生物特征識別、機器學習； 裘曉光(1976—)，男，浙江杭州人，高級工程師，碩士，主要研究方向：生物特征識別、智能指紋鎖； 盧天培(1996—)，男，浙江杭州人，主要研究方向：生物特征識別、模式識別。

1001- 9081(2017)11- 3212- 07

10.11772/j.issn.1001- 9081.2017.11.3212

(*通信作者電子郵箱titanzhang@zjut.edu.cn)

TP183

A