基于曲面類型與深度學習融合的三維掌紋識別技術

張宗華 王晟賢 高 楠 孟召宗

(河北工業(yè)大學機械工程學院 天津 300130)

1 引言

在計算機網絡通信技術迅猛發(fā)展的背景下，如何高效、可靠地認證用戶身份越來越受到社會的重視[1,2]。基于密碼、口令的傳統(tǒng)身份認證方法由于存在易丟失、易偽造等缺點，已逐漸被生物識別技術[3–6]所代替。近年來，掌紋作為一種紋理豐富、采集方式簡單的生物特征受到了研究人員的廣泛關注，與其對應的掌紋識別技術也在不斷發(fā)展和進步[7]。

傳統(tǒng)的掌紋識別技術多是圍繞2維掌紋所展開，2維掌紋雖易于提取，卻也易被偽造，所以3維掌紋識別技術應運而生。2008年Li等人[8]設計了一種基于結構光的設備來捕獲手掌的3維數(shù)據(jù)，并進一步建立了由8000個3維掌紋樣本組成的數(shù)據(jù)庫。在此基礎上，研究者進行了一系列與3維掌紋識別相關的研究工作。Zhang等人[9]提出了一種3維掌紋識別方法，該方法首先基于曲率對3維掌紋數(shù)據(jù)進行特征提取以獲得平均曲率圖像(Mean Curvature Image, MCI)、高斯曲率圖像(Gaussian Curvature Image, GCI)和曲面類型(Surface Type, ST)，然后編碼為二進制特征。Bai等人[10]提出了一種新穎的3維掌紋識別方法，該方法將分塊ST與主成分分析相結合以提升算法效率。然而，傳統(tǒng)的3維掌紋識別技術需要人工設計的特定濾波器以提取特征信息，這種做法更依賴設計者的先驗知識，使其精度易受外界環(huán)境(如光照、對比度等)和手掌姿態(tài)影響。并且傳統(tǒng)的3維掌紋識別技術并不能像深度學習一樣，可將特征提取和特征匹配融合至一步，增加了不同方法在優(yōu)化組合時的難度。

目前，人工智能作為計算機科學領域的前沿產物，其主要方面的深度學習在近幾年經歷了飛速的發(fā)展，尤其是在樣本識別領域。與傳統(tǒng)的識別算法不同，深度學習的方法利用反復使用卷積運算和池化運算以獲得越來越復雜的特征圖，最后通過全連接層直接輸出結果，使得其相比于傳統(tǒng)的識別方法而言具有更高的識別精度和更快的識別速度。所以，如何將深度學習運用到掌紋識別中也成為當下學者重點研究的一個方面。但現(xiàn)階段，基于深度學習的掌紋識別技術大多是圍繞2維掌紋所展開。楊冰等人[11]首次提出將深度學習應用到3維掌紋識別中，文中采用的卷積神經網絡(Convolutional Neural Networks, CNN)雖然保證了一定的識別精度，但掌紋識別時間會隨著網絡深度的提高而延緩，并且對于小樣本的3維掌紋數(shù)據(jù)集，網絡深度的提高也會加重“過擬合”問題，影響網絡的泛化性能。所以本文針對此問題，選取結構上更為簡單的CNN為原型，對其進行一系列改進再應用至3維掌紋識別中，并在公開數(shù)據(jù)集上驗證所提方法的識別率和識別速度都有所改進。

2 3維掌紋ST和深度學習融合算法

考慮到3維掌紋識別技術的快速、準確識別要求，而傳統(tǒng)方法因將特征提取與分類識別分開進行，導致了不同方法優(yōu)化組合的難度增大，在一定程度上影響了識別時間和準確率。所以，針對上述問題，本文提出一種基于深度學習的3維掌紋識別方法。首先，利用2維灰度ST圖表征3維掌紋信息并劃分訓練集和測試集；其次，將訓練集圖像輸入改進的CNN進行訓練和學習，待訓練完成后固定網絡參數(shù)，并輸入測試集圖像進行泛化性驗證。本文將介紹3維掌紋的ST表示方法、CNN的具體改進以及如何實現(xiàn)兩者的結合。

2.1 3維掌紋ST

生物特征提取是3維掌紋識別的首要任務，原始捕獲的3維掌紋數(shù)據(jù)包含大量的浮點數(shù)，而想要完成3維掌紋識別，首要的工作就是進行3維掌紋的特征表示。因ST的特征表示方法具有較為出色的區(qū)分性，故本文采用2維ST灰度圖像作為3維掌紋數(shù)據(jù)的特征。

2.2 改進的LeNet5網絡

2.2.1 LeNet5網絡

CNN是一個多層網絡模型，常包含卷積層、池化層和全連接層[13]。對于深度學習而言，網絡結構越復雜其學習能力也就越強。但是帶來的問題是，訓練時需要更大的數(shù)據(jù)集。目前現(xiàn)存的掌紋公開數(shù)據(jù)集的樣本數(shù)量相較于深度學習領域還是較少，如果采用復雜的CNN，反而會因過擬合問題使得訓練效果更差，并且網絡的加深也會延緩識別時間。所以針對此類問題本文以結構較為簡單的LeNet5[14]作為參考網絡進行了研究。LeNet5最早是由LeCun等人[14]提出的用于手寫體字符識別非常高效的CNN，學習參數(shù)約為6×104個。相較于參數(shù)量大的復雜網絡而言，該網絡更適用于小樣本數(shù)據(jù)集的學習。但由于原始的LeNet5提出時間較早，網絡還存在“梯度消失”、“過擬合”等問題，所以本文針對此類問題進行改進。圖1為網絡正體框架圖。

表1 由曲率得到的9類ST

2.2.2 網絡具體改進步驟

基于LeNet5網絡的具體改進方法如下：(1)針對網絡激活函數(shù)進行改進，原始LeNet5網絡所用的S型函數(shù)Sigmoid和雙曲正切函數(shù)Tanh會出現(xiàn)“梯度消失”的現(xiàn)象，即網絡反向傳播時會出現(xiàn)靠近輸出層的隱藏層權重更新緩慢或更新停滯，從而無法完成深層網絡的訓練。而常見的線性整流函數(shù)(Rectified Linear Unit, ReLU)數(shù)學定義如式(4)

其中，PReLU將通過增加可學習的參數(shù)ai， 使得網絡自適應當輸入小于0時的輸出，以此來提高激活函數(shù)ReLU的性能。(2)在卷積層和全連接層后添加批量歸一化(Batch Normalization, BN)操作。該操作最早由Ioffe等人[16]提出，并證明了該方法在改善“過擬合”問題上具有出色的表現(xiàn)。BN操作通過對輸入網絡層的數(shù)據(jù)進行歸一化處理(歸一化至：均值0、方差1)，解決數(shù)據(jù)在網絡層傳播時發(fā)生的“內協(xié)變量漂移”的問題，從而改善“過擬合”現(xiàn)象，并提高網絡的收斂速度。(3)利用常應用于多分類問題的Softmax分類器代替原網絡最后的輸出層，通過輸出每個類別的概率值，來確定網絡對輸入進行的類別預測。本文針對LeNet5網絡激活函數(shù)發(fā)生“梯度消失”、訓練后網絡發(fā)生“過擬合”和網絡輸出層無法直接輸出樣本所屬類別的問題，利用已在不同模型下證明了測試效果的方法對網絡進行3處改進。由于針對的問題不同，所以網絡的3處改進之間并不會相互影響，如圖1所示。

圖1 網絡整體框架圖

2.3 ST與深度學習融合

相比于平均曲率圖像(Mean Curvature Image,MCI)、高斯曲率圖像(Gaussian Curvature Image,GCI)、形狀指數(shù)(Shape Index, SI)等3維掌紋特征表示方法，一方面，ST結合了MCI和GCI優(yōu)點，具有高度可區(qū)分性，且掌紋是種非剛性物體，在數(shù)據(jù)采集過程中往往容易發(fā)生微小的形變，ST的方法具有更高的魯棒性。另一方面，在特征提取上，傳統(tǒng)的基于人工設計的特征提取算法對于不同的掌紋信息(如紋理、方向、細紋、頻率)，需要利用不同的濾波器進行采集，這就導致了此類“特定”的濾波器并不能充分地提取到掌紋圖像的全部信息。而深度學習的優(yōu)勢在于，CNN可通過數(shù)據(jù)驅動的方式自動地提取特征信息。在此過程中，只需設計網絡模型的結構而不用考慮具體的濾波器模板，網絡會根據(jù)數(shù)據(jù)集的特點自行學習更為復雜的濾波器以便提取不同的掌紋特征信息。所以結合兩者的特點和優(yōu)勢，提出將兩者相融合以提高掌紋識別的效果。

現(xiàn)存公開的3維掌紋數(shù)據(jù)集以點云的形式存儲著掌紋的深度數(shù)據(jù)。傳統(tǒng)的3維掌紋識別步驟，首先將3維掌紋數(shù)據(jù)進行基于曲率的2維圖像化表示；其次利用人工設計的濾波器對掌紋圖像進行特征提取；最后利用分類器對特征進行分類與識別。目前雖然存在著可直接處理3維點云的深度學習網絡，但是該網絡大多適用于形狀規(guī)則物體的分類與識別，顯然并不適用于細節(jié)特征更為豐富的掌紋數(shù)據(jù)。并且因點云的無序性，深度學習網絡會在處理3維點云時進行“對齊”操作，這樣的做法增加了計算復雜度、提高了識別時間，也不符合3維掌紋識別的快速性要求。所以本文保留傳統(tǒng)方法中利用基于曲率的2維圖像表征3維掌紋數(shù)據(jù)的步驟，利用曲面類型對3維掌紋數(shù)據(jù)集進行2維特征表示。再將2維的ST灰度圖像輸入網絡進行訓練與測試，通過卷積神經網絡代替?zhèn)鹘y(tǒng)方法中的濾波器和分類器，以達到3維掌紋快速識別的要求。本文所提方法流程圖如圖2所示，首先對3維掌紋數(shù)據(jù)集進行訓練和測試集的劃分；其次將劃分好的數(shù)據(jù)集進行掌紋局部ST特征表示；然后將訓練集ST圖像輸入LeNet5網絡進行訓練學習，并將訓練完成后的網絡模型參數(shù)固定；最后將測試集ST圖像輸入網絡，驗證網絡的泛化能力，以完成3維掌紋識別。

圖2 所提方法流程圖

3 實驗與分析

與驗證不同的是，識別是一對多的匹配問題，最終決定用于測試的3維掌紋所屬類別。本文在公開數(shù)據(jù)集上進行了3個對比實驗，并通過測試集的識別率和識別時間以分別驗證ST特征表示方法、所改進網絡和兩者相結合后的有效性，本文的實驗硬件環(huán)境為 CPU:Intel Core i5-9400F CPU @ 2.90 GHz；GPU:NVIDIA GeForce RTX 2060；內存:16 GB RAM；深度學習框架:Tensorflow。

3.1 3維掌紋數(shù)據(jù)庫

本文在實驗中所使用的公開數(shù)據(jù)集為香港理工大學3維掌紋數(shù)據(jù)集[17]，該數(shù)據(jù)集包含了400個不同手掌中收集的8000個樣本。每只手掌每次采集10個樣本，采集了兩次，共20個樣本，此20個樣本可視為同一類別，兩次采集的時間間隔為30 d。

3.2 3維掌紋識別實驗

本文識別實驗設計如下：首先劃分訓練集與測試集，將掌紋庫中第1次采集的圖像用作訓練樣本，第2次采集的圖像用作測試樣本。這樣訓練集和測試集均包含400個掌紋類別，每個類別包含10個圖像，共4000幅圖像。最后通過統(tǒng)計不同方法的rank-1識別率來衡量方法的性能。為證明本文所提方法的有效性，首先，在使用相同的深度學習網絡時對不同的掌紋特征表示方法進行對比試驗；其次，在使用相同的掌紋特征表示方法時對不同的深度學習網絡進行對比實驗，并針對測試樣本識別時間進行了比較。卷積神經網絡中超參數(shù)的選擇會很大程度上影響網絡的性能，通過實驗發(fā)現(xiàn)如果將網絡的學習率設置為0.001，批次大小設置為100，迭代次數(shù)設置為1500步時，最終的測試集在識別率和訓練時間上都會達到一個理想的表現(xiàn)。如圖3(a)為3維掌紋ST的訓練集與測試集準確率的比較，可以發(fā)現(xiàn)，訓練集會很快地達到100%的準確率，而測試集最終會達到99.43%的準確率，展現(xiàn)出了一個較為理想的泛化能力。圖3(b)為訓練集的損失。

圖3 3維掌紋ST的深度學習結果

3.2.1 掌紋特征表示方法有效性實驗

為了驗證所提網絡的有效性，本文使用改進后的LeNet5網絡對掌紋識別進行實驗。在提取3維掌紋的ST后，分別提取3維掌紋的MCI, GCI和緊湊型表面類型特征(Compact Surface Type, CST)，并與2維掌紋圖像進行了對比。通過識別率來評價2維掌紋與3維掌紋識別的優(yōu)劣以及不同3維掌紋特征表示方法對最終識別效果的影響。表2為2維掌紋及3維掌紋不同特征表示方法的對比實驗結果。

通過表2的實驗結果得出如下結論。首先，在所提網絡下，無論哪種3維掌紋的特征表示方法，其識別率都是要優(yōu)于2維掌紋圖像，即與2維掌紋相比3維掌紋特征具有更好的可區(qū)分性。其次，在常見的一些3維掌紋特征表示方法中，當利用ST圖像作為3維掌紋的特征表示時，其識別效果最佳，即ST圖像可以更好地刻畫3維掌紋的結構特征。究其原因，ST結合高斯曲率和平均曲率對3維掌紋特征進行編碼，其圖像具有高度可區(qū)分性，很好地保留了掌紋曲面的3維細節(jié)特征，不易受到手掌所處空間位置影響。最后，由于網絡相同，不同的3維掌紋特征表示方法在識別時間上并未有太大的差別。

表2 2維掌紋及3維掌紋不同特征表示方法的對比實驗結果

3.2.2 深度學習網絡有效性實驗

為了驗證所提網絡的有效性，本文使用不同的卷積神經網絡對相同的3維掌紋特征表示方法(ST)進行實驗。所對比的網絡有未改進的LeNet5及文獻[11]中所使用的AlexNet。其中，AlexNet是2012年Image Net競賽冠軍，其網絡結構被廣泛地應用在了不同領域。將不同網絡下測試樣本的識別率、訓練樣本的訓練時間及測試樣本的識別時間作為判斷網絡性能優(yōu)劣的評判標準。

表3可以得出如下結論。首先，在測試集的識別率上，未改進的LeNet5識別效果并不理想。而改進后的LeNet5+ST方法要優(yōu)于文獻[11]中提出的AlexNet+ST的方法。其次，在訓練集的訓練時間上，LeNet5相較于AlexNet要耗時更少。究其原因，LeNet5的網絡參數(shù)要明顯少于AlexNet，網絡結構更為簡潔。改進的LeNet5僅用時28 ms就可在4000個測試樣本中完成快速身份認證，在識別時間上其表現(xiàn)也要優(yōu)于未改進的LeNet5和AlexNet。最后，在文獻[11]中的深度學習方法因可直接輸出3維掌紋對于各種類別的概率，使得其與傳統(tǒng)方法相比，在識別時間上有著明顯的優(yōu)勢。而這也進一步證明了本文所提方法的優(yōu)越性。

表3 不同網絡的對比實驗結果

3.2.3 不同3維掌紋識別方法對比實驗

為驗證使用ST特征表示與深度學習融合的識別方法的優(yōu)勢，將其與幾種傳統(tǒng)的3維掌紋識別方法進行了比較，結果如表4所示。結果表明，與傳統(tǒng)3維掌紋識別方法相比(以分塊ST+PCA的方法為例進行對比)，本文所提的3維掌紋識別方法在相同的4000個測試樣本下減少了7個錯誤分類的樣本，從而提高了識別精度。

表4 不同方法的對比實驗

4 結束語

本文提出一種基于ST特征表示與深度學習相融合的3維掌紋識別方法。通過訓練后的網絡直接提取掌紋圖像特征并同時完成分類，克服了傳統(tǒng)方法上特征提取與分類識別分開進行時難以優(yōu)化組合的問題，并縮短了識別時間。實驗結果表明，本文提出的3維掌紋識別方法具有較高的識別率，相比于傳統(tǒng)方法具有較大提高，并且可在28 ms內完成單個樣本的快速識別，滿足了準確實時識別的需求。未來，將對基于深度學習的3維掌紋識別技術進行更深入的分析，嘗試將遷移學習、元學習等深度學習處理小樣本數(shù)據(jù)集時的新方法與3維掌紋識別相結合，并針對不同網絡進行測試、改進，以達到一個更好的效果。