基于TensorFlow的掌紋識別方法研究

王全

摘要：使用掌紋作為生物特征進行身份認證是近年來一門興起的技術，本文提出一種基于TensorFlow的掌紋識別方法。該方法首先應用TensorFlow Object Detection API使用Google ML Engine云計算技術對獲取到的手掌圖像進行訓練，利用得到的模型在本地完成手掌檢測；然后通過手掌檢測獲得的ROI，使用OpenCV得部分掌紋；最后采用TensorFlow自行編寫的卷積神經網絡，對提取到的掌紋圖像進行訓練，得到訓練模型進行分類預測。實驗表明，該方法對比PCA、LBP等算法、得到了較高的識別率。

Abstract： Using palmprint as biometrics for identity authentication is a rising technology in recent years. This paper proposes a palmprint recognition method based on TensorFlow. The method first uses the TensorFlow Object Detection API to train the acquired palm image using Google ML Engine cloud computing technology. The palm can be detected locally by using the model. And then the ROI obtained by palm detection. Use OpenCV to get partial palmprint. Finally， the convolutional neural network constructed by TensorFlow is used. The extracted palmprint image is trained to obtain a training model for classification prediction. Experiments show that this method， compared with PCA， LBP and other algorithms， obtains a higher recognition rate.

關鍵詞：掌紋識別；卷積神經網絡；手掌檢測；掌紋提取

Key words： palmprint recognition；convolutional neural networks；palm detection；palmprint extraction

中圖分類號：TP391 文獻標識碼：A 文章編號：1006-4311（2018）33-0169-03

0 引言

掌紋識別是一種新穎的生物識別技術。相對于人臉和指紋等被廣泛應用的生物識別技術，掌紋具有掌紋面積大、紋理信息多、易獲取、可靠性和精度高等優點，在考勤和身份認證等方面有著廣泛的應用。

手掌是指手指根部到手腕之間的區域，手掌的皮膚紋理稱為掌紋，掌紋中含有豐富的特征。掌紋識別的優劣和特征提取密切相關。目前掌紋特征提取方法主要分為基于掌紋結構特征、編碼特征、子空間特征和統計特征四大類[1]。盧光明和鄔向前提出了基于特征掌的掌紋識別算法[2，3]，Yi Pu 等人提出了基于K - Means 和 SVM的掌紋識別方法[4]，Ling Lin 等人結合PCA和啟發式人工神經網絡進行掌紋識別[5]。本文嘗試利用TensorFlow來提取特征并完成識別。

1 基于TensorFlow 的手掌檢測

TensorFlow是谷歌公司為數值計算開發的第二代開源的一種基于數據流圖的處理可以進行各種感知和語言理解任務的機器學習框架。

本文采用約旦的Mutah大學團隊開放的手掌圖片數據庫作為手掌檢測的訓練樣本的原始圖像，該數據庫中有4組，每組有50人，每人含有5張手掌圖片。部分樣本如圖1所示。

利用LabelImg對圖片進行標注。在標注過程中，框選訓練樣本中手掌的部分標注為Hand，并進行逐一的保存，得到Pascal VOC文件，保存為XML格式文件，記錄了其中的標簽數以及各標簽的ROI。再將Pascal VOC文件轉換為CSV格式文件，再和圖片一同轉換為record文件。

手掌檢測的訓練模型部分選用TensorFlow Object Detection API提供的預訓練模型中的ssd_mobilenet_v1_coco用于遷移學習，該訓練模型可輸出相應的矩形范圍作為ROI，從而完成手掌檢測的過程。

其訓練過程在Google Cloud Platform提供的Google ML Engine進行訓練，首先在本地配置ssd_mobilenet_v1_hand.config文件用于存儲訓練的數據類和類名以及訓練次數；之后在本地配置cloud.yml文件用于訓練環境；之后上傳使用到的預訓練模型和訓練的所使用的樣本record文件至谷歌云存儲平臺，即可在Google Cloud SDK中運行指令并開始訓練任務。在訓練過程中，每幾千次會存儲一次相應的模型至Google提供的云存儲平臺，并可自行選擇暫停。在訓練完成后在存儲區域中可看到相關的模型，本文采用30045次時的模型，下載至本地后利用TensorFlow Object Detection中的export_inference_graph.py并在參數中加入模型的名稱，即可實現生成.pb文件。

讀取pb文件中的模型，在拍照的或實時攝影的條件下即可得到目標檢測的ROI。手掌檢測結果如圖2所示。

2 基于OpenCV的掌紋提取

首先通過手掌檢測，獲得圖片中關于手掌部分的ROI，之后為了獲得二值化的手掌圖片，使用將圖片的拷貝轉化為ycrcb形式的圖片的方法，根據ycrcb下的手的顏色進行掩模操作從而完成二值化得到手掌黑白圖片的過程。將圖3（a）手掌ROI圖片轉化為ycrcb形式；在ycrcb格式下的圖像顏色中，手掌顏色在其中存在于一個連續的RGB區間內。因此從其中獲得如圖3（b）的黑白手掌圖片可以根據ycrcb格式的手掌顏色進行掩模處理獲得，在黑白圖片中尋找周長最大的輪廓即為手掌；在當前的黑白圖片中利用distanceTransform（距離變換）在白色部分中尋找距離黑色部分最大的中心即為手掌中心，根據手掌中心坐標利用距離為半徑畫圓即為手掌區域，如圖3（c）粉色圓區域；利用圓區域得到其內切正方形即為本文提取到的掌紋部分，如圖3（c）綠色正方形區域；最終可以得到掌紋的范圍并保存，如圖3（d）所示。

3 基于卷積神經網絡的掌紋識別

在TensorFlow Python API下，使用import指令導入TensorFlow，在tf.nn下為我們提供了實現神經網絡各層的相關函數。由于本地使用CPU機器學習相對于GPU配置較低，故本文中使用了簡單的卷積神經網絡用以訓練：共分為5層，每3層每層由卷積層（這3層的卷積核大小均為3×3、輸入通道分別為3、32、64）、池化層（使用maxPooling方法取2*2范圍的最大值）和dropout組成。在本神經網絡的最后，全連接層和輸出層各一層。

使用提取到的拍照獲得的掌紋作為正樣本，如圖4所示；Hand Images Database中提取的掌紋作為負樣本，如圖5所示。隨機劃分5%圖片作為測試集，每次讀取120張圖片并轉換為64*64像素的圖片，利用前面介紹過的自行編寫的卷積神經網絡進行訓練，經過了較為簡單的1000次訓練得到訓練模型。

在進行掌紋識別時讀取本模型，將掌紋圖片輸入，便可根據神經網絡輸出結果判斷是否為正樣本掌紋（因為在全連接層的配置以及訓練輸入的圖片只有正負樣本的區別，因此識別出的結果為判斷是否為本人的掌紋。

4 實驗結果及分析

使用非訓練集的樣本圖片進行測試，在正樣本下由手掌圖片輸入到手掌檢測、手掌圖片二值化、提取掌紋、掌紋識別的過程及每步識別結果測試如圖6由左到右所示。

通過正樣本下的測試用例，除了最終正確輸出了True的結果，但是也發現正樣本下的手掌拍攝時光照強度過大導致提取掌紋時沒有達到設計的效果，使得提取的掌紋范圍相對于預計的范圍較小。

而在負樣本下由手掌圖片輸入到手掌檢測、手掌圖片二值化、提取掌紋、掌紋識別的過程及每步識別結果測試如圖7由左到右所示。

在負樣本下的測試用例下，正確輸出了False的結果，但是通過觀察可以發現手掌拍攝時周圍背景顏色在ycrcb下顏色較為相似，所以導致處理時手掌的范圍相對于實際的范圍較大，雖然提取到的掌紋部分沒有超出手掌的范圍，但是在特定的情況下可能導致出現一定問題。

通過實驗，我們可以明顯發現光照對于掌紋識別正確率的影響，同時驗證了本程序在一定的光照強度下對含有手掌的圖片能夠進行從基于TensorFlow Object Detection API的手掌的檢測開始，通過基于OpenCV并利用二值化和距離變換的掌紋提取，到基于TensorFlow編寫的卷積神經網絡完成對掌紋識別的完整的過程。

5 總結

本文利用TensorFlow Object Detection API完成了手掌的檢測，基于OpenCV完成掌紋的提取算法，基于TensorFlow 構建卷積神經網絡完成掌紋的訓練與識別，對于每部分的過程進行了詳細的介紹，并對每部分進行實驗，結果表明，該方法有較高的識別率，同時具備穩定性和魯棒性。接下來，通過提高成像設備和計算機設備的性能，優化算法效率，本文提出的掌紋識別方法將會有良好的應用前景。

參考文獻：

[1]岳峰，左旺孟，張大鵬.掌紋識別算法綜述[J].自動化學報， 2010，36（3）：353-365.

[2]Lu Guangming，David Zhang，Wang Kuanquan. Palmprint recognition using eigenpalm Features[J]. Pattern Recognition Letters，2003（24） ：1463-1467.

[3]Wu Xiangqian，David Zhang，Wang Kuanquan. Fisherpalms based palmprint recognition [J]. Pattern Recognition Letters. 2003，（24） ：2829，12.

[4]Yi Pu，Tian Jianwu，Xu Dan，Zhang Xuejie，Palmprint recognition based on RB K - means and Hierarchical SVM[C]. International Conference on Machine Learning and Cybernetics，66th，Hong Kong，19 - 22 August，2007.

[5]Lin Ling，Palmprint Identification Using PCA Algorithm and Hierar-chical Neural Network[J]. Life System Modeling and Intelligent Computing Lecture Notes in Computer Science Volume 6330，2010：618-625.

[6]胡戎翔.基于掌紋和手形的生物特征識別方法[D].合肥：中國科學技術大學，2016.