基于深度神經網絡的眼周識別方法研究

秦濤

【摘 要】近年來，少限制環境下的生物特征識別技術成為研究熱點，眼周識別作為新興的生物特征識別技術越來越受人們關注。基于深度神經網絡的眼周識別方法相較于傳統方法能更好地提高眼周識別性能。通過提出一個基于ResNet20和softmax的眼周識別方法，在兩個公開的眼周數據集上實驗驗證得到在UBIPr數據集上的EER值為8.19%，在UBIRIS.V2數據集上的EER值為13.18%。與傳統的眼周識別方法相比，文章提出的眼周識別方法取得了較好的眼周識別效果，為深度神經網絡的眼周識別方法發展提供持續動力。

【關鍵詞】生物特征識別;眼周識別;深度學習;卷積神經網絡;殘差學習網絡

【中圖分類號】TP391.41 【文獻標識碼】A 【文章編號】1674-0688（2021）03-0043-03

0 引言

生物特征識別是指依靠人體固有的生理或者行為特征，通過計算機識別人的身份的一種技術，具有操作簡單、安全可靠、唯一的身份特性等特點。近年來，少限制情況下的生物特征識別技術已經成為研究熱點。之前的生物特征身份識別技術都是在受控的場景中使用，這樣會極大地限制使用范圍和使用條件。在此情況下，少限制環境中的眼周識別技術可以發揮更好的識別性能，得到越來越多的關注。

在常用的生物特征識別技術中，虹膜識別[1]具有可靠性、準確性特征，人臉識別[2]也在各個場景得到廣泛應用，但是在少限制情況下，人臉識別和虹膜識別技術均存在許多問題，如圖1所示的適用場景。虹膜圖像需要靠近紅外相機獲得，在長距離、低分辨的情況下，虹膜圖像模糊且無法精確識別身份。受新冠肺炎疫情影響，人們出行需要佩戴口罩，人臉大部分區域被覆蓋，對人臉識別造成影響。眼周區域通常指眼睛周圍包括皮膚和眉毛的區域。在少限制情況下，虹膜識別和人臉識別不可用時，眼周識別可以發揮更好的作用。此外，眼周生物特征也可以與人臉或虹膜融合，提高身份識別性能。研究表明，眼周區域受年齡[3]和表情變化[4]影響較小。但是匹配眼周圖像仍然是一個具有挑戰性的問題，尤其是在約束較少的環境下，因為該區域本身包含的信息比整個面部更少，并經常伴隨著高類內變化，以及來自眼鏡、頭發等遮擋。

最近幾年，在計算機視覺任務中，CNN已經成為一種魯棒性、準確性的提取特征工具，在生物特征識別中得到廣泛應用。CNN相較于傳統的手工提取特征或者其他基于學習的方法表現出更好的識別性能。因此，希望使用CNN眼周識別方法，以取得更好的性能，解決具有挑戰性的眼周識別問題。

1 相關工作

不同環境下的眼周識別算法研究持續進行，2009年，Park等[5]研究了在各種條件下利用眼周區域進行人類身份識別的可行性。Bharadwaj等[6]研究發現在虹膜識別失敗時眼周識別可使用，他們還有一些交叉光譜的眼周識別工作。這些探索性的工作激發了研究人員深入研究的動力，以不斷提高眼周識別的準確性。2013年，研究人員提出了一種先進的方法，使用眼周圖像的DSIFT特征，利用K-means聚類進行字典學習和表示。這項工作還探索了虹膜和眼周識別的評分級融合，并得到較好的識別結果。然而，這種方法沒有研究特定于眼周的特征表示，并且使用DSIFT特征對計算資源消耗很大。2015年，Smereka等[4]提出了眼周概率變形模型（PPDM），這個方法提供一個存在于眼周圖像之間潛在形變的噪聲模型。利用相關濾波器對捕獲的變形進行推斷來匹配眼周對。之后，同一組研究人員改進了他們的基本模型，通過選擇有區別的分塊區域來進行更可靠的匹配。這兩種方法在多數據集上取得了良好性能。然而，這兩種方法都依賴于基于補丁的匹配方案，因此經常違反補丁對應關系，但在實際部署中可能發生規模變化或不對齊的抵抗力較低。2017年，Zhao等[7]提出了一個語義輔助的眼周識別框架，這一方法通過增加一個訓練語義標簽數據的網絡分支，提高眼周識別性能。2018年，這一團隊又提出了對眼周關鍵區域賦予更多權重，提高眼周識別性能的方法[8]。

深度學習技術和CNN在計算機視覺和模式識別任務中的應用越來越多。基于CNN的方法在目標檢測、圖像分類、人臉識別、分割等任務中得到成功應用。但是調查發現，在眼周識別任務中只有少量的眼周識別方法采用深度學習技術提高眼周識別準確度。眼周識別性能需要一直不斷提升，只有這樣，才能滿足真實應用的需要。本文設計了一個基于深度神經網絡的眼周識別方法，在兩個公開的眼周數據集上驗證取得較好的眼周識別效果。

2 基于ResNet的眼周識別方法

2.1 眼周識別方法框架

在此介紹基于ResNet20和softmax損失函數的眼周識別框架。通過研究可知，在深度神經網絡中，隨著網絡深度的增加可以獲得更多魯棒性、有辨別力的特征，提高網絡性能。但是隨著網絡層數的增加會帶來梯度爆炸或者消失，為了解決這個問題提出了殘差學習網絡。在殘差學習網絡中，復制一個淺層網絡的輸出加給深層的輸出，當網絡特征達到最優時，更深層恒等映射任務就從原來堆疊的層中釋放到新建的恒等映射關系中，而原來層中的任務就從恒等映射轉為全0。在殘差網絡中，殘差模塊會在前向過程中幫助網絡中的特征進行恒等映射，在反向過程中幫助傳導梯度，讓更深的模型能夠成功訓練。

為了得到魯棒性、有辨別力的眼周特征，本網絡框架中使用了基于ResNet20的深度神經網絡提取眼周特征。網絡中最后FC層得到的特征向量選擇合適的損失函數對特征向量匹配得到度量匹配分數，選擇合適的損失函數能夠提高眼周識別性能。考慮到眼周區域是人臉的重要部分，提取到的向量特征有很大的相似性，選擇在人臉識別任務中廣泛使用的softmax loss作為本文中眼周識別方法的損失函數，通過實驗驗證取得了較優的眼周識別性能。

2.2 訓練和測試數據增強方法

為了提高網絡的通用性和特征有效性，我們在訓練過程中采用了以下常用的數據增強技術。

（1）訓練數據增強。全部訓練圖像的大小都被調整為224像素×224像素，使用PyTorch中的圖像處理方法隨機調整圖像亮度、對比度、色調、飽和度，使用OpenCV中的圖像處理方法把眼周BGR圖像轉換成HSV圖像等，從而增加訓練時的眼周數據量。

（2）測試數據增強。本文網絡框架中可以接受的輸入圖像的大小為224像素×224像素，所以全部的測試圖像被調整為224像素×224像素。

3 實驗配置和結果分析

3.1 實驗訓練和測試配置

本文的眼周實驗我們使用UBIPr[9]、UBIRIS.V2[10]兩個公開的眼周數據集。為了得到更好的眼周識別性能，在這兩個數據集中把數據集按照3∶7的比例分為訓練集和測試集，在訓練集和測試集中人的性別與年齡信息分布合理，這樣可以達到最接近真實場景的眼周識別性能。實驗使用PyTorch開源框架實現本文中的眼周識別網絡框架，本文中網絡的超參數有權重0.000 5，學習率為0.01，動量為0.5，訓練時的批次大小為128，整個訓練有500個epochs。整個實驗在單塊12 GB的TITAN Xp GPU上進行。

3.2 性能度量和實驗結果分析

為了驗證本文提出的基于深度神經網絡的眼周識別方法，我們在實驗中使用TensorBoard工具對得到的眼周性能指標進行可視化實驗，對定量和定性的眼周識別性能進行分析。本文使用EER、ROC曲線、F? ?1值對在本網絡框架中使用的兩個眼周數據集得到的實驗結果度量眼周識別性能。實驗中，眼周識別錯誤率指標用EER表示，EER值可以定量評價眼周識別性能，EER數值越小，則眼周識別的準確率就越高，代表眼周識別性能越好。

在UBIPr、UBIRIS.V2眼周數據集上實驗得到的EER（如圖2所示）。從圖2可知，UBIPr經過實驗訓練的EER值為8.19%，UBIRIS.V2的EER值為13.18%。在眼周識別實驗中，F1值越大代表眼周識別性能越好，通過實驗得到UBIPr、UBIRIS.V2眼周數據集的F1值如圖3所示。ROC曲線指受試者工作特征曲線、接收器操作特性曲線（Receiver Operating Characteristic Curve），是反映敏感性和特異性連續變量的綜合指標，是用構圖法揭示敏感性和特異性的相互關系。實驗中，ROC曲線下的面積AUC越大則識別的準確性就越高。在實驗的ROC曲線圖中，FPR值為圖中X坐標，TPR值為圖中Y坐標，繪制出ROC曲線。其中，FPR值為代表將負樣本錯誤分為正樣本的概率，TPR值是將正樣本正確分為正樣本的概率。

FPR越大，預測正樣本中實際負樣本越多;TPR越大，預測正樣本中實際正樣本越多，理想情況是TPR=1，FPR=0。通過實驗得到UBIPr、UBIRIS.V2眼周數據集的ROC曲線如圖4所示。

通過實驗結果評價眼周識別性能的EER、F? 1-SCORE和ROC曲線圖可知，相較于傳統的提取特征的眼周識別方法，本文基于ResNet20和softmax損失函數的眼周識別框架這一深度神經網絡的眼周識別方法取得較好的眼周識別效果。

4 結語

本文提出了一個基于深度神經網絡ResNet20和softmax的眼周識別框架，通過在兩個公開的眼周數據集UBIPr、UBIRIS.V2，實驗得到較好的眼周識別性能，在以后的研究中致力于通過研究深度神經網絡，不斷提高眼周識別性能。

參 考 文 獻

[1]Ma L，Tan T，Wang Y，et al.Efficient iris recognition by characterizing key local variations[J].Tra-nsactions on Image processing，2004，13（6）：739-750.

[2]Taigman Y，Yang M，Ranzato M A，et al.Deepface：Closing the gap to human-level performance in face verification[C]//Proceedings of the conference on computer vision and pattern recognition，2014：1701-1708.

[3]Juefei-Xu F，Luu K，Savvides M，et al.Investigating age invariant face recognition based on periocular biometrics[C]//2011 International Joint Conference on Biometrics（IJCB），2011：1-7.

[4]Smereka J M，Boddeti V N，Kumar B V K V.Probabilistic deformation models for challenging periocular image verification[J].Transactions on Information Forensics and Security，2015，10（9）：1875-1890.

[5]Park U，Ross A，Jain A K.Periocular biometrics in the visible spectrum：A feasibility study[C]//2009 IEEE 3rd international conference on biometrics：theory，applications，and systems，2009：1-6.

[6]Bharadwaj S，Bhatt H S，Vatsa M，et al.Periocular biometrics：When iris recognition fails[C]//2010 fourth IEEE international conference on Biometrics：Theory，Applications and Systems（BTAS），2010：1-6.

[7]Zhao Z，Kumar A.Accurate periocular recognition under less constrained environment using semantics-assisted convolutional neural network[J].Tran-sactions on Information Forensics and Security，2016，12（5）：1017-1030.

[8]Zhao Z，Kumar A.Improving periocular recognition by explicit attention to critical regions in deep neural network[J].Transactions on Information Forensics and Security，2018，13（12）：2937-2952.

[9]Padole C N，Proenca H.Periocular recognition：An-alysis of performance degradation factors[C]//2012 5th IAPR international conference on biometrics（ICB），2012：439-445.

[10]Proenca H，Filipe S，Santos R，et al.The UBIRIS.v2：A database of visible wavelength iris images captured on-the-move and at-a-distance[J].Tra-nsactions on Pattern Analysis and Machine Intelligence，2009，32（8）：1529-1535.