EEID與人臉識別的關聯方法

段俊杰 文勇軍 唐立軍

(長沙理工大學物理與電子科學學院 湖南 長沙 410114)

(近地空間電磁場環境監測與建模湖南高校重點實驗室 湖南 長沙 410114)

0 引 言

教育電子身份號(EEID)具有與公民身份證號碼一一對應的特性，利用EEID實現統一身份認證，既可對用戶實行實名管理，又可以保護用戶個人信息隱私[1-3]。目前國內已有教育電子身份號一千余萬個用戶，在實名制網絡空間的應用上發揮了重要作用，但由于EEID是固定不變的身份標識碼，若不采取有效的監控方法，僅憑用戶EEID登錄網絡不能保證是用戶本人的行為。因此，實現有效、安全的網絡實名制管理，需要研究一個既方便有效又安全可靠的網絡實名制登錄方法，確保每個用戶使用本人的身份標識碼上網。人臉識別技術是通過視頻掃描來確認使用者的身份，用戶在進入登錄界面時，能對人臉特征進行分析鑒定和更新，但直接用于網絡管理容易泄露用戶信息，且不便建立實名制網絡空間[4]。本文在采用EEID管理系統的基礎上，探索一種EEID與人臉特征識別的關聯方法，研究一種EEID+人臉識別的實名制登錄與管理系統，為網絡管理提供一種有效的實名制管理方法。

1 原理介紹

1.1 EEID實名制網絡空間的建立

圖1為EEID實名制實現原理，身份信息經過加密后生成EEID，管理員可以通過EEID反向查看用戶身份保密信息，其他用戶不可見，保證了用戶實名制安全。在EEID基礎上設置的其他非保密信息對所有人都是可見的，方便用戶之間的交流。EEID實名制管理是通過EEID與網絡結合生成EEID標識的網絡空間，利用EEID與用戶一一對應的關系，實現實名制管理，這種方法具有保護用戶個人隱私的優勢。

圖1 EEID實名制實現

1.2 活體檢測方法

活體檢測方法主要通過人機動作配合來檢測真人與照片的差別[5]。首先使用局部約束模型(Constrained Local Model,CLM)檢測人臉關鍵點，整個過程包括形狀模型構建和Patch模型構建，如圖2所示。形狀模型構建就是對人臉模型形狀進行建模，描述了形狀變化遵循的準則。而Patch模型則是對每個特征點周圍鄰域進行建模，建立一個特征點匹配準則，判斷最佳特征點[6]。

圖2 形狀模型和Patch模型

為確保活體檢測快速有效，設定橢圓約束區域A，假設活體的關鍵點(xi，yi)，則(xi，yi)處于攝像頭內的條件滿足：

(1)

圖3為人臉各關鍵點位置坐標，檢測感興趣的區域(ROI)，如嘴唇、眼睛或臉頰關鍵點位置變化，從而實現動作的追蹤與判斷。

圖3 人臉關鍵點位置

眨眼、張嘴動作檢測公式如下：

(2)

式中：將眼部和嘴部區域近似看成橢圓，Sk表示第k幀的橢圓面積；α為面積變化值。

攝像頭檢測人臉照片可以近似看成二維物體的投影，無論旋轉和平移，攝像頭采集到的圖片都不具有三維變化特征。如攝像頭前的人臉照片平移或者以鼻子為對稱軸轉動時，兩臉頰的關鍵點到鼻子的距離與初始距離是成比例的，兩臉頰的面積比不變；而真人人臉是三維的，搖頭或點頭時兩邊臉頰不會成比例變化，面積比會有明顯變化。

在整個檢測過程中，隨機動作配合可以在一定程度上防止視頻欺騙，而隨機圖片傳輸增加了人臉識別的安全性。

1.3 人臉識別方法

(1) 人臉對齊：使用級聯回歸樹(ensemble of regression trees,ERT)方法定位人臉68個關鍵點，獲取68個關鍵點中的左右眼、鼻子和上嘴唇位置的關鍵點矩陣，對照模板的基準關鍵點矩陣，計算兩矩陣的相似變換矩陣：

(3)

式中：s為伸縮量；t為位移量；θ為旋轉角度。用相似變換矩陣對整個圖做相似變換，圖像保持形狀不變，大小位置變化。

(2) 歸一化：尺度歸一化將圖像尺度統一調整到224×224，為卷積神經網絡提取特征提供同一尺寸。幅度歸一化將輸入圖像的像素歸一到同樣的范圍，即將分布于[0,255]的原始圖像像素歸一化到[0,1]，有利于提升算法的運行效率和學習表現。

(3) 特征提取：卷積神經網絡(Convolutional Neural Networks,CNN)是一類包含卷積計算且具有深度結構的前饋神經網絡(Feedforward Neural Networks)，是深度學習(deep learning)的代表算法之一[7]。深度結構表示擁有層次結構，分為卷積層、池化層和全連接層。卷積層用于提取輸入數據的特征，池化層是對卷積層輸出的特征信息進行選擇與過濾，全連接層位于卷積網絡的最后部分，將得到的特征信息進行分類。

(4) 卷積層之間的稀疏連接模擬人的視覺神經系統結構：視覺皮層細胞從視網膜上的光感受器接收信號，但單個視覺皮層細胞不會接收光感受器的所有信號，而是只接受其所支配的刺激區域，即感受野內的信號。只有感受野內的刺激才能夠激活該神經元。大量視覺皮層細胞通過系統地將感受野疊加，完整接收視網膜傳遞的信號并建立視覺空間[8]。

圖4為牛津大學計算機視覺組(Visual Geometry Group)研發的一種深度卷積神經網絡VGG16[9]。VGG16卷積神經網絡包含13個卷積層和3個全連接層。它的卷積層采用3×3的卷積核，卷積核小，卷積輸出的特征數據更多更強有力，而且多個卷積層與非線性激活函數交替的結構，比單一卷積層的結構更能提取出深層的更好的特征。最后的全連接層FC8層輸出的值可以作為人臉的特征值。一幅人臉圖應用VGG16卷積神經網絡在FC8層得到2 622個特征值，考慮到特征值太多，數據存取壓力大，識別效率低，因此在不影響識別效果的情況下，可以將特征值數量適當裁剪。

圖4 VGG-16網絡結構圖

(5) 特征值數目選取：為選擇合適的特征值數目，通過VGG-16卷積神經網絡提取同人、不同光照和不同人、同光照的特征值，比較余弦相似度，結果見表1。可以看出，在特征值數目大于500時，同人不同特征值的相似度變化量是0.001～0.04，而小于500時，同人相似度變化量大于0.01，不同人相似度變化量大于0.03。選取500個特征值就基本能滿足人臉識別的要求。

表1 不同特征值數目的相似度測試

(6) 相似度計算：計算數據庫中已登記的人臉特征值與現捕獲的特征值的余弦相似度，對比預設定的閾值進行身份識別。兩人臉特征空間A=(A1,A2,…,An)、B=(B1,B2,…,Bn)，它們的余弦相似度為：

(4)

(7) 閾值設定：為了選定合適的相似度閾值，需要測試同環境條件下不同人的最大相似度和不同環境條件下同人的最小相似度。對9組人在兩種條件下的相似度進行測試，結果如表2所示，隨機9組不同人同光照條件下的相似度均在0.70以下，而且同人不同光照條件下的相似度均在0.88以上。將閾值設在兩者之間并且偏向于高相似度，才能保證高識別率，本文設為0.85。

表2 不同人組的相似度測試

2 EEID與人臉識別的關聯方法

2.1 關聯方法介紹

EEID+人臉識別的網絡實名制管理系統即在EEID實名制管理系統基礎上，將EEID與人臉識別關聯，實現人、名一致且保護用戶隱私。EEID與人臉識別的關聯方法分為EEID與人臉建模關聯和EEID與人臉識別比對關聯兩部分。

(1) EEID與人臉建模關聯：將EEID與身份證信息一致的人臉數據進行建模，提取人臉特征，并將生成的人臉模板(人臉特征值)保存到數據庫中。

(2) EEID與人臉識別比對關聯：將捕獲到的人臉特征與數據庫中已登記的EEID所綁定的人臉特征作比對進行認證。

2.2 設計與實現

EEID+人臉識別的網絡實名制管理系統采用Struts+Spring+Hibernate框架設計實現，主要包括注冊登記與認證登錄兩個部分。圖5為系統功能，圖6為系統結構。

圖5 功能模塊

圖6 系統結構

2.3 活體檢測流程

如圖7所示，活體檢測從第0幀(K=0)開始，前50幀(K<50)是用戶調整攝像頭中人臉位置的緩沖時間，第50幀至190幀是眨眼、張嘴等動作隨機檢測的時間，超過190幀提示檢測失敗。隨機動作和時間限制可以增加安全性，提高系統效率。

圖7 活體檢測流程

2.4 注冊流程

注冊的流程如圖8所示。首先用戶EEID已經實名信息驗證，對已注冊的用戶驗證身份，對未注冊的用戶實名注冊；其次用戶特征信息驗證，用人臉識別的方法建立用戶的人臉圖像特征，添加活體檢測防止用照片來干擾對人臉信息獲取；最后，提取用戶人臉特征值，保存到數據庫。

圖8 注冊流程

2.5 認證登錄流程

認證登錄階段是將EEID與人臉認證登錄中的1∶1人臉核實進行融合，避免1∶N人臉識別的效率問題，并保證了操作用戶為本人，增強實名制登錄的安全性。流程如圖9所示。

圖9 認證登錄流程

首先驗證用戶EEID，查找用戶特征值信息；然后進行活體檢測，區分真假人臉，保證人臉識別的安全性；最后，更新數據庫特征值，保存用戶特征值信息變化。

3 性能測試

本系統測試用戶是實驗室的14人，測試環境為：Windows 10 x64版本，CPU：AMD Ryzen 5 1600 六核，GPU: Nvidia GeForce GTX 1050,RAM：8 GB，攝像頭：Logitech c270。測試內容包括注冊、認證登錄功能和系統響應。

3.1 注冊功能測試

分別在未實名認證的用戶真人、已實名認證的用戶真人和已實名認證的用戶照片三種情況下對14個用戶的注冊操作進行測試，結果如表3所示。未實名認證的用戶真人注冊成功率為0，而已實名認證的用戶真人注冊功率為100%，說明未實名認證的用戶不能進行注冊；已實名認證的用戶照片的注冊成功率為0，說明活體檢測能夠區分真人和照片。因此，注冊模塊實現了EEID與人臉建模的關聯。

表3 注冊功能測試

3.2 認證登錄功能測試

從14個已注冊用戶中隨機選取9個，分別測試EEID與符合用戶照片、EEID與符合用戶和EEID與其他不符合用戶的三種登錄情況。測試結果匯總如表4所示，EEID與符合用戶的登錄成功率為100%，而EEID與其他不符合用戶真人的登錄成功率為0，說明EEID與用戶人臉特征一一對應；EEID與符合用戶照片的登錄成功率為0，進一步證明活體檢測方法的有效性。因此，認證登錄模塊實現了EEID與人臉識別比對的關聯。

表4 登錄功能測試

3.3 系統響應測試

需要測試系統各個模塊的響應時間以保證系統實時有效。系統注冊和認證登錄模塊的響應時間如表5所示。活體檢測、特征提取與數據傳輸與存儲等的耗時是固定的，其中活體檢測占據主要耗時，人機配合動作的活體檢測雖然減少了系統效率，但是增強了安全性；認證登錄需要查詢EEID和計算相似度，所以時間相比于注冊增加了，并且隨著注冊用戶數的增加而增加。除活體檢測以外，人臉識別的單獨用時為250 ms左右，少于1 s，響應靈敏。

表5 系統響應時間測試 ms

4 結 語

將EEID與人臉識別結合，設計并實現了EEID+人臉識別的實名制登錄與管理系統實現網絡實名制管理。系統采用EEID與人臉識別比對關聯實現了單次比對識別身份，避免了N次比對，大大節約了比對時間。前端活體檢測與后端識別的分離充分減少數據傳輸壓力，合理相似度閾值的設定能夠準確地辨明人臉。該系統可實現人臉的活體檢測、實時更新人臉特征，既可保證網絡用戶實名的不可替代性，又可保護用戶信息安全。系統注冊登錄的高成功率和秒級的響應時間證實了EEID與人臉識別的關聯方法的可行性。