應用于快遞領取的防欺騙人臉識別系統＊

胡 鐵，付曉峰

（杭州電子科技大學計算機學院，浙江 杭州310018）

1 相關工作

本文研究基于人臉識別的高校快遞領取系統，目標是便利學生的同時降低快遞被誤領的風險，保障用戶的財產安全，因此需要從人臉檢測、人臉欺騙檢測和人臉識別3個角度去完善整個人臉識別系統。

1.1 人臉檢測

人臉檢測有許多流行的應用，諸如dlib人臉檢測方法提取人臉上的68個特征點、opencv的haar+Adaboost對人臉特征的提取，上述2個方法雖然反應速度快，但是準確率比較低，容易將背景的雜物識別成人臉，且對光線和角度等因素非常敏感，因此后續又提出了許多先進的人臉檢測方法。

1.2 人臉識別

本文使用的方法是：基于人臉檢測得到的人臉像素照片，使用ⅠnceptionResNetV1對每個人多張照片進行編碼，計算得到的特征點和特征值的平均值，最后計算人臉間的歐氏距離，通過設定一定的閾值，對人臉進行辨別，以提高在復雜場景下的人臉識別準確率。

1.3 人臉欺騙檢測

本文基于此對MobileNet進行改造，得到SE-MobileNetV2，用MTCNN提取出的特征點作為輸入，輸出人臉真假的置信度。

1.4 PyQt5

PyQt5是一套將python綁定到Digia Qt5的界面編寫框架，提供成熟的交互界面和簡潔易用的控件，作為python的一個模塊，它提供620多個類和6 000個函數和方法，可以跨平臺，在目前主流的操作系統上都可運行，包括UNⅠX、Windows和Mac OS。

2 系統設計

2.1 數據庫設計

本系統所需要的數據是學生個人的快遞信息，考慮到系統的容量，因此限定每人的未領快遞數在10以內，包括姓名、學號、快遞的單號和快遞的名字。

2.2 網絡模型

2.2.1 MTCNN

MTCNN多任務卷積神經網絡，結構上分為P-Net、R-Net和O-Net三層.P-Net（建議網絡），通過一個全卷積神經網絡提取出一定數量的特征和標定邊框，然后對提取的特征進行Bounding-Box回歸和NMS，輸出很多張可能存在人臉的人臉區域，這些區域進入R-Net進行下一步處理。R-Net（精煉網絡），在R-Net里會對輸入進行篩選，對最后選定的預測窗口進行進一步的Bounding-Box回歸和NMS，過濾掉P-Net中錯誤的輸入，將更精確的預測窗口輸入到O-Net中。而R-Net保留了圖像更多的特征。O-Net（輸出網絡），也是一個卷積神經網絡，但是相比R-Net多了一個卷積層，對人臉的面部特征進行回歸，輸出5個特征點。

2.2.2 InceptionResNetV1和人臉識別

ⅠnceptionResNetV1提出了Ⅰnception Module的新模塊，提出卷積分解的概念，利用1×3和3×1兩層卷積代替一層3×3卷積，有效提高特征提取能力和降低計算量。在本文中利用ⅠnceptionResNetV1編碼128D特征，最后將得出的128D特征與人臉數據庫中的特征均值進行比對，計算歐氏距離，所得置信度最高的身份即是確定的身份，若所有的計算結果都低于設定的閾值，則認定為未知的人臉。

2.2.3 活體檢測

本文提出用SE-MobileNetV2檢測人臉欺騙攻擊。MobileNetV2是一個輕量級網絡，相對于MobileNetV1增加了倒殘差和線性瓶頸層的模塊，該網絡有效彌補了MobileNetV1的缺陷，同時保持輕量化、高精度等特征，MobileNetV2檢測人臉欺騙在實驗中取得不錯的效果。本文認為MobileNetV2中無殘差的塊前向傳播時，會導致部分特征丟失，因此在無殘差模塊部分后加入空間注意力模塊，空間注意力模塊對特征圖的每個通道全局平均池化，經過一層全連接層得到一組1×1×C（C為特征圖通道數量）的向量，乘上對應的特征圖后輸出。最終得到的網絡主要包含2個結構，如圖1、圖2所示。

圖1 SE-MobileNet結構1

2.3 理論驗證

在人臉檢測方面，dlib或haar+Adaboost的人臉檢測方面本文中使用的MTCNN采用多重網絡結構，多次回歸人臉框，具有較大的魯棒性，可以提取細粒度更高的特征，對人臉的框定更加精確。

本文使用的ⅠnceptionResNetV1將人臉特征編碼后得到128D的特征向量，將每個人的多張人臉的特征向量去均值和方差后，就可以得到個人的特征向量，計算需要檢測的人臉和人臉庫中每個特征向量的歐氏距離，比較提取出來的更細粒度的特征差異，降低了角度和光線的干擾，一定程度上減小了遮擋物的影響。

人臉欺騙檢測方面，考慮實用場景中應用的模型應滿足識別率高和輕量的特點，因此選擇SVM、MobileNetV2和SE-MobileNetV2對比實驗。將截好的人臉照片傳入人臉欺騙檢測模塊，其中SVM對整體特征進行處理，會受到訓練集的亮度、飽和度等因素的干擾，對訓練集要求高，也難以適應測試場景的多樣性，而MobileNetV2能對照片進行更細粒度的特征提取，有效提升了識別的準確率和魯棒性，通過加入空間注意力SE模塊，對區域特征的區分更加敏感，使用最終所得的SE-MobileNetV2進行檢測。

3 實驗結果

本文實驗測試集采用自己制作的人臉數據集，總共14個人，每人30張圖片，包括不同的角度、光線、表情和分辨率。

經過一系列實驗本文總結出以下結論：傳統方法使用haar+Adaboost和dlib進行人臉檢測，其中haar+Adaboost人臉檢測準確率低，抗干擾性弱，對光線和角度等因素十分敏感，容易將背景誤測為人臉；dlib的準確率相對較高，不會將背景錯誤地檢測為人臉，但是檢測速度慢，角度的因素對dlib的人臉檢測干擾大，在本實驗中使用MTCNN，在光線過曝和人臉分辨率低的情況下都能取得較好的檢測效果。在MTCNN截出的人臉上，本文展開一系列實驗，具體方法為：提取PCA特征后計算歐氏距離、ResNet50多分類、2DPCA+SVM的人臉識別和ⅠnceptionNetV1編碼后的特征值計算歐氏距離，ResNet50在訓練集上取得95%的準確率，而在測試集上僅僅只有70%的準確率，對未知人臉的識別能力也很弱。PCA提取人臉圖片的特征向量后計算歐氏距離，人臉識別成功率達到89%，相對于ResNet50取得了較為不錯的成功率，本實驗考慮對輸入的特征處理，用ⅠnceptionNetV1對識別出的人臉進行特征編碼，得到最后128D的特征向量，對特征向量做歐氏距離計算，實驗后在測試集上得到的準確率是97.2%，具有較好的魯棒性，有效降低了光線和角度等因素的干擾，實驗結果表明臉部在有一定遮擋物的情況下也能有較好的識別效果。

分別比對人臉和手機中的人臉照片，從結果來看效果較好。在閾值為0.9且光線良好的情況下得到真人的人臉置信度在0.7左右，假臉的置信度也大多是0.74。在人臉數據庫中標記的人臉也都被成功識別出來，而不在人臉庫中的人臉都標記為”Unknown”。經過一系列實驗發現，此時仍存在一些比較明顯的缺陷，比如當圖像亮度過高時，會出現將真臉認成人臉欺騙攻擊、假臉認成真臉的情況。經過多次試驗發現，在光線良好的情況下，人臉欺騙檢測的準確率在75%上下，人臉識別的準確率能達到95%。

利用PyQt5編寫界面作為功能的載體，主界面設置一個窗口、一個文本框和一個按鈕，窗口顯示攝像頭畫面，文本框顯示快遞信息，按鈕控制攝像頭是否打開。快遞信息來自后臺自己寫的文本，經過檢測，使用效果良好，信息顯示正常。在快遞站門口背景復雜的情況下，能正確地標識身份、檢測人臉欺騙攻擊和顯示對應身份的快遞信息。

4 快遞站出入登記和快遞領取流程

首先加載保存checkpoints下的經由訓練得到的模型20_best.path.tar的模型參數到SE-MobileNet，再加載MTCNN的參數，然后循環從攝像頭讀取圖像，通過人臉檢測程序得到框定的人臉，經過一系列預處理，得到224×224的圖像。將得到的人臉圖像傳入人臉欺騙檢測程序，判斷出是否為人臉欺騙攻擊，如果是人臉欺騙攻擊，則不傳入人臉匹配，出入登記失敗，快遞領取無效。如果通過檢測，則進行人臉識別匹配，將圖像特征編碼成128D特征向量，與人臉庫中的特征向量進行歐氏距離的計算，得到最小的歐氏距離，若高于閾值，則會判斷為未知的身份。如果低于閾值，則判斷為最低閾值的身份，通過匹配后對快遞信息進行校驗，如果認領的快遞在數據庫的快遞信息內，則登記出庫。應用在快遞領取場景下的流程為：進入快遞站前進行人臉識別，登記進入信息；拿取快遞后在快遞站出口驗證信息時，攝像頭獲取人臉信息，首先辨別是否為人臉欺騙攻擊，如果是，則拒絕識別；如果不是，則傳入識別模塊，將識別出的身份信息和快遞信息進行匹配，如果匹配成功，則快遞成功出庫。

5 結束語

MTCNN人臉檢測、ⅠnceptionNetV1+歐氏距離和SEMobileNetV2的搭配使用在本項目中解決了當前存在的問題，雖然達到了預期的目標，但是仍存在一些不足，例如真假人臉的檢測結果有一定的振蕩。盡管一些明顯的虛假人臉能檢測出來，但是局限于用來訓練SE-MobileNetV2的數據集的規模，會導致一些檢測有誤，將過度曝光的真人圖片誤判為假臉，后續可以采取一些更大更具有代表性的人臉欺騙數據集訓練MobileNetV2。在識別人臉、身份匹配、欺騙檢測的快遞領取實用場景下，能取得不錯的效果。