人臉識別車輛解鎖系統設計與驗證

王振陽 程志偉 黃宏成, 劉彥博 時良仁

(1.上海交通大學汽車電子控制技術國家工程實驗室； 2.上海交通大學學生創新中心，上海市 200240)

2.2 軟件流程與算法

基于人臉識別的車輛解鎖系統有兩種典型工況：人臉采集與錄入，車輛解鎖。

在人臉識別過程中，需要將采集的圖像與參考圖像進行比對。參考圖像的質量對人臉識別的準確率和成功率有較大的影響。為此，設計了如圖2所示的人臉采集與錄入流程。首先，校核權限，確保當前用戶有執行人臉采集的權限；校核通過后，進入等待采集狀態；在等待采集狀態，收到用戶發出的人臉采集指令后，自動采集人臉圖像；采集的人臉圖像，首先需要經過系統驗證，確保其符合參考圖像的要求(人臉完整、圖像清晰、曝光正常)；在通過系統驗證且用戶允許的情況下，參考圖像將被錄入存儲系統；如果未能通過上述驗證過程，則返回等待采集狀態；在等待采集狀態收到用戶發出的結束采集指令，或未通過權限校核，則結束人臉采集流程。

車輛解鎖的流程如圖3所示。首先需要確定解

圖2 人臉采集與錄入流程Fig.2 Process of face collection and entry

圖3 車輛解鎖流程Fig.3 Process of face recognition

鎖任務(車門解鎖或啟動解鎖)，調用相應的傳感器采集圖像并進行預處理，然后進行人臉識別，如果人臉識別通過，則執行相應的解鎖功能。

人臉識別是車輛解鎖流程的核心步驟，具體包含人臉(位置)檢測、活體檢測和人臉(特征)識別三個步驟。人臉檢測采用的Haar-like特征的級聯分類器[4]，該算法精度和實時性都較好；活體檢測基于修改后ResNet18實現[5]，并利用遷移學習簡化了訓練工作；人臉識別則采用FaceNet[6]。

3 系統的驗證

為了驗證算法的有效性和硬件系統的可行性，并為系統的改進和實車測試提供參考，在一套模擬系統上進行了實驗。其中，感知模塊選用了一枚500萬像素的夜視IR-CUT紅外濾鏡攝像頭；執行模塊選用了一臺JX6221舵機，并通過拉繩帶動真實車鎖以顯示更直觀的效果；人機交互模塊選用了顯示器和無線鍵鼠；計算與控制模塊選用了Raspberry Pi 3B+開發板和Movidius NCS計算棒；電源模塊則選用了5 V直流電源。

由于需要驗證硬件系統的可行性，因而在選擇模擬系統硬件時盡量保證其與設計系統的性能接近。Raspberry Pi與現有許多車機或ADAS計算單元一樣，都是基于ARM，操作系統也是較為常見的Linux，模擬系統上運行的程序可以較方便地移植到實車上。Raspberry Pi的性能與車機的CPU接近，但神經網絡推理能力較弱，考慮到許多ADAS系統的計算單元都針對神經網絡推理進行了優化，添加了Movidius NCS計算棒加速推理運算。

經過實驗驗證，系統可以較好地區分真實人臉和照片中的人臉圖像。由于采用了監督學習算法，利用合適的訓練集，算法還可區分其他偽造的人臉特征。

系統的人臉識別準確率也較高。人臉識別模塊采用的FaceNet在LFW數據集上曾達到99.63%的準確率，高于正常人類的識別能力，能夠勝任解鎖車輛的任務。在實驗過程中，未曾出現將非用戶誤認為用戶而解鎖的情況，不過偶有用戶無法解鎖的情況，主要原因如下：

(1) 參考圖像存在問題，在早期還曾出現參考圖像中無法檢測到人臉的情況。在對人臉采集與錄入流程進行改進，加入有效性驗證步驟后，該問題已基本解決；

(2) 解鎖圖像采集質量不佳。這一般是由于光照和相機抖動等原因導致的，因而在實車布置時要注意此類問題。

(3) 系統的運行速度相對較慢。在人臉識別過程中，人臉圖像校核的速率約為每秒5幀，使用時可以感受到明顯的卡頓。不過，在人臉采集與錄入的過程中，系統運行相當流暢，并不存在卡頓。可見系統運行的瓶頸主要為神經網絡推理。

總的來說，系統的算法是有效的，且具有較高的準確率；系統的硬件方案是可行的，但需要配備針對神經網絡推理優化的計算單元。

4 結論

本文設計了一套基于人臉識別的車輛解鎖軟硬件系統，并在基于Raspberry Pi和Movidius NCS的平臺上對算法和硬件進行了驗證。實驗證明，系統可以較高的效率和準確度實現基于人臉識別的車輛解鎖，并可有效區分真實人臉和照片上的人臉特征。整套系統創新性高，實用性強，符合車輛智能化、網聯化的發展趨勢。

后續研究將主要圍繞兩方面展開：一是采用不同的數據集對算法進行訓練，以便識別不同的偽造人臉特征；二是在已有工作基礎上，將系統移植到實車，進行更全面的驗證。