多模態身份識別系統在智慧營區建設中的應用研究

摘 ?要：人臉識別、虹膜識別、掌紋掌靜脈識別、步態識別等技術的發展，為智慧營區人員身份管控的建設提供了新的方向。文章報告了生物特征識別技術的研究現狀，深入分析了對營區不同防護區域的人員身份的管控需求，提出了分層防護的人員身份識別思路，研發設計了多模態身份識別系統架構，通過系統達到人員非接觸采集、自動化識別、智能化預警以及實時化跟蹤的管控效果。

關鍵詞：生物特征融合;非接觸式;多模態身份識別系統;智慧營區

中圖分類號：TN929.5;TP391.44 ? ? ?文獻標識碼：A 文章編號：2096-4706（2020）12-0176-03

Abstract：The development of face recognition，iris recognition，palm vein palm vein recognition，gait recognition and other technologies has provided a new direction for the construction of the identity management and control of personnel in the smart camp. The research status of biometrics recognition technology is reported，the needs of personnel identity control in different protection areas of the camp are analyzed in depth，the design concept of layered protection personnel identity recognition is proposed，and the multi-modal identity recognition system architecture is developed and designed. The system achieves the control effect of non-contact personnel acquisition，automatic identification，intelligent early warning and real-time tracking.

Keywords：biometric fusion;contactless;multi-modal identification system;smart camp

0 ?引 ?言

營區是部隊后勤保障的重要組成部分，需要對進出人員身份進行實時識別和嚴格監控管理。為了達到營區人員管控的精準、靈活，依托生物特征識別、物聯網等先進技術，對進出各區域的人員實施有效管控，實時識別人員身份，防止人員非授權進入、非安全進入的風險。

1 ?研究現狀

生物特征識別技術是指利用人體固有的生理特征或行為特征來進行個人身份鑒別認證的技術。生物特征識別技術包括采用人體固有的生理特征（如人臉、虹膜、掌紋掌靜脈）進行身份認證的技術和利用后天形成的行為特征（如步態）進行身份認證的技術。

1.1 ?人臉識別技術

人臉識別是一種通過人臉面部特征信息進行身份辨識的生物識別技術，通過對采集圖像中的人臉進行檢測、跟蹤和識別達到核實人員身份的效果。

關于人臉識別的研究主要包括對人臉識別技術的研究、對人臉識別數據預處理的研究以及對人臉識別應用的研究三個方面。首先，人臉識別技術的研究始于90年代初提出的基于幾何結構的人臉基本特征識別，隨后線性判別方法、神經網絡方法、支持向量機、LBP、流行學習等方法逐漸應用于人臉識別技術研究[1]。近年來越來越多的學者利用深度學習來探究人臉識別技術，其中對基于深度學習的卷積神經網絡應用的研究最為熱門。

1.2 ?虹膜識別技術

虹膜識別是通過采集人眼虹膜的紋理信息，進而實現對人的身份識別，虹膜識別具有唯一性、穩定性、非接觸性以及生物活性等優點，已經廣泛應用于金融、海關、社會福利、安防等多個領域。

中科院自動化所使用自行研制的虹膜拍攝設備，建立了最具影響力的虹膜圖像數據庫CASIA，為各國學者提供了質量優秀的虹膜數據源;王蘊紅等提出了基于最小二乘擬合的方法對虹膜進行定位;李志明提出了一種基于卷積神經網絡的特征融合虹膜活體檢測算法來檢測偽造虹膜[2]。

1.3 ?掌紋掌靜脈識別技術

國內對掌紋掌靜脈識別的相關研究起步較晚，但是也取得了不錯的進展。例如，黃志星等人對靜脈識別算法進行了深入研究，提出了一種非接觸式的掌靜脈識別算法，設計了一個指靜脈識別系統[3]，該系統具有較高的安全性，并取得不錯的識別效果。香港理工大學科研團隊研發出世界上第一個民用掌紋識別系統，該系統取得了不錯的識別效果，同時該團隊也對外公開了目前世界上最大的人體手掌掌紋數據庫。

1.4 ?步態識別

隨著AI算法精度的持續提升以及應用場景數量的爆發，步態識別作為一種非受控性特征識別方式，得到了快速發展。步態識別主要是通過人們走路的姿勢進行身份識別，其已在安防、交通、工業等行業領域得到應用。

2001年中國科學院自動化研究所開始了步態識別研究，目前已創建了一定規模的步態評估數據庫，并提出了多種步態識別算法，且獲得了較好的識別率。根據“行走運動的時空模式中可學習人體的外觀模型”的觀點，王亮等研究人員將統計形狀分析的方法應用于步態識別。于傅立葉描述了具有與起始點變化、平移、反轉等無關的特性，因此韓鴻哲等將傅立葉描述子運用到步態特征提取和識別中。截止目前，隨著技術及研究方法的不斷發展，隱馬爾科夫模型是目前被國內從事步態識別的研究人員常用的分析模型，并且基于連續隱馬爾科夫模型的步態識別也取得了較好的識別率。

2 ?建設需求

營區安全防護區一般可劃分為防護區、監控區、限制區[4]。其中防護區指防護目標所在的區域，監控區指需采取安全技術將防范措施全面覆蓋的區域，限制區指僅授權人員可以出入和活動的區域;營區需根據不同防護等級將設置人員進出權限。

目前，營區人員身份識別手段單一，以ID卡識別為主，采用指紋識別輔助，但是，ID卡容易出現丟失或借用的情況，無法保證實際使用ID卡的人員是否是本人;同時指紋存在可能被復制的情況，且在人員指紋磨損的情況下，無法保證身份識別準確率。

為了實現人員管控“數量清、狀態明、動向控”，有效防范非授權人員進入的風險，本公司基于人臉、虹膜、掌紋掌靜脈、步態等生物識別技術對營區人員身份管控系統進行研究，研發設計了多模態身份識別系統，通過前端安裝智能化采集設備，后端部署管控應用軟件，達到檢查核實人員身份、聯動門禁進行出入控制的結果。

3 ?設計思路

根據目前國內外人員身份識別技術的發展及應用現狀，本公司提出采用多模態身份識別技術[5]，基于營區不同防護等級要求，通過不同身份識別組合應用，來實現申請人員身份準確識別。

3.1 ?防護區

防護區出入口作為人員進入的第一道防線，只有通過身份識別后，營區人員方可在防護區內進行活動。

本公司提出采用人臉識別+虹膜識別多模態集成化技術[6]，將人臉識別和虹膜識別這兩者結合應用。該設計思路不僅方便使用，在技術創新及推動技術與業務應用的結合發展方面具有重要意義。

3.2 ?監控區

監控區域內對人員進行身份識別和跟蹤監控，掌握營區人員的身份和移動路線。考慮到營區內營區人員常有統一著裝、著帽的特殊要求，本公司提出采用步態識別[7]+人臉識別組合技術模式，識別人員的身份，審核確認其是否在授權名單上。

通過在前端監控區域架設高清攝像機，基于前端視頻流，后臺利用人臉識別算法、步態識別算法進行對目標的提取和分析，實現對人員身份的識別及行為的跟蹤監控。

3.3 ?限制區

限制區作為營區重點核心區域，只有通過身份識別后，營區人員方可在指定地點進行活動。為了達到非接觸式識別要求，本公司提出采用掌紋+掌靜脈[8]集成于一體的設備進行對人員身份的最后一步驗證。

本公司提出采用專用的雙目多光譜圖像傳感器，同時采集人的掌紋和手掌皮下靜脈圖像，將信息量豐富的掌紋和具有活體信息的掌靜脈進行有效的融合，構成一種多模態的生物特征識別系統。

4 ?系統總體架構

依托軍隊網絡基礎設施的建設成果，按照自主可控要求，采用面向服務的架構（SOA），充分利用大數據處理、自主學習等先進技術，構建物理分布、邏輯一體、架構一致的系統。多模態身份識別系統的總體架構由感知層、傳輸層、支撐層、應用層組成。具體架構圖如圖1所示。

4.1 ?感知層

感知層使用基于人臉識別、虹膜識別、掌紋掌靜脈識別、步態識別等技術的感知設備，實現對人員身份的識別。通過各類感知設備的協作，實時監測、感知和采集人員活動數據、身份數據、行為數據，為業務應用提供多源數據支撐。

4.2 ?傳輸層

傳輸層采用COM、IP、Route、Switch等技術，通過將系統接入信息網絡，依靠各種通信手段和安全防護措施，隨時隨地進行信息交互與共享。

4.3 ?支撐層

支撐層是多模態身份識別系統實現的重要部分，通過國產操作系統、國產數據庫、國產服務器構成基礎支撐服務，實現數據、信息的統一匯聚，以此構建運行環境，提供共享、開放、融合、集成的信息服務能力。

（1）基礎服務：通過自主可控的國產操作系統、國產數據庫、國產服務器、國產中間件構建基礎支撐服務的軟硬件環境。（2）數據接入：采用Kettle、HTTP Restful API、WebSocket等技術，實現數據抽取、采集、清洗、標準化和數據治理。（3）數據存儲：采用CVR、DM、Redis等技術組件，構建實時在線存儲和離線長期存儲兩種功能，以實現業務數據的有效保存，能實現存儲的彈性擴容和智能調度。（4）數據計算：綜合采用實時計算和離線計算等技術，對各類數據進行綜合分析，提供關聯分析、智能預警等功能。使用Storm、Flink等實時并行計算技術，保證了數據的實時統計、分析。對于歷史數據分析部分，使用了MR、Hive、Spark等技術進行高效并行分析。（5）中間件服務：采用ESB、Kafka、SOA等技術，構建包括服務發現、服務注冊、設備管理、用戶服務、接口服務、消息服務、日志服務等。

4.4 ?應用層

應用層通過自主研發，采用Spring MVC、Tomcat、JSP等架構技術結合專業功能組件進行業務功能設計。

（1）人員信息注冊：提供營區人員抓拍庫、人員注冊庫的管理。支持對人員注冊庫的動態維護和管理，對現有人員底庫的更新維護（編輯、刪除）等。（2）虹膜人臉識別：支持對前端設備中抓拍的人臉圖片、虹膜圖片或上傳的對應圖片進行識別，提取特征數據并入庫。（3）掌紋掌靜脈識別：支持掌紋掌靜脈識別功能，實時檢測用戶手掌信息，并在定位圖像后提取掌紋特征和掌靜脈特征，將它們與數據庫中的底庫數據進行一一比對分析。（4）步態識別：具備攝像機實時抓拍的步態結果展示功能，可對步態結果篩選、查看、保存等操作，并可進行營區人員檢索、軌跡追蹤等應用。（5）出入記錄查詢：支持按照前端設備、時間、人員姓名等不同維度進行信息查詢統計。（6）信息告警管理：當出現有人未經授權就進行識別、人員沒有通過合法方式強行開門或者破門而入等情況，系統軟件監控界面會用紅色提示該報警信息的時間和位置。（7）人員權限管理：系統可針對不同的人員設置不同區域和不同時間的活動權限，實現對指定區域分級、分時段的通行權限管理，限制人員隨意進入受控區域。

5 ?結 ?論

本公司研發設計的系統采用虹膜、人臉、掌紋掌靜脈、步態等多種生物特征，通過多層次融合獲得比單一生物特征識別更好的識別性和可靠性，提高了受控區域的安全性。系統基于前端各類智能感知設備的安裝部署，實現非接觸式采集，安裝方便、響應迅速、性能可靠，提高了營區人員的綜合管控水平和事件處置速度。

參考文獻：

[1] 王蘊紅，范偉，譚鐵牛.融合全局與局部特征的子空間人臉識別算法 [J].計算機學報，2005（10）：1657-1663.

[2] 李志明.基于卷積神經網絡的虹膜活體檢測算法研究 [J].計算機工程，2016，42（5）：239-243+248.

[3] 黃志星.基于卷積神經網絡的嵌入式指靜脈識別系統 [D].廣州：華南理工大學，2017.

[4] 中央軍委裝備發展部.軍事目標安全技術防范通用要求：GJB8856-2016 [S].北京：國家軍用標準出版發行部.2016.

[5] 謝璐，俞飛.基于多模態生物識別的安全身份認證技術 [J].保密科學技術，2016（1）：36-40.

[6] 肖珂，汪訓昌，何云華，等.基于深度學習的虹膜人臉多特征融合識別 [J].計算機工程與設計，2020，41（4）：1070-1073.

[7] 薛艷.基于人體步態識別技術的視頻監控應用研究 [J].無線互聯科技，2020，17（3）：160-161.

[8] 嚴嬌嬌.基于掌紋與掌靜脈雙模態融合特征識別研究 [D].西安：西北大學，2018.

作者簡介：張夢婷（1992.11—），女，漢族，安徽宣城人，高級工程師，碩士，研究方向：公共安全領域平安城市、軍工領域軍隊信息化等。