旅客多模態識別在機場安檢中的應用

甄軍平，張平

（1.民航成都電子技術有限責任公司，成都610041；2.中國民用航空總局第二研究所，成都610041）

0 引言

近年來，我國民航事業迅速發展壯大，航班起降架次、旅客及貨物吞吐量均呈現出快速增長，無形中也為機場安檢工作帶來挑戰。例如隨著民航安檢難度提升，陳舊的安檢系統不堪重負，排隊耗時增加拉低了整體的服務質量，不少旅客由此提出建議甚至投訴[1]。所以如何解決這一日益加劇的安檢問題，成為機場工作不得不面臨的難題?？傮w來看，各機場都在嘗試著安檢模式的創新和改變，例如開設女性通道、無行李通道，等等，然而這些改變治標不治本，難以從根本上解決現狀，后續改革任重道遠。基于此，本文提出結合人臉識別與人體識別的旅客多模態識別方法，從而為構建智慧安檢、智慧通關的智慧機場提供技術支撐。

1 國內外應用現狀

1.1 人臉識別技術在機場中的應用

人臉識別技術在國內機場的探索已有10多年的時間，但大規模應用卻在近五年。2014年7月，南京祿口機場首次將人臉識別技術應用于機場登機，然而在技術相對欠缺的時代，這一技術僅限于顯示旅客信息，尚不能實現自動通關。此后各個地區的機場都進行了為數不少的人臉識別系統驗證，摸索適合機場應用的方式。2016年7月，深圳寶安機場首次將人臉識別系統嵌入到機場安檢信息系統，標志著人臉識別技術已經被機場所接納。

通過人臉識別系統的建設對機場而言，最直觀的提升便在于預防能力[2]。例如動態布控系統實現“黑名單”主動預警；人證合一檢測系統可遏制不法分子企圖通過冒用證件、偽造證件等途徑混入機場控制區的違法行為；登機口旅客人臉識別彌補了傳統機場安防系統中“換牌登機”的漏洞，同時也避免出現旅客上錯飛機的現象。雖然優勢諸多，但是仍未實現旅客無感身份核驗以及對安檢區域內人員的感知。

1.2 行人重識別技術在安防中的應用

行人重識別（Person re-Identification，ReID）技術是利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術，能夠通過跨設備下的行人圖像的顏色、紋理、布局及圖像中人物的衣著、發型、體態、姿態等進行分析和檢索的圖像檢索技術，主要用于彌補固定攝像頭人臉識別的視覺局限[3]。行人重識別主要是通過特征提取和度量學習的方式應對在不同攝像頭下行人變化的特征，將學習到的特征映射到新的空間使相同的人更近不同的人更遠。目前，行人重識別技術主要用于交通卡口和安防尋人系統，在機場的應用尚屬空白。

2 旅客多模態綜合識別技術實現

2.1 旅客模態數據的預處理

由于安檢通道中旅客數量的海量性和冗余性，在采集的旅客模態信息中會包含大量重復和無效旅客模態信息，這些信息構成了臟數據，同時浪費了大量存儲空間，本文采用網格化的空間模型和感興趣事件觸發的機制。因此，在獲取旅客模態信息前制定觸發器，在旅客進入網格空間后，以事件觸發的方式對旅客模態信息預處理，本節主要采用以下步驟，如圖1所示。

圖1 旅客模態數據的預處理流程

（1）基于安檢通道的建設標準，計算安檢通道網格化單元邊長，對安檢通道的入口區域進行網格化處理，劃定ROI區域。

（2）通過識讀旅客登機牌、身份證件采集旅客基本信息。

（3）根據旅客自助驗證登機牌和身份證件信息的傳感信息觸發攝像機采集ROI區域的旅客信息；

（4）對旅客ROI區域的旅客照片做模態分析，提取旅客的屬性特征值，包含性別、年齡、是否戴眼鏡、著裝顏色等。

（5）去除多余旅客模態信息。

由于安檢入口旅客比較密集，可能存在多個旅客進入攝像機采集范圍，導致生成的旅客模態數據包含多個旅客的模態信息。因此，需要進行旅客模態數據的預處理，剔除無效旅客模態數據。

（6）將旅客模態屬性與旅客證件信息進行關聯，以關聯后的信息創建旅客綜合識別結構化數據集（人臉數據、模態屬性數據集、身份證件信息數據集、訂座信息等）并存儲與數據庫。

2.2 人臉特征匹配流程

對于人臉特征匹配，主要用于當前正在識別目標的人臉特征與數據庫中緩存的多個特征進行1:N的匹配。具體的匹配過程如下：

（1）對輸入的人臉特征feature1，特征feature2通過相似度算法進行特征匹配，計算出相似度；

（2）判斷向量feature1和feature2是否相等：如果不相等，直接返回0。判斷feature1和feature2的向量長度是否為0，如果其中存在長度為0的向量，返回0；

（3）根據輸入的matchMethod進行特征向量相似度匹配。Cos-余弦相似度匹配：不需要對向量進行歸一化。Euc-歐氏距離相似度匹配：需要進行歸一化操作。后期可以對比不同的相似度匹配算法對人臉識別和人體識別精度的影響。

（4）輸出算法輸出結果為當前識別與數據庫中每一個人的人臉特征向量的相似度；

（5）選取相似度最高的比對結果作為人臉識別最終相似度進行反饋。

2.3 人體特征匹配流程

同人臉特征匹配過程類似，用于當前正在識別目標的人臉特征與數據庫中緩存的多個特征進行1:N的匹配。具體的匹配過程如下：

（1）對輸入的人體特征featureA，featureB通過相似度算法進行特征匹配，計算出相似度；

（2）判斷向量featureA和featureB是否相等，如果不相等，直接返回0。判斷featureA和featureB的向量長度是否為0，如果其中存在長度為0的向量，返回0；

（3）根據輸入的matchMethod進行特征向量相似度匹配。Cos-余弦相似度匹配：不需要對向量進行歸一化。Euc-歐氏距離相似度匹配：需要進行歸一化操作。后期可以對比不同的相似度匹配算法對人臉識別和人體識別精度的影響。

（4）輸出算法輸出結果為當前識別與數據庫中每一個人的人體特征向量的相似度；

（5）選取相似度最高的比對結果作為行人重識別最終相似度進行反饋。

2.4 旅客多模態融合識別方法

對人臉和人體特征向量的提取后通過單一的人臉識別或人體識別是比較成熟的算法，但對于人臉和人體進行綜合評價識別旅客，目前沒有成熟的案例，因此，本文通過對常用的目標對象識別方法進行理論分析，總結各方法優缺點，將目標對象轉化為n維的特征向量，兩個同類目標的特征向量之間的余弦距離大于某閾值可認為是同一目標，本文對旅客多模態識別中，將旅客整體作為一個目標對象，旅客人臉作為目標對象的其中一個識別維度，借助以匈牙利匹配算法和卡爾曼濾波預測法進行旅客單攝像頭跟蹤和跨鏡跟蹤，以此訓練出新的旅客人體識別模型，通過多因子集合評價方法實現多模態旅客綜合識別（本文中僅考慮了人臉特征和人體特征匹配結果的融合）。其主要處理流程如圖2。

圖2 旅客多模態特征提取流程

圖3為基于人臉特征與人體特征兩種影響因子的綜合模糊評判算法過程。

圖3 多模態綜合識別原理

第一步：對輸入的人臉和人體比對的結果進行預處理，按置信度由高到低進行重新排序；

第二步：按預設置信度閾值移除低于置信度閾值的比對結果；

第三步：判斷兩個列表的長度，如果兩個列表長度均為0，結束本次融合；如果其中一個長度為0，另一個長度不為0，取不為0的列表top1作為識別結果，如果兩個列表的長度同時大于等于1進入第4步；

第四步：運用模糊綜合評判法，首先確定人臉和人體識別各自的因素比重，然后生成單因素模糊評價矩陣，再次，將單因素評價舉證合并為綜合模糊評價矩陣，利用矩陣乘法最小值算子將權重矩陣和綜合模糊評價矩陣相乘，得出模糊綜合評價結果，最后以模糊綜合評價結果最高者為融合結果。

本報告中主要研究將人臉模態信息、人體模態信息進行融合，進行綜合判斷旅客身份。本系統采用基于匹配層的融合架構，具體融合方法為基于模糊綜合評價法的多模態融合方法。

模糊綜合評價法是一種基于模糊數學的綜合評價方法。該綜合評價法根據模糊數學的隸屬度理論把定性評價轉化為定量評價，即用模糊數學對受到多種因素制約的事物或對象做出一個總體的評價。它具有結果清晰，系統性強的特點，能較好地解決模糊的、難以量化的問題，適合各種非確定性問題的解決。

基于模糊綜合評價法的多模態融合方法算法步驟為：

（1）確定因素集合為U={u1,u2}，其中u1為人臉，u2為人體。

（2）確定各因素的權重向量W=(w1,w2)。

（5）對多指標綜合評價結果進行對比，得出多模態識別結果。

2.5 基于模糊綜合評判的特征融合識別

要將兩種不同維度的特征進行過濾、融合，并為后續業務決策（綁定）提供依據，必須考慮在融合體制下各自對整個融合算法造成的影響因子。本文才用模糊綜合評價的方法，來解決人臉、人體等多個特征影響因子下，計算出旅客的識別度這一綜合評判結果。

模糊綜合評價是工程模糊系統的基本方法，很多研究者把它用到了多個領域的綜合評價問題中例如在專家評分系統、質量控制、業績評估、天氣預報、醫療診斷、經濟管理、心理測量等領域。

2.6 旅客多模態融合測試及驗證

為了驗證多模態旅客綜合識別系統的有效性，我們進行了現場試驗，針對旅客通過安檢的多種可能情景進行了試驗。主要測試了如下三種情況：

（1）正常安檢多模態識別：旅客在進行識別時，人臉、人體姿態正常。

（2）人臉姿態異常多模態識別：旅客在安檢時埋頭整理行李造成旅客人臉姿態異常。這種情況下，傳統人臉識別無法正常識別旅客身份。

（3）面部遮擋多模態識別：旅客在安檢時存在面部遮擋問題，最常見的為戴口罩。這種情況下，傳統人臉識別無法正常識別旅客身份。

圖4、圖5、圖6，分別為以上三種情況的識別結果。在軟件界面中，數據庫中最相似人臉、數據庫中最相似人體是根據多模態旅客綜合識別算法識別出的數據庫中與待識別旅客最相似的人臉、人體。

圖4 正常安檢多模態識別

圖5 人臉姿態異常多模態識別

圖6 戴口罩多模態識別

由識別結果可知，多模態旅客綜合識別算法可以應對一般旅客身份識別。同時多模態旅客綜合識別算法可以完成多種異常情況下的旅客身份識別，優于傳統人臉識別算法。

2.7 融合識別技術的試驗結果

從表1可以看出，人臉識別在配合情況下，識別率高，但通行效率較低；在非配合情況下，難以檢測到清晰的“正臉”，人臉識別率較低（低于50%），而人體識別一定程度上補充了無法采集人臉數據情況下的旅客身份識別，但在旅客更換衣服、大面積遮擋等情況下依然無法識別，綜合上述兩種識別技術應用與安檢場景，可實現對旅客的多模態綜合識別，顯著提高了旅客身份的識別率。

表1 身份識別識別率

3 存在的問題

由于本文中旅客識別的安檢通道室內空間模型采用常規的正四邊形進行分割，攝像頭視角存在畸變，得到的模型精度不夠理想。在機場安檢環境中，ReID的識別率和識別精度受相機角度、旅客姿態等諸多因素影響，誤差比較大；其次，本文所描述的旅客多模態綜合識別采集的識別源較少，在今后的實際應用中存在識別精度問題；最后，由于ReID技術尚處于起步階段，技術尚不成熟，因此對于多模態的旅客綜合識別技術的應用，有待進一步深入驗證。

4 結語

隨著人工智能技術的日益精進，多種行人識別的無縫融合，為滿足日常安防全的需求，行人跨鏡識別技術和基于人工智能的圖像識別成為國內外研究的熱點。同時，隨著人們對優質服務需求的與日俱增。然而，在機場復雜的安檢環境中對旅客的實時識別和跟蹤成為了旅客無感自助安檢的技術難點之一。因此，本文主要基于ReID的旅客跨鏡識別技術，提出了一種旅客多模態識別方案。采用人臉識別和人體識別實現在有限空間對旅客識別，簡化旅客在安檢通道中識別的復雜度。