移動設備生物特征識別多模態融合標準研究及展望

林冠辰，王智飛

（1.螞蟻科技集團股份有限公司，北京 100004；2. 人力資源和社會保障部信息中心，北京 100013）

1 引言

隨著生物特征識別技術的日益成熟和相關產業的快速發展，目前國內外很多領域都面臨著大規模應用生物特征識別技術的機遇，生物特征識別產業的發展前景非常可觀。目前，移動設備上的生物特征識別技術已有廣泛應用。它對于實現在智能移動設備上個性化及授權、增強安全性、提高使用方便性和用戶體驗具有重要意義，對于實現基于移動通信網絡的遠程支付、注冊、授權可提供安全保障，對于推進我國社會信息化的深度和廣度具有重要的作用。

以金融行業應用為例，中國移動支付產業正在高速發展，中國支付清算行業社會責任報告（2019 年）顯示，2018 年中國共處理移動支付業務5 328.14 億筆，金額445.22 萬億元，分別同比增長92.48%和44.53%。其中，生物特征識別支付占移動支付的很大比例，以占據中國移動支付市場超過一半份額的支付巨頭支付寶為例，其2019 年的交易中，有78%是通過指紋識別和人臉識別多模態融合完成的。生物特征識別多模態融合技術同風險防控技術相結合，在這樣高頻次的交易下，其資損率保持在千萬分之一的水平。生物特征識別多模態融合技術作為生物識別技術發展方向，將在高安全需求的行業得到越來越廣泛的應用，并且創造更大的價值。

以人力資源和社會保障（即人社）行業應用為例，社保卡與多模態生物特征識別融合發展，已逐漸成為趨勢。自1999 年首發后，20 年來，社保卡持卡人數已超過13 億人，電子社保卡已簽發數億張，廣泛應用于就業創業、社會保險、人事人才、勞動關系、智慧城市、政務服務、金融服務等領域，全面支撐就醫購藥結算并作為跨省異地就醫結算的唯一載體，加快推動建立以社保卡為載體的“一卡通”服務管理模式。隨著社保卡應用對身份識別、支付結算安全方面“人卡合一比對”要求的普及，第三代社保卡芯片已加載人臉、指紋、指靜脈等多模態生物特征，推動生物特征傳感芯片、算法處理芯片的產業級發展；電子社保卡已結合人臉進行實名、實人、實卡安全認證，未來虹膜、聲紋等將進一步融入，構建線上/線下、聯機/脫機一體的人社生物特征應用架構；ISO/IEC JTC 1/SC 17&SC37 框架下的社保卡多模態生物特征識別應用系列標準也在同步研制，結合互聯網+新技術研究，推動“一卡（碼）通”體系的創新。

對于某些應用場景，很難通過使用單一生物特征識別技術滿足它們對技術性能及安全的要求，需要將不同模態進行融合，例如人臉識別與眼紋識別的融合應用、人臉識別與聲紋識別的融合應用等，或者無法為某些生物特征識別特征類型提供可靠樣本時，都需要采用多模態融合方式進行生物特征識別。移動設備端的計算性能和用戶使用習慣決定了移動設備生物特征識別多模態融合既可采用完全獨立的生物傳感器、識別算法或多種特征類型采集多模態生物特征測量數據，也可以采用各模態對應各自不同的測量方法的方式，以提高生物特征識別的技術性能并降低風險。

一方面，產業界對于移動設備生物特征識別多模態融合技術有強烈的需求，并且將大量應用；另一方面，國內外相關的技術標準缺失嚴重，生物特征識別多模態融合技術及應用概念混淆、實現方案各異、水平不一，亟須補充移動設備生物特征識別多模態融合技術標準，指導移動設備生物特征識別多模態融合技術應用及推廣。

2 國內外相關標準化現狀

2.1 國際相關標準化現狀

ISO/IEC 29159-1:2010 《信息技術 生物特征識別校準，增強與融合數據 第1 部分：融合信息格式》（Information technology-biometric calibration, augmentation and fusion data-part1: fusion information format）》規定了融合的信息格式，屬于數據格式標準。

ISO/IEC TR 24722:2015 《信息技術 生物特征識別多模態及其他多生物特征融合（Information technology biometrics-multimodal and other multibiometric fusion）規定了多模態融合的融合層級、呈現方式以及融合方法等，屬于方法類技術報告。

筆者也在IEEE CES/SC/BUMFWG 立項了“Standard for biometric multi-modal fusion（生物特征識別多模態融合標準）”IEEE 國際標準（P2859），該標準將規定移動設備生物特征識別多模態融合技術框架、業務流程、技術要求、性能要求、安全要求等，屬于技術標準，是國際上首次針對多模態融合的技術實現提出要求。

2.2 國內相關標準化現狀

2016 年，在國家標準化管理委員會、工業和信息化部的支持下，全國信息技術標準化技術委員會生物特征識別分技術委員會（SAC/TC28/SC37）成立了移動設備工作組，工作組規劃移動設備生物特征識別標準體系（如圖1 所示），截至目前，已經制定并發布的3 項國家標準名分別是GB/T 37036.1?2018《信息技術 移動設備生物特征識別 第 1 部分：通用要求》、GB/T 37036.2?2019《信息技術 移動設備生物特征識別第2 部分：指紋》和GB/T37036.3?2019《信息技術 移動設備生物特征識別 第3 部分：人臉》。該3 項標準分別規定了移動設備生物特征識別通用、指紋識別系統以及人臉識別系統的技術架構、功能要求、性能要求和安全要求等。

GB/T 36460?2018《信息技術 生物特征識別多模態及其他多生物特征融合》由ISO/IEC TR 24722:2015 修改采用轉化，規定了融合層級、呈現方式及融合方法等，屬于方法類標準。

圖1 移動設備生物特征識別標準體系

2.3 國內外相關標準同本標準的關聯分析

國際上目前發布 ISO/IEC TR 24722:2015 關于多模態融合方法的標準，并被已發布的國家標準GB/T 36460?2018《信息技術 生物特征識別多模態及其他多生物特征融合》采用，規定了多模態以及其他多生物特征融合的方法、融合層級等，屬于方法類標準，不涉及多模態融合的技術要求。在指導產業實踐上，該標準無法解決如何運用、怎么應用以及如何評價多模態融合技術的問題。本標準在多模態融合定義及類型、融合層級劃分等同GB/T 36460?2018 保持協調一致，并且擬進一步規定移動設備生物特征識別多模態融合技術框架、不同層級融合的具體業務流程、功能要求、性能要求以及安全要求等，以期為多模態融合技術的具體落地應用提供很好的指導和規范。

本標準是GB/T37036《信息技術 移動設備生物特征識別》系列標準第7 部分。在技術架構上，本標準將與《信息技術 移動設備生物特征識別第1 部分：通用要求》以及正在制定的系列標準保持一致。

3 標準研制的目的和意義

移動設備生物特征識別應用過程中，一直面臨著便捷性、識別精度、安全性的挑戰。單一生物特征模態被應用于移動設備時，由于模態本身的特點、傳感器、算法等限制，在保障用戶便捷體驗的同時可能帶來安全隱患，比如指紋識別，可能由于移動設備上傳感器采集面積過小使惡意攻擊容易實施，單一2D 人臉識別也可能被人臉照片輕易攻擊。多模態融合是能夠同時提高識別性能、安全性、便捷性的有效手段，例如人臉識別與虹膜識別的融合使用、人臉識別與聲紋或者2D和3D 人臉融合識別使用等。通過多模態融合技術，提高識別精度的同時也能大大降低風險，比如利用3D 人臉識別完成活體檢測保障安全并且同2D 人臉識別進行融合，可以達到遠高于單獨2D 人臉識別的性能指標。

移動設備應用對于生物特征多模態融合有非常強烈的需求，并且已經得到了廣泛的應用。但是，目前國內外僅有多模態融合數據格式以及方法標準，缺乏相關技術標準。為了繼續補充相關技術標準以引導及規范移動設備多模態融合識別的技術以及應用，基于前述生物特征識別產業面臨的挑戰和當前標準化現狀，提出本標準，用于指導移動設備生物特征廠商多模態融合技術研發、應用、檢測等，提升行業生物特征識別多模態融合技術水平，促進多模態融合技術的應用推廣，促進行業健康有序快速發展。

4 多模態融合標準技術框架

移動設備生物特征識別多模態融合標準研究包括多模態融合分類研究、應用模式研究、融合層級研究、融合技術框架研究等，給出了當前研究的進展、難點以及研究思路等。

4.1 研究思路及難點分析

當前移動設備多模態融合涉及的生物特征識別模態涵蓋人臉（2D、3D）、指紋、聲紋、虹膜等多種模態，不同模態對于傳感器、環境、采集方式、應用模式等要求都不同，由不同模態因素組成的多模態融合實現方式較為復雜，如何找出多模態融合的共性技術及要求是本標準研究的難點。

本標準在已經發布的相關標準基礎上，基于移動設備生物特征識別的技術原理，以多模態融合的不同層級要求為脈絡展開研究，將錯綜復雜的多模態融合組合方式的共性提煉出來形成標準，從而開展移動設備生物特征識別標準化工作。

4.2 多模態融合分類

生物特征識別多模態融合通常是指以多特征、多算法、多實例、多傳感器等某種組合形式使用，并得到一個特定的生物特征識別或驗證結果。

（1）多特征

這種生物特征識別多模態融合系統從采集兩個或更多不同特征類型的單一或多個傳感器獲取輸入。例如，一個將人臉和虹膜信息組合用于生物特征識別的系統可看作一個“多特征”系統，在人臉和虹膜圖像由不同或同一個成像設備采集的情況下。此外，多特征不要求對各種不同的度量值進行數學組合。例如，一個具有聲音和指紋識別功能的系統可看作“多特征”系統，同時適用于“或”規則。

（2）多算法

這種生物特征識別多模態融合系統從一個傳感器接收單一樣本并使用兩個或兩個以上算法進行樣本處理，這種技術可應用于任何特征類型。從那些基于完全不同且獨立原理的算法中可能得到許多好處。例如，既可針對提取自生物樣本的特征（指紋和手指細節），也可針對比對方法（比對細節的不同算法）。

（3）多實例

這種生物特征識別多模態融合系統使用一種或多種傳感器獲取同一生物特征識別特征的兩個或更多不同的實例。例如，從多個手指提取圖像的系統被看成“多實例”系統，而不是“多特征”系統。然而，提取（例如）面部和虹膜圖像序列幀的系統被看成多呈現生物特征識別系統，而不是“多實例”系統。

（4）多傳感器

這種生物特征識別多模態融合系統使用兩個或多個不同的傳感器采集一個生物特征識別特征的同一個實例的樣本，多樣本的處理可采用一種算法或多種算法的組合。例如，人臉識別可以同時使用可見光和紅外攝像機（配合某特定頻率或多頻率的紅外光源）。

4.3 標準應用模式

移動設備生物特征識別多模態融合可以基于移動設備端本地完成識別，即多模態融合的特征比對是在移動設備完成的，這種模式稱為本地模式。移動設備生物特征識別多模態融合的特征比對也可以在服務器端完成，這種模式稱為遠程模式。本地模式和遠程模式所對應的融合層級也可能不同。

4.4 標準融合層級

移動設備生物特征識別多模態融合層級可以分為樣本級融合、特征級融合、分數級融合和決策級融合4 個層級。

（1）樣本級融合，是指每個單一生物特征識別過程輸出一組樣本，將多組生物特征樣本數據融合為一個樣本。

（2）特征級融合，是指每個單一生物特征識別過程輸出一組特征，將多組生物特征融合為一個特征集或者特征向量。

（3）分數級融合，是指每個單一生物特征識別過程通常輸出單一匹配分數，也可能是多個分數，將多個生物特征識別分數融合成一個分數或決策，然后與系統接受閾值進行比較。

（4）決策級融合，是指每個單一生物特征識別過程輸出一個布爾值，利用混合算法如和與或，或者采用更多參數，如輸入樣本質量分數將結果進行融合。

4.5 標準技術框架

移動設備上的生物特征識別技術架構主要由移動設備端和服務器端的若干功能模塊構成，主要包括生物特征采集模塊、生物特征存儲模塊、生物特征比對模塊等。其中，生物特征采集模塊包括生物特征樣本采集、質量判斷、呈現攻擊檢測、生物特征項提取等子功能模塊。生物特征樣本采集通過訪問移動設備中的生物特征采集元件（如圖像采集元件、音頻采集元件、指紋傳感元件等）進行。出于安全考慮，生物特征存儲模塊可以基于安全環境（比如TEE/SE）實現。生物特征比對模塊依據標準應用模式的不同，可以在移動設備端或者服務器端實現。

通常情況下，移動設備上的生物特征識別過程可在移動設備本地完成，并向調用生物特征識別服務的移動應用輸出識別結果。移動應用是移動設備中的生物特征識別的服務調用方，可以是一個獨立的移動應用軟件、移動應用軟件中的一個功能模塊或移動設備操作系統提供的一個系統服務。在某些應用場景中，生物特征識別的部分模塊或子模塊如生物特征采集模塊（如質量判斷、呈現攻擊檢測、生物特征項提取等子模塊）、生物特征存儲模塊和生物特征比對模塊可在服務器端完成。

移動設備生物特征識別多模態不同層級的融合可以在移動設備端和遠程服務器完成。移動設備生物特征識別多模態融合過程中，樣本級融合應在樣本采集后、特征提取前實現融合；特征級融合應在特征提取過程中實現融合；分數級融合和決策級融合應在特征比對模塊被調用之后實現融合。一個生物特征識別系統通常使用上述融合形式或者層級之一完成識別。具體實現上，樣本呈現方式根據實際情況采取依次呈現或者同時呈現的方式。移動設備生物特征識別多模態融合技術框架如圖2 所示。

圖2 移動設備生物特征識別多模態融合技術框架

5 結束語

本文分析國內外移動設備以及多模態融合標準化的現狀，相比于蓬勃發展的移動設備生物特征識別應用，當前國內外針對移動設備多模態融合標準亟須補充。研究多模態融合識別分類，涵蓋多特征、多算法、多實例、多傳感器等；提出樣本級融合、特征級融合、分數級融合、決策級融合4 個融合層級，基于前述研究，提出移動設備生物特征識別多模態融合的技術框架。

基于單模態生物特征識別無法避免模態特性本身帶來的局限性。例如：應用人臉識別時，雙胞胎識別是個世界級的難題，這種問題往往很難通過傳統的單一模態人臉識別來解決，但是通過多模態融合技術，卻能相對容易地解決，例如通過“人臉+虹膜”“人臉+眼紋”或者“人臉+聲紋”的多模態融合方式，巧妙解決雙胞胎識別難題。在具體實踐中，人臉多模態融合的方式，在很好提升識別性能的同時，可以基于3D 攝像頭完成人臉活體檢測，安全性也大大提升。多模態融合識別方式是生物特征識別技術的發展方向，作為性能更優、安全性更強的生物特征識別方式，將來必定會更廣泛地應用于各種各樣的場景中。下一步，筆者將進一步研究移動設備多模態融合的功能要求、技術要求以及安全要求等，為移動設備生物特征識別多模態融合的技術及應用提供完整的標準化解決方案。