摘 要：本文基于ISO/IEC TR 24722：2015《信息技術—生物特征識別—多模態和其他多生物特征融合》，針對當下單一生物特征識別技術的局限性，對多模態和其他多生物特征識別技術及其分類進行了研究，給出了通用的多生物特征識別系統模型，比較了不同生物識別特征呈現方法，并對不同生物識別特征的相關性進行了探討。

關鍵詞：信息技術；生物特征識別；多模態

中圖分類號：TP391.41 文獻標識碼：A 文章編號：2096-4706（2018）05-0189-03

Research on Multimodal and Multi Biometric Fusion of Biometrics System

PEI Lunpeng，GAO Jian

（China Electronics Standardization Institute，Beijing 100007，China）

Abstract：This paper is based on the ISO/IEC TR 24722：2015“information technology—biometric identification—multimodal and other multi biological feature fusion”. Aiming at the limitations of the present single biometric identification technology，this paper researches on the multi-modal and other multi biological feature recognition technology and its classification，and gives the universal multi biological feature recognition system model. This paper compares different biometric feature presentation methods and discusses the correlation of different biometric features.

Keywords：information technology；biometrics；multimodality

0 引 言

隨著信息技術的不斷發展，生物特征識別技術已經被廣泛地用于金融支付、個人多重身份認證排查和航空安全檢查等領域。對于某些生物特征識別具體的應用場景，我們現階段還很難通過使用單一生物特征識別技術來滿足它們對身份識別技術性能的要求。

利用完全獨立的生物特征識別傳感器、不同的識別算法或多種生物特征類型采集得到的多模態生物特征測量數據，通常可以提高生物特征識別的技術性能并降低風險。也就是說性能水平的提高并不完全需要獲取所有的生物特征測量值，而是接受/拒絕閾值的整體決策下僅根據任意數量的生物特征測量值即可得到識別結果。

多模態生物特征識別系統為眾多生物特征識別系統類型中的一種，特點在于各模態對應各自不同的測量方法并給出一個分數值。實現分數級的結果融合，通常需要生物特征的真實與虛假分布信息，比如：在一個手機的移動支付場景中，使用指紋和本地驗證作為前置驗證，而使用人臉識別作為后置驗證，通過這一方法，我們可以根據生物特征的真實與虛假信息的分布，提升手機移動支付的安全級別。

ISO/IEC TR 24722：2015《信息技術—生物特征識別—多模態和其他多生物特征融合》[1]給出了描述和分析多模態和其他生物特征融合的概念以及方法，討論了建立多生物特征識別系統的必要性、可行途徑及其標準化。

本文以ISO/IEC TR 24722：2015為基礎進行了相應的研究。

1 多模態和其他多生物特征識別系統的概述

多模態或多生物特征識別通常是指以某種組合形式使用多生物特征類型、多傳感器、多實例或（和）多算法，并得到一個特定的生物特征識別或驗證結果。多樣本、多匹配分數或多匹配決策的組合方法可以非常簡單也可以特別復雜。

多生物特征識別的概念出現于20世紀70年代，并在當時已完成部署和測試。那時，融合方法被視為未來生物特征識別系統必須滿足的一項需求。

人們廣泛認為，多生物特征融合方法不僅可以通過降低錯誤接受率來提高安全性，而且可以通過降低錯誤拒絕率來提高使用便捷性。不過，在當時看來這些多模態系統無法投入實際應用。

然而，始于20世紀80年代的指紋自動識別系統（AFISs）之所以成功獲得大規模推廣應用，多生物特征融合概念及其相關方法的提出功不可沒。至今為止，多模態技術仍沒有真正用于AFIS系統。然而標準中討論的大多數已經成功實現的融合方法僅使用了指紋數據的融合。AFISs中采用的部分融合方法如下：

——圖像（AKA樣本）融合：由掃描設備上的一系列平壓圖像生成單一的“滾動”圖像；

——提取每幅指紋圖像的多重特征進行模板融合；

——多實例融合：融合十根手指的指紋；

——多呈現融合：融合滾動和平壓指紋；

——面向高效率（成本、計算復雜度及吞吐率）的算法融合；比較器一般用作計算復雜度逐漸遞增的一系列過濾器，作為決策和分數級融合的混合實現；

——面向高精度（降低錯誤接受率/錯誤拒絕率，將敏感度降至低質量數據級別）的算法融合；匹配器與分數融合并行使用。

融合方法能提高精度和效率，從而得以促成指紋自動識別系統的應用。

迄今為止，多生物特征識別研究的重點在于改善錯誤接受率及錯誤拒絕率。也可以提高識別技術的可用性、安全性或精確度。此外，多生物特征識別旨在降低無用戶配合的生物識別系統（如：視頻監控系統）的注冊失敗率。多生物特征識別在即使只獲取所需生物識別特征樣本子集的情況下也能做出識別決策。

為進一步闡明多生物特征各類別之間的區別，表1說明了這些類別之間本質上的差別。關于各類識別技術其融合對象的關鍵設計以加粗方式表示。

（1）多特征類型。從單一或多個傳感器捕獲兩個或更多不同的生物識別特征模態的生物特征識別系統。例如，一個結合人臉和虹膜信息的生物特征識別的系統可看作是一個“多特征類型”系統，無論人臉和虹膜圖像是否由不同的成像設備采集。不過，并非一定要將識別方式進行數量上的組合疊加。例如，一個結合聲音和指紋識別的系統可看作是“多特征類型”，即使完成識別只需要用到其中任意一種模態特征類型。

（2）多算法。通過一個傳感器采集樣本，使用兩個或兩個以上算法進行樣本處理。這種技術可以應用于任何特征類型。其理論上最大的好處是利用了完全不同且原理獨立的多種算法。例如，生物樣本的特征提取（指紋與手指細節）或比對方法（比對細節的不同算法）。

（3）多實例。使用一種或多種傳感器獲取同一生物識別特征的兩個或更多不同的實例。例如來自不同手指的圖像應被稱作多實例（而不是多模態）。然而不同的采樣對象，如面部和虹膜圖像序列幀應被稱作多呈現（而不是多實例）。

（4）多傳感器。使用兩個或多個不同的傳感器采集一個生物識別特征的相同實例。此處，多樣本的處理可采用一種算法或多種算法的融合。例如，人臉識別可以使用可見光和紅外攝像機，并配合特定頻率（或多頻率）的紅外光源。

針對具體應用，需考慮和權衡許多系統設計方面的內容，如性能改進因素（例如，識別或驗證的準確性、系統速度和吞吐量、魯棒性和資源需求）、接受度、法律規避、易用性、運營成本、環境適應性和群體彈性。

對于一個大型的人臉識別系統尤其如此，系統設計方面要考慮的更多，如運維、可靠性、系統購置成本、生命周期成本以及系統對已識別常見攻擊手段的預定響應。這些都會影響系統的整體部署。[2]

2 通用多生物特征識別系統模型

圖1給出了通用多生物特征識別系統的模型。除了在特別說明的地方，該模型均以3個不同特征類型下的樣本（P1，P2，P3）為例進行闡明。模型頂層給出了生物識別特征。根據系統設計，系統支持兩種生物特征呈現方法：（1）同時，（2）依次。

特征呈現方法（同時或依次）不同于融合過程本身。此處之所以提到融合方法，目的在于列出可能會影響多生物特征識別系統設計的各方面。

3 同時呈現

（在成功捕獲前提下的）同時呈現提供從單次采集事件中獲取的多生物模態下特征樣本（例如，從相同攝像頭采集的人臉和虹膜數據）。同時采集設計常用于以增加復雜度（同步樣本采集）或犧牲易用性（雙傳感器交互，用戶多任務處理）為代價的高吞吐量應用場景。

4 依次呈現

依次采集是從相互獨立的事件中的一個或多個特征類型下獲取生物特征樣本。文獻中討論的依次采集可應用于三個方面。其一為多實例，它利用一個主體的單個生物模態中兩個或兩個以上的實例，如指紋（左手食指）+指紋（右手的食指）。此例中，單個指紋閱讀器依次使用兩次。其二為多特征類型，使用一個或多個傳感器采集一個主體的多個不同生物模態，如依次采集手形+人臉特征數據。其三為多傳感器，使用兩個或多個獨立的傳感器獲取一個主體的相同生物特征。為了避免與多模態混淆，可以從兩個或多個獨立傳感器分別獲取生物特征，因此多傳感器被看作“單模態多傳感器”。例如，人臉識別：紅外光譜，可見光譜，二維圖像，三維圖像；指紋識別：光，電和聲學傳感器。

5 相關性

多模態生物特征識別系統中，融合的信息可能在多個不同層次相互關聯[3]，如下例所示：

（1）特征類型之間的相關性：這里是指存在物理相關性的生物特征，如用戶的聲音和唇動；

（2）相同生物特征樣本的相關性：多算法系統中，相同的生物特征樣本（例如，指紋圖像）或生物特征樣本的子集（例如，聲音。整個樣本由一個算法處理，樣本的一部分由另一個算法處理）對應不同的特征提取與對比算法（例如，細節比較器和紋理比較器）；

（3）特征值之間的相關性：構成不同特征類型的特征向量其特征值的子集可能相互關聯。例如，用戶手掌（手的幾何形狀）的面積可能與人臉的寬度相關聯；

（4）由普通操作流程引起的實例相關性（例如，普通的采集設備和操作員培訓）；

（5）由于主體行為引起的實例相關性（例如，兩個眼睛佩戴彩色隱形眼鏡）。

然而，為了確定相關聯的程度，需要檢查此融合方案下關于匹配器的匹配分數（或接受/拒絕決策）。多分類器系統[3]已證明融合不相關的分類器能夠顯著提升匹配性能。

對于融合方案中兩個精度合理的分類器，同一主體的匹配分數可能相關但并非必須相關。因此，對分類器錯誤之間相關性的描述更為恰當[4]。相關系數pnc定義如下：

其中n是被測分類器的個數，N是序列總數，Ncf是閾值為C時，所有分類器錯誤輸出的序列數目，Nct是閾值為C時，所有分類器正確輸出的序列數目（注：此公式與決策級下計算錯誤相關性有關）。

6 結 論

生物特征識別多模態和其他多生物特征融合除了考慮上述內容，還需考慮組合層級以及用于多生物特征識別系統的特征化數據的內容。現階段生物特征識別多模態和其他多生物特征融合的標準正在制訂中，有些內容還需在實際應用中驗證。但感知信息融合以便進行決策的方法對其他領域的應用有借簽作用。

參考文獻：

[1] 國際標準化組織ISO/IEC TR 24722：2015.信息技術—生物特征識別—多模態和其他多生物特征融合 [S].技術委員會：ISO/IEC JTC1/SC37生物識別技術，2015.

[2] G.L.Marcialis and F.Roli. Fusion of LDA and PCA for face recognition [EB/OL].[2002-05-28].https：//link.springer.com/chapter/10.1007%2F3-540-47917-1_4.

[3] 識別技術研究中心.生物特征模態獨立性，進度報告 [R].2004.

[4] K. Goebel，W. Yan，and W. Cheetham. Method to Calculate Classifier Correlation for Decision Fusion [C].IEEE，2002.

作者簡介：裴倫鵬（1980.12-），男，漢族，山東滕州人，工程師，碩士。研究方向：信息技術與標準化研究；高健（1967.10-），男，漢族，北京人，高級工程師，本科。研究方向：信息技術與標準化研究。