特征層雙模態生物識別算法容侵能力評測方法

王志芳, 甄佳奇, 朱福珍, 宋建華

(黑龍江大學電子工程學院, 黑龍江 哈爾濱 150080)

0 引 言

隨著信息技術的快速發展,人們進入了數字化和網絡化的時代,個人身份信息也隨之數字化和隱性化[1]。個人身份信息越來越多的關系到個人隱私、財產安全與社會的公平和秩序,因此快速、準確、安全地在數字化環境中進行個人身份識別與驗證成為信息安全領域研究熱點之一,具有重要的理論意義和實用價值[2-3]。傳統身份認證方式無法實現身份標志信息或物品與用戶本人的唯一關聯性和不可分離性,而生物識別技術將人體生物特征作為身份標志,兼顧了系統安全和用戶體驗,因此在信息安全等領域受到了廣泛關注。隨著生物識別技術在各個領域的廣泛應用,單模態生物識別暴露了諸多問題,而多模態生物識別技術具有更優的適用性、安全性和可靠性,成為目前生物識別技術發展的趨勢[4],也為信息安全應用系統提供了更加安全和可靠的身份認證方案。

根據融合發生的階段不同,多模態生物識別方法具體劃分為4個層次,分別為像素層、特征層、分數層和決策層[5]。相比像素層融合,特征層融合實現了信息的客觀壓縮,規避了大量數據的計算,有利于實時處理;而分數層和決策層就是將多個匹配分數和決策按照某種規則進行融合綜合判斷給出最終的結論。而融合的匹配分數和決策均來自單模態生物識別系統,這使得分數層和決策層的性能依賴于單模態生物識別系統,提升系統性能的空間有限[6-7]。而特征層融合提取決策分析所需的最大區分性類別信息,在理論上可得到最優識別效果。因此,特征層融合算法是多模態生物識別技術中一個潛力很大的研究方向,相關文獻也陸續出現[6-8]。

目前,關注多模態生物識別技術安全問題的研究者并不多,僅有的少數文獻提及也是與單模態生物識別技術相同的通識問題,而關于特征層多模態生物識別安全問題的研究更鮮有出現。目前,特征層多模態生物識別技術多以雙模態生物識別算法為主。本文從雙特征入手,將入侵容忍的概念引入到特征層雙模態生物識別技術的安全評測中。對于一個系統來說,入侵是在沒有授權的情況下,對系統資源進行存取、處理或破壞以使系統不可靠、不可用的故意行為[9]。從特征的角度來考慮,對于單模態生物識別來說,入侵行為就是竊取或偽造生物特征,這意味著該特征已經泄露,攻擊者可以利用該特征進入系統獲取所要的信息,系統安全和用戶隱私將無法保障[10-12]。對于雙模態生物識別技術來說,當所有模態的特征泄露時與單模態生物識別相同,攻擊者就可以合法地進入系統。但雙模態生物識別還存在另一種情況,只是一種生物特征泄露,也就意味著攻擊者拿到了一種真實的生物特征。此種情況下,系統是否應該承認攻擊者的合法身份,畢竟一種生物特征是真實的？但另一種生物特征并不是真實的,系統給予的判斷結果應該是兩種特征綜合分析的結果。對于此種情況的討論,本文借用入侵容忍技術。入侵容忍主要考慮在遭到攻擊的情況下系統的可生存性,關注的重點是入侵造成的影響而不是入侵的原因[9, 13]。所謂的可生存性是指系統被部分入侵、性能下降的情況下,還能維持系統正常服務的能力。對于雙模態生物識別技術,當一種特征被竊取,另一種特征并不真實的情況下,本文提出了容忍能力評測方案,比較典型特征層雙模態生物識別算法的可生存性。

1 問題提出

根據入侵容忍的概念,多模態生物識別系統的可生存性是指在生物特征被竊取的情況下,還能夠正確判定用戶的身份。給出判定結果需要一個比對的過程,也就是需要將測試樣本特征與數據庫中的模板特征進行匹配。而由于生物特征具有模糊性,也就是采集的生物樣本每次都不可能完全一樣,比如指紋每次按壓的力度、角度做不到完全一樣,人臉不同時刻拍照時的表情,姿態也做不到完全相同,因此生物特征的匹配是采用閾值匹配,換句話說,2個生物特征之間的距離小于閾值被認為2個生物特征是來自同一個用戶,大于閾值被認為2個生物特征來自不同的用戶。在此基礎之上,生物識別技術針對兩種應用模式有兩套對應的性能評價指標。

識別和認證是生物識別技術的兩個應用模式[14]。識別是一對多的匹配,測試樣本特征與注冊的所有模板特征進行比對,按照某種距離測度給出識別結果。只要該測試樣本特征與注冊模板中的任意一個能夠匹配,則識別成功,也就是所謂的一對多。反之,則認為識別失敗。由此可見,識別模式強調的是身份的合法性,只要具有合法的身份,無論是否與用戶自己的模板特征相匹配都可以得到系統的授權。驗證模式則是一對一的匹配,測試樣本特征必須與擁有該樣本的用戶注冊的模板特征相匹配才被認為正確匹配,也就是驗證成功。若測試樣本特征與其他用戶的注冊模板相匹配,則被認為錯誤匹配,也就是驗證失敗。因此,驗證模式是一對一的匹配,更適于算法性能的評價。

根據2種應用模式從而有了2對性能評價指標:錯誤接受率(false accept rate, FAR)和錯誤拒絕率(false reject rate, FRR),錯誤匹配率(false match rate, FMR)和錯誤匹配率(false non-match rate, FNMR)[14]。其中,FAR和FRR是針對識別模式,FMR和FNMR是針對驗證模式。本文關注特征層雙模態生物識別算法,因此選用FMR和FNMR兩個性能參數。FMR和FNMR的計算需要將樣本分為2個集合:用戶的訓練樣本集和用戶的測試樣本集。則FMR和FNMR計算公式為

式中,樣本類間距離是指不同用戶特征之間的距離;樣本類內距離是指同一用戶特征之間的距離。

目前,多模態生物識別的研究多以雙模態生物識別為主,也就是融合兩種生物特征進行身份識別。本文以雙模態生物識別算法為例,對入侵容忍問題進行分析。表1為雙模態生物特征A和B不同情況下給出判定結果后所對應的評價性能參數。當2種特征都是真的,判定正確匹配,或者兩種特征都是假的,判定錯誤匹配,這兩種情況沒有任何異議,用“√”來標記。若兩種特征都是真的,當錯誤匹配時很顯然應歸屬于錯誤誤匹配率了,對應參數就是FNMR。同理,當兩種特征都是假的而被判定正確匹配時對應的參數就是FMR了。這4種情況很容易歸屬,可當兩種特征有真有假時,無論判定結果是正確匹配還是錯誤匹配,都很難去界定對應的參數,在表中用“√”表示。此時,相比單個用戶的判定結果是否正確,整體算法的可生存性更引人關注。

表1 雙模態生物特征真假分析

2 容侵能力評測方法

多模態生物識別的優勢正是體現在這個“多”上面,多種生物特征的參與提高了系統的適用性、可靠性和安全性。然而,當其中一種模態的生物特征被竊取時,系統的識別性能會受到什么樣的影響？系統的安全性會受到什么影響？目前幾乎沒有文獻涉及過此問題,更沒有給出定量的指標來評測這個問題。理想情況下,部分特征被竊取后融合算法盡可能地保持與無特征被竊取情況相同,這樣能夠保證攻擊者即使得到用戶的一種樣本特征,與沒有得到用戶樣本特征進入系統的難度大致相同,也就是系統還能基本完成系統功能。因此,部分樣本特征被竊取情況對于多模態生物識別算法在區分性上有更高的要求,盡量避免出現錯誤匹配。本文從系統安全出發,關注FMR的變化程度,首先定義了FMR的積分差作為精確容侵能力度量,設計評測方案,對典型特征層雙模態生物識別算法進行評測。

2.1 參數定義

從安全的角度來考慮算法的性能,用戶更為關心攻擊者攻破系統的可能性,對應的參數也就是FMR。因此,本文以FMR為性能評價參數,測試樣本特征部分被竊取的情況下算法功能完成的情況,也就是算法容侵能力的測試。如何進一步定量的衡量算法的容侵能力,本文首先定義算法的安全威脅參數。

定義1某種多模態生物識別算法的安全威脅參數定義為

(1)

式中,t為匹配閾值;Ω為可能的匹配閾值的范圍;g(t)為該算法的FMR曲線。

定義D實際上是計算FMR曲線在閾值范圍Ω的定積分,相對于單一的某個閾值下的FMR,D更準確更全面地反映了識別算法的整體安全性。在實際計算中,閾值的取值是離散的,設閾值取值序列為x0,x1,…,xn,如圖1所示,安全威脅參數可轉化為

(2)

在實際測試中,在匹配之前已將融合特征進行了歸一化,從而歸一化匹配閾值的范圍為[0,1]。

圖1 離散安全威脅參數定義Fig.1 Definition of discrete security threat parameter

當樣本特征部分被竊取時,攻擊者拿到部分特征的情況下,希望融合算法還能夠將攻擊者識破,即要求融合算法在樣本特征部分竊取情況下,FMR上升速度不能過快,仍然保持與正常情況相當的區分性。為了度量這一點,本文進一步提出了容侵能力度量準則。

定義2某種多模態生物識別算法的容侵能力度量定義為

(3)

式中,Dn和Dl分別表示正常情況下和樣本特征部分竊取情況下該算法的安全威脅參數;gn(xi)和gl(xi)分別表示正常情況下和樣本特征部分竊取情況下該算法的FMR曲線。實際上,V即為兩種情況下FMR曲線之間的面積,如圖2所示。

圖2 容侵能力度量定義Fig.2 Definition of intrusion tolerance capability measurement

V反映了融合算法識別性能受樣本特征部分竊取的影響程度,該值越小表示融合算法的容侵能力越高,等于0是容侵能力最佳的理想情況,即算法的性能不受樣本特征被竊取的影響,該算法的安全性也就越高。上述2個度量的引入使得能夠有效對融合算法的總體識別性能進行量化的評估,對融合算法在樣本特征部分竊取情況下容侵能力下降程度進行定量的分析。

2.2 評測方案

3 實驗結果

3.1 典型特征層融合算法

目前,特征層多模態生物識別技術多以雙模態生物識別算法為主。因此,以雙模態生物識別算法為例給出測試結果。傳統的特征層雙模態生物識別算法有兩類:串聯融合和加權融合[5-6]。串聯融合就是將2種模態特征向量串聯成一個長向量,這樣帶來的計算量非?？捎^。而加權融合是將2種模態特征向量分別乘以權值后再疊加,但權值的選擇是個備受爭議的問題。典型相關分析(canonical correlation analysis, CCA)屬于并聯方式,但與加權融合模式不同,并沒有提前將2種特征進行融合,整個算法既是融合過程,也是分類過程[15]。復數融合是一種新興的融合模式,其將2種模態特征向量分別作為實部和虛部組成復數特征向量,再對復數特征向量進行分類。這樣既解決了串聯帶來的巨大計算量,同時又避免了權值的選擇問題[16-20]。

fk=

(4)

因此,根據式(4)得到的融合特征維數為d=max{d1,d2}。

CCA算法按照相同的方式統一特征維數,其通過2個數據集之間的線性變換來提取典型變量,利用典型變量間的相關系數來表征數據集間的相關性,從而找到兩個投影方向使得兩個數據集投影后具有最大的相關性。投影方向α和β的求解可通過式(5)的最大化得到。

(5)

式中,Sxy為訓練樣本集x和y的互協方差矩陣;Sxx和Syy分別為樣本集x和y的協方差矩陣。

復數融合模式按照加權融合相同的方式統一特征維數,則復數融合方式的第k個融合特征fk為

(6)

式中,i為虛數單位。

通常情況下,串聯融合和加權融合方式得到融合特征之后按照某種距離測度進行匹配從而得到驗證結果,而CCA算法整體既是融合過程也是分類的過程。復數融合方式得到融合特征后還需要再利用復數分類器進行再次分類給出最后的驗證結果。文獻[16]最早提出復數融合并給出了復數Fisher鑒別分析算法(complex fisher discriminant analysis,CFDA)算法,利用復數向量融合使用不同特征提取方法得到的人臉特征進而分類識別。CFDA的目標函數為

(7)

式中,Sb和Sw分別為樣本類間散度矩陣和樣本類內散度矩陣;H為共軛轉置符號。當wHSww=0且wHSbw≠0時,目標函數達到最大值。正是基于上述思想,復數普通向量(complex common vector, CCV)算法被提出[17],目標函數為

(8)

式中,St為總體散度矩陣?？紤]到非線性特征的存在,基于核函數的復數雙模態生物識別算法復數核主成分分析(complex kernel principal component analysis, CKPCA)和復數核Fisher鑒別分析(complex kernel fisher discriminant analysis, CKFDA)相繼出現[18-19],算法的目標試圖將原始訓練樣本通過某個非線性映射映射到某一高維特征空間,并在該空間中實現線性主成分分析和Fisher鑒別分析,目標函數分別為

(9)

(10)

式中,R=K-1mK-K1m+1mK1m,K為樣本核矩陣,1m為m×m元素都為1的矩陣(m為樣本總個數);Kb和Kw分別為基于核函數的類間散度矩陣和類內散度矩陣,本文測試采用高斯核函數。

復數局部保射投影(complex locality preserving projection,CLPP)算法是讓原始樣本同類的數據點間距離較近的點,在經過映射到低維空間后兩點間的距離被壓縮的很近,該方法能夠很好地保持原始數據同類間的非線性結構,因此在經過映射后能夠充分利用同類間的非線性結構保持其相似性[20]。這種映射克服了傳統線性分析算法不能保留高維數據中流形結構的缺點,同時還克服了非線性映射后很難獲得在低維樣本空間上的簡潔特征表示的困難。其目標函數為

(11)

式中,Sij表示互為近鄰的兩個數據點之間的相似度。

3.2 實驗對象

本文采用中科院自動化所(Institute of Automation，Chinese Academy of Sciences, CASIA)公開虹膜數據庫,奧利維提研究實驗室(Olivetti Research Laboratory, ORL)人臉數據庫和耶魯(Yale)人臉數據庫。CASIA虹膜數據庫包括108個虹膜個體,每個虹膜分兩個階段采集7幅圖像,共756幅虹膜圖像。ORL人臉數據庫由劍橋大學AT&T實驗室創建,包含40人,每人采集10幅圖像,共400幅人臉圖像,其中包括了姿態、表情和面部飾物的變化。Yale人臉數據庫由耶魯大學計算視覺與控制中心創建,包含15人,每人采集11幅圖像,共165幅人臉圖片,同樣包含光照、表情和姿態的變化。

3.3 實驗結果

對第3.1節中所述的特征層雙模態生物識別算法進行評測:串聯算法,加權算法,CFDA算法,CCV算法,CKPCA算法,CKFDA算法,CCA算法,CLPP算法。在加權算法中,由于虹膜識別相較于人臉識別在準確率方面性能更優,因此在權值分配上偏重于虹膜特征,以期望虹膜特征的區分性能在融合特征中起到重要作用,本文實驗中2種特征的權值取為θ1=0.3,θ2=0.7。同時,也添加了加法算法的實驗對比,將人臉特征和虹膜特征權值設置相同,也就是權值取為θ1=θ2=0.5,作為加權算法的一個特例也參與評測。因此,本文是對以上9種算法給出評測結果。

表2給出了實驗1中9種融合算法在樣本特征泄露情況和正常情況下不同閾值的FMR、對應的容侵能力度量V及程序運行時間。

表2 實驗1參數比較

在計算量方面,實驗對比的9種算法原理各不相同,因此在計算量方面也相差較大。本文實驗采用Matlab R2017b,計算機處理器Intel(R) Core(TM) i7-7700HQ CPU@2.80GHz 2.81GHz,內存8GB。由于串聯、加法和加權3種方法融合之后不再對融合特征添加分類器,因此在9種算法中時間最短。其中,加法和加權兩種融合算法得到的特征相比串聯特征的維數更小,因此時間上最短。CCA算法比較特殊,與加權、復數融合方式不同,并不對兩種模態特征直接做操作,算法執行的過程就是融合和分類的過程,因此時間也較短。而其他算法中,CKPCA和CKFDA兩種算法在進行核函數計算生成核矩陣的過程中需要樣本間兩兩遍歷所有組合,大維數核矩陣的求解花費時間也長,造成兩種算法時間較長,尤其CKFDA是CKPCA的基礎上又進行了FDA,因此時間最長。CFDA、CCV和CLPP運行時間處于中間。

圖3給出了實驗1中9種融合算法在2種情況下FMR隨閾值大小變化而變化的對比情況。隨著閾值的增大,FMR也隨之增大,這是因為樣本類間距離小于閾值可能性就增加了,進而樣本類間距離中小于閾值的個數將會增大,必然會使得FMR增大。然而,正常情況和泄露情況FMR增長的速率并不相同。從表2具體數值可看出,相同閾值下,串聯、加法、加權、CFDA算法、CKPCA算法5種算法正常情況和泄漏情況FMR數值相似,進一步可看出相同閾值差值得到的FMR差值也是相似的,這也驗證了圖3中4種算法對應FMR增長曲線的相似性,從而表2給出的容侵能力度量V也是非常接近的。CCV算法和CCA算法正常情況下FMR增長速度相比泄露情況下FMR的增長速度過快,導致2種情況FMR相差較大,從而得到的容侵能力度量V也較大。從圖3不難看出CKFDA算法和CLPP算法相對于其他7種算法在正常情況下和泄露情況下2條FMR曲線非常接近,尤其CLPP算法趨近于理想狀況。CKFDA算法繼承了實數域KFDA算法的優勢,在增大類間距離的同時縮小類內距離,利用核函數將低維空間線性不可分問題轉化為高維空間線性可分問題,提取更具有區分性的樣本非線性特征。而CLPP算法更關注局部特征,保證在高維流形中相鄰的樣本在降維后的空間中也相鄰,克服了線性算法不能保留高維數據中流形結構的缺點,充分利用同類間的非線性結構,在抵抗偽造特征攻擊的表現更佳。從表2可以更方便地看出CLPP算法容侵能力度量最低。因此,從實驗1的實驗結果來看,如果從安全角度考慮融合算法,CLPP算法是較好的選擇。

圖3 實驗1算法容侵能力比較Fig.3 Intrusion tolerance capability comparison of experiment 1

表3給出了實驗2中9種融合算法在樣本特征泄露情況和正常情況下不同閾值的FMR,對應的容侵能力度量V以及程序運行時間。計算機配置與實驗1相同,9種算法程序運行時間差異與實驗1也基本相同,但因為Yale庫的樣本數比ORL庫樣本少,因此表3中各算法運行時間都比表2中運行時間少。

表3 實驗2參數比較

圖4給出了實驗2中9種融合算法在2種情況下FMR隨閾值大小變化而變化的對比情況。從表3和圖4的實驗結果,可看到實驗2和實驗1有相同的結論。相同閾值下,串聯、加法、加權、CFDA算法、CKPCA算法5種算法正常情況和泄漏情況FMR數值相似,得到的容侵能力度量也是相近的。CCV算法和CCA算法在實驗2中正常情況下FMR增長速度相比泄露情況下FMR的增長速度同樣過快,導致2種情況FMR相差較大,從而得到的容侵能力度量V也較大。相比實驗1,圖4中CKFDA算法和CLPP算法在正常情況下和泄露情況下兩條FMR曲線更加接近,尤其CLPP算法兩條曲線幾乎重合。因此,從實驗1和實驗2的實驗結果來看,如果從安全角度考慮融合算法,CLPP算法是較好的選擇。

圖4 實驗2算法容侵能力比較Fig.4 Intrusion tolerance capability comparison of experiment 2

4 結 論

本文探討了特征層多模態生物識別算法的安全問題,針對多特征中部分特征被竊取情況,引入入侵容忍概念,定義了安全威脅參數和容侵能力度量,提出了容侵能力評測方案,以人臉和虹膜為研究對象,對串聯算法、加權算法、加法算法、CFDA算法、CCV算法、CKPCA算法、CKFDA算法、CCA算法和CLPP算法9種特征層雙模態生物識別算法進行了評測。兩組實驗結果都表明CCV算法和CCA對于樣本泄露造成的影響比較敏感,而CKFDA算法和CLPP算法對于樣本特征被竊取情況的魯棒性更高,保持了較高的安全性。