基于進化策略的多模態生物特征融合識別研究

陳 俊, 趙子愷, 朱梁俊

(中國計量大學 機電工程學院, 杭州310018)

0 引 言

近些年來,傳統的單模態生物特征識別技術的應用非常廣泛,例如人臉識別、虹膜識別、掌紋識別等,但僅靠單模態的生物特征識別技術,不能滿足日益提高的安全性等要求［1］。 而多模態融合技術是將同一個生物的不同生物特征按照某種算法進行融合,具有更強的區分性和安全性,可以做出準確度更高的識別［2］。 1998 年,Hong 等人［3］首次嘗試將指紋和人臉的生物特征融合規則融合成一個整體進行識別,識別精度有了很大幅度的提高。 Jain 等人［4］提出了基于指紋、人臉和手型的多生物特征識別技術。 Jing 等人［5］首次嘗試了基于人臉和掌紋圖像的融合識別技術。

本文選擇人臉和掌紋兩種生物特征進行融合。首先,這兩個特征具有唯一性,每個人的特征都有所不同；其次,在被采集和識別的過程中,對用戶都沒有隱私性,更加容易被接受。 同時,兩個特征可以采用相同的采集裝置,例如一個普通攝像機就可以實現人臉和掌紋特征的采集,成本較低。 在特征融合方面,采用在決策層使用改進的線性加權的方法將各分類器的識別結果融合,得出最終的識別結果。

1 識別算法

1.1 生物特征提取

在圖像處理和模式識別領域中,主成分分析(principal component analysis, PCA),又稱為K-L 變換,被認為是最成功的線性鑒別分析方法之一［6］。 因為用攝像頭采集到的人臉和掌紋特征都是基于圖像的提取,所以對這兩個生物特征都利用PCA 來進行降維處理,完成生物特征提取,供后續比對識別［7-8］。

首先將一幅M*N 的人臉或掌紋圖像變換成一個大小為M*N 維的列向量。 假設我們的訓練圖像庫中有n 個訓練樣本,xi為第i 個圖像形成的圖像向量,則測試樣本的協方差矩陣為公式(1)：

由K-L 變換原理可知,新的特征空間坐標系由協方差矩陣Sr的非零特征值對應的特征向量所組成。 假設協方差矩陣Sr的秩為R,特征值為λ1, λ2,…,λR(λ1≥λ2≥…≥λR),對應的特征向量分別為ω1,ω2,…,ωR。 如果直接使用所有的特征向量來構建特征空間,會導致計算過于復雜,影響系統運行速度,所以只要選擇包含信息量較大的特征向量來構建即可。 本文選擇前m(m ＜＜R) 個較大的特征值對應的特征向量來構建新的投影矩陣Wm= ［ω1,ω2,…,ωm］,來完成數據降維。 通過計算信息量的方法來確定m 的大小,保證剩余的特征向量所包含的信息大于一定的閾值e。 一般e 為85%到95%之間。 計算公式(3)：

得出了的投影矩陣Wm后,將訓練樣本向量與平均圖像向量的差值矢量投影到新構建的特征空間上,計算公式(4)：

識別某張人臉或掌紋時,首先將人臉或掌紋圖像μ 投影到已構建的特征空間,得到待識別的圖像的特征向量,計算公式(5)。 再根據投影后的特征向量進行分類。

1.2 最近鄰分類器分類

利用PCA 從原始圖像提取出特征向量后,再利用最近鄰分類器進行分類,即待測人臉特征向量ΩT與每類訓練樣本的均值向量的歐式距離來進行分類,距離越小,置信度越高。 由于后續需要進行各生物特征分類結果的融合操作,傳統的最近鄰分類器輸出的結果無法進行運算。 因此進行了如下改進：將歐式距離轉換為后驗概率,對人臉特征和掌紋特征分別計算出識別類別的后驗概率,進行加權融合操作,再根據Bayes 判決規則,后驗概率最大的樣本分類即為最終的判決結果。

假設訓練樣本庫中共有M類,每類有N張訓練圖片。 首先計算訓練樣本庫中每類訓練樣本的特征向量的均值向量,公式(6)：

再計算待測圖像的特征向量與上述每類的均值向量的歐式距離dk,公式(7)：

根據文獻［9］提出的后驗概率的估計公式(8)將歐式距離轉換成后驗概率。

后驗概率即待測圖像屬于第k 類的置信度。

經過上述運算,可以得出對單個生物特征進行驗證的置信度。 而后將對上述計算的結果進行線性加權融合,得出最終的識別結果。

2 基于進化策略的融合算法

2.1 進化策略簡介

進化策略是一種模擬自然進化過程搜索最優解的方法,其在使用過程中無需依賴于問題的具體領域,并且不受目標函數形式的約束［10-11］。 進化策略和神經網絡方法相比,計算量小,訓練時間短。 和遺傳算法相比,有很多方面(如編碼,幾個函數的選取)的靈活性。 因此利用進化策略對權值參數進行自適應調整,可以提高識別的準確性和環境適應性。 適應度越高的個體獲得保留下來進行下一次循環機會的幾率就越大［12］。 通過循環,種群中的個體將一直向著適應度越來越高的方向進化繁殖,直到達到終止條件,獲取到滿足條件的最優解。

2.2 進化策略在多生物特征融合中的應用

采用線性加權的方法在決策層對多生物特征的識別結果進行融合,輸出最終的結果,但權值選取的合適與否對結果的準確性有著巨大的影響。 現有的線性加權法一般的權值選取都是固定的,在識別環境發生變化或者某種生物特征信息不夠準確的情況下,識別結果的準確性會受到很大的限制。 因此采用進化策略的方法,根據反饋訓練來權值參數,使權值達到最適應識別條件的狀態。

首先,要確定種群中每個個體的表達方式。 因為有人臉和掌紋兩種生物特征,所以每個個體選用2*1 的向量來表示。 向量中的兩個值分別代表人臉和掌紋作為識別特征進行分類的分類器的權值,這兩個權值都在0 到1 之間并且和為1。 設定初始種群中有K 個個體。 這K 個個體中第一個的權值都是0 到1 之間的隨機數,后一個權值通過1 減去第一個權值得出。 這樣就得到了初代種群R0。

其次,是適應度函數的選取。 系統最終要做到通過人臉和掌紋兩種生物特征進行準確識別出對應的人,所以采用在訓練集合上的準確率作為適應度函數。 例如對于某個個體mi,ni的適應度Fi,從訓練集合中的每一類中取出N 個樣本作為測試樣本,用mi和ni作為分類器權值,對測試樣本進行分類,統計分類結果的準確率作為適應度。

最后,需要通過重組和變異從初始種群中產生新的子代。 重組算子采用中值重組的方法。 從父代中隨機取M 對個體,例如：(mp,np)、(mq,nq),則經過重組產生新的個體((mp＋mq)／2,(np＋nq)／2)。 接下來是變異過程,在重組產生的新個體加上父代種群中再隨機取多個個體執行變異,對取出來的個體的第一個權值加上一個-0.1 到＋0.1 之間的隨機數,第二個權值加上第一個權值加的值的相反數,保證權值的和為1,這樣就完成了重組和變異的過程,產生了新的個體。 將新產生的個體和父代種群放到一起,對每個個體計算適應度,按照適應度大小進行排序,保留適應度較高的K 個個體作為新的一代,繼續進行重組和變異的過程,直至達到需要達到的準確率或達到設定的循環次數。 上述算法的時間復雜度為O(n2)。通過進化策略算法的迭代,達到最優的權值(me,ne)后,對人臉和掌紋特征通過最近鄰分類器輸出的置信度進行線性加權融合,得到最終的結果,即樣本T屬于類別k 的置信度為：

其中, me,ne分別為人臉和掌紋對應的權值,Pf(T ∈k) 和Pp(T ∈k) 分別為通過人臉特征和掌紋特征的比對輸出的樣本T 屬于k 的置信度。

假設置信度閾值為0.8。若測試樣本T屬于類別k 的置信度超過0.8,則我們認為樣本T 屬于k。

3 實驗結果與分析

為了測試本方法在實現身份驗證中的性能,采用ORL 人臉數據庫和香港理工大學的掌紋公開庫(PolyU Palmprint database) 進行融合識別實驗。ORL 人臉庫包含40 人,共400 張面部圖像。 ORL人臉數據庫中一個采集對象的全部樣本庫中,每個采集對象包含10 幅經過歸一化處理的灰度圖像,圖像尺寸均為92×112,圖像背景為黑色。 采集對象的面部表情和細節均有變化,所以可以比較好的作為測試集和訓練集,部分圖片見圖1。 香港理工大學掌紋公開庫是掌紋識別領域里廣泛使用的基準數據庫,部分圖片見圖2。 從掌紋公開庫中也取40 人,每人6 幅掌紋圖像與ORL 人臉庫中40 個人的6 幅人臉圖像進行綁定,作為測試集合和訓練集合。

選取40 人120 個記錄用于訓練,通過訓練得到生物特征融合函數,即人臉和掌紋對應的兩個最優權值(me,ne)。 剩余的40 人120 個記錄用來測試。測試集合中,類間匹配的次數即匹配的總次數為120×119=14 280 次,類內匹配的次數為3×2×40=240 次。 根據訓練得出的權值對兩種特征進行融合,得出最終的置信度即匹配得分,利用設定的閾值來對最后融合得出的匹配得分進行判斷,得出最終的識別結果。 通過調整閾值可以得到多組實驗結果。 同時利用單生物特征即掌紋識別和人臉識別方法在上述測試集合中進行同樣的測試。

圖1 ORL 中的部分人臉樣本圖像Fig. 1 Some face image samples in ORL

圖2 香港理工大學掌紋公開庫中的部分樣本圖像Fig. 2 Some image samples in PolyU Paimprint database

圖3 是根據測試結果得出的受試者工作特征曲線,可以直觀的表達本文所提出的算法與其他單生物特征識別算法的表現對比。 表1 是本文的融合算法與單掌紋識別和單人臉識別算法的等錯誤率(Equal Error Rate,EER)對比。

圖3 融合算法與單生物特征方法的ROC 特性比較Fig. 3 Comparison of ROC characteristics between fusion algorithm and single biometric method

表1 融合算法與單生物特征方法的EER 比較Tab. 1 Comparison of EER between fusion algorithm and single biometric method

分析圖3 和表1 的結果可以看出,融合方法使得識別系統的等錯誤率下降至1.05%,較單人臉和單掌紋識別分別下降了0.88%和2.07%,表明多生物特征融合識別方法在識別性能上較單生物特征有明顯的提高。

4 結束語

利用融合算法對人臉和掌紋生物特征融合進行身份識別,可以提高身份識別的準確性。 利用線性加權對人臉和掌紋的匹配得分進行融合時,利用進化策略的方法通過訓練對權值進行自適應調整相比于固定權值有更強的環境適應性,可以有效提高系統的魯棒性和身份識別的準確率。