一種多模態生物特征融合算法探究

王俊生， 王 波， 韓慶芝

(1 國網電子商務有限公司， 北京 100053； 2 國網雄安金融科技集團有限公司， 河北 雄安 071800；3 國家電網電力金融與電子商務實驗室， 北京 100053)

引言

近年來，在陸續涌現的各類身份識別技術中，如指紋識別、人臉識別、聲紋識別等就正以其安全、方便的特性，以及較傳統的安全認證技術所展現的更優防偽性能，已在眾多身份認證領域中獲得了廣泛應用，而與此同時其市場規模也正悄然呈現出快速遞增態勢[1]。

通常，生物識別技術多將分為單模態識別技術和多模態識別技術兩種。時下，隨著現代科學技術的飛躍式發展，其中的單模態生物識別技術已日漸凸顯出其相對居于劣勢的安全性，也就是存在著較大的安全風險，例如仿真頭套、全息投影、人臉跟蹤等高科技手段的出現，即從根本上打破了單模態生物識別技術的安全屏障。而多模態生物識別技術卻可通過數據融合算法將不同的生物特征進行有機結合，如掌紋與人臉特征的融合[2]、指紋與聲紋特征的融合[3]、虹膜與指紋特征的融合[4]等，這樣就可有效彌補單模態生物識別技術的安全風險，從而使識別系統的安全性能大大提高[5]。迄至目前，基于市場需求的多樣化和市場競爭的選擇性作用，均已使得多模態生物識別技術日漸成為生物特征識別領域的研究熱點，并且也終將引領生物特征識別領域的未來發展趨勢[6]。

通過全面分析后可知，人臉識別技術具有唯一性和不易復制性，而且還兼具識別無接觸、使用上的便捷性和用戶友好性等特點[7]，據此就贏得了廣闊的發展空間。但不可否認的卻是，人臉識別技術的安全性相對較弱，也就是用戶將面臨隱私泄露的可能，而且其識別準確率也會受到多種外界因素的影響，如光線、識別距離，以及化妝、整容所帶來的面部特征改變等。而另有研究表明，在將聲紋識別與其它生物特征比較后可知，前者表現出提取特征方便、獲取特征成本低[8]、受到距離影響較小的突出優越性，因此將會更加適于應用在遠程身份認證的方案設計中。此外，尤需一提的是，聲紋辨認和確認算法的運行復雜度也很低。故而，聲紋識別已經越來越受到業界的系統開發者和用戶群體的高度重視與青睞。雖然如此，卻仍需看到，聲音本身具有易變性，而且也容易受到身體狀況、年齡、情緒等因素影響，以及環境噪音干擾等，因此現如今的聲紋識別大多情況下還僅是應用在對身份認證安全性要求不高的場景中。綜上論述演繹后可以推得，如果能夠將上面2種實用性強、特征易獲取、且應用廣泛的生物特征進行融合，就會在相當程度上顯著提升身份識別的適用性、準確性、隱蔽性及安全性，同時還能大幅降低生物識別對環境的依賴度，從而全面滿足用戶在不同目的和環境下的使用需求。

在此基礎上，本文擬將運用卷積神經網絡提取人臉特征，而對聲紋特征的提取則采用了梅爾頻率倒譜系數(MFCC)的方法，并通過加權融合算法將2種特征加以融合，彌補單一模態生物識別技術的不足，使身份認證系統具有更高的安全性和魯棒性。本文則將對此展開如下的研究論述。

1 基于卷積神經網絡的人臉特征提取

目前，基于深度模型的卷積網絡憑借其局部連接和權值共享的獨特優勢，在計算機視覺領域的研發實踐中占據著舉足輕重的位置。卷積神經網絡本質上是一個前饋神經網絡，通過卷積層和池化層的交替級聯模擬人類視覺皮層中用于高層次特征提取的簡單細胞和復雜細胞交替級聯結構。

卷積神經網絡作為一種深度機器學習模型，通過多次訓練數據學習得到特征提取參數[9]，一方面通過神經元的非全連接方式、即稀疏性連接方式，將相鄰每層的神經元節點僅和與其相近的上一層神經元節點鏈接，有效地減少了神經網絡中的參數規模；另一方面，通過權值共享方式降低了網絡復雜度，減少了網絡參數。

卷積神經網絡特征提取的核心模塊包括隱含的卷積層和池化采樣層，采用梯度下降算法對網絡中的權重參數逐層反向調節，并通過設置迭代次數反復訓練網絡參數以提高網絡精度。其中，卷積層與池化采樣層是交替連接的。最高層是2個全連接層，首個全連接層的輸入是由卷積層和池化層進行特征提取得到的特征圖像，最后一層全連接則是對圖像進行分類。

卷積神經網絡的結構包括：卷積層、池化層和全連接層，每一層包含多個特征圖，每個特征圖將利用過濾器(卷積核)提取特征。具體來說，在卷積層中，進行卷積計算可以提取輸入數據的高層次特征，從而增強原始數據的特征，并且還能夠達到科學降低噪音的效果。池化層通過最大池化或平均池化對圖像進行下采樣，這樣可以減少模型的計算量，還能抵抗輸入的輕微形變或位移，使圖像具有旋轉不變性；而當找到某個特征后，只需要知道該特征與其它特征的相對位置而無需確認其詳細位置就可以對圖像進行識別。卷積層和池化層是圖像特征提取的過程，最后將通過全連接層完成分類任務(全連接層與BP神經網絡一樣)。

利用卷積神經網絡通過逐層卷積降維提取人臉特征，并經由多層非線性映射，從原始樣本(未經處理的樣本)中歷經多次迭代訓練，自動學習修正模型參數并形成相應的特征提取器，這樣就能夠降低模型對訓練樣本的要求。而且，當網絡的層數越多，學習得到的樣本全局特征也就越多。更進一步地，通過卷積和池化計算得到的圖像特征也不容易產生過擬合。

2 聲紋特征提取

聲紋特征提取采用梅爾頻率倒譜系數(MFCC)，即使因其能夠很好地表達人耳對語音的感知，故而這里將通過構建Mel三角濾波器組來模擬人耳的聽覺特性，以提高語音識別系統的識別率和魯棒性。MFCC提取過程可闡釋如下。

(1)預加重。將采集到的語音信息送入一個高通濾波器，即：H(Z)=1-μz-1。其中，μ表示預加重系數，取值范圍為0.9～1。經過預加重處理后，語音信號中的高頻部分得以增強。

(2)分幀。考慮到語音信號在短時間內平穩的特點，就可將其以每幀20～30 ms的時間進行分段截取。同時，為了切實保證幀與幀之間的連續性，還需要在分幀時加入一個幀移，即在2幀之間設置一個重疊區域。

(3)加窗。通常使用漢明窗(Hamming Window)，用于降低語音幀的邊緣效應，增加語音幀左端和右端的連續性。

(4)快速傅里葉變換(FFT)。將語音信號從時域上轉換到頻域上進行表示，通過觀察頻譜圖，了解能量分布狀況，有利于更好地觀察其特性。

(5)三角帶通濾波器。將語音頻譜通過一組Mel尺度的三角形濾波器組，使頻譜平滑化，并避免諧波的影響，突顯原始語音的共振峰。不僅如此，還可以降低整體運算量。

(6)對數能量計算。將(5)中的每個濾波器組的輸出進行對數運算，得到對數能量譜。

(7)離散余弦變換(DCT)。通過DCT變換得到MFCC系數，使語音信號從頻域轉化至時域，從而可以得到MFCC特征。

(8)動態差分參數的提取。語音信號除了MFCC反映的靜態特征外，還包含動態特性，而語音的動態特性則可以用靜態特征的差分譜做出描述，常用一階差分和二階差分來反映語音信號的動態特征。

3 特征的加權融合算法

人臉特征提取和聲紋特征提取是2個相對獨立的過程，特征提取方法不同，且屬于不同的生物模態，因此這2種特征在融合之前，需要引入歸一化處理，就是將這2種特征的特征向量處于同一范圍，有助于對其進行后續的綜合性分析。該部分研究內容可探討分述如下。

3.1 歸一化方法

本文采用z-score歸一化方法[10]，方法中將基于原數據的均值和標準差進行標準化，數學公式如下：

(1)

其中，x是由人臉(聲紋)的特征向量組成的矩陣；μ為矩陣的均值；xnew為歸一化后的新數據。人臉特征和聲紋特征在經過了歸一化處理后，就將會整合統一到一個一致區間中。文中在此之后，將給出這2種特征的融合研究過程。

3.2 融合算法

本文采用遍歷加權方法進行人臉特征和聲紋特征的融合[2]，通過比較每一組權值的識別率大小確定權值。人臉和聲紋的權值之和始終為1，并且只在0.1～0.9之間變化，步長為0.1，如式(2)所示：

wf+ws=1wf=0.1,0.2,…,0.9

(2)

其中，wf表示人臉的權值，ws表示聲紋的權值。聲紋特征向量的權值與人臉特征向量的權值是成反向變化的，即當人臉特征向量的權值從0.1～0.9之間變化時，聲紋特征向量從0.9到0.1變化，并且當人臉特征向量選定一個權值α時，所有類別的人臉特征權值都為α，而所有聲紋特征的權值為1-α。當所有特征權值經過0.1～0.9變化后，需要計算每個權值的識別率，研究推得其數學表述如下：

(3)

其中，R表示系統識別率；L和F分別表示合法用戶和違法者嘗試的總次數；LR和FR分別表示錯誤拒絕和錯誤接收的次數。從中選擇使R最大的權值，視作最佳組合的權值，并作為人臉和聲紋加權后的最終權值。

在此基礎上，研究將利用卷積神經網絡中的全連接層進行最后的特征分類判別。

4 結束語

本文針對單模態生物特征穩定性差等缺陷，提出了將人臉特征與聲紋特征2種生物特征融合的方法。采用卷積神經網絡來提取人臉特征，聲紋特征提取采用的是MFCC的方法，而后再經過z-score方法將2種特征予以歸一化處理，接下來又采用遍歷加權的方法對2種特征進行融合，融合之后通過卷積神經網絡中的全連接層實現最終的特征分類判別。