基于神經網絡與全同態加密的多生物特征融合安全認證方案

林雨康，劉云皓，王文麗

（西藏民族大學 信息工程學院，陜西咸陽，712082）

同態加密技術的提出和發展為實現生物特征的安全認證提供了新思路，基于同態加密的生物特征加密域匹配技術成為研究的熱點。賀康等人[1]提出了一種基于Fingercode 和同態加密的指紋安全認證方案，用于解決開放網絡中指紋身份認證時的隱私保護問題。吳俊青等人[2]提出一種基于深度學習和加密算法的人臉安全認證方案，在不影響人臉識別準確率、效率的前提下提高了安全性。目前大多生物特征認證方案采用單一生物特征進行身份認證，這缺乏足夠的準確性，并且容易受到欺騙攻擊。因此，在上述研究工作的基礎上，本文基于Triplet 神經網絡和CKKS 全同態加密算法，結合用戶的人臉、指紋和虹膜信息，設計了一種多生物特征融合安全認證方案。

1 基礎理論

1.1 Triplet 神經網絡

Triplet 網絡是一種用于度量學習的監督模型，能夠度量數據樣本之間的相似度，由Siamese 網絡[3]擴展得到。通過引入三元組的概念，Triplet網絡利用三個樣本組成一個訓練組，在這三個樣本中，一個被稱為基準樣本（Anchor），另兩個分別被稱為正樣本（Positive）和負樣本（Negative），如圖1 所示，從而解決了Siamese 網絡在處理多類別小樣本數據集時的訓練困難問題。Triplet網絡的優化目標是要讓屬于同一個人的特征向量盡可能地“近”，而與其他人的特征向量盡可能地“遠”，其中起到關鍵作用的是損失函數Triplet Loss[4]。訓練完畢后，只需保留模型的特征提取能力，即可有效提取出生物特征模板，而后實現身份認證等應用。

圖1 Triplet 神經網絡框架

1.2 CKKS 全同態加密算法

CKKS 算法[5]于2017 年由Cheon 等人提出，是一種支持浮點數進行近似值計算的全同態加密算法，其安全性依賴于RLWE 困難問題假設[6]。與以往的算法不同，CKKS 的加密對象不局限于整數，還可以支持對實數和復數進行加密。此外，CKKS 允許誤差，放寬了對準確性的限制，因此計算效率也有了很大提升。CKKS 算法的整體流程如圖2 所示，首先由消息編碼成明文，其次加密成密文，接著進行同態計算，最后解密和解碼成消息。CKKS 算法能夠實現生物特征模板的加密域匹配，保證在外包給云服務器進行距離計算時不會泄露用戶的隱私數據，從而在客戶端與云服務器之間進行安全認證。

圖2 CKKS 全同態加密算法流程圖

2 方案設計

本文中的方案采用客戶端—云服務器模型，并且假定客戶端是可信的，云服務器是誠實且好奇的，客戶端與云服務器之間通過公共信道傳輸數據。本方案融合了人臉、指紋和虹膜三種生物特征，借助Triplet 神經網絡訓練融合特征模板提取器，同時使用CKKS 全同態加密算法進行特征模板加密域匹配，從而實現多生物特征融合安全認證。

2.1 融合特征模板提取

殘差網絡（ResNet）[7]通過引入殘差連接，解決了深度神經網絡的退化問題，提高了模型的準確率和收斂速度，能夠從原始圖像數據中自動學習到良好的特征表示，實現端到端的訓練，因此使用ResNet50 作為特征提取網絡，使用簡單的全連接網絡（FCNN）作為特征融合網絡，整體結構如圖3 所示，輸入為經過預處理成像素的一組生物特征圖像，輸出為128 維的實值融合特征模板。

圖3 融合特征模板提取網絡結構

本節采用Triplet 網絡框架訓練融合特征模板提取器，主要包括特征提取和融合兩部分。首先，分別導入人臉、指紋以及虹膜數據集，訓練各自的ResNet50 模型，采用Triplet Loss 損失函數，參見公式(1)。其中，、和分別表示基準樣本、正樣本和負樣本，f(x)2表示L2 范數。接著，將三組ResNet50 模型的參數全部凍結，只訓練后面的特征融合網絡FCNN，同樣采用Triplet Loss 損失函數。訓練完畢后，將整個網絡作為融合特征模板提取器，每一組人臉、指紋和虹膜都會生成一個128 維的融合特征模板。

2.2 特征模板加密域匹配

由于本方案中假定云服務器是誠實且好奇的，不能保證用戶生物特征數據的安全，因此模板匹配需要在加密域中進行。特征模板的相似性采用歐氏平方距離度量，當云服務器收到待認證的特征模板密文T_enc*后，需要對該密文與數據庫中已注冊的全部密文T_enc1,T_enc2,… ,T_encN進行歐氏平方距離的同態計算。具體步驟如下：

(1)執行差平方計算。參見公式(2)，計算得到R_enci，i=1,2,… ,N。其中，?表示同態減法，?表示同態乘法，Enc表示用公鑰進行同態加密。

(2)向量內元素求和。CKKS 算法采用了SIMD 技術[8]，無法在加密域中操作向量內的單個元素。通過重復執行旋轉和加法計算進行向量內元素的求和，參見公式(3)，計算得到D_enci，i=1,2,… ,N。其中，⊕表示同態加法，Rotate表示旋轉操作。

(3)清除冗余元素。可以看到，D_enci對應的明文向量中，各個元素是相同的，為了減少客戶端與云服務器之間的通信量，僅保留D_enci對應明文向量中的第(i-1)mod128 + 1個元素，其它冗余元素通過與0 相乘的方式清除，然后對密文進行相加合并，計算得到S_enci，i=1,2,… ,n。其中，n=N/128。密文S_enci中包含全部歐氏平方距離，將其傳回客戶端進行解密即可得到認證結果。

2.3 注冊階段

注冊階段流程如圖4 所示，該階段包括圖像預處理、模板提取、模板加密和模板存儲四部分，具體步驟如下：

圖4 注冊階段流程圖

(1)客戶端通過智能傳感器采集到同一用戶的人臉、指紋和虹膜信息，經過預處理得到大小為224 ×224像素的生物特征圖像1P，2P，3P。

(2)將圖像P1，P2，P3加載到融合特征模板提取器中，生成128 維的實值融合特征模板T=[t1,t2,… ,t128]。

(3)應用CKKS 算法，由密鑰管理中心提供公鑰，對模板T進行全同態加密，生成特征模板密文T_enc。

(4)客戶端通過公共信道將模板密文T_enc傳給云服務器，存儲到特征模板數據庫中，完成注冊。

2.4 認證階段

認證階段流程如圖5 所示，該階段包括圖像預處理、模板提取、模板加密、模板匹配和相似度解密五部分，具體步驟如下：

圖5 認證階段流程圖

(1)客戶端通過智能傳感器采集到同一用戶的人臉、指紋和虹膜信息，經過預處理得到大小為224 ×224像素的生物特征圖像

(3)應用CKKS 算法，由密鑰管理中心提供公鑰，對模板T*進行全同態加密，生成特征模板密文T_enc*。

(4)客戶端通過公共信道將模板密文T_enc*以及公鑰傳給云服務器，將該密文與特征模板數據庫中的各個模板T_enc1,T_enc2,… ,T_encN分別進行歐氏平方距離的同態計算，得到相似度密文S_enc1,S_enc2,…,S_encn。

(5)云服務器通過公共信道將相似度密文S_enc1,S_enc2,… ,S_encn傳給客戶端，由密鑰管理中心提供私鑰，解密后執行向量拼接操作，獲得相似度向量S=[s1,s2,…,sN]。在S中查找最小值smin，將其與預設閾值進行比對，得到認證結果，完成認證。

3 仿真實驗及分析

本實驗使用的深度學習框架為PyTorch，在NVIDIA GeForce RTX 3090 GPU 上運行。操作系統為Windows 10 專業版，內存為16GB，編譯環境為Anaconda 3，Python 3.7.15。用于訓練模型的數據集分別為CASIA-WebFace[9]、NIST DB10[10]和CASIA-Iris-Thousand[11]，使用的全同態加密庫為TenSEAL 0.3.14。

3.1 效率分析

在明文和密文狀態下進行生物特征認證的用時情況如表1 所示。可以看到，由于同態加密在保證安全性的同時帶來了一定的計算開銷，在密文狀態下進行認證的用時約為明文狀態的7.98 倍。此外，文獻[12~14]分別給出了針對人臉、指紋和虹膜的單一生物特征安全認證方案，其用時明顯高于本文方案，這是因為本文方案實現了特征級別的融合，并且采用具備SIMD 技術的CKKS 算法，支持并行計算，從而提高了計算效率。

表1 認證用時情況對比

3.2 準確性分析

為驗證本文方案在融合不同生物特征時是否能夠有效地綜合利用各種特征的信息，本節測試了單一生物特征認證以及簡單決策級別融合認證的準確率進行對比，如表2 所示。可以看到，由于決策級別融合僅僅是對單一特征認證的決策結果進行融合，沒有表征出更多的信息，準確率反而不如單一生物特征認證方案。與之相比，本文方案實現了特征級別融合，能夠有效地協同多種生物特征的信息，而不僅僅是融合最終的認證決策，因此可以提供準確率更高的身份認證服務。

表2 認證準確率對比

3.3 安全性分析

本文提出的多生物特征融合安全認證方案采用了CKKS全同態加密，能夠保證用戶生物特征數據的隱私性以及認證結果的機密性。具體分析如下：

(1)客戶端與云服務器之間傳輸的數據均為密文狀態，即使中間信道被攻擊者監聽并竊取數據，也無法獲得明文狀態的生物特征模板和相似度向量。

(2)云服務器數據庫中存儲的特征模板均為密文狀態，即使云服務器遭到拖庫攻擊導致密文注冊模板泄露，攻擊者也無法推測出原始生物特征模板。

(3)云服務器上的模板匹配始終以密文狀態進行，同態計算得到的相似度同樣是密文狀態，云服務器無法獲知認證結果，從而無法窺探用戶的行為隱私。

4 結論

本文提出了一種多生物特征融合安全認證方案，實現了對用戶的人臉、指紋和虹膜信息綜合認證。Triplet 神經網絡用于訓練融合特征模板提取器，能夠很好地適應生物特征的復雜性，模型泛化能力強，認證準確率高。CKKS 全同態加密算法用于特征模板加密域匹配，始終以密文狀態對生物特征模板進行傳輸、存儲和計算，不會泄露用戶的隱私數據，認證效率高。本方案解決了將生物特征數據及其計算委托給第三方云服務器的安全問題，在保證生物特征模板機密性的基礎上為用戶提供了高效、可靠的身份認證服務，在金融、醫療、物聯網等領域具有廣泛的應用前景。