基于ECAPA-TDNN模型的聲紋識別系統設計

摘 要：針對傳統人臉識別存在隱私數據泄露、違法采集、侵犯肖像權等問題，設計了一種基于ECAPA-TDNN模型的聲紋識別身份驗證系統。該系統主要包括待驗證音頻采集、語音信號預處理、音頻特征提取等功能。系統平臺基于Python語言和Vue.js（漸進式JavaScript框架）搭建，利用麥克風設備對待驗證音頻進行采集，隨后對語音信號進行降噪、濾波等預處理操作。接著，經預處理后的語音信號數據通過ECAPA-TDNN模型進行音頻信號特征提取，從而得到多尺度的嵌入式特征向量數據，再將這些數據上傳至云端，與已注冊的聲紋數據庫中的數據進行1∶n的特征對比，最終確定該聲紋所屬人的身份信息。測試結果表明，該系統具有較高的穩定性和實用性，可以在中老年人身份驗證困難、電信詐騙頻發等問題的解決上發揮很大的作用。

關鍵詞：ECAPA-TDNN模型；聲紋識別；Vue. js；Python；身份驗證；特征提取

中圖分類號：TP391 文獻標識碼：A 文章編號：2095-1302（2025）07-00-04

0 引 言

隨著數字技術的發展，人臉識別已經應用于車站、小區、公司、酒店等多個領域。人臉識別作為一項新興技術，在創造經濟價值的同時，也面臨著巨大的社會風險。近年來，人臉識別使用場合增多，相關爭論也甚囂塵上，主要焦點集中在隱私數據泄露、違法采集、侵犯肖像權等問題上[1-2]。指紋識別技術出現較早，易受指紋磨損、手部潮濕、不潔等因素影響，可能導致無法識別或識別效率降低，而且指紋較易造假和偽裝，存在安全風險。聲紋識別是一種新興的生物特征識別技術，它利用個體獨特的聲音特征進行身份驗證和識別，具有不可偽造性和便利性等優勢。因此，聲紋識別系統保密性高，不涉及人體外部特征。因此，它不僅在安全領域具有重要作用，在金融、司法、醫療等領域也展現出廣闊的應用前景[3-4]。

1 系統設計

本文主要設計了三個模塊：聲紋注冊模塊、聲紋識別模塊、聲紋庫安全模塊。聲紋注冊模塊：用戶注冊賬戶后可上傳個人聲紋，并且可以將聲紋信息與身份信息（如身份證號、聯系方式等）綁定，存入聲紋數據庫，從而完成注冊。聲紋識別模塊：該模塊在對音頻進行預處理后提取聲紋特征數據，這些特征包括聲音的頻率、振幅、嗓音純度、平均音高、音域等，再將提取到的聲紋特征數據與數據庫中的聲紋數據進行對比，最終確定說話人身份。聲紋庫安全模塊：會對用戶身份進行多重驗證和鑒定，對聲紋庫進行權限控制，只允許用戶執行合法操作，同時設置管理員賬戶，保障注冊用戶信息安全。系統總體流程如圖1所示。

2 聲紋識別模塊設計

2.1 模型設計

ECAPA-TDNN是一種基于時間延遲神經網絡的聲紋識別模型[5]，模型結構如圖2所示。該模型的參數包含T（音框數目）、C（卷積通道數）、K（卷積核大小）、d（空洞卷積擴張率）和S（說話人數目）。模型主要分為三個模塊：SE-Res2Block（Res2Net Block + SE Block）模塊、Multi-Layer Feature Aggregation and Summation模塊（多層特征聚合和求和模塊）和Attentive Statistic Pooling模塊。在本文中，T被設定為300個窗口（frame）的固定值， C為512， S為5 994 （使用VoxCeleb2數據集開發）。首先，輸入25 ms窗口的80維MFCCs，通過倒譜均值減法對MFCCs特征向量的兩次隨機裁剪進行歸一化；之后與T相乘，再經過Conv1D+ReLU+ BN層處理后輸出一個四維張量；接著，通過三層一維的Res2Block（SE-Res2Block）模塊進行擠壓激勵，這三層模塊的空洞擴張率分別為k=2， 3， 4。然后，通過Conv1D+ReLU層將不同擴張率的SE-Res2Block的輸出特征映射串聯起來，進行多層特征聚合（MFA）以生成用于仔細統計池化的特征，再經過Attentive Statistic Pooling（ASP）層聚合和池化，此時全連接層中的節點數為192，采用 AAM-Softmax算法增強相同類別之間的緊湊性。最后利用嵌入式向量之間的余弦距離生成試驗分數，并使用自適應s-范數對所有分數進行歸一化以輸出結果。

文獻[6]提出了一種基于ECAPA-TDNN網絡改進的說話人確認方法。該方法在原有的ECAPA-TDNN模型基礎上進行了改進，提升了模型的性能，實驗數據對比見表1。在此基礎上，本文對ECAPA-TDNN模型結構做出如下改變：原本模型是將每一個Res2Block的輸出連接起來，再與全連接層連接；本文改為對每一個Res2Block層的輸出進行求和，并使用前面所有的SE-Res2Block和初始卷積層的輸出作為每個幀層塊的輸入，從而減小參數量。

創建數據集后對模型進行訓練，再使用驗證集對訓練好的模型進行測試，并導出測試數據；然后根據結果判定模型性能。在聲紋識別過程中，系統首先會對錄入的聲紋進行預處理，之后通過模型提取并輸出聲紋的嵌入式特征向量數據，然后將其與聲紋庫中的數據進行對比，最終確認說話人的身份信息。聲紋識別模塊流程如圖3所示。

2.2 模型訓練流程

2.2.1 數據集的預處理

本文采用OpenLSR開源的兩個語音語料數據集（CN-Celeb和Primewords Chinese Corpus Set 1），其中包含3 296個人的語音數據。對數據集進行下列操作：

（1）數據清洗（data cleaning）：使用Python工具通過分箱和回歸的方式對音頻數據進行處理，以降低或消除噪音。

（2）數據轉換（data transformation）：將數據文本轉換為WAW格式，更適合進行分析和模型訓練。

（3）數據整合（data integration）：將兩個數據集的數據整理、清洗、轉換格式后加載為新的數據源，作為一個新的數據集進行模型訓練。

（4）數據增強（data reduction）：利用RLS自適應算法對數據進行前端處理[7]，以增強語音數據的可讀性。

2.2.2 模型訓練

模型的訓練采用triangular2策略和Adam優化器，以10-8～10-3之間的周期學習率開展。每個周期持續130 000次迭代，共4個周期。此外，在訓練過程中參考文獻[8]中的模型訓練方式進行訓練日志記錄，方便之后查看數據。

2.2.3 模型評估

將數據集按照8∶2的比例劃分為訓練集和校驗集。訓練結束后導出預測模型，集中對預測模型進行校驗集校驗，校驗時從校驗集加載數據。在數據通過校驗集加載器時對數據進行預處理，包括添加隨機背景噪聲（如電流聲、說話聲、環境噪聲等）、隨機語速加減（加減0.5倍）、隨機調整音量、隨機裁剪拼接。最后統計模型的準確率并導出數據，通過觀察數據進行梯度運算，直至找到最佳閾值并計算其準確率。

2.2.4 訓練結果

實驗結果表明，在16 kHz、單聲道采樣的標準下，本文訓練得到的模型單個音框平均可提取256個特征點，二次提取的重合特征點平均有248個，平均重合率為96.875%。

3 聲紋注冊模塊設計

用戶輸入賬戶和密碼后登錄系統并完善信息，然后可通過主頁面進行聲紋注冊。當系統判定聲紋特征量足夠時會將其上傳至聲紋庫，從而完成注冊。若是管理員使用管理員賬戶密碼登錄系統，則可執行多種操作，如修改用戶信息、刪除用戶和記錄查詢等操作。修改用戶信息時，系統會先判斷修改的是否為聲紋信息。若是聲紋信息，則可導入新的聲紋數據進行注冊；若不是聲紋信息，則可直接對其他信息進行合法修改。同時，管理員可以查詢聲紋庫訪問記錄并進行權限控制。聲紋注冊模塊流程如圖4所示。

4 聲紋庫安全模塊設計

在聲紋庫安全模塊設計方面，采用哈希算法對密碼進行加密存儲。登錄過程中，系統運用會話管理機制確保用戶身份驗證持續有效，并且使驗證在一定時間后自動過期。同時，合理調整了角色關聯表，只允許用戶執行合法操作。此外，在日志記錄的基礎上增加審計功能，針對一些敏感操作或權限變更進行額外記錄[9-10]。聲紋庫安全模塊運行流程如圖5所示。

5 GUI設計

針對圖形用戶界面，本文采用Vue.js進行GUI開發，共設計了以下四個界面：

（1）主菜單：該界面主要包含三個按鈕，分別對應實時識別、導入識別和聲紋注冊。

實時識別：點擊“實時識別”按鈕后，進入錄音界面，再點擊麥克風便可開始錄音，從而實現對聲紋的錄制和識別，如圖6所示。識別成功后，可查看音頻識別的詳細結果、識別出的說話人身份、音頻的詳細信息、聲紋庫中注冊音頻與當前識別音頻的聲譜對比圖和振幅圖，在右上角可查看聲音相似度和環境噪音程度。

導入識別：點擊“導入識別”按鈕，可以上傳多個音頻文件；點擊“識別”按鈕，在右下角可以看到所有文件夾的識別結果；點擊“查看詳情”，會顯示相關信息或失敗原因。

聲紋注冊：點擊按鈕開始進行聲紋注冊，對于注冊內容，一般建議使用“喚醒詞+常用短語”的形式。如果追求更簡潔的注冊方式，也可以只讀兩次喚醒詞。整體界面設計如圖7所示。

（2）系統登錄界面：該界面包含輸入框和登錄按鈕，如圖8所示。用戶需要填寫用戶名、密碼、手機號碼、手機驗證碼、圖片驗證碼。系統采用手機驗證碼（可隨時開啟該功能）和圖片驗證碼雙重驗證，防止可能出現的惡意攻擊。同時也可以通過手機號碼或者郵箱進行賬戶注冊。登錄成功后跳轉到主菜單。

（3）個人信息管理界面：通過該界面，用戶可以對自己的個人信息進行管理和編輯，包括關聯電話號碼、郵箱、身份證號、指紋等信息，如圖9所示。

（4）管理員界面：該界面包含所有用戶的合法信息，通過管理員賬戶可以訪問該界面，對數據進行可視化合法操作；同時也可以通過該界面對用戶數據進行權限分配、數據備份等操作，如圖10所示。

6 結 語

本文以基于ECAPA-TDNN網絡改進的說話人確認方法作為核心模型算法來提取語音信號特征向量，進而設計了一種高性能聲紋識別系統。實際測試表明，該平臺功能完善，能夠解決現階段中老年人辦理業務時身份識別困難的問題；同時，該系統兼容性強，可拓展應用于電信詐騙犯罪分子身份確認[11]和警用聲紋識別移動端設備的開發。它具有重要的實際意義和廣闊的應用前景，有望成為未來銀行、社區、公安系統等場景下身份鑒定的重要工具之一。

注：本文通訊作者為李建鑫。

參考文獻

[1]孫康.權力框架下的面部識別技術：風險與規制的學理分析[J].中國海洋大學學報（社會科學版），2023（1）：81-93.

[2]汪寧.“人臉識別”中個人信息存在的風險和保護分析[J].文化學刊，2023（7）：152-155.

[3] YU D， VARADARAJAN B， DENG L， et al. Active learning and semi-supervised learning for speech recognition： A unified framework using the global entropy reduction maximization criterion [J]. Computer speech and language， 2010， 24（3）： 433-444.

[4]潘逸倩. 聲紋密碼技術研究[D]. 合肥：中國科學技術大學，2012.

[5] DESPLANQUES B， THIENPONDT J， DEMUYNCK K. ECAPA-TDNN： emphasized channel attention， propagation and aggregation in TDNN based speaker verification [M]// Interspeech. ISCA， 2020.

[6]張家良，張強.基于ECAPA-TDNN網絡改進的說話人確認方法[J].電腦知識與技術，2024，20（1）：25-28.

[7]王正創. 基于MFCC的聲紋識別系統研究[D].無錫：江南大學，2015.

[8]李龍杰，張云鵬，王櫟喜，等.基于樹莓派和聲紋識別算法的課堂考勤系統[J].物聯網技術，2024，14（2）：72-75.

[9]彭智勇，高云君，李國良，等.面向多模態數據的新型數據庫技術專題前言[J].軟件學報，2024，35（3）：1049-1050.

[10]盧達聰，唐翔，李剛.基于高速公路安全的基礎信息數據庫設計[J].內蒙古公路與運輸，2023（5）：46-51.

[11]李昊霖，吳苑菲.基于聲紋識別技術精準打擊電信網絡詐騙犯罪研究[J].網絡安全技術與應用，2023（5）：141-144.

收稿日期：2024-05-10 修回日期：2024-06-13

基金項目：河南省高等學校大學生創新訓練計劃項目：高性能聲紋識別平臺（202311070015）

作者簡介：梁少銘（2002—），男，研究方向為人工智能。

李建鑫（2003—），男，研究方向為深度學習。