鄭榕 孟凡芹 王志宣

1. 北京遠鑒信息技術有限公司研究院 2. 公安部第一研究所 3. 多維身份識別與可信認證技術國家工程研究中心

引言

人工智能生成內容（Artificial Intelligence Generated Content，AIGC）正在快速興起，通過人工智能算法對數據或內容進行生產和編輯，重塑數字內容的生產和消費模式[1]。語音是人機交互的的主要接口，伴隨著人工智能技術的興起和新設備不斷推出，得到了快速發展，其中一些只能通過語音命令或聲音交互進行操作，這為黑客或破壞者提供了攻擊的機會，特別是涉及語音欺詐或者深度合成（Deep Synthesis）語音方面[2]，達到以假亂真的程度，輕松實現變聲、聲音克隆等。技術濫用后很可能使得偽造生成內容通過互聯網和電信網廣泛傳播，造成虛假身份、虛假信息、違法違規內容流出或傳播，給檢測、追溯、監管等造成嚴重困難。

隨著深度學習技術的發展，典型人機交互系統例如聲紋識別系統、語音控制系統等，在走向實際應用的過程中易受語音欺騙的攻擊[3]。語音欺騙攻擊利用各種算法生成與特定說話人或特定內容盡可能相似的語音，包括語音合成、聲音轉換、錄音重放、語音拼接和對抗樣本等形式。

語音欺騙主要可分為物理訪問（Physical Access）攻擊和邏輯訪問（Logical Access）攻擊。物理攻擊通常經過了聲音采集環節，通過APP、HTML5頁面等形式，例如錄音重放。邏輯攻擊通常是通過調用SDK/API、服務接口完成攻擊，例如語音合成、聲音轉換、聲音克隆等。實際應用中需要鑒別各種來源音頻或視頻中音軌數據的真偽，包括來自互聯網和電信網等復雜多樣的音頻數據。音頻鑒偽是將音頻數據輸送到自動音頻鑒偽系統中，通過系統輸出的相似度判決是否為偽造音頻。本文結合音頻鑒偽檢測典型系統和技術發展歷程，開展了音頻鑒偽檢測與防御技術研究，旨在提升實際應用場景中音頻鑒偽檢測的通用性和泛化能力。

一、音頻鑒偽檢測與攻防對抗

（一）典型系統

典型的音頻鑒偽檢測技術需支持傳統偽造音頻以及深度合成音頻的檢測，如音頻增刪拼接偽造、語音身份風格偽造、音色偽造、韻律偽造和聲音轉換等各種類型的偽造音頻[4]。鑒偽檢測系統流程如圖1所示。

訓練階段：把真實音頻和偽造音頻的波形或特征輸入分類網絡或分類器，例如門控循環單元（Gated Recurrent Unit，GRU）或者輕量級卷積神經網絡（Light Convolutional Neural Network，LCNN）等，迭代訓練網絡，最后得到真實音頻和偽造音頻的分類模型。非端到端分類網絡中通常前置音頻特征提取模塊。

檢測階段：把待測音頻的波形或特征輸入到鑒偽檢測模型，計算相似度并與預設閾值進行比較，得到檢測判決結果。

聲音模仿和錄音重放，實現成本較低，通過簡單的錄音設備即可實現。利用開源算法工具，語音合成和聲音轉換的偽造門檻不斷降低。攻防技術手段不斷升級，偽造攻擊可以是單點攻擊但是檢測防御需要做到線防御或面防御。隨著變分自編碼器、生成對抗網絡、流模型、擴散模型等技術的發展，攻擊技術手段不斷提升，例如聲音轉換逐漸朝著小樣本、輕量化、多對多轉換的技術路線發展。語音合成逐步提升韻律音色合成的穩定性、個性化和表現力。錄音重放基于各種新推出的采集設備、播放設備、錄音設備，以及錄放過程中引入的各種環境噪聲。

隨著錄音設備質量的提高和語音合成、聲音轉換等語音智能處理技術的發展，特別是深度合成技術的深入應用，真實音頻與人工生成后的音頻將越來越難以區分，給語音防欺騙檢測和自動聲紋識別系統的安全性帶來嚴峻的挑戰。當前技術應用主要存在以下幾方面的局限性：

攻防對抗頻繁：鑒別技術提出之后會有針對該鑒別技術的對抗方式出現，攻防對抗非常頻繁。

泛化能力不足：通常鑒偽技術只針對特定生成模型，對未見場景或者遷移后的性能下降明顯，比如在跨域跨場景或多種數據來源的數據場景中性能下降，實際應用中會遇到長尾分布問題導致效果不佳，這些問題均要求檢測模型具備更好的泛化能力和通用性。

深度學習效果有待提升：通常方法是先將原始音頻數據預處理成特征，再把特征輸入神經網絡。神經網絡和其他模塊分別訓練以提升整體模型的效果，由于各個模塊的最優解結合后并不一定是全局最優，因此深度學習的效果發揮還不夠充分。

音頻鑒偽攻防對抗中，進一步研究真實音頻與偽造音頻之間差異性及有效解釋，應對復雜多樣音頻鑒偽的通用能力，提升基于深度學習的檢測防御能力，特別是端到端音頻鑒偽系統性能、多系統融合鑒偽等方面，受到越來越多的重視。

（二）發展歷程

國際上對語音防欺騙這一問題持續關注，并從2015年至2021年連續舉辦了四屆聲紋防攻擊挑戰賽（Automatic Speaker Verification and Spoofing Countermeasures Challenge，ASVspoof）[5]。最早關注合成轉換類攻擊，然后是錄音重放攻擊，最近一屆挑戰賽細分為合成轉換賽道、錄音重放賽道和深偽賽道。挑戰賽的舉辦極大地推動了語音防欺騙技術的進步。國內外研究單位聯合在語音領域會議ICASSP2022上舉辦首屆語音深度合成鑒別挑戰賽（Audio Deep Synthesis Detection Challenge，ADD2022）[6]，推動研究人員提出具有創新性的算法，促進音頻鑒偽領域的技術發展。語音領域會議INTERSPEECH2022上舉辦了首屆欺騙感知聲紋確認挑戰賽（Spoofing-Aware Speaker Verification Challenge，SASV2022）[7]，旨在促進聯合優化解決方案的研究，以完成傳統上分別優化的音頻鑒偽和聲紋識別任務。

?

二、音頻鑒偽技術路線

當前音頻鑒偽主要可分為特征工程和深度學習兩種技術路線。特征工程是提取多種頻譜特征或對頻譜提取器的改進，例如梅爾倒譜、線性倒譜等濾波器組頻譜，屬于根據專家知識設計的濾波器組。深度學習技術思路一方面可用于改進特征提取，例如基于深度神經網絡的濾波器提取器優化訓練等；另一方面，可用于直接訓練真實和各種類型偽造音頻的分類器。

（一）特征工程

1. 特征提取

音頻鑒偽檢測任務中，特征提取是非常重要的環節。特征工程技術路線可提取梅爾倒譜系數特征（Mel-Frequency Cepstral Coefficient，MFCC）、線性倒譜系數（Linear Frequency Cepstral Coefficients，LFCC）、逆梅爾倒譜系數特征（Inverted Mel-Frequency Cepstral Coefficient，IMFCC）、短時傅里葉變換（Short-Time Fourier Transform，STFT）聲譜圖特征、恒定Q倒譜系數特征（Constant Q Cepstral Coefficient，CQCC）、伽馬通（GammaTone）聽覺濾波器組頻譜等。當前主要是兩種形式，一種是常見的倒譜系數提取，在濾波器組設計方面，依據專家知識設計或者基于深度學習訓練得到。另一種是引入音樂分析的恒定Q倒譜系數提取。參數Q描述濾波器之間的分離程度，人類聽覺系統在500Hz到20000Hz的頻帶內Q不變。由于恒定Q變換獲取的幾何分布的能量譜，需轉成離散余弦變換要求的頻率上的線性分布再提取倒譜特征，因此增加均勻重采樣環節。

上述兩種特征提取方法中，均通過設置較多的濾波器組和較高的倒譜系數獲取更好的分辨能力，增強對高頻信息的刻畫能力。同時，增加一階和二階差分倒譜系數，增強對動態信息的刻畫能力。

2. 分類模型

特征提取之后，需要具有分類性能出色的后端分類模型對聲學特征進行建模，當前主流的兩類方法：

基于傳統機器學習的檢測方法，主要包括生成式模型和判別式模型兩種技術路線，例如生成式模型中的高斯混合模型分類器、判別式模型中的支持向量機分類器。

基于深度學習的檢測方法，例如基于卷積神經網絡（Convolutional Neural Network，CNN）、循環神經網絡（Recurrent Neural Network，RNN）、卷積循環神經網絡（Convolutional Recurrent Neural Network，CRNN）以及上述網絡結構的衍生算法，例如基于長短期記憶（Long Short-Term Memory，LSTM）、殘差網絡（ResNet）和變形器（Transformer）的音頻鑒偽網絡。

音頻鑒偽任務中，通常采用真偽二分類模型。而如果將音頻鑒偽看作是異常檢測或者類別極度不平衡的分類任務，研究人員也提出了單分類（One-Class）模型。單分類問題不是將不同標簽的數據區分開來，而是對單個類別的數據表征在樣本空間中進行區域輪廓描述，當某個音頻表征落在這個區域外，判定該音頻不屬于目標類別。

（二）深度學習

1. 非端到端網絡

非端到端網絡中各模塊按照一定的規則與其他模塊相互聯系而構成更加復雜的系統，例如音頻鑒偽技術中的混合網絡（Hybrid Network）或管路網絡（Pipeline Network）。輕量級卷積神經網絡LCNN鑒偽是非端到端網絡的典型代表[8]。

LCNN音頻鑒偽技術采用輕量級卷積神經網絡和最大特征映射（Max Feature Map，MFM）激活模塊。最大特征映射改進了通常的池化方式，通過激活卷積層特征圖的最大值獲取更多富有競爭力的節點，實現特征選擇并加速生成稀疏連接，使得卷積神經網絡可獲得更緊湊的表征。同時，最大特征映射局部特征選擇利用競爭關系而非閾值來激活神經元，在跨域條件下有更好的泛化能力。基于輕量級卷積神經網絡的鑒偽研究主要是針對損失函數的選擇和注意力機制學習方面。

2. 端到端網絡

（1）RawNet系列網絡

RawNet是一種原始信息卷積神經網絡架構，最早用于聲紋識別任務。RawNet網絡可輸出語音嵌入表征。第一個卷積層直接應用于原始語音波形，所有濾波器參數自動學習。在較高層中提取幀級表示的殘差塊，殘差塊使用跳轉連接，使訓練更深的分類器能夠利用更多區分信息。

RawNet2結合了原始RawNet方法和正弦網絡（SincNet）的優點[9]。RawNet2的第一層與SincNet基本相同，而上層由與RawNet相同的殘差塊和門控循環單元層組成。RawNet2使用基于殘差塊輸出激活函數的特征圖縮放（Feature Map Scaling，FMS）。FMS注意力機制獲得更具辨別力的表征。

RawNet3網絡是基于RawNet2和ECAPA-TDNN網絡的改進。ECAPA-TDNN通過引入擠壓激勵（Squeeze-Excitation，SE）模塊以及通道注意機制，在國際聲紋識別比賽VoxSRC2020中取得了第一名的成績，并已成為聲紋識別的主流框架之一。RawNet3對原始波形應用預加重并通過實例歸一化（Instance Normalization）層，輸出使用參數化的分析濾波器組的時頻域表示。該層是RawNet2中正弦卷積層（Sinc-Convolutional Layer）的擴展，即由實值參數化濾波器組變為復數值參數化濾波器組。RawNet3每個主干塊稱為AFMS-Res2MP，基于Res2Net網絡結構得到，這里Res2Net是在單個殘差塊內構造分層的殘差連接而構建的CNN結構，在粒度級別上表示了多尺度特征，增加了每層的感受野。AFMS是RawNet2的特征圖縮放模塊的擴展。

（2）圖卷積注意力網絡

基于圖注意力網絡（Graph Attention Network，GAT）的音頻鑒偽系統RawGAT，如圖4所示。包含頻域和時域圖注意力網絡，能夠學習跨越不同子帶和時間間隔的線索之間的關系，使用頻譜和時間的模型級圖融合子圖和圖池化（Graph Pooling）策略以提高真假音頻的區分度[10]。該網絡模型結構實現了端到端的高層語義特征表征，在頻域-時域注意力機制基礎上增加了圖注意力模塊，采用了圖池化層用于區分性節點選擇，并最終實現模型級別的融合音頻鑒偽檢測。

在RawGAT方法基礎上，進一步提出了AASIST（Audio Anti-Spoofing using Integrated Spectro-Temporal GAT）鑒偽檢測模型[11]。AASIST使用了各向異性堆疊圖注意層（Heterogeneous Stacking Graph Attention Layer，HSGAL）、競爭性最大圖操作（Max Graph Operation，MGO）和擴展讀出策略，取得了性能上的大幅度提升。

（三）數據增強

為了應對實際環境中音頻鑒偽檢測性能下降問題，提升系統魯棒性和泛化能力，通常采用數據增強的方法。根據處理方式不同，數據增強可分為在線數據增強和離線數據增強。離線數據增強就是一次性把數據讀入并擴增后存儲，再用這個擴增后的數據集進行訓練，適用于較小的數據集。在線數據增強就是在每個訓練周期或批次前，對數據集進行加噪聲、加混響等操作。

當前數據增強方法存在一定的局限性，例如，離線數據增強需要先對語音和噪聲/混響數據進行加噪，生成大量數據存儲并在訓練過程中讀取，對存儲和磁盤I/O要求高。在線方式的數據增強，雖然節省了磁盤空間，但需要對數據重復加噪聲或混響等擾動，極大地增加了訓練時間。

1. 面向復雜多樣音頻場景的數據增強

實際場景中音頻來源和音頻特性復雜多樣，會受到話音傳輸干擾、網絡特性干擾和采集設備干擾。傳輸干擾包括基于IP的語音傳輸（VoIP）、公共交換電話網絡（PSTN）等影響；網絡特性干擾包括編解碼、網絡丟包丟幀、碼率變化等；編碼譯碼器（Codec）干擾包括非線性失真、語譜缺失等。針對上述干擾，音頻增強方式可從以下幾方面進行：

話音傳輸干擾：影響信道響應，針對VoIP、PSTN、衛星通話等信道的話音數據，采用G.722、G.729、amr等音頻格式的轉換。

網絡特性干擾：針對有損編解碼，采用FFmpeg或SoX軟件工具，實現多種網絡音頻格式的互相轉換，例如mp3、aac、silk、opus等。由于每種格式存在不同碼率的影響，通常隨機選取高中低三種碼率進行數據增強。

編碼譯碼器的影響：主要體現在寬帶編碼譯碼器（Wide-band Codec）或窄帶編碼譯碼器（Narrow-band Codec）的使用。帶通濾波的影響會造成高頻信息的丟失，可對音頻進行寬帶或窄帶編碼譯碼器的模擬增強。

2. 嵌入表征數據增強

嵌入表征數據增強方法，是通過表征層噪聲分布匹配（Noise Distribution Matching，NDM）。基本思想是在嵌入空間對干凈和含噪嵌入表征計算差值，假定服從均勻分布、拉普拉斯分布或高斯分布，基于上述分布模型去估計分布參數。得到噪聲嵌入向量的分布估計之后，不再需要對原始數據進行加噪再提取含噪嵌入向量，而是直接從噪聲嵌入向量分布估計中直接采樣得到，并與干凈嵌入向量相加得到加噪增強的嵌入向量。相較于常見的數據增強方法，在磁盤存儲、I/O資源和訓練時間等方面均有節省。

3. 時頻域掩蔽增強

基于時頻域掩蔽增強訓練的音頻鑒偽檢測泛化能力提升方法，采用時頻域掩蔽技術，損失函數采用加權交叉熵損失和混合正則化損失相融合，避免了訓練數據中真實音頻和偽造音頻不平衡造成的模型偏向某一類別的風險，提升模型的泛化能力。

三、音頻鑒偽技術系統

（一）面向傳統偽造-語音拼接的音頻鑒偽

利用音頻編輯軟件可輕易對真實音頻進行剪切、復制、粘貼等拼接偽造操作，導致音頻的真實性與完整性不易判斷。按照音頻拼接方式的不同，可以分為同人語音或非同人音頻拼接、一段或多段拼接、真實片段音頻拼接或真實與偽造音頻片段拼接等多種形式。錄音取證中鑒別一段音頻檢材是否經過拼接處理，已成為重要技術問題。

輕量級卷積神經網絡利用時間和空間上的平移不變性，以及長短期記憶網絡在時域的上下文記憶的優點，對自然音頻和拼接音頻能夠更好地區分。通過滑窗的方法對待檢測音頻進行鑒別，對窗內音頻特征信息進行分析，提高鑒別準確率，并能提供拼接點數量和時間信息估計。

ASVspoof2015數據集是第一個用于偽造和檢測研究的主要數據集。該數據集僅針對邏輯訪問攻擊場景，分為Train、Dev和Eva三部分，其中Train和Dev包含真實和S1到S5共五種欺騙算法的虛假語音。Eva包含真實和S1到S10共十種欺騙算法的虛假語音。S10是基于開源文本轉語音系統的拼接合成算法。使用ASVspoof2015-Eva的真實和S10數據構成拼接語音測試集，共計9404條真實和18400條拼接虛假語音。

由于ASVspoof2015未提供拼接訓練集，本文采用兩個中文語音數據集自制拼接訓練數據，即THCHS-30（https:// www.openslr.org/18/）和MAGICDATA（https://www.openslr. org/68/），分別自制5470條真實和拼接虛假語音。基于PyTorch搭建實驗環境，采用等錯誤率（Equal Error Rate，EER）作為評價指標，EER指標越接近于0表示模型的鑒偽檢測效果越好。

?

由表2，在較大的幀長幀移和批次大小上取得了明顯的效果提升，改變LSTM的層數對檢測性能有進一步的提升。本文提出的LCNN和LSTM的網絡結構，能夠提高拼接語音鑒別的準確度。

（二）基于多重注意力機制的音頻鑒偽

注意力機制可以幫助模型對輸入的每個部分賦予不同的權重，抽取出更加關鍵及重要的信息，使模型做出更加準確的判斷。采用端到端的架構將音頻的原始信息經過簡單的轉換編碼格式等處理，然后直接送入模型進行檢測是否為虛假音頻。網絡結構包含音頻的嵌入特征提取模塊，為了更全面更精準地學習偽造音頻和真實音頻的區別，嵌入特征提取模塊分為兩大部分，第一部分提取音頻全頻帶嵌入特征，第二部分提取音頻不同子頻帶嵌入特征。網絡引入組合注意機制模塊。為了讓網絡更好地學習音頻局部的特點，該模塊分為三個子模塊：時間區域注意力模塊、頻譜區域注意力模塊和通道區域注意力模塊。網絡中引入了融合注意力模塊，既用于學習經過組合注意力模塊進行特征選擇之后保留的重要信息，也是對各個子頻帶和全頻帶進一步利用注意力機制進行融合學習。

ASVspoof2019數據集包含LA和PA兩個子集，LA子集為真實語音和合成/轉換語音，PA子集為真實語音和重放語音。使用ASVspoof2019-Eva的LA子集作為測試集，共計7355條真實和63882條虛假語音。使用ASVspoof2019-Train的LA子集作為訓練集，共計2580條真實和22800條虛假語音。基于PyTorch搭建實驗環境，引入基于殘差網絡的TSSDNet（Time-Domain Synthetic Speech Detection Net）[12]，即Res-TSSDNet 端到端網絡進行實驗對比。

?

從表3可以看出，目前端到端網絡比非端到端網絡在音頻鑒偽任務上取得了更好的檢測效果，基于圖卷積網絡和多重注意力機制的等錯誤率低于1%，證明了方法的有效性。

（三）基于多系統融合的音頻鑒偽

為了提升檢測準確率，降低檢測誤報率，實際音頻鑒偽應用通常采用多系統融合的鑒偽檢測方法。以下是一種基于端到端網絡和非端到端網絡融合的音頻鑒偽系統。端到端網絡系統中，獲取音頻的序列信息并進行歸一化，結合融合損失函數進行優化訓練得到端到端模型。非端到端網絡系統中，提取音頻特征并輸入到后續模塊中，結合融合損失函數進行優化訓練得到非端到端分類模型。兩種網絡在訓練時獨立進行，在測試階段將對兩種模型檢測的分數進行融合，提升系統的準確率和穩定性。端到端網絡和非端到端網絡中注意機制均可采用圖注意力網絡，該網絡每個節點可以根據相鄰節點的特征，為其分配不同的權值，另外引入注意力機制之后，只與相鄰節點有關，無需得到整張圖的信息。圖注意力網絡可以處理變長輸入，關注有影響力的輸入，可有效學習到真實音頻和偽造音頻之間的區別，從而提升模型檢測性能。

四、結語

智能語音技術日新月異，加強音頻鑒偽檢測與防御技術研究十分必要。從音頻鑒偽攻防對抗角度，回顧了音頻鑒偽技術的主要發展歷程。從特征工程、深度學習、數據增強等方面介紹了音頻鑒偽技術路線。闡述了當前主流的端到端鑒偽模型、注意力機制網絡、面向實際復雜場景的數據增強等關鍵技術。最后，以語音拼接的傳統偽造檢測、基于多重注意力機制的音頻鑒偽和基于多系統融合的音頻鑒偽為例，詳述了音頻鑒偽技術系統。從實驗結果可以看出，基于空間平移不變性以及時域上下文記憶的輕量級卷積神經網絡和長短期記憶網絡，可實現對自然音頻和拼接音頻的區分。在音頻鑒偽任務上，端到端網絡比非端到端網絡普遍取得了更好的檢測性能，進一步挖掘端到端網絡的效果值得更多關注。

實際場景對音頻鑒偽的通用性和泛化能力提出了更高要求，特別是對未見或跨域場景的偽造生成攻擊。多因子多系統融合鑒偽，基于場景遷移、預訓練模型、自監督學習（Self-supervised learning）的音頻鑒偽技術將是未來的技術發展趨勢。監督學習模型極度依賴于大量的有標簽數據，而自監督學習可以作為音頻鑒偽的前置任務，從海量無標簽數據中學習音頻的有效表征，更好地用于下游音頻鑒偽任務。