結合Conformer與N-gram的中文語音識別①

許鴻奎,盧江坤,張子楓,周俊杰,胡文燁,姜彤彤,郭文濤,李振業

1(山東建筑大學 信息與電氣工程學院,濟南 250101)

2(山東省智能建筑技術重點實驗室,濟南 250101)

隨著科技的飛速發展,語音識別技術已經成為了智能設備的標配,這項技術貫穿了多門學科理論,包含了模式識別、電子技術、數理統計、信號處理、計算機科學、物理聲學、生理科學和語言學等. 由于語音交互提供了更自然、更便利、更高效的溝通形式,語音必定將成為未來最主要的人機互動接口之一.

在20 世紀50 年代,貝爾實驗室就開始基于簡單的孤立詞語音識別技術的研究[1]. 1968 年,蘇聯科學家Vintsyuk 提出采用動態規劃的算法實現動態時間規整(dynamic time warping,DTW)[2,3],一度成為當時語音識別的主流技術. 后來模式識別、動態規劃算法和線性預測編碼這3 種技術被引入到語音識別中,成功的使得孤立詞語音識別系統從理論上得以完善,并且可以達到實用化的水平[4,5]. 進入80 年代后,基于隱馬爾科夫模型(hidden Markov model,HMM)[6,7]的聲學建模和基于N-gram 的語言模型在語音識別中得到運用[8,9],這時期語音識別開始從孤立詞識別系統向大量詞匯連續語音識別系統發展. 后來又結合高斯混合模型(Gaussian mixed model,GMM),形成基于高斯混合模型-隱馬爾可夫模型(Gaussian mixed model-hidden Markov model,GMM-HMM)[10]的語音識別框架,使基于HMM 的語音識別模型效果得到提升.

進入21 世紀后,深度學習技術不斷發展,在2011 年,微軟研究院的Deng 等人以音素狀態為建模單位提出了深度神經網絡-隱馬爾可夫模型(DNN-HMM)的識別方法,用DNN 模型代替原來的GMM 模型,對每一個狀態進行建模,顯著降低了錯誤率[11]. 但DNN-HMM語音識別模型的性能還是會受到數據強制分割、對齊、HMM 遺留的多模塊獨立訓練等問題的限制[12].

到2015 年,從聯結時序分類算法(connectionist temporal classification,CTC)[13]引入到語音識別領域后,端到端技術開始流行. 端到端技術將整個識別網絡簡化成一個單一的網絡結構,在訓練時只需要注意整個系統的輸入和輸出,直接將輸入音頻序列映射到單詞或其他字素序列,大大減少了對語音識別系統構建的難度,受到越來越多研究人員的歡迎[14–16].

近幾年,研究人員注意到具有自注意力機制的深度神經網絡模型 “Transformer”[17],在機器翻譯、計算機視覺等領域中展現出強勁識別的性能. Dong 等人首次將Transformer 模型引入到語音識別領域中來,使得Transformer 能夠完成語音識別任務[18]. Transformer 在提取長序列依賴的時候更有效,但是提取局部細微特征的能力較弱,而卷積則更擅長提取局部特征[19–21].Conformer 模型[22]將卷積模塊加入到Transformer 模型的編碼器部分,達到增強識別效果的目的. Transformer模型在推理過程中無需使用語言模型即可獲得不錯的識別效果,但所得文本從語言學角度上看質量較差,結合語言模型之后將得到不錯的效果. 本文將Conformer模型所搭建的語音識別系統在數據集AISHELL-1 和aidatatang_200zh 上與Transformer 模型作比較,并且增加語言模型[23,24]后比較了語音識別系統識別性能以及實時率的差異,并且在不同程度的噪聲數據中測試了識別的準確率.

1 Conformer 模型結構

本文所使用的Conformer 結構是在Transformer模型編碼器的基礎上增加卷積模塊,構成Conformer編碼器. 結構如圖1 所示,Conformer 編碼器由多個Conformer 塊堆疊而成[22].

圖1 Conformer 編碼器

1.1 Conformer 塊

Conformer 模型核心就是編碼器中的Conformer塊,其結構如圖2 所示,由Layer Norm 模塊、前饋層、卷積層和多頭注意力層組成. 在前饋層、卷積層和多頭注意力層上都有殘差結構,這里殘差結構的引入是為了便于卷積網絡的訓練[25]. 同時卷積模塊和多頭注意力模塊相連起到效果增強的作用.

圖2 Conformer 塊結構

1.2 多頭自注意力層

在多頭自注意力模塊中,其結構如圖3 所示,使用了殘差結構和Dropout 來幫助訓練更深層次的網絡,防止多頭注意力層向量丟失重要信息[26].

圖3 多頭自注意力模塊

多頭注意力模塊中的注意力機制從輸入的大量信息中選擇關鍵信息加以處理. 使用信息提取的方法將維度為dm的輸入映射到一組查詢Q、鍵K和值V的矢量輸出,其中查詢Q和鍵K的維度是dK,值V的維度是dV. 然后再利用Softmax函數來獲得值的權重,最后返回值的加權總和Z. 計算公式如式(1)所示:

其中,對QKT相乘結果進行必要的縮放,來避免值過大導致Softmax函數梯度很小難以優化.

多頭注意力機制是將h個不同線性變換對Q、K和V進行投影,最后將不同注意力輸出結果拼接起來. 如式(2)–式(3)所示,多頭注意力層輸出是將各個注意力頭的輸出乘以權重矩陣來計算.

其中,W表示線性變換的參數,headi表示第i個注意力頭. 多頭注意力模塊使用了相對正弦位置編碼,這種相對位置編碼使自注意模塊對不同的輸入長度有更好的泛化能力,并且可使編碼器對語音的輸入有更好的魯棒性[27].

1.3 卷積層

Conformer 塊結構中的卷積模塊如圖4 所示,由Layer Norm、Batch Norm、Pointwise 卷積、Depthwise 卷積、GLU 激活層和ReLU 激活層所組成. 整體運用了殘差結構,增強了梯度的傳播,防止梯度消失[25].

圖4 卷積模塊

在卷積模塊中使用深度可分離卷積,深度可分離卷積由Pointwise 卷積和 Depthwise 卷積組成,它將普通的卷積操作分解為兩個過程,這么做可以用較少的參數學習更豐富的特征并且減少了計算量. Pointwise卷積運算負責將深度卷積的輸出按通道投影到新的特征圖上; Depthwise 卷積不同于原始卷積,一個卷積核負責一個通道,獨立地在每個通道上進行空間卷積[28].

GLU 激活函數如式(4)所示:

其中,W和V是不同的卷積核,b和c是偏置參數,該函數控制著哪些信息可以傳入下一層.

1.4 前饋層

前饋網絡(feed forward network ,FFN)的結構如圖5 所示,由兩個線性層組成,使用ReLU 激活函數進行線性變換,使用Dropout 層來減少過擬合的發生.

圖5 前饋層結構

如式(5)所示,前饋層目的是為了更新注意力層輸出向量的每個狀態信息. 其中W表示權重,b表示偏差,x表示輸入:

然后在經過Layer Norm 層歸一化重新定位,對編碼器的深度網絡進行平滑優化[29]. 同時控制輸入向量長度的動態變化,防止神經網絡層的參數變化導致輸入的分布產生較大差異.

2 語言模型

語言模型用于評估文本序列是否符合人類語言使用習慣,是傳統語音識別系統中不可或缺的一部分. 語言模型可以基于語法規則,也可以基于統計方法. 基于語法規則的語言模型來源于語言學家掌握的語言學領域知識. 而基于統計方法的語言模型,通過對大量文本語料進行處理,獲得給定詞序列出現的概率分布,以客觀描述詞與詞之間組合的可能性,適合于處理大規模真實文本.

統計語言模型的目標是計算給定詞序列w1,···,wt?1,wt的組合概率,如式(6)所示:

其中,條件概率P(w1),P(w2|w1),···,P(wt|w1w2···wt?1)就是語言模型,計算所有這些概率值的復雜度較高,特別是長句子的計算量很大,因此一般采用最多n個詞組合的N-gram 模型. 語言模型的訓練需要足夠規模的語料數據,數據越多統計到的詞的關系就越多,概率的區分性也就越明顯,符合語法規范的句子也就越多.

但是,純端到端的模型并沒有結合語言模型,在結合語言模型之后會更好地利用中文語言特性得到更加準確的預測結果. 而N-gram 語言模型有著成熟完備的訓練工具,語料或多或少都可以進行訓練并且訓練速度也很快,因此本實驗采用N-gram 語言模型[9].

2.1 N-gram 語言模型

N-gram 是語音識別中最常用到的語言模型. N-gram指文本中連續出現的n個詞語,基本原理是基于馬爾可夫假設,在訓練語料數據中,通過極大似然估計的方法得到下一個詞語出現的n個概率分布進而來推斷語句結構.

當n為1 時稱為一元模型,表示為式(7):

當n為 2 時稱為二元模型,表示為式(8):

當n為3 時稱為三元模型,表示為式(9):

多元模型N-gram 可以表示為式(10):

其中,m表示訓練語料庫中的總字數,C(w1,···,wi)表示計算w1,···,wi在訓練語料中出現的次數. 一元模型與多元模型相比,一元模型對句子的約束最小,其中的競爭最多. 而多元模型對句子有更好的約束能力,解碼效果更好. 但是相應的n越大,語言模型就越大,解碼速度也就越慢. N-gram 預測的詞概率值依賴于前n?1個詞,而更長距離的上下文依賴被忽略.

2.2 困惑度和平滑技術

目前主要使用困惑度進行對比來確定語言模型的好壞,這種指標比較客觀. 給定句子S,其包含詞序列w1,w2,···,wT,T表示句子的長度,則其困惑度可以由式(11)表示為:

困惑度簡稱為PPL,PPL越小,句子S出現的概率就越高,表明語言模型越好,因此語言模型優化的目標就是最小化困惑度.

語言模型的概率需要通過大量的文本語料來估計,采用最大似然算法. 但是在統計的預料中數量有限,因此會存在數據稀疏的情況,這會導致零概率或估計不準的問題,因此對預料中未出現或少量出現的詞序列,需要采用平滑技術進行間接預測.

平滑技術主要有3 種,有折扣法、插值法和回退法[30]. 折扣法是降低概率不為0 項的概率,從已有的觀測值概率調配一些給未觀測值的概率來提高概率為0 項的概率,但沒有考慮低階模型和高階模型間的關系故不單獨使用; 插值法是將高階模型和低階模型做線性組合,充分利用高階和低階語言模型,把高階的概率信息分配給低階的模型; 回退法是基于低階模型估計未觀察到的高階模型.

3 構建語音識別系統

端到端語音識別系統,不同于傳統方法將語音識別任務分解為聲學模型、字典和語言模型多個子任務,而是經過一個復雜網絡直接產生對應的語言文本,并且在不使用語言模型的情況下就能進行語音識別的工作,實現從輸入語音到輸出文本的轉換[31].

結構如圖6 所示,編碼器部分負責將語音輸入序列映射到特征序列,生成指定長度的向量. 解碼器部分對最終的識別結果進行解碼,根據語義向量生成指定的序列.

圖6 端到端語音識別系統

預處理模塊就是對初始輸入進行處理,如圖7 所示,該結構是由數據增強層、池化層、線性層和Dropout所組成.

圖7 預處理模塊

數據增強層通過使用SpecAugment[32,33]方法在log 梅爾聲譜層面上進行數據增強,可以將模型的過擬合問題轉化為欠擬合問題,以便通過大網絡和長時訓練策略來緩解欠擬合問題,提升語音識別效果. 池化層處理輸入,較好地保留了低層次輸入,在保留了編碼器的表示能力和模型整體精度的同時顯著降低了計算量.

線性層又稱為全連接層,其每個神經元與上一個層所有神經元相連,實現對前一層的線性組合或線性變換. Dropout 對于神經網絡單元按照一定的概率將其暫時從網絡中丟棄,有效地減輕過擬合的發生,一定程度上達到了正則化的效果.

3.1 端到端結構

端到端模型結構如圖8 所示,該結構編碼器部分為Conformer 的編碼器,由12 個Conformer 塊堆疊而成,解碼器部分由CTC 解碼器構成.

圖8 端到端語音識別系統結構

輸入數據經過預處理后進入Conformer 編碼器,CTC 解碼器由線性層組成,將編碼器的輸出轉化為CTC 激活后解碼輸出,解碼算法為CTC Prefix Beam Search[34–36].

CTC 網絡的輸出形式為T×C,其中,T表示時間長度,C表示字符類別數,CTC Prefix Beam Search 算法就是模型讀入一幀的數據,然后給出當下各種字符的概率,然后利用這一層的概率展開搜索,取搜索空間中最優的k條路經的前綴,并把這些前綴挨個輸入到模型中,同時把相同的前綴路徑合并,不斷重復最終得到最優解.

3.2 結合語言模型的端到端結構

結合語言模型后的模型結構,如圖9 所示. 編碼器部分由12 個Conformer 塊組成,解碼器部分為先經過CTC WFST search 打分后再由Attention 解碼器重新打分得到最終結果[14,37]. 在結合語言模型的結構中,CTC WFST search 是該結構的核心,該步驟包含了構建解碼圖和解碼器兩部分.

圖9 結合語言模型的結構

解碼圖用TLG 來表示,即將T、L 和G 各層次信息組合到一張圖中,其中T 表示建模單元,L 表示詞典,G 表示語言模型. 以端到端模型訓練的中文漢字作為建模單元T,詞典L 則是由詞語或句子拆分成建模單元而構成,語言模型G 是由N-gram 語言模型轉換為加權有限狀態轉換器(weighted finite-state transducer,WFST)的形式表示[38,39]. WFST 通常用來描述狀態之間的轉移信息,能夠將語言模型直接表示成圖的形式,語言模型概率經處理后作為圖中的權重. 當圖構建完成之后,語言模型的概率就成了圖權重的一部分,解碼時直接使用圖的權重而不用去查詢語言模型,它實現了輸入序列到輸出序列的轉換.

解碼器部分采用的是Viterbi 解碼,根據輸入尋求最佳狀態序列. 解碼過程是逐幀推進,結合轉移弧上的權重,得到每個時刻擴展路徑的累計代價,然后對比指向同一個狀態的不同路徑的累計代價,選擇值更小的路徑并更新狀態信息,直到Viterbi 解碼最后一幀然后回溯路徑,得到最優路徑. 對得到的信息再進行Attention 解碼重打分,Attention 解碼器使用Transformer 結構的解碼器部分,通過使用注意力機制最終輸出最合適的結果[37,40,41].

4 實驗

4.1 實驗數據

實驗所用到的語音數據由兩部分組成,一部分來自于北京希爾貝殼科技有限公司出版的中文語聲數據集AISHELL-1,其包含178 h 來自400 個說話人的普通話聲頻和相應文本信息. AISHELL-1 中的聲頻數據重采樣為16 kHz,16 位的WAV 格式. 開發人員將數據集分為3 個部分: 訓練集、驗證集和測試集. 訓練集包含來自340 個說話者的120098 個發音和大約140 h 的普通話語聲數據; 驗證集包含來自40 個說話者的14326 個語句; 測試集包含來自20 個說話者的7176 個語句. 對于每個說話者,大約發布了360 個語句(大約26 min 的語聲).

另一部分來自于由北京數據堂科技有限公司開發的中文普通話語音語料庫aidatatang_200zh,語料庫包含 200 h 的聲學數據,主要是移動記錄數據,邀請了來自中國不同口音地區的600 名演講者參與錄音,每個句子的轉錄準確率大于 98%,數據文件中保留了語音數據編碼和說話人信息等詳細信息.

4.2 實驗配置

實驗所用的機器操作系統為Ubuntu 20.04.2LTS,CPU 為Intel Xeon Silver 4210 ,128 GB 內存,GPU 為3 塊RTX2080 SUPER (6 GB)顯卡,共18 GB 顯存.

SpecAugment 使用了2 個最大頻率掩碼和2 個最大時間掩碼以緩解過擬合問題. 在編碼器的前端使用兩個核大小為3×3、步幅為2 的卷積子采樣層. 編碼器中使用12 個Conformer 塊,注意力頭數設置為 4,學習率設置為0.002,batch size 設置為8,epoch 設置為120,beam size 設置為10. Attention 解碼器中解碼器個數為6 個,語言模型使用三元語法模型,即N-gram 語言模型中的N為3[32,37].

實驗中輸入特征是80 維梅爾濾波器組特征即Fbank 特征,將語音通過預加重、分幀、加窗、傅里葉變換、功率譜以及濾波器組有序計算. 設置窗長為20 ms,幀移為10 ms.

訓練使用CTC loss 與Attention loss 聯合優化訓練,這樣設置的目的是避免CTC 對齊關系過于隨機還能加快訓練的收斂速度,并且可以使訓練過程更加穩定,從而取得更好的識別結果.

訓練所使用的組合損失如式(12)所示,x表示聲學特征,y為對應標注,LCTC(x,y)表示CTC loss,LATT(x,y)表示Attention loss,λ表示平衡CTC loss 和Attention loss 的系數[32,42,43].

本實驗基于Kaldi[44]、Espnet (end-to-end speech processing toolkit)工具包[45]和WeNet[37]語音識別工具包來進行. Kaldi 是著名的開源語音識別工具,這套工具提供了目前工業界最常用的模型訓練工具,它使用WFST 來實現解碼算法,其主要的代碼是C++編寫,在此之上使用bash 和Python 腳本做了一些工具. Espnet工具箱融合了Kaldi 的數據處理和特征提取,同時借助PyTorch 和Chainer,使用Python 實現了許多端到端模型. WeNet 是出門問問語音團隊聯合西工大語音實驗室開源的一款語音識別工具包,模型訓練完全基于PyTorch 生態,結構類似于Kaldi 但并不依賴于Kaldi等安裝復雜的工具.

4.3 評價標準

本文在數據集AISHELL-1 和數據集aidatatang_200zh 上評價實驗結果,采用字錯率(character error rate,CER)作為評價指標. 字錯率即為了使識別出來的詞序列和標準的詞序列之間保持一致,需要進行替換、刪除或者插入某些詞,這些插入I、替換S和刪除D的詞的總個數,除以標準的詞序列中詞的總個數的百分比,即如式(13)所示:

4.4 實驗結果

在數據集AISHELL-1 和aidatatang_200zh 上,不添加語言模型的情況下,實驗結果如表1,以Conformer模型所搭建的語音識別系統與Transformer模型做對比,可以看出在相同的數據集上訓練Conformer 模型較Transformer 模型具有更低的字錯率. 在AISHELL-l數據集上Conformer 模型要比Transformer模型字錯率低5.82%,在aidatatang_200zh 數據集上Conformer 模型比Transformer 模型字錯率低2.71%.

表1 在不同數據集上不同模型的字錯率 (%)

添加語言模型之后,在相同數據集上使用文中識別方法的結果如表2,不難看出在AISHELL-1 數據集上Conformer 模型在結合語言模型之后比Transformer模型結合語言模型的字錯率低3.23%,在aidatatang_200zh 數據集上結合語言模型的Conformer模型比結合語言模型的Transformer 模型字錯率低1.69%.

表2 結合語言模型使用不同模型的字錯率 (%)

經以上實驗表明,在添加語言模型后Conformer模型和Transformer 模型在兩個不同的數據集上準確率均得到了進一步提升,并且Conformer 模型在添加語言模型之后識別效果最佳.

語音識別的實時率用來度量語音識別系統識別音頻速度的值,表示處理單位時長語音數據所需要的時間,值越小表示處理語音的效率越高. 經測試結果如表3 所示,在不結合語言模型時Transformer 模型的實時率比Conformer 模型低0.06102,在結合語言模型之后Transformer 模型的實時率比Conformer 模型低0.0344,可以看出Transformer 模型的實時率比Conformer模型的實時率稍好,并且在結合語言模型之后兩模型識別的實時率也均會發生升高,但仍能在語音識別時達到不錯的識別效率.

目前較新的語音識別模型有RNN-Transducer、Conformer-Transducer[45,46],以在AISHELL-1 數據集上測試的結果為基準,與結合語言模型的Conformer 模型作比較,其結果如表3 所示,

表3 語音識別的實時率

由表4 可以看出,結合語言模型的Conformer 模型較RNN-Transducer 和Conformer-Transducer 模型相比,字錯率分別下降了了2.34%和0.14%. 可以看出該模型在性能上有一定的優勢.

表4 與目前較新的模型比較字錯率 (%)

測試結合語言模型的Conformer 模型在噪聲環境的性能,在AISHELL-1 數據集上加入不同比例的白噪聲分別構成信噪比為10 dB、20 dB、40 dB、60 dB和80 dB 的噪聲數據. 測試結果如表5 所示,在測試信噪比為80 dB 和60 dB 含噪聲數據時的性能和與使用純凈音頻時的性能十分接近. 隨著噪聲強度的增加,在測試信噪分別為40 dB 和20 dB 時,音頻質量接近日常生活環境,此時識別的準確率有所下降. 信噪比為10 dB 時語音數據聲音嘈雜,對模型的識別產生較大影響,此時字錯率升高. 由此可以看出噪聲會對模型的性能產生影響,隨著噪聲的增強,模型識別的準確率有所下降.

表5 比較在不同噪聲環境下的字錯率

5 結束語

本次實驗通過比較不同模型的字錯率,可以看出由Conformer 模型所搭建的中文語音識別系統較Transformer 模型有更好的性能,并且語言模型的添加對端到端語音識別系統識別準確的增加有著重要的作用. 模型識別語音的實時率小于0.2,在進行語音識別時可以感受到細微的延遲并不會影響整體的效果. 并且通過在含有不同程度噪聲數據上測試的結果,可以看出不同程度的噪聲均會對模型的性能產生一定的影響. 由于實驗中所用于訓練的語音數據是在安靜的條件下錄制的,語音質量比較高,這相較于模型在實際使用中所輸入的語音數據過于完美,并且實驗所用的數據量不足無法涉及到現實中的各個生活場景,因此后續考慮擴充實驗數據量以提升模型的性能及魯棒性,使該模型能夠在更多環境下使用.