基于語音信號處理和文本識別技術(shù)的漢英口語翻譯自動評分方法

汪斐， 王婧錦

(1.商洛學(xué)院 人文學(xué)院， 陜西 商洛 726000； 2.陜西中醫(yī)藥大學(xué) 外語學(xué)院， 陜西 咸陽 712046)

0 引言

英語教學(xué)的重點(diǎn)是培養(yǎng)大學(xué)生的聽說讀寫能力，其中口語翻譯在培養(yǎng)大學(xué)生的聽說讀寫能力，在大學(xué)生更好地開展國際交流中發(fā)揮著至關(guān)重要的作用。對漢英口語翻譯自動評分可以將評分的結(jié)果及時(shí)反饋給學(xué)習(xí)者，使學(xué)習(xí)者了解自身存在的不足，從而達(dá)到“以測促學(xué)”的目的。目前，漢英口語翻譯的評分主要依賴于人工，這使得評分結(jié)果具有較大的主觀性，評分結(jié)果的客觀性無法保證，“以測促學(xué)”的目的不能夠達(dá)到。同時(shí)，對漢英口語翻譯的人工評分也需要投入大量的人力、物力和財(cái)力資源，導(dǎo)致漢英口語考試的成本比較大。語音信號處理技術(shù)和文本識別技術(shù)的快速發(fā)展為大規(guī)模漢英口語翻譯自動評分提供了解決方案，通過設(shè)計(jì)自動評分系統(tǒng)，學(xué)習(xí)者可以及時(shí)了解自身在漢英口語翻譯中存在的不足，提升自身的漢英口語翻譯能力，同時(shí)也可以節(jié)省大量的人力、物力和財(cái)力資源。尹立言等[1]采用雙路奇異值分解算法對語音信號進(jìn)行降噪處理，從雙路奇異向量的相關(guān)性出發(fā)來確定低階噪聲奇異向量的位置，將剩余的奇異值和奇異向量重構(gòu)得到優(yōu)化估計(jì)的降噪信號。張勝斌[2]對基于答題關(guān)鍵信息的漢英口語翻譯題自動評分方法進(jìn)行了研究，采用CNN對語音信號進(jìn)行處理。田艷[3]對深度學(xué)習(xí)技術(shù)在英譯漢即時(shí)自動評分中的應(yīng)用進(jìn)行了研究，通過學(xué)生輸入譯文和標(biāo)準(zhǔn)譯文的相似度計(jì)算，達(dá)到自動評分的目的。前人對漢英口語翻譯自動評分往往單純是從語音信號處理或者文本識別的角度出發(fā)，這使得自動評分系統(tǒng)具有一定的局限性。基于此，本文聯(lián)合語音信號處理技術(shù)和文本識別技術(shù)來設(shè)計(jì)漢英口語翻譯自動評分系統(tǒng)，達(dá)到即時(shí)自動評分的目的。

1 漢英口語翻譯自動評分系統(tǒng)設(shè)計(jì)

1.1 漢英口語翻譯自動評分

對漢英口語翻譯的自動評分可以從兩個角度開展，即通過對口語翻譯的語音信號處理進(jìn)行自動評分和將語音信號轉(zhuǎn)化為文本，通過文本識別技術(shù)來自動評分。不論是單純地采用哪一種方法，都受到信號處理技術(shù)或文本識別技術(shù)的限制，自動評分的準(zhǔn)確性不高。基于此，本文將兩者進(jìn)行聯(lián)合，構(gòu)建漢英口語翻譯自動評分的回歸模型，從而達(dá)到發(fā)揮兩者優(yōu)勢的目的。漢英口語翻譯自動評分模型如圖1所示。

圖1 漢英口語翻譯自動評分模型

由圖1可知，對漢英口語翻譯自動評分是分別采用文本識別技術(shù)提取相似度特征和語音信號處理技術(shù)提取語音特征，通過對得到的相似度特征和語音特征用線性回歸模型進(jìn)行權(quán)重訓(xùn)練，最終得到漢英口語翻譯自動評分方法。令Y為口語翻譯人工評分的平均值;ai(i=0，1,…,n)為特征向量權(quán)重;Xi(i=1,…,n)為特征向量，那么線性回歸模型為式(1)。

Y=a0+a1X1+…+anXn

(1)

對線性回歸分析模型基于均方誤差最小進(jìn)行訓(xùn)練，獲得特征向量的權(quán)重ai。

1.2 相似度特征提取

在英語考試中，口語翻譯和寫作均屬于主觀題，但是兩者也存在很大的不同。寫作的范圍比較廣，無標(biāo)準(zhǔn)答案，而口語翻譯是對特定的漢語句子翻譯成英語，有標(biāo)準(zhǔn)答案，這使得對漢英口語翻譯自動評分成為可能。對漢英口語翻譯自動評分的關(guān)鍵在于判斷考生譯文和標(biāo)準(zhǔn)譯文之間的相似度[4]。相似度越高，那么考生翻譯的準(zhǔn)確性越高，即得分越高。本文選擇詞頻余弦相似度、Dice系數(shù)、Jaccard相似度、關(guān)鍵詞覆蓋率來反映考生譯文樣本和標(biāo)準(zhǔn)答案樣本之間的相似度。

詞頻余弦相似度也稱為詞頻余弦相似性，通過計(jì)算兩個樣本向量的余弦值來判斷兩個樣本之間的相似度。由數(shù)學(xué)知識可知，詞頻相似度最大值為1，最小值為-1。兩個樣本向量的詞頻相似度越接近1，其向量的方向越接近，那么考生的譯文和標(biāo)準(zhǔn)答案越接近。設(shè)A和B為給定的兩個樣本集合，其詞頻余弦相似度計(jì)算式[5]為式(2)。

(2)

Dice系數(shù)是衡量兩個字符串相似度的特征量，如果兩個字符串的Dice系數(shù)越大，那么這兩個字符串的相似度越高；反之，兩個字符串的相似度越低。將漢英口語翻譯考生的答案看做字符串A，將標(biāo)準(zhǔn)答案看做字符串B，那么字符串A和字符串B的Dice系數(shù)計(jì)算式[6]為式(3)。

(3)

其中，comm(A,B)表示字符串A與B中所包含的相同字符個數(shù)；leng(·)表示字符串長度。

Jaccard相似度是衡量集合相似度的特征量，如果兩個集合的Jaccard值越大，那么這兩個集合的相似度越大；反之，這兩個集合的相似度越小。將漢英口語翻譯考生的答案和標(biāo)準(zhǔn)答案分別看做兩個集合，計(jì)算考生答案集合和標(biāo)準(zhǔn)答案集合的Jaccard相似度。設(shè)A和B分別為考生答案集合和標(biāo)準(zhǔn)答案集合，Jaccard相似度計(jì)算式[7]為式(4)。

(4)

關(guān)鍵詞覆蓋率反映的是考生翻譯答案中所包含關(guān)鍵詞的個數(shù)占標(biāo)準(zhǔn)答案中關(guān)鍵詞個數(shù)的比例。關(guān)鍵詞覆蓋率越高，那么考生翻譯答案和標(biāo)準(zhǔn)答案之間越接近，其評分也就越高。假定考生漢英口語翻譯答案中包含n個關(guān)鍵詞，標(biāo)準(zhǔn)答案中包含m個關(guān)鍵詞，關(guān)鍵詞覆蓋率F計(jì)算式[8]為式(5)。

(5)

1.3 語音特征提取

漢英口語翻譯的語音信號往往包含有大量的噪聲，這些噪聲的存在將在很大程度上影響到后續(xù)處理的性能，因此需要先對考生口語翻譯的語音信號進(jìn)行降噪處理。矩陣的奇異值具有良好的穩(wěn)定性，通過矩陣奇異值分解(SVD)可以達(dá)到信號降噪處理的目的，本文采用SVD對語音信號降噪處理。采用SVD對語音信號降噪處理的一般步驟[9]如下。

(1) 構(gòu)造H矩陣：語音信號的長度N為奇數(shù)時(shí)，H矩陣的行數(shù)m為(N+1)/2；語音信號的長度N為偶數(shù)時(shí)，H矩陣的行數(shù)m為N/2，H矩陣的列數(shù)n=N-m+1；

(2) SVD分解：對H矩陣進(jìn)行SVD分解，可以得到兩個標(biāo)準(zhǔn)化的正交矩陣Um×m、Vn×n和對角矩陣Dm×n，滿足H=UDV；

HΔ=UD′V

(6)

(5) 獲得降噪后信號：選擇HΔ第一行的所有元素和第二行第n列到第m行第n列的m-1個元素，這樣就可以獲得降噪后的語音信號。

采用SVD對考生漢英口語翻譯語言信號進(jìn)行降噪處理，得到降噪后波形信號。原始語音信號和降噪后語音信號如圖2所示。

(a) 降噪前波形

(b) 降噪后波形

提取漢英口語翻譯語音信號的關(guān)鍵信息完整性特征和發(fā)音流利度特征來衡量翻譯質(zhì)量。關(guān)鍵信息完整性特征反映了考生翻譯語音所包含的翻譯關(guān)鍵點(diǎn)。采用基于SLN-DTW的關(guān)鍵詞檢出方法對關(guān)鍵詞匹配得出的最小局部平均累積距離，將其作為關(guān)鍵信息完整性特征[10]。發(fā)音流利度反映了漢英口語翻譯的流利程度。考生口語翻譯越流利，其口語翻譯評分也越高。流利度一般用單位時(shí)間內(nèi)口語翻譯結(jié)果的單詞個數(shù)來衡量。

2 實(shí)例分析

2.1 數(shù)據(jù)來源

采集陜西省某示范院校外國語學(xué)院英語專業(yè)期末漢英口語翻譯的300名學(xué)生語音信號，對采集到的信號進(jìn)行語音識別得到對應(yīng)的文本數(shù)據(jù)，計(jì)算文本數(shù)據(jù)的相似度特征，同時(shí)對采集到的信號采用SVD進(jìn)行降噪處理，對降噪處理后的信號提取語音特征。漢英口語翻譯自動評分的性能采用自動評分與專家評分的相關(guān)系數(shù)來衡量，相關(guān)系數(shù)越大，自動評分系統(tǒng)的性能越好。通過選擇15名漢英口語翻譯評分專家對考生口語翻譯評分結(jié)果進(jìn)行統(tǒng)計(jì)分析，其平均相關(guān)系數(shù)為0.872。

2.2 自動評分結(jié)果

提取300名考生語音信號的相似度特征和語音特征，分別計(jì)算詞頻余弦相似度、Dice系數(shù)、Jaccard相似度、關(guān)鍵詞覆蓋率、關(guān)鍵信息完整性、發(fā)音流利度共6個特征和專家評分之間的相關(guān)性，結(jié)果如表1所示。

表1 提取特征與專家評分相關(guān)性

由表1可知，相似性特征與語音特征均與專家評分之間具有比較好的相關(guān)性。利用相關(guān)系數(shù)的大小由大到小將6個特征依次加入到漢英口語翻譯自動評分系統(tǒng)中，加入特征對自動評分系統(tǒng)性能的影響如圖3所示。

(a) 相關(guān)系數(shù)

(b) 平均分差

由圖3可知，漢英口語翻譯自動評分與專家評分之間的相關(guān)系數(shù)整體趨勢為上升，平均分差整體趨勢為下降。第2、5特征加入對漢英口語翻譯自動評分系統(tǒng)的影響比較小，可以直接刪除。為了進(jìn)一步說明漢英口語翻譯自動評分的性能，將自動評分系統(tǒng)與專家評分進(jìn)行對比，結(jié)果如表2所示。

表2 自動評分與專家評分對比

由表2可知，在去除第2、5特征這兩個冗余特征之后，漢英口語翻譯自動評分系統(tǒng)的性能得到了明顯改善，即選擇4個特征得到漢英口語翻譯自動評分系統(tǒng)。

3 總結(jié)

漢英口語翻譯自動評分系統(tǒng)在確保評分客觀性、提高評分效率、降低測試投入方面發(fā)揮著至關(guān)重要作用。將考生口語翻譯語音信號轉(zhuǎn)化為文本，提取4個相似度特征，同時(shí)采用SVD對語音信號降噪，提取降噪后語音信號的2個語音特征，最終利用線性回歸分析得到口語翻譯自動評分系統(tǒng)。通過對陜西省某師范院校外國語學(xué)院漢英口語翻譯自動評分實(shí)例的分析，結(jié)果表明去除第2、5特征的自動評分系統(tǒng)性能得到明顯提升。本文對漢英口語翻譯自動評分的研究具有一定的參考價(jià)值。