基于依存信息融合特征的漢語韻律預(yù)測

,,

(重慶郵電大學 自動化學院,重慶 400065)

0 概述

韻律預(yù)測是語音合成系統(tǒng)中的關(guān)鍵技術(shù),韻律預(yù)測質(zhì)量的好壞直接影響合成語音的自然度和文字語義層面上意思表達的準確性。廣義的韻律包括重音、節(jié)奏和語調(diào)這些從感知語音中所抽象出的韻律結(jié)構(gòu)。狹義的韻律則表現(xiàn)為語音的節(jié)奏感,節(jié)奏感主要涉及人說話時產(chǎn)生的組詞斷句的模式。將該模式抽象出來,表現(xiàn)為韻律詞的構(gòu)成以及各層級韻律成分邊界的界定,在韻律預(yù)測中表現(xiàn)為給每個語法詞邊界確立合適的韻律停頓等級[1]。本文根據(jù)狹義韻律的含義,主要討論與“節(jié)奏”相關(guān)的韻律結(jié)構(gòu),將韻律結(jié)構(gòu)層次劃分為3個層級,即韻律詞、韻律短語和語調(diào)短語,它們是由小到大的層層嵌套的關(guān)系。

目前關(guān)于韻律結(jié)構(gòu)的預(yù)測研究,大多研究者主要從預(yù)測方法和預(yù)測特征這2個角度進行對比和研究。預(yù)測方法的研究包括基于最大熵模型[2]、規(guī)則驅(qū)動[3]、統(tǒng)計模型[4]、條件隨機場[5]等方法。預(yù)測特征主要包括從文本信息中提取出的淺層和深層的2種特征。淺層特征如詞長、詞性[6-8]、標點符號[9]等簡單的語法特征。雖然此類特征在經(jīng)過簡單的文本分析后,能直觀地從文本分析結(jié)果中提取出來。但由于其涵蓋的語言信息較表面化,且不能體現(xiàn)句子中各語言單元之間更深層次的語義關(guān)系。而對于文本韻律層級的預(yù)測,主要是需要保證各韻律單元的語義完整[10]。若單純地將此類特征用于韻律層級預(yù)測,則容易造成各韻律層級的劃分歧義,并且不能保證韻律單元的語義完整性。因此,針對此類歧義問題,需要將利用的預(yù)測特征上升到文本更深層面,如語法樹[11]和依存句法[12]等更深層次的句法特征。但目前對于深層特征的研究,由于每種特征所歸納和涵蓋的深層句法信息都是單一的,因此導致單特征的韻律預(yù)測能力有限。若組合多個單特征時,則相互之間又會產(chǎn)生一定的負作用,這又為韻律預(yù)測帶來很多弊端。

根據(jù)深層次句法信息與韻律結(jié)構(gòu)之間的關(guān)系,本文從漢語文本的依存句法分析結(jié)果中自動提取出依存句法單特征,并對其中關(guān)鍵特征如內(nèi)弧含弧數(shù)、內(nèi)弧跨度、內(nèi)弧方向等依存句法單特征進行融合,得到一種定義為“相對內(nèi)弧區(qū)間”的依存信息融合特征。此特征能提高深層韻律預(yù)測特征對依存句法各類信息的利用效率,從而促使韻律層級的預(yù)測結(jié)果更能表現(xiàn)各韻律單元涵蓋的語義內(nèi)容,同時提高各韻律層級的預(yù)測精度。

本文采用2 516句真實錄音語料轉(zhuǎn)寫成的文本語料,在對文本進行淺層語法信息標注后,根據(jù)真實錄音進行韻律結(jié)構(gòu)層次標注。選擇其中韻律層次標注一致性最高的2 100句文本,對語料進行淺層語法特征及深層句法特征自動標注,同時加入韻律層級標注信息生成語料庫。然后,分別利用C4.5算法實現(xiàn)基于依存句法單特征、依存信息融合特征、淺層語法和深層句法相結(jié)合這3種形式的韻律層級預(yù)測。

1 依存句法與漢語韻律結(jié)構(gòu)的關(guān)系

依存句法主要是通過剖析語言單位之間的依存關(guān)系,從而揭示句子的句法結(jié)構(gòu)。依存句法的概念可以追溯到1959年法國語言哲學家Lucien.Tesniere的著作《結(jié)構(gòu)句法基礎(chǔ)》[13-14]。該句法認為在一個句子中述語動詞是支配其他成分的核心,它本身不受其他成分支配,所有被支配的成分都是以一種相對應(yīng)的依存關(guān)系來從屬于它們的支配者[15]。而言語單元之間的語義關(guān)聯(lián)關(guān)系就在這類支配關(guān)系上得以體現(xiàn)。簡要地說,依存句法分析主要是通過識別句子中的主謂賓定狀補等語法成分,并分析各成分之間的關(guān)系。本文利用哈工大社會計算與信息檢索研究中心研發(fā)的語言技術(shù)平臺(LTP)對漢語文本進行依存句法分析[16],在對文本進行依存句法分析后產(chǎn)生的依存關(guān)系共15種,如主謂關(guān)系、動賓關(guān)系、定中等關(guān)系等,能夠全面覆蓋各種語法單元之間的依存關(guān)系。本文采用的0～3級停頓等級,分別對應(yīng)韻律詞內(nèi)部、韻律詞、韻律短語和語調(diào)短語這些韻律層級的停頓等級劃分,作為相鄰兩詞之間的邊界特征。其中韻律詞內(nèi)部表示內(nèi)部沒有停頓的一組詞。圖1表示一個經(jīng)過分詞和詞性標注的句子依存分析圖結(jié)果及其停頓等級標注。其中,ATT、SBV、ADV等符號表示依存句法分析標注關(guān)系;1、2、3等數(shù)字表示分詞后的詞ID序列號;v、n等字母表示詞性;B0、B1、B2表示語法詞邊界,韻律詞邊界、韻律短語邊界。

圖1 經(jīng)過依存分析和韻律停頓等級標注的句子

依存句法分析是從句子更深層面出發(fā),對句子中各成分之間的語義關(guān)聯(lián)內(nèi)容進行分析。從圖1可看出,相鄰兩詞之間的停頓等級越高,依存圖中通過該標注點上方的弧數(shù)可能就越少,并且相鄰兩詞上方最內(nèi)側(cè)弧的跨度越小代表其關(guān)系越緊密,其停頓等級可能越低。同時,根據(jù)文獻[5]數(shù)據(jù)統(tǒng)計也證實,連接點上方的弧數(shù)以及內(nèi)弧跨度與韻律層級之間確實存在著一定的關(guān)系。因此,從依存句法信息中提取的依存特征可以作為深層次韻律層級預(yù)測的特征,從而促使韻律層級的預(yù)測結(jié)果更能表現(xiàn)句子暗含的語義內(nèi)容。

2 依存信息融合特征的提取方法

2.1 依存句法單特征

如圖1依存關(guān)系所示,將連接2個語法單元的帶箭頭弧線叫做依存關(guān)系弧。依存關(guān)系弧表示一個由關(guān)系弧起點所指的語法單元依存于弧箭頭所指的那個語法單元。弧上方標注的兩語法單元之間的依存關(guān)系類型叫做依存弧類型。根據(jù)依存句法公理[12],從圖1中可以看出依存關(guān)系弧之間是內(nèi)外套疊的,且不存在交叉。設(shè)經(jīng)過分詞的句子W表示為詞序列w1,w2,…,wk,…,wL。1,2,…,K,…,L為每個語法詞的ID序列號。將任意2個相鄰詞對之間的邊界稱為連接點,連接點上方最內(nèi)部的一條弧稱為內(nèi)弧。將依存關(guān)系弧所連接的語法詞ID序列號相減得到弧跨度。內(nèi)弧的弧跨度稱為內(nèi)弧跨度。連接點上方依存關(guān)系弧的總的數(shù)量稱為依存弧總數(shù)。

目前對依存信息與韻律層級關(guān)系的研究,主要是針對內(nèi)弧跨度和弧總數(shù)等單一特征對韻律層級進行預(yù)測。雖然這些依存特征能夠?qū)嵚蓪蛹夘A(yù)測有一定的韻律預(yù)測作用,但多個特征組合用于分類預(yù)測時,相互之間會產(chǎn)生一定的負作用,導致預(yù)測效果變差。

為了能夠提高依存信息對于韻律層級預(yù)測的能力,需要提高依存句法各類信息的利用效率并找到一種恰當?shù)谋憩F(xiàn)形式使其成為適合韻律層級預(yù)測的深層次韻律預(yù)測特征。因此,本文定義一種新的依存特征——相對內(nèi)弧區(qū)間,其融合了多個依存句法單特征作為深層次韻律預(yù)測特征。

2.2 相對內(nèi)弧區(qū)間特征的提取方法

假設(shè)一個相鄰詞對的上方內(nèi)弧區(qū)間表示為(m,n),圖2為例句中ID為11的“內(nèi)”和ID為12的“將”2個語法單元之間的連接點上方內(nèi)弧的弧區(qū)間,表示為(11,13)。

圖2 相鄰兩詞之間連接點對應(yīng)的內(nèi)弧

從圖2中連接點上方的內(nèi)弧區(qū)間可以得出,其內(nèi)弧跨度為2,弧方向為向右,連接點左側(cè)的詞距內(nèi)弧最左詞的距離為0,連接點左側(cè)的詞距內(nèi)弧最左詞的距離1,其內(nèi)弧含弧數(shù)為1。可以看出,內(nèi)弧區(qū)間含有內(nèi)弧跨度、內(nèi)弧方向等依存句法單特征信息。但由于語料中各句子長度不一,若用ID表示弧區(qū)間會產(chǎn)生非常多的可能性,且這些由不同的ID序列組合成的弧區(qū)間又不具備作為韻律預(yù)測特征的一般性,這樣不僅會導致數(shù)據(jù)稀疏問題,還可能造成特征信息失效問題。因此,本文改進內(nèi)弧區(qū)間,提出一種依存信息的融合特征——相對內(nèi)弧區(qū)間,便于更好地進行韻律層級預(yù)測,相對內(nèi)弧區(qū)間表示方法如圖3所示。其中,橫坐標x表示分詞ID坐標;縱坐標y表示以目標相鄰詞對的左側(cè)詞語法詞ID為O點的分詞ID坐標。

圖3 相對內(nèi)弧區(qū)間表示方法

從圖3可以看出,相對內(nèi)弧區(qū)間可以體現(xiàn)上述所有的單特征。相對內(nèi)弧區(qū)間將當前連接點左側(cè)的詞wi的ID序列號i看作相對于連接點的O點,連接點右側(cè)詞wi+1的相對序號為1。O點左側(cè)的語法單元的坐標是x軸的負方向,O點右側(cè)的語法單元的坐標是x軸的正方向。原連接點的內(nèi)弧區(qū)間(m,n),1≤min(m,n)≤i,i+1≤max(m,n)≤L轉(zhuǎn)化為相對內(nèi)弧區(qū)間(k,p),k=m-i,p=n-i。從圖3可以得出,句中原ID序列為11的“內(nèi)”和ID為12的“將”的相對坐標變?yōu)?和1,這2個相鄰詞對之間連接點上方的相對內(nèi)弧區(qū)間表示為(0,2)。

相對內(nèi)弧區(qū)間信息不僅融合了連接點左右兩側(cè)的詞距內(nèi)弧最左右詞的距離、內(nèi)弧跨度、內(nèi)弧含弧數(shù)和內(nèi)弧方向等依存信息,而且更能直觀地表現(xiàn)內(nèi)弧起止點相對于連接點的位置信息。該表示方式不僅可以避免由于句式長短變化所帶來的數(shù)據(jù)稀疏問題,而且更為恰當?shù)匕岩来嫘畔⑥D(zhuǎn)化為語法單元所攜帶的韻律預(yù)測特征表示。為方便研究,筆者同時從相對內(nèi)弧區(qū)間中抽取出了不帶方向的相對內(nèi)弧區(qū)間(表1的F10特征),如上述例句在圖2中ID序列號為13的“超過”和ID序列號為14的“60億”這2個語法單元之間的連接點上方的相對弧區(qū)間表示為(1,0),則連接點上方不帶方向的相對內(nèi)弧區(qū)間表示為(0,1)。

由各依存特征的定義,筆者從依存結(jié)果中抽取出的依存句法單特征(F1～F7)和依存信息融合特征(F8～F10)表示及其含義如表1所示。

表1 例句的依存特征自動提取結(jié)果

以上依存特征都是對于依存句法分析結(jié)果的不同層面的體現(xiàn)。為了找到在韻律層級預(yù)測過程中對依存句法各類信息最有效率的使用方法,本文將開展對不同依存特征及其組合的韻律預(yù)測實驗。

3 依存特征的自動提取及語料構(gòu)建

3.1 依存特征提取的Java程序?qū)崿F(xiàn)

HanLP是由一系列自然語言處理模型和算法組成的Java工具包。本文參考LTP的文本分詞協(xié)議,調(diào)用HanLP移植的基于神經(jīng)網(wǎng)絡(luò)的高性能LTP依存句法分詞器接口(IDependencyParser函數(shù))對語料文本進行依存句法單特征提取,再將依存句法單特征進行融合得到依存信息融合特征。依存特征提取的程序處理流程如圖4所示。

圖4 依存特征提取的程序處理流程

以圖1中的句子為例,表2是從例句中相對于每個語法詞之間的連接點自動抽取出的依存特征結(jié)果。

表2 例句的依存特征自動提取結(jié)果

為方便特征的統(tǒng)計和表示,特征由相鄰詞對左側(cè)的詞攜帶。由于最后一個語法單元上方?jīng)]有依存弧信息,因此其攜帶的特征類型為NULL,表2中省略了其特征結(jié)果的表示。

3.2 語料構(gòu)建

本文采用的語料共有2 516個句子。該語料是根據(jù)真實語音語料轉(zhuǎn)寫的文本,語音的發(fā)音速度為正常朗讀速度。實驗語料共有86 427個漢字,56 858個語法詞,覆蓋了漢語普通話中所有音調(diào)和音節(jié)及各類詞性,語句平均長度為34個字,每句平均含有23個語法詞。

韻律結(jié)構(gòu)層次由人工參照真實語音語料進行標注,詞性標注參考863詞性標注集,依存分析特征標注參考哈工大信息檢索研究室的依存標注規(guī)范[16]。首先,文本語料經(jīng)過軟件進行分詞、詞性標注,再由2名經(jīng)過培訓且有經(jīng)驗的標注人員通過聽取語音語料錄音,給文本標注上相應(yīng)的韻律停頓等級信息,標注一致率達到94.5%。選取其中標注結(jié)果一致的2 100條語句,進行依存句法分析和依存特征自動提取和標注。下面展示出含有詞性、詞長、內(nèi)弧相對區(qū)間及韻律停頓等級的語料標注內(nèi)容。上述例句的語料標注結(jié)果如下:

007-001/m[1]世界/n/2/ATT/(0,1)#B1[2]人口/n/2/SBV/(0,1)#B1[3]增長/v/2/ATT/(0,1)#B1[4]形勢/n/2/(0,2)#B2[5]依然/d/2/ADV/(0,1)#B1[6]嚴峻/a/2/WP/(1,0)#B0[7],/wp/0/COO/(2,-1)#B3[8]專家/n/2/SBV/(0,1)#B1[9]預(yù)計/v/2/VOB/(4,0)#B2[10]本世紀/nt/3/ATT/(0,1)#B0[11]內(nèi)/nd/1/ADV/(0,2)#B2[12]將/d/1/ADV/(0,1)#B1[13]超過/v/2/VOB/(1,0)#B1[14]60億/m/3/WP/(-8,1)#B0[15]。/wp/0/NULL/NULL#B3

4 實驗測試

本文首先使用相對內(nèi)弧區(qū)間特征及其他單一信息的依存特征進行韻律層級預(yù)測,以探索眾多依存特征中有利于韻律層級預(yù)測的特征。然后將各種依存特征進行組合,從而使依存信息的預(yù)測效果發(fā)揮到最好。最后將深層次句法特征和淺層次語法特征相結(jié)合進行預(yù)測,利用全面的文本信息得到更好的韻律層級預(yù)測效果。

4.1 預(yù)測結(jié)果評價參數(shù)

本文將測試集的預(yù)測結(jié)果和正確的分類結(jié)果進行對比。采用的評價參數(shù)為算法準確率(Precision)、召回率(Recall)和綜合參數(shù)(F-Score)。

定義的評價參數(shù)具體如下:

其中,Cij(i=1,2,3,4)表示人工標注的真實分類類型為Bi,而其邊界的預(yù)測類型為Bj的邊界數(shù)目。

4.2 特征選取測試

根據(jù)抽取的特征及其組合,利用決策樹C4.5算法[17]進行實驗,比較不同訓練集上的評價參數(shù)。在訓練時,設(shè)置訓練數(shù)據(jù)與測試數(shù)據(jù)的比例關(guān)系為4∶1,從訓練語料中隨機抽取400句、800句、1 200句、1 600句作為不同數(shù)據(jù)規(guī)模的訓練集分別進行訓練,再統(tǒng)計其在測試集上的結(jié)果,得到不同規(guī)模的訓練語料的實驗結(jié)果。

由于B0層級劃分主要依靠于語法詞分詞信息,而B3級主要依賴于標點符號來劃分,因此本文只列出對語法和句法特征依賴程度較高的B1級和B2級韻律層級對于不同特征及其組合的實驗結(jié)果。

4.2.1 依存特征及其組合選取測試

表3展示了不同依存特征及其組合在不同規(guī)模的訓練集上的準確率。可以看出,當訓練數(shù)據(jù)規(guī)模較小時,無方向的相對內(nèi)弧區(qū)間及內(nèi)弧跨度的預(yù)測能力差別不大。當訓練規(guī)模變大時,內(nèi)弧跨度預(yù)測能力雖然有所提升,但是由于其涵蓋的信息量較少,因此提升幅度有限。而隨著訓練數(shù)據(jù)規(guī)模變大,相對內(nèi)弧區(qū)間對2級韻律層級的預(yù)測效果提升明顯。其中相對內(nèi)弧區(qū)間預(yù)測效果在B2級預(yù)測效果達到最好,比跨度特征高8%左右。從表3中各特征之間的組合預(yù)測效果可以看出,選取的樣本單特征數(shù)量超過2個以上時,若再加入其他單特征,則會導致預(yù)測精確度降低,甚至比單個特征的效果差很多。其原因是當選取的樣本分類特征增加較多時,會產(chǎn)生算法復雜度增加和分類過純問題,最終使得整體準確率降低。

表3 不同依存特征及其組合在不同規(guī)模測試集上的準確率 %

對比以上依存特征及其組合的預(yù)測能力,相對內(nèi)弧區(qū)間與內(nèi)弧類型的組合對2個韻律層級的預(yù)測效果達到最佳,該組合比內(nèi)弧跨度和內(nèi)弧類型的組合在B1層級、B2層級的準確率分別高出6.6%、9.5%。

4.2.2 依存特征與淺層特征組合測試

表4展示了淺層語法特征詞長WLEN、詞性POS和相對內(nèi)弧區(qū)間F9、內(nèi)弧跨度F3、內(nèi)弧類型F1與淺層語法特征組合在訓練集4上的測試結(jié)果。可以看出,在淺層語法特征的基礎(chǔ)上加入2種依存特征組合進行測試時,預(yù)測準確率在原來的基礎(chǔ)上有很大幅度的提升。其中相對內(nèi)弧區(qū)間和內(nèi)弧跨度的組合在兩級韻律層級表現(xiàn)效果最好,B1層級、B2層級分別提高了5.8%、15.4%,且召回率和綜合參數(shù)也高于淺層特征和依存單特征組合,說明本文選取的依存信息融合特征不僅能夠改善淺層語法特征在各韻律層級的預(yù)測準確率,而且更能發(fā)揮依存句法信息對于韻律層級的預(yù)測作用。

表4 淺層語法與依存特征相結(jié)合的測試結(jié)果對比 %

5 結(jié)束語

通過分析依存句法單特征及其組合作為深層韻律層級預(yù)測特征的不足,本文提出依存信息融合特征。該特征在預(yù)測性能上優(yōu)于其他含單一信息的依存特征。由于這種涵蓋信息量大的融合特征表示方法簡單,因此不容易導致分類過純或算法增加復雜度的問題。在與淺層語法信息相結(jié)合時,預(yù)測效果也優(yōu)于其他依存句法單特征的組合。

由于本文研究的重點是在韻律預(yù)測過程中提取最能提高韻律預(yù)測精度的依存句法信息作為預(yù)測特征,因此本文使用決策樹C4.5算法對韻律層級進行分類預(yù)測。實際上,韻律層級的預(yù)測與上下文信息有著密切聯(lián)系,而決策樹C4.5算法不能充分利用此類上下文信息。因此,下一步將結(jié)合預(yù)測特征與上下文信息,提高預(yù)測效果。

[1] 曹劍芬.基于語法信息的漢語韻律結(jié)構(gòu)預(yù)測[J].中文信息學報,2003,17(3):41-46.

[2] ZHANG Xiaonan,XU Jun,CAI Lianhong.Prosodic Structure Prediction Based on Maximum Entropy Model with Error-driven Modification[C]//Proceedings of International Symposium of Chinese Spoken Language Processing.Singapore:[s.n.],2006:149-160.

[3] RAMSHAW L A,MARCUS M P.Text Chunking Using Transformation-based Learning[J].Text Speech & Language Technology,2009,11:82-94.

[4] 錢揖麗,荀恩東,宋 柔.基于SLM的二叉樹在語音停頓預(yù)測中的應(yīng)用[J].計算機工程,2006,32(19):23-25,28.

[5] 錢揖麗,馮志茹.基于語塊和條件隨機場(CRFs)的韻律短語識別[J].中文信息學報,2014,28(5):32-38.

[6] DONG Honghui,TAO Jianhua,XU Bo.Prosodic Word Prediction Using the Lexical Information[C]//Pro-ceedings of International Conference on Natural Language Processing & Knowledge Engineering.Washington D.C.,USA:IEEE Press,2005:189-193.

[7] 裴雨來,邱金萍,王洪君,等.基于詞類序列的漢語語句韻律結(jié)構(gòu)預(yù)測[J].清華大學學報(自然科學版),2009,49(S1):1339-1343,1355.

[8] 王永鑫,蔡蓮紅.語法信息與韻律結(jié)構(gòu)的分析與預(yù)測[J].中文信息學報,2010,24(1):65-70.

[9] 姑麗加瑪麗·麥麥提艾力,艾斯卡爾·肉孜,古力米熱·依瑪木,等.結(jié)合分層條件隨機場與標點符號的維吾爾語韻律邊界預(yù)測[J].計算機工程,2015,41(11):299-302,307.

[10] 朱維彬,呂士楠.基于語義的語音合成——語音合成技術(shù)的現(xiàn)狀及展望[J].北京理工大學學報,2007,27(5):408-412.

[11] 楊鴻武,王曉麗,陳 龍,等.基于語法樹高度的漢語韻律短語預(yù)測[J].計算機工程與應(yīng)用,2010,46(36):139-143,167.

[12] 邵艷秋,穗志方,韓紀慶,等.基于依存句法分析的漢語韻律層級自動預(yù)測技術(shù)研究[J].中文信息學報,2008,22(2):116-123.

[13] 劉 挺,馬金山,李 生.基于詞匯支配度的漢語依存分析模型[J].軟件學報,2006,17(9):1876-1883.

[14] TESNIERE L.Elements of Structural Syntax[M].Amsterdam,Holland:John Benjamins Publishing Com-pany,2015.

[15] 周 明,黃昌寧.面向語料庫標注的漢語依存體系的探討[J].中文信息學報,1994,8(3):35-52.

[16] CHE Wanxiang,LI Zhenghua,LIU Ting.LTP:A Chinese Language Technology Platform[C]//Proceedings of the 23rd International Conference on Computational Linguistics:Demonstrations.New York,USA:ACM Press,2010:13-16.

[17] 欒麗華,吉根林.決策樹分類技術(shù)研究[J].計算機工程,2004,30(9):94-96,105.