韻律特征研究

摘要介紹從知覺、認知和語料庫分析角度對漢語韻律特征進行的一系列研究。（1）韻律特征知覺：用實驗心理學和知覺標注的語料庫分析方法，研究漢語語調和音高下傾與降階問題，語句和語篇中知覺可以區分的韻律層級及相關的聲學線索。研究結果支持漢語語調的雙線模型理論和語句音高下傾的存在；證明語篇中知覺可以區分的韻律邊界是小句、句子和段落，及其知覺相關的聲學線索。（2）韻律特征與其他語言學結構的關系：在標注的語料庫的基礎上，用常規統計方法研究語句常規重音分布規律、語篇信息結構與重音的關系、并用決策樹方法研究根據文本信息確定韻律短語邊界和焦點的規則。（3）韻律特征在語篇理解中的作用：用實驗心理學方法和腦電指標研究韻律對語篇信息整合和指代理解的影響，揭示其作用的認知和神經機制。討論了這些研究結果對語音工程、語音學理論和心理語言學研究的實踐和理論意義。

關鍵詞韻律特征，語調，韻律邊界，重音，語句，語篇。

分類號B842

韻律特征是語言的一種音系結構，與句法和語篇結構、信息結構等其他語言學結構密切相關。韻律特征可以分為三個主要方面：語調、時域分布和重音，通過超音段特征實現。超音段特征包括音高，強度以及時間特性，由音位或音位群負載。韻律是人類自然語言的一個典型特征，具有許多跨語言的共同特點，比如：音高下傾、重讀、停頓等都普遍存在于不同的語言之中。

韻律特征是語言和情緒表達的重要形式之一[1，2]。理解口語需要韻律特征，閱讀文本語句和語篇時，也要借助韻律特征[3，4] 。由于在語言中的重要地位，韻律特征研究受到語言學、心理學、認知神經科學和語音工程等諸多領域的重視。國際上對韻律特征的研究起步于上世紀70年代。在語音工程發展的推動下，研究的規模越來越大?！把哉Z韻律”系列國際會議，自2002年開始，每兩年舉行一次。

近年來，我們圍繞韻律特征的知覺、韻律特征與句法和信息結構的關系，以及在口語語篇理解中的作用，開展了一系列研究。希望這些研究結果對于語音合成與識別系統的研制、語法成分間問題界面的理論探討以及發展口語理解和口語產生的心理語言學理論有所貢獻。

1 韻律特征知覺

在語流中，韻律特征通過基頻、時長和強弱等超音段特征的系統變化實現。但韻律特征歸根到底是知覺的產物。研究證明，知覺結果與這些因素之間不是簡單的對應關系。漢語語調、重音和韻律邊界的特點，知覺相關的聲學語音學線索，以及這些線索之間的關系是我們研究的主要問題。

漢語是一種聲調語言。聲調是音節基頻變化的時間模式，具有區別意義的功能。語調是語句層次的基頻變化模式。關于漢語語調的結構及其與基頻變化的關系，特別是語調與聲調之間的關系，是語音學研究的重要理論問題。趙元任提出音域概念和橡皮帶假說[5]。在此基礎上，吳宗濟和沈炯提出各自的語調理論，二者存在明顯分歧。吳宗濟（1993）認為，帶有強調重音的語調是以基本單元調型連讀變調為基礎的，全句調域擴大，聲調起伏加大，或全句的調域提高[6]。人們對聲調的感知不是辨析其絕對頻率的高低，而是各調類的相對音高關系。沈炯（1985）認為在音域單元構成的高音線－低音線雙線語調模型中，語調對音域的上限和下限分別起調節作用[7]。高音線和低音線是兩種獨立的因素。上限的調節變化和語義的加強相關，下限的調節變化和節奏的完整性相關。

王蓓等通過語調知覺實驗和語料庫樣本分析研究重音的聲學線索，同時對兩種語調理論進行了檢驗[8]。結果發現，在漢語語調的雙線模型中，高音線與重音的變化相關；低音線與韻律層級結構相關。高音線的起落變化反映了音節的重讀程度；低音線的下傾和重置反映了韻律單元的大小和相互包含關系；并且在段落以內，低音線對韻律單元有著組織作用。漢語語句音高的下傾和重置是由音域下限的移動實現的。研究結果明確支持雙線語調模型的理論。這一研究為漢語語調理論研究提供了重要的實證數據，受到語音學和語音工程界的重視。

針對語調理論中下傾和降階問題，黃賢軍等設計了特定聲調組合的實驗室語句，對漢語語調中的音高下傾和降階模式進行了探討[9，10]。結果發現，高音成分除了受整體的下傾影響外，還受局部的降階作用。降階的同化和逆化作用主要使語調曲線的高音成分產生變化，而不影響語調曲線中的低音成分，低音點的下降主要受全局性的下傾的影響。在不同聲調組合的漢語平敘陳述句中，低音線清晰地呈現出以韻律短語為基本單元的有規律的下傾現象。而且隨聲調組合的不同，以及承載音高下傾特征點的音節在韻律詞中位置的不同，低音線的斜率和相對于頻率軸的位置不同。當低音點處于韻律詞詞首時，低音線斜率的絕對值大于低音點處于韻律詞詞末時；韻律短語音高下傾程度還受它在句中所處位置的影響，位于句首的韻律短語下傾程度大于句末的韻律短語；主句包含多個韻律短語時，它們的低音線起點是依次單調遞降的。

言語信號在時間上展開，具有一維性。通過語言學成分之間的時間關系，即韻律結構，表達語句句法結構這樣的二維層級結構。韻律結構知覺有助于句法結構解析，可以說是語言理解的前提之一。語句中知覺可以區分的韻律層級是什么？不同層級的韻律邊界如何表達？這些語音學和語音工程關注的重要問題，目前研究尚不充分。

我們在實驗室語句研究的基礎上又用語料庫方法進行了探討[11]。語料庫由500個慢速朗讀和37個快速朗讀語句組成。按照三個等級對語句中每個音節后的間斷進行知覺標注。結果表明，句內的主要韻律成分有韻律詞、韻律短語和語調短語；知覺等級的劃分與語法單元基本對應，但也不是簡單的一一對應。對韻律層級邊界進行聲學分析，結果證明：漢語語句音高的下傾和重置是由音域下限的移動實現的；韻律詞邊界的聲學線索是低音線的不連續性和邊界前音節的延長，一般沒有無聲段；韻律短語和語調短語邊界的聲學線索是低音線重置和無聲段，邊界等級越高，低音線重置程度越大，無聲段也越長；知覺等級與無聲段成對數增長關系?？梢哉f，邊界前音節的延長和音高的不連續是弱邊界的聲學線索，音高重置和無聲段是強邊界的聲學線索。

語篇是由若干句子構成的完整語言單位。如同語句具有句法結構一樣，語篇是由大尺度信息單元或語段組成的等級結構。這種等級結構同樣可以借助韻律特征表達。在語篇中有哪些知覺上可以區分的韻律層級？這些層級的聲學語音學表現是什么？語篇層面上的韻律知覺問題國內尚無人涉及。我們通過大規模語料庫的韻律結構知覺標注和語音分析，對這些問題進行研究[12]。分析了語篇內小句、單句、復句和段落四種信息單元的韻律特征，這些單元邊界等級的知覺差異、邊界的音高和無聲段的變化規律、語篇內音高下傾的趨勢等。研究結果表明，語篇中有韻律意義的大尺度信息單元有小句（對應語調短語）、句子（包括單句和復句）和段落；單句和復句邊界沒有知覺等級和聲學特征上的顯著區別，對應同一韻律單元。這些邊界等級通過邊界前后音節的音高對比實現，即音高重置程度。段落和復句內的語調短語基本以平行的模式存在，沒有明顯規律性的整體語調下傾現象。信息單元越大，無聲段越長，且變化的自由度越大；在小句邊界處無聲段與音高重置程度顯著正相關。

2 韻律特征與句法和信息結構的關系

作為一種音系結構，韻律特征與語法結構和信息結構等其他語言學結構之間存在相關和相互制約的關系，這使得韻律特征在語言產生和理解中具有重要地位。對這些關系進行研究，具有理論和現實意義。在語音工程中，要把一個文本轉換成口語，除了要把每個字對應的音節生成出來，還必須根據文本的語法和語義，加上韻律特征，才能合成一段可以接受的自然語言。韻律處理的好與不好，對合成語言的準確與自然度有決定意義。因此需要研究韻律與句法、語義的關系。我們用語料庫方法對常規重音分布規律、重音分布與語篇信息結構的關系問題進行了初步探索。

常規重音是由句子的語法結構特點決定的。它在表達上具有提示、突出話語中某些句法成分的作用。作為常規重音的成分，一般是語意較強的實詞。這些充當句子重音的句法成分在句子中擔負傳遞重要信息或新信息的任務。語言學家對漢語語句常規重音分布規律有許多不同的看法。我們對它們進行梳理和檢驗，并考察了常規重音的聲學語音學線索[13]。通過構建中等規模的“句法－韻律－聲學參數”關系庫，探討句法與常規重音、重音與聲學相關物之間的關系。還研究了這些規則在自然話語中使用的條件與優先級別。研究結果表明，常規重音分布規則可分為三類：基本規則，特殊規則和優先規則。配置常規重音時，應當最先使用優先規則，凡符合優先規則條件的語句按照優先規則進行常規重音的配置；當搜索完所有優先規則仍沒有匹配規則時，可進行較低優先級的特殊規則的搜索；在前兩類規則均無符合使用條件時，最后使用基本規則進行條件匹配和常規重音配置。這些規則，為我們構建文語轉換系統的韻律模塊提供重要的實驗基礎。無論是文本還是口語都具有信息結構。每一個句子可以劃分為兩部分，如新信息/舊信息、焦點/背景等。新信息指在語篇中剛剛加入的新內容；舊信息指前面語境中出現過或可以根據背景知識推論出的信息。在口語中，信息結構與重音分布存在一定的對應關系。通常，新信息重讀，舊信息不重讀。這樣，聽者對韻律合適度評價高，理解也更快。對新舊信息與重讀的關系，已有研究多基于推理，缺乏大量數據的實驗證據。

我們對10個語篇構成的語料庫進行重讀程度標注，探討詞性與負載新舊信息的關系，以及對新舊信息更細的分類是否具有韻律上的意義[14]。對重讀程度的標注分為三級，明顯、較明顯和不明顯。新舊信息的標注以詞為單位，分為二分的和連續的定義。研究發現，新信息的重讀程度高于舊信息，當舊信息在句子中處于對比或焦點位置時，也會被重讀。負載信息新舊狀態的主要是名詞，動詞的重讀程度比較低，即使是新信息也常常不被重讀。形容詞重讀程度比較高，它的信息狀態對重讀程度沒有顯著影響。還發現，在連續的概念下區分新舊信息是有意義的，全新的信息重讀程度高于一般的新信息，因為它更容易成為語篇的焦點和注意的中心。這一研究結果對于語言合成的韻律建模，特別是重音設置規則具有重要的啟發意義。

對信息結構的研究代表了對語言研究的一種獨特的視角，在國際上正越來越多的受到重視。德國波斯坦大學等組織了有40余位學者參加的大型國際合作研究，對信息結構從語言學、心理學等不同角度進行研究，并預期在這個領域將有重大突破性進展。而國內的相關研究還很少。

與信息結構密切相關的是語句和語篇的焦點問題。在言語交流過程中，焦點起著很重要的作用。說話者通過焦點將語義中最重要的信息表達出來；在理解過程中，聽話者通過表層的語音信息將焦點中的核心信息和重要信息確定下來。在文語轉換系統中，重音的位置和語調曲線的生成都有賴于焦點的確定。如何確定文本語篇中焦點所在位置？我們在研究中對文本語篇進行了信息狀態、句法、焦點敏感算子、邏輯關系等多維標注，然后用知識發現的方法提取規則。研究初步發現，各種聚焦手段是相互影響的，在不同的語境下其優先級別不同。

我們還通過語料庫分析研究了如何根據文本確定語句韻律邊界。語言學研究證明，話語韻律與句法之間實質是一種相互制約的關系。韻律特征在某種程度上反映句法內容，同時句法內容也在一定程度上左右著韻律特征的形成，但這種制約關系并不具有強制性。我們的研究發現，句法結構與韻律結構并不是一種平行或同步關系，韻律結構和句法結構的不一致主要發生在低級層次上；而在高級層次上，兩者的一致程度較高。以上是使用語料庫方法獲得的一些統計規律。應該看到，韻律特征與語法和信息結構的關系是相當靈活的。而且，除了語言學功能之外，韻律特征還有語用、情緒表達等多種功能。語言中韻律特征的預測和實現，是一個十分復雜的問題，有待今后進一步深入研究。

3 韻律特征在語篇理解中的作用

我們從語篇信息整合和指代理解兩個角度對韻律特征及其與其他語言學結構之間的關系在語言加工中的作用進行了探索。

我們首先對重讀與信息結構之間的對應關系對語篇加工的影響進行研究[15]。實驗研究發現，與無重點條件相比，如果新信息重讀而舊信息不重讀，即重讀與信息結構一致，會促進語篇加工；如果不一致，會阻礙語篇加工。用跨通道詞匯再認任務研究實時加工過程中重讀對所標示信息的激活水平的影響，表明重讀會促進信息的激活水平。在一致性重讀條件下，重讀會提高新信息在語篇表征中的激活水平；這種影響在重讀詞匯1000ms之后出現，持續相對較長的時間。在不一致性重讀條件下，重讀提高舊信息在語篇中的激活水平，但同時抑制新信息的激活；這一促進和抑制作用在關鍵詞匯后的500ms出現。用ERP研究詞的信息狀態不同時，重讀怎樣和何時影響口語語篇理解，得到了一系列有趣的發現。重讀在雙字詞開始后120~130豪秒即對N400的幅度產生影響，雙字詞開始后350~360ms重讀與信息狀態間的交互作用開始出現。不論是新信息還是舊信息，重讀比不重讀誘發更大的N400；但對于新信息，重讀引起的N400的差異小于舊信息。結果說明，在口語理解中，聽者能夠很快把重讀的意義與先前的語境相匹配；影響重讀詞匯與先前語境的語義整合，聽者在新舊的語義水平上解釋重讀的意義。

重讀和句法結構、重讀和動詞隱含因果性如何影響歧義代詞的理解，作用是否是即時的，以及這些不同種類的因素在理解過程中是如何相互作用的？我們采用多種方法相結合進行了一系列探討[16]。

首先，采用延時判斷法研究了重讀和句法結構對歧義代詞指認的影響。結果表明，在不同的句法結構中，重讀對聽者注意焦點的轉移有不同的作用。在平行結構的句式中，重讀使聽者的注意焦點轉移到前行語句中突顯度較低的實體上；但在不平行結構的句式中，沒有觀察到重讀引起注意焦點轉移的作用。這表明，重讀對指代理解的作用在一定程度上受句法結構的影響。

在進一步的研究中，我們優化實驗設計、對語料進行了更嚴格的控制，結合聽覺動窗法和跨通道探測詞再認法，探討了重讀和動詞隱含因果性對代詞加工的影響及其時間進程。研究表明，重讀在不平行結構的句式中會即時地影響代詞可能先行詞的激活水平，引起聽者注意焦點的轉移，為“注意驅動理論”[16，17]提供了實驗證據支持，加深了我們對重讀作用的認識；動詞隱含因果性即時地影響代詞可能先行詞的相對激活水平，并且影響代詞先行詞的指認，傾向于支持焦點假設[18，19]，實驗結果為語言加工系統的即時性假設提供了支持性證據；此外，重讀和動詞隱含因果性在漢語句子理解和代詞加工過程中存在相互作用。

近年來，我們從知覺和認知的角度對韻律特征開展的研究，系統探討和回答了韻律與聲學語音學參數、韻律與廣義語法其他成分（句法結構、信息結構等）之間的關系，以及韻律在語言理解過程中的作用。這些研究結果深化了我們對漢語韻律的認識，也豐富了我們對語言（特別是口語）理解和產生的認識。這對于語音學和語音工程的理論和實踐問題的探討和解決，對于構建語言認知的理論模型提供了實驗研究基礎。

參考文獻

[1] Crystal D. Prosodic Systems and Intonation in English Cambridge University Press， 1969

[2] Kent R D， Read C. The Acoustic Analysis of Speech. CA， Singular Publishing Group， Inc. San Diego， 1992

[3] Koriat A， Greenberg S， Kreiner H. The extraction of structure during reading: Evidence from reading prosody. Memory and cognition， 2002， 30(2): 270~280

[4] Fodor G. Psycholinguistics can’t escape prosody. Proceedings of the Speech Prosody 2002 Conference. Aix-en-Provence， S. 83~88

[5] 趙元任著，呂淑湘譯. 漢語口語語法. 北京：商務印書館，1979

[6] 吳宗濟. 普通話語調分析的一種新方法：語句中基本調群單元的移調處理. 語音研究報告，中國社會科學院語言研究所，1993

[7] 沈炯. 北京話聲調的音域和語調. 見：林燾，王理嘉 主編. 北京語音實驗錄. 北京大學出版社，1985

[8] 王蓓， 楊玉芳， 呂士楠. 漢語語句中重讀音節音高變化模式研究. 聲學學報，2002，27(3): 234~240

[9] 黃賢軍， 楊玉芳， 呂士楠. 韻律短語的音高下傾實驗研究. 第八屆全國人機語音通訊學術會議論文集.聲學技術，2005. 24: 360~364

[10] 黃賢軍，楊玉芳，呂士楠. 漢語語調降階的實驗研究. 聲學學報，待發表

[11] 王蓓，楊玉芳，呂士楠. 漢語韻律層級結構邊界的聲學分析. 聲學學報，2004， 29(1): 29~36

[12] 王蓓， 楊玉芳， 呂士楠. 漢語中大尺度信息單元的聲學線索. 聲學學報，2005， 30(2):177~183

[13] 鄭波， 楊玉芳. 常規重音分布規則. 應用聲學，2006，待印刷

[14] 王蓓，楊玉芳. 第六屆全國語音學學術研討會論文集，2002

[15] 李曉慶， 楊玉芳. 不一致性重讀對口語語篇加工中信息激活水平的影響. 心理學報，2005， 37(3): 285~290

[16] 申敏，楊玉芳. 動詞隱含因果性與韻律特征對語篇指代理解的影響. 心理學報，2006，待印刷

[17] Cahn J. The effects of pitch accenting on pronoun referent resolution. In: Proc of the Association for Computational Lingustics (ACL). Cambridge， Massachusetts， 1995. 190~193

[18] Kameyama M. Stressed and unstressed pronouns: complementary preferences. In: Peter Bosch， Rob van der Sandt ed. Focus: Linguistic， Cognitive， and Computational Perspectives， Cambridge University， 1999. 306~321

[19] Gordon P C， Grosz B J， Gilliom L A. Pronouns， names， and the Centering of attention in discourse. Cognitive Science， 1993， 17: 311~47

Studies on Speech Prosody

Yang Yufang， Haung Xianjun， Gao Lu

(Institute of Psychology， Chinese Academy of Science， Beijing 100101， China)

Abstract: Prosody is the phonological structure of spoken language， plays important role in speech production and comprehension. This paper reviewed a series investigations on prosody conducted in the Lab of Spoken Language Processing in recent years. (1) The intonation and declination of fundamental frequency in Chinese sentences， prosodic boundaries in discourses and their perceptually relevant acoustic cues were investigated with both psychological experiments and speech corpus analyses. The results give a support in “two contours theory” of Chinese intonation and the existence of F0 declination; (2)The relations between accentuation， syntactic structure， and information structure， as well as the rules of assignment of prosodic phrase boundaries and focuses in written sentences and discourses were investigated with the methods of both statistical analyses and knowledge discovery on the bases of labeled speech corpus. (3)The roles of prosody in information integration and pronoun understanding in discourses were explored with both behavioral and ERP experiments. The consequence of the results for the development of speech engineering system and implications for the theories of spoken discourse processing were discussed.

Key words: prosody， sentence， discourse， speech corpus analysis.