漢語口語韻律的作用及其神經機制

任桂琴 劉穎 于澤

摘要漢語是一種聲調語言，在口語韻律表迭中存在獨特的特點。本項目利用漢語不同于非聲調語言的特點，探討已有研究中尚未澄清的問題，即漢語聲調在早期自動加工中對語義激活的作用，以及在不同認知階段中，漢語聲調和語調加工的神經機制。這些問題是當前的研究熱點，但仍存在著各種分歧和激烈的爭論。本項目擬采用ERP方法，結合LORETA源定位技術，通過不同的實驗范式考察以下內容：(1)在早期自動加工過程中，漢語聲調對詞匯語義激活的作用；(2)在早期階段，漢語聲調和語調加工的大腦激活模式；(3)在晚期階段，漢語聲調和語調加工的大腦激活模式。對這些問題的考察將有助于澄清當前的激烈爭論，拓展以往基于非聲調語言研究建立的口語加工理論的適用范圍，為完善言語認知加工的理論模型提供新的實驗證據。

關鍵詞口語；漢語聲調；語調；ERP；LORETA

分類號B842

1問題提出

與書面語相比，口語是一種更為普遍的言語表達形式。然而，與閱讀研究相比，口語研究相對薄弱。口語不同于書面語的一個突出特點是，口語富含韻律信息。韻律信息主要通過重音、語調、韻律結構等韻律特征得以體現。口語韻律(speechmelody)是韻律信息的重要表現形式，主要指口語中與詞匯聲調(Iexical tone)和語調(intonation)相聯系的言語音高模式(xu，2005)。漢語是一種聲調語言，在詞匯的語音構成上存在獨特的特點。考察漢語聲調在早期自動加工中對語義激活的作用，以及在不同認知階段，漢語聲調和語調加工的神經機制，將深化漢語口語加工的認識，拓展基于非聲調語言研究的口語加工理論的適用范圍。同時，這些來自于正常被試的研究結果也將為言語損傷病人的口語加工診斷提供參考。近年來，口語韻律信息的加工已引起了研究者們的高度關注，研究內容主要體現在以下兩個方面：

1.1聲調對詞匯語義的激活作用

在語言學中，每個音節包含兩個語音單元：音段信息(即構成音節的單個音位信息，如元音、輔音等)和超音段信息(即由音位或音位群負載，包括音高、強度、時長等聲音線索，如聲調，重音等)，超音段信息也被稱作詞匯的韻律信息。已有聽覺詞匯識別模型(Marslen-Wilson＆Warren．1994；Norris，1994)在關注音段信息作用的同時，忽略了超音段信息的作用，認為心理詞典中詞條的通達是詞匯音段信息競爭的結果，超音段信息在這一過程中幾乎不發揮作用。這種主要基于英語、荷蘭語研究的理論觀點近年來遭到了來自其他重音語言研究和來自漢語研究的挑戰。

Soto-Faraco等(2001)對母語為西班牙語的被試進行的研究表明，聽覺詞匯識別中音段和超音段信息對語義激活的作用是相同的。來自德語的一項研究(Friedrich et al.，2004)也發現了超音段信息在聽覺詞匯識別中的作用。采用跨通道啟動范式，Zhou等(2004)對漢語詞匯聲調作用的研究發現，由聲調不匹配導致的抑制作用會抵消由音段信息匹配所產生的促進作用，這種抑制作用有賴于聲調的不匹配程度。采用詞匯判斷和同一性判斷任務，Cutler和Chen(1997)發現，與變化超音段信息(聲調)的詞匯相比，被試對變化音段信息的詞匯做出了更快、更準確的反應。Schirmer等(2005)對廣東話的研究發現。由聲調和音段信息導致的語義違反都產生了一個類似N400的負波和一個后正成分。這些研究肯定了音段和超音段信息在詞匯加工中所發揮的不可忽視的作用，這種作用主要體現在注意階段。

不僅如此，在前注意階段(pre-attentive stageof processing)，即自動加工過程中，研究者們也發現了超音段信息的作用。來自跨語言的研究(Pulvermfiller et al.，

2001； Chandrasekaran，Krishnan，＆Gandour，2009)表明，盡管實驗過程中要求被試觀看無聲電影，不注意聲音刺激，但母語被試依然能夠辨別母語詞匯中聲音信息的細微變化，而非母語被試并沒有表現出這一特點。通過變化芬蘭語詞匯的元音和輔音，Pulvermtiller等(2001)發現，芬蘭被試在加工真詞刺激序列時產生的失匹配波(mismatch negativity，MMN)顯著高于假詞刺激序列的加工情況，而母語為俄語和德語的被試在加工這些刺激時并沒有表現出這一特點。被試對母語詞匯聲音的敏感性也表現在非言語聲音的加工過程中(Tervaniemi et al.，2006)。這些研究表明，人腦中可能存在特定言語(尤其是母語)的詞匯聲音記憶痕。

1．2

口語韻律加工的神經機制

口語韻律信息加工的神經機制涉及到大腦言語功能的偏側化問題，即進行口語加工時，大腦兩半球是根據哪些線索進行分工協作的?這一問題已引起了研究者們的高度關注，但目前仍存在各種分歧和激烈的爭議(Wong，2002；Shtyrov，Pihko，＆Pulvermfiller,2005)，其中功能假設(functional hypothesis)和聲音假設(acoustichypothesis)是長期對立的兩大假設。

功能假設也稱作任務依隨假設(task—dependent hypothesis)。該假設認為(Liberman&Whalen，2000)，決定腦功能偏側化的線索是聽覺刺激的功能。當語音模式中攜帶更多的言語信息時，語音的加工偏向大腦的左半球，反之，偏向大腦的右半球。聲音假設也稱作線索依隨假設(cue-dependent hypothesis)。該假設認為(zatorre，Belin，＆Penhune，2002，)，聽覺刺激的聲學結構決定了大腦兩半球的功能偏側化特點。體現頻譜變化的聲音(spectrally variant sounds)主要在大腦的右半球得到加工，而體現時間變化的聲音(temporally variant sounds)主要在大腦的左半球得到加工。這兩大假設都得到了實驗的有力支持。

功能假設得到了來自雙耳分聽(Wang，Jongman，＆Sereno，2001)和腦成像研究(Gandourlet al.，2002；2003；Hsieh，Gandou Wong，＆Hutchins，2001)的支持。以泰語詞匯為實驗材料，Gandour等人(2002)采用fMRI技術對泰語被試和漢語被試加工泰語聲調和元音進行了研究。結果發現，只有泰語被試在聲調判斷條件下激活了大腦左半球的前額下皮層。采用PET方法，Wong，Parsons，Martinez和Diehl(2004)對漢語被試和英語被試加工母語與非母語中的音高信息進行了研究。結果發現，漢語被試在辨別漢語聲調時，大腦左半球的腦島前部皮層得到了激活，在辨別英語

詞匯中的音高信息時，則激活了大腦右半球的對應區域。這些研究表明，大腦對語音信息的加工取決于刺激的功能，與刺激的聲學特征無關。

與此相反，支持聲音假設的研究(sbah，Baum，＆Dwivedi，2006；Luo et al.，2006；Warrier&Zatorre，2004；Ren，Yang，&Li，2009)發現，言語刺激的聲學特征對言語加工的大腦偏側化起到了決定性的作用。我們的一項研究發現，對于有著相同聲學特征、不同言語功能的漢語聲調和語調，無論呈現在言語還是非言語背景中，在早期加工中都表現出了右半球的加工優勢(如圖1所示)。該結果為聲音假設提供了有力的證據。

2研究構想

關于口語韻律的加工過程，已有研究考察了聲調對詞匯語義激活的作用，并對口語韻律加工的神經機制進行了探討，然而，仍存在以下問題：一是對于漢語聲調的作用，盡管以往的這些研究肯定了音段和超音段信息在詞匯加工的注意階段的作用。然而，對于早期自動加工階段，這兩類語音信息是如何激活語義信息的目前尚不清楚。盡管有證據表明，母語詞匯的語音信息對詞匯語義的早期自動激活起著重要的作用，但對音段與超音段信息各自發揮了怎樣的作用尚缺乏深入、細致的研究。二是對于口語韻律加工的腦機制，目前仍存在各種分歧和激烈的爭論。對于該問題的探討，以往大多數研究采用了fMRI或PET等腦成像的方法，對于認知加工的不同階段沒有給予足夠的重視。這種現象很可能是導致爭議和分歧

此外，已有研究對口語韻律加工中聲調和語調的相互作用沒有給予足夠的關注。多年前我國學者(趙元任，1968)就已提出，漢語聲調和語調是相互影響的。研究表明(xu，2005；任桂琴，韓玉昌，周永壘，任延濤，2011)，語調的音高信息變化受聲調的影響。雖然這種影響在泰語研究中也得到了發現(Gandour et al.，1997)，但對于它的認知機制目前尚缺乏研究。漢語為口語韻律的加工研究提供了理想的材料，為深入探討聲調和語調的相互作用提供了可能。本項目將在早期和晚期階段對這一影響做深入的研究。

針對以往研究中存在的問題，本項目立足于漢語認知，將著重考察聲調在早期自動加工中對語義的激活作用，并在此基礎上，進一步探討聲調和語調加工的腦機制。對于這些問題的研究，本項目擬采用具有高時間分辨率的ERP技術，在傳統腦電分析的基礎上，運用LORETA方法進行腦區定位，關注口語韻律加工的時一空特點，以揭示口語韻律加工的動態腦激活模式。的一個重要原因。盡管腦成像方法具有高空間分辨率，對于大腦的功能定位是非常精確的。然而，由于時間分辨率較低，單純采用這種方法難以確定研究結果的時間特性，這樣必然會一定程度地掩蓋由于時間點變化所帶來的影響，難以揭示腦區激活的動態模式。

2.1漢語聲調在早期自動加工中對詞匯語義激活的作用

已有研究(Pulvermfiller et al.，2001)揭示了元音、輔音等音段信息在早期自動加工過程對詞匯語義激活的作用。然而，目前還不清楚，在早期自動加工過程中，漢語聲調能否激活詞匯的語義信息，以及如何激活語義信息。對該問題的考察我們將采用被動的OddbaH范式，要求被試在聽語音刺激的同時觀看無聲電影。這部分內容主要關注的腦電成分為MMN。分析MMN的波幅、潛伏期，同時采用LORETA方法分析MMN的發生源。

MMN是反映聲音信號早期自動加工的一個有力工具，這一成分常用于考察聽覺信號和口語信息表征的神經機制(Naatanen，2001；2002；Pulvermiiller et al.，2001)。MMN可由傳統的Oddball范式產生，也可以由新的Oddball范式產生。雖然注意過程能夠對MMN的波幅產生影響，但該成分可以在沒有任何實驗任務的情況下自動產生。通過MMN考察口語加工的優勢在于既能夠探測到聲音信息的自動加工過程，也能夠探測到聲音信息感知的腦機制。

2.2漢語聲調和語調加工的神經機制

由于注意資源的分配會對MMN的波幅和發生源產生一定的影響(Restuccia，Marca，Marra，Rubino，&Valefiani，2005；Grimm＆Schr6ger,2005．)，因此，我們將分別考察漢語聲調和語調在早期自動加工、早期控制加工中的神經機制。在漢語普通話中，四個聲調可能對語調加工產生不同的影響(xu，2005)。例如，附著在四聲調漢字后的語調變化在早期加工中能夠被自動地識別(Renet al.，2009)，而附著在二聲調漢字后的語調變化則難以被自動地分辨出來(任等，2011)。目前還不清楚，這種自動加工中存在的感知困難是否也存在于注意加工過程中，以及漢語聲調和語調在早期階段是如何相互影響的。該項目擬分別采用被動的和主動的Oddball范式，考察漢語聲調和語調在早期自動加工、早期控制加工中的神經機制。

除了早期加工，我們也將考察漢語口語韻律在晚期階段的加工過程。在漢語中，言語音高信息的變化既可以體現在音節水平上，也可以體現在句子水平上。盡管已有研究采用fMRI方法考察了言語時間窗口對腦區激活的影響(Gandour etal.，2003，)，但未探討時間進程。雖然我們在最近的一項研究中(任等，2011)考察了言語信息整合的時間窗口對語調早期感知的影響，但不系統，沒有涉及到晚期加工過程。對于晚期加工過程，目前還不清楚，漢語口語韻律加工的時間進程如何，與時間進程相聯系的腦激活區域如何變化，以及漢語聲調和語調在晚期階段是如何相互影響的。該項目擬在不同的語境條件下考察漢語口語韻律的加工過程。實驗采用辨別范式(discriminationparadigm)，實驗任務為聲調或語調的一致性判斷，主要關注P300和N400成分。

3研究意義及預期結果

本項目立足于漢語認知，充分利用漢語作為一種聲調語言不同于非聲調語言的特點，探討口語韻律的作用及其作用的腦機制。在漢語中，言語音高信息的變化既可以表示聲調，也可以表示語調。用于表示聲調時攜帶著詞匯的語義信息，具有語義區分的功能，用于表示語調時則不具有這一功能，但可以傳達態度、語法等信息。不僅如此，音高信息的變化還可以體現在不同的言語結構水平上，既可以表現在音節水平上，也可以表現在句子水平上。漢語的這些特點為口語韻律的加工研究提供了理想的材料。

對于聲調在早期自動加工中的作用，以及口語韻律加工的腦機制，我們擬采用ERP方法結合LORETA技術這一研究手段。ERP記錄能夠提供精確的時間信息，LORETA源定位分析可以獲得相應的空間信息。LORETA分析是一種功能性腦成像的估計方法(Pascual-Marqui，1999)。這是一種解決了EEG相反問題的算法，是通過發現所有與頭皮分布一致的可能的求解中最平滑的解來得以實現的(Pascual-Marqui，Michel，＆Lehmann，1994)。盡管與fMRI、MEG等腦成像方法相比，LORETA是一種粗略的估計方法，然而它能夠提供大腦在某一階段加工時的空間信息，與ERP數據提供的時間信息一起，為理解某一認知加工的時間一空間特點提供依據。研究表明(Laufer＆Pratt，2005；Ren Bt al.，2009，)，這是考察口語加工的一種富有成效的研究手段。

總之，口語韻律的加工研究為我們理解大腦的功能，理解口語加工過程提供了依據。然而，無論是聲調對語義激活的作用，還是不同認知階段口語韻律加工的神經機制，都有待于深入的研究。本項目立足于漢語口語韻律的加工過程，分別對聲調的作用、聲調和語調加工的腦激活模式進行考察。研究結果將深化漢語口語加工的認識，拓展基于非聲調語言研究的口語加工理論的適用范圍，為完善人類言語加工的理論模型提供新的實驗證據。同時，這些來自于正常被試的研究結果也將為言語損傷病人的口語加工診斷提供參考。