視覺加工對英語母語者漢語聲調產出的影響

賈琳，王建勤

（1.北京華文學院培訓部，北京100037；2.北京語言大學對外漢語研究中心，北京 100083）

視覺加工對英語母語者漢語聲調產出的影響

賈琳1，王建勤2

（1.北京華文學院培訓部，北京100037；2.北京語言大學對外漢語研究中心，北京 100083）

視覺加工；聲調產出；多模態學習

本文考察了視覺加工對英語母語者漢語聲調產出的影響，并引入多模態學習理論通過不同的實驗任務考察了視覺加工影響學習者聲調產出的內在機制，研究表明：（1）在延時測試中，對零起點漢語學習者來說，三周的視聽知覺訓練沒有顯著改善學習者的聲調產出；（2）對于低水平漢語學習者來說，即時呈現教師的手勢可以引導學習者發音器官的運動，可用于課堂上的即時糾音。對于高水平學習者來說，由于四個聲調的發音模式已經建立并固定下來，不易受教師手勢的干擾。

0.引言

漢語是聲調語言。漢語聲調難學是對外漢語教學界討論較多，但一直沒有得到很好解決的問題。在對2010年哈佛北京書院二年級學生的調查中，我們發現，有學生認為手勢可以幫助自己更準確地產出聲調。然而，在對他們的課堂觀察中，我們發現學習者產出的聲調常常和自己所打的手勢不一致。已有研究從教學經驗出發，鼓勵教師和學生采用打手勢這一學習策略（張拱貴，1988；喻江，2007）。由于缺乏實證性研究，結論缺乏可靠性。同時，已有研究沒有對打手勢這一學習策略背后的學習者內在習得機制進行探討。本研究希望通過實證性研究來考察打手勢這一學習策略的有效性，以及這一學習策略背后學習者的內在習得機制。打手勢這一學習策略的本質是學習者對表示四聲的動態手勢即聲調的動態調形進行視覺加工，因此，本文研究的問題是：（1）視覺加工對聲調產出是否有促進作用；（2）如果有促進作用，視覺加工促進聲調產出的內在機制是什么。

生命科學的研究成果告訴我們，生命體在演化過程中逐步獲得視覺、聽覺、嗅覺、味覺、觸覺等五種不同的感知通道（sensory channel），這些通道是生命體與周圍環境進行信息交換的界面和路徑。這些感知通道的獲得分別導致以下五種交際模態的產生：視覺模態（visual modality）、聽覺模態（auditive modality）、嗅覺模態（olfactory modality）、味覺模態（gustatory modality）和觸覺模態（tactile modality）（朱永生，2007）。在上述模態中，與本研究關系最緊密的是視覺模態和聽覺模態。顧曰國（2007）將模態定義為人類通過感官（如視覺、聽覺等）跟外部環境（如人、機器、物件、動物等）之間的互動方式。正常人之間的互動都是多模態的。孔江平（2010）對漢語普通話語音進行了多模態研究，主要涉及光動態發音動作研究、核磁共振聲道研究、電子腭位發音動作研究、嗓音發聲類型研究、唇形唇讀研究、動態聲門研究及呼吸帶語音韻律研究。上述研究使我們對于音段音位的研究更加深入，但由于四個聲調間的差異在喉頭等發聲器官上的表現不易被察覺，上述研究并未在聲調研究方面取得大的進展。Chen和Massaro（2008）模仿音段音位的視聽知覺訓練，為被試提供發音人的面部信息（包括脖子、頭和口發音時的動作），訓練被試對漢語聲調的感知。結果發現這種訓練方法并沒有顯著提高被試的感知能力。這是由超音段音位的特點決定的，音段音位的視覺線索可以表現在唇形上，而超音段音位的差異可能在于喉頭運動的變化，而這種變化很難被察覺。既然喉頭運動上的變化難以外化，我們是否可以采用動態手勢這種外化的方法來引導學習者內部發聲器官的運動呢？本研究嘗試引入多模態學習理論來解釋這一方法對學習者聲調產出的作用，以期深化對學習者內在習得機制的認識。

1.視覺加工對聲調產出的作用

1.1 實驗目的

考察母語為英語的漢語學習者在聲調產出過程中，視覺和聽覺雙通道的加工方式的習得效果是否好于只有聽覺的加工方式。

1.2 實驗方法

1.2.1 實驗設計

本實驗采用單因素被試間實驗設計。

自變量：加工方式，為被試間變量，分為2個水平：

（1）實驗組：采用視覺和聽覺雙通道的加工方式。

（2）控制組：只采用聽覺的加工方式。

因變量：被試在產出測驗中的前后測得分的差異，即后測與前測得分之差。

1.2.2 被試

英語為母語的零起點學習者（學習漢語時間為1個星期）28人，其中實驗組15人，控制組13人。他們沒有其他有聲調語言學習經歷，也沒有接受過長期的聲樂訓練。

1.2.3 實驗材料

實驗材料分為產出測試音節表（見附錄一）和訓練音節表（見附錄二）兩部分。

產出前測音節表和產出后測音節表是一個隨機音節表，包括相同的80個單音節，全部來自產出測試音節表。為避免音段信息對被試聲調感知的影響，實驗全部采用自然的單音節形式，詞的選取為單元音的結構，都有聲母。發音人是一名普通話水平為一級乙等的中國女性。錄音在安靜的語音實驗室，用Praat語音軟件進行錄音，語音樣本都為16位單聲道的錄音，語音采樣率為4 4100 HZ。音節之間的時間間隔（inter－trial－interval）為3 000 ms。

訓練音節表，包括120個不同音節，每類聲調30個音節。

1.2.4 實驗程序

兩組被試采用不同的學習方法，實驗組采用視覺和聽覺雙通道的加工方式，控制組采用只有聽覺的加工方式。

（1）前測：請被試讀產出前測音節表，用Praat進行錄音，之后請母語者對被試的產出進行判斷，正確的記一分，錯誤的記零分，最后計算被試的得分。

（2）訓練：前測結束后，被試開始為期三周的訓練，每周五次，每次訓練時間為10分鐘，前測與第一次訓練為同一天，最后一次訓練結束后進行后測。實驗組：教師領讀訓練音節表，領讀的同時用左手在空中劃出相應的調號，請被試跟讀。控制組：教師領讀訓練音節表，請被試跟讀。

（3）后測：請被試讀產出后測音節表，用Praat進行錄音。之后請母語者對被試的產出進行判斷，正確的記一分，錯誤的記零分，最后計算被試的得分。

1.3 實驗結果

運用SPSS 16.0統計軟件對實驗一的數據進行獨立樣本t檢驗，結果顯示：

（1）實驗組和控制組產出前測得分差異不顯著，t＝－0.402，df＝26，p＞0.05。

（2）在后測與前測得分之差這個指標上，實驗組和控制組差異不顯著，t＝－1.270，df＝26，p＞0.05。

表1：聲調產出測試中被試的平均得分

1.4 討論

實驗結果表明，實驗組和控制組產出前測得分差異不顯著，在后測與前測得分之差這個指標上，實驗組和控制組差異不顯著，說明對于聲調產出來說，視覺和聽覺雙通道的加工方式與只有聽覺的加工方式沒有統計學意義上的差別。那么，視覺加工對聲調產出是否真的沒有促進作用？抑或是這種作用由于訓練時間短、訓練頻次少、實驗任務難而被掩蓋？實驗二將通過區分漢語水平、改變實驗任務進一步探討視覺加工對學習者聲調產出的作用。

2.視覺加工影響聲調產出的內在機制

2.1 實驗目的

通過不同的實驗任務考察視覺加工是否影響學習者聲調產出，如有影響，其內在機制是什么。

2.2 實驗方法

2.2.1 實驗設計

本實驗采用2×3兩因素混合實驗設計。

因素一，學習者漢語水平，為被試間變量，分為2個水平：低、高水平。

因素二，刺激呈現方式，為被試內變量，分為3個水平：手勢與聲調一致、手勢與聲調不一致、只有聲音。

因變量：被試聲調產出的得分。

2.2.2 被試

歐美低水平學習者（學習漢語時間為1個月左右）22人、歐美高水平學習者（學習漢語時間為1年左右）21人。被試均沒有其他聲調語言的學習經歷，也沒有接受過長期的聲樂訓練。被試男女各半，年齡均在18至35歲之間。

2.2.3 實驗材料

請北京語言大學漢語速成學院的一位男教師邊打手勢邊發出相應的音節，不呈現他的面部信息。音節為bā、bá、bǎ、bà。共錄制16種組合，其中，

（1）手勢與聲音一致的條件下有4種：

手1口1，手2口2，手3口3，手4口4；

（2）手勢與聲音不一致的條件下有12種：

手1口2，手1口3，手1口4，

手2口1，手2口3，手3口4，

手3口1，手3口2，手3口4，

手4口1，手4口2，手4口3。

將以上錄像材料制作成以下兩種實驗材料：

語音材料：包括24個刺激，手勢與聲音一致的4種組合，每種重復6次。兩個刺激之間的時間間隔為1 400 ms。24個刺激排列順序隨機。

視頻材料：包括48個刺激，其中手勢與聲音一致的4種組合，每種重復6次，共24個刺激；手勢與聲音不一致的12種組合，每種組合重復2次，共24個刺激。兩個刺激之間的時間間隔為1 400 ms。48個刺激排列順序隨機。

2.2.4 實驗程序

播放語音材料時，請被試不看電腦屏幕，只聽聲音。在1 400 ms的間隔中重復所聽到的音節，主試對其進行錄音。播放視頻材料時，請被試看電腦屏幕，在1 400 ms的間隔中重復聽到的音節，主試對其進行錄音。每個組合之間間隔為1 400 ms，請被試在這段時間內發音。錄音材料和視頻材料播放順序隨機。

請漢語母語者對被試的錄音進行判斷，被試發音與所聽到的音節調型一致的記一分，不一致的記零分，最后統計被試的得分。

2.3 實驗結果

運用SPSS 16.0統計軟件對實驗二的數據進行方差分析，結果顯示：

漢語水平的主效應顯著（F（1，41）＝70.750，p＜0.01），表現為高水平學習者的得分高于低水平學習者。刺激呈現方式的主效應顯著（F（2，82）＝72.740，p＜0.01）。二者交互作用顯著（F（2，82）＝66.596，p＜0.01），簡單效應檢驗表明，在手勢與聲調一致條件下，低水平與高水平學習者的得分差異不顯著（p＞0.05）；在手勢與聲調不一致條件下，低水平與高水平學習者的得分差異顯著（p＜0.01），表現為低水平學習者的得分低于高水平學習者；在只聽聲音條件下，低水平與高水平學習者的得分差異不顯著（p＞0.05）。

2.4 討論

實驗結果表明，學習者漢語水平與刺激呈現方式交互作用顯著。

（1）在手勢與聲調一致和只有聲音這兩種條件下，低水平與高水平學習者的得分差異不顯著。這是因為實驗任務為即時重復所聽到的音節，實驗任務較簡單，高水平學習者漢語水平上的優勢并沒有表現出來。

（2）在手勢與聲調不一致條件下，低水平學習者的得分顯著低于高水平學習者。這是因為低水平學習者四個聲調的語音范疇尚未建立或還不牢固，易受教師手勢的干擾。在即時重復的實驗任務中，低水平學習者的發音器官受到教師手勢的調動，不由自主地按照手勢的指導來發音，而不能按照主試的要求重復聽到的音節。這與Chen和Massaro（2008）的結論不一致，原因在于后者為被試呈現的是發音人的面部動作，發音人喉頭等發音器官上的變化難以被人察覺，而手勢使聲調間的差異外化，易于被試模仿。高水平學習者在實驗后向主試報告時表示自己發現了手勢與聽到的音節聲調不一致的情況，但能夠排除手勢的干擾，這是因為高水平學習者四個聲調的范疇已經建立。

McGurk和MacDonald（1976）的研究發現，當視覺信息和聽覺信息相沖突時，感知者會同時使用這兩方面的信息源以獲得穩定的感知。例如，當為母語者在聽覺上呈現雙唇音／ba／，同時視覺上呈現軟腭音／ga／時，聽者報告自己聽到的音是／da／。但該研究并未對這一現象產生的原因進行實證性探索。在隨后的研究中，MacDonald和McGurk（1978）用實驗證明，發音位置（尤其是唇部）主要通過眼睛提供線索，而發音方式更多的是通過耳朵提供線索。我們由此推論，低水平學習者對聲調的視覺信息依賴較大，而高水平學習者對視覺信息的依賴較小，更多地依賴聽覺信息。

2.5 綜合討論

實驗二的結果顯示，對于低水平學習者來說，教師的手勢可以有效調動學習者發音器官的運動。實驗一的結果認為，對于零起點學習者來說，視覺和聽覺雙通道的加工方式與只有聽覺的加工方式沒有統計學意義上的差別，也就是說，打手勢的教學策略并沒有促進零起點學習者的聲調產出。這一矛盾是由以上兩個實驗的實驗任務不同造成的，實驗一后測的實驗任務是請被試讀音節表上的音節，雖然經過了三周打手勢策略的訓練，但是后測時不呈現教師的手勢，完全由被試自主產出。實驗二的實驗任務是呈現教師的手勢，請被試即時重復，這樣的實驗任務一方面使被試更容易受到手勢的干擾；另一方面，并不能保證在延時測試中被試會有相同的表現。Liberman和Mattingly（1985）認為說話者產出言語時會做出有意的語音姿勢，包括將嘴唇張成圓形等肌肉活動。這些“有意的語音姿勢”是大腦對聲道結構發出的恒定的動作指令，但這些神經中樞的命令不會導致聲道形狀的恒常性。當呈現教師的手勢，請被試即時重復時，被試會受“有意的語音姿勢”的影響；而當不呈現教師的手勢，請被試念字表進行產出時，由于缺乏發音器官的恒常性和穩定性，被試并未能延續“有意的語音姿勢”的影響。從以上分析可以得出，教師的手勢可以有效調動學習者發音器官的運動，使初學者在產出聲調時有跡可循。但是三周的訓練并未明顯改善學習者的產出，這也許是訓練時間短、學習頻次少造成的。

3.結語

在延時條件下，對零起點漢語學習者進行訓練，從他們的聲調產出來說，視覺和聽覺雙通道的加工方式與只有聽覺的加工方式沒有統計學意義上的差別。為期三周的視聽覺訓練并沒有顯著促進學習者的聲調產出。在即時條件下，手勢的視覺加工主要在學習的初期階段產生作用。對于低水平漢語學習者來說，即時呈現教師的手勢可以有效引導學習者發音器官的運動。而對于高水平學習者來說，由于四個聲調的發音模式已經建立并固定下來，不易受教師手勢的干擾。

在零起點及初級漢語水平學生的課堂上，教師在領讀、帶讀、糾音時配合手勢可以外化四個聲調間的差異，引導學習者發音器官的運動，幫助學習者建立并穩固四個聲調的范疇，從而促進學習者的聲調產出。

顧曰國2007多媒體、多模態學習剖析［J］.外語電化教學（2）：3－12.

孔江平2010普通話語音多模態研究與多媒體教學［A］.第四屆全國普通話培訓測試學術研討會論文集［C］.北京：語文出版社：196－201.

喻江2007聲調教學新教案［J］.語言教學與研究（1）：77－81.

張拱貴1988聲調教學和表聲讀［J］.世界漢語教學（1）：25－29.

朱永生2007多模態話語分析的理論基礎與研究方法［J］.外語學刊（5）：82－86.

Chen，T.H.＆D.W.Massaro2008Seeing pitch：visual information for lexical tones of Mandarin－Chinese［J］.The Journal of the Acoustical Society of America123.

Liberman，A.M.＆I.G.Mattingly1985The motor theory of speech perception revised［J］.Cognition21.McGurk，H.＆J.MacDonald 1976 Hearing lips and seeing voices［J］.Nature264.

MacDonald，J.＆H.McGurk1978Visual influences on speech perception processes［J］.Perception＆Psy chophysics24.

On the Effects of Visual Processing on Tone Production by English－speaking Learners of Chinese

Jia Lin1，Wang Jianqin2
（1.Training Department，Beijing Chinese Language and Culture College，Beijing 100037，China；2.CSCSL，Beijing Language and Culture University，Beijing 100083，China）

visual processing；tone production；multimodal learning

This study investigates the effectiveness of visual processing on tone production by native English－speaking learners of Chinese.Experiment 1 compares the effects of the two training methods on tone production.The result shows no significant difference between the two methods.In order to explore the mechanism of visual processing on tone production，Experiment 2 introduces multimodal learning theory.The study shows that，for elementary level learners of Chinese，teachers’gestures can be used to instantly correct students’mistakes by providing articulation instructions.However，as the pronunciation model of four tones has been established and fixed，high level learners of Chinese are not easily influenced by those gestures.

附錄一：實驗一產出測試音節表

附錄二 實驗一訓練音節表

H014；H116；H195

A

1674－8174（2013）04－0030－05

【責任編輯 師玉梅】

2013－03－22

賈琳（1987－），女，北京華文學院教師，碩士，研究方向為第二語言習得；王建勤（1955－），男，北京語言大學教授，博士，博士生導師，對外漢語研究中心副主任，主要研究方向為第二語言習得。

國家社科基金一般項目“第二語言學習者漢語聲調范疇習得模擬研究”（08BYY023）