多模態(tài)互動(dòng)分析視角下中國(guó)英語(yǔ)學(xué)習(xí)者直接抱怨行為研究

趙繼鴻

（大連外國(guó)語(yǔ)大學(xué) 英語(yǔ)學(xué)院，遼寧 大連 116044）

一、研究背景

語(yǔ)用能力是交際能力的重要組成部分，指交際者在具體交際情景下合適、得體使用和理解話語(yǔ)的能力［1］。目前，大多數(shù)相關(guān)研究?jī)H從語(yǔ)言層面分析，缺乏非語(yǔ)言層面的考察，對(duì)語(yǔ)用能力這一概念的描述不夠全面。在交際過(guò)程中，語(yǔ)言能夠傳遞信息和表達(dá)情感，其他模態(tài)如手勢(shì)、面部表情、眼神等都可能會(huì)發(fā)揮信息傳遞的作用。近年來(lái)，語(yǔ)用能力的多模態(tài)研究逐漸被學(xué)者關(guān)注，如貝爾特蘭-帕蘭克斯（Beltrán-Palanques）和奎羅·朱利安（Querol-Julián）［2］、裴曉宇等［3］，但僅為初步探索，相關(guān)理論和方法并不成熟，需要進(jìn)一步探討。

抱怨行為是生活中較為常見(jiàn)且值得研究的言語(yǔ)行為，是語(yǔ)用學(xué)研究的重要課題［4］。抱怨是指說(shuō)話人對(duì)過(guò)去或正在進(jìn)行的對(duì)自身不利的行為表達(dá)的不滿或煩惱［5］。根據(jù)聽(tīng)話人是否對(duì)自身不當(dāng)行為負(fù)責(zé)，抱怨語(yǔ)可分為直接抱怨語(yǔ)和間接抱怨語(yǔ)［6］。合理有效地實(shí)施抱怨可視為語(yǔ)用能力的體現(xiàn)之一，既可以達(dá)到交際目的，又可以減少對(duì)雙方關(guān)系的負(fù)面影響。近年來(lái)，國(guó)際上有個(gè)別學(xué)者從多模態(tài)視角研究學(xué)習(xí)者抱怨語(yǔ)產(chǎn)出，但研究數(shù)量較少。國(guó)內(nèi)相關(guān)研究依舊聚焦于語(yǔ)言層面的探討，鮮少有研究從語(yǔ)言和非語(yǔ)言層面考察學(xué)習(xí)者抱怨語(yǔ)使用的全貌。鑒于此，本研究以抱怨行為作為主要研究對(duì)象，采用多模態(tài)互動(dòng)分析法［7］79-94分析國(guó)內(nèi)英語(yǔ)學(xué)習(xí)者直接抱怨行為的多模態(tài)特征，以期彌補(bǔ)二語(yǔ)語(yǔ)用研究單模態(tài)分析的不足，為二語(yǔ)語(yǔ)用多模態(tài)實(shí)證研究和二語(yǔ)語(yǔ)用教學(xué)提供參考。

二、語(yǔ)用能力與多模態(tài)話語(yǔ)分析

多模態(tài)話語(yǔ)分析作為一個(gè)新興領(lǐng)域，在國(guó)內(nèi)外都處于起步階段，有很大的研究空間。而且，多模態(tài)分析用于語(yǔ)用學(xué)的研究更為匱乏。近些年，僅有國(guó)外少數(shù)研究用多模態(tài)話語(yǔ)分析方法考察學(xué)習(xí)者的語(yǔ)用能力，如肯頓（Kendon）［8］、貝爾特蘭-帕蘭克斯（Beltrán-Palanques）［9］15-30、貝爾特蘭-帕蘭克斯（Beltrán-Palanques）和奎羅·朱利安（Querol-Julián）［2］等。在國(guó)內(nèi)，陳新仁、錢永紅探討了多模態(tài)分析法應(yīng)用于語(yǔ)用學(xué)分析與研究中的必要性與可行性，構(gòu)建出一個(gè)適用于語(yǔ)用闡釋的多模態(tài)分析框［10］。黃立鶴指出，運(yùn)用多模態(tài)方法研究語(yǔ)用問(wèn)題，可在研究方法上對(duì)語(yǔ)用學(xué)研究進(jìn)行升級(jí)，從而對(duì)相關(guān)語(yǔ)用學(xué)理論進(jìn)行拓展、修正［11］。但這些研究只停留在理論層面，至今國(guó)內(nèi)多模態(tài)視角下語(yǔ)用學(xué)相關(guān)的實(shí)證研究剛剛起步。裴曉宇等通過(guò)角色扮演任務(wù)，對(duì)2 名中國(guó)英語(yǔ)學(xué)習(xí)者與2 名津巴布韋英語(yǔ)學(xué)習(xí)者的道歉行為進(jìn)行了多模態(tài)互動(dòng)分析。研究發(fā)現(xiàn)：4 名研究對(duì)象凝視模態(tài)強(qiáng)度普遍較高［3］。相比之下，中國(guó)英語(yǔ)學(xué)習(xí)者模態(tài)復(fù)雜度略低，但仍使用言語(yǔ)與非言語(yǔ)模態(tài)共建會(huì)話。

綜合以上研究發(fā)現(xiàn)，二語(yǔ)語(yǔ)用能力的研究被國(guó)內(nèi)外學(xué)者廣泛關(guān)注，但更多研究局限于語(yǔ)言這一單一模態(tài)的思考，缺少多模態(tài)的綜合考察。近年來(lái)，多模態(tài)視角也被一些學(xué)者發(fā)掘，但僅為初步的探索。因此，本研究通過(guò)多模態(tài)的視角，利用角色扮演收集數(shù)據(jù)，考察我國(guó)高水平英語(yǔ)學(xué)習(xí)者在使用英語(yǔ)和漢語(yǔ)抱怨時(shí)表現(xiàn)出的語(yǔ)用能力，以期進(jìn)一步探究多模態(tài)與語(yǔ)用研究結(jié)合的可行性，為后續(xù)相關(guān)研究提供參考。

三、研究設(shè)計(jì)

（一）研究問(wèn)題

1.中國(guó)英語(yǔ)學(xué)習(xí)者在使用英語(yǔ)和漢語(yǔ)抱怨時(shí)各模態(tài)密度是否有差異？如果有，表現(xiàn)在哪些方面？2.中國(guó)英語(yǔ)學(xué)習(xí)者如何使用不同的模態(tài)抱怨？

（二）研究對(duì)象

本研究的研究對(duì)象為國(guó)內(nèi)某外國(guó)語(yǔ)高校的研三學(xué)生，女，25 歲，擁有17 年英語(yǔ)學(xué)習(xí)經(jīng)歷，通過(guò)了英語(yǔ)專業(yè)八級(jí)測(cè)試，無(wú)出國(guó)留學(xué)經(jīng)歷，可被認(rèn)定為高水平英語(yǔ)學(xué)習(xí)者，能夠順利進(jìn)行英語(yǔ)交流。為進(jìn)行角色扮演任務(wù)，在同校隨機(jī)選取一名研三學(xué)生，女，27 歲，擁有18 年英語(yǔ)學(xué)習(xí)經(jīng)歷，通過(guò)了英語(yǔ)專業(yè)八級(jí)測(cè)試，且分?jǐn)?shù)與研究對(duì)象相近，無(wú)出國(guó)留學(xué)經(jīng)歷，可被認(rèn)定為與研究對(duì)象二語(yǔ)水平相近。雙方現(xiàn)實(shí)關(guān)系為普通同學(xué)。

（三）研究工具

本研究使用開(kāi)放式角色扮演收集數(shù)據(jù)，設(shè)定了兩個(gè)場(chǎng)景，場(chǎng)景1 交流語(yǔ)言為漢語(yǔ)，場(chǎng)景2 為英語(yǔ)。

場(chǎng)景1：你（抱怨者）和同學(xué)被安排為一組完成期末小組作業(yè)。你想約她出來(lái)討論，但她一直以沒(méi)有時(shí)間為由拒絕。臨近期末，她突然主動(dòng)聯(lián)系你，說(shuō)要一起討論期末作業(yè)。你如期到達(dá)約定地點(diǎn)，但是她卻沒(méi)有來(lái)，等了近40 分鐘后，你打算回圖書館繼續(xù)學(xué)習(xí)，剛要離開(kāi)，她走了進(jìn)來(lái)。

場(chǎng)景2：你（抱怨者）和同學(xué)被安排到一組完成期末小組作業(yè)。你們分工后，各自完成自己負(fù)責(zé)的部分。最終你看到這門課的成績(jī)不合格，你詢問(wèn)老師后得知，是同伴所做的那份小組作業(yè)太差，導(dǎo)致你們的分?jǐn)?shù)不及格。你找到她質(zhì)問(wèn)為什么做得那么差，她說(shuō)忘記最后的截止日期，當(dāng)天晚上匆忙趕出來(lái)的。

這些場(chǎng)景與大學(xué)生活有關(guān)，在后續(xù)的訪談中，研究對(duì)象表示自身經(jīng)歷過(guò)或可以輕易想象出這些場(chǎng)景。同時(shí)，她們認(rèn)為自己在實(shí)際的生活中也會(huì)表現(xiàn)得和角色扮演基本一致。在角色扮演中，研究對(duì)象首先進(jìn)行熱身性質(zhì)的角色扮演任務(wù)來(lái)熟悉任務(wù)類型。在隨后的正式任務(wù)中，研究對(duì)象被要求表現(xiàn)自然，盡可能和現(xiàn)實(shí)情景的表現(xiàn)一致。角色扮演無(wú)時(shí)間限制，她們自行選擇飾演的角色和決定哪一方開(kāi)始談話，兩個(gè)場(chǎng)景的抱怨者均為同一位研究對(duì)象。當(dāng)雙方認(rèn)為準(zhǔn)備好后，即可進(jìn)行對(duì)話。本研究在征得研究對(duì)象同意的基礎(chǔ)上對(duì)她們的談話進(jìn)行了錄像。

（四）數(shù)據(jù)分析

本研究根據(jù)貝爾特蘭-帕蘭克斯（Beltrán-Palanques）的編碼方案［9］125-126，對(duì)抱怨語(yǔ)步進(jìn)行編碼劃分。其中，將抱怨過(guò)程分為三步：

抱怨前步（pre-complaint moves）：抱怨者提出抱怨話題，被抱怨者對(duì)此作出回應(yīng)。

話題協(xié)商（topic negotiation）：雙方就抱怨話題施展話語(yǔ)功能，如責(zé)備、解釋等。

抱怨后步（pre-complaint moves）：雙方試圖修復(fù)局面。

本研究使用ELAN 軟件，對(duì)抱怨者的口語(yǔ)、副語(yǔ)言（本研究主要考察語(yǔ)速和音量變化）、面部表情、手勢(shì)動(dòng)作、頭部動(dòng)作和凝視進(jìn)行標(biāo)注和時(shí)間測(cè)量。模態(tài)密度可由模態(tài)強(qiáng)度和模態(tài)復(fù)雜度兩種形式體現(xiàn)。模態(tài)強(qiáng)度是指一種模態(tài)在互動(dòng)過(guò)程中的重要性或權(quán)重。模態(tài)復(fù)雜度是指多種模態(tài)相互作用共同完成活動(dòng)［12］。一種模態(tài)承載的強(qiáng)度越大，模態(tài)密度就越高，多個(gè)模態(tài)交織越復(fù)雜，模態(tài)密度就越高［7］79。本研究通過(guò)計(jì)算參與者在交互過(guò)程中選擇每個(gè)模式的時(shí)間（以秒為單位）來(lái)測(cè)量模態(tài)強(qiáng)度。

四、結(jié)果與討論

（一）多模態(tài)特征

本研究在用ELAN 軟件得出數(shù)據(jù)后，繪制成雷達(dá)圖，圖中數(shù)據(jù)以秒為單位（見(jiàn)圖1）。其中，模態(tài)復(fù)雜度是話語(yǔ)構(gòu)建中使用的模態(tài)數(shù)量；模態(tài)強(qiáng)度體現(xiàn)為每個(gè)單獨(dú)軸從中心開(kāi)始到外環(huán)結(jié)束所代表的時(shí)間長(zhǎng)度；模態(tài)密度則表現(xiàn)為軸上各個(gè)點(diǎn)相連呈現(xiàn)出的圖形面積。

圖1 各語(yǔ)步中的模態(tài)密度

在抱怨前步中，抱怨者提出抱怨話題并得到對(duì)方的回應(yīng)。研究對(duì)象在使用漢語(yǔ)抱怨時(shí)，話題展開(kāi)更快，而用英語(yǔ)交流時(shí)展開(kāi)較慢，經(jīng)歷了從隱性到顯性的過(guò)程。從圖1 可以看出，抱怨者在使用英語(yǔ)交流時(shí)的模態(tài)密度大于用漢語(yǔ)交流（虛線相連呈現(xiàn)的面積大于實(shí)線），主要表現(xiàn)在模態(tài)復(fù)雜度（模態(tài)使用數(shù)量）和模態(tài)強(qiáng)度（模態(tài)使用的時(shí)間長(zhǎng)度）均高于漢語(yǔ)，同時(shí)伴有手勢(shì)語(yǔ)、頭部動(dòng)作和面部表情。在用兩種語(yǔ)言交流時(shí)，凝視都為高強(qiáng)度模態(tài)。

話題協(xié)商是抱怨的核心部分，恰當(dāng)?shù)恼勁幸蟊г拐呔哂休^高的語(yǔ)用能力。在話題協(xié)商階段，抱怨雙方就抱怨內(nèi)容施展話語(yǔ)功能，如表達(dá)不滿、解釋原因等。從圖1 可以看出，研究對(duì)象在用英語(yǔ)協(xié)商時(shí)，模態(tài)密度比漢語(yǔ)高。這其中模態(tài)復(fù)雜度具有一致性，造成密度差異的原因主要是模態(tài)強(qiáng)度不同。在用英語(yǔ)實(shí)施抱怨時(shí)，研究對(duì)象各模態(tài)的強(qiáng)度都高于漢語(yǔ)，凝視、口語(yǔ)、手勢(shì)模態(tài)強(qiáng)度差異顯著。與抱怨前步一致，凝視在漢英場(chǎng)景中都占據(jù)較高的模態(tài)強(qiáng)度。

在抱怨后步中，抱怨雙方試圖修復(fù)局面。從圖1 可以看出，研究對(duì)象在用英語(yǔ)、漢語(yǔ)修復(fù)局面時(shí)的模態(tài)復(fù)雜度非常接近，主要差異依舊表現(xiàn)在英語(yǔ)交流時(shí)的各模態(tài)強(qiáng)度比漢語(yǔ)高。口語(yǔ)和凝視作為主要的模態(tài)在抱怨后步中構(gòu)建話語(yǔ)，而副語(yǔ)言、手勢(shì)、頭部移動(dòng)和面部表情則出于較低的模態(tài)強(qiáng)度。

綜上所述，研究對(duì)象在抱怨的過(guò)程中利用豐富的多模態(tài)資源一起構(gòu)建抱怨話語(yǔ)，尤其在話題協(xié)商部分，抱怨者呈現(xiàn)出比其他語(yǔ)步更為豐富的模態(tài)密度。整體來(lái)說(shuō)，凝視和口語(yǔ)作為主要的符號(hào)資源在其中發(fā)揮作用。交流語(yǔ)言對(duì)研究對(duì)象抱怨時(shí)呈現(xiàn)的模態(tài)強(qiáng)度影響較大，對(duì)模態(tài)復(fù)雜度影響較小。

（二）討論

研究發(fā)現(xiàn)，交流語(yǔ)言會(huì)影響學(xué)習(xí)者在各語(yǔ)步中的模態(tài)密度，主要體現(xiàn)在對(duì)模態(tài)強(qiáng)度的影響，即研究對(duì)象在使用英語(yǔ)與漢語(yǔ)抱怨時(shí)，各語(yǔ)步中的模態(tài)復(fù)雜度大致相同，而各模態(tài)強(qiáng)度相差較大。這可能由于交流語(yǔ)言不同，對(duì)語(yǔ)言模態(tài)造成影響，從而進(jìn)一步影響其他模態(tài)的表現(xiàn)，如副語(yǔ)言和非語(yǔ)言模態(tài)。

本研究發(fā)現(xiàn)，交流語(yǔ)言對(duì)語(yǔ)言模態(tài)的影響主要表現(xiàn)在研究對(duì)象提出抱怨的過(guò)程在英漢場(chǎng)景中存在一定差異，漢語(yǔ)抱怨過(guò)程更直接。相比之下，研究對(duì)象在運(yùn)用英語(yǔ)抱怨前會(huì)交代抱怨背景，給出抱怨理由，以此作為暗示，誘導(dǎo)聽(tīng)話者主動(dòng)承認(rèn)錯(cuò)誤或承擔(dān)責(zé)任。凝視作為高強(qiáng)度的模態(tài)參與抱怨行為的實(shí)施過(guò)程，這與裴曉宇等的結(jié)果相似［3］。他們的研究中發(fā)現(xiàn)，中國(guó)英語(yǔ)學(xué)習(xí)者在用英語(yǔ)道歉時(shí)，凝視的模態(tài)強(qiáng)度較高。與他們的研究相似，本文研究對(duì)象的凝視方向在傾聽(tīng)及話語(yǔ)產(chǎn)出過(guò)程中大多直指聽(tīng)話者，這具有關(guān)注、勸說(shuō)功能。在凝視這一非言語(yǔ)模態(tài)與言語(yǔ)模態(tài)的交互關(guān)系中，關(guān)注及勸說(shuō)功能體現(xiàn)了凝視對(duì)言語(yǔ)模態(tài)的強(qiáng)化作用，即凝視在一定程度上協(xié)助了言語(yǔ)模態(tài)的意義生成［13］146-147。

本研究發(fā)現(xiàn)，手勢(shì)語(yǔ)及頭部動(dòng)作等非語(yǔ)言模態(tài)也在抱怨過(guò)程中受到語(yǔ)言模態(tài)的影響。研究對(duì)象的手勢(shì)差異表現(xiàn)為在二語(yǔ)中手勢(shì)的模態(tài)強(qiáng)度高于母語(yǔ)場(chǎng)景。作為英語(yǔ)學(xué)習(xí)者，研究對(duì)象在用英語(yǔ)表達(dá)時(shí)，會(huì)借助手勢(shì)來(lái)彌補(bǔ)語(yǔ)言上的不足。說(shuō)話人也會(huì)通過(guò)節(jié)奏手勢(shì)調(diào)節(jié)英語(yǔ)表達(dá)時(shí)的節(jié)奏和韻律，從而保證表達(dá)的流利度［14］。研究發(fā)現(xiàn)，用英語(yǔ)抱怨時(shí)，研究對(duì)象情緒激動(dòng)便會(huì)更加頻繁地使用手勢(shì)動(dòng)作。這與貝爾特蘭-帕蘭克斯（Beltrán-Palanques）和奎羅-朱利安（Querol-Julián）的結(jié)果吻合［2］，反映出手勢(shì)在語(yǔ)言表達(dá)過(guò)程中起到了強(qiáng)調(diào)和表達(dá)不滿情緒的語(yǔ)用功能。綜上討論表明，學(xué)習(xí)者用英語(yǔ)實(shí)施抱怨言語(yǔ)行為時(shí)，會(huì)因個(gè)人情緒影響手勢(shì)的使用，同時(shí)會(huì)通過(guò)手勢(shì)彌補(bǔ)、輔助和強(qiáng)調(diào)語(yǔ)言表達(dá)和外化個(gè)人情感。研究對(duì)象在英語(yǔ)情景中的頭部移動(dòng)頻率更高，模態(tài)強(qiáng)度也更高。這可能由于研究對(duì)象用英語(yǔ)交流時(shí)，有時(shí)無(wú)法清楚表達(dá)意義，從而會(huì)用頭部動(dòng)作來(lái)彌補(bǔ)，這與哈達(dá)爾（Hadar）等人的研究結(jié)果一致［15］，他們也觀察到研究對(duì)象因語(yǔ)言不流暢而作出的頭部運(yùn)動(dòng)往往頻率和速度都更大。研究對(duì)象用英語(yǔ)提出抱怨內(nèi)容和協(xié)商受阻時(shí)，會(huì)用表示否定的搖頭強(qiáng)化自己的表達(dá)，而頻繁搖頭也可能是她氣憤的外顯，這呼應(yīng)了麥克拉夫（McClave）的觀點(diǎn)，即頭部移動(dòng)會(huì)涉及人物心理意象和情緒狀態(tài)的表達(dá)［16］。

在日常交際過(guò)程中，直接抱怨語(yǔ)的產(chǎn)出具有多模態(tài)共現(xiàn)特征。當(dāng)一種模態(tài)不足以清楚地表達(dá)交際意圖時(shí)，交際者會(huì)利用其他模態(tài)來(lái)進(jìn)行強(qiáng)化、補(bǔ)充、調(diào)節(jié)、協(xié)同，達(dá)到充分表達(dá)意義，讓聽(tīng)話者理解話語(yǔ)的目的［17］。研究對(duì)象利用語(yǔ)言和非語(yǔ)言中的多種模態(tài)完成抱怨過(guò)程，如在提出抱怨時(shí)會(huì)加快語(yǔ)速，提高音量，頻繁移動(dòng)頭部和出現(xiàn)皺眉表情。在話題協(xié)商時(shí)，會(huì)用頭部動(dòng)作和手勢(shì)強(qiáng)化或補(bǔ)充表達(dá)。

結(jié)語(yǔ)

本研究考察了1 名英語(yǔ)專業(yè)研究生直接抱怨語(yǔ)語(yǔ)用能力的多模態(tài)表現(xiàn)。研究結(jié)果表明，研究對(duì)象在用英語(yǔ)抱怨時(shí)各模態(tài)強(qiáng)度都高于漢語(yǔ)，這可能是因?yàn)檎Z(yǔ)言模態(tài)的改變會(huì)影響非語(yǔ)言模態(tài)的使用。抱怨過(guò)程中，凝視和口語(yǔ)作為高強(qiáng)度的模態(tài)參與抱怨話語(yǔ)的構(gòu)建。抱怨行為是各個(gè)模態(tài)共同作用的，即多個(gè)模態(tài)相互協(xié)作完成抱怨。同時(shí)，個(gè)別模態(tài)會(huì)對(duì)意義和情緒表達(dá)起到補(bǔ)充和強(qiáng)化作用，這在一定程度上彌補(bǔ)了學(xué)習(xí)者語(yǔ)用能力的不足。

本研究?jī)H對(duì)1 名英語(yǔ)學(xué)習(xí)者進(jìn)行分析，數(shù)據(jù)和結(jié)論具有一定片面性，今后的研究可增加研究對(duì)象數(shù)量，并從更多模態(tài)如音調(diào)、軀干等入手，提高研究的全面性和可信度。另外，可以嘗試從其他言語(yǔ)行為入手，進(jìn)一步探索多模態(tài)話語(yǔ)分析與語(yǔ)用學(xué)研究結(jié)合的可行性。