從言談應對到言身應對

劉凱

摘? ? 要： 本文回顧了國外會話分析的多模態研究發展過程;指出了多模態序列組織是多模態交際的核心原則，并探索了多模態投射發生的心理學基礎，認為言身應對中的前件、后件行為的關系主要體現為準備性，而不是簡單體現為時間上的先后序列關系。指出多模態交際的轉寫本身就是研究過程，運用多模態語料庫分析是一種較為客觀的描寫方法。本文總結了會話分析視角在多模態研究中的優勢并做出了展望。

關鍵詞： 會話分析? ? 多模態? ? 序列? ? 言身? ? 語料庫

引言

自二十世紀九十年代以來，多模態研究逐漸成為社會科學領域和語言學研究的熱點之一。人們從多個領域對多模態現象進行了深入研究，取得了豐碩成果。本研究認為，從多角度、全方位考察多模態現象，才有可能發現各種非語言模態的表意規律及交際行為模式的特點。由于（具身）交際行為涉及個體的行為、動作，因此多模態研究中必然需要對個體的言語與行為進行社會學研究。然而，與國外相比，國內現有多模態研究卻鮮有對自然狀態下的真實言語及交際行為進行系統研究：研究者們傾向于人為設定語料，因此這些語料（語言、非語言文本）要么過于“理想化”，只反映人們交際中的極端情況，要么是從實驗中收集的數據無法避免變量的影響（于國棟，2017）。會話分析（conversational analysis， 以下簡稱CA）的多模態交際研究恰恰就是基于真實的日常語料，對采集的語料予以轉寫，揭示交際中言語及具身行為的內在秩序與規律。本文從CA視角出發，根據已有研究，對自然狀態下的多模態具身交際行為進行一般理論闡述，對目前國內為數不多的會話視角的多模態研究進行簡單梳理，對未來該領域的生長點進行初步探討。

1.研究現狀

1.1多模態研究的常見視角

目前，國內外多模態研究的流派和方法眾多，總的來看，主要研究視角（或路徑）包括社會功能視角、認知理論視角及語料庫語言學視角（馮德正，張德祿，Kay OHalloran， 2014）。由于國外CA研究的社會學淵源，研究者們一開始就注意到將非語言模態納入研究范圍（郭恩華，張德祿，2017）。國內研究者們緊跟前沿動態，一般從功能、認知和語料庫等角度入手，但目前將CA作為一種新的視角研究多模態交際的情況尚不多見，主要有郭恩華、張德祿（2017）及郭恩華（2018）、靳晟（2017）三篇與此相關的文獻。國內相關研究偏少，可以在這個方面做出更多探索。

1.2 CA領域多模態交際研究的發展過程

CA領域將模態視為一種社會行為資源。CA領域的多模態交際研究始于二十世紀六七十年代，與CA的誕生同步。在CA誕生之初，人們開始認識到只關注語言模態勢必會遺漏其他很多重要的投射資源及其意義，因此，非語言交際一開始就伴隨著語言交際一起被納入CA研究范圍內。當時人們利用錄音、錄像設備對自然狀態下人們的日常交際行為進行轉寫、分析，試圖發現人類（言語交際與具身行為）交際行為規律與模式，并揭示這些規律和模式背后的社會秩序。“會話分析研究基于的是言談應對（talk-in-interaction） ，而不僅僅是語言”（于國棟，2017）。此外，CA強調以自然發生的真實交際活動作為語料，“任何基于想象、實驗、回憶及觀察的語料都被CA所排斥”（郭恩華，張德祿，2017）。這個階段可以粗略地看成CA的多模態起始階段。進入二十一世紀后，由于計算機等相關技術大規模應用，很多其他社會科學領域的多模態研究日益成為熱點，此時CA的研究者則更加重視多模態交際研究特別是對具身交際行為的分析。表現在人們“開始系統地考察非語言模態在自然交際中的組織程序;研究對象從言談應對拓展為言身應對（talk-and-body-in-interaction）”（郭恩華，張德祿，2017）。雖然前一階段對具身行為也有所涉及，但并未形成主流，在CA多模態研究形成潮流的階段，人們更加關注具身模態，更注重對具身行為刻錄視頻的研究。

2.多模態投射的語境依賴性及其心理學基礎

“投射”關注的是話輪、話輪構建單元前件行為等如何預示、暗指或映射可能的后件行為，有時指對他人行為的后續干預以規避某些投射的可能（Schegloff， 1984：267）。由于多模態投射關涉具身行為，因此必須考慮具身行為的前、后件行為之間的相關性。那么，人類互動時個體之間的具身互動是如何產生的呢？現代心理學研究認為，人類大腦皮層中的一種特殊的感覺—運動神經元，即鏡像神經元（mirror neurons，簡稱MN），（它能）將他人的動作與個體自身的運動系統相匹配，以自身動作的神經環路對他人的動作做出回應，促進了人際溝通與理解，因而成為社會溝通的“神經橋梁”（葉浩生，2016）。MN最典型特征是在“動作理解”與“動作執行”時都被激活。當觀察到他人做出某一具身行為時，個體的神經環路被激活，MN產生了具身模擬，使個體能夠理解他人動作意圖并由此做出相應的回應。例如，手術中的主刀醫生只需伸出手掌，助理醫師就能理解其意圖并作出正確的回應——遞上其所需器械、物品，這種默契無疑是建立在對醫生動作意圖及手術流程理解基礎上的。SFL認為，不考慮情景語境的表述是無意義的，又認為語義是語言與社會語境或情景的交叉（胡壯麟，朱永生等。2017）。可以說，以上“模態”只有置于特定語境之中才能解釋交際行為的意義。再例如，籃球比賽中的運動員傳球時需要隊友的配合，往往將目光投向籃板而無須任何言語便能使隊友瞬間領會自己傳球的意圖。“目光投向籃板”這一具身行為只有在籃球競技中具有獨特意義，為同伴所識解。這種互動的默契體現了具身動作的前瞻性（forward-looking），本質是在特定語境下互動之間行為的準備性，這種“特定語境”就是前件行為對后件行為的一種投射關系。CA視角的多模態研究的特點之一，是將話語考察置于動態的互動秩序之中，進而發現互動的規律。這些回應其實就是“多模態投射”。由此可見，人類互動時的多模態投射有深刻的心理學根源。

3.CA多模態研究的基本原則——序列組織

在純會話分析中，序列組織是言談應對的基本組織方法，與話輪轉換強調簡單的時間先后順序不同，前者側重于先后序列的相關性，即序列的“鏈條”呈現某種因果聯系。在這種因果關系中，有一個重要概念是“毗鄰對”，被Schegloff等人視作序列組織的基本形式（1973）。毗鄰對本質上是一種規約性結構，包括前件和后件，如教師的提問與學生根據提問做出的回答。盡管人們最初提出“毗鄰對”主要用于分析會話（Schegloff & Sacks， 1973），但其應用范圍并不限于話輪組織（Heritage，1989），還可以用來分析多模態交際行為（或稱“毗鄰行為”）。例如，母親發話要求孩子把鹽遞過來，孩子往往無需作答，只需做出相應身體動作——把鹽遞給母親即可。這種一一對應的言談或言身應對行為，構建的就是一個最基本的序列組織—毗鄰對，也是CA多模態研究的基本原則。

4.CA多模態研究在話語分析中的優勢及存在的問題

CA多模態研究實際上是微觀社會學與語言學特別是多模態研究的深度融合。首先，CA強調對大量真實的日常語言交際行為的細節轉寫。CA不僅關注語言，還重視語言交際現象細節，特別是人們日常鮮活的言談與言身應對。Moore指出，CA中的所有“可被感知和觀察到的語言與非語言細節都是值得被記錄和分析的，如笑聲、呼吸氣、語速、停頓、音高等”。研究者要對這些大量真實的日常語料進行處理（轉寫），特別是對序列呈現出來的所有細節進行全面描寫，而不是先入為主地將研究者的主觀觀念或其他社會因素代入其中，恰恰符合語料庫驅動的原則，即自下而上的歸納法。根據語料庫思想對大量真實的日常語料進行處理才有可能發現某些交際規律，這表明起源于社會學的CA由于天然地需要研究大量真實的語料，因而能夠得到語言學特別是語料庫語言學的滋養。語料庫的出現，特別是多模態語料庫的逐步應用有可能為論證某一微觀社會學問題提供客觀依據。可見，CA多模態互動研究是社會學與語言學特別是與語料庫語言學的深度融合。

目前一個較為明顯的問題是，純粹會話分析的話輪在時間上的序列性幾乎是唯一維度，CA多模態互動交際不但體現時間上的序列性，而且呈現空間上的共時性，因此在研究后者互補的各種模態資源共時構建（具身）交際行為時，發現它們并“不是同步地占據交際序列組織中的某一個位置”（郭恩華，2017）。這就意味著在對具身交際行為進行交際序列切分時，很難為不同的參與者的交際行為找到合適的起始點（Depperman，2013），這種因共時性帶來的切分難題在日常多模態互動交際行為中幾乎無處不在。關于這一問題，國外學者Goodwin提出了“具身參與框架”理論，取得了較大進展，但目前國內關于這一點的研究較少，有待進一步關注。

此外，由于多模態具身行為涉及參與者有社會意義的動作與行為，必須從源頭上對言身應對的發生機制進一步探討，特別是鏡像神經元與具身動作之間的邏輯關系做深入研究。例如，根據Shegloff（1968）提出的投射所遵循的互動基本原則——條件相關性有時存在“顯性缺失”，應該從鏡像神經元理論角度如何解釋？這一問題有待多模態研究進一步關注行為心理學、語言學的交叉與融合。

結語

本文介紹了CA多模態互動研究的一般發展歷程：會話分析從誕生之初就一直關注非語言交際行為，隨著研究的不斷深入，新的研究理論和方法不斷出現，人們對序列組織與序列分析中的焦點逐漸從言談應對轉變為言身應對。特別是隨著語料庫技術的不斷成熟與應用，人們根據其提供的大量多模態資源，對CA多模態互動研究分析某一微觀社會行為，往往可能得出較為客觀的結論。本文也提到了在言身應對中具身活動與多模態投射的心理學基礎，還分析了CA多模態互動研究目前存在的具身交際行為的共時性問題。由于國內在這方面的研究涉及甚少，我們應該基于問題，尋找可能的學科交叉點，有可能為未來的進一步研究提供某些生長空間。

參考文獻：

[1]Depperman? A.. Introduction：Multimodal Interaction From a Conversation Analytic Perspective[J]. Journal of Pragmatics， 2013（46）：1-7.

[2]Goodwin， C.. Action and Embodiment within Situated Human Interaction[J]. Journal of Pragmatics， 2000（32）：1489-1522.

[3]Heritage J.. Current Developments in Conversation Analysis[J]. In Roger D. & Peter B. （Eds）. Conversation： An Interdisciplinary Perspective[C]. Clevedon， Philadelphia：Muitilingual Matters， Ltd.， 1989：21-47.

[4]Mondada， L.. Challenges of Multimodality： Language and the Body in Social Interaction[J]. Journal of Sociolinguistics， 2016，20（3）：336-366.

[5]Moore， R. J.. Automated Transcription and Conversation Analysis[J]. Research on Language and Social Interaction， 2015， 48（3）：253-270.

[6]Schegloff， E. A.. On Some Gestures Relation to Talk[A]. In J. M. Atkinson&J. Heritage（Eds.）， Structures of Social Action. Cambridge， England： Cambridge University Press， 1984：266-295.

[7]Sacks， H. E. Schegloff & G. Jefferson. A Simplest Systemics for the Organization of Turning-Taking for Conversation [J]. Language， 1974， 50（4）： 696-735.

[8]Streeck， J. & Scott Jordan， J.. Projection and Anticipation： The Forward-Looking Nature of Embodied Communication[J]. Discourse Processes， 2009（46）（2-3）：93-102.

[9]Streeck， J.. Forward-Gesturing [J]. Discourse Processes， 2009（46）：161-179.

[10]Streeck， J.. On Projection [C]// E. Goody. Social Intelligence and Interaction. Cambridge：Cambridge University Press， 1995：87-110.

[11]馮德正，張德祿，Kay OHalloran.多模態語篇分析的進展與前沿[J].當代語言學，2014（1）：88-99.

[12]郭恩華.多模態投射的社會行為基礎——以兒童牙科醫患互動為例[J].解放軍外國語學院學報，2018（2）：26-34.

[13]郭恩華，張德祿.基于會話分析的多模態交際研究探索——論序列分析在CA多模態交際研究中的應用[J].北京第二外國語學院學報，2017（3）：31-45.

[14]胡壯麟，朱永生，等.系統功能語言學概論[M].北京：北京大學出版社，2017：19-20.

[15]靳晟.會話分析視角下的多模態協同研究[J].中國外語，2017（6）：35-42.

[16]梁茂成.什么是語料庫語言學[M].上海：上海外語教育出版社，2016：33-34.

[17]李戰子，陸丹云.多模態符號學：理論基礎、研究途徑與發展前景[J].外語研究，2012（2）：1-8.

[18]吳亞欣，于國棟.為會話分析正名[J].山西大學學報（哲學社會科學版），2017（1）：85-90.

[19]辛志英.話語分析的新發展——多模態話語分析[J].社會科學輯刊，2008（2）：208-211.

[20]葉浩生.“具身”涵義的理論辨析[J].心理學報，2014（7）：1032-1042.

[21]葉浩生.鏡像神經元：認知具身性的神經生物學證據[J].心理學探新，2012（1）：3-7.

[22]葉浩生.鏡像神經元的意義[J].心理學報，2016（4）：444-456.

[23]朱永生.多模態話語分析的理論基礎與研究方法[J].外語學刊，2007（5）：82-86.

[24]曾小榮.會話分析研究的歷史與現狀[J].黃岡師范學院學報，2014（5）：117-120.