TED中科技類演講的多模態互動分析

王雯珂

摘?要：TED演講風靡全球，不同領域的新發現、新思想觸手可及，已然成為最大的網絡學習社區之一，其傳播思想的力量不容小覷。然而，之前對于TED的相關研究大多集中于語言層面，演講中多模態的運用還未得到足夠的重視。本文以Sigrid Norris的多模態互動分析為理論框架，分析演講者的交際模態，低層活動和高層活動的運用，并通過分析模態密度，展現演講者對同時進行的各項活動的注意程度，探析演講及互動過程中多模態的運用機制。

關鍵詞： TED; 科技類; 多模態互動分析

中圖分類號：H313??????文獻標識碼：A?????文章編號：1672-8122（2020）02-0043-03

一、引?言

近年來，多模態話語的研究已成為熱點，對多模態話語研究的各種理論與方法也紛紛出現。如今被廣泛應用的多模態研究途徑可以分為五大類，即社會符號學研究、系統功能語法的多模態研究、多模態互動分析、多模態隱喻研究以及多模態語料庫研究[1]。作為多模態的研究視角之一，多模態互動分析已在學術界得到較為廣泛的認可，但是國內相關研究卻很少見，只有少數評價性文章對其進行了簡單介紹[2]。多模態互動分析以視頻錄像為研究對象，本文嘗試運用多模態互動分析的研究方法對TED科技類演講中播放量最高的演講視頻進行分析，探討演講過程中多模態的運用機制。

二、研究對象及研究方法

TED是科技（Technology）、娛樂（Entertainment）和設計（Design）的縮寫，旨在傳遞新思想，用思想的力量改變世界。本文以TED科技類演講中播放量最高的演講《This is what happens when you reply to spam email》為研究對象。

本文運用多模態互動分析框架分析James Veitch的演講，探討演講人如何運用多模態進行互動。Sigrid Norris在2004年的著作《Analyzing Multimodal Interaction： A Methodological Framework》[3]初步構建了多模態互動分析的理論框架。植根于中介話語分析，并結合互動社會語言學，以及社會符號學，多模態互動分析包含了大量的方法論工具，可以用來分析任何復雜的人類活動[4]。

手勢、目光等模態被稱為非語言模態（Nonverbal mode），而 Norris認為這種表達暗含著它們都是附屬于言語模態（Verbal mode）的意義，但姿勢、目光等模態在一定情況下也能在交流中占主導地位[3]。因此，Norris根據媒介特點，把交流模態（Communicative modes）分為身體模態（Embodied mode）和非身體模態（Disembodied mode）。多模態互動分析以中介活動（Mediated action）為基本分析單位，把活動分為低層活動（Lower-level action）、高層活動（Higher-level action）和凝固活動（Frozen action）。低層活動是最小意義的分析單位，如一句話，由一種交流模態完成。高層活動是由一系列的低層活動構成的，如一次會議、一篇演講，由多種模態共同構成。凝固活動是指活動發生的環境以及環境中的物體。

高層活動中，模態強度（Modal intensity）和模態復雜度（Modal complexity）決定模態密度（Modal density）。模態強度越大，模態密度越高;模態使用越復雜，模態密度越高。模態強度是指一種模態在互動過程中的重要性或權重[2]，分為三類：即高模態強度、中模態強度和低模態強度。一種模態改變或停止，高層活動也隨之改變或停止，即這個模態承擔高模態強度。模態復雜度意味著多種模態互相作用，任何模態的改變或停止不會對高層活動產生根本影響。

互動過程中，活動者能同時構建多種高層活動，但只能在一種高層活動上集中注意力。因此，Norris提出前景背景連續體這一概念，描述活動者在同時發生的多種高層活動上的注意程度。模態密度與活動者對高層活動的注意程度呈正相關[2]。模態密度分為三種，相應地，注意程度也分為前景、中景和背景。高層活動的模態密度高，那么活動者的注意程度處于前景，模態密度下降，注意程度也會下降。圖1為模態密度和前景背景連續體示意圖。

圖1?模態密度和前景背景連續體示意圖注意程度的改變由凸顯的低層活動指示出來，Norris把這些指示前景活動轉換的低層活動稱為手段（Means）。手段具有兩種功能：語義功能和語用功能。當手段用來幫助活動者組織自身的注意力程度，并標志了前景高層活動的開始與結束，那么手段承擔了語義功能。當手段幫助其他參與者發覺出前景高層活動的轉換，此時手段承擔了語用功能。本文運用多模態互動分析中的低層活動與高層活動、模態密度和前景背景連續體以及手段來展示在演講中多模態的運行機制。

三、TED演講視頻的多模態互動分析

（一） 低層活動和高層活動

James Veitch在TED發表《This is what happens when you reply to spam email》為主題的演講，他花費三年的時間回復垃圾郵件，James Veitch 便分享了他在這個過程中和名叫Solomon Odonkoh和Wennie Mandela兩個詐騙犯的郵件往來。

圖2?四種同時進行的高層活動圖2展示了同時進行的四種高層活動，第一行的第一個圖是James講述曾收到的一封垃圾郵件，第二幅圖中，James站姿稍傾斜，左腳向后，說到這封郵件能成功通過垃圾郵件過濾器時，右手在空中劃了三圈以表示“通過”這個動作，之后把手收回身前，同時左腿向外打開。第四幅圖中，James表示他也不能確定這封垃圾郵件是如何能夠做到避開過濾器的，他雙手打開在空中擺動表示疑惑。接著他收回手，并抬高右手強調這封垃圾郵件確實出現在他的郵箱中，在表示“出現”時，右手在空中進行了向下拍打的動作。隨后把手收回腰間，手肘彎曲，手掌放在腰間，說出這封郵件是來自一個叫做Solomon Odonkoh的人，這時James并沒有繼續講話，同時嘴唇向下撇并向外撅，表示對郵件人的名字感到驚訝，并保持了一秒鐘，在等觀眾的反應。之后自己接著說“I know”，仿佛了解觀眾發笑的原因。之后，James把手放下去，低頭看向左手中拿的多媒體播放器，按下控制器，抬起頭，左手抬高至胸前，并向觀眾讀出多媒體播放器上的內容。

在這12張圖中，演講者James運用到的低層活動包含每一句話、每一個手勢、每一種姿勢，如身體的傾斜、腿部的移動和目光的轉移，這些低層活動共同構成了高層活動。在這幅圖組中，演講者同時進行了四種高層活動：演講、與觀眾互動、展示多媒體，與進行TED演講的錄制，這四種高層活動也包含著許多低層活動鏈。

（二） 模態密度和前景背景連續體

演講、與觀眾互動、展示多媒體與錄制演講這四個高層活動是同時進行的，但是活動者一次只能完全集中在一個高層活動上，通過分析模態密度可以發現演講者對四種高層活動的注意程度。在演講這一高層活動中，演講者雖然使用了多種模態，例如，雙手打開、目光直視觀眾，以及姿勢的變換，但是這一高層活動卻承擔著高模態強度，這是因言語模態起到了關鍵性作用，言語模態一旦停止，演講這一高層活動也會隨之停止，因此演講這一高層活動具有高模態密度，演講者需要完全集中注意于語言的表達，是前景化高層活動。

與觀眾互動這一高層活動只是在演講停頓間隙完成的，演講者在說完垃圾郵件發件人的名字后，停頓了一秒鐘沒有講話，等待觀眾的反應，又對觀眾的反應做出肯定，說出“I know”。這些不同模態的低層活動共同構成高層活動，其中并沒有任何模態改變或停止后會影響到高層活動。同時，與觀眾互動只是在演講中間發生的，James只是分散出一些注意力與觀眾互動，但并未把全部的注意力集中在這上面，演講仍然占據他最多注意力。因此與觀眾互動這一高層活動的模態密度是由模態復雜度完成，并且具有中模態密度，處于演講者注意程度的中景。

展示多媒體這一高層活動則具有高模態密度，且由高模態強度和高模態復雜度共同構成。首先，在這一高層活動中，物質世界中的多媒體播放器承擔了高模態強度，如果多媒體播放器停止使用，那么就無法再向觀眾進行展示。其次，在此高層活動中，多種模態相互作用，模態使用較為復雜，為播放多媒體，James手握播放器，并按下，隨之演講者把頭抬起看向播放屏幕，同時用言語模態念出播放器上的文字。在此高層活動中，演講者的注意力集中在播放多媒體上，對演講的注意力稍微降低，因此展示多媒體是前景化高層活動。

進行演講的錄制這一高層活動是從James演講開始直到演講結束一直在進行的，演講者進行演講時能意識到錄影，這一高層活動在他整個演講過程中也會存在于他的意識中，但他并未過多地關注這一件事，因此，演講的錄制這一高層活動具有較低的模態密度，是背景化高層活動。

（三）手段

在四種同時進行的高層活動中，有兩個都是前景化高層活動。演講者組織自己的前景化活動的轉變，以及參與者能夠意識到這個轉變都是通過手段實現的。

圖3?前景化高層活動的轉變如圖2中第三行第三幅圖，演講者通過按下手中控制器這一手段，前景化高層活動從演講轉變到展示多媒體。演講者運用這一手段組織自己前景化高層活動轉變，而且示意觀眾前景化高層活動的改變。又如圖3中第二行圖片，觀眾目光原本都集中在演講者身上，他們的前景化高層活動就是在認真聽演講，但是演講者通過手段轉變了前景化高層活動，相應地，觀眾都抬起頭，看向多媒體播放器。

四、結?語

運用Norris的多模態互動分析框架，本文對TED科技類演講中播放量最高的James Veitch的《This is what happens when you reply to spam email》演講從低層活動和高層活動，模態密度和前景背景連續體，以及手段三個方面進行分析。James頻繁使用了言語、手勢、目光，姿勢以及外部環境中的多媒體，這些低層活動組合鏈又構成了演講、與觀眾互動、展示多媒體與錄制TED演講這四種高層活動。其中，演講和與觀眾互動模態密度高，是前景化高層活動，兩個前景化高層活動通過演講者按下多媒體控制器進行轉變。通過多模態互動分析，在演講過程中，演講者對多種模態的協調運用可以清晰地呈現出來。本文是多模態互動分析運用于演講視頻的一次嘗試，同時也期望能夠對演講者提供一定的幫助。

參考文獻：

[1]?馮德正， 張德祿， Kay O'Halloran.多模態語篇分析的進展與前沿[J].當代語言學， 2014， 16（1）： 88-99.

[2]?張德祿， 王正. 多模態互動分析框架探索[J].中國外語，2016，13（2）：54-61.

[3]?Norris Sigrid.Analyzing Multimodal Interaction：A Methodological Framework[M].London：Routledge，2004.

[4]?Norris Sigrid and Jesse Pirini.Communicating knowledge，getting attention，and negotiating disagreement via videoconferencing technology：A multimodal analysis[J].Journal of Organizational Knowledge Communication，2017，3（1）：23–48.

[責任編輯：楊楚珺]