課堂教學多模態(tài)話語的模態(tài)配合研究

王文瓊

摘 要： 模態(tài)是物質媒體經過社會的長時間塑造形成的意義潛勢，是用于表征和交流意義的社會文化資源。人類社會活動已逐漸被多種媒介共存的復合話語取代，因此多模態(tài)化成為當今社會文化系統(tǒng)的固有特性。隨著現(xiàn)代技術的發(fā)展，各種媒體技術開始進入課堂，話語的研究具備多模態(tài)性。在語言教學中，僅僅從語言這一角度對課堂話語進行研究是不夠的，還需要將多種模態(tài)和語言相結合以探討課堂話語。

關鍵詞： 多模態(tài) 多模態(tài)話語 模態(tài)配合

1.引言

模態(tài)是物質媒體經過社會長時間塑造而形成的意義潛勢，是用于表征和交流意義的社會文化資源（Kress & Leuwen 2001）。由于人類社會活動所介入的物質手段日漸豐富，在傳統(tǒng)上主要通過語言表達意義的做法已逐漸被多種媒介共存的復合話語取代，多媒體化（multimediality）體現(xiàn)了社會實踐的常態(tài)，多模態(tài)化（multimodality）成為當今社會文化系統(tǒng)的固有特性。在教學領域，隨著現(xiàn)代技術的飛速發(fā)展，各種多媒體技術進入課堂，屏幕越來越占據(jù)主導地位，同時圖像、動畫等成為交際的主媒體（Kress 2004），在教學中也是如此，這為教學環(huán)境的多模態(tài)研究提供了方便。

在語言教學中，語言在大多數(shù)情況下仍然占據(jù)主導地位，其他模態(tài)只是在不同程度地起著輔助、襯托、強化和補充的作用（張德祿，李玉香，2012），但即使如此，僅僅從語言這一角度對課堂話語進行研究是不夠的，還需要將語言和其他模態(tài)組合在一起探討課堂話語。

2.理論框架

2.1模態(tài)

Kress將模態(tài)（mode）定義為一種表征和交流的符號表達方式（Kress & Leuwen 2001）。在《多模態(tài)語篇》（Multimodal Discourse）（Kress & Leuwen 2001）中，模態(tài)被定義為符號資源。Jewitt認為多模態(tài)與符號相關，所有模態(tài)都包含整套符號資源，人們在特定場合下利用并構建這些資源對事件和關系進行表征。

多模態(tài)話語指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現(xiàn)象。多模態(tài)話語最合適的理論模式是系統(tǒng)功能語言學的社會符號學理論。社會符號學基于韓禮德的語言符號觀（Halliday 1978），他認為做一個社會符號系統(tǒng)，即一個表義系統(tǒng)，語言的語法并非是一系列的規(guī)則，而是表意的資源，這就是Hodge和Kress發(fā)展社會符號學理論的基礎。語言外的其他表義系統(tǒng)還有繪畫、雕刻、音樂、舞蹈等，這些表義系統(tǒng)與語言共同實現(xiàn)社會意義。這種觀點是系統(tǒng)功能語言學的社會符號學理論的基礎，為多模態(tài)話語分析理論發(fā)展奠定理論基礎。

多模態(tài)話語分析理論主要基于系統(tǒng)功能語言學理論，由五個層面的系統(tǒng)組成（Martin 1992），分別是：（1）文化層面，包括作為文化的主要存在形式的意識形態(tài)和作為話語模式選擇潛勢的體裁或者體裁結構潛勢；（2）語境層面，包括由話語范圍、話語基調和話語方式組成的語境構型；（3）意義層面，包括由幾個部分組成的話語意義，即概念意義、人際意義和謀篇意義；（4）形式層面，實現(xiàn)意義的不同形式系統(tǒng)，包括語言的詞匯語法系統(tǒng)和其他各種模態(tài)的表意形體和語法系統(tǒng)及各個模態(tài)的語法之間的關系；（5）媒體層面，是話語最終在物質世界表現(xiàn)的物質形式。

2.2多模態(tài)與教學

課堂教學就是由多種模態(tài)共同完成的，包括空間、手勢、身勢、移動、聲音、腔調、音樂、三維事物、口語、書面語、圖形、表格、圖畫和動畫等（Jewitt 2009）。這些不同的模態(tài)各自都是一個符號系統(tǒng)，在合適的語境中表達意義，達到交際的目的。但它們在絕大多數(shù)情況下都不是單獨用以達到交際目的，而是和其他模態(tài)共同配合達到交際目的，即使是語言也是如此。

在教學中，對多模態(tài)交際和體現(xiàn)的研究日益增多。在Lemke編輯的《語言學與教育》中，研究者對課程中的多模態(tài)進行檢驗，尤其檢驗數(shù)學和科學學科。OHalloran用系統(tǒng)功能觀對數(shù)學課堂上的多符號系統(tǒng)的運作進行分析。Baker，Street在數(shù)學教育領域研究了多模態(tài)計算能力，其中包括行動、圖示和符號模態(tài)。這些研究表明，在不同模態(tài)之間的轉換問題是導致學生學科難點的來源。

新興的熱點是對多模態(tài)識讀（multiliteracy）的研究。多模態(tài)識讀（multiliteracy）指具有能閱讀所能接觸到的各種媒體和模態(tài)的信息，并循此產生相應的材料，如閱讀互聯(lián)網或互動的多媒體。傳統(tǒng)的以讀寫為主的識讀能力在多媒體時代已不夠用。其次，教育中的多模態(tài)化來自教室中不斷增加使用的多種媒體，如圖像操作軟件、電子音樂、科學模擬、存在于計算機上的虛擬劇場等。多模態(tài)化和多元符號學試圖給這些信遞形式理論化，鑒別各種圖像、詞語和動作的模態(tài)如何互相依賴，以產生整體意義（Williamson 2005）。重要的是有時一種模態(tài)需要依賴其他模態(tài)完成信遞行為，如沒有口述的詞語說明，圖表將毫無意義；沒有模型課件，教師用手做的節(jié)奏性動作就沒有意義，因而每一種模態(tài)，作為符號資源，對所做的表達都有貢獻。學生的任務是將教師的各模式和符號資源轉變?yōu)槔斫狻?/p>

本文根據(jù)大學英語課堂教學的實際語境探討各種模態(tài)之間的協(xié)同配合關系。

3.語料及研究方法

本文的語料選自第五屆“外教社杯”全國高校外語教學大賽（職業(yè)院校）總決賽特等獎錄像，時長22分鐘。教學過程在一個按傳統(tǒng)模式安排的講臺和桌椅的教室進行，配有可供書寫的黑板和PPT投影設備。教師主要在講臺講，有時到學生中間走動；學生主要坐在座位上聽課，有時根據(jù)老師的要求進行互動。

4.課堂話語

4.1課堂教學描述

作為教學比賽，教學有一定的表演性，每堂課一般為50分鐘，而這堂課只有22分鐘。教學的主題是“網癮”（computer addiction），課文題目為“Teenager Committed Suicide When His Computer Broke down”。整個教學過程由老師控制，老師是教學的組織者、知識的提供者、學生能力提高的使能者；學生是學習者、被控制者、被促使提高能力者。交際的方式是面對面口頭交際，包括手勢、動作、口氣和強調等，PPT提供教學重點及圖像。

4.2體裁結構

這堂22分鐘的課包括10個階段，分別是：（1）上課儀式：教師學生相互問候。（2）導入：首先以某位知名明星吸毒為例，引出單詞addiction的含義。（3）點出主題：引出網癮（computer addiction）這一主題。（4）課文講解：學生泛讀、小組活動、組內討論、練習鞏固。（5）講解習題：學生回答習題中的填空，講解單詞詞意，并擴展練習題內容。（6）剖析課文：再次點題，提問學生，分析文中主人公的問題，練習上一環(huán)節(jié)填空中的單詞。（7）互動提問：如何在現(xiàn)實世界與虛擬世界中尋求平衡，提出解決提議。（8）角色扮演朗讀：進一步對課文進行熟悉，并對單詞therapist（治療師）有更深刻的了解，讓學生分角色朗讀設計好的對話。（9）總結重點：回顧課文知識。（10）結束：布置作業(yè)，結束課文。

4.3模態(tài)在語法層面的配合

這堂課的PPT共有21張，分為兩個類別：顯示文字、顯示圖像和文字。文字是一個語篇片段，一個幻燈片顯示一個語篇片段，由一個句子或者一系列句子體現(xiàn)；文字和圖形本身是多模態(tài)的，是兩個語篇片段的協(xié)同共建語篇意義，由各自的語法結構體現(xiàn)。

幻燈片1由文字與圖像構成，包括標題和一個教師上課的圖片，它們共同完成了標題的語篇功能，為教師的口語話語提供支持。標題體現(xiàn)為一個句子（Teenager Committed Suicide When His Computer Broke down），圖像為老師上課的圖像，表明這是一門教學課。

幻燈片2與3相似，都是由圖像加文字構成，其中包括階段導入標題、文字提示和圖片（某吸毒明星照片、抽煙圖），幻燈片2中的文字為兩個英文單詞（Addiction，prison），為老師的引入提供信息引導，幻燈片3的文字則為“上癮”這一單詞的英文解釋。與幻燈片2相似，它們不僅為口頭語篇提供了文字信息，而且提供了實例，進而引出了文章主題。

這個教學片段的主要功能是提供信息，進行導入，引出主題“網癮”，預示著課文將圍繞網癮展開。

幻燈片4和5完全由文字構成。其中包括課文標題和環(huán)節(jié)設計（“學習目標”的展示），這兩張幻燈片的主要目的在于為教師的話語（例如，“我們將重點學習本文的中心思想”，“學習與網癮有關的一些單詞表達”）提供支持，并為口語模態(tài)提供指導，為口語語篇的發(fā)展提供了路徑。

幻燈片6和其后與練習題和其講解的幻燈片都由圖像和文字構成，圖像為箭頭與圓圈，用以引入及標注信息，文字為練習題（如Jason未來可能做什么工作？What kind of job will Jason do in the future？），重點標注的是答案。整個片段為教師口語（例如，對學生的回答進行肯定：Good job?。粚卮疬M行復述：He will be a computer engineer.）提供支持，提供信息，用此提高學生閱讀理解及口語水平。

4.4課堂話語中的模態(tài)配合

以上是對一段教學比賽錄像片段中使用的PPT體裁結構進行的分析，但它只是整個教學過程的一個階段，是PPT所表現(xiàn)的一段多模態(tài)話語。在整個課堂話語中，各種模態(tài)共同發(fā)揮作用，特別是老師和學生交流的口語模態(tài)和PPT所表現(xiàn)的文字、圖像模態(tài)。下面簡略探討它們之間的協(xié)同配合。

口語是課堂教學的主模態(tài)，但是它不能有效完成教學任務，需要借助其他模態(tài)，特別是PPT所承載的模態(tài)來完成。這樣，PPT和口語之間就形成了一種協(xié)同關系。

下面分別從10個環(huán)節(jié)探討它們是如何協(xié)同完成教學任務的。（1）上課儀式：主要模態(tài)為口語：教師及學生通過寒暄完成這個階段的任務；（2）導入：主要模態(tài)為口語、圖像和文字：口語為教師授課，圖像和文字模態(tài)通過PPT呈現(xiàn)，具有導入文章主題的作用；（3）點出主題：主要模態(tài)為口語、文字和圖像：文字主要輔助提供信息，教師提問學生，引出話題，引起興趣；（4）課文講解：主要模態(tài)為口語、文字和圖像：學生討論，做練習題，對課文內容進行熟知、掌握，圖形為文章線索的一步步發(fā)展提供支撐；（5）講解習題：主要模態(tài)為口語、文字：這一階段可以分為兩個次階段：老師提問及學生回答。（6）剖析課文：主要模態(tài)為口語、文字：這一階段老師主要對學生提問發(fā)散性問題，進一步讓學生理解課文；（7）互動提問：主要模態(tài)為口語、文字：口語模態(tài)通過老師和學生互動完成，文字主要體現(xiàn)在呈現(xiàn)在PPT上的問題；（8）角色扮演朗讀：主要模態(tài)為口語、文字：這一階段，學生進行分角色扮演對話，完成對重點單詞的理解；（9）總結重點：主要模態(tài)為口語、文字：老師對本課進行總結；（10）結束：主要模態(tài)為口語：老師布置作業(yè)，結束課文。

5.討論

在傳統(tǒng)教學中，主要采取教師和學生肢體模態(tài)和文字補充，隨著教學技術的發(fā)展，PPT等教學手段的運用，越來越多的模態(tài)出現(xiàn)為口頭模態(tài)提供了支持。課堂教學中，一種模態(tài)很難達到教學目的，往往需要其他模態(tài)補充、協(xié)同，由其他模態(tài)提供新的內容，進行強化或者引導。在上述分析中，文字和圖像模態(tài)為教師的口語模態(tài)提供支持，從而強化教學效果。教師在授課過程中可以通過PPT課件展現(xiàn)生動畫面，刺激學生的感官系統(tǒng)，吸引學生的注意力，讓學生從聽覺和視覺方面獲取相關信息，快速獲取所學材料。

6.結語

作為社會符號學的一個應用型分支，多模態(tài)符號學既是一門新興的“學科”（張德祿，李玉香，2012），又是一種“理論應用的視角”（Jewitt 2009），更是一類值得研究的“領域”（Kress 2009）。話語的多模態(tài)化成為現(xiàn)代話語的一個突出特點，對多模態(tài)話語的研究也成為一種必然（張德祿，李玉香，2012）。本文以外語教學課堂話語為例探討多模態(tài)話語的體裁結構、模態(tài)語法及模態(tài)在共建課堂話語意義中的協(xié)同，發(fā)現(xiàn)課堂話語中需要不同模態(tài)的協(xié)同配合。在今后的教學研究中，多模態(tài)話語的分析為其提供了很好的切入點，通過對課堂話語的分析，我們可以更好地把握課堂，并探討更好的教學模式及選擇與教學目的和學生需求更符合貼切的模態(tài)完成教學。

參考文獻：

[1]Baker，D.& Street，B.So，What About Multimodal Literacies？in K.Pahland J.Rowsell（eds） Travel Notes from the New Literacy Studies，Clevedon：Multilingual Matters，2006.

[2]Hallliday，M.A.K.Language as Social Semiotic[M].London： Arnold[M].London：Arnold，1978.

[3]Hodge，R. and Kress，G. Social Semiotics，Cambridge： Polity Press，1998.

[4]Holsonova，J. Different perspectives on multimodality. Methodological considerations. Lund： Lund University Press，1999.

[5]Martin，J.R.English Text： System and Structure[M].Amsterdam：John Benjamins，1992.

[6]Jewitt，C.Multi-modal Discourse Across the Curriculum，in N. Hornberger（eds.） Encyclopedia of Language and Education， 2ndrevdedn，New York： Springer-Verlag，2008.

[7]Jewitt，C.The Routledge Handbook of Multimodal Analysis[M].London：Routledge，2009.

[8]Kress，G.What is mode？[C]//C. Jewitt，2009：54-66.

[9]Kress，G.& T.van Leuwen. Multimodal Discourse：The Modes and Media of Contemporary Communication[M].London：Arnold，2001.

[10]OHalloran，K.Classroom discourse in mathematics：a multi-semiotic analysis[J].Linguistics and Education，2000.10（3）：359-388.

[11]OHalloran，K. Multimodal Discourse Analysis[M].London： Continuum，2004.

[12]OHalloran，K. L. & B. A. Smith. Multimodal studies[C]//K.L.OHalloran & B. A. Smith. Multimodal Studies：Exploring Issues and Domains. New York & London：Routledge，2011.

[13]Scolon，Ron & Levine，Philip Multimodal Discourse Analysis as the Confluence of Discourse and Technology.Washington DC.：Georgetown University Press，2004.

[14]Williamson What Are Multimodality，Multisemiotics and Multiliteracy？-A Brief Guide to Some Jargon，NESTA Future lab，Online，2005.

[15]李戰(zhàn)子.多模態(tài)符號學：理論基礎，研究途徑與發(fā)展前景[J].外語研究，2012（2）：1-8.

[16]胡壯麟.社會符號學研究中的多模態(tài)化[J].語言教學與研究，2007a.（1）：1-10.

[17]張德祿，王璐.多模態(tài)話語模態(tài)的協(xié)同及在外語教學中的體現(xiàn)[J].外語學刊，2010（2）：97-102.

[18]張德祿，李玉香.多模態(tài)課堂話語的模態(tài)配合研究[J].外語與外語教學，2012（1）：39-43.