多模態符號資源及媒體系統探索

張德祿

(同濟大學,上海,200092)

1. 引言

符號資源(semiotic resource)是符號系統的集合。人們可以通過“可識別的、多半是習慣性的(有時是原創的)方法使用這些資源,從而得以開展有意義的活動”(Lemke 1993)。所謂“習慣性”的方法指一個社團中的成員可以同時采用一系列符號資源來形成經常的、可重復的、可識別的、有意義的、文化的和歷史的特殊符號類型的方法,是一個符號建構的過程,如某一時期的文學語類。同樣,建筑風格、房子類型、宗教儀式、特定節日、飲食、衣著的特定樣式都可以定義為行動性的、有規律的模式,是對社會有意義的實踐模式。

2. 符號系統與多模態話語研究

任何符號系統都是用于社會交際的,但在以前的符號學研究傳統中,研究的重點不是符號系統,而是獨立的符號個體,即某個符號與其所表達的意義,如紅色可以表示“危險”。而多模態話語研究主要研究符號是如何共同在交際中起作用。例如,在語言中,我們不是只研究某個詞的意思,而是研究該詞是如何與其他詞組成一個系統,以及如何與其他詞組合為句子來表達意義。

意義在這里不是指某個單獨的符號所表達的意義,而是某個符號系統的“意義潛勢”。不同的符號組合可以體現不同的意義。例如,在圖像中,不是研究紅色可以體現什么意義,而是研究它和其他因素,如形狀、布局、所配的文字等如何組合,如何在圖像整體中布局,以及如何與其他因素搭配來共同體現意義。例如,Kress和van Leeuwen(1996)就采用語法方法來研究圖像是如何體現意義的。在語法中,發話者可以從任何可利用的符號系統中選擇符號特征來體現要表達的意義。多模態方法就是用以說明我們交際的方式很少是單模態的,如口語、書面語、手勢等,而是多種模態組合起來共同起作用,包括視覺的、聽覺的、觸覺的各種模態。

在社會交際中,一種社會符號系統就是一個模態。每個模態都有一個媒介系統,體現詞匯或者詞匯語法,從而體現意義。人類在特定文化中可以利用的符號系統是無限的。從這個意義上講,我們在社會交際中可利用的符號資源是無數的。

多模態話語研究是從語言學研究中發展起來的,研究的著眼點是單個模態的交際,或者是口語,或者是書面語。在其他模態的研究中,研究的著眼點也是單模態的,如繪畫。隨著現代科技的發展,多模態話語研究就變得越來越重要,越來越必不可少。

從多模態話語分析的角度講,模態之間沒有主次、先后、輕重之分,所有的模態都應該是同等的。它們的具體模式和系統都應該得到理解和認識,包括它們的語法系統和結構。不僅以語言為主的交際是如此,以其他媒體為主的交際也是如此。這顯然會使主要研究語言系統和模式的學者感到對圖像、電影的研究深度不夠,過于印象化、表面化,因此要像研究語言那樣研究各個模態的語法系統。但語言學家對語言之外的其他模態缺乏了解,需要對這些模態進行更加深入的研究。盡管如此,他們還是模擬語言語法對圖像等其他模態的語法模式進行了研究,對這些模態的認識從印象化向科學化發展,為其他模態的研究提供了很好的工具。

由于多模態話語交際的發展,符號選擇的原則也發生了變化。以前我們重點研究某個模態是如何體現意義的,模態之間也因此有了嚴格的分工,如在電影中提供行動的圖像、表示現實性的同步聲音以及表達情感的音樂均由相應的專家來完成,然后編輯把它們綜合起來,把所有的成分都通過共同的韻律同步化(van Leeuwen 1985)。但在多模態研究中,我們需要用新的方法分析和描述這種交際模式。各個模態所共有的符號原則在不同的模態之間起作用,其結果可能是音樂用以體現行動、圖像表達情感等,這主要是因為,隨著信息時代、數字時代的到來,人們的交際方式發生了變化,不同的模態實際上可以具有相同的體現意義的功能,可以由同一個人來操作。他在操作過程中可以根據要表達的意義和效果,確定是用音樂、用聲音、圖像還是用口語等。這樣,我們在研究中能夠從符號學的高度把不同模態聯合起來。一個語篇中的成分可以通過分離手段的缺失,如矢量的缺失、顏色的延續和相似性的缺失、視覺形狀的缺失等相互連接。分離的成分將被理解為是獨立的、分離的,或者是對立的,而連接的成分是相互聯系的、連續一體的或者是互補的(van Leeuwen 2005:13)。

尋找這種共同的原則可以采用不同的方法。我們可以為每一個模態設計出具體的語法,具體說明用這個模態可以說什么,如何說,以及如何用相同的方法和相同的術語來表達它等。最后,我們看這些語法是否有重合現象,它們在哪些方面是重合的,在哪些方面不是,哪些區域是所有模態所共有的,哪些區域是某個模態的專業化領域。

3. 媒體的產生

符號資源是意義資源。不同的符號系統體現不同的意義,因此,每個符號系統都具有自己的意義領域。而意義是由模態的詞匯語法來體現的,詞匯語法又由媒體體現,成為有物質實體體現的符號系統。所以,媒體的存在是模態產生的基礎。從某種角度講,沒有媒體就沒有模態,因為任何模態都要以一定的物質形式作為載體,如聲音、顏色、形狀等。有了媒體,人們才可以在此基礎上發展模態。從另一個角度講,模態給媒體賦予生命。正是因為某個或某些物質形式在社會交際中起作用,才使它們成為模態的載體,與某個模態或者模態組合相聯系,被識別為某種媒體。但反過來講,某個模態的產生來源于某個或某些媒體的產生。很多模態的新作用和多模態的組合正是這樣產生的。例如,頁面本來是文字的天地,是根據文字設計的,但現在頁面已經被搬到屏幕上,它仍然可以是文字的天地,仍然可以根據以文字的需要來設計,如書信的版面。但同時它也變得很容易把圖像、圖形,甚至是動畫和電影等置入屏幕上,而圖形和圖像更加直接地和清晰地被讀者理解,同時還可以給讀者帶來感官上的享受,所以被廣泛利用。

從這個角度講,新模態的產生可以從兩個層次上來探討:從上一個層次上看,是新的社會交際的需要召喚新模態的產生;從下一個層次上,是新媒體的產生為新模態的產生提供了優越的條件,促使新模態的產生。實際上,從根本上講,兩者不是孤立的和分離的,而是相互聯系的。交際的需要是模態產生的外部動因,沒有交際的需要,某個模態就沒有產生的必要,所以也就不會產生;而媒體的存在是模態產生的物質條件,有了物質條件,特別是十分優越的物質條件,為模態的產生提供了內部條件。據此,Baldry(2000)堅持要在語篇描述中區分多模態和多媒體,這樣“起碼可區分語篇中符號資源的整合與與其十分不同的技術的整合,如把計算機和電視融為一體,或者把計算機技術與聲音技術融為一體”(Baldry 2000:25)。

然而,一個新模態的產生不是突然的,而是經歷了一個被社會認可的過程,例如,即使是由于電子紙張的優越條件而產生的圖文互補的新媒體也在開始時不被人接受,直到現在仍然受到質疑。新模態的產生也要遵循一定的原則,而這種原則通常是不被人們注意的。現有的研究通常把它作為想當然的過程來對待,沒有探討其產生的動因和條件。例如,圖像在電子語篇中成為主要模態主要經歷了以下過程:

(1) 交際的需要,圖像作為交際媒體更加直觀、便捷,提供的信息更加完整、精確,可以替代文字成為更加有效的媒介;

(2) 圖像的意義也是交際者更容易解碼的,因為他們與客觀事實更加接近,不需要花更多的時間解碼,而且可對它進行解碼的人群要遠遠大于可對文字解碼的人群;

(3) 圖像在電子環境中十分容易制作,也很容易被復制,而不像在紙質文本中那樣,畫一張畫需要很長的時間,所以在紙質文本上用圖畫做交際媒體十分昂貴,也十分浪費時間,所以不到特別需要時就不會用它作交際媒體;

(4) 這種模態作為新的交際工具被大眾,或者某個具體語言社團的大多數成員接受,認為是合適的交際模態。

這四條可以作為某種物質形式成為某個模態的媒介的基本原則,即有社會交際的動因,又有易于被識讀者解碼、易于使用、逐漸被大眾接受等條件。

當然,某個模態也可能因為不再適應社會交際的需要而在社會交際中被淘汰。例如,“面相學”(physiognomy),因其帶有種族主義的色彩而被拋棄,漸漸在社會交際中消失了(Kress & van Leeuwen 2001:22)。

4. 媒體與模態

媒體是物質形式,又是模態化的,在社會交際中充當意義的載體。在這里,我們需要回答兩個問題:(1)為什么要把某些物質實體轉化為媒體?(2)如何把物質實體轉化為媒體?上節我們回答了第一個問題,提出了把物質實體轉化為媒體,成為模態的載體的四條理由。本節主要討論如何才能把物質實體轉化為媒體。

物質實體本身不是符號,如自然界的事物,在沒有人類的時候就已經存在,沒有承載意義的義務。所以,物質實體成為符號資源是由人類完成的。人類把它們轉化為媒體資源表現為以下三個方面:可識別性、區別性、重現性。

1) 可識別性:一旦成為媒體,它就不再是混沌的物質實體,而是可被識別為某種事物,如聲音、書寫符號等。作為符號的載體,人們首先應該認識它是什么,無論它是具有實用功能的符號媒體,如汽車、房子,還是純粹的符號媒體,如語音、文字。

2) 區別性:能夠區分不同個體和不同類型的符號,能清楚在哪里某個符號開始,另一個符號結束,例如,紅色要能夠和紫色、粉紅色、咖啡色等區別開。

3) 重現性:能夠在人類社會交際中具有習慣性、經常性特點,即紅色在相似的場合多次出現,而且每次出現都體現相似的意義,如在表示人的活動時總是有革命的意義。

物質實體具有了這三個特性后就成為媒體,就能夠體現一種模態,成為一種符號資源。如果把不同的模態和語言相對比的話,模態的形式相當于語言的詞匯語法,而模態的媒體相當于語言的音系學。如何描述非語言模態的“音系學”還需要做進一步研究。在這里,我們嘗試探討這些模態的媒體系統建立的一些基本原則和條件。

符號媒體系統的區別性與系統的復雜性密切相關。以交通信號系統為例。它的物質實體是顏色,是把顏色符號化形成的符號系統,但它是一個十分簡單的符號系統,即只有兩個層次的符號系統:圖符和意義,即它的符號和意義是一一對應的關系,沒有必要建立詞匯語法層次。這樣它的圖符系統也十分簡單,如表1所示。

表1 交通信號系統的意義和圖符

在這個系統中,項目欄的意義項目和圖符項目是可以一一對應起來的,如“停”與紅色相互對應,沒有其他的選擇。在這種系統中,圖符項目與詞匯項目沒有區別,所以,圖符的區別性也表示詞匯項目的區別性。紅色是以不是藍色和桔黃色及其相近的顏色為標準建立的,在實際的使用中,一般局限在紅色內,無論是紅色、大紅、深紅、淺紅都可以;桔黃色的變異形式更多,可以是黃色、桔黃色等顏色。由于系統中的項目偏少,所以每個項目所占居的物質材料的范圍就很大。從理論上講,只要不與本系統中的其他符號混淆,任何符號變異形式都是允許的。但在實際的運用中,還要考慮符號區別的有效性,所以,對于承載更重要意義的符號,其變異形式的區別度要越高越好,例如,紅色和綠色在交通信號系統中更加重要,一般要以十分鮮艷的紅色和綠色為主,而桔黃色的功能則相對低些,所以,其可變的程度要大些。

其他符號系統有的是兩個層次的系統,有的是三個層次的。語言是典型的三個層次的系統,其他的還有莫斯代碼(Morse Code)、手語、盲語、某些復雜的圖像系統等。對于符號系統的研究重點是三個層次的符號系統。

5. 媒體的分類

媒體是生產符號產品的物質資源,包括所使用的工具和材料,如樂器和空氣、鑿和木頭等。它們通常是專門用于此目的而生產的,不僅是文化的,如墨水、顏色、照相機、計算機等,也可以是自然的,如人的發音器官、風、云、光等。

有些媒體是專門發展了用以進行媒體的記錄、重現和分布的,如錄音機、收音機、照相機等,它們本身是生產出來的符號產品,但在它們的發展過程中,開始是作為生產的媒介,然后生產的媒介可以成為設計模態。

對于媒體的分類,除了以上談到的聲音、字符、工具、人體媒介、記錄等幾個類別外,還有其他的類別。而且從不同的角度可以有不同的分類方法,包括以下幾個方面:1)傳統上把交際的模態分為書面語和口語模態,兩者分別由聲音和書寫符號體現。由其他媒體體現的模態不被認為是和語言媒體一樣的交際媒體,而是看作是“副語言的”。這種分類方法既不適應多模態話語分析理論的研究角度,也不符合適應現代科技而新發展起來的新媒體的特點,如大量使用的計算機屏幕、網絡版面和語言等。體現這些模態的媒體將成為與語言同等重要的媒體。2)Thibault(2004)從身體動力學的研究區分出動態的和靜態的,靜態媒體指文字、圖片、表格、繪畫等,動態媒體指面對面的互動、動畫、電影、使用錄像機等。但這個分類方法太籠統,最好把它作為其他分類的次分類來處理。例如,在按維度分類時,四維媒體都是動態的,其他可以是靜態的,也可以是動態的。3)根據系統的復雜性,媒體系統可以分為兩個層次的和三個層次的。兩個層次的符號的媒體可以直接體現意義,不需要語法;而三個層次的符號媒體不能直接體現意義,而是要經過符號的組合來實現詞匯和語法,然后由詞匯和語法來體現意義。4)交際是由人來進行的,因此,交際者會充分利用本身的肢體所能提供的媒體,如手勢、表情等。正如Baldry(2000:17)所說,通過電視錄像等媒體,我們可以探討意義制造的過程,而這一過程是由人體和其他媒體互動來共同創造,“這樣就有可能探討人體如何在語境中和其他物體一起來制造意義的主題”。這樣,媒體可以分為由肢體提供的媒體和非肢體所提供的媒體。張德祿(2009)從是否由肢體提供媒體的角度對媒體的類別做了區分,把所有由肢體發出的媒體成為肢體媒體,而把所有其他的媒體成為工具媒體和環境媒體。5)不同維度的媒體差別很大,因此維度成為區分媒體類型的主要標準。媒體的維度可以分為一維媒體(one-dimensional media)、二維媒體(two-dimensional media)、三維媒體(three-dimensional media)和四維媒體(four-dimensional media)。下面重點探討語言與非語言媒體和根據維度劃分的媒體。

5.1 語言與非語言

現有的對媒體系統的研究不是很多,其中Lim Fei(2004)對印刷系統和圖形系統的研究可以作為對語言與非語言媒體系統的研究的例證。首先,書寫系統要有兩個次級系統組成:字體和空間布局。字體由三個次級系統組成:字類、大小、顏色,每個次級系統還包括次級系統,系統由項目組成。空間布局包括字間距和字體對齊等。

這個系統是描述文字印刷的,不是從文字學的角度來探討印刷符號,主要問題是還沒有把文字的級階作為一個主要次級系統在系統網絡中表現出來,同時顏色應該作為一種格式,而不是在字體層面上。這樣,我們可以根據用于印刷的字體學來發展英語的文字學系統,從而使它具有具體語言的特征(相似于音系學)。這個系統可以描述為圖1。

圖1 英語的文字系統

英語的文字學系統主要由兩個因素構成:字體和空間。字類表示格式和體及其次范疇,表示在原字符的基礎上添加這些特征,增加原字符的表意潛勢,包括大小寫、斜體、底線、輪廓等。字號在對比的情況下才可以具有意義,例如標題的字號要大于正文的字號,所以,它具有自由變體的特征,如把行文字號定為10號或12號。

字是書寫系統的主體,其中字符包括26個字母和標點符號,是書寫系統的實體符號,它們可以按一定規則組合成為更大的單位,如詞、逗號單位、分號單位和句子單位等。這些單位以一定的空間布局組合為更大的書寫單位,如段落(縮進)、章節(換頁、空頁)等。

Lim Fei(2004)還對圖形系統進行了研究。圖形主要由兩個因素構成:形式和角度。形式是構成圖形的基本因素,包括顏色、形狀、線條、筆觸等因素。顏色包括顏色的類別,以及色調、色彩和色度等因素,顯示顏色的特點;形狀千變萬化,其基本圖形是幾何形的,其典型形狀是矩形的,其他的圖形可以是任何形狀。圖形由線條構筑,線條可以是任何類型,其長度和寬度是重要的區別性特征。用什么筆劃也是重要的繪畫因素,可表達圖畫的不同特色和文體,如用畫筆、蠟筆,還是噴漆或用刷子。視角包括角度和深層空間,角度包括從什么角度,多大距離等(見圖2)。

圖2 圖形系統(Lim Fei 2004)

這個描寫方式有兩個問題。第一個是對于所涉及的因素,沒有區分哪些是有區別性的,哪些沒有區別性當然,一般進入人們意識的因素都是有區別性的,不然不會進入人的意識產生“心理現實性”(psychological reality)。第二個是這個描寫方式太籠統。圖形圖像實際上可以有多種不同的符號系統。這些符號系統當然有其自己的特點,但各個系統本身都是獨立的,有自身的獨特特征,應該單獨描述。例如,圖畫和圖表,動態的動畫和靜態的藝術畫是完全不同的,雖然他們都是視覺的。因此,我們應該對每個符號系統的媒體系統單獨進行描述。

5.2 媒體的維度

媒體的維度是一個重要的區分條件,因為維度之間的區別很重要,可以直接影響對符號的識別難度。對媒體維度的描述現在一般還是局限在四個維度之內,科學研究對空間維度的擴展還沒有進入到大眾的社會交際中。這四個維度分別是:一維媒體(線性的)、二維媒體(平面的)、三維媒體(立體的)、四維媒體(動態的,可移動的三維媒體)。

(1) 一維媒體

一維媒體指線性媒體。語言媒體都是線性的。口語是線性的,從開始說話到結束都是按照時間來排列的。書面語也是一維的:雖然書寫的版面,如紙和屏幕,都是二維的,但文字本身是一維的,有明確的開始和結束點,是空間上的一維媒體。一維媒體還包括音樂,它和口語相似,都是沿著時間線進行的,從時間的一個點開始,到時間上的某個點結束。

一維媒體可以是時間的,如口語和音樂,是以時間的起點、延續、結束為特點的;也可以是空間的,如書寫的字詞,是以空間的起點、延續、結束為特點的。

一維媒體的特點是其有明確的起點和終點:時間一維媒體以時間的某個點開始,到時間上的某個點結束,所以,它的大小是以從起點到終點所延續的時間來計算的,如一個對話可以是三分鐘,也可以是三個小時。在錄音帶上表現的最明顯。空間一維媒體是以空間上的一個點開始到空間上的一個點結束。空間是三維的,所以可以以任何一維作為起點和終點,因此它可以是橫的,也可以是豎的,還可以是高的。空間一維媒體是以它在空間上延續的長短來衡量的。

一維媒體具有把一切類型的意義都分割壓縮為線性的特點,所以,它具有易于把復雜和形象的意義抽象化、簡單化的特點,因此便于科學化(Kressetal. 2001:171)和操作,但增加了理解的難度,因為人們需要把它解碼為二維或者三維圖式后才能理解。

(2) 二維媒體

二維媒體由兩個單一維度共現和協同而成。這兩個單一維度可以是任何四個維度之一,即時間、橫、豎、高。傳統上的二維一般只指空間上的二維,由空間上的任何三維之二組成。但實際上,它還包括時間與任何三維之一共現與協同形成的二維媒體。空間上的二維盡管可以由任何三維之二組成,但它們在時間上沒有區別,組成的圖形都是平面圖。

時間與空間維度組成的二維媒體總是動態的,即將靜態的一維媒體以時間順序顯示,如屏幕上字幕的顯示過程。二維時間媒體都是動態的,因為它是一個時間維度和一個空間維度結合,所以,它可以既以時間的順序從起點到結束識讀,也可以根據空間維度從開始到結尾識讀。但它不能從終點到起點進行識讀。

二維媒體具有多角度、多起點的特點,能夠從左到右、從上到下、從中心到邊沿組織信息,甚至是三種角度的結合,或者是相反的過程。這樣,對二維媒體編碼可以從多個起點作選擇,或者多個起點同時進行;對其解碼則就需要識讀者認真考慮不同成分之間的關系,以及每個成分的特性和功能(Kressetal. 2001:171)。

(3) 三維媒體

三維媒體是由空間的三個單獨的維度的共現和協同,或者由空間的兩個維度與時間維度的共現與協同而形成的媒體。一般來講,當我們談論三維圖形時,我們只考慮空間立體圖形,而不會把時間維度考慮進去。平面圖形以時間為序發生移動和變化也是三維的,并且都是動態的。

三維空間圖形可以看作由一個個平面圖形疊加而成,在每一個平面圖形上都可以發生新的變化,還可以附加新的一維、二維或三維的圖形,這樣就形成了三維立體圖形的復雜性和解釋的難度。例如,平面圖形只有面積,在這個平面上可以附加新的平面圖形,但它會明確地顯示出來,識讀者可以清楚地看到它,而且它的平面性使它很受限制。而三維立體圖形不僅可以超越平面的限制而延伸到另一個維度,還具有容積。例如,房子的立體圖形可以表示房子有內部空間。至于其內部空間是如何設計的,還有什么東西都無從知道。同時,其表現事物的識讀方式、起點和焦點都十分難以確定,所以其識讀方式難以確定。由時間和空間形成的三維媒體是動態媒體,是由二維空間圖形在時間上的變化形成的,它的識讀可以通過時間的起點、延續和結束來進行。

三維媒體是一種更直觀、更現實的媒體形式,使編碼者可以把直接從現實中“凍結”得到的實物置入語篇中,從而使識讀者可以直接觀察到事物的原形。從這個角度講,降低了識讀所需要的抽象能力和想象能力,但同時,也需要識讀者的想象力和背景知識來認識整個事物,因為識讀者觀察到的任何三維媒體都是不完全的,需要他“用自己的想象力來創造出所看不到的那些面”(O’Toole 1994/2010:12)。

(4) 四維媒體

四維媒體是由空間的三個維度和一個時間維度的共現和協同形成。它除了有三維空間的復雜性外,還有時間維度上的變化。四維媒體總是動態的和變化的,經常用于現代媒體中,特別是計算機網絡。

四維媒體雖然更加復雜,但是最接近現實的媒體,對它編碼不需要進行抽象化和簡單化的處理,同樣對它的解碼也不必經過抽象到具體形象的過程,因此是最適合普通大眾交際的一種媒體形式,也是現代高科技多媒體的一個特點。

多模態話語的媒體的分類可以由表2表示。

表2 媒體的分類標準

5.3 討論

媒體的分類反映了不同類型的交際特點。首先,有些交際是完全動態的(對話、看電視、電影、打手勢等),有些是靜態動態的結合(讀書、看圖等);有些主要通過語言(口語、書面語),有的主要通過非語言(體育表演、表情、手勢),更多的是兩者的結合(表演、口語加手勢、表情)。有些交際只通過簡單的單符號即可(交通信號、鳥語),有的要用多層次符號(語言等);現代科技的發展一方面使交際由以肢體媒體為主向以工具為主演化,另一方面使交際由線性、二維媒體向三維、四維媒體過渡。

媒體的分類為交際中模態的選擇和搭配提供了可參考的依據。交際中對模態的選擇或者設計是由多種因素制約的,如交際的語境,包括交際的內容、交際者、交際的環境,意義的類型,模態的表意潛勢、供用特征(affordances)、功能專業化(functional specialization)(Kress 2003)。但最關鍵的是媒體系統的可用性。例如,人們都知道用三維動態媒體交際更直接和有效,但缺乏必要條件就無法進行。而且以上幾個因素也都和媒體的類型直接相關,如模態的供用特征和專業化是直接和媒體的存在和可用性相關的。

6. 結語

本文探討符號資源及其媒體系統的類別。符號資源是一個言語社團進行社會交際的資源,是文化的表現形式,是所有符號系統的統稱。所以,本文首先探討了符號系統的特點,把每個符號系統看作一個意義潛勢,以一種模態參與交際事件,由特定的媒體體現;然后探討了符號系統的物質特性,以及物質的模態化過程;第三,我們探討了媒體和模態的關系,提出了符號媒體的三個特點:可識別性、有區別性、重現性;以及具有不同層次的符號的媒體特征;第四,重點探討符號的媒體系統的特點,專門談了文字、圖形、音系的系統特點;最后,談了符號媒體的分類,從語言與非語言、符號的維度、符號的感知幾個方面談了符號媒體的特點,最后簡單談了社會交際的多模態性與媒體類別的關系。

Baldry, A. 2000.MultimodalityandMultimedialityinaDistanceLearningAge[M]. Campobasso: Palladino Editore.

Halliday, M. A. K. 1978.LanguageasSocialSemiotic:TheSocialInterpretationofLanguageandMeaning[M]. London: Edward Arnold.

Halliday, M. A. K & R. Hasan. 1985/1989.Language,Context,andText:AspectsofLanguageinaSocial-semioticPerspective[M]. Oxford: Oxford University Press.

Kress, G. 2003.LiteracyinaNewMediaAge[M]. London: Routledge.

Kress, G. & T. van Leeuwen. 1996/2006.ReadingImages:TheGrammarofVisualDesign[M]. London: Routledge.

Kress, G. & T. van Leeuwen. 2001.MultimodalDiscourse:TheModesandMediaofContemporaryCommunication[M]. London: Edward Arnold.

Kress, G., C. Jewitt, J. Ogborn & C. Tsatsarelis. 2001.MultimodalTeachingandLearning:RhetoricoftheScienceClassroom[M]. London: Continuum.

Lemke, J. L. 1993. Discourse, dynamics, and social change [J].CulturalDynamics6(1): 243-275.

Lim Fei, V. 2004. Developing an integrative multi-semiotic model [A]. In K. O’Halloran (ed.).MultimodalDiscourseAnalysis:SystemicFunctionalPerspective[C]. London: Continuum. 220-246.

O’Toole, M. 1994/2010.TheLanguageOfDisplayedArt[M]. London: Leicester University Press.

Thibault. Paul J. 2004.Brain,Mind,andtheSignifyingBody:AnEcosocialSemioticTheory[M]. London: Continuum.

van Leeuwen, T. 1985. Rhythmic structure of the film text [A]. In T. A. van Dijk (ed.).DiscourseandCommunication:NewApproachestotheAnalysisofMassMediaDiscourseandCommunication[C]. Berlin: Walter de Gruyter. 216-232.

van Leeuwen, T. 2005.IntroducingSocialSemiotics[M]. London & New York: Routledge.

張德祿.2009.多模態話語分析綜合理論框架探索[J].中國外語(1):24-30.