從“語言學”的角度看“多媒體畫面語言學”

張茹燕 普濟

“多媒體畫面語言學”（The Linguistics for Multimedia Design，LMD）是今年出現的一門全新的學科門類[1]，具有時代性和跨領域的明顯特征。它的出現，直接原因是當前在國內外廣泛開展多媒體教材建設的需要；更深層次的原因，則是信息時代迫切要求認識和規范該時代流行的語言——多媒體畫面語言。

本文從一般語言學的角度，揭示多媒體畫面語言的本質屬性和語言特征；探討多媒體畫面語言學劃分為語構、語義和語用三部分的理論依據，旨在考證多媒體畫面語言學的合理性，即研究它的思路和結論都可在“一般語言學”中找到依據。

● 為什么將多媒體畫面視為一種語言

1.多媒體畫面具有語言的本質屬性

一般語言學將語言定義為，人類用于交際和思維的符號系統。“符號”是指人們在交際過程中，用于傳達信息的有意義的媒介物。這個定義說明語言具有兩個方面的本質屬性，即：語言是一套“符號”系統；語言用于交流和思維。

將多媒體畫面視為一種語言，是因為它符合語言的定義，即可以將其視為一種符號系統，并且可以用它來傳遞知識信息或視聽覺美感，也可用來進行思維。

（1）多媒體畫面語言是一套符號系統。構成（繪畫、攝影、動畫、影視等）傳統藝術中的基本元素，早已分別形成了各藝術門類中的符號系統。多媒體畫面的基本元素，是由上述各傳統藝術中的基本元素組合而成的，將其分為圖、文、聲、像4種媒體類型，并且運用多媒體畫面藝術規則（即畫面語言的語法規則）對這4類媒體的符號間關系進行規范，從而使該符號系統形成了一套嚴密的畫面語言結構。

（2）多媒體畫面語言可以用來傳遞知識信息或視聽覺美感。用多媒體畫面語言編寫的多媒體教材,由于包含了圖、文、聲像各類媒體，充分利用了學習者的視覺、聽覺渠道和表象、概念渠道，因而傳遞知識和美感的效果更加優于文字語言和傳統藝術。

必須指出，采用多媒體畫面語言符號進行交流，需要注意它不同于文字符號的兩個特點，即“以形表義”和“分時呈現”。

（3）多媒體畫面語言也可以用于思維。多媒體畫面語言是通過視、聽覺的表象渠道和概念渠道將信息內容傳入人的大腦的，這些信息內容可以在人的頭腦中以表象和概念的形式進行思維加工。因此可以認為，這就是運用多媒體畫面語言進行思維的形式。

2.多媒體畫面具有一般語言的三個特征

在語言學中，語言一般應具有符號性、系統性和可生成性三個特征[2]。多媒體畫面也具有語言學描述語言的這些特征。分別討論如下。

（1）符號性。語言學認為，語言符號是有層級結構的：由語素、詞組成短語；由短語組成句子。多媒體畫面語言符號也有類似的層級結構[3]。例如，圖形語言符號的層級結構是，由點、線、面組成形態；由色彩、肌理、影調組成屬性；由形態、屬性、聲音、運動等組成運動畫面（即電視畫面、計算機畫面、多媒體畫面）。

（2）系統性。語言學認為，語言是一種由語法規則維系的語言符號系統。多媒體畫面語言作為一種語言符號系統，它的語言符號是由多媒體畫面藝術規則（語法規則）維系的，這種維系需注意兩個要點：①內容上，多媒體畫面藝術規則規范的是視（聽）覺要素符號，即規范基本元素符號在畫面上的衍變。強調這一要點，是因為它明確了該語言基礎理論（多媒體畫面藝術理論）的思路，語法規則是需要按照這一思路運用的。②范圍上，多媒體畫面藝術規則是從八個方面進行規范的。其中“突出主題（或主體）”、“媒體匹配”和“有序變化”三個方面基本規則用來覆蓋“圖”的靜態呈現和動態呈現；文本和解說兩個方面的藝術規則對文字語言的形、聲在畫面上的呈現進行規范；色彩和背景兩個方面的藝術規則對圖、文的屬性和背景進行規范；運用交互功能方面的藝術規則對導航、互動教學方面的運用進行規范。從而體現了這套語法規則的完備性。強調這一要點，是為了說明這套規則與該語言的基礎理論密不可分，即語法規則是從理論中提煉出來的。

（3）生成性。語言學認為，雖然語言符號系統是由有限的語言符號和語法規則構成的，但卻能生成無限多種句子。多媒體畫面語言便是由有限的語言符號（基本元素、視覺要素）及其語法規則（多媒體畫面藝術規則）構成的語言符號系統。正是由于具有這種有限性，才能使多媒體畫面語言具有可學習性，并能利用它開發出無限多種多媒體教材出來。

因此，可以將多媒體畫面視為和文字一樣，二者分別屬于兩種不同類型的人工語言。

● 研究多媒體畫面語言，為什么要分為基礎理論與理論運用兩部分

1.語言學中存在“語言”和“言語”的概念

進入20世紀以后，首先在語言學中提出“語言”和“言語”概念的是瑞士語言學家索緒爾（結構主義語言學創始人），他稱其為“建立言語活動理論的第一條分岔路”。也就是說，對于語言學，需要把語言和言語區分開來進行研究[4]。索緒爾所說的“語言”，實際上是指由語法規則規范的語言結構，而“言語”則是指運用語法進行表達的過程和結果。如果將“語言”視為一種工具，便可將“言語”看成是工具的運用。1957年，喬姆斯基（美國語言學家）基于認知心理學理論，創建了“轉化生成語言學”，其中提出的“語言能力”和“語言運用”概念，與索緒爾的“語言”和“言語”概念是對應的。20世紀70年代后期興起的功能語言學，其特點是重視語言的功能,認為僅有語法是不夠的，需要通過功能和認知來解釋句法和其他語言現象。

從上述語言學的發展歷程可以看出，盡管語言學的研究在不斷深入，但是索緒爾最初提出的區分語言與言語的思路，卻一直延續至今。在現有研究成果的基礎上，可以將該思路表述如下。

語言是一種形成了共識的、相對穩固的詞匯系統和語法系統，對外，可以幫助人們進行交際；對內，可以幫助人們進行思維。言語有兩方面含義。其一是指講話（包括寫作），是一種交流的行為動作；其二是指所講的話（包括所寫的文字），需要考慮交流行為所產生的結果。

從社會功能的角度看，語言無非是一種工具。語言和言語的關系，猶如工具和工具運用的關系。

一般語言學認為，句子是劃分“語言”和“言語”的分界線。句子以下的靜態單位，包括詞、音、義，屬于語言的研究范疇，它們是組成語言這個相對穩固的交際工具的內部結構模式；句子以上的動態單位，包括語流、語調、句群、段落、段群、篇章是人們運用語言系統這個交際工具在一定的語境中完成的，屬于言語的研究范疇。而且認為，句子的模式屬于語言范疇，具體句子的運用屬于言語范疇[5]。

2.多媒體畫面語言學中語言和言語的分界線

在多媒體畫面語言學中，也是按照索緒爾區分語言與言語的思路，將多媒體畫面語言分為基礎理論與理論運用兩個方面進行研究的。

多媒體畫面語言學認為，多媒體教材中的教學內容是通過多媒體畫面表現的，或者廣義地講，是通過（包括電視畫面、動畫畫面和多媒體畫面在內的）運動畫面表現的。這就表明，運動畫面應相當于一般語言學中的“句子”，是多媒體畫面語言學中語言和言語的分界線。

將多媒體畫面藝術劃分為媒體呈現藝術和畫面組接藝術，體現的便是按照多媒體畫面劃分的思想。前者將畫面上各類媒體的基本元素，視為多媒體畫面語言（符號）系統中的“詞匯”，而將多媒體畫面藝術規則視為規范這些詞匯衍變的“語法”（衍變后的基本元素叫視覺要素）。因此，多媒體畫面便是通過這些“語法”規范的“詞匯”，組成了各種表現教學內容的結構模式，即“句子”。顯然，這些屬于多媒體畫面藝術（基礎）理論的內容，對應于語言學中的“語言”研究范疇；后者按照不同題材和語境的要求，運用編輯功能或交互功能對各畫面進行組接，就像組接“句子”一樣，旨在準確地表現各種題材內容和取得好的教學效果。顯然，這些屬于基礎理論運用的內容，對應于語言學中的“言語”研究。

● “多媒體畫面語言學”為什么要分為語構、語義、語用三部分

現代語言學認為，語言學是研究語言工具（即符號系統）、工具內部結構系統（語法）以及人們在不同語境中運用語言系統工具的過程及結果的學科[6]。語言學分為“語言的語言學”和“言語的語言學”。

語言的語言學是以“語言”為唯一對象的語言學，“語言”是指音義結合的詞匯（即符號系統）和語法系統。言語的語言學研究人們在不同語境中運用語言系統工具的過程及結果[7]。

美國哲學家英里斯則進一步把符號學劃分為語形學、語義學和語用學三個組成部分。語形學研究符形之間的關系（符號的結構），也稱為語法學或句法學；語義學研究符形與符號對象之間的關系，即符號通過符形所傳達的關于符號對象的訊息；語用學研究符形、對象以及符號情境之間的關系。符號情境是指符號使用者之間應用符號傳達思想感情時的具體環境[8]。

多媒體畫面語言學借鑒了現代語言學和符號學的觀點，也相應地分為語構學、語義學和語用學三部分[9]。

其中多媒體畫面語構學研究由語言符號（基本元素、視覺要素）及其語法規則（多媒體畫面藝術規則）構成的語言符號系統，屬于“語言的語言學”的范疇。

此外，按照現代語言學將“言語的語言學”中的語境分為小語境和大語境的觀點。小語境指口語的前后語或書面語的上下文；大語境則是指言語雙方的身份、場合、心情以及所處的社會文化環境等方方面面的因素。根據編寫多媒體教材的需要，多媒體畫面語義學將“小語境”的概念延伸為不同題材的教學內容，研究畫面語言的不同設計格式以適應這些題材內容的需求；多媒體畫面語用學將“大語境”視為課堂教學環境，研究畫面語言的不同教學格式以適應課堂教學策略的需要。因此，可以將多媒體畫面語義學和語用學視為“言語的語言學”的研究范疇。

如何看待多媒體畫面語言學中語構學、語義學和語用學三者的關系？

由于多媒體畫面語言的語法規則與多媒體畫面藝術理論密不可分，如果將后者比作土壤，前者則好像埋在土壤里的樹根。語義、語用學是建立在語構學(語法)基礎上的，因此，可以將它們視為由此樹根長出地面的兩棵大樹。

參考文獻：

[1]游澤清.多媒體畫面藝術應用[M].北京:清華大學出版社,2012.1.

[2]儲一鳴.站在巨人肩上的開拓——《言語的語言學導論》述評[J].現代語文，2008(2):125-128.

[3]游澤清.多媒體畫面語言的語法[J].信息技術教育,2002(2):79-80.

[4]岑運強.語言學概論[M].北京:中國人民大學出版社,2004.

[5]岑運強,石艷華.二十年來語言和言語問題研究述評[J].漢語學習,2008(4):69-76.

[6]岑運強.語言和言語、語言的語言學和言語的語言學[J].漢語學習,1994(4):13-16.

[7]岑運強.言語的語言學的界定、內容及其研究的方法[J].北京師范大學學報，2000(4):71-77.

[8]視覺文化與技術.符號學的三分天下：語形學、語義學、語用學[DB/OL].http://www.fromeyes.cn/Article_Show.asp?ArticleID=1339.

[9]游澤清.十年磨一劍——“多媒體畫面語言學”誕生紀實[J].中國信息技術教育，2011(22):9-13.