多模態視頻語篇的分析模式研究

王 正

（綏化學院 外國語學院，黑龍江 綏化152000）

隨著科學技術的高速發展，視頻語篇（video text）已經成為人們交流和傳遞信息的最重要手段之一，語言學界也已經開始關注對視頻語篇的研究。由于視頻語篇的復雜性和特殊性，以及現有語言學理論的局限性，使得對于視頻語篇的分析目前還存在很多困難。

一、現有的視頻語篇分析模式和不足

目前國內外對視頻語篇的分析模式主要有以下3類，這3類不同的分析模式對視頻語篇有著不同的定性描述。

第1類是以Baldry和Thibault，Vanluween，O'Halloran等為代表的社會符號學派對于視頻語篇的分析模式，其主要理論基礎是Halliday創立的系統功能語言學。這種分析模式的操作方法是將視頻語篇轉錄成為圖片和文字，然后以功能語言學的語域、銜接等相關理論以及Cress ＆Vanluween的視覺語法為基礎進行分析［1］［2］。在社會符號學派的分析模式下，視頻語篇的本質看作是圖片的連續體（包含音頻），當連續的圖片伴隨音頻以一定的頻率播放（例如48幀／秒），就形成了連續的動態的視頻語篇。

第2類針對視頻語篇的分析模式，是Norris在Scollon的介入性語篇理論（Mediated Discourse Theory）的基礎上建立的多模態分析框架［3］。Norris的分析模式關注的是人們在現實世界中交流時的交互行為（human interaction）［4］，并非針對視頻語篇，但是她的分析資料是通過視頻錄像捕捉到的，所以可以把Norris的分析模式也看作是針對視頻語篇的研究。在這種分析模式下，視頻語篇的本質被看作是社會交互行為（social interaction），對社會交互行為的分析等同于對視頻語篇的分析。

第3類視頻語篇的分析模式是我國學者顧曰國所建立的分析模式，其主要理論基礎也包括Scollon的介入性語篇理論，還有其本人對現場即席話語（situated discourse）的研究［5］，以及 Argyle et al．對社會情境（social situation）的研究［6］。顧曰國提出從內容層和媒介層兩方面來分析多模態語篇，從社會語境入手，將多模態語篇（視頻語篇）分為社會心理層和個人行為層，前者從上至下包括社會情境、活動類型和任務／插曲；后者包括談話、行為和言外行為的韻律單位［7］。此種分析模式把視頻語等同于社會情境，認為對視頻語篇的分析等同于對社會情境的分析。

以上三種分析模式，對視頻語篇的定性描述和分析各有其側重點和不足之處。社會符號學分析模式把視頻語篇的本質被看作是圖片的連續體，只關注對視頻語篇表現形式的分析，而忽略了本質和內容；在Norris的分析模式下，視頻語篇的本質被看作是社會交互行為，對社會交互行為的分析等同于對視頻語篇的分析，此種模式局限于內容是人的活動的視頻語篇；顧曰國的分析模式把視頻語等同于社會情境，忽略了社會情境在轉換成視頻語篇過程中發生的變化，也就是社會情境的重新語境化過程。

二、對視頻語篇重新進行定性描述

任何進入攝像機鏡頭范圍內的客觀世界中存在的一切，從人的活動到自然風景，再到微觀世界中的分子、原子等，都可能會被鏡頭記錄下來，形成一個包含音頻的視頻文件，播放出來就是一個視頻語篇。視頻語篇還可以是形象化的主觀世界的內容，例如人工制作的動畫片等。由于視頻語篇的復雜性和特殊性，對其進行系統的定性描述是進行分析的第一步。

一個視頻語篇的物質載體首先是一個存儲在電腦硬盤或其他媒體中的一個數字化的視頻文件，當這個數字化的文件通過電腦、電視機或手機等媒介播放出來后就形成了包含音頻的動態視頻，視頻的直觀表現形式是連續播放的圖片，通過圖片的內容我們可以確定其中的參與者的具體行為，而不同的參與者及其具體行為和場景就構成了一個具體的社會情境，這個具體的社會情境可以看作是視頻語篇的本質，作為視頻語篇本質的社會情境通常會經過重新語境化的過程。所以描述一個視頻語篇應該從不同的層次上進行。我們從層次劃分的角度對視頻語篇作了以下的定性描述：視頻語篇包括本質、內容、形式和載體四個層次；視頻語篇的本質是重新語境化的社會情境，內容是社會行為，形式是連續播放的圖片，載體是數字化文件（見圖1）。視頻語篇的每一層次之間的關系是體現關系（realization）。社會情境由社會行為體現，也就是社會情境的性質取決于其中的社會行為形式；社會行為需要通過其表現形式確定，也就是要通過連續的圖片中的內容所體現；而視頻圖像中的內容最終取決于硬盤等媒介中儲存的數字化視頻文件所記錄的內容。如果要充分的描述一個視頻語篇，就要由本質到載體逐層進行分析和描述。

圖1 視頻語篇的層次模型

根據以上的層次模型，在現有的視頻語篇的分析模式中，符號學派針對的是視頻語篇表現形式層的分析，Norris的交互活動分析模型針對的是視頻語篇的社會行為層，而對于視頻語篇的載體的分析屬于計算機科學領域的研究，下面著重探討目前研究很少涉及的視頻語篇的本質層的分析模式。

三、視頻語篇的本質是重新語境化的社會情境

（一）社會情境（social situation）

社會情境這一概念在前面提到的第三類分析模式中已經涉及。在顧曰國建立的多模態語篇的分析框架下，社會情境這一概念只是指內容是有人參與的社會接觸（social encounter）的視頻語篇，而沒有包括那些內容不包括人和人的行為或社會接觸的視頻語篇，例如內容是自然風景、動物等的視頻語篇。

本文在使用社會情境這一概念對視頻語篇進行定性描述時其內涵意義有所變化和擴大。

我們認為任何視頻語篇都可以被看作是社會情境，包括那些內容不是人的行為或社會接觸的視頻語篇。因為任何視頻語篇都是社會化了的內容。例如一個內容完全是自然風景的視頻，其第一步的社會化過程就是攝像師的操作過程——攝像師調整鏡頭的角度、焦距，選擇攝入到鏡頭范圍中的內容。另外如果這段視頻是一段電視節目，那么社會化的過程還可能包括在制作視頻的過程中的導演、剪輯人員等其他參與節目制作的成員的工作。所以，任何視頻語篇都是一個社會化的產物，我們可以把其內容的本質看作是社會情境。作為視頻語篇本質的社會情境是被重新語境化了的社會情境。

（二）重新語境化（recontextualization）

視頻語篇的社會化過程也就是社會情境的重新語境化的過程。

視頻語篇的重新語境化過程發生在3個層面：（1）攝影師有選擇的對視頻內容進行錄制；（2）視頻制作者對視頻語篇進行編輯，例如鏡頭的剪切、組合、特效處理以及加入背景音樂和畫外音等；（3）不同的社會情境重新組合在一起共同形成一個新的整體的視頻語篇。

一個視頻語篇，可以是關于同一個社會情境的內容，也就是一個完整的社會接觸，例如“我們約會吧”這一類的電視節目。但更多的情況是一個視頻語篇包括多個社會情境，也就是多個社會接觸。例如“焦點訪談”節目，包括主持人在演播室，記者在現場對當事人采訪等多個社會接觸，也就是多個社會情境。這些不同的社會情境重新組合，共同構成焦點訪談這一個視頻語篇整體。所以社會情境在同一個視頻語篇中重新組合也是社會情境的重新語境化的過程。

（三）作為系統的視頻語篇的社會情境層

綜合了Argyle et al．對社會情境的研究和顧曰國的分析模式，本文認為視頻語篇的社會情境層是一個系統，包括6個變量：目標（Goals）、參與者 （Participants）、活 動 （Activities）、架 構（Schema）、地點（Place）和時間（Time）。一個視頻語篇的社會情境層可以同時包含這六個變量，也可以只包含其中一個或幾個變量。

視頻語篇本質層對變量的選擇，取決于視頻語篇的內容層。不同內容的視頻語篇其本質層所包含的變量也不同。內容不包括人的活動的視頻語篇只包含地點和時間兩個變量，例如一個自然風景的短片。而內容是有人參與的社會接觸的視頻語篇則包括更多的變量。如果內容是一個社會接觸片段，例如偶然拍攝的突發事件的視頻語篇，那么其社會情境層可能只包括活動、參與者、地點和時間四個變量，如果內容是一個完整的社會接觸的視頻語篇，除了包括活動、參與者、地點和時間以外，還包括目標和架構，也就是六個變量全部包括。

（四）以“我們約會吧”節目為例對視頻語篇的社會情境層進行分析

下面我們以“我們約會吧”這個電視節目為例對視頻語篇的社會情境層的六個變量進行初步分析。

1．目標

社會情境首先是以目標為導向的。作為社會情境的“我們約會吧”節目包括三個層次的目標。第一層次的目標是：要贏得高收視率，以提高湖南電視臺的影響力。第二層次的目標是節目本身的目標：為男女嘉賓提供一個浪漫的舞臺，幫他們找到理想的約會對象。第三層次的目標是節目參與者的目標：參與節目的男女嘉賓的目標是展示自己、找到理想的約會對象；觀眾的目標是親身體驗和觀賞節目；主持人的目標是：控制節目現場，使節目按步驟順利進行等。

2．參與者

參與者就是社會情境活動的主體。“我們約會吧”節目的參與者主要有四類：主持人、男女嘉賓、觀眾和節目的工作人員（攝像師、音響師、燈光師等）。為了實現社會情境的目標，每一類參與者都有不同的角色（role），參與者的行為受到角色的約束。例如：男女嘉賓要按照節目規則在臺上選取自己的約會對象；觀眾在舞臺下面觀看節目錄制，在適當的時候鼓掌歡呼；節目的工作人員進行現場節目錄制等。

3．活動

活動是指社會情境中參與者的活動。“我們約會吧”節目的社會情境中有兩類活動同時進行：第一類活動是主持人和男女嘉賓以及節目中的觀眾等的活動，這些是節目的直接參與者的活動；第二類是節目的工作人員所進行的活動，例如：攝像師拍攝節目，音響師為節目提供音響效果，燈光師進行照明等。兩類活動同時進行但作用和地位不同，第一類活動是主體的，第二類活動是輔助的。

4．架構

架構是指為實現社會情境的目標社會活動所必須要遵循的程序和規則。以“我們約會吧”節目為例，主持人、男女嘉賓以及特邀嘉賓等參與者必須按照節目的規則，即架構展開活動。

如果要實現“我們約會吧”節目這個社會情境的目標，那么參與者必須按照節目的規則即架構展開活動。

5．地點

地點是視頻語篇社會情境層的重要方面。地點是指社會情境中的社會活動發生的具體場景。地點對社會情境中的活動有著重要的促進和控制的作用［8］。“我們約會吧”節目這個視頻語篇本質層的地點就是節目拍攝的演播廳。演播廳接近圓形，主體部分是舞臺，高出其他部分約50厘米，兩側是觀眾席位，特邀嘉賓的席位在舞臺右側。演播廳這種結構設計對社會情境中的活動和個體行為起到重要的促進和控制作用。例如，攝影師、燈光師、音響師等的輔助活動通常只能發生在舞臺之下，而男女嘉賓、主持人等的主體活動通常發生在舞臺之上，男女嘉賓通常站在舞臺上特定的位置進行交流，而且必須從指定的出入口登場和退場，觀眾的行為也只能局限于在觀眾席上鼓掌、歡呼等。通過以上的分析我們發現地點對社會情境中的活動、參與者的個體行為以及社會情境的目標的實現有著重要的促進和控制作用。

6．時間

時間是視頻語篇社會情境層的重要因素。社會情境中的社會活動和參與者的個人行為等一定會受到時間的控制和制約。以“我們約會吧”為例，這個節目每期通常大約是70分鐘，在“男選女”節目中，每一位男嘉賓登場后在舞臺上的時間大約是15分鐘，期間要播放兩段大約每段時長1分半左右的有關男嘉賓的短片，被選男女嘉賓的互動要在剩下的12分鐘內完成。所以，時間和地點一樣，都會對社會情境中的活動、參與者的行為起到重要的控制和制約的作用。

結 語

本文對已有的視頻語篇的分析模式進行了總結，然后在此基礎上對視頻語篇重新進行了定性描述，指出視頻語篇包括本質、內容、形式、和載體四個層次，視頻語篇的本質是重新語境化的社會情境，內容是社會行為，形式是連續播放的圖片，載體是數字化文件。

另外本文還對目前研究很少涉及的視頻語篇的本質層，即社會情境層，以電視節目“我們約會吧”為例進行了分析，目的是建立一種針對社會情境層的有效的分析模式。

［1］Baldry，Anthony P，Thibault，Paul．Multimodal Transcription and Text Analysis［M］．London，Oakville：Equinox，2006：165－268．

［2］Kress G R，Van Leeuwen T．Reading Images ［M］．London：Routledge，1996／2006：45－214．

［3］Scollon R．Mediated Discourse as Social Interaction［M］．London：Longman，1998：27－122．

［4］Norris S．Analyzing Multimodal Interaction：A Methodological Framework［M］．London：Routledge，2004：48－127．

［5］顧曰國．Towards a model of situated discourse［A］．In The Semantics and Pragmatics Interface［C］．K．Turner （ed．），Oxford：Elsevier Science，1999：150－178．

［6］Argyle M，Furnham A，Graham J A．Social Situations［M］．Cambridge：Cambridge University Press，1981：41－226．

［7］顧 曰 國．A multimodal text analysis－a corpus linguistic approach to situated discourse［J］．Text ＆ Talk，2006（2）：127－167

［8］ 顧 曰 國．An Institutional Anniversary Ceremony as Systemic Behavior in Chinese Context［A］．顧曰國語言學海外自選集［C］．北京：外語教學研究出版社，2010：233－241．