一個知識類短視頻意義構建的多模態解讀

張祝香，張青妹

(北京工業大學 文法學部，北京 100023)

一、研究綜述

迅猛發展的信息技術對人際交往方式和話語模式產生了巨大的影響，人們越來越依賴多模態話語交際，相關主題得到了研究者的持續關注。國外的多模態話語研究起步較早，學者從多個方面豐富了多模態話語研究的領域和成果，Kress和Van Leeuwen的最大貢獻在于視覺語法，二人的研究聚集于圖文關系研究[1]；O’Toole研究了展覽藝術的多模態語言[2]；O' Halloran分析了數學教科書中語言、圖表以及數學符號的關系[3]；Norris把語言運用看成一種社會活動過程，關注模態間互動實現意義的方式[4]；Bateman和Schmidt把多模態話語分析延伸到電影語篇意義的構建[5]。國內的多模態話語研究始于李戰子，他寫作《多模式話語的社會符號學分析》一文[6]詳細描述了Kress和Leeuwen提出的視覺語法概念，在相關研究領域起到極大的啟發作用，帶動了國內的多模態話語研究，研究成果主要集中在靜態語篇中圖文關系的探討；此后，張德祿提出了多模態話語分析的綜合理論框架，關注到模態間協同關系[7]。受到信息技術快速發展的影響，多模態話語分析研究對象從二維語篇發展到三維動態語篇(集合文、圖、聲于一體)，各種多模態話語類型不斷涌現且已然成為學界關注的重點。

二、語料和研究框架

(一)語料選取

當前處于web3.0時代，短視頻以大眾化的內容生產與傳播成為即時通訊方式之外第二大時間殺手，以抖音為代表的短視頻平臺在很大程度上改變了人際溝通和社交方式，比如，知識類短視頻有效推動了知識的分享和普惠，已成為一種具有社會積極意義的新話語類型。根據字節跳動、清華大學新聞與傳播學院、中國科學報社聯合發布的《知識的普惠——短視頻與知識傳播研究報告》，“知識類短視頻，是指以分享知識作為主要目的、以知識講解作為主要內容、觀看者能從中獲得知識的短視頻[8]”；考慮到短視頻對于知識邊界的拓展，該報告特別界定了“知識”的內容，既包括來自學校教育的硬知識，也包括來自日常實踐的軟知識，兼顧陳述性知識和程序性知識(二者分別對應常用表達中的“知識”和“技能”)。根據上述定義，本研究選取嗶哩嗶哩平臺一個典型的知識類短視頻“一看就會！日本首相如何選出？超簡單干貨講解”為研究語料[9]。

(二)研究框架

任何多模態話語研究歸根結底都是意義的研究，各種模態協同和符號互動完成了多模態話語的意義構建。目前，針對各種模態之間關系的研究成果中，張德祿提出的多模態話語分析綜合理論框架是最為深入和全面的觀點，該框架(圖1)包括四個層面，即文化語境、情景語境、內容層面以及表達層面，文化層面統籌整個交際活動，是其他三個層面的總依據，其中，文化語境表現在情景語境層面，情景語境決定內容層面，內容層面由表達層面體現。具體來說，在一個特定的文化語境中，受意識形態、交際規約等因素的影響，講話者根據具體的情景語境(語場、語旨、語式)和交際目的確定想要表達的內容和意義，并選擇合適的形式和一定的媒介加以呈現。

圖1 多模態話語分析綜合理論框架

三、知識類短視頻的整體意義構建

(一)文化語境

文化語境涵蓋話語產生的全部社會歷史文化背景，包括意識形態、價值觀念、思維方式、生活習慣以及社會潛在規則。人們的話語交際活動總是限定在一定的文化語境范圍內，文化語境不僅決定話語的體裁和語類，而且對話語的形式、風格、表達效果產生重要的影響和制約作用。短視頻是當前視覺傳播文化語境下一種視頻文本和話語實踐，已成為新媒體語境的主流傳播方式。在商品經濟和知識經濟的雙重影響下，知識類短視頻興起是時代的必然產物，諸多新媒體短視頻平臺為“知識盈余”的人們提供了展示舞臺，知識生產者不再局限于傳統的教育機構，互聯網呈現“能者為師、百花齊放”的時代特色。制作者依托社交平臺發布知識類短視頻，通過短小精悍且主題突出的視頻內容展示個人的知識和閱歷，以期獲得觀眾的點贊和轉發，視頻作品整體的意義建構方式呈現出明顯的碎片化、生活化、輕娛樂化傾向。本研究的視頻語料出自一位長期生活在日本的中國人，作品以輕松詼諧的話語風格講述了2020年日本首相選舉的相關知識。

(二)情景語境

情景語境是文化語境的具體體現，語言的三大元功能投射到情景語境產生了三個變量，即語場、語旨和語式[10]。語境因素與多模態語篇的意義結構存在對應關系，語場指話語范圍，即正在談論或發生的事情，是概念意義的體現；語旨是話語基調，指相關說話人的身份和話語雙方的關系，是人際意義的體現；語式是話語方式，指語言組織和意義傳達的方式或渠道，是語篇意義的體現。在視覺文化和新媒體語境中，本研究中知識類短視頻的語場指題主(視頻制作者或內容講解者)給觀眾講解有關日本首相的知識；語旨指知識分享方和知識獲得方，即屏幕內外的題主和觀眾；語式是題主運用的聲像合一的技術多模態手段。知識類短視頻借助聲音、圖像、文字、動畫等多種符號影響觀眾對知識的理解，達到知識傳播和營銷題主的目的，語場、語旨以及語式既制約話語的形式和特征，也決定意義構建方式的選擇。

(三)內容層面和表達層面

在內容層面和表達層面，本研究選擇的視頻對象主要介紹了日本首相選舉的相關知識，比如選舉程序、任期、換首相的原因等，視頻中，題主著裝休閑得體，通過自身媒體(眼神、表情、肢體動作等)和非自身媒體(字幕、文字、圖片、音樂、音效等)等符號元素的綜合運用與模態協同，共同構建完整的語篇意義。基于內容和表達層面的意義構建分析，本研究主要從視頻內容結構切分、每個階段不同模態符號的互動和協同等方面闡述觀點。

1.視頻樣本的內容結構切分

張德祿提出了動態多模態切分的三個標準，第一是語篇結構，語篇的整體意義包含若干個階段，每個階段又包含若干個步驟；第二是經驗意義，找出標志過程變化的轉折點，轉折點標志一個新過程的開始；第三是前景化的事物和特征，即語篇的顯著特征。綜合相關研究的成果，本研究主要從幾個方面探討知識類短視頻意義的整體構建，即視頻內容的結構切分、模態提取以及模態間協同關系，綜合運用張德祿提出的動態多模態切分標準，模態拆分采用張青妹在多模態微課研究中運用的分類方法[11]。視頻樣本共使用9種模態符號種類，即題主、圖像、人聲、音樂、聲效、字幕、文字、色彩、動畫，內容結構切分情況見表1。

表1 視頻樣本的語篇內容結構切分

2.視頻樣本的模態符號協同與意義構建

第一階段只用半分鐘不到的時間完成兩個步驟，即開場和提出主題。視頻一開始，題主出現在畫面中打招呼和自我介紹，目的在于讓觀眾認識自己，輕快活潑的背景音樂起到背景烘托和氣氛渲染的作用，步驟1并沒有提供任何概念、意義以及信息，提出幾個問題意在引發觀眾的注意和思考，意義貢獻模態為人聲和字幕，人聲為主模態。步驟2和步驟1中的模態基本一樣，只是步驟2在結尾處使用了能夠吸引觀眾注意的其他模態，包括視覺模態的動畫和聽覺模態的聲效等，增加模態既可以呈現不一樣的視聽體驗，也標志著階段之間的過渡，除了引出主題的概念意義，其余模態均以人際意義和語篇意義構建為主。

第二階段是主題闡述部分，核心是概念意義的構建，題主圍繞日本首相分享了很多知識，此階段包括六個步驟，即日本的政治制度、國會、內閣、國會和內閣關系、眾議院總選舉、首相更換，題主通過六個步驟分解日本首相選舉的相關內容。人聲和題主是這一階段主模態，配合文字、圖像(圖表)、字幕、音樂以及音效完成意義的闡釋，在視頻呈現過程中，題主偶爾作為視覺模態退去，一方面以黑色屏幕為背景，著重呈現相關的白色關鍵詞，并通過變化文字位置清晰展示邏輯關系；另一方面運用反差強烈的顏色突出重點內容，色彩和文字兩種符號組合共同體現概念意義；此外，題主選用圖表呈現數字達到內容可視化的效果。這一階段，題主通過多種模態符號的互動和協同表意，構建了日本首相選舉的相關知識和概念意義。整體來看，文字和圖像通過人聲信息的補充和延伸，體現出多重信息的整合，有助于觀眾理解密集且復雜的人聲信息；偶爾出現的聲效是關鍵信息的提示或強調，講解過程有強有弱、有時中斷的背景音樂發揮了表現語篇意義的輔助作用；此外，題主通過眼神、手勢以及抱起小貓的動作塑造親切自然的人格化講述風格，既是題主與觀眾互動的有效方式，也是人際意義的體現，與其他模態符號一起構建完整的語篇意義。

第三階段是主題闡述完成進入結束語的一點“題外話”，題主簡要回答了觀眾以前提出日本首相選舉(即政治事務)問題的看法和觀點。這一階段，人聲和題主是絕對的主模態，與前一階段的承接也由題主的人聲模態實現。

第四階段是視頻的結尾部分，題主明確提示觀眾視頻內容講解完畢，希望觀眾多多支持自己的作品(如點贊、轉發)。這一階段中，人聲和題主是主模態，題主說話時沒有音樂；直到人聲模態退去，音樂、圖片以及文字模態才同時出現，提示視頻即將結束的同時也實現了轉場等語篇意義，題主與觀眾再次互動，希望進一步吸引觀眾了解自己更多的作品。

筆者分析樣本視頻的模態后發現，在整個短視頻語篇中，人聲和題主是主模態，這一現象由知識類短視頻的教育屬性決定，人聲模態主導整個交際過程。具體來說，有聲知識類短視頻的信息獲取主要依靠人聲，采取線性推進過程，講解者依據邏輯順序組織語言，并通過技術手段整合多種符號模態，配合人聲和人物(通常是題主自己)共同實現語篇意義的構建。從模態選擇來看，制作知識類短視頻對模態選取沒有固定的規約，短視頻制作者可以在掌握模態可供性的基礎上，根據意義構建或交際需要進行模態選擇，比如階段過渡和視頻完結的時候往往使用多種符號模態。本研究的知識類短視頻樣本在視頻語篇不同階段選取的模態不盡相同，比如，視頻開頭和結尾部分的模態種類相對較少，主題闡述過程中模態搭配復雜且模態密度較高。究其原因，模態特征與語篇表達的意義緊密相關：開頭和結尾部分信息量小，又有很多固定的表達方式，不需要制作者選擇多種模態協助表意；主題闡述部分時間長、內容多，借助人聲、題主以外的多種模態(如圖片、動畫、音效等)既可以強化和突出信息，也可以補充延伸主題，不僅能夠維系在線交際，而且可以更清楚地闡釋信息，從而實現更好的語義傳達。

綜上所述，短視頻是近年興起的新型交際方式，知識類短視頻更是有效推動了知識的普惠，是一種頗具社會意義的話語形式。基于多模態話語綜合分析框架，本研究選取了一個典型個案完成了知識類短視頻多模態解讀，這是一次有意義的嘗試，希望帶給全新話語形式的多模態意義構建一定的借鑒意義，期待更多的研究成果。