探究文學的多模態話語及其跨影視閾深度融合

肖璟

隨著影視藝術發展進入到后現代階段，影視藝術儼然成為主導社會意識的舉足輕重的文化形態。而針對影視藝術基質文學藝術的研究，在技術躍升的帶動下，正在蓬勃地展開。尤其是站在觀眾認知加工與認知體驗立場上，針對文學多模態的跨影視閾研究，更是方興未艾。縱觀影視藝術作品，其中所傳達的是種種錯綜復雜的社會現實的反映，而支撐這些復雜社會現實反映的，恰恰是其賴以借由建立的文學多模態話語。針對文學語言加以深刻剖析，其中語篇世界中的語義、語態、語勢、語用、識讀、識解、語境等均可以細分化為多模態因子。

一、 文學語言系統功能擘析

（一）文學語言系統功能中的概念厘定

語言系統是整個社會符號大系統中最舉足輕重不可或缺的系統。在語言學中，文學語言系統有著概念厘定、人際關聯、語篇通識等三大主要功能，從跨影視閾的視角而言，這三大主要功能在影視藝術中分別對應著映像映現、意識交互、主題意象等三大功能。其中相當于映像映現的概念厘定過程還包含了多達六個子過程，即分別為物理、行為、心理、語言、關系、存在等過程。這種向下細分化的展開，令我們能夠更加清晰地看到文學系統中相對于影視藝術領域映像映現過程的概念厘定。事實上，在文學語言系統中，將語言要素中的語義與語態作為一種多模態因子分別分離出來，即可形成一種概念厘定范疇內的向下細分的多模態，這種多模態中語義與語態因子有著截然不同的表現模態，尤其是在相對于概念厘定的再現層面上，語義所起到的顯然是文本能指下的所指，而語態所起到的則是文本能指下的隱性意指與隱喻他指。

（二）文學語言系統功能中的人際關聯

文學既升華于語言、形而上于語言，又能夠且必須回歸于語言，文學作為語言的衍生藝術形式之一，自其誕生之日起即被賦予了一種由語言實踐所支撐著的必要的社會交際功能。這種社會交際功能在文學語言的層面即成為一種人際關聯的概念。人際關聯顯然是文學語言作為一種社會化符號的表達，因此，在文學語言中的人際關聯表達，所依賴的即主要是語言要素中的語勢與語用因子。由此可見，語勢與語用因子亦可形成一種人際關聯視閾下的多模態。而文學語言之所以能夠引人入勝打動人心，其最主要的特質就是對于語勢的運用，這一點恰恰與影視藝術對于內置于其中的語言要求不謀而合，語言作為一種動態化的多模態表達，隱含于語勢中的語用更加不可或缺。語勢與語用因子共同建構了影視藝術文學語言層面的聽覺動態描繪，以聽覺動態互動而對觀眾傳遞影視藝術作品中的主題意象。

（三）文學語言系統功能中的語篇通識

從文學語言系統功能而言，語義、語態、語勢、語用等因子已經為其與影視藝術的水乳交融帶來了語緒準備，而進一步的語境及其識讀識解過程，則必然在此基礎之上更上一層樓。語義、語態、語勢、語用的集段成篇即建構起文學多模態的語緒因子，而影視藝術中的語緒因子由于不具備大段文本鋪陳條件，因此，在影視藝術之中，對于語緒的錘煉與精煉更是至關重要，有失于語緒錘煉與精煉的影視藝術之中的敗筆屢見不鮮，其失敗的根本原因無一例外地都在于未能把握好語篇通識，使得影視藝術在缺乏文學語緒、語境氛圍的情況下，令觀眾產生了陷于錯誤識讀識解，甚至是陷于識讀識解無所適眾等出戲困境。應該看到，語言系統中的多模態，不僅可以有針對性地對其進行基于文本理論的識讀識解，而且，還可以有針對性地對其進行基于語義、語態、語勢、語用、語緒、語境等因子的跨學科、跨領域等的更有深度的研究。[1]例如，在《肖申克的救贖》一片中，即以文學多模態的多樣化情態，在語篇通識中的表達，以隱性的銜接建構了基于文學語言的跨領域融合。

二、 文學多模態因子話語引申

（一）失真與節離

應該指出的是，一方面，影視藝術自21世紀初葉之后，獲得了在發展中國家極速發展的契機；另一方面，影視藝術過度依賴于純技術進步，由此所造成的技術向心力的另一面，必將是南轅北轍的文化離心力，這種現象在中國表現得更加明顯，尤其是盲目的消費主義與審美泛化，更是將影視藝術賴以支撐的文學視若無物。這種現象已經造成了某種程度上文學多模態話語在影視藝術作品中的缺位與失真。而過度追求荒誕、鬧劇、視覺奇觀等審美畸形等傾向，則亦因此而甚囂塵上，使得影視藝術作品中，本應以文學多模態話語建構的對話與交流再度失語。究其根本原因，實際上是緣于由文學多模態話語缺位與失真，所造成的影視藝術與文學藝術的節離，這種影視藝術中的文學語言多模態話語的虛空，必將成為未來文學對話影視藝術的一種滯礙，同時，亦將成為下一代影視藝術與下一代文學的多模態代償。[2]例如，角逐釜山電影節的《白蟻》一片，則以顏色失真的技法，透過多模態的滯礙與虛空，反而更好地表達了影片的藝術內涵。

（二）修辭與修飾

與影視藝術相對位的文學語篇通識，其實已經由單純的語言系統進入到了文學意識和意象升華的與影視藝術映像合流的范疇之中。這種文學多模態因子的話語式引申，亦將對文學更好地融入影視藝術，起到托舉最后一公里的重要作用。基于文學語篇通識的多模態話語修辭與修飾，能夠優化語言系統中的由多模態因子表達所呈現的復雜社會基因，使得復雜社會基因，能夠更佳地以文本多模態，與映像模態、表演模態、聽覺模態等，形成更佳的與宗旨主題的契合。將經過修辭與修飾的多模態文本話語范式，以跨影視閾的視角，與影視藝術中宏大的視覺語篇結合起來，更有助于識讀與識解圍繞主題與宗旨的展開。文學多模態話語修辭與修飾，本應成為強力支撐影視藝術視覺語言勃興的佐證，然而，影視藝術的超速發展與文學實踐和文學研究的滯后，卻又不得不將影視藝術的可持續發展拖入一個更為尷尬的處境。

（三）主旨與意象

文學是所有藝術之中較為古老的藝術形式之一，而其與影視藝術相比，缺乏直觀表達模態，需要意識對文學文本符號這一模態加以識讀識解式中介，因而略顯間接與晦澀。但是，恰恰是因為這種意識對文學文本符號的識讀識解式中介，反而使得文學以其內置的識讀識解式次級多模態，而具備了能夠以語篇通識直通意象的靈性。這種文學多模態話語的語篇通識靈性，反倒給影視藝術帶來了一條借助語篇通識直抵心靈門戶的“一語中的”的捷徑。文學多模態話語的語篇通識行為，能夠充分發揮文學的社會化交際與意識互動作用，充分地以文學社會實踐與文學社會化應用，向觀眾展現出了以文學再現與擬真的影視藝術中的戲劇化闡釋。縱觀成功的影視藝術作品，其中的文學藍本都將文學多模態的語篇通識應用得淋漓盡致，尤其是透過直通意象的文學多模態話語，將影視的主旨經由意象表達的詮釋更是一種進階技法。例如，在《城南舊事》中，針對一件舊事的敘事，卻在主旨之上升發出了意、象相長的電影美學圖景。

三、 文學多模態話語的跨影視閾深度融合

（一）觀眾認知加工

視聽覺所能感知的一切都可以隨之而歸結為符號，影像是圖符，聲音是音符，影視藝術作品的內涵、主題、思想則是圖符與音符能指意象升華的意指符號，這些符號顯然具有多模態性，同樣，為影視藝術提供基質支撐的文學亦具有其先天的多模態性。勿庸諱言，在影視文化加速且加力發展的后現代，失速發展的影視藝術已經顯現出其因文學支撐乏力的疲態。雖然絕大多數觀眾仍沉湎于視覺奇觀等淺表性刺激之中不能自拔，但是，從整個影視藝術發展的視角觀察，針對文學多模態話語的跨影視閾深度研究，促進文學多模態的跨影視閾深度融合已經迫在眉睫。從理論框架探究，文學多模態自有其衍生變化的規律，文學多模態諸因子作為一種次級多模態語類，將其置諸影視藝術視閾范疇之內，將這些多模態文本話語語類，以跨影視閾的視角，與影視藝術中的宏大的視覺語篇結合起來，更有助于強化觀眾認知工加的識讀與識解意義。[3]

（二）觀眾認知體驗

雖然說文學文本中的多模態就其文本本體而言，是一種靜態的多模態語篇，但是，由起所起與影視藝術關聯后的作用及其途徑而言，則在影視藝術諸模態與其深度融合之后，再經觀眾認知加工交互式介入之后，立即就會變得鮮活起來。事實上，即便是單純的文學文本本體，在讀者的意識之中亦是極為鮮活的，只是這種意識還需透過知覺、視覺、聽覺等的交互方能實現其多模態的動態化。文學多模態話語中的語篇體系，屬于一種潛在性的社會符號體系，其中的人際關聯的脈絡交織，不斷構成了影視藝術表達中的整個社會的一個具體而微的縮影，而影視藝術之中的人物角色，亦在觀眾認知體驗的滲透、參與、融入、沉浸的過程之中，在這種人際關聯的社會化交織行為交互過程當中，不斷地變得愈加立體、豐滿、鮮活，從而為觀眾帶來了由文學多模態支撐的深度沉浸體驗。例如，目前世界各地已經依電影主題設立許多真人逃脫體驗館，這種觀眾側體驗，必然會將觀眾對于電影的認知，塑造得更加立體、豐滿、鮮活。

（三）觀眾認知升華

雖然影視藝術與文學藝術在其本質上有著云壤之別，然而，從思想視野近距離觀察，就不難看出，事實上，二者雖在符號系統與媒介材料方面大異其趣，但卻在讀者與觀眾的認知升華方面有著形而上驅策的異曲同工。二者都在替讀者與觀眾尋獲媒介材料與符號系統交互中，所隱性表露出來的一種人類不可或缺卻殊難尋覓的根性靈魂。針對文學多模態本體的研究較少，而針對文學多模態跨影視閾深度融合的研究就更少，能夠站在觀眾認知加工、觀眾眾認知體驗、觀眾認知升華視角的研究更可謂是絕無僅有。以這種文學多模態話語與影視藝術深度融合式跨影視閾的語篇通識，針對觀眾的形而上意識施加刺激才是未來影視藝術的真正發展之道。文學的多模態話語恰恰能夠最佳彌合夢想與真實之間的多模態裂隙，文學的多模態話語恰恰可以成為影視藝術與現實真實之間的向沉浸牽系的最佳中介。[4]例如，基于我國女作家葛水平文學創作的《喊·山》一片，即深刻地以文學多模態表達了激情、占有、犧牲等藝術真實與現實真實的沉浸牽系。

結語

在影視文化加速且加力發展的后現代，雖然影視藝術早已成為世界泛社會意識的主導者，但是，失速發展的影視藝術卻已經顯現出其因文學支撐乏力的潛在疲態。文學對于影視藝術的支撐作用勿庸辨駁，文學的多模態話語主宰了影視藝術中的人類語篇世界，文學多模態話語，必將隨著觀眾對影視藝術認知加工、認知體驗、認知升華等的進一步成熟，而變得對于文學多模態跨影視閾深度融合更加渴求。

參考文獻：

[1]唐淑華.文學語篇的語言學研究視角：多模態認知詩學——《多模態、認知和實驗文學》評介[C]//認知詩學.2014年第1輯，2014：5.

[2]林.《泄密的心》的動態情景與英美文學多模態教學研究與探討[J].吉林省教育學院學報（中旬），2014（12）：61-62.

[3]趙秀鳳.認知詩學·認知美學·多模態文學——瑪格麗特·弗里曼訪談錄之一[C]//認知詩學.2014年第1輯，2014：5.

[4]趙秀鳳.a多模態認知詩學研究——認知詩學研究的新進展[J].外國語文，2013（6）：43-51.