多模態視角下的文學分析

摘要 本文旨在利用多模態的文本解釋方式，為文學分析提供全新的視角，全方位多角度地對由多種符號組成的當代文學文本進行多模態分析，以期進一步拓展已有文學分析方法的內涵和外延，更加符合當前文學發展的趨勢和要求。

關鍵詞：多模態 多符號 文學文本 文學分析

在當今社會，科學技術的迅速發展和信息時代的到來使得多媒體技術被廣泛應用于社會生活的各個領域，對于自然科學相關領域的影響自不待言，其亦為哲學、社會學、教育學、心理學、文學等社會人文科學的發展帶來了巨大的變革。人類憑借紙張、網絡等手段以及設備與其他社會成員進行交流，其所倚重的手段或設備即為媒體，在這一過程中，人類通常會調動視覺、聽覺、觸覺、嗅覺和味覺等多種感官，通過文字、圖像、聲音、氣味等多種符號進行交際，這一現象即為模態。著名的多模態問題研究者Kress van Leeuwen（1996）提出“多模態是指社會指意（social semiosis）的發生所經由的語言，文字，印刷和數字媒體，具體的行動和3D事物和場所。”隨著人們對于多媒體技術的逐步認知，對于人類交際過程中的多模態現象的考量逐步進入人們的視線。作為表意的社會符號的集合，對于文學文本的多模態分析以及對于多模態文本的文學分析是必要的和必然的。長久以來，文學分析的范疇只局限于文字符號，但事實上，隨著多媒體技術的發展，對于文學文本的多模態分析以及多模態文學文本的出現必然要求文學分析的相應變化。

根據多模態的內涵及外延，對于多模態可以從不同的角度加以區分，從人類交流手段的視角出發，多模態可以區分為視覺模態、聽覺模態、觸覺模態、嗅覺模態和味覺模態。同時，如考慮交流過程中所涉及到的各種符號，多模態可涉及圖像、文字、聲音、色彩、線條、手勢、音樂、味道、接觸和氣味等多種符號模態。在文學文本中，文字符號是最普遍的符號系統，但決非唯一系統。如果僅將目光集中在文字符號本身，首先這脫離了文學分析的出發點和最終目的，文學分析決非對于文字符號編排規律的探討，其中所涉及到的文學分析的主體、客體、認知、意境和心理照應等因素無不超出了文字符號系統本身的范疇，而涉及到多元的符號系統。此外，語言學在有關多符號和多模態等方面研究的發展也預示著對文學文本進行多符號和多模態分析的可能性。因此，在文學分析中，僅對文本的文字符號進行表意分析的做法已遠遠不能滿足現代文學分析的要求，尤其是在針對視覺詩等涉及到多符號多模態的文學語篇進行分析時，多模態的分析方法更為實用。

一 文學意境中的多模態映射

狹義上的文學文本通常是以紙張為載體的文字符號的集合。在文學分析的過程中，對由文字符號所表達的意義和其中文本作者所傳達的思想的理解，構成了文學分析的主要內容。因此，文學分析首先關系到文字符號模態的視覺模態分析。從這一角度出發，傳統的文學分析可以被認為是一種單模態的符號及模態分析系統。但事實上，文學文本作者創作文本的初衷決非是單模態的。無論是作者的創作體驗抑或者是讀者的閱讀體驗多超出了視覺模態這一單一范疇。因此，單模態的文學分析方法無論從任何角度出發，均不可避免其片面性和局限性。在語言學領域，近年來，眾多的語言學家也意識到了言語交際中的多模態現象，Van Leeuwen Jewitt于2000年首次提出了“多模態語篇分析”的概念，開啟了語篇分析的多模態視角。這也使得作為言語交際中的范例的文學文本的多模態分析成為可能。

作為文學分析中的重要內容，意境是文學作品借助文字符號所傳達出來的意蘊和情境。意境首先起源于作者的現實體驗，經由紙張上的文字符號傳達給讀者。首先，文學文本來源于作者的現實體驗，這種體驗與讀者的體驗方式相當，涉及到視覺、聽覺、味覺、嗅覺和觸覺等全部的模態形式，是多模態的體驗集合。作者體驗所獲得的所有的模態符號通過作者的意識加工以文字符號的形式體現，再經由視覺模態符號進入讀者所獲得的意境范疇。在意境范疇中，讀者結合本身的現實經驗形成對于文學作品的體驗，而這一體驗同樣是多模態的。也就是說，讀者通過視覺符號獲得信息，繼而視覺模態映射到讀者的意識范疇，在讀者的意識中重新析出為視覺、聽覺、味覺、嗅覺和觸覺等多種模態的體驗。在這一過程中，讀者多模態的體驗形式體現為間接體驗。其多模態的體驗形式具有個體差異性，同時，不同的讀者的多模態體驗與文學文本創作者的原始體驗將產生不同程度的重合。這種重合程度的高低決定了文學文本的認知和解讀程度。但鑒于作者和讀者多模態體驗方式和環境的差異，完全意義上的體驗重合幾乎是無法達到的。但毋庸置疑，對于文本的多模態解構和重組有助于對創作者創作意圖的全方位的理解。

同時，即使就傳統的文學文本的理解中也應引入多模態的概念。Hunston（1994）就曾指出，書面語中的意義識別不應只局限在文本層面，也應考慮如標點符號和首行縮進等來自視覺層面的暗示。Van Leeuwen（2005，2006）也曾關注印刷體式的意義潛勢，從社會符號學的角度對其進行多模態解讀?？梢哉f，無論是從文本角度還是從意義解讀的角度考慮，對于文學語篇的多模態分析都是必要且可行的。

二 視覺詩的多模態話語分析

在各類體裁的文學文本中，視覺詩（visual poetry）或稱具象詩（concrete poetry）可以說最具有多模態話語分析的潛力。視覺詩是一種通過印刷形式所體現的意義潛勢的集合。視覺詩在人類文明史上有著上千年的歷史，如中國古代的配畫詩、回文詩，以及美國現代詩人卡明斯（E.E.Cummings）等人的作品均屬于這一范疇。視覺詩在視覺模態的體現方面注重視覺凸顯的手段，運用前景化的方法，將文學符號以近似繪畫的手法呈現，從而表達出超越文字符號本身的意蘊。視覺詩中的文字符號除其本身的表意功能外，還可通過對動作或者特征的表現，實現其概念功能。

在對視覺詩進行多模態的文學解讀時，可借助于語言學的相關理論進行，其中由功能語言學發展而來的視覺語法對于視覺詩的解讀具有重要的意義和作用。比照功能語言學中語篇分析涉及到的概念功能、人際功能和語篇功能，Kress Van Leeuwen（1996）提出了視覺語法理論，主張在進行多模態話語分析時，可以從再現意義、互動意義和構圖意義三方面加以考查。其中再現意義可以再進一步區分為敘事再現和概念再現；互動意義主要考慮文本構建者和所呈現內容之間的關系，是距離、視角和接觸等三方面的共同作用；構圖意義要遵循信息值、顯著性和框架等三原則。視覺語法既適用于圖片和文字相結合的多模態文本，也適用于由文字符號的不同組合所體現的多符號文本。以此為依據，在進行視覺詩的多模態語篇分析時，完全可以借助于視覺語法理論，分析語篇在再現意義、互動意義和構圖意義三方面的獨特特征。也就是說，在進行視覺詩的分析時，應綜合運用視覺語法的相關內容，從視覺詩的再現意義、互動意義和構圖意義加以分析，解析文本創造者在創造之初期待表達的概念集合。同時從距離、視角和接觸三方面充分分析文本所傳達的互動方式和互動意義。此外，可通過對視覺詩中圖形所傳遞的信息值、其顯著程度和框架構圖方式對文本的構圖方式進行分析，獲得文本中的文字符號之外的多模態的符號解析。

三 多模態文學文本

隨著現代科技的進步，文學文本本身也出現了多模態的發展趨勢，展現出各種多模態的呈現方式。例如，目前在網絡上普遍流行的與已有傳統文學文本相搭配的三維動畫，以及電影、電視劇等對文學作品進行呈現的多模態媒介，這些對于文學文本的不同解讀方式在某種程度上為傳統的讀者提供了更多的理解空間。尤其是最近幾年來不斷涌現的網絡文學，已徹底擺脫了紙質媒介，再加上多種模態方式的運用，已成為真正意義上的多模態文學文本。但是無論是文學文本的電子文本，還是作為立體文學形式出現的電影、電視劇等多模態形式，都無法與文學文本相剝離，都與傳統的文學文本息息相關，不過是進一步擴大了其內涵及外延，將文學文本的研究引入了新的領域。

在對不同的多模態文學文本進行文學分析時，應避免兩個極端的傾向。首先，不能僅僅局限于文字符號本身，而固守傳統文學的定義，這無疑會妨礙全面分析文學文本的可能，尤其是在面對如網絡文學等的電子文本時?，F代科技的發展必然帶來文學分析的新的方法和手段，必然要求文學分析的與時俱進。但同時，也應避免過度強調多模態化而淡化文字符號的趨勢。如單純就文學文本的多模態化呈現來說，即以原有文學文本為依據的電影、電視劇等多模態呈現方式，不同的模態呈現有助于進一步解讀原有的文本，但同時由于文本解讀者、語境解讀者的變化，文學分析不再是由文本創造者直接到讀者的簡單的解讀渠道，其中可能加入了既是讀者又是再創作者的二級文本解讀渠道。即使文本的最終解讀者能夠充分地解讀文本最初創造者的意圖，也只能達到無限接近，而不可能完全重合，甚至可能由于再創造者的加入導致讀者對于文本原創作者創作意圖的誤讀。因此，在多模態文學文本的解讀過程中，應在傳統文本分析的基礎上，結合多模態的文本分析方法，充分考慮視覺、聽覺、觸覺、味覺和嗅覺等多模態的協同作用，全方位多角度的對多模態文學文本進行分析；也可以通過音頻、視頻等相應的分析軟件或借助于網絡軟件等來完成。可以說，多模態的發展在很大程度上促進了文學分析的發展，也為文學文本的多模態意義重構提供了可能。

四 結語

隨著現代科技的發展和網絡的普及，文學分析必然隨之發生相應的變化，使多模態的文學分析成為必然。多模態的相關理論在文本分析方面，無論是對于傳統的文字符號，其中具有多模態特征的視覺詩還是新近涌現的多模態文學文本均具有較強的解釋力。在文學分析中適當地結合多模態的文本分析方式，將有效地拓展文學分析的范疇，無論是對于讀者還是對于文學批評家們均頗多裨益。

注：本文系黑龍江省教育廳2012年度人文社會科學（指導）項目成果，項目編號：12524028。

參考文獻：

[1] 李戰子：《多模態話語的社會符號分析》，《外語研究》，2003年第5期。

[2] Forceville，C.E.Urios-Aparisi.Multimodal Metaphor[M].Berlin/New York：Mouton de Gruyter，2009：3.

[3] Hunston，S.1994.Evaluation and organizaion in a sample of written academic discourse [A].In Coulthard，M.（ed.）.Advances in Written Text Analysis [C].London：Routledge.

[4] Kress G，Van Leeuwen T.Reading Images：the Grammar of Visual Design [M].London：Routledge，1996：159-180.

[5] Van Leeuwen，T. C.Jewitt.Handbook of Visual Analysis [M].London：Sage，2000.

[6] Van Leeuwen，T.Typographic Meaning [J].Visual Communication，2005，4（2）：137-143.

[7] Van Leeuwen，T.Towards a Semiotics of Typography [J].Information Design Journal，2006，14（2）：139-155.

（徐艷麗，東北林業大學外國語學院講師；馬曉華，東北林業大學外國語學院教授）