試論多模態詩學象似性——多模態認知詩學視角

趙秀鳳

(中國石油大學 外國語學院，北京 102249)

1.引言

象似性是一個多學科共同關注的話題。從皮爾斯(1955)關于象似性的符號學闡述，到語言象似性(Haiman，1983;沈家煊，1993)的認知界定和分類研究，再到文學文本中詩學象似性特質和類型的認知詩學論述(Freeman，2007，2009;Hiraga，2005;熊沐清，2012)，都遵從“形意之間的相似性”這一基本的象似性定義，從符號能指與所指之間關系的角度，探究各類符號表征的性質、類型和效果。

詩學象似性是文體學(如Leech＆Short，1981)和認知詩學(如Freeman，2009;熊沐清，2012)關于文學特質研究的結論性發現。他們結合文學實例對文學文本中的象似性闡述，揭示了文學作為審美藝術的區別性特征，加深了我們對于文學特性的理解。雖然現有的研究注意到了詩學象似性與語言象似性之間的規定性區別，但是，多數研究基本上還停留在泛文學層面，對非語言和語言符號協同表征的文學樣類中的詩學象似性問題尚缺乏系統研究。

本文采用多模態認知詩學研究路徑，結合多模態文學實例，探討詩學象似性的多模態表征，及其對讀者審美感知的影響;旨在以隱喻和詩學象似性為切入點，闡釋讀者在閱讀多模態文學語篇時進行的認知操作和由此所產生的情感反應和審美體驗。

2.詩學象似性

2.1 詩學象似性的界定和特征

“詩學象似性”這一術語最早是由美國認知詩學的領軍人物瑪格麗特·弗里曼提出的。在一篇名為“從隱喻到詩歌文本中的象似性”(2006)論文中，弗里曼借用蘇珊·K.朗格(1953，1967)關于藝術的界定，解釋詩學象似性時說:“一首成功的詩歌創造詩學象似性，即創造所感知到的生活的幻象。”(Freeman，2006:7)之后，在文中，她以Dickson的詩歌“My life had stood a loaded gun”為例，詳細闡述了詩學象似性這一術語的內涵，并反復強調:詩學象似性是思想和情感的象似性，它創造所感知的生活幻象(Freeman，2006:9)。她明確指出，詩學象似性這一概念是在皮爾斯(1955)象似性概念的基礎上發展起來的，同時，她還從 Hiraga(2005)和Nonny and Fischer(2003)關于文學中的象似性研究中獲得靈感，也結合了Reuven Tsur(1992，2003)的認知詩學理論以及 Susanne K.Langer(1953，1967)的藝術理論(Freeman，2006:7)。她提出這一術語的初衷是想把認知理論與文學批評及哲學相結合，以解釋文學形式的審美特性。

繼較為宏觀的、印象式界定之后，弗里曼(2007，2008，2009)又經過了一系列的思考，不斷修訂和完善她關于詩學象似性的內涵和理論。與語言象似性以及符號象似性的界定相比，她提出的詩學象似性突出以下內涵:

(1)審美象似性。站在藝術的高度，弗里曼一再強調文學不同于一般語言表達，文學尤其是詩歌所塑造的文學世界不是現實世界的機械映照，其首要目的或功能是激活審美感知或體驗，因此，詩學象似性的主旨不是為了象似性地創建思想或概念符號，即皮爾斯所稱的“邏輯解釋物”，而是通過符號表征，創造情緒解釋物，引發讀者的情感反應，使之產生逼真感，體會審美愉悅。這才是詩學象似性的首要動機。弗里曼(2007，2008，2009)反復強調情感(情緒、感情、感知)是創造詩學象似性的推動力。正是從這一點出發，熊沐清(2012:9)在詳述詩學象似性的內涵時，指出“詩學象似性是文學文本的一種美學特質”，因為文學語篇是審美創造活動的產物。不同于日常語言中的象似性，在審美創造過程中所產生的象似性是作者為了彰顯文學的藝術魅力而刻意創造出來的，是來自于“一種特殊的、非自動的方式”(Hiraga，2005:26)。

(2)整合象似性。審美象似性是詩學象似性的本質，整合象似性是其形成的方式或過程。弗里曼(2009)一再強調，詩學象似性不是由復制意義上的映照符號表征來實現的，而是通過完整的象征性符號整合構建出來的一種審美象似性效果。詩學象似性創造出的幻象是通過一系列的加工過程——動機、異質同構、模仿——的整合而產生的。具體而言，在激發真實生活情感幻象這一模仿動因的推動下，隱喻性結構圖式就會誘發物質和媒介模態的整合，創造審美詩學象似效果。簡言之，隱喻圖式是情感、形式和涉身體驗之功能整合的觸發器。建議研究者構建一個“物質—媒介—效果”三位一體的整合模型，以捕獲文學語篇創建詩學象似性的本質。

(3)隱喻象似性。隱喻是詩學象似性的工作機制(熊沐清，2012)。詩學象似性不是基于對現實的簡單復制，直白地再現世界，而是基于情感、形式和功能的物質—媒介模態的隱喻整合，是在藝術層面上，用符號隱喻性地整合構建現實世界與作者—讀者觀念世界的映照性相似。正是在這層意義上，Hiraga(2005)提出可以把文學文本視為整體隱喻;文學文本所傳遞的各種概念域之間也存在系統映射(熊沐清，2012:9)。象似映射的主要途徑是結構和關系類比，這也構成了藝術的結構性原則。

綜合來看，弗里曼提出的詩學象似性概念和理論雖然散見于多篇論文中，遠非系統和明晰，但是，通過梳理，我們還是可以看出詩學象似性的內涵、動機、機制和方式。這一理論比較全面地反映了文學藝術的本質。概言之，在內涵上，詩學象似性所說的“形意相似”側重的不是一般意義上的“形式與意義”之間的相似，更重要的是“形式與情感”①2010年11月筆者對Freeman的訪談錄。(文學的表征形式與文學所傳遞的情感、情緒、感知覺)之間的映照相似。在動機上，詩學象似性得以產生的內在驅動力是藝術審美，這也是文學作為藝術的使命和特性。在機制上，詩學象似性得以產生的條件是隱喻圖式及由此產生的系統的結構性映射。在生成方式上，詩學象似性是系列整合的產物，融合形式、意義和功能。

2.2 隱喻和象似性

在皮爾斯的符號學體系中，“隱喻”是象似符的一種類型，與圖像、圖表并列。我們知道，皮爾斯的符號學是個龐雜的理論體系。這一體系建立在實用主義認識論基礎之上。皮爾斯符號學的三分法(象似符、索引符、象征符)、運動性、意義的開放性等概念加深了我們對于符號與人作為認知主體之間關系的認識。但是，在這一理論體系中，“隱喻”只是指“隱喻性象似符”，是從符號與所指對象之間關系的角度進行的一種符號類型上的區分，強調該類符號的象征性特征?？梢?，皮爾斯符號學中的隱喻不同于認知語言學中的作為認知和思想機制的“概念隱喻”。

在認知詩學研究領域，最早探究隱喻與象似性之關系問題的學者是Masako Hiraga(1994，2005)。她的基本主張是:文學文本(尤其是詩歌)中的相似映射并不是通過聲音(如象聲詞)和視覺圖像(圖形設計)的復制性表征來實現的，而是通過結構和關系類比作為意義的圖表構成成分來實現的。她認為語法隱喻是連接形式與意義的橋梁，并且區分了“隱喻中的象似運動”(iconic movement in metaphor)和“象似中的隱喻運動”(metaphoric movement in iconicity)。從其研究體系來看，Hiraga并沒有完全擺脫隱喻的符號學界定，正是沿用“隱喻、圖像和圖表均是象似符的子范疇”這一思路，她認為隱喻和圖像、圖表是獨立存在的，并沒有意識到隱喻其實是圖像、圖表的一個不可或缺的構成要素。在這一點上，弗里曼(2010)持不同意見，認為“隱喻、圖像和圖表均是象似符的組成要素，正是因為有了它們，象似符才變得復雜起來”①。

筆者贊同弗里曼關于隱喻與象似性關系的闡述。我們采用認知語言學關于隱喻的界定:隱喻是概念性的跨域映射機制，而不是一類符號的標簽。既然跨域映射的基礎是相似性，那么，不同概念域之間的相似性對應即為隱喻產生的基礎或條件，而相似性映照又是象似性的核心，可見，隱喻即為象似性生成的運作機制。無論象似性的體現形式如何——圖像象似符或圖表象似符，其背后都受隱喻跨域映射機制的制約。

概言之，象似性是隱喻運作的結果，詩學象似性是在審美驅動下隱喻映射的產物。反過來說，隱喻是象似性生成的機制或條件。但是，值得強調的是，詩學象似性產生的過程并非是簡單的雙域間跨域映射，如上文所言，是多域互動系統整合的結果。

3.多模態詩學象似性

3.1 多模態文學

“多模態文學”，指“多種模態符號參與文學交流，協同作用共同創建文學意義和審美效果的文學作品”。從該定義可以看出，“多模態文學”是一個寬泛的文學樣類名稱，包含多種類型，如圖文小說、漫畫小說、兒童圖畫小說、具象詩、超文本小說、賽博文學等。

在媒體技術和后現代文化思潮的助推下，多模態交際盛行，語言霸權受到前所未有的挑戰，啟用多感官感知覺傳遞和交流信息成為一種時代潮流和時尚，即使在被稱為“語言藝術”的文學界也出現了一種新的趨勢:供成年人閱讀的小說中也越來越多地增加了印刷圖形或插圖(Gibbons，2012:1)。新興的文學樣態—多模態文學正悄然改變著當下的文學實踐和文學交流圖景，改變著傳統的文學審美模式。多模態文學憑借圖像、文字、圖形、聲音、色彩等多種表意符號的協同作用，創建意義，傳遞情感，制造出奇的審美效果，贏得了越來越多讀者的青睞。

多模態認知詩學是針對多模態文學盛行的時代語境而新興的認知詩學研究方向，領軍人物是英國的 Alison Gibbons(2006，2007，2008，2010，2012)，意圖通過考察多模態文學表征形式與讀者認知體驗之間的關系，揭示人類用以閱讀文學藝術，并感知和理解世界的認知實踐規律(Gibbons，2012:24)。

多模態文學的興盛可以歸因于多種原因，其中，多模態詩學象似性可以說是其致命法寶。一個文學作品成功與否的標志是該作品是否能夠在讀者的心智中激發出對詩學象似性的感知(Freeman，2006:7)，正如布拉格學派所認同的穆卡洛夫斯基的理論:藝術客體只不過是一個純粹客體，而審美客體只有經過讀者或觀者的加工后才成為可能，也就是說，詩學象似性的審美特質必須被讀者認識或感知到，在心中產生一種真實生活的幻象，激發出強烈的情感反應或認同，方可得到讀者的認可或喜愛。從這一點我們可以推斷出多模態文學之所以備受青睞，與詩學象似性的多模態表征不無關系。

3.2 詩學象似性的多模態表征

關于詩學象似性的形式類型，熊沐清(2012)在語言象似性分類(數量象似性、距離象似性、順序象似性)的基礎上，又根據文學文本的特點，增加了音韻象似性、圖形象似性、環境象似性、言語象似性、角色象似性。這一劃分以文學語篇為宏觀語類，涵蓋性廣。但是，正如作者(熊沐清，2012:13)所言，該分類不是窮盡性的，這些分類之間的關系問題也還有待進一步討論。

本文換一個角度論述詩學象似性的形式表征。如上文所述，在弗里曼提出的詩學象似性整合模型中提及“物質—媒介—(審美和情感)效果”的融合，但是，對此，她沒有展開論述。這里，我們從物質—媒介表征形式入手，探討在多模態文學文本中的詩學象似性問題。

詩學象似性是彌漫在整個文本中的一種特質(熊沐清，2012:9)。這一特質是由文本內所有符號共同作用創建出來的，這一點在多模態文學中體現得更為明顯，因為在多模態文學中，非語言符號被提升到與語言符號同等重要的地位，參與文學交流。如在平面圖文文學中，常用的模態符號包括:超常語篇布局和頁面設計、變化多端的排印格式、色彩化文字和圖像、具象詩般的文字具象、彰顯文本物質性的各種手段、動畫翻頁、多語類的視覺混搭等等(Gibbons，2012:2)。相對純文字文學語篇而言，多模態文學語篇具有高度的物質—媒介自覺性。當語言在從聲音符號轉變為書面文字符號之后，其能指的物質性特征——如說話人的語氣、語調、音高等聽覺隱喻——被大大降低，加強了其抽象性和概括性特質。語言符號擺脫了物質性依賴，使讀者更多地關注所指，語言文字似乎是透明的，讀者憑借想象力，開啟豐富的境域，投入到語言所塑造的指稱世界中。然而，與語言文字符號不同，圖像等非語言符號能指用具體可感的媒介表現所指，表征一個與肉體的、可觸知的和當下的世界有關的感性可知的世界(王澤慶，2013)。

多模態符號所指本身被高度前景化，把讀者的注意力吸引到媒介本身，使之產生一種幻覺，似乎全身心地穿越介質，浸入到文本符號所創建的虛擬世界。

圖1 顏色+構圖+文字多模態整合象似

例如，在幾米的繪本《月亮忘記了》中，在眾多暖色調彩頁中，插入一整頁(雙頁對開)幽暗的黑色，在對開的右側頁面正中央位置，放置著兩行白色的俊秀文字:“他們在無意中相遇，卻為幽暗的生命帶來溫柔美好的光亮?！?/p>

在該語境中，黑色的頁面、白色的文字、俊秀的楷體字形、文字被放置的中心位置、兩行字中上短下長的橫向排列本身都被賦予以感性特質，多模態符號給讀者帶來一種從未有過的視覺沖擊力，致使讀者不再只關注語言文字本身，而是不自覺地把黑色頁面、白色字體、頁面設置、文字等媒介符號與當前故事空間內的文學意義聯想起來，認識到兩者之間存在隱喻映射關系:故事內孤獨的男孩和跌落的月亮在幽暗的生命征程中相遇、相互慰藉所帶來的溫暖，不再僅僅停留在概念層面，對于讀者，這種溫暖會引發一種物理情緒反應——感同身受，這正是物質—媒介符號激活隱喻映射，把形式、意義、情感和審美整合在一起的象似性效果。該過程中，涉及到多模態符號的融合和基于隱喻映射的多空間整合。其中，最為突出的是整個雙開頁面上鋪天蓋地的深黑色，不同于文字模態如“黑暗”二字激活讀者的抽象和想象思維，它觸動讀者的視覺感知，以一種物理感官刺激的方式誘發讀者心中關于黑夜和白晝的情景和情緒記憶，如關于漫漫黑夜中的孤獨感、恐懼感、緊張感及對光亮的渴望感。同樣，字體的顏色——白色，在黑色中，與太陽光線的顏色極其象似，令感受到孤獨、寂寞、恐懼的讀者同故事內主人公“男孩”一起對“月亮”帶來的溫暖感到彌足珍貴。這里，頁面上的顏色符號本身及其結構特征——黑白映襯，以結構和關系類比的相似方式，觸發一系列轉喻或隱喻映射和整合:視覺符號域→顏色域→自然域→感情域。同時，文字放置的位置——頁面正中間，也從視覺域到空間域，激活容器圖式或空間隱喻圖式，令讀者聯想到月亮帶來的溫暖和光亮是男孩生命的核心，體會他此時此刻的愉悅與幸福。

多模態符號的組構性特征拓展了文學的表征空間。與完全依賴語言文字的傳統文學語篇不同，多模態文學可以擺脫線性表征的束縛，同時調用多種符碼——圖像象似符、圖表象似符、索引符、象征符，并把它們在立體空間上拼接、疊置、組合。多模態符號本身就具有了明顯的整合性特征，在藝術審美原則的驅動下，每個組構符號又都被賦予了啟動轉喻或隱喻映射的潛質。

例如，《設計詩》(朱贏椿，2011:60)中一首題為“距離”的詩(見圖2)。

圖2 排版+構圖+文字多模態整合象似

長短不一的16行詩，被排列成半圓狀，向外放射狀依次排開。黑色字體組成的詩行圍出一個空白的半圓，出于格式塔感知覺能力，讀者會很容易識別出整個圓形。該圓形和文字排列出的射線圖形構成一幅象似符(含有圖像象似符和圖表象似符成分)，與讀者心智中關于太陽發射光芒的心理表征景象形成映照，誘發讀者對該詩歌的隱喻解讀，完成從形狀域到太陽域的跨域映射。同時，讀者需要轉動書本的方向依次閱讀每個詩句，形成一個圓形軌跡。結合該詩的詩眼“春夏秋冬迥異的景致取決于與太陽的距離”，讀者會很容易認識到該閱讀路徑本身又構成一種動態象似符:象似于太陽的旋轉，也象似于人們日出而作日落而息的生活規律。該結構和關系類比令讀者不由得聯想到人生軌跡及生死輪回的東方生命哲學。從閱讀動作域到太陽運動域到人生軌跡域，再到生命哲學域，相似映照所激發的層層跨域映射與圖形象似符所觸發的從形狀域到太陽域的映射相互鏈接性對應，形成系統映射。多模態符號的立體組構整合賦予平面的二維空間無限張力，調用讀者的多感官參與文學交流，產生出奇的審美感受。

4.結語

詩學象似性是文學的特質，具有本質上的審美性、過程上的整合性和機制上的隱喻性。詩學象似性是判斷一個文學作品成功與否的決定性因素。多模態文學的盛行與詩學象似性的多模態表征息息相關。多模態詩學象似性得益于多模態的非線性“超媒介”(Bolter and Grusin，1999)特征——多種表征符號異質共現，彰顯物質符號能指與抽象被表征物之間的張力(Gibbons，2012:115)，創造出一種嶄新的文學閱讀和審美體驗。傳統的純文字文學作品往往只依賴讀者的想象力，令讀者在心理上想象性浸入到虛構的文學世界，感受故事內人物的喜怒哀樂。而多模態文學則依賴其多模態詩學象似性，調用讀者的多個感官，甚至會誘發讀者的身體動作，令其得以在真實和虛擬、身體和認知之間的界面上感受文學藝術的審美效果。

［1］Bolter，J.D.＆ R.Grusin.Remediation:Understanding New Media［M］.Cambridge，MA:MTI Press，1999.

［2］Freeman，M.H.From Metaphor to Iconicity in a Poetic text［M］//Benczes，R.＆ Csábi，S.The Metaphors of Sixty:Papers Presented on the Occasion of the60th Birthday of Zoltán Kovecses.Budapest:Eotvos Loránd University，2006.

［3］Freeman，M.H.Minding:Feeling，Form and Meaning in the Creation of Poetic Iconicity［M］//Brne，G.＆ J.Vanaele.Cognitive Poetics:Goals，Gains，and Gaps.Berlin:Mouton de Gruyter，2009.

［4］Freeman，M.H.Poetic Iconicity［M］//Chlopicki，W.Pawelec，A.＆ A.Pojoska.Cognition in Language:Volume in Honour of Professor Elbieta Tabakowska.Kraków:Tertium，2007.

［5］Freeman，M.H.Revisiting/Revisioning the Iconthrough Metaphor［J］.Poetics Today，2008，29(2):353－370.

［6］Gibbons，A.A Visual＆ Textual Labyrinth:The Eyes’Dilemma，Mark Z.Danielewski’sHouse of Leaves［J］.Route，2006(1).

［7］Gibbons，A.Multimodal Literature‘Moves’Us:Dynamic Movement and Embodiment in VAS:An Opera in Flatland［J］.Hermes，2008(41):107－124.

［8］Gibbons，A.Multimodality and Cognition:Reading Word and Image［M］//Baldry，A.＆ E.Montagna.Interdisci-plinary Perspectives on Multimodality:Theory and Practice.Campobasso:Palladino，2007.

［9］Gibbons，A.Narrative Worlds and Multimodal Figures in House of Leaves:“Find your Own Words;I have no More”［M］//Grishakova，M.and Ryan，M-L.Intermediality and Storytelling，Berlin:Walter de Gruyter，2010.

［10］Gibbons，A.Multimodality，Cognition，and Experimental Literature［M］.New York/London:Routledge，2012.

［11］Haiman，J.Iconic and Economic Motivation ［J］.Language，1983(59):781－819.

［12］Hiraga，M.Diagrams and Metaphors:Iconic Aspects of Language［J］.Journal of Pragmatics，1994，22(1):5－21.

［13］Hiraga，M.K.Metaphor and Iconicity:A Cognitive Approach to Analyzing Texts［M］.New York:Palgrave Macmillan，2005.

［14］Langer，S.K.Feeling and Form:A Theory of Art［M］.New York:Charles Scribner’s，1953.

［15］Langer，S.K.Mind:An Essay on Human Feeling［M］.Baltimore:The Johns Hopkins Press，1967.

［16］Leech，G.＆ Short，M.Style in Fiction:A Linguistic Introduction to English Fictional Prose［M］.London:Longman，1981.

［18］Peirce，C.S.Philosophical Writings of Peirce［M］.Justus Buchler.New York:Dover，1955.

［19］Tsur，R.On the Shore of Nothingness:A Study in Cognitive Poetics［M］.Exeter，UK:Imprint Academic，2003.

［20］Tsur，R.Toward a Theory of Cognitive Poetics［M］.Amsterdam:North Holland，1992.

［21］沈家煊.句法的象似性問題［J］.外語教學與研究，1993(1):2－8.

［22］王澤慶.胡適的語言觀念譜系［J］.北方論叢，2013(3):57－61.

［23］熊沐清.試論詩學象似性的涵義與形式［J］.外國語文，2012(6):7－13.

［24］朱贏椿.設計詩［M］.南寧:廣西師范大學出版社，2011.