聾人題材漫畫的多模態分析

李鳳英 賈振峰 徐冬梅

信息時代，人類交際多模態化特點日益凸顯，多種多樣的符號共同作用于交際過程。這其中圖像符號搭配文字符號使用最為頻繁。人類的思維和鑒賞習慣在新的視覺文化沖擊下悄然發生了變化，多模態分析能力日漸引人關注。而在眾多的圖文模態語篇中，漫畫就是其中一員。漫畫是以圖畫模態為主，輔以文字符號模態的多模態語篇。本文嘗試運用多模態分析的相關理論和框架分析聾人題材漫畫，旨在為解讀聾人題材漫畫提供一個新的視角。

一、多模態語篇分析的理論基礎

模態是指交流的所有媒介。除了語言符號以外，其他還包括了手勢、音響、圖像、顏色、視頻、音樂、技術等多種符號系統。具體語篇的意義和讀者對語篇的理解，是各種模態排列組合的結果。

話語分析早期以語言研究為主，后來逐漸延伸到其他模態。多模態話語分析以Halliday的系統功能語言學為理論源泉，20 世紀 90 年代Kress&Van Leeuwen與O’Toole提出了視覺語法概念，自此多模態話語分析進入了快速發展時期。多模態話語分析理論倡導任何符號系統都是有意義的，而且認為語言外的其他符號模態也具有系統性和功能性特征。視覺語法以再現意義、互動意義和構建意義為主，分別相當于系統功能語法中的概念功能、互動功能和語篇功能。

二、多模態分析對聾人題材漫畫語篇的解讀

本文分析的漫畫選自韓國漫畫大師高英勛(Nasty Cat)所創造的漫畫《看不見聽不到的愛情》的漢譯本。[1]漫畫敘述了一個失明的漫畫家與一個聾啞女孩的愛情故事。我們嘗試從再現意義、互動意義以及構成意義等三個方面來分析漫畫場景。

（一）再現意義

Kress&Van Leeuwen針對系統功能語法中的概念意義，提出了視覺語法的再現意義。再現意義分為概念再現和敘事再現。矢量是區分概念再現和敘事再現的關鍵要素。概念再現相當于系統功能語法中的關系過程和存在過程。敘事再現則區分為行動、反應及言語和心理三個不同類別的過程。

視覺語法中矢量代表過程與方向的力量。一方面，圖像敘事的參與者通過矢量相互連接達到敘事的目的，另一方面，觀看者則通過矢量關系來判斷圖像敘事中參與者的互動關系。一般而言，圖像敘事中各元素構成的對角線矢量性質最為突出，又因為敘事圖像以矢量為標志，發出矢量的參與者即為行動者，因此在敘事再現的行動過程中，非常容易辨別動作者，有利于觀看者理解圖像語篇意義。

《看不見聽不到的愛情》漫畫關于兩個人起床情節的一幅漫畫組合中，共有三幅漫畫。第一幅漫畫中間是桌子上的筆記本電腦，電腦屏幕正中間是打開的記事本，左側是男主人公失明的漫畫畫家，右下角露出一部分鬧鐘。男主人公與筆記本電腦之間形成一條無形的矢量斜線，表明了男主人公所關注的事務，又因為男主人的盲人特性，因此可以推斷出：他是在展示筆記本電腦中的記事本內容。第二幅漫畫中間是筆記本的一角，顯示的是記事本中間的一段文字“睡得好嗎”。第三幅漫畫前端三分之二是筆記本電腦的背面，中間是女主人公，占據了三分之一的畫面，后端右上角是男主人的身體的十分之一。女主人公和電腦屏幕形成另一個矢量，鑒于女主人公聾啞特征，并結合整個三幅漫畫，可以推斷出男主人公、筆記本電腦記事本展示的文字、女主人公形成一條無形的立體斜線，即矢量，鑒于交際主體的特殊性（盲聾）導致了該矢量不同于常見的矢量關系，具有自身的特殊性。這個矢量關系構成了敘事再現的言語過程，男主人公是話語的發出者（以筆記本電腦文字為媒介），女主人公是話語的接收者。這個言語過程表明了男主人公與女主人公之間的信息交流，也表明了男女主人公盲聾的特征，以及他們克服困難進行交流的特殊性。

（二）互動意義

Kress&Van Leeuwen視覺語法中的互動意義，對應功能語法的人際意義。互動意義由接觸、社會距離、態度和情態四個要素構成，體現了漫畫家、漫畫表征與觀看者的互動關系。[2]

接觸是指漫畫中的參與者通過其目光的指向與受眾之間形成的一種想象中的接觸。根據漫畫中的參與者與漫畫受眾之間有無直接的視線接觸，可以分為索取和提供兩種關系類型。漫畫參與者與受眾是否存在直接的目光接觸，可以判斷漫畫是提供類還是索取類。

鑒于該漫畫主人公盲聾的特征，因此漫畫中的參與者男主人公幾乎沒有與漫畫受眾有直接的目光接觸，因此作品中的大部分圖像屬于提供類，意在向受眾提供欣賞和思考。然而也有一部分圖畫屬于索取類，例如第一卷中的一幅圖畫，圖畫的背景是窗戶，窗臺上蹲坐這小貓，旁邊是一盆仙人掌。小貓面向受眾，大大的眼睛注視著前方，有跟受眾進行充分的目光接觸。一方面，可以理解為小貓對盲聾夫婦奇怪行為的好奇，另一方面，似乎是在索取受眾對這對盲聾夫婦這些看似古怪又合情合理舉動的看法。另外，第一卷中一幅夫婦倆吃飯后并排躺在一起，面向受眾，男主人公（失明）瞇著眼睛，而女主人公（聾啞）則是眼睛睜的圓圓的，一方面向受眾展示了盲聾夫婦生活的幸福快樂（提供信息），另一方面，也是女主人公向受眾索取對他們幸福生活的關注和看法。

社會距離是指圖像中參與者與受眾之間的遠近親屬關系。根據取景框架大小可以分為親近距離、個人近距離、個人遠距離、社會遠距離、公共距離。不同距離體現了不同的社會關系，漫畫中參與者取景距離長短決定了他們與受眾之間的遠近親屬關系。

《看不見聽不到的愛情》漫畫中，大部分表達主人公喜怒哀樂的圖畫都是以臉部或頭部特寫為主，拉近了主人公和受眾之間的距離；而情節發展則以整個人占據整個圖片不到一半的圖畫為主，客觀敘述了漫畫故事情節的發展。

態度指受眾與圖像參與者對漫畫敘述內容參與程度，以及參與者與受眾之間所處的等級關系。態度通過視角體現，通常視角(正視、側視、仰視、俯視等)不同會給受眾帶來不同的心理感受，反映了受眾對參與者的態度。[3]不同的視角往往對于漫畫所要表達的主旨，作者的思想、立場和態度有著深層含意。正視視角給受眾帶來的是感同身受、融入其中的感覺，或者平等對待的關系；側視視角表現出作為旁觀者的漠然與事不關己；俯視視角代表受眾處于強勢，仰視視角則代表了受眾處于弱勢，而平視表示觀看者和參與者相對平等的關系。

作品中絕大部分的漫畫圖片是正視視角，因此給受眾帶來的是對盲聾夫婦喜怒哀樂感同身受，讓讀者對他們的生活困難有充分的認識，同時也體現了受眾與主人公之間平等的關系。然而有關于男主人公（一名漫畫家）因為日以繼夜的畫漫畫而導致失明，而絕望的圖畫不約而同地采用了俯視視角，表明了此刻的主人公處于弱勢地位，引起受眾的憐憫之心。

視覺圖像與語言一樣能真實地再現現實世界，越是真實的情態越能表現圖像的現實主義。[4]這部聾人題材漫畫，結合寫實的手法和夸張的表現方式，真實地再現了一對盲聾夫婦的故事，整個作品處于高中情態。

（三）構圖意義

構圖意義對應系統功能中的語篇功能，是指語篇成分的空間布局，是再現意義和互動意義的基石，主要由框架、信息值和突出情態三方面構成。[5]

信息值由圖像中元素位置所決定。一般而言，圖像上方元素為理想化的，而下方的元素真實、客觀。左方的為舊信息，右方的為新信息。中心位置是平衡點，這里的元素被視為圖像的重心。突出情態通過位置、顏色、尺寸對比等實現。框架是圖像取景的結構。

《看不見聽不到的愛情》漫畫第一卷第一集有一組圖畫，左邊是女主人公側對著受眾在切菜做飯，右邊是男主人公坐在一個凳子上等候，中間的煤氣爐上正在燒開水。男主人公聽到了水燒開的聲音，然后起來摸索著來到女主人公背后，拍了一下女主人公的肩頭，女主人公嚇了一跳，隨后男主人公示意她水開了，兩個人呵呵的笑了起來。前三幅都是左右結構，左邊是專心致志做飯的女主人公（聾啞），背對著煤氣灶，是舊信息。右邊男主人公（失明）從坐在板凳，到聽到水燒開的聲音，到起身去提醒女主人公，不斷提供給受眾新信息。中心位置的煤氣爐可以看作三幅圖的重心，起到了平衡男女主人公行為的作用，也有效的解釋了雙方的行為。另外一組漫畫，是快遞員送快遞，快遞包裹很重，女主人公簽收后，費力地把東西搬進屋里。快遞員對男主人公在一幫站著的行為很不滿（快遞員并不知道男主人公失明了）。之后的三幅漫畫都是快遞員為背景分別是表達不滿的表情并“哼”的轉身而去、哐當的大力關門，關閉的門和“這個男的真夠混蛋的”的話語。而男主人公則占據了畫面的前端，突出了他的被人冤枉而又無從解釋的表情。

通過聾人題材漫畫《看不見聽不到的愛情》進行多模態語篇分析，應用視覺語法理論分析了視覺符號在聾人題材漫畫語篇中的作用，為有效理解漫畫形象提供了新的途徑，讀者可以通過提高多模態識讀能力，更加充分欣賞漫畫作品。

漫畫《看不見聽不到的愛情》

[1]精明眼.看不見聽不到的愛情[EB/OL].(2013-08-21)[2015-02-01]http://www.iieye.cc/mh/3B253AC9D733F25F/.

[2]Halliday，M.A.K.An Introduction to Functional Grammar［M］.London:Arnold，1994：72-128.

[3]賈振峰，李鳳英.綏化網絡信息傳播的多模態分析[J].河北聯合大學學報,2013(6)：37-39.

[4]李戰子.多模態話語的社會符號分析［J］.外語研究,2003(5)：1-7.

[5]Kress,G.and van Leeuwen,T.Reading Images:The Grammar of Visual Design[C].London:Routledge,1996：123-145.