口語詩多模態意義的建構

劉素芳 張 紅

（內蒙古工業大學外國語學院，內蒙古 呼和浩特 010018）

?

【語言與文化】

口語詩多模態意義的建構

劉素芳 張 紅

（內蒙古工業大學外國語學院，內蒙古 呼和浩特 010018）

口語詩屬于現代詩的一個分支，從其誕生到現在，已成為詩壇的新主流。本文以系統功能語言學和多模態話語分析為理論框架，對Sarah Kay的口語詩Point B進行多模態意義建構。研究重點是利用視頻標注軟件ELAN對口語詩中的文本、音韻特征和手勢進行分層標注和統計，從而分析文字模態的概念、人際、語篇功能及視覺模態的分布意義。研究結果表明：聽覺與視覺模態的相互配合、協同能更好地解讀作者想要傳達的話語意義。

多模態；ELAN；意義建構；口語詩

“口語詩”是一個現代概念。以往的詩歌分析模式局限于單一的語言形式，對其他模態如手勢、音韻特征等非語言形式的研究還尚不足，因而不能很好地詮釋創作者所要傳達的意圖。這時，多模態話語分析理論的興起為口語詩的研究提供了一套新的思路。

一、多模態話語分析研究狀況

朱永生指出，模態、媒介、媒體三者之間存在一定的區別，因此有必要明確區分其各自含義。［1］多模態（multimodal）是指除了文本之外，還帶有圖像、圖表等符號話語，或者說是任何由一種以上符號編碼實現意義的文本。因此，在某種程度上來說，“所有的話語都是多模態的”［2］。

多模態話語分析的意義在于它可以看到語言在意義的交換過程中所起到的作用，同時可以看到如圖像、音樂、顏色等其他符號系統在這個過程中所產生的效果，從而更全面、精準地解讀話語的意義，進而發現人們如何綜合使用多種模態來達到社會交際的目的。［3］

二、口語詩的多模態話語分析模式

（一）研究語料

本研究語料為美國口語詩人Sarah Kay在TED（指technology、entertainment、design在英語中的縮寫，即技術、娛樂、設計）演講中的口語詩Point B。Sarah Kay從14歲開始創作口語詩，是VOICE項目的創始人，在美國很受年輕人喜愛，其口語詩Point B在演講開頭贏得觀眾熱烈的掌聲。

（二）研究方法

本文利用ELAN軟件①ELAN視頻標注軟件下載網址為http：／／tla．mpi．nl／tools／tla－tools／elan。對口語詩Point B進行分割、轉寫和標注。ELAN軟件可以通過對視頻、音頻文件的多層級同步標注來分析說話者的話語內容、面部表情、姿態手勢、語音語調等。在進行各種模態分析之前，要先對所要研究的模態進行賦碼。本文探討的是多模態話語中不同模態是如何配合來構建意義的，因此需要對視覺模態中的手勢和聽覺模態中的語言符號和音韻特征進行賦碼。其中，音韻特征包括語調、重音和語速；手勢特征采用Norris的分類，分為具象性手勢、意象性手勢、指示性手勢和節奏性手勢。［4］賦碼如下：文本轉寫［T－］；音韻特征［P－］，其中音調降低［PIF］，音調升高［PIR］，音調先升后降［PIRF］，音調先降后升［PIFR］，慢速［PTS］，快速［PTF］，強調［PS］，停頓［Pause］；手勢特征［G－］，意象手勢［GM］，具象性手勢［GI］，指示性手勢［GD］，節奏性手勢［GB］。根據以上賦碼，用ELAN軟件對視頻進行切分和標注后，該標注文件共3個層級，聽覺和視覺模態分別為文本轉寫、語音語調、重音、語速、停頓和手勢特征。口語詩Point B在文本轉寫中被分為31段，在音韻特征中被分為34段，在手勢特征中被分為35段，在這一過程中需要極大的耐心，對不確定的地方可以反復修改。

三、Point B多模態意義的建構

（一）文字模態

文字模態即視頻中詩人所說的口頭話語。我們將從語言的三大元功能——概念功能、人際功能和語篇功能，進行簡要分析。

1．概念功能

“我要在她的手背上畫太陽系，這樣在她學習整個太陽系之前，她就可以自豪地和別人說，‘噢，我對整個宇宙了如指掌＇。”②Sarah Kay－Point B薩拉·凱點B翻譯http：／／blog．sina．com．cn／s／blog＿be4003480101lfev．html。在交際過程中，詩人通過語言向人們傳達了在現實生活中的各種體驗（概念功能）。

2．人際功能

語言交流的互動主要是通過語法系統中的語氣和情態來實現的。語氣和情態不僅表達了語篇的人際意義，而且為語篇的建構提供了重要的語法資源。［5］全詩采用的時態均為現在時和將來時，且全文語氣均為直陳語氣。可以看出，作者的創造手法以敘事為主，且主題是一個現實的主題。作者向我們傳達的是一個事實，它就發生在我們周圍，不是偶然發生的。情態系統表達的是說話者的意愿和判斷。例如，“即使無數次你要重新開始，即使遇到多少困難，你要堅定信心，駐足生活中的美好”③Sarah Kay－Point B薩拉·凱點B翻譯http：／／blog．sina．com．cn／s／blog＿be4003480101lfev．html。。在這里，作者使用了“will”這個表示將來的情態動詞，充分表達了作者如果有一個女兒時急切想要告訴她什么是生活的情感狀態。

3．語篇功能

語篇功能是指語言將其本身與其使用者所處的情境環境相聯系的功能，它主要是由主位和述位來實現的。［6］詩文中的兩個小句的主位相同，屬于平行性主位推進類型。例如，“當你張開雙手，迎來的只有抨擊和中傷；當你走出公用電話亭想要翱翔天空，你會發現你想拯救的人正踩在你的披肩上”④同上。。作者選用這一主位推進模式，方便聽者理解，并且以“when you”作為主語，充分體現了作者對女兒的愛，一切以女兒為主的情感。

（二）視覺模態

口語詩中詩人的音調和手勢分布十分廣泛。各模態使用的情況如下：降調占總數的43%，升調占6%，先升后降占29%，停頓占3%，慢速占9%，強調占9%；意象性手勢占24%，具象性手勢占24%，節奏性手勢占21%。在口語詩中，詩人的口頭模態、音韻特征以及手勢特征共同建構了話語的意義。

四、結語

對文字模態的分析表明，作者在該詩歌中所要傳達的意義：假如我有一個女兒，我希望她叫我Point B而不是mom，因為無論她遇到什么困難，她都會順著一端找到我。對視覺模態的分析表明，對口語詩的研究，需要考慮詩文的音韻、手勢、語境等因素。正是詩人那種動容的演說，更加有力地強化了詩歌所要傳達的詩意，進一步體現了詩歌的主題。在語篇分析過程中，其他非語言模態所發揮的作用也應引起我們的重視，因為它們對語篇意義的建構所起的強化作用不容小覷。此外，通過研究發現，ELAN軟件對多模態文本的分析非常實用，希望可以對未來語言學的研究提供一個不同的視角。

［1］［3］朱永生．多模態話語分析的理論基礎與研究方法［J］．外語學刊，2007，（5）：83－85．

［2］Kress，van Leeuwen．Front Images：The Critical Analysis of Newspaper Layout［A］．In A．Bell＆P．Garrett（eds．）Approach to Multimodal Discourse ［C］．London：Times New Roman，1998．186．

［4］Norris，S．Analyzing Multimodal Interaction：A Methodological Framework［M］．London：Routledge，2004．215．

［5］［6］張旭紅．視覺詩Me up at does多模態意義的構建［J］．外語學刊，2010，（1）：85－90．

【責任編輯：周 丹】

漢 富貴萬歲

H03

A

1673－7725（2016）08－0180－03

2016－06－05

本文系內蒙古地區大學英語多模態教學模式下學生多元文化認知能力培養的研究（項目編號：WYZX2015－02）的階段性成果。

劉素芳（1991－），女，內蒙古呼和浩特人，主要從事外國語言學及應用語言學研究。