國(guó)內(nèi)多模態(tài)研究熱點(diǎn)與趨勢(shì)(2010—2020)
——基于CiteSpace的可視化分析

劉玉梅 王曉峰

(1.四川外國(guó)語(yǔ)大學(xué) 教務(wù)處，重慶 400031；2.四川外國(guó)語(yǔ)大學(xué) 英語(yǔ)學(xué)院，重慶 400031)

0 引言

索緒爾的結(jié)構(gòu)主義語(yǔ)言學(xué)僅關(guān)注符號(hào)學(xué)意義上的一種模態(tài)，即語(yǔ)言，并通過(guò)剝離與其相關(guān)的文字、語(yǔ)音、政治、社會(huì)、文化、地理、歷史、人等因素，將語(yǔ)言學(xué)研究的對(duì)象歸結(jié)為語(yǔ)言結(jié)構(gòu)。但事實(shí)上，人們?cè)谌粘＝浑H活動(dòng)中常會(huì)協(xié)同使用語(yǔ)言、音律、圖像、身體姿勢(shì)、氣味、顏色、環(huán)境等多模態(tài)符號(hào)，構(gòu)成多模態(tài)事件，以此來(lái)表情達(dá)意，完成交際和社會(huì)行為。過(guò)去30多年來(lái)，國(guó)內(nèi)外學(xué)界從社會(huì)符號(hào)學(xué)、系統(tǒng)功能語(yǔ)法、認(rèn)知語(yǔ)言學(xué)、會(huì)話分析、中介語(yǔ)篇分析、語(yǔ)料庫(kù)研究及互動(dòng)語(yǔ)言學(xué)等不同視角對(duì)構(gòu)成多模態(tài)事件的語(yǔ)言和非語(yǔ)言模態(tài)資源開(kāi)展研究，匯聚成了既有共識(shí)性假設(shè)，又各有側(cè)重的新興跨學(xué)科研究領(lǐng)域(O’Toole, 1994; Kress et al., 1996;李戰(zhàn)子,2003;胡壯麟, 2007;馮德正, 2011;劉玉梅 等, 2020)。Bateman等 (2017)甚至提出，包括語(yǔ)言學(xué)在內(nèi)的交際研究出現(xiàn)了多模態(tài)轉(zhuǎn)向。

國(guó)內(nèi)公認(rèn)最早發(fā)表有關(guān)多模態(tài)研究文章的當(dāng)屬李戰(zhàn)子(2003)。此后近20年，國(guó)內(nèi)發(fā)表的多模態(tài)文章所涉足的領(lǐng)域與方向愈發(fā)廣泛，尤其是近十多年的研究成果頗豐。但國(guó)內(nèi)針對(duì)近十年多模態(tài)研究的綜述性文章較少，且主要集中于外語(yǔ)類核心期刊的多模態(tài)話語(yǔ)或語(yǔ)篇研究、多模態(tài)隱喻等相關(guān)文獻(xiàn)。鑒于此，本文以中國(guó)知網(wǎng)、萬(wàn)方數(shù)據(jù)知識(shí)服務(wù)和維普資訊中文期刊服務(wù)平臺(tái)中的核心期刊以及《人大復(fù)印報(bào)刊資料》為數(shù)據(jù)基礎(chǔ)，采用CiteSpace (5.7.R2)文獻(xiàn)計(jì)量軟件，以“多模態(tài)”為關(guān)鍵詞，篩選出2010—2020年期間公開(kāi)發(fā)表在這些期刊平臺(tái)上的多模態(tài)研究文章進(jìn)行詳細(xì)分析，以把握該領(lǐng)域研究的基本現(xiàn)狀、熱點(diǎn)領(lǐng)域和發(fā)展趨勢(shì)，以期對(duì)今后相關(guān)領(lǐng)域的研究提供參考。

1 多模態(tài)研究的緣起與發(fā)展

多模態(tài)研究發(fā)軔于O’Toole(1994)對(duì)藝術(shù)品的分析，他借鑒了Halliday的三大元功能概念，通過(guò)對(duì)繪畫、雕像與建筑中視覺(jué)語(yǔ)法的探究，提出人類對(duì)其進(jìn)行觀察時(shí)可同時(shí)獲得再現(xiàn)、模態(tài)和構(gòu)成三種意義。20世紀(jì)90年代國(guó)外學(xué)者將多模態(tài)與話語(yǔ)分析相結(jié)合產(chǎn)生了多模態(tài)話語(yǔ)分析理論，代表作當(dāng)屬Kress與van Leeuwen(1996)的《閱讀圖像——視覺(jué)設(shè)計(jì)語(yǔ)法》(ReadingImages:TheGrammarofVisualDesign)。不同學(xué)者對(duì)多模態(tài)研究徑路的認(rèn)識(shí)不同，如Jewitt(2009)認(rèn)為多模態(tài)研究主要有社會(huì)符號(hào)學(xué)、話語(yǔ)分析和互動(dòng)分析三種路徑；Li與Ono(2019)則將研究徑路歸結(jié)為多模態(tài)會(huì)話分析、多模態(tài)交際、多模態(tài)語(yǔ)法及多模態(tài)互動(dòng)等四種。不過(guò)，國(guó)內(nèi)外學(xué)者都公認(rèn)，多模態(tài)這一術(shù)語(yǔ)是由社會(huì)符號(hào)學(xué)派首次提出。作為符號(hào)學(xué)的一個(gè)支流，該學(xué)派吸取了系統(tǒng)功能語(yǔ)言學(xué)部分理論，認(rèn)同Halliday(1978)的 “語(yǔ)言即是一種符號(hào)系統(tǒng)”的思想。

從生物學(xué)角度講，人類主要通過(guò)眼、耳、鼻、舌、身等五大感官獲取外界知識(shí)，因而在交際中自然會(huì)獲得語(yǔ)言、音律、圖像、身體姿勢(shì)、氣味、顏色、環(huán)境等多種模態(tài)傳遞的信息和意義。媒體的快速發(fā)展更是帶來(lái)了多樣化的交際方式。國(guó)內(nèi)學(xué)者也察覺(jué)到多模態(tài)研究迫在眉睫。李戰(zhàn)子(2003)、胡壯麟(2007)、張德祿(2009a/2009b)等逐漸從引介國(guó)外理論到探索本土多模態(tài)研究。由于多模態(tài)理論不僅要求研究者有較強(qiáng)的語(yǔ)言學(xué)理論積淀，還要對(duì)非語(yǔ)言符號(hào)的研究方法有所了解，因此早期的多模態(tài)研究整體發(fā)文量較少。2010年以來(lái)，國(guó)內(nèi)多模態(tài)研究無(wú)論是研究對(duì)象還是所涉及領(lǐng)域都逐漸豐富和多樣化，例如潘艷艷、李戰(zhàn)子(2017)在綜合國(guó)內(nèi)外研究現(xiàn)狀的基礎(chǔ)上總結(jié)出了多模態(tài)研究的九種研究徑路。鑒于此，本文將研究重心放至2010—2020年公開(kāi)發(fā)表在國(guó)內(nèi)優(yōu)質(zhì)數(shù)據(jù)資源平臺(tái)上的高質(zhì)量文章，以探索國(guó)內(nèi)多模態(tài)研究的基本現(xiàn)狀、熱點(diǎn)領(lǐng)域和發(fā)展趨勢(shì)。

2 研究設(shè)計(jì)

2.1 研究問(wèn)題

本研究試回答如下問(wèn)題：

(1)2010—2020年間國(guó)內(nèi)多模態(tài)研究的基本現(xiàn)狀如何？

(2)2010—2020年間國(guó)內(nèi)多模態(tài)研究的熱點(diǎn)領(lǐng)域有哪些？

(3)國(guó)內(nèi)今后多模態(tài)研究的發(fā)展趨勢(shì)是什么？

2.2 數(shù)據(jù)來(lái)源

為形成涵蓋較為全面的數(shù)據(jù)源，本研究以中國(guó)知網(wǎng)、萬(wàn)方數(shù)據(jù)知識(shí)服務(wù)和維普資訊中文期刊服務(wù)平臺(tái)中的核心期刊(CSSCI與北大核心期刊)以及《人大復(fù)印報(bào)刊資料》為數(shù)據(jù)基礎(chǔ)，運(yùn)用CiteSpace (5.7.R2)分析軟件等工具對(duì)2010—2020年多模態(tài)研究文章進(jìn)行篩選和歸并關(guān)鍵詞同類項(xiàng)，然后詳細(xì)分析。我們首先在中國(guó)知網(wǎng)上以“多模態(tài)”為篇名檢索文獻(xiàn)，共檢索出23390篇論文。接著以篇名“多模態(tài)”、出版年“2010—2020年”、文獻(xiàn)類型“期刊”、來(lái)源類別“核心期刊、CSSCI”為條件對(duì)上述檢索結(jié)果進(jìn)一步篩選，初步篩選出1271篇論文。隨后，將篩選結(jié)果中篇名中含“多模態(tài)”一詞，但與語(yǔ)言學(xué)研究無(wú)關(guān)的文章剔除，最終獲得中國(guó)知網(wǎng)收錄的語(yǔ)言學(xué)領(lǐng)域內(nèi)多模態(tài)研究相關(guān)文章495篇。接著，我們以相同的檢索方法在萬(wàn)方數(shù)據(jù)知識(shí)服務(wù)、維普資訊中文期刊服務(wù)平臺(tái)以及《人大復(fù)印報(bào)刊資料》數(shù)據(jù)庫(kù)中獲取語(yǔ)言學(xué)領(lǐng)域內(nèi)多模態(tài)研究相關(guān)文章共633篇(已去重)。至此，共獲得目標(biāo)文獻(xiàn)1128篇(含重復(fù))。最后，將去除重復(fù)文章后共獲得的687篇論文作為數(shù)據(jù)源。

2.3 研究方法

CiteSpace是一種信息可視化軟件，現(xiàn)為學(xué)界廣泛使用。它主要基于共引分析等理論，對(duì)某一學(xué)科的文獻(xiàn)進(jìn)行計(jì)量分析，并通過(guò)一系列可視化圖譜來(lái)分析特定研究領(lǐng)域發(fā)展?jié)搫?shì)及發(fā)展前沿(陳悅 等,2015)。我們?cè)诖_定數(shù)據(jù)源后，批量下載了這687篇論文的題錄信息，并將這些信息導(dǎo)入到CiteSpace之中以獲得年度刊文、高產(chǎn)期刊、高產(chǎn)作者與機(jī)構(gòu)、高頻關(guān)鍵詞、關(guān)鍵詞聚類圖譜等信息用于分析。

3 文獻(xiàn)基本概況

3.1 年度刊文量分布

年刊文總量的變化能大致反映研究趨勢(shì)，因此，我們對(duì)數(shù)據(jù)源中不同年份發(fā)表的文章數(shù)量進(jìn)行了統(tǒng)計(jì)，并以圖1呈現(xiàn)統(tǒng)計(jì)結(jié)果。該圖表明，2010—2020年總體發(fā)文數(shù)量在快速上升后呈現(xiàn)趨穩(wěn)態(tài)勢(shì)。具體來(lái)說(shuō)，2020年發(fā)文量較2010年有明顯增加，其中2010年至2013年期間發(fā)文量呈快速攀升趨勢(shì)，2013年發(fā)文量約為2010年的3倍，多達(dá)85篇，成為近11年來(lái)年度發(fā)文量的一個(gè)頂峰。自2014年起，發(fā)文量呈現(xiàn)下降后小幅波動(dòng)、總體穩(wěn)定的態(tài)勢(shì)。從近六年的多模態(tài)研究論文刊登情況來(lái)看，除2015年發(fā)文量偏低外(僅56篇)，每年發(fā)文量基本維持在70篇左右，處于平穩(wěn)狀態(tài)。

圖1 2010—2020年國(guó)內(nèi)多模態(tài)研究論文刊登情況

根據(jù)康佳萍等(2020)對(duì)1999—2018年國(guó)外多模態(tài)研究熱點(diǎn)與趨勢(shì)的研究，國(guó)外1999年以來(lái)的多模態(tài)研究整體呈上升趨勢(shì)，先后經(jīng)歷了“低速發(fā)展期”(1999—2007年)、“迅猛發(fā)展期”(2008—2012年)、“輕微回落期”(2013—2015年)和“穩(wěn)定繁榮期”(2016—2018年)。通過(guò)數(shù)據(jù)對(duì)比可見(jiàn)，國(guó)內(nèi)多模態(tài)研究發(fā)展態(tài)勢(shì)受到國(guó)外研究態(tài)勢(shì)的影響：國(guó)外呈現(xiàn)迅猛發(fā)展時(shí)，2010—2013年國(guó)內(nèi)相關(guān)發(fā)文量也不斷攀升，而接下來(lái)兩年國(guó)內(nèi)研究出現(xiàn)逐漸下滑的趨勢(shì)，與國(guó)外研究的輕微回落的趨勢(shì)一致； 2016年之后，國(guó)內(nèi)研究與國(guó)外同步進(jìn)入了穩(wěn)定期，但似乎還說(shuō)不上進(jìn)入了繁榮期。

3.2 高產(chǎn)期刊分布

為觀察各個(gè)刊物的刊載量，我們對(duì)數(shù)據(jù)源期刊進(jìn)行統(tǒng)計(jì)并將發(fā)文量排名前10位的刊物用圖2表示。

圖2 2010—2020年前十位高產(chǎn)期刊發(fā)文信息

圖2表明，2010—2020年期間，國(guó)內(nèi)刊載多模態(tài)研究成果排名前十的期刊依次為《外語(yǔ)電化教學(xué)》《電影文學(xué)》《外語(yǔ)教學(xué)》《外國(guó)語(yǔ)文》《外語(yǔ)學(xué)刊》《外語(yǔ)研究》《西安外國(guó)語(yǔ)大學(xué)學(xué)報(bào)》《中國(guó)外語(yǔ)》《教學(xué)與管理》和《現(xiàn)代教育技術(shù)》等，主要集中在外語(yǔ)類核心刊物上。這十個(gè)期刊共發(fā)文238篇，占總數(shù)的34.8%。其余文獻(xiàn)散布于以語(yǔ)言學(xué)類研究為主的刊物上，如《外國(guó)語(yǔ)》《現(xiàn)代外語(yǔ)》《外語(yǔ)界》《外語(yǔ)與外語(yǔ)教學(xué)》《解放軍外國(guó)語(yǔ)學(xué)院學(xué)報(bào)》《山東外語(yǔ)教學(xué)》《漢語(yǔ)學(xué)習(xí)》《當(dāng)代修辭學(xué)》等。一些大學(xué)學(xué)報(bào)哲學(xué)社會(huì)科學(xué)版也刊登此類文章，如《福建師范大學(xué)學(xué)報(bào)》《西南民族大學(xué)學(xué)報(bào)》等。翻譯學(xué)、傳播學(xué)等研究領(lǐng)域的期刊也零星發(fā)表相關(guān)文章，如《上海翻譯》《編輯之友》《當(dāng)代傳播》等。

3.3 主要發(fā)文作者及研究機(jī)構(gòu)

我們繼續(xù)運(yùn)用CiteSpace對(duì)主要發(fā)文作者及研究機(jī)構(gòu)進(jìn)行分析，結(jié)果如圖3所示。11年間發(fā)文量最多的學(xué)者為張德祿，共發(fā)表相關(guān)文章25篇，接著是馮德正、趙秀鳳、陳風(fēng)華、潘艷艷、劉劍等學(xué)者。國(guó)內(nèi)多模態(tài)研究的主要機(jī)構(gòu)為同濟(jì)大學(xué)、中國(guó)石油大學(xué)、香港理工大學(xué)等高校。其中，同濟(jì)大學(xué)的研究團(tuán)隊(duì)由張德祿和黃立鶴等組成，中國(guó)石油大學(xué)的研究團(tuán)隊(duì)由趙秀鳳帶頭，香港理工大學(xué)研究團(tuán)隊(duì)有馮德正和陳風(fēng)華等。

圖3 2010—2020年國(guó)內(nèi)多模態(tài)研究主要發(fā)文作者及研究機(jī)構(gòu)

4 研究熱點(diǎn)與趨勢(shì)

4.1 高頻關(guān)鍵詞和關(guān)鍵詞共現(xiàn)

為了解11年間國(guó)內(nèi)多模態(tài)研究的熱點(diǎn)和趨勢(shì)，我們對(duì)數(shù)據(jù)源中關(guān)鍵詞進(jìn)行考察，通過(guò)合并含義重復(fù)項(xiàng)(如將“多模態(tài)話語(yǔ)”“多模態(tài)話語(yǔ)分析”“話語(yǔ)分析”合并為“話語(yǔ)”)篩選出數(shù)據(jù)源中排名前20的關(guān)鍵詞，結(jié)果如圖4所示。接著，通過(guò)進(jìn)一步文獻(xiàn)考察，發(fā)現(xiàn)“寫作”和“自主學(xué)習(xí)”實(shí)際上討論的是與教學(xué)相關(guān)的問(wèn)題，而“圖文關(guān)系”討論的是意義建構(gòu)相關(guān)問(wèn)題，因此，我們通過(guò)合并近似項(xiàng)，將其分別歸并入“教學(xué)”和“意義”。據(jù)此，國(guó)內(nèi)多模態(tài)研究的熱點(diǎn)主要集中在“話語(yǔ)”“隱喻”“教學(xué)”“語(yǔ)篇”“意義”，頻次分別為100、89、84、47、44；“視覺(jué)語(yǔ)法”和“語(yǔ)料庫(kù)”研究的頻次緊隨其后，其余不足15，包括“轉(zhuǎn)喻”“字幕翻譯”“多媒體”“電影海報(bào)”“多元識(shí)讀能力”“圖像”“中國(guó)形象”“政治漫畫”等。“視覺(jué)語(yǔ)法”“系統(tǒng)功能語(yǔ)言學(xué)”“社會(huì)符號(hào)學(xué)”分別體現(xiàn)了多模態(tài)研究的理論背景和框架。

圖4 2010—2020年國(guó)內(nèi)多模態(tài)研究關(guān)鍵詞詞頻統(tǒng)計(jì)

我們通過(guò)剔除論文關(guān)鍵詞中諸如“模態(tài)”“多模態(tài)”“話語(yǔ)”等不能說(shuō)明熱點(diǎn)領(lǐng)域的廣義詞匯及含義重復(fù)項(xiàng)，獲得CiteSpace關(guān)鍵詞共現(xiàn)可視化網(wǎng)絡(luò)圖(圖5)，以進(jìn)一步說(shuō)明當(dāng)前研究熱點(diǎn)和趨勢(shì)。陳悅等(2015)指出，聚類模塊性指數(shù) Q 值和聚類輪廓性指數(shù) S 值可用作評(píng)價(jià)圖譜繪制效果的依據(jù)，Q 值應(yīng)當(dāng)在0.3以上，S 值需大于0.5。如圖5所示，Modularity Q = 0.731, Silhouette S = 0.948 8，可見(jiàn)我們所得到的關(guān)鍵詞聚類圖譜具有一定的合理性。圖中節(jié)點(diǎn)大小和顏色深淺表示關(guān)鍵詞顯著性的高低。節(jié)點(diǎn)越大，顏色越深，顯著性越高，越能凸顯多模態(tài)研究的熱點(diǎn)領(lǐng)域和話題。

圖5 2010—2020年國(guó)內(nèi)多模態(tài)研究關(guān)鍵詞聚類圖譜

根據(jù)圖5所示，在排除計(jì)量數(shù)據(jù)中的含義重復(fù)項(xiàng)后，2010—2020年間國(guó)內(nèi)多模態(tài)研究的熱點(diǎn)主要集中在多模態(tài)話語(yǔ)或語(yǔ)篇、多模態(tài)隱喻、教學(xué)、寫作、意義建構(gòu)、圖文關(guān)系、視覺(jué)語(yǔ)法、社會(huì)符號(hào)學(xué)、語(yǔ)料庫(kù)建設(shè)等方面。圖4和圖5相互映射，呈現(xiàn)出11年間多模態(tài)研究的熱點(diǎn)，也表明多模態(tài)研究雖主要以視覺(jué)語(yǔ)法、社會(huì)符號(hào)學(xué)、系統(tǒng)功能語(yǔ)言學(xué)為理論背景，但也逐漸引入認(rèn)知語(yǔ)言學(xué)、語(yǔ)用學(xué)、詩(shī)學(xué)、敘事學(xué)、文體學(xué)等其他語(yǔ)言學(xué)理論以豐富多模態(tài)研究。圖5也表明，11年來(lái)國(guó)內(nèi)多模態(tài)研究應(yīng)用領(lǐng)域越來(lái)越廣泛，除了話語(yǔ)或語(yǔ)篇分析、教學(xué)研究、意義建構(gòu)等熱點(diǎn)話題外，多模態(tài)隱喻成為近幾年關(guān)注的焦點(diǎn)。此外，人們還將多模態(tài)研究融入其他學(xué)科研究之中，應(yīng)用于文學(xué)、敘事、詩(shī)學(xué)、修辭、翻譯、語(yǔ)料庫(kù)、影視節(jié)目、戲劇表演、廣告、音樂(lè)、政治等領(lǐng)域，呈現(xiàn)出跨學(xué)科交叉融合的態(tài)勢(shì)。

4.2 研究趨勢(shì)分析

4.2.1 多模態(tài)話語(yǔ)或語(yǔ)篇

出于不同學(xué)派對(duì)“text”和“discourse”的界定不同，國(guó)外學(xué)者尚未采用統(tǒng)一說(shuō)法，國(guó)內(nèi)對(duì)這兩個(gè)詞語(yǔ)的翻譯也未做明確區(qū)分，常將“話語(yǔ)”與“語(yǔ)篇”混用。因而我們也權(quán)宜將主題為多模態(tài)話語(yǔ)分析和多模態(tài)語(yǔ)篇分析的研究合并討論。

如前所述，Kress與van Leeuwen(1996)以社會(huì)符號(hào)學(xué)為理論框架開(kāi)創(chuàng)了多模態(tài)話語(yǔ)分析路徑，從表現(xiàn)意義、互動(dòng)意義和組篇意義三個(gè)維度考察了圖像、顏色、線條、聲音等視覺(jué)符號(hào)的語(yǔ)義關(guān)系和交際功能。國(guó)內(nèi)早期一些研究(如李戰(zhàn)子, 2003;朱永生, 2007;胡壯麟, 2007)主要以引介和評(píng)述為主，探討多模態(tài)話語(yǔ)的產(chǎn)生、定義及分析方法。近年來(lái)，國(guó)內(nèi)學(xué)者逐漸嘗試在國(guó)外原有理論基礎(chǔ)上建立適用于各類語(yǔ)篇的分析框架，如張德祿(2009a/2018)先后嘗試構(gòu)建一個(gè)將系統(tǒng)和功能綜合為一體的多模態(tài)話語(yǔ)分析模式，引起國(guó)內(nèi)學(xué)者關(guān)注。近年來(lái)，也有學(xué)者嘗試將多模態(tài)話語(yǔ)分析理論與新興語(yǔ)言學(xué)理論結(jié)合，形成了創(chuàng)新性研究成果，如田海龍等(2018)提出了多模態(tài)批評(píng)話語(yǔ)分析框架，側(cè)重研究交際者如何利用多模態(tài)實(shí)現(xiàn)交際意圖和社會(huì)活動(dòng)；黃立鶴(2019)將言語(yǔ)行為理論融入多模態(tài)研究，分析交際者情感態(tài)度對(duì)言語(yǔ)交際和語(yǔ)義推理的影響；徐燕等(2020)結(jié)合語(yǔ)域類型理論提出了新媒體商務(wù)話語(yǔ)分析框架。

近年來(lái)我國(guó)多模態(tài)話語(yǔ)研究不僅理論成果頗豐，在實(shí)際應(yīng)用方面也尤為廣泛，所涉學(xué)科越來(lái)越全面，如符號(hào)學(xué)、哲學(xué)、心理學(xué)、翻譯學(xué)、教育學(xué)、新聞學(xué)、傳播學(xué)、戲劇與影視學(xué)、政治學(xué)、法學(xué)、美學(xué)、詩(shī)學(xué)等。可見(jiàn)，學(xué)科并非靜止不變，相關(guān)學(xué)科相互補(bǔ)充、相互依賴，形成共同的話語(yǔ)體系、方法和目標(biāo)，甚至有可能生成超學(xué)科向量推動(dòng)新學(xué)科的產(chǎn)生和發(fā)展(劉玉梅, 2018)。多模態(tài)話語(yǔ)研究不僅具有學(xué)科多元融合的特點(diǎn)，其研究對(duì)象也日趨豐富多樣。在這11年間國(guó)內(nèi)不少學(xué)者對(duì)電影、影視劇、戲劇、小品、新聞、天氣預(yù)報(bào)、廣告、海報(bào)、封面、海報(bào)、雜志、logo(徽章)、繪本、課堂話語(yǔ)、司法話語(yǔ)及小說(shuō)等素材中的多模態(tài)靜態(tài)與動(dòng)態(tài)語(yǔ)篇陸續(xù)展開(kāi)了研究。他們從形式層面的模態(tài)間關(guān)系入手，運(yùn)用互補(bǔ)理論探討具體語(yǔ)篇中的文字、聲音、圖像等多模態(tài)手段和符號(hào)資源，試圖說(shuō)明多模態(tài)之間是如何協(xié)同運(yùn)作以實(shí)現(xiàn)語(yǔ)篇整體意義，如趙秀鳳(2013/2020)、王天翼等(2015)、余憶萍等(2016)、許幸等(2018)、周思邑(2020)等。但與國(guó)外這些交叉領(lǐng)域的多模態(tài)研究相比，國(guó)內(nèi)在這些領(lǐng)域的研究還不成體系，尚未形成匯聚性成果。

4.2.2 多模態(tài)隱喻

Forceville(1996)基于Lakoff 和Johnson(1980)的概念隱喻理論，首次對(duì)廣告中的圖像隱喻進(jìn)行了分析，指出多模態(tài)隱喻是一種始源域和目標(biāo)域分別由不同模態(tài)呈現(xiàn)而形成的隱喻，由此拓寬了隱喻研究的范疇。2009年他與Urios-Aparisi合著的《多模態(tài)隱喻》推動(dòng)了該領(lǐng)域的發(fā)展，也引發(fā)了國(guó)內(nèi)對(duì)多模態(tài)隱喻的關(guān)注。我們對(duì)這11年的多模態(tài)隱喻相關(guān)文章中的關(guān)鍵詞詞頻進(jìn)行分析后發(fā)現(xiàn)，采用該研究路徑的學(xué)者傾向于以電影、廣告、政治漫畫等為語(yǔ)料進(jìn)行研究(如王天翼 等,2015;王揚(yáng) 等,2015;潘艷艷,2020)。但國(guó)內(nèi)有關(guān)多模態(tài)隱喻的研究主要以應(yīng)用研究為主，還有待進(jìn)一步挖掘認(rèn)知語(yǔ)言學(xué)豐富的理論資源和多元的研究方法，以深化多模態(tài)隱喻的理論研究，優(yōu)化研究方法。

4.2.3 多模態(tài)教學(xué)、寫作

伴隨著媒體及信息技術(shù)的快速發(fā)展、多模態(tài)話語(yǔ)研究成果的增加、多元讀寫能力的引介以及外語(yǔ)教學(xué)的改革，國(guó)內(nèi)多模態(tài)教學(xué)應(yīng)用研究自2007年逐漸發(fā)展起來(lái)。胡壯麟(2007)、張德祿(2009b)是較早探討多模態(tài)外語(yǔ)教學(xué)實(shí)踐的學(xué)者。他們從宏觀上探索多模態(tài)外語(yǔ)教學(xué)，對(duì)該領(lǐng)域內(nèi)的研究具有一定指導(dǎo)性意義。在理論引進(jìn)與探索的基礎(chǔ)上，學(xué)者們紛紛從微觀上對(duì)多模態(tài)教學(xué)開(kāi)展研究。從面向?qū)哟慰?，覆蓋了基礎(chǔ)教育及高等教育的教學(xué)活動(dòng)(劉明 等,2011;戴慧敏,2020)；從教學(xué)環(huán)節(jié)看，涵蓋了聽(tīng)、說(shuō)、讀、寫、譯等多項(xiàng)語(yǔ)言技能(黃偉,2016;許幸 等,2018;李晶晶,2019)；從研究對(duì)象看，涉及PPT、課堂話語(yǔ)、教學(xué)模式、教材編寫、金課設(shè)計(jì)等教學(xué)內(nèi)容(張征,2013;劉鳳賢,2019;王珊,2020)。其中，“寫作”是多模態(tài)研究高頻出現(xiàn)的關(guān)鍵詞。不少學(xué)者關(guān)注寫作過(guò)程的多模態(tài)特征并提出教學(xué)設(shè)計(jì)建議。如梁曉暉(2015)認(rèn)為，作者在構(gòu)思的過(guò)程中，腦中浮現(xiàn)的并不僅是書面文字，同時(shí)被喚起的還有以音響符號(hào)、韻律、動(dòng)作和圖像等方式承載的百科知識(shí)，這就決定了寫作過(guò)程的多模態(tài)性。許幸等(2018)構(gòu)建了具有多模態(tài)屬性的寫前項(xiàng)目來(lái)刺激學(xué)生的寫前動(dòng)機(jī)，進(jìn)而促進(jìn)整體寫作水平的提高。但多模態(tài)教學(xué)領(lǐng)域還有待深入開(kāi)展實(shí)證研究，探索將心理實(shí)驗(yàn)法、腦神經(jīng)實(shí)驗(yàn)法等量化分析方法應(yīng)用到多模態(tài)教學(xué)實(shí)驗(yàn)中，發(fā)揮量化分析在多模態(tài)研究中的積極作用。

4.2.4 視覺(jué)語(yǔ)法、圖文關(guān)系、意義

O’Toole(1994)同Kress和van Leeuwen(1996)首次提出視覺(jué)語(yǔ)法這一概念，并將韓禮德的三大元功能思想延伸到圖像符號(hào)分析理論中。對(duì)應(yīng)于語(yǔ)言的概念、人際、語(yǔ)篇功能，圖像和聲音等符號(hào)系統(tǒng)也有一套符合自身模態(tài)的語(yǔ)法，以體現(xiàn)再現(xiàn)、互動(dòng)和構(gòu)圖意義。十余年來(lái)，我國(guó)學(xué)界多名學(xué)者在視覺(jué)語(yǔ)法適用性問(wèn)題上進(jìn)行了較為深入的研究，形成了較為豐富的研究成果。如余憶萍等(2016)將視覺(jué)語(yǔ)法與多模態(tài)隱喻相結(jié)合解讀了可樂(lè)廣告的多模態(tài)動(dòng)態(tài)意義構(gòu)建；陳風(fēng)華(2019)以視覺(jué)設(shè)計(jì)語(yǔ)法、圖像認(rèn)知框架和圖文符際模型為理論背景，考察了金庸小說(shuō)中插畫圖文的再現(xiàn)意義、互動(dòng)意義、構(gòu)圖意義及圖文關(guān)系。但是國(guó)內(nèi)絕大多數(shù)研究都是以Kress和van Leeuwen的視覺(jué)語(yǔ)法為理論基礎(chǔ)來(lái)分析具體語(yǔ)料，從再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義三個(gè)維度考察多模態(tài)意義實(shí)現(xiàn)和語(yǔ)法構(gòu)成，理論上還沒(méi)有新的突破。雖然有個(gè)別學(xué)者在Barthes(1977)圖文關(guān)系理論的基礎(chǔ)上引入評(píng)價(jià)理論，提出了多模態(tài)語(yǔ)篇分析的態(tài)度意義建構(gòu)理論框架(馮正德 等,2014)或多模態(tài)評(píng)價(jià)語(yǔ)義分析框架(石春煦 等,2015)，但都還未形成一定的影響力。此外，有關(guān)圖文關(guān)系背后的認(rèn)知?jiǎng)右蚝臀幕蛩剡€有待進(jìn)一步挖掘。

4.2.5 多模態(tài)語(yǔ)料庫(kù)

多模態(tài)語(yǔ)料庫(kù)是指由音頻、視頻和文字等多種信息集成的、研究者可通過(guò)多模態(tài)方式加工、檢索和統(tǒng)計(jì)建立相關(guān)研究的語(yǔ)料庫(kù)，可謂“語(yǔ)料庫(kù)4.0”(黃立鶴, 2015)。近年來(lái)，國(guó)內(nèi)語(yǔ)料庫(kù)建設(shè)尚處于起步階段，但也有學(xué)者(顧曰國(guó),2013;黃立鶴,2015)開(kāi)始探討多模態(tài)語(yǔ)料的采集、轉(zhuǎn)寫、切分、標(biāo)注與建庫(kù)等問(wèn)題，還有一些學(xué)者嘗試并建立了小型多模態(tài)語(yǔ)料庫(kù)，如大學(xué)英語(yǔ)口語(yǔ)、口譯多模態(tài)語(yǔ)料庫(kù)和漢語(yǔ)兒童多模態(tài)口語(yǔ)語(yǔ)料庫(kù)等。除對(duì)語(yǔ)料庫(kù)建設(shè)的初步探索外，也有學(xué)者嘗試開(kāi)展多模態(tài)語(yǔ)料庫(kù)的實(shí)證研究，如王正等(2016)、張培佳等(2018)、劉劍等(2020)、周思邑(2020)等。但總體而言，國(guó)內(nèi)多模態(tài)語(yǔ)料庫(kù)研究尚處于起步階段。

4.3 近三年發(fā)展趨勢(shì)

為進(jìn)一步考察國(guó)內(nèi)今后多模態(tài)研究的發(fā)展趨勢(shì)，我們對(duì)數(shù)據(jù)源中近三年的關(guān)鍵詞分別進(jìn)行了統(tǒng)計(jì)，經(jīng)過(guò)近似項(xiàng)合并選取排名靠前的“教學(xué)”“話語(yǔ)”“隱喻”“語(yǔ)料庫(kù)”“語(yǔ)篇”等五個(gè)關(guān)鍵詞進(jìn)行對(duì)比，并按類別表示為圖6。

圖6 2018—2020年語(yǔ)言學(xué)領(lǐng)域多模態(tài)研究關(guān)鍵詞詞頻統(tǒng)計(jì)

前文通過(guò)對(duì)2010—2020年間高頻關(guān)鍵詞和關(guān)鍵詞共現(xiàn)的討論表明，國(guó)內(nèi)多模態(tài)研究聚焦在“話語(yǔ)”“隱喻”“教學(xué)”“語(yǔ)篇”“意義”等方面。圖6中近三年高頻出現(xiàn)的關(guān)鍵詞恰巧又與這11年間多模態(tài)研究路徑及其應(yīng)用研究相吻合，由此可根據(jù)最近三年關(guān)鍵詞來(lái)判斷未來(lái)研究走勢(shì)。首先，從論文總體刊登數(shù)量來(lái)看，多模態(tài)研究年發(fā)文量比較平穩(wěn)，變化幅度不大，分別為65、69、65篇(參見(jiàn)圖1)。接著，從圖6中列出的關(guān)鍵詞詞頻來(lái)看，多模態(tài)隱喻研究呈現(xiàn)逐年上升趨勢(shì)，多模態(tài)話語(yǔ)研究變化趨于平穩(wěn)，其余研究在下降后有所回升，多模態(tài)語(yǔ)料庫(kù)研究還有待拓展和開(kāi)發(fā)。最后，從研究路徑的占比來(lái)看，近三年多模態(tài)在教學(xué)中的應(yīng)用研究總量位居榜首，之后分別是多模態(tài)話語(yǔ)分析、多模態(tài)隱喻、多模態(tài)語(yǔ)料庫(kù)、多模態(tài)語(yǔ)篇。除上述熱門研究路徑外，近兩年多模態(tài)互動(dòng)分析也在國(guó)內(nèi)出現(xiàn)(李曉婷,2019;劉玉梅 等, 2020)。Li與Ono合著了論文集《漢語(yǔ)互動(dòng)中的多模態(tài)》(MultimodalityinChineseInteraction)，探索漢語(yǔ)互動(dòng)中的多模態(tài)協(xié)作與組織方式。但國(guó)內(nèi)學(xué)者采用這一路徑開(kāi)展的研究尚不多見(jiàn)，該領(lǐng)域發(fā)展前景廣闊。

5 結(jié)語(yǔ)

從本文分析可見(jiàn)，2010—2020年間多模態(tài)研究的總體發(fā)文量從快速上升到逐漸平穩(wěn)的態(tài)勢(shì)，且這一態(tài)勢(shì)基本與國(guó)外研究態(tài)勢(shì)同頻共振，國(guó)內(nèi)外研究呈現(xiàn)一定的同步性。這說(shuō)明，國(guó)內(nèi)多模態(tài)研究受到國(guó)外相關(guān)研究的影響較大。國(guó)內(nèi)研究出現(xiàn)了一些本土理論及其應(yīng)用研究，但總體而言，理論創(chuàng)新尚不足，基本沒(méi)有突破系統(tǒng)功能語(yǔ)言學(xué)、社會(huì)符號(hào)學(xué)、視覺(jué)語(yǔ)法等理論框架。自Forceville之后，María Jesús Pinar Sanz(2015)編著出版了《多模態(tài)與認(rèn)知語(yǔ)言學(xué)》(MultimodalityandCognitiveLinguistics)，嘗試提出以認(rèn)知語(yǔ)言學(xué)為主導(dǎo)的多模態(tài)跨學(xué)科研究，但主要局限于概念隱喻理論、意象圖式、融合空間理論等。未來(lái)可進(jìn)一步挖掘認(rèn)知語(yǔ)言學(xué)、甚至構(gòu)式語(yǔ)法對(duì)多模態(tài)研究的價(jià)值。此外，多模態(tài)研究的熱門主題主要集中在“話語(yǔ)”“隱喻”“教學(xué)”“語(yǔ)篇”“意義”“視覺(jué)語(yǔ)法”“語(yǔ)料庫(kù)”等方面。11年間國(guó)內(nèi)學(xué)者對(duì)這些話題的關(guān)注也并不均衡，大多還是集中在多模態(tài)話語(yǔ)或語(yǔ)篇分析、多模態(tài)隱喻研究。我們對(duì)近三年熱點(diǎn)研究關(guān)鍵詞的分析進(jìn)一步表明，多模態(tài)隱喻研究呈現(xiàn)出逐年上升趨勢(shì)，多模態(tài)話語(yǔ)研究趨于平穩(wěn)。從研究路徑上看，人們更關(guān)注多模態(tài)在教學(xué)中的應(yīng)用研究，其次是多模態(tài)話語(yǔ)分析、多模態(tài)隱喻研究，也有少量語(yǔ)料庫(kù)研究。雖然國(guó)內(nèi)現(xiàn)已建成多種小型多模態(tài)語(yǔ)料庫(kù)，但尚未形成體系，缺乏系統(tǒng)性。此外，微觀層面的多模態(tài)研究，尤其是多模態(tài)互動(dòng)研究尚處于起步階段?？傮w上，國(guó)內(nèi)多模態(tài)研究呈現(xiàn)出學(xué)科交叉的特點(diǎn)，應(yīng)用范圍更廣泛，這與國(guó)際發(fā)展趨勢(shì)基本吻合，但研究深度和系統(tǒng)性還有待提高。