國內短視頻多模態話語的演進過程與熱點探析

摘要：文章以短視頻多模態話語在中國的發展歷程和熱點趨勢為研究對象，通過對CNKI（中國知網）全文數據庫收錄的140篇短視頻多模態話語領域期刊文獻進行可視化分析，深入探討文獻的年代、研究機構、關鍵詞共現、突出特征和聚類等方面的內容。同時，結合知識圖譜，從研究結論、研究對象、研究內容等方面，為我國未來的短視頻多模態話語分析研究提出建設性意見。

關鍵詞：多模態；短視頻；CiteSpace

中圖分類號：G206 文獻標識碼：A 文章編號：1004-9436（2023）02-0-05

0 引言

多模態語言是一種交流方式，它利用聽覺、視覺、觸覺等感覺，使用語言、圖像、語音、手勢、動漫和網絡等方式和符號信息實現交流。20世紀90年代開始，西方學術界開始大力開展多模態話語分析方面的研究，其中最具代表性的是Kress&Leeuwen、ScOllon&Levine、o'Halloran、Forceville&Urios等學者的研究成果。李戰子是國內最早深入開展多模態研究的學者，其在《多模式話語的社會符號學分析》（2003）中提出，多模態語言不僅僅是文本，還包括圖像、圖表等多種符號編碼，可以用來實現更多的意義。此書深入探討了Kress&Leeuwen提出的視覺語法理論和圖像研究方法，推動了學術界對多模態話語分析的研究進展。2009年，韋秦紅發表了他的首部多模態話語解析專著《視覺環境下的多模態化與多模態話語研究》，為多模式語篇解析的發展作出了重要貢獻。隨著時間的推移，越來越多關于多模態話語分析理論的專著出現。例如，高佑梅（2014）在《認知語言學方法為基的中國英語課堂教學實證研究》中，從認知語言學的角度探討了多模態話語；張立新（2012）在《基于ELAN的多模態話語研究——以大學英語教師課堂話語為例》中，深入探討了多模態話語的分析和多模態教學的設計。這些專著都是針對應用理論研究的。

自從2003年李戰子開辟了研究多模態的先河，往后近20年，我國多模態話語研究的領域和方向愈來愈廣泛，但有關短視頻多模態話語分析的研究仍處于起步階段。鑒于此，本文以中國知網中的文獻為數據基礎，以“多模態”和“短視頻”兩大主題詞對知網上的文獻進行篩選，并通過CiteSpace（6.1.R2）文獻計量軟件，對篩選出來的文獻進行可視化操作，探析該研究領域的演變過程、研究現狀與發展趨勢，旨在為今后該領域的相關研究提供參考。

1 研究方法

1.1 研究工具

CiteSpace是一款信息可視化軟件，已在學術界得到廣泛應用。它通過考察一定范圍內的文獻，對被引文獻、關鍵詞等進行定量分析，將所得結論繪制成可視化圖譜，從而發現該研究領域的前沿熱點與發展趨勢（陳悅等，2015）。在確定數據來源后，筆者將中國知網上相關的140篇論文的書目信息全部下載下來，將信息導入CiteSpace，獲得年度刊文、生產性期刊、生產性作者和機構、高頻關鍵詞、關鍵詞聚類圖等信息并進行分析。

1.2 研究對象

在國內權威性數據庫之一——中國知網（CNKI）中進行檢索后，發現有關“短視頻多模態話語”這一領域的、具有較高質量的文獻最早出現在2014年。于是，本文將2014年至2022年期間的所有該領域的文獻作為研究對象，并將其導入CiteSpace，生成知識圖譜進行分析。

1.3 數據來源與收集

借助知網的高級檢索功能，在主題詞一欄中填入“短視頻”“多模態”兩個主題詞后，不限制時間范圍、更新時間等，共獲得文獻156條。后借助數據去重與人工篩選，將新聞通訊等相關性較小的文章去除，總共獲得140篇有效文獻。

2 文獻可視化分析

2.1 文獻年度分布

學術論文在數量上的變化往往能反映出該學術領域的發展情況，對文獻數量進行統計分析并描繪增長曲線，可以幫助評估該行業的發展，并預測其未來的發展［1］。本文統計了近8年來國內140篇短視頻多模態話語分析相關文獻的年度發文量，大致可以分為以下兩個階段：緩慢增長期（2014—2018年）、持續增長期（2018年至今）。

如圖1所示，2014年，董小晶教授首次在其論文中對短視頻中的多模態話語進行分析研究，而后連續3年，該領域研究依舊不活躍，發文總量只有8篇。自2018年開始，有關短視頻多模態話語分析研究的論文發文量才開始呈現垂直上升的趨勢，2021年該領域發文量達到48篇，直至今日，該領域發文量仍然在持續增加。這充分表明，近年來，由于新媒體的活躍發展，短視頻逐漸成為人們日常生活中不可忽視的存在，對社會各行各業的影響也越來越大。因此，國內學者對短視頻多模態話語分析的關注度持續提高，短視頻領域的多模態話語研究逐漸成為學界關注的對象。

2.2 研究熱點與研究趨勢

2.2.1 高頻關鍵詞和關鍵詞共現

為了更好地了解2014年至今國內短視頻多模態話語分析的研究熱點和趨勢，筆者將數據源中的關鍵詞篩選出來，按照出現頻次由高到低排序，選出前20名關鍵詞，結果如表1所示。將非研究目標關鍵詞“多模態”和“短視頻”剔除后發現，國內有關短視頻多模態話語分析的研究熱點主要集中在“特征表示”“抖音”“深度學習”“視覺語法”“音畫關系”等方面，頻次分別為10、7、6、5、5；“李子柒”“主流媒體”相關研究的頻次緊隨其后；而其余方面的研究頻次不足4，包括“低秩表征”“對外傳播”“新媒體”“社交媒體”“詞匯教學”等。

接著，通過運行CiteSpace軟件，獲得關鍵詞共現可視化網絡圖譜（見圖2），將當前研究熱點與趨勢可視化。由圖2可知，在140篇文獻中，抓取了147個關鍵詞，并且它們之間共有194次關聯。這表明國內學者從多個角度對短視頻多模態話語開展了分析和研究，但是這一領域的研究仍處在初級階段，尚未完善，也說明短視頻多模態話語分析具有跨學科的特點。

在圖2中，節點大小反映了短視頻多模態話語分析的熱點領域和話題，節點越大，表明該領域的研究越熱門。除去“短視頻”和“多模態”兩個作為在知網數據庫中進行檢索的關鍵詞后可以發現，2014年到2022年，“深度學習”“抖音”“視覺語法”和“對外傳播”等關鍵詞是短視頻多模態話語分析研究領域的熱點話題，這說明短視頻多模態話語分析領域的研究內容正在變得越來越豐富多彩。學者們將短視頻多模態研究應用到教育學、傳播學、社會學等學科領域，不僅促進了學界跨學科交叉融合發展，而且對社會發展產生了一定的積極意義和影響。

2.2.2 突現詞分析

為了進一步了解短視頻多模態話語分析領域的研究熱點和研究趨勢，在高頻關鍵詞和關鍵詞共現網絡的基礎上，將Y值設置為0.2，對關鍵詞進行burstness檢測［2］，共提取9個突現詞，由這9個突現詞可知短視頻多模態話語分析研究發展的關鍵與變化。

如圖3所示，從變化時間上可以觀察到，關鍵詞突變大致可以分為以下幾個階段。2014—2018年，集中于“音畫關系”和“特征表示”，這段時間內國內研究者剛開始對短視頻進行多模態話語分析，研究剛剛起步，研究內容還處于探索階段；2015—2019年，“詞匯教學”和“大學英語”成為研究中心，教育學研究領域的學者開始重視短視頻的多模態話語分析；2016—2019年，“傳播策略”突現明顯，表明傳播學領域的學者開始關注短視頻中的多模態話語；2018—2020年，“社交媒體”和“互動意義”突現明顯，說明學者開始從社會學的角度對短視頻的多模態話語進行分析研究；2019—2020年，“低秩表征”一詞突現，這有可能是未來短視頻多模態話語分析研究領域的重要研究內容。

2.2.3 關鍵詞聚類

CiteSpace通過算法將文獻中共同的關鍵詞標簽等聚類后，再對其進行分類，從而形成一張圖譜，較為清晰地呈現出該學科領域的研究前沿［3］。該技術基于譜聚類算法，能夠有效提取相關文獻中的關鍵詞，從而更好地反映研究的前沿。CiteSpace一般通過“模塊值”和“平均輪廓值”來評估聚合的有效性。通常來說，當Q值大于0.3，則表明聚合分析得出的社團結構特點是明顯的，而當S值大于0.7，則表明聚類結果的可信度較高，具有較高的參考價值［4］。圖4的Q值和S值均達到了0.959，表明該視圖不僅特點明顯，且有較強的說服力，能夠為研究者提供有效指導。

從圖4可以觀察到，去除“短視頻”和“多模態”兩個標簽后，聚類最明顯的標簽依次是“政治視覺修辭”“主流媒體”“詞匯教學”“視覺語法”“鄉村形象”。“政治視覺修辭”和“主流媒體”是短視頻多模態話語分析研究的重點關注對象，究其原因是在媒體融合的大背景下，主流媒體開始突破創新，在各類社交平臺上創建官方賬號，因此，在對短視頻進行多模態話語分析的初期，多數學者會選擇主流媒體作為研究對象，考察主流媒體短視頻中的多模態話語對社會和受眾產生的影響。另外，“詞匯教學”“視覺語法”和“鄉村形象”三者之間并無交叉重疊，學術研究較為分散。因“視覺語法”是多模態話語研究中使用較為頻繁的理論框架之一，所以并不能算在短視頻多模態分析的研究對象中，由此可見，多模態視域下對短視頻領域的研究較為片面，尚未發展成熟。

2.3 主要發文作者及研究機構

通過中國知網的數據分析功能，可以清晰地看到2014—2022年這8年間發表文章最多的學者是蘇育挺和井佩光，他們分別發表了4篇相關文章；其次是劉昱、崔天舒和葉徐清，分別發表了2篇相關文章；最后是馮德正、徐劍、范建剛、張梅、黃圣等學者。圖5展示了這些學者的可視化分析結果。研究多模態短視頻的機構包括天津大學、香港理工大學、上海交通大學和福建師范大學。其中，天津大學的研究團隊由著名學者蘇育挺、井佩光、劉昱、崔天舒和葉徐清領銜，而香港理工大學的研究團隊則由著名學者馮德正領銜。

3 研究不足與建議

對我國近8年的短視頻多模態研究成果進行分析可以發現，短視頻多模態話語分析在我國屬于較新的研究領域，對其進行研究的學者相對較少，直至近幾年該領域的研究才逐漸得到重視。作為一個較新的研究領域，本文認為短視頻多模態話語分析研究存在一些不足，并針對該現象提出了一些建議。

3.1 研究結論主觀化，缺少實證研究

近年來，國內針對短視頻多模態話語分析的研究日漸豐富，但大多數文章仍停留在引進和介紹國外學者的理論與科學研究方法上，能夠提出具有原創性的、獨立完整的短視頻多模態話語分析理論框架的學者相對較少。大多數學者在進行多模態話語分析理論研究時，仍采用Kress&Leeuwen在1996年出版的《閱讀圖像：視覺設計的語法》中提出的視覺語法理論框架。因此，應該加以思考和創新，以更好地探索多模態話語分析的本質。

同時，由于學者對話語類分析的研究是建立在學者個體的文化背景、知識底蘊、研究動機等之上的，所以不可避免地會存在研究結論過于主觀化這一問題，從而導致研究結論差異化較為明顯，而出現這一現象的原因是學者在該領域進行研究時，缺乏實證研究加以佐證。如果我國短視頻多模態研究領域能夠學習學科教學領域的多模態研究中的實證研究，不僅能夠促進多模態領域中的學科融合與共建，而且短視頻領域的多模態話語分析研究方法也會越來越完整。

3.2 研究對象扁平化，亟待學科共建

在短視頻多模態話語分析研究領域，學者們較多從認知語言學和系統功能語言學角度對短視頻進行多模態話語分析，深入探討音畫關系的結構性特征，及其在概念、人際關系和語篇這三個層面的功能作用。多模態話語分析不應僅局限于某個學科領域，而應當是一種跨專業的研究，涉及符號學、傳播學、社會學等學科，以更深入地探索語言的本質。尤其是在科技飛速發展的當下，短視頻是新媒體行業中必不可少的存在，短視頻的內容也涉及各行各業，對短視頻的多模態話語分析應當得到學界的重視。

因此，學者應及時解構或構建短視頻多模態話語符號中的意義關系，積極主動地與其他學科領域的學者進行溝通交流與學習。學科的融合與共建是多模態話語分析研究領域的必然趨勢，只有緊跟時代潮流，在別的學科領域中發現多模態的存在，并將短視頻多模態分析融入各個學科領域，才能促進各學科共同進步，從而推動社會發展與進步。

3.3 研究內容單一化，研究內涵需豐富

筆者通過文獻研究發現，多數文獻的研究內容主要集中在“主流媒體”“線上教學”等方面，內容同質化現象較為嚴重，研究缺乏獨特的視角與創新性見解。雖然相比研究初期而言，現階段逐漸開始有越來越多不同學科領域的學者對短視頻中的多模態話語進行分析研究，但樣本數量較少，尚未形成較為成熟的研究關系網。新媒體時代，短視頻APP被廣泛使用，逐漸成為人們獲取信息、學習知識、溝通交流等不可或缺的渠道之一，如果對短視頻多模態方面的分析研究只局限在“主流媒體”“線上教學”等方面，那么關于短視頻多模態話語分析的研究便會因學術視野狹窄而無法取得突破性的發現。

在后續研究中，需要分析多模態視域下短視頻對受眾的影響與效果等，將研究與社會生活的方方面面相聯系，展現出信息時代短視頻多模態話語的變化與特色。例如，黃芙蓉等學者對《中國一分鐘》進行多模態話語分析，發現文字、聲音、圖像能夠通過不同的方式對受眾產生不同的影響，從而更好地發揮時政類短視頻的效果，實現其意義［5］。雖然該文章仍然是從“主流媒體”的角度出發進行研究的，但更關注多模態不同的呈現方式對受眾的影響與效果。如果未來有關短視頻多模態話語分析的研究能夠放大這一優點，不僅能夠真正推動相關研究發展，而且能對社會發展起到一定的促進作用。

4 結語

隨著新媒體時代的快速發展，社會不再是以往單一的模式形態，而變成了多模態共同發展的社會。以往被忽視的非語言符號，如聲音、圖像、色彩等，正在共同構建如今的社會。雖然我國對短視頻多模態話語分析的研究時間并不是很長，但該研究領域擁有廣闊的發展前景，值得我國學者進行深入研究。同時，隨著我國科技的飛速發展，短視頻多模態話語分析將在研究思路、方法和路徑上取得新的突破，從而推動語言學研究進步與發展。

當然，本研究仍然存在一定的不足。首先，本研究的文獻數量充足，一定程度上能夠反映我國短視頻多模態研究的狀況，但文獻來源為知網收錄的相關論文，相比核心期刊而言，缺乏代表性。其次，本研究檢索的關鍵詞為“短視頻”和“多模態”，可能并未搜集到全部有關短視頻多模態話語分析的研究文章，也可能包含部分其他領域的文章，因此準確性有待商榷。最后，本研究涉及的外國文獻較少，如果能夠統計整理國外短視頻多模態話語分析研究的發展進程，研究得出的結論將更加嚴謹。

參考文獻：

［1］ 楊思洛，韓瑞珍.知識圖譜研究現狀及趨勢的可視化分析［J］.情報資料工作，2012（4）：22-18.

［2］ 陳超美. CiteSpace中的BurstDetection［EB/OL］.陳超美科學網博客，https：//blog.sciencenet.cn/blog-496649-566

289.html，2012-05-03.

［3］ 陳悅，陳超美，胡志剛，等.引文空間分析原理與應用CiteSpace實用指南［M］.北京：科學出版社，2014：75-76.

［4］ 陳悅，陳超美，劉則淵，等. CiteSpace知識圖譜的方法論功能［J］.科學學研究，2015，33（2）：242-253.

［5］ 黃芙蓉，黃琪，王芬.時政微視頻：多模態話語講好中國故事的政治傳播實踐：以人民日報《中國一分鐘》等為例

［J］.湖北第二師范學院學報，2021，38（6）：102-108.

作者簡介：王曉凡（2000—），女，江蘇鹽城人，碩士在讀，研究方向：新聞與傳播。