國內外多模態語料庫建設現狀

■張成智／河北大學外國語學院

一、多模態語料庫的定義

語料庫可以分為單模態和多模態兩種。單模態語料庫是純文本語料庫。在國內，諸多學者在單模態語料庫的研制、應用和普及等方面做出了開拓性的貢獻（王克非、秦洪武，2017；胡開寶，2017,2011；梁茂成，2010；秦洪武，2010；劉澤權，2008）。多模態語料庫是單模態語料庫的新發展，它是指音頻、視頻和文字語料等多種信息集成，研究者可以通過多模態方式加工、檢索和統計進行相關研究的語料庫（顧曰國，2013）。具體而言，多模態語料庫（Multimodal Corpus）是指包含經過轉寫、處理與標注的語言文本及與文本緊密關聯的音視頻數據庫，目的在于采用實證的方法系統地研究語言符號與非語言符號之間的相互作用（Heiss &Soffritti，2008； Sotelo Dios, 2012）。 其內涵已超出了Biber等人所定義的語料庫范疇——“口語或書面語文本的大規模集合”，而是“經過標注的不同交際渠道協同的數據集合，包括話語、目光、手勢、身體姿勢等，而且通常是基于直接記錄的人類行為”（Foster et al.2007:307）。

二、國內多模態語料庫的建設現狀

多模態語料庫是語料庫語言學中正在興起的一個分支，我國的多模態語料庫建設還在起步階段，其中顧曰國（2017）領銜研制的現場即席話語多模態語料庫、癡呆老人話語多模態語料庫等開創了國內多模態語料庫研制與應用的先河。近年來，國內有學者也陸續研制了特色各異的多模態語料庫，如謝楠、張笛（2017）研制的漢語兒童多模態口語語料庫，金艷妮（2013）以教學錄像為材料構建的小型多模態英語詞匯教學語料庫，彭娟娟（2013）以優秀英語教師視頻為材料研制的多模態語料庫，張立新（2012）以課堂教學錄像為材料創建的多模態語料庫，潘鳴威（2010）制作的理工科大學生英語多模態語料庫等等。盡管如此，我國多模態語料庫依然奇缺，四大名著是我國傳統文學經典，建設相關的多模態語料庫意義重大，可惜迄今為止還沒有學者做過相關嘗試。顧曰國（2016, 2015, 2014,2013, 2007）在多模態語料庫的理論、方法、研制和應用前景等領域做出了開創性的貢獻。張德祿（2012, 2010,2009）在多模態話語分析、多模態文體學等領域作了引領性的研究。當然還有不少學者就多模態語料庫的研制方法、策略，用途，以及多模態語料庫在國內外的研制概況做了介紹和整理（劉劍，2017；王正，張德祿，2016；黃立鶴，2015；劉劍，胡開寶，2015；張霄軍，2007）。盡管如此，國內多模態語料庫的研究依然十分缺乏，相關文獻以綜述和評介居多，實證研究偏少。

三、國外多模態語料庫的建設現狀

在國外，多模態語料庫研制取得了豐碩的成果，如丹麥NOMCO多模態語料庫（Boholm & Allwood, 2010）、希臘PlayMancer多模態語料庫（Kostoulas,et al., 2010）、西班牙OSA多模態語料庫（Fernández et al., 2008）、日本嬰兒行為多模態語料庫（Kitazawa, et al., 2008）、歐盟AMI多模態語料庫（Carletta,2007）、德國SmartWeb多模態語料庫（Mogele, et al., 2006）。這些語料庫用于探索語言習得、人機互動、疾病診斷等目的。盡管有科研團隊以電視劇為語料建設多模態語料庫，但是還沒有學者以名著改編電視劇為基礎建設多模態語料庫。在多模態語料庫的應用研究方面，不少學者對多模態語料庫的發展趨勢、功能和作用進行了介紹和 分 析（ Malisz,2016；Br?ne & Oben,2015; Bateman, 2014；Knight, 2011,2008, 2009），還有學者對多模態語料庫的建設方法和相關工具軟件的使用和技巧等方面進行了討論（Lihe Huang,2017; Campbell，2009；Baldry, Thibault,2006）、或者探索如何利用多模態語料庫促進語言學習（Ackerley & Coccetta，2007）。盡管上述多模態語料庫分別從語言學習、人機互動等多方面進行了富有成果的探索，但還沒有團隊將單模態語料庫和多模態語料庫相結合，開展語言研究。

綜上所述，多模態語料庫在國內和國外已經日益引起重視，但是目前無論國內還是國外，大規模的多模態語料庫十分缺乏，多模態雙語平行語料庫更加罕見。多模態語料庫是單模態語料庫的發展和深化。多模態語料庫也是語料庫的高級形式和未來研究的重要趨勢。