基于口述影像多模態(tài)語(yǔ)料庫(kù)的“V+到+X”構(gòu)式

王浩威, 劉 洋

(湖北工業(yè)大學(xué)外國(guó)語(yǔ)學(xué)院，湖北 武漢 430068)

作為視聽(tīng)翻譯(Audiovisual Translation)的一種重要形式，口述影像(Audio Description，AD)使用生動(dòng)形象的語(yǔ)言為視障人士描述其無(wú)法感受的視覺(jué)影像信息，幫助其跨越視覺(jué)障礙，理解視覺(jué)影像信息傳遞的內(nèi)容，無(wú)障礙電影是其中的一種形式?？谑鲇跋窈卸嗄B(tài)信息如視覺(jué)信息、聽(tīng)覺(jué)信息、文字符號(hào)信息等。多模態(tài)語(yǔ)料庫(kù)(multimodal corpus)集成了語(yǔ)料的音頻、視頻和文字等多種信息，可被用來(lái)加工、檢索、統(tǒng)計(jì)和分析語(yǔ)料的多模態(tài)特征?！癡+到+X”構(gòu)式因其豐富的表義功能，是現(xiàn)代漢語(yǔ)中相對(duì)常見(jiàn)的一種構(gòu)式[1]，本研究通過(guò)多層標(biāo)注和數(shù)據(jù)統(tǒng)計(jì)方法，分析了“V+到+X”構(gòu)式的表征特征、“V”的語(yǔ)義特征和“X”的類型，并結(jié)合認(rèn)知語(yǔ)言學(xué)理論進(jìn)行了分析。

1 研究設(shè)計(jì)

1.1 語(yǔ)料來(lái)源

《冰雪奇緣》漢語(yǔ)口述影像版由上海電影評(píng)論學(xué)會(huì)制作出版。蜻蜓FM平臺(tái)播放該解說(shuō)音頻，播放量為10.7萬(wàn)次。

1.2 預(yù)處理

為了研究該視聽(tīng)材料的多模態(tài)特征，本研究將該影片的口述影像音頻Wma格式和原影片Mpeg格式合并音軌，轉(zhuǎn)換成Mpeg格式版的口述影像。

1.3 語(yǔ)料元數(shù)據(jù)(Meta-data)的創(chuàng)建與導(dǎo)入

轉(zhuǎn)換完成后，導(dǎo)入《冰雪奇緣》漢語(yǔ)口述影像制作的年代、主題、語(yǔ)種、開(kāi)發(fā)單位、字?jǐn)?shù)以及其他元信息。元數(shù)據(jù)采用XML標(biāo)簽直接對(duì)語(yǔ)料添加元數(shù)據(jù)的方法，例如采用來(lái)標(biāo)注該口述影像的原文作者為上海電影評(píng)論學(xué)會(huì)。

1.4 研究工具

本文使用ELAN(Eudico Linguistic Annotator)多媒體轉(zhuǎn)寫、標(biāo)注軟件建設(shè)《冰雪奇緣》漢語(yǔ)口述影像多模態(tài)語(yǔ)料庫(kù)，主要步驟為：

1)初步建層。根據(jù)研究需要，先建立轉(zhuǎn)寫層；

2)語(yǔ)料轉(zhuǎn)寫。語(yǔ)料轉(zhuǎn)寫指對(duì)口述影像的文字信息進(jìn)行轉(zhuǎn)寫，不包含其中的語(yǔ)調(diào)(tone)、音高(pitch)、重音(stress)等信息，語(yǔ)料庫(kù)界面見(jiàn)圖1。

圖1 ELAN多模態(tài)語(yǔ)料庫(kù)界面

3)建庫(kù)。該口述影像多模態(tài)語(yǔ)料庫(kù)總時(shí)長(zhǎng)為1200 s，4340字符。

4)語(yǔ)料分析。以“到”為搜索詞，手工排除不符合 “V+到+X”構(gòu)式的表達(dá)，如“受到驚嚇的馬”中的“受+到+馬”不符合“V+到+X”的構(gòu)式特點(diǎn)。“國(guó)王和王后遇到了強(qiáng)烈的風(fēng)暴”中的“遇到風(fēng)暴”雖然符合“V+到+X”的表征，但是“遇到”現(xiàn)在已經(jīng)成為一個(gè)詞[2]，所以不在統(tǒng)計(jì)范圍之內(nèi)。

5)二次建層。根據(jù)研究需要，在原來(lái)轉(zhuǎn)寫層的基礎(chǔ)上增加“V+到+X”構(gòu)式層、“V”層、“X”層3個(gè)文本層和表情層、身勢(shì)移動(dòng)方向?qū)?個(gè)非言語(yǔ)行為模態(tài)信息層，總共建立6層信息。

6)語(yǔ)料統(tǒng)計(jì)。根據(jù)研究需要，使用ELAN軟件的提取和統(tǒng)計(jì)分析功能進(jìn)行詞頻和詞語(yǔ)共現(xiàn)信息統(tǒng)計(jì)，獲得口述影像“V+到+X”構(gòu)式的定量和定性數(shù)據(jù)。

7)質(zhì)量監(jiān)控。在分析當(dāng)中，采用兩人一組，合作互助的方法處理歧義。如果分析結(jié)果不一致，由第三位分析者進(jìn)行仲裁并確定最終結(jié)果。

2 研究發(fā)現(xiàn)

2.1 “V+到+X”構(gòu)式特征

根據(jù)圖2，可以看出“V+到+X(受事)”構(gòu)式的基本組成為“(N施事)+V+到+X(受事)”?！癡+到+X”根據(jù)句法語(yǔ)義類型分為“V+到+X(受事)”和“V+到+X(處所)”兩種基本類型，分別表達(dá)“獲得義”和“位移義”。兩類構(gòu)式的分布相當(dāng)，“V+到+X(處所)”略高于“V+到+X(受事)”，基本信息見(jiàn)表1。

表1 “V+到+X”構(gòu)式類型和分布

“V+到+X(受事)”構(gòu)式中“V”是施事通過(guò)“V”獲得受事“X”，這就使得“V”有[+取得]的含義，“V”的意義種類豐富，既包括行為動(dòng)詞如“找”“看” “聽(tīng)”等也包括表達(dá)“感受”“察覺(jué)”等心理思維活動(dòng)的詞如“想”[3]。作為界標(biāo)，“到”表示主語(yǔ)通過(guò)特定的動(dòng)作行為引出其作用的對(duì)象。在結(jié)構(gòu)的劃分上，“V”與“到”構(gòu)成動(dòng)補(bǔ)結(jié)構(gòu)[3]整個(gè)動(dòng)補(bǔ)結(jié)構(gòu)作為一個(gè)整體再接后面的“X(受事)”。“X”表示“V”達(dá)到的目的或得到的結(jié)果，通常為表示人或事物的名詞“N”或短語(yǔ)“NP”，分為體詞性和謂詞性兩種。

“V+到+X(處所)”構(gòu)式中“V”表示至某個(gè)地方，“到”的功能是引出動(dòng)作或行為“V”抵達(dá)的目的地，“X”表示動(dòng)作或行為V抵達(dá)的空間域的終點(diǎn)，這類構(gòu)式可以表達(dá)空間認(rèn)知方向系統(tǒng)和位置系統(tǒng)(圖2)。與“V+到+X(受事)”構(gòu)式不同，在這類結(jié)構(gòu)劃分層次的時(shí)候，“到”與后面表示“X(處所)”的成分應(yīng)該被劃分在一起，使之成為一個(gè)有機(jī)整體，再與前面的“V”構(gòu)成動(dòng)補(bǔ)關(guān)系[3]。

圖2 ELAN標(biāo)注表格

2.2 “V+到+X(受事)”構(gòu)式

根據(jù)“V”的語(yǔ)義，本語(yǔ)料庫(kù)中“V”主要分為“動(dòng)作行為類”和“心理感受類”[4]。不自主動(dòng)詞“看”的比率最高(62.5%)，其次為“聽(tīng)”(12.5%)?！靶睦砀惺茴悺眲?dòng)詞如“想”(6.25%)遠(yuǎn)遠(yuǎn)小于“動(dòng)作行為類”動(dòng)詞(93.75%)?！皠?dòng)作行為類”動(dòng)詞和“心理感受類”動(dòng)詞施事主動(dòng)性較強(qiáng)，體現(xiàn)為一種主動(dòng)獲取信息所形成的認(rèn)知過(guò)程[5]，在執(zhí)行動(dòng)作的過(guò)程中，“V” 的語(yǔ)義可由視覺(jué)、聽(tīng)覺(jué)等感官的體驗(yàn)投射進(jìn)聽(tīng)者的精神世界[5]。

表2 “V+到+X(受事)”構(gòu)式中“V”的分布

為了觀察“V”出現(xiàn)的時(shí)候口述影像呈現(xiàn)的多模態(tài)特征，本研究對(duì)“V+到+X(受事)”構(gòu)式中“V”出現(xiàn)時(shí)施事的表情模態(tài)進(jìn)行了考察(圖3)。根據(jù)統(tǒng)計(jì)，施事的表情分為“驚訝”(37.5%)、“快樂(lè)”(25%)、“驚恐”(18.75%)、“零表情”(6.25%)、“驚慌”(6.25%)和“悲傷”(6.25%)6種。通過(guò)觀察，在表達(dá)“看+到+X”的時(shí)候，施事的“驚訝”表情出現(xiàn)的次數(shù)最高(5次)，動(dòng)作“看”與表情“驚訝”具有高度的共現(xiàn)交互性，見(jiàn)表3。

圖3 “V”與表情模態(tài)交互情況

表3 “看”與“驚訝”共現(xiàn)情景

這類“V+到+X(受事)”構(gòu)式中，“X”主要為體詞性(87.5%)，謂詞性只有2例(雪寶看到安娜倒在地上；安娜看到漢斯王子舉起寶劍刺向癱坐在地上的艾莎)。“X”作為受事，有受事是人和受事是事物兩類。

1)受事是人

例1 艾莎看到他，后悔道。

例2 安娜看到了不遠(yuǎn)處的克斯托夫。

例3 漢斯王子也在冰雪中看到了艾莎。

在這類“V+到+X(受事)”構(gòu)式中，V的受事均為人(“他”“克斯托夫”“艾莎”)。例1-例3中的“看”單獨(dú)使用時(shí)，僅表示“視線觸及”這一動(dòng)作，與“到”結(jié)合后，就表示“看”這一動(dòng)作成功實(shí)現(xiàn)并有了結(jié)果，即施事“看”到了受事，而去掉“到”后，與“看”有無(wú)結(jié)果沒(méi)有關(guān)系[3]。

2)受事是事物

例4 安娜靈機(jī)一動(dòng)，想到了一個(gè)好主意。

例5 艾莎聽(tīng)到這句，睜開(kāi)了眼睛。

例6 國(guó)王和王后在書架上找到一本古老的書。

在這類“V+到+X(受事)”構(gòu)式中，“V”的受事均為具體的事物，如“主意”(例4)、“眼睛”(例5)、“書”(例6)等。與“受事是人”類型一樣，這類中的“V”如果去掉，僅表示“想”“聽(tīng)”“找”等動(dòng)作本身，無(wú)法知曉它們是否成功達(dá)到了預(yù)想的結(jié)果。如果加上“到”，這種預(yù)想的結(jié)果也就是“X(受事)”得以成功實(shí)現(xiàn)。

2.3 “V+到+X(處所)”構(gòu)式

這類構(gòu)式基本形式為“N施事+V+到+X(處所)”。“V”的語(yǔ)義特征為[±自主][-抽象][+位移][±方向性]。表移動(dòng)的“V”可以是自移動(dòng)詞，如“來(lái)”“跑”“走”等，也可以是他移動(dòng)詞，如“裝”“轉(zhuǎn)”等。這些位移動(dòng)詞和人們的日常生活緊密相關(guān)，它們描述了我們賴以生存的環(huán)境中的各種事物或現(xiàn)象在形態(tài)和位置上的空間屬性關(guān)系，涉及人們對(duì)于空間的感知以及使用語(yǔ)言編碼對(duì)空間信息進(jìn)行分析、處理和重新認(rèn)識(shí)，包括對(duì)形狀、方位、距離和物體內(nèi)部空間組成關(guān)系的認(rèn)知。這種認(rèn)知框架是一種認(rèn)知心理上的“填空”。比如人們聽(tīng)到“跑”，頭腦中會(huì)構(gòu)建相應(yīng)的關(guān)于“跑”的認(rèn)知心理模型和認(rèn)知心理域，如“跑”的動(dòng)作發(fā)出者是誰(shuí)，“跑”的路徑是什么樣的，這種“獲取”“處理”“貯存”“傳遞”和“解釋”信息的過(guò)程構(gòu)成了關(guān)于“跑”的認(rèn)知心理框架。

“到”后多接表處所或方位的名詞N或短語(yǔ)NP，它們是“V”的位移終點(diǎn)，可分為具體處所和抽象處所兩類，但在本語(yǔ)料庫(kù)中“處所”主要為具體處所，如“雪橇上”“大廳中”“門前”“小河邊”等。“到”具有[+位移][±方向性][±有位移起點(diǎn)][+有位移終點(diǎn)]等語(yǔ)義特征，在移動(dòng)路徑的方向上沒(méi)有特別的限制，具有泛向性[3]。結(jié)合圖2身勢(shì)移動(dòng)方向多模態(tài)標(biāo)注結(jié)果，可以發(fā)現(xiàn)“X”既有水平方向的移動(dòng)(如“姐妹兩人歡快地跑下樓，來(lái)到大廳中”；“安娜再次來(lái)到艾莎房前”)，這種類型占47.4%，也有垂直方向上的移動(dòng)(如“工人們把這些冰塊分割成小塊，裝到雪橇上”；“雪橇落到了萬(wàn)丈深淵”)，這種類型占42.1%，第三種是既有水平方向也有垂直方向移動(dòng)的(如“安娜蹦蹦跳跳來(lái)到她的床邊”)，這種占整體的10.5%?！暗健钡囊苿?dòng)方向取決于兩個(gè)因素，一是“V”本身所隱含的方向性特征[3]，如“落”“滑”等動(dòng)詞具有明顯的由上到下的垂直移動(dòng)性，二是“到”后面所接的表處所的結(jié)構(gòu)中所隱含的方向性[3]，如“雪橇上”。

表4 “V+到+X(處所)”構(gòu)式中“V”的分布

這類構(gòu)式中，“X”通常是表示處所的空間方位結(jié)構(gòu)詞和短語(yǔ)，即身體周圍的三維位置圖示(前/后)，邊界圖示(口/旁邊)，它們展示在空間關(guān)系構(gòu)式當(dāng)中常見(jiàn)的實(shí)體和參照物類別，可以確定兩種實(shí)體如何進(jìn)行意義的確定和凸顯。在本語(yǔ)料庫(kù)中，“V+到+X(處所)”構(gòu)式中“X”主要分為三維位置詞如(如門前、城門前、姐姐背后等)和三維邊界詞(如壁爐邊、小河邊、門口、入口處、大廳中等)。結(jié)合多模態(tài)語(yǔ)料庫(kù)進(jìn)行考察，如“安娜走到艾莎冰雪城堡的門口”和“他們來(lái)到城門前”這兩句雖然表示的都是在“門的前面”這樣一個(gè)概念，但“門口”相較“門前”的空間距離更近，通過(guò)這樣的語(yǔ)言描述出來(lái)的畫面可以為口述影像使用者的空間語(yǔ)義表達(dá)模式的心理認(rèn)知過(guò)程和意義結(jié)構(gòu)提供論證?？臻g語(yǔ)言引導(dǎo)空間認(rèn)知[6]，基于這些表達(dá)，口述影像使用者在使用語(yǔ)言編碼相關(guān)空間特征時(shí)更準(zhǔn)確，其空間認(rèn)知表現(xiàn)也會(huì)提高，從而彌補(bǔ)其在距離和知覺(jué)上發(fā)展的滯后[7]。但是，本語(yǔ)料庫(kù)中其他描述空間距離圖示[8](如表達(dá)高/低/遠(yuǎn)/近等關(guān)系)和空間狀態(tài)圖示[8](如表達(dá)俯視/仰視/空/滿//淺/深等關(guān)系)的用詞較少。

3 結(jié)論

人類從一出生開(kāi)始，就通過(guò)各種聯(lián)系方法體驗(yàn)其周圍的環(huán)境。受事和空間連接作為物質(zhì)的重要存在形式，是人類賴以生存的環(huán)境，是人類認(rèn)識(shí)事物的重要方面之一。人類如果要適應(yīng)環(huán)境，人際溝通能力和空間方位認(rèn)知能力是必要的前提。通常來(lái)說(shuō)，“V+到+X”與人、物、地點(diǎn)等信息高度相關(guān)，涉及多種語(yǔ)義角色，具有語(yǔ)義上的相鄰性、相關(guān)性、互補(bǔ)性和依賴性[9]，以這個(gè)構(gòu)式為參照點(diǎn)，來(lái)給信息定位，可以建立心理所及的認(rèn)知框架和認(rèn)知域，這樣相關(guān)的受事和空間位置概念容易被提取?？谑鲇跋窨梢該?jù)此建立與視障者的心理和認(rèn)知聯(lián)系?！癡+到+X(受事)”構(gòu)式和“V+到+X(處所)”構(gòu)式作為認(rèn)知上具有顯著性的構(gòu)式，其句法語(yǔ)義的互動(dòng)研究有助于我們更好地認(rèn)識(shí)口述影像文本的句法結(jié)構(gòu)的認(rèn)知形成機(jī)制。在口述影像文本開(kāi)發(fā)的時(shí)候要注意合理選用這種構(gòu)式，用構(gòu)式語(yǔ)言功能彌補(bǔ)口述影像使用者視覺(jué)經(jīng)驗(yàn)的缺乏，從而幫助他們發(fā)展受事以及空間概念，增強(qiáng)其認(rèn)識(shí)受事和空間的心理途徑，使口述影像使用者作為認(rèn)知主體建立相關(guān)的認(rèn)知主題背景和語(yǔ)言環(huán)境，使其具備受事和空間編碼和推理的認(rèn)知基礎(chǔ)[8]，從而對(duì)受事和空間進(jìn)行正確的解碼和認(rèn)知。本文對(duì)于視聽(tīng)翻譯多模態(tài)研究、開(kāi)發(fā)口述影像版本具有參考意義。