手語視頻庫的建立與研究

楊煉　鐘鵬　鄭祖明　韓梅　李凱

摘 要：手語視頻數據庫以《計算機專業手語》為基礎，將視頻剪輯技術和數據庫技術相結合，為計算機專業手語教學的規范化研究提供數據支持；以中殘聯編著的《計算機專業手語》為基礎，建立計算機專業手語視頻數據庫。課題將視頻剪輯技術和數據庫技術相結合，為計算機專業手語教學的規范化研究提供數據支持；指導聾人高等工科教育中的手語教學，提高課堂手語教學的教學質量。同時可為計算機手語語料庫的研究提供視頻數據的支持。

關鍵詞：手語 ；視頻庫；語料庫

中圖分類號：TP317 文獻標識碼 A

Establishment and Study of Sign Language Video Library

YANG Lian， ZHANG Peng， ZHANG Zuming， HAN Mei， LI Kai

（Technical College for the Deaf， Tianjin University of Technology，Tianjin 300384，China）

Abstract： Based on the computer professional sign language， and combined with video clips and database technology， Sign language video database provides data support for the study on the standardization of computer professional sign language teaching； Taking “the computer professional sign language" as the foundation edited by CDPF， the establishment of computer professional sign language video database. The subject of the paper is to provide the data support for the standardization of sign language teaching in computer science. While the research of the sign language corpus can provide the support for the video data.

Key words： Sign Language； Video Library；Corpus

0引 言

目前我國許多聾人學校都開設了信息技術課，許多面向聾人招生的高等教育學校，如：天津理工大學聾人工學院、北京聯合大學特教學院、重慶師范大學特殊教育學院，浙江廣播電視大學特殊教育學院等都開設了計算機相關專業。日常手語的學習可參考《中國手語》[1]，計算機專業手語詞匯可以參考《計算機專業手語》[2]，這些可以作為健聽人與聾人交往參考和高校教學的基礎資料，但紙質的學習教材不夠形象，相關的視頻素材又產出匱乏，教師和聾生學習中困難較大。教師在教學上只是按自己的理解去打出計算機專業手語詞匯的手勢，全國各地聾校、甚至同一學校、不同教師對一個詞匯打出的手勢也不一樣，造成了健聽人與聾人、聾人和聾人之間交流的障礙。因此制作計算機專業手語視頻學習庫，將專業手語的教學以視頻的形式展現出來，可以增加學習者的學習興趣，提升手語教學的效果水平，實現手語教學的統一化、標準化和規范化。本文即針對這一課題而展開相應的探討和研究。

目前我國手語視頻庫建設依然處于起步階段，應用范圍還非常有限。從已出版發行的多本手語詞典或工具書，如《中國手語））和《計算機專業手語》等的編制運作過程可知，其達成目標的一般做法是召集一定數量的聾人，采取實驗誘導法獲得所需視頻。該方法雖有利于編寫工作的高效運行，但存在的潛在風險是，手語的采集過程主要依靠聾人的內省判斷，加之受試樣本容量大小不一，少數實例往往難以如實反映手語詞匯的真實性和復雜性。因此在建設過程中，應當注意到以下幾個問題：（1）從研究者來看，最好為手語語言學專業出身，或對手語有較長時間的接觸和學習。應當以科學的方法論思想指導視頻庫建設，切不可想當然；（2）從視頻的均衡性來看，應當注意性別、地域和詞域的平衡；（3）從建設主體來看，我國的手語視頻庫大多數為國家出資建立，應當在此基礎上發動各層面力量，提倡各個研究機構和大學建立自己的視頻庫。目前國外較為通行的做法是，如科研人員可根據研究需要建立私人視頻庫，在一定范圍內實現共享和交流[3]。

1 設計的意義

1.1手語語料庫的研究提供視頻數據支持

視頻庫是以電子計算機為載體承載的真實的實際使用并經過加工（分析和處理）的語言材料。其使用標志著語言方法論的重大轉變，可使語言研究者從傳統的直覺經驗方法轉向量化的統計方法，提高語言研究效率。通過視頻庫對手語詞匯進行分析，得出詞頻及詞的搭配等統計規律，還可以大大縮短詞典的編寫周期，使詞典的內容充分反映語言的實際使用情況。

1.2為手語教學提供視頻素材

手語視頻庫作為以計算機為工具建立、存儲和使用的手語語言素材集合，可供使用者檢索、分析和處理之用。對視頻庫中豐富的手語素材進行統計，得出手語的特征和規律，有助于扭轉以往教材大多依據聾人教師的直覺和教學經驗，缺少量化標準和科學依據的局面。視頻庫更可以直接為手語教材的編寫提供真實性和客觀性頗佳的各類素材，為手語課堂教學提供鮮活的案例。

1.3服務于國家語言規劃和語言政策的制定

我國政府長期以來致力于手語通用語的制定，但標準一直是各方爭論的焦點。這主要是由于中國手語中也存在方言，并且受到漢語的影響。因此在手語視頻庫建設的過程中，采取一種描寫的態度收集中國各個典型地區的自然手語方言，將所得視頻建成大型數據庫，比較、進而量化其中的差異，提取合理的通用語選定標準，則可有效避免語感帶來的偏差。

2手語視頻庫素材的搜集

計算機專業手語視頻庫中的“素材”是指在與計算機專業相關的手語詞匯調查活動中根據概率抽樣原則從調查對象的總體中抽取出來作為受試的那一部分人?！按硇浴笔侵高x取樣本所具有的特征可以說明總體特征。為保證視頻庫中的樣本具有足夠的代表性，在計算機專業手語詞匯《計算機專業手語》的選取應當遵循一定的標準[4]?！队嬎銠C專業手語》在選詞方面考慮到不同程度學習者的需要，以使用頻率和在專業教學中的重要程度作為選詞的依據，確定將計算機常用術語作為主要業教學中的重要程序作為選詞的依據，以兼顧職業技術學校和高等院校聾人計算機教學的需要。如“任務欄”，在某個軟件主界面中常常出現的詞匯，教師在講授常用軟件時使用頻率很高的一個詞，在《計算機專業手語》沒有這個詞，在計算機手語中，即需根據字或詞在計算機中的真實詞義重新設計手勢，這個詞的含義不同于平時接受上級命令而去執行的任務。本研究根據人們在使用計算機中的桌面時屏幕產生的變化，這樣設計手勢：（1）右手五指成“】”形，按向左肩上。（2）右手掌拍一下左肩，表示“任務”的意思。 雙手拇、食指分開少許，指尖朝前，從中間向兩側移動，表示“欄”的意思。類似的，還有“菜單”、“遞歸”等其它的詞匯。

3手語視頻攝錄系統的設計與開發

3.1 設計要求

手語視頻庫的建立主要是收集各個地區的計算機專業手語詞匯視頻，相對現有的中國手語教程相比，視頻能夠通過表情，手勢和運動軌跡多個方面來描述相應詞匯的手語打法。本系統從實用性、合理性、可靠性等方面提出如下要求：

（1）詞匯提示：在多媒體教室，聾人正對面約2米處應放置一個大小適合的顯示器（29寸），主要用于顯示詞匯或圖片等相關信息，作為聾人打手語的詞匯提示器。

（2）詞匯管理：整理詞匯，并做成Word或Excel。

（3）視頻管理：包括視頻錄制，以及視頻回放和重新錄制功能，另外對視頻編號手動命名，前四位由詞匯拼音首位字母，不足部分補0，視頻格式為avi，分辨率和幀頻可以自行設置。

3.2 系統設計與實現

3.2.1手語視頻攝錄

攝錄地點選定在機房和圖書館，環境布置采取如下形式：專用攝像機一臺，以及臺式計算機（帶雙顯示器）一臺。臺式機中的一個顯示器用作詞匯提示，擺放在手語模特的正前方約3米處，高度與肩平行。另一個則作為手語視頻攝錄系統的操作者攝錄使用。

3. 2. 2 軟件設計與開發

將錄制后的文件進行編輯，主要包括剪輯和編碼與文件導出。因此研究中運用軟件Premiere Pro CS6來執行相應操作。

3.2.2.1 剪輯和編碼

剪裁素材可以通過刪除幀的方式來改變素材長度，在“源素材”監視器面板的編輯過程中，用戶可以對素材的開始幀與結束幀進行定義：開始幀的位置可稱為“入點”，結束幀的位置則稱為“出點”。在自定義了素材的“入點”與“出點”后，“項目”面板中的素材長度會發生改變。另外，在“節目”監視器面板中也可以為素材設置“入點”與“出點”。

3.2.2.2 設置視頻導出方法

（1）視頻編解碼器

在該設置項的下拉列表中，可以選擇導出影片所使用的編解碼器。在一般情況下多是使用默認的編解碼器，因為在改變編解碼器時會影響到其他的參數，從而影響到導出文件的整體質量。

（2）基本視頻

品質。在默認的“視頻編解碼器”下并不需要設置這一選項，只是當切換至其他一些支持其功能的視頻編解器時才能對其進行設置，主要是實現對畫面質量的預定設置。品質參數越高，畫面越細膩、質感越強；品質越低，畫質也就越差。

幀速率：這是設置每秒鐘的視頻幀數。幀數越多，畫面連貫性越強；幀數越少，則畫面連貫性越差，甚至會出現定格現象。

場類型：一般情況下需要按照相關視頻硬件顯示奇偶場的順序進行設置。通常有兩種選項，即有場和無場：選擇無場，就是按正常視頻輸出；選擇有場是在畫面的幀與幀之間再自動添加一幀，如此可使畫面播放起來更顯流暢[5]，如圖 1所示。

4手語視頻基元的構建和設計

4. 1手語詞匯基元的視頻數據庫模型

手語詞匯基元庫的構建包括從計算機專業手語視頻源數據中提取手語詞匯基元和手語詞匯基元視頻數據庫模型的構建。手語詞匯基元是在視頻切分軟件的鋪助下，人工定義和截取的手語詞匯最小語義單元的視頻。手語詞匯基元視頻數據庫模型通過為手語詞匯基元標注手勢、體勢、韻律信息等來定義手語詞匯基元的語義，具體來說，視頻數據庫模型的美容包括手型、胳膊的形態、基本詞義和情緒等信息，具體如圖2所示，重點是手形和胳膊形態的定義和標記。

4.2 過渡基元的視頻數據庫模型

設計時，手語視頻中的圖像是按人體結構來分為手、胳膊、頭和軀干4部分。如上的所有不同的形態組成了過渡基元數據庫如圖3所示。其中，手和胳膊作為手語運動的主要部分，對理解手語內容和視覺影響有著非常重要的作用。因此，本文重點對其提出了不同的建庫和標記方法[6]。

5 結束語

手語視頻庫的設計是手語語言學研究成果的一項具體應用，文章對視頻的采集方法、轉寫以及標注進行了探討，可以為手語語料庫的設計提供視頻數據的支持。手語視頻庫建設具有長期性、復雜性和艱巨性，尤其是大型視頻庫的建設需要耗費大量的人力、物力以及財力。在建設過程中需要國內乃至國際學界的頻繁交流和通力合作，才能實現研究成果的不斷涌現和真正共享。

參考文獻：

[1] 中國聾人協會.中國手語[M].北京：華夏出版社，2003.

[2]中國殘疾人聯合會教育就業部.中國聾人協會.計算機專業手語[M].北京：華夏出版社， 2005：51-54

[3]李凱， 張書珍. 計算機專業詞匯手語手勢的表達設想[J]. 中國聽力語言康復科學雜志， 2004（3）：36-37.

[4]李蘭曉. 面向手語視頻拼接的過渡視頻庫構建方法研究[D]. 北京：北京工業大學。 2013.

[5]馬小龍，謝迪杰.Premiere Pro CS6 教程，北京：人民郵電出版社，XXX.

[6]王茹， 尹寶才，王立春，等.面向中國手語合成的視頻語義描述方法[J]. 北京工業大學學報，2012，38（5）：730-735..