聾啞學校語文輔助教學系統研究

依沙·吾阿提別克，阿里甫·庫爾班，郝子煜，周 雷，呂情深

新疆大學 軟件學院，烏魯木齊830046

1 引言

聾啞人通過手語[1-2]表達思想、獲取知識、與其他人交流，因此手語成為聾啞人學習、生活中必不可少的工具。學習語文課時，聾人和老師都遇到前所未有的困難,聾人學習困難，老師教學更困難[3-4]。老師用手語將課文表達出來，會耗費大量體力、精力。盧葦在文獻[5]中闡述多媒體技術在手語教學中應用的優勢，提出包含視頻、音頻、動畫、圖像的多媒體技術擁有包含超強的綜合能力的論點，進一步指出傳統手語與多媒體教學的最佳結合點，從而提高教學效率和質量。這啟發人們開發一套手語輔助教學系統來初步解決手語教學過程中老師和學習共同面對的問題。

2 系統架構與實現流程

2.1 系統框架

面向語文學習的手語教學系統主要是處理文本數據，將文本數據轉化成可以發送給動畫模塊的手語序列編碼，編碼順序可以根據文法手語的語法進行調整，從而達到最終翻譯出來的手語滿足文法手語的句子特性。圖1為手語教學系統架構，整個系統框架分為手語文本分析處理模塊和手語動畫合成播放模塊。兩個模塊之間采用Socket技術連接，將處理好的文本編碼結果通過Socket 機制發送給動畫合成播放模塊。手語文本分析處理模塊包含課文讀取、課文文本分詞、手語編輯調整語序、手語轉碼等功能。課文內容翻譯成手語，體現在文本分詞、手語編輯等功能的恰當應用上。老師課堂上講語文，使用手語編輯功能將課文內容翻譯成文法手語或者自然手語，最終使文本轉化成動畫序列并播放出來，提高講課效率。

圖1 手語教學系統架構

2.2 實現流程

聾校語文教學系統以課文內容為中心，圍繞文本數據進行，根據標點符號實現初步分句，對每個句子分別做手語翻譯及編輯，實現流程圖如圖2所示。對每個句子進行分詞，形成初步的分詞序列，找出直接可以用手語詞表示的詞語，存入待發送給動畫模塊的列表；不能直接用手語詞表示的詞語，如果是分詞錯誤，可以使用系統的編輯功能進行重新人工手動分詞；找不到對應的手語詞表示，原因如果不是分詞錯誤，可以使用手語近義詞表示，若找不到手語近義詞，則按照漢語拼音用對應的手語表示，并存入待發送列表。最終將待發送列表里面的手語序列轉化成對應的手語動畫編號，通過模塊之間的Socket連接發送給動畫模塊。最終，文本處理結果經過動畫模塊轉化成可視化的手語動畫序列，從而達到課文文本內容轉化成手語動畫的目的。系統總體流程如圖2所示。

圖2 系統流程圖

3 關鍵技術

3.1 分詞實現

結巴分詞（JieBa）[6]具有快速、簡單、運行速度快、占有的內存小、分詞效率高等特點，被廣泛應用于各種中文自然語言處理任務中。

結巴分詞原理如圖3所示，基于前綴詞典對文本進行詞圖掃描，得到句子中所有可能的成詞情況構成的有向無環圖（Directed Acylic Graph，DAG）；采用動態規劃算法查找最大概率路徑，即最大切分情況；對于未在詞典里出現的詞語用具有漢語構詞能力的HMM（Hidden Markov Model）方法處理[7]。

圖3 結巴分詞原理

本文使用結巴分詞對文本進行分詞，但是由于手語詞匯數量少（5 000 多個），無法準確地表達自然中文中的所有的詞語。同時結巴分詞對前綴詞典的依賴性較大，對手語詞典進行基于外部知識庫的擴充，從而提高分詞的準確率和效果。因此，為了滿足根據手語詞語對課文句子進行分詞的要求，對結巴分詞進行改進。改進方面主要是擴充前綴詞典[8]。在外部知識庫的文本擴展中，一般有基于同義詞詞林或知網等的特征擴展方法[9]。采用同義詞詞林進行擴展手語詞典，擴充方法如下：選擇哈工大《同義詞詞林》的同義詞項，找出包含手語詞的項，把它們全部加入到新的詞典中，作為結巴分詞算法的前綴詞典。例如選擇《同義詞詞林》中的某一項。

例子Aa01A01=人士人物人士人氏人選。編號表示同義詞所在的分類，等號表示在某一個上下文語義下，后面的每個詞語是等價的，即同義詞。手語詞典中存在“人”這個詞語，因此當文本中遇到“士”“人物”“人士”“人氏”等就可以進行單獨分詞，翻譯過程中用手語詞“人”的動畫來替換它們。

擴充手語詞典之前，手語詞語只有5 000多個，當所有能表示手語的近義詞加到新的詞典以后，得到的代表手語語義的詞語有148 656個。不論是手語分詞的準確率還是翻譯的質量，擴充后的詞典表現更好。

3.2 文法手語編輯

手語分詞完成之后，進行手語編輯、轉碼等操作。由于手語構詞構形、語法和正常的漢語句子有很大的區別，這要求系統有編輯手語的功能。老師備課的時候可以對手語句子進行語序調整，使其滿足手語語法。手語編輯區域主要有上移、下移、添加、刪除詞語等功能。實現原理是將分詞好的詞語序列放在一個鏈表中，上下移動手語詞語，調整語序；對不滿足手語詞語構詞構形、分詞錯誤等詞語進行刪除，向句子中添加其準確的手語詞語，如果手語詞語不存在，則可以用近義詞表示。最終按“結束”按鈕生成對應的文法手語序列。

手語轉碼是指將文法手語序列轉化成能夠發送給動畫模塊的編碼序列。其關鍵是制作一個手語文本詞典，即手語轉碼表，如表1 所示。每個手語對應一個編碼（ID），每個編碼對應相應的手語動畫。通過匹配手語詞語能夠查到其對應的編碼，再通過這個編碼播放對應的手語動畫。文法手語序列是手語詞語序列，為了播放該序列對應的手語動畫，只要將編碼發送給動畫模塊，調動對應的動畫播放即可。

表1 手語轉碼表

3.3 手語動畫合成

使用Maya對人體進行建模。首先創建虛擬人的骨骼，需要完整的手部骨骼模型。之后給骨骼系統添加蒙皮，如頭發、臉部、上衣和褲子等。為了實現動畫合成播放，使用關鍵幀原理[10]制作手語動畫；使用Unity3D動畫引擎開發手語動畫模塊，將Maya 做出來的虛擬人模型導入Unity中，根據關鍵幀動畫原理實現單個動畫播放，使用線性插值算法實現動畫之間的過渡融合。圖4 為虛擬人骨骼，圖5為虛擬人的關鍵幀。

圖4 帶骨骼的虛擬人和手部骨骼

圖5 表示“烏魯木齊”的動畫的關節幀

關鍵幀動畫[11-12]通過設置物體的關鍵幀位置與屬性，中間幀的生成均可由計算機來完成。因此在多種計算機動畫技術中，關鍵幀動畫以其便捷、智能的特點成為計算機動畫中最基本、運用最廣泛的方法[13]。本研究中采用關鍵幀技術完成手語動畫的制作。給定兩個關鍵幀，通過線性差值算法（Linear Interpolation，LERP）[14]求得其骨骼中間姿勢。可表示如下：

其中，β 為混合百分或混合因子，表示兩個動畫之間融合的時間比例。當β 處于0～1 之間，得最終兩個骨骼中間姿勢。當β 為0 時，最終得到的是關鍵幀。當β 為1 時，最終得到的是關鍵幀

3.4 手語動畫融合過渡

為了達到手語動畫之間觀賞性連貫、自然的效果，需要使用插值算法來處理動畫序列。在Unity3D 游戲引擎中定義一個PlayAnimation（）的協程[15]函數用于在Unity主線程中播放動畫。其核心代碼如下：

IEnumerator PlayAnimation（）{

int Count =NLPresult.ToArray（）.Length;

for（int i=0;i

float time =

this.GetCurrentAnimatorClipInfo（0）[0].clip.length;

this.CrossFade（NLPresult[i].ToString（），time*0.2f）;

yield return newWaitForSeconds（time）;

}

}

圖6 編輯系統界面

首先定義一個整型變量Count 存放要播放的手語動畫數量。對該常量其中的每一個動畫，得到單個動畫合成播放時間time。調用Unity 游戲引擎系統提供的CrossFade（）[16]函數依次播放動畫，兩個動畫之間采用線性插值函數[14]來進行動畫過渡融合，動畫連接時間為第一個動畫的播放時間的0.2倍，即β=0.2。最后，讓協程等待時間time，并渲染播放手語動畫，目的是不影響主線程渲染整個引擎。

3.5 手語動畫庫建立

為了得到一個完整的手語動畫庫，顏慶聰等人[17]采用數據手套來采集手語運動軌跡信息。由于數據手套存在價格昂貴、操作復雜等缺點，此方法不能用于輔助教學系統中。因此根據問題的需要，采用先進的動畫制作軟件Maya 來進行動畫制作。首先使用Maya 創建完整的人體骨骼，其中包含完整的手部的骨骼。之后，在此骨骼系統基礎上添加蒙皮，如臉部、頭發、皮膚、衣服等，形成完整的不帶動畫的fbx文件。最后，給fbx文件添加動畫曲線，根據手語動畫，主觀推測關鍵幀在手語動畫過程中的位置，并且給動畫曲線挨個添加關鍵幀。

由于fbx 文件里包含了完整的骨骼和蒙皮信息，使用fbx 會導致動畫庫過于龐大，不便于使用。因此需要把動畫從fbx 文件里分離出來。將fbx 導入Unity 游戲引擎中，Unity 引擎能夠識別出是否含有動畫。如果有動畫就能夠使用Unity引擎的動畫分離功能批量分離出單獨的動畫文件，即動畫庫中的最小元素anim 文件。anim 文件只包含骨骼運動的信息，相比于帶蒙皮信息的fbx文件，anim文件具有占用空間小、操作性強、易用性等特點。同時anim 動畫能夠很好地導入Unity3D 引擎中，以便用于動畫合成、動畫播放及動畫過渡融合等操作。

4 實驗結果與分析

開發環境為：Visual Studio 2017版本，Unity 2018.1.2f1（64-bit）。使用微軟提供的基于C#語言的用戶界面框架WPF（Windows Presentation Foundation）開發課文處理模塊，選擇C#語言實現課文分句、分詞、手語編輯、新詞添加、近義詞表示等功能；使用服務器/客戶端模式（B/C）實現課文處理模塊和動畫模塊之間的通信交互，目的是為了將待發送列表里的手語編號序列發送給動畫模塊。

系統編輯界面由課文分句、虛擬人、手語編輯、文法手語顯示等功能模塊組成，如圖6所示。課文分句功能負責將輸入進來的文本進行分句，以便以句子為單位進行手語翻譯教學。虛擬人由Unity3D游戲引擎開發，嵌入到桌面應用中，負責手語動畫的播放顯示。由于面向聾啞學生的語文教學對手語翻譯準確率要求很高，手語編輯提供對課文句子編輯的功能，使翻譯準確率得到全面提升。

以聾啞學校第十冊第一篇課文的第一句話為例進行實驗，并給出對應系統使用分析。例如：“清晨，天氣格外晴朗，溫暖的陽光灑滿山村”，首先對這句話采用改進的結巴分詞算法進行分詞，得到圖7中的結果。

圖7 文法手語的例子

該句子中，分詞后得到9 個詞語，其中只有3 個（藍色背景）詞語能夠直接被手語表示，顯然這無法滿足教學要求，無法做到文本翻譯成手語。因此需要通過編輯功能，使用近義詞或者重新分詞等人工干預操作，將例子中的每個詞語直接用手語表示。

圖8 左圖中，詞語“清晨”“格外”“晴朗”“陽光”“灑滿”“山村”都不能直接用手語表示。可以采用編輯功能將它們用近義詞等表示成手語詞語，如圖8右圖。此方法能夠準確傳遞文本中的句子信息，又能讓聾啞學生學習更多的詞語意思。

圖8 編輯功能（左）及編輯后的句子（右）

對比顏慶聰等人設計的成型系統[17]，本系統有設計簡單、手語數據采集簡便、跨平臺性、手語翻譯結果準確等優點。首先，本文使用Maya 等專業建模軟件制作動畫，基于關鍵幀算法合成手語動畫，反觀顏慶聰等人使用Glove數據手套采集手部運動軌跡的數據，此方法具有不好精確控制手部運動軌跡、做出的手語動畫不準確等缺點。其次，本文使用Unity3D動畫引擎來渲染手語動畫，Unity3D 引擎具有跨平臺性，可以在蘋果、安卓、Linux 等系統中運行，相對于顏慶聰等人的系統更具有廣泛使用的優點。最后，此系統包含手語編輯等功能，對于文本具有詞語級別的精細控制，翻譯結果更準確。

5 結論

手語教學作為一種特殊教學方式，需要多方面合作。開發一種手語教學系統能夠減輕老師備課、上課的壓力，也給聾啞學生提供一個自主學習的工具，開拓他們的視野，同時為聽人提供一種學習手語途徑，起到促進聽人和聾啞人交流的作用。但這在手語教學推廣過程中遠遠是不夠的。手語教學需要多方合作，如家長、老師等都要參與到聾啞學生的學習、教育、生活中。