基于體感和3D虛擬仿真技術的靜態手語—口語互譯軟件設計與實現

吳金波 帖軍 鄭祿

摘要：基于當今社會對手語翻譯的迫切需求，系統分析了手語翻譯、口語翻譯、練習系統、自定義手語、娛樂模塊五大功能模塊。基于體感和3D虛擬仿真技術，設計并實現了靜態手語-口語互譯軟件系統。從指尖坐標獲取、語音識別、口語翻譯、練習系統、體感游戲、自定義手語六大方面詳細介紹了其技術路線與實現過程。

關鍵詞關鍵詞：體感技術；手語翻譯；Kinect；Unity3D

DOIDOI：10.11907/rjdk.161417

中圖分類號：TP319文獻標識碼：A文章編號文章編號：16727800（2016）007006702

0引言

據調查，目前全世界有3.6億的聽力障礙人士，其中有近2 100萬來自中國，手語是聽力障礙人士實現溝通的主要語言，然而由于大部分人不懂手語，使得聾啞人士和普通人之間的交流十分困難。而通過人工進行手語和口語實時互譯，來解決大多數人的溝通問題又極不現實。隨著計算機科學技術的飛速發展，以體感和虛擬現實為代表的各種新興技術的出現，使得通過技術的創新、融合以更加低廉的成本和更高的效率滿足日益增長的需求成為可能。將體感和3D虛擬仿真技術相結合，并運用于靜態手語和口語互譯實現中，不僅極大提高了效率，同時也為當前手語翻譯研究提供了一個新的切入點。

1功能分析

手語翻譯： 用戶只需要在Kinect前面做出相應的手語動作，系統便能自動捕捉，通過分析并處理深度圖像數據，將其翻譯并以文字的方式展現出來[1]。

口語翻譯： 系統提供了兩種方式，分別是文本輸入方式和語音輸入方式。用戶可以選擇使用文字或是語音的方式向系統傳遞需要翻譯的信息，單擊“翻譯”按鈕后，3D虛擬人物就會將其自動轉化為手語展示給用戶，相當方便。

練習系統： 用戶通過觀看3D虛擬人物所做的手語動作來分辨出其對應的手語意思，并點擊系統顯示在界面上多個漢語意思中自己認為正確的一個，然后系統會對用戶的分辨結果作出判斷，通過直觀簡潔的流程讓用戶更好地學習手語。

自定義手語：自定義手語功能目前只支持自定義一種手語（再見時的擺手動作），該功能是預留給下一版作為擴充之用。

娛樂模塊： 主要以體感游戲的方式呈現給用戶，用戶通過簡單的手勢來控制游戲主角，從而融入游戲[2]。

2系統設計

本系統以Unity3D為開發平臺，使用CCT.NUI開源體感識別庫、OpenNI/NITE組合開發包和KinectWrapperPackage中間件的接口進行開發。系統整體架構如圖1所示。

2.1OpenNI簡介

OpenNI（開放式的自然交互）是一個非營利組織，該組織專注于提高和改善自然交互設備，應用軟件的互操作能力，通過使用這些硬件和中間件來很方便地訪問和使用一些設備。

OpenNI的API允許開發人員直接基于最原始的數據格式編寫中間件上層算法，而不管這些數據是由哪個傳感器設備產生。OpenNI的這種機制給了傳感器制造商一個充分的自由空間去制造自己的傳感器而不用考慮上層OpenNI兼容的應用程序。

OpenNI API使得自然交互應用開發人員通過傳感器輸出的標準化數據類型來處理真實的三維數據，這些標準化的數據類型可以表示人體全身、手的位置，或者僅僅是一個含有深度信息的像素圖等。

2.2系統模塊組成

本系統主要包括靜態手語識別、口語識別、練習系統、娛樂模塊、自定義手語庫共5個模塊。

（1） 靜態手語識別。靜態手語識別是本系統最核心的模塊之一，用戶只需要在Kinect可識別范圍內做出相應手語動作，系統通過分析處理從Kinect獲取的深度和骨骼數據，將其翻譯成漢語，以文字的形式顯示在屏幕上，簡單直觀[3]。

（2） 口語識別。口語識別模塊提供了兩種方式以方便用戶向系統傳遞需要翻譯的信息，分別是文本框輸入、語音識別輸入。①文本框輸入：用戶直接在輸入框輸入需要翻譯的內容，單擊“翻譯”按鈕，系統的3D虛擬人物便將此內容以手語的形式展示出來；②語音識別輸入：用戶只需開啟語音識別，然后在Kinect可識別的范圍內直接說出想要翻譯的內容，Kinect識別出信息后便會顯示在文本框內，用戶確認內容無誤后，單擊“翻譯”按鈕，3D虛擬人物便會將其翻譯[4]。

（3） 練習系統。用戶點擊“開始”后，系統會按照一定順序選擇一則手語的動畫并播放出來。用戶可以根據動畫判斷相應的手語意思并選擇，系統會作出判斷。該系統簡單易用，適合大多數人的日常學習。

（4） 娛樂模塊。主要以體感游戲的方式呈現，用戶通過簡單的手勢來控制游戲主角。

（5） 自定義手語。用戶在自定義手語頁面只需單擊錄制按鈕，手勢錄制進程即被啟動，視頻錄制完畢后，通過算法處理加入到程序中，關閉錄制進程并在自定義手語庫頁面的文本框內填寫對應的文字意思，然后單擊“提交”按鈕，自定義的手語便自動保存。

3技術路線與實現

3.1指尖坐標獲取

在手勢識別模塊中，最關鍵的部分就是對于手指指尖坐標的獲取。Kinect本身無法直接識別出手指，而開源庫體感識別庫CCT.NUI實現了Kinect對手指指尖坐標的捕捉，同時兼容OpenNI/NITE以及Kinect SDK兩種驅動及其開發包。可以通過CCT.NUI的接口，很方便地獲取到指尖坐標，進而對坐標進行處理，通過有限自動機轉化成相應手語。手語識別過程如圖2所示。

3.2語音識別

利用Kinect對特定命令識別（recognition of command）的功能，將Kinect SDK中的Microsoft.Speech.dll作進一步封裝，將原本只能識別英文的DLL封裝成可以識別中文的DLL，從而達到識別中文語音的目的。再利用進程間的通信，把通過Kinect識別的語音傳到主進程中，從而實現Kinect與Unity3D的交互。

3.3口語翻譯

當系統獲取到需要翻譯的信息后，需要讓3D虛擬人物將其以手語的方式展示出來。此過程是首先將能夠識別的手語制作成一個個3D動畫，然后分別導入到Unity3D中，利用Unity3D的動畫系統，將其循環播放。至于手語動畫的選擇，則由輸入系統所需要翻譯的信息決定，從需要翻譯的信息到手語的轉化過程同樣是借助有限狀態機實現。口語翻譯流程如圖3所示。

3.4練習系統

練習系統主要分為兩個部分：手語展示部分和用戶選擇結果判定的決策部分。通過將每一則手語和特定的漢語意思進行關聯，當系統以一定的順序播放手語動畫時，用戶可以同步進行語意判定，系統的判定決策系統由狀態機實現。

3.5體感游戲

基于Unity3D的體感游戲也是本項目的一個技術難點。Kinect與Unity3D本身并不能直接進行數據交互，如果自己去寫中間件將花費大量時間，將大量時間花在系統的非核心部分是得不償失的，因此采用現有的中間件便成為了最佳選擇。本軟件中采用的是卡內基梅隆大學的KinectWrapperPackage插件，只需將此插件包導入到Unity3D里便可使用插件包提供的接口，方便地獲取到Kinect的數據，再通過獲取到的骨骼數據進行處理，識別出相應手勢，再將其轉化為控制游戲角色的指令，就能實現體感控制。體感控制實現流程如圖4所示。