手語識別和翻譯

摘要：為了使聾啞人與更多不懂手語的人自然地交流，本作品將手語翻譯成文字和語音，利用Microsoft Kinect記錄手語手勢的三維坐標，通過機器學習和優化算法，在Intel Atom平臺上實現了手語翻譯。

關鍵詞：手語；識別；手勢；英特爾；Kinect

DOI: 10.3969/j.issn.1005-5517.2012.9.019

簡介

手語是聾啞人士的主要溝通工具，它是利用手部和身體的動作來傳達意義。雖然手語幫助它的使用者之間互相溝通，但聾啞人士與一般人的溝通卻十分困難，這個溝通障礙是源于大部分人不懂得手語。

另一方面，聾啞小朋友由于很難表達自己，以及中國的聾啞教師數量有限，導致他們的學習出現困難，得不到和普通小朋友同等的學習機會。

為了解決這個問題，我們設計實現了一個從手語動作翻譯成文字和聲音的翻譯器，令學習手語更有趣、更方便、更容易，以達到這個項目縮少聾啞人士與其他人的溝通障礙的目的。

工作原理和算法

特征提取

深度圖像的分辨率是640x480，意味著每秒鐘的數據有17.6MB，存儲如此大量的數據是不可能的。同時許多沒有用處的數據(例如背景)都包含在原始數據中。因此我們必須從原始數據中提取出有用的信息。骨架是一種可以用來表示手語的有用信息。

我們利用Kinect和OpenNI提取用戶的骨架節點得到XYZ三點的坐標。我們一共提取了6個骨架節點，左手、左手肘、左肩、右手、右手肘、右肩。對于每一幀，我們從這些節點中計算出14個特征向量來表示這一幀的手語動作。經過標準化計算，我們用121幀來表示一個手語詞語，因此每一個詞語有1694個特征。

原始數據標準化

我們通過均勻分配和插值使原始數據標準化。通過二次插值法，利用最相近的三個原始數據計算出標準化的數據，使得每一個手語動作都統一用121幀來表示。

支持向量機

SVM(支持向量機)是統計學和計算機科學中的概念，簡而言之，給定一組已經分好類別的數據，而且分類依據是未知的，支持向量機訓練算法可以通過計算構建一個模型 ，一組新的數據到來時可以預測出新的數據屬于哪一個類別。

SVM的模型將所有數據映像到一個高維空間里，并計算出不同類別數據之間的最大化幾何邊緣區，然后把新的數據映射到同一個空間，根據之前計算出的最大化幾何邊緣區來預測新的數據屬于哪一個類別。

平臺限制與解決方法

平臺限制

使用Kinect的建議系統需求是CPU有雙核2.66 GHz或以上，內存有2GB或以上，但Intel提供的平臺只有分別1GHz CPU和1G 內存，明顯與系統需求有差異。

即使我們使用Linux操作系統，處理器使用率依舊滿載，并且幀率只有大約2到4左右，遠少于正常的30幀。在這種條件下，再加上處理器資源已被提取資源的線程占據，所以不可能在處理器里進行資料分析的工作。

瓶頸

為了找出瓶頸，我們首先關閉了圖像用戶接口。雖然處理器使用率降至85%，但幀率跟之前的一樣。我們觀察得到其中一個OpenNI控制的線程依然是占領了整個線程。只是由于所提供的平臺是雙線程的關系，使用率分別被定在50%及35%。

其后我們關掉骨架提取的功能，使用率大幅降低到只有25%。經過進一步性能分析的工作，我們證實了瓶頸的來源就是骨骼提取。不幸地，骨骼提取的算法并不是開源的，而是被PrimeSence所保護。所以我們并不能通過修改原代碼或是把算法放到 FPGA里以達致降低處理器使用率的效果。

解決方法

為了解決這個問題，我們嘗試選擇性地使用原始數據。原來數據傳遞方式是用戶產生器(User Generator)直接從深度圖像產生器(Depth Generator)得到原始數據。新的方法就是設立一個仿真深度圖像產生器(Mock Depth Generator)。它會仿真成原來的產生器，而用戶產生器則從它得到數據。

當Kinect得到新的數據，它會將數據傳給深度產生器，然后后者會發給仿真深度圖像產生器。而每隔一個幀，仿真深度圖像產生器會將得到的數據傳給用戶產生器。換言之，兩幀從Kinect上得到的數據，只有一幀會真正被用作提取骨架，而另一幀將會被忽略。

這個做法雖然令幀率降低到15，但處理器使用率卻降至只有50%。而且經過我們的驗證，幾乎沒有出現丟幀的情況，即使出現亦沒有影響到提取骨架節點的質素。經過這個特殊處理，我們確定在這平臺使用Kinect是可行的，甚至還可提取額外的處理器資源用以其他運算工作。

圖1 數據處理流程

設計和實現

概述

系統通過Kinect獲取深度影像，并使用應用程序OpenNI從深度影像中提取用戶的骨架。在獲取的骨架中，我們選取左右手、肘、肩六個關節點。總的來看，用戶完成了一個手語，通過Kinect和OpenNI，系統將記錄一系列的幀，每一幀由左右手、肘、肩六個關節點的三維空間向量組成。用戶每一次完成同一個手語都會有差別，所以我們在特征提取之前需要對記錄的幀進行常態化處理。我們使用支持向量機(SVM)對提取的特征向量進行分類。每一類表示一個手語。圖2描述了整個手語識別的流程。

手語獲取

雙手交叉握于腹部前方。這一動作我們稱之為“預備動作”，表示手語的開始和結束。為了避免潛在的識別錯誤，我們要求每相鄰的兩幀(0.13s)，用戶至少移動5厘米。如果用戶做預備動作超過100幀(6.67s)，系統將會停止獲取手語數據。

數據處理

正如我們之前提到的常態化處理，我們將獲取的一系列幀通過均分和插入的方法統一成121幀，即2178個三維空間向量。我們對常態化處理后的數據進行特征提取，產生1694個特征向量。最后我們將所有的特征向量放在一個矩陣里，用于SVM分類。

手語訓練和分類

LIBSVM是一個用于支持向量機的集成軟件，支持多類分類。用戶使用LIBSVM提供的庫，可以更容易地使用SVM。我們使用“svm-train”讀取輸入文件(Input File)，生成模型文件(Model file)。我們的輸入文件包含1694個特征向量。我們對每個手語單詞訓練20到30次。到目前為止，我們總共訓練了48個手語。我們可以通過訓練更多的手語擴展我們的數據庫。

使用“svm-predict”可以預測用戶所做的手語屬于哪一類。

圖2 識別流程