基于嵌入式智能手語翻譯手套設計

成都理工大學信息科學與技術學院 張 文 李松林 徐大杰

基于嵌入式智能手語翻譯手套設計

成都理工大學信息科學與技術學院 張 文 李松林 徐大杰

本系統設計一款能翻譯手語的便攜低功耗數據手套，旨在解決正常人與聾啞人的溝通障礙問題。數據手套能輸出用戶手勢的姿態角、手指彎曲度、以及手部的加速度等。本系統使用模板匹配的方式，比較用戶輸入手勢數據與模板庫中手勢的相似度，找出手勢庫中與輸入手勢差異最小的手勢。根據需要改進了加權的動態時間規劃算法，把手勢的加速度、姿態角度作為權值，與彎曲度數據有效融合，最終正確的識別出用戶的手勢。

數據手套；手勢翻譯；模板匹配；動態時間規劃

0 引言

第六次全國人口普查公布的數據顯示，全國各類殘疾人總數為8502萬人，其中聽力殘疾2054萬人，言語殘疾130萬人，分別在殘疾人總數的24.16%和1.53%。聾啞人只能通過手語進行相互交流，他們與正常人的交流存在極大的障礙。本系統設計了一款低功耗便攜式的智能手語翻譯手套，相比于上述的手勢捕獲技術，具有眾多優勢。該手套能精確的記錄手勢的空間數據，不存在手勢死區，并且智能手套處理的數據量小，算法相對簡單，識別速度快。

1 系統構架

本系統手勢識別分為3個部分，數據采集及預處理、數據段捕獲和識別手勢。數據采集通過彎曲度傳感器、MPU9250獲得；但由于外界環境等因素，數據會受到干擾，系統使用濾波達到較好效果。數據段捕獲主要是尋找手勢的起點和終點，其采用門限判定法來分割手勢。用戶做手勢時，手部的姿態、加速度、手指彎曲度有顯著變化，通過設定門限值，確定有效數據段。識別手勢主要采用加權動態時間規劃，計算與模板庫手勢歐式距離，當兩者總距離值最小，且小于設定的閾值時，則判定為同一手勢。

2 識別算法設計

2.1 數據采集和預處理

彎曲度傳感器采用模數轉換得到手指的彎曲度。轉換時，易受到電源波動和環境等影響，故在每次采集時，進行模數轉換5次，采用冒泡排序，舍棄最大和最小值，求平均，最后送滑動窗口濾波。MPU9250集成加速度計、地磁計和陀螺儀，通過特定的算法解算出加速度和歐拉角。對其進行數據歸一化到[0,1]，即：

2.2 數據段捕獲

人在做出手勢時，手指彎曲度、加速度、角度均有明顯的差異。通過差分法可對手勢的起止和終止做出判斷，從而捕獲到有效的手勢信息。即：

為排除系統偶然性，以連續多次采樣數據作為判決數據。當幾次數據均滿足起始條件，判斷手勢開始；同時滿足三個終止條件，判斷手勢結束；其他情況下，判斷為有效數據段。

2.3 識別核心算法

本部分使用動態時間規劃算法，尋找輸入與模板序列之間的最佳時間規正函數，使輸入與模板的距離最短。設模板手勢時間序列和輸入手勢時間序列。定義規整序列，規整點組。輸入手勢與模板手勢的相似度用歐式距離來評價，即：

構建一個的矩陣網格，每一個網格代表輸入與模板序列的歐拉距離值，用表示。且有：

為輸入與模板手勢的總歐拉距離值。越小，兩者越相似，反之，越不相似。

以上為傳統的動態時間規劃，匹配過程中，把每個路徑點同等看待。但實際過程中，每個采樣點重要性不同，且彎曲度、角度、加速度數據在識別的貢獻也不同。以彎曲度為主識別數據，角度、加速度為輔數據，以加權的方式突出不同采樣點在匹配中的影響大小，得歐式距離遞推式。

式中、為分別為加速度、角度在加權中的貢獻比重。

圖1 加權DTW算法流程

3 調試結果

在文獻[4]中選出198個常用孤立手語詞手勢，選擇3名健康的受試者，對所有選取手勢采集5遍，得到15個樣本集，從中選取1組作為標準模板手勢集，另外均作為測試手勢樣本集。分別使用加權DTW和傳統DTW做匹配，結果如圖2、3所示。

圖2 未加權DTW路徑匹配

圖3 加權DTW路徑匹配

通過加速度、角度加權，把不同手勢的特征差異放大，讓手勢匹配路徑更優，總歐式距離值更小，從而減少匹配過程中手勢的誤識和拒識率。在實驗中，不同權重的加速度、角度組合，對手勢匹配等錯誤率EER有很大影響。由于，試驗時，從0起始，以0.05步進，到1結束，得出與等錯誤率ERR的關系。使用最佳參數點，，對上述三名手語受試者測試，得出手勢的平均識別率88.1%和平均識別時間125ms。

4 結論

本系統設計了一款便攜低功耗智能翻譯手套，將手語數據經改進的動態時間算法識別，最終翻譯成文本信息輸出。實驗得出，對于不同手勢，該數據手套平均識別率為88.1%，平均識別時間為125ms。該系統對常見手勢的識別率高，識別速度快，并且結構簡單、便于攜帶、功耗低，可廣泛運用于聾啞人與正常人的交流中，具有很好的前景和應用市場。

[1]趙燕潮．中國殘聯發布我國最新殘疾人口數據[J]．殘疾人研究,2012．

[2]李航．統計學習方法[M]．北京:清華大學出版社,2012．

[3]夏斐．基于動態規劃和DTW匹配的時間序列索引方法研究[D]．大連理工大學,2015．

[4]GB/T 24435-2009．中國手語基本手勢[S]．2009．