基于Kinect的手語識別及播放器設計

陳德寧 馬銳軍 張俊源 王曉軍 董澤炯 龔立威 袁國樞

摘?要：手語作為聾啞人與外界交流的重要方式之一，然而，普通人對于手語的不懂造成了聾啞人與外界溝通的困難。基于此本文提出了一種基于人體索引數據的手勢提取方法，首先通過Kinect獲取人體索引數據和骨骼信息，精確定位到手部并利用皮膚閾值提取出手部;再利用HOG特征提取手部信息，應用多分類支持向量機對手語進行分類和識別;最后設計一種基于STM32的手戴式手語播放器，對聾啞人的手語進行實時語音播放，便于聾啞人與普通人的交流。

關鍵詞：Kinect;手勢分割;HOG特征;手戴式手語播放器

中圖分類號：TP274.2文獻標識碼：A

1 緒論

隨著社會的進步，聾啞人群體越來越得到關注，手語作為他們的一種信息交流方式，越來越得到人們的重視。早期的主要手語方法通過數據手套獲取手的姿態并解析姿態識別手語[1]。隨著2010年微軟推出Kinect傳感器，它能獲取人體骨骼關節信息，圖像深度信息等[2-3]，促進了人們對基于視覺的手語識別研究。然而，當前手語識別系統對環境信息的魯棒性能力較差。為解決該問題，本文提出了一種基于Kinect的手語識別系統。首先，Kinect傳感器模塊采集多模態的手語圖像;然后，利用骨骼跟蹤算法、皮膚閾值算法將手部信息從復雜的環境分割出來，并采用HOG特征提取手部圖像信息和SVM分類器進行特征分類，可大大提高手語識別系統對環境響應的魯棒性。

2 手部圖像獲取與處理

具體過程：用Kinect2.0傳感器獲取人體索引數據，通過人體索引數據信息將人體從復雜的環境中過濾出來。其次，用骨骼定位信息獲取到人體的手部位置，將手部從圖像中分割出來。接著，用基于YCbCr的皮膚閾值將手掌部分提取出來和過濾掉邊緣噪點。最后，用形象學修復手部邊緣。

3 訓練處理

3.1 HOG特征提取

HOG特征是由Navneet Dalal和Bill Triggs于2005年首次提出[4]。HOG的工作原理是創建圖像中梯度方向分布的柱狀圖，然后以一種特殊的方式對其進行歸一化。能夠在對比度很低的情況下，準確有效的檢測物體的邊緣。

HOG特征具體過程如下：

（1）因為RGB采集的圖像容易受環境的影響，為了減低光照、光照不均勻等因素，通常需要對RGB圖像進行灰度化和Gamma校正處理。

（2）提取圖片大小為64*64，本實驗把每個cells的大小設為8*8，blocks的大小為16*16，win窗口大小為32*32，所以一個block里面包含了4個cells，win包含4個block，步長為8。

3.2 SVM分類訓練

模板采集通過本項目五位成員從不同角度不同距離采集手部圖像，一共采集五種手勢，每個手勢每位成員采集1000張圖像，即每個手勢有5000張訓練模板。

提取每一張訓練模板圖像的HOG特征作為SVM訓練器的輸入，應用多分類SVM訓練器進行特征線性分割，最終得到分類特征模型。

4 系統結構及設計

本文設計一款可戴式手語播放器。其以STM32f407為控制芯片，運行freeRTOS嵌入式操作系統，控制OLED、藍牙、喇叭等外設。能在OLED上顯示日常時間和設備狀態，能將手語識別出來的結果通過喇叭播放，極大方便聾啞人群體通過Kinect與普通人交流。此外，此款播放器與電腦之間通過藍牙無線通信，方便快捷，只要將一個藍牙USB接口插入電腦，可戴式手語播放器將會自動連接。

5 系統功能測試實驗

本文是以Visual Studio 2019、opencv3.4、基于window的C++語言進行開發和功能測試。本實驗通過把手語識別結果輸出在界面上，同時將結果通過本文設計的播放器進行實時播放。

手語識別正確率通過能否在1s內作出識別作為判斷標準，如果識別的結果跟上一次的識別結果一樣將不再進行語音播報，這樣做的好處是判斷同一個手語進行識別時，如果存在錯誤識別，能通過語音進行判斷。

6 總結

本文利用Kinect傳感器的人體索引數據從復雜的環境分離出人體，用骨骼信息精確定位到手部，并用YCbCr膚色模型進行皮膚分割。其次利用HOG特征提取手部特征和SVM進行分類訓練。同時設計一種手戴式播放器，使聾啞人群體與普通人交流時便于溝通。

參考文獻：

[1]翁漢良，戰蔭偉.基于視覺的多特征手勢識別[J].計算機工程與科學，2012，34（2）：123-127.

[2]千承輝，邵晶雅，夏濤.基于Kinect的手語識別方法[J].傳感器與微系統，2019，38（06）：31-34+38.

[3]鮑志強，呂辰剛.基于Kinect的實時手勢識別[J].激光與光電子學進展，2018，55（03）：231-236.

[4]劉小建，張元.基于多特征提取和SVM分類的手勢識別[J].計算機工程與設計，2017，38（04）：953-958.

基金項目：2017年省級大學生創新創業訓練項目（201710588024）;廣州市工業機器人智能驅控技術及部件重點實驗室項目（201805010001）;廣東省科技計劃項目（2016B090927009;2016B090927002）

作者簡介：陳德寧（1997-），男，廣東湛江人，本科，專業方向為自動化;張俊源（1997-），男，廣東開平人，本科，專業方向為建筑電氣與智能化;王曉軍（1965-），男，江西安福人，碩士研究生，教授，研究方向為機械一體化控制;董澤炯（1999-），男，廣東汕頭人，本科，專業方向為自動化;龔立威（1999-），男，廣東陸豐人，本科，專業方向自動化（師范）;袁國樞（1999-），男，廣東河源人，本科，專業方向為電氣工程及其自動化。

*通訊作者：馬銳軍（1991-），男，廣東揭陽人，博士研究生，實驗師，研究方向為嵌入式系統設計、無線通信和計算機控制。