基于改進CNN與SVM的手勢識別研究

孟彩茹 宋京 孫明揚

摘? 要： 手勢識別在人機交互中起著重要的作用，然而手勢形態和背景的復雜多樣性給手勢識別過程帶來難題。為了降低特征提取的難度和提高識別準確率，設計一種改進卷積神經網絡（CNN）和支持向量機（SVM）模型來對手勢進行識別。該模型首先對手勢圖像分割處理和數據增強處理，然后用Inception模塊改進后的CNN完成對手勢特征的提取，最后通過SVM對不同手勢分類識別。實驗結果表明，該模型在自建手勢數據集下平均識別率為98.13%，在MNIST數據集下平均識別率為98.95%，同一數據集下較傳統模型識別率均有提高。

關鍵詞： 手勢識別; CNN; SVM; 特征提取; 圖像分割; 數據增強

中圖分類號： TN915?34; TP183? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）22?0128?04

Abstract： Gesture recognition plays an important role in human?computer interaction. However， the complex diversity of gesture shape and background brings difficulties to the process of gesture recognition. In order to reduce the difficulty of feature extraction and improve the recognition accuracy， an improved convolution neural network （CNN） and support vector machine （SVM） model is designed to recognize gestures. In this model， the gesture image segmentation and data enhancement are performed， the CNN improved by the Inception module is used to complete the gesture features extraction， and different gestures are classified and recognized by SVM. The experimental results show that the average recognition rate of the model is 98.13% under the self?built gesture dataset and is 98.95% under the MNIST dataset， which are all higher than those of the traditional model under the same dataset.

Keywords： gesture recognition; CNN; SVM; feature extraction; picture segmentation; data enhancement

0? 引? 言

手勢識別是計算機視覺領域中一個具有挑戰性的問題，多年來一直是人們研究的熱點[1]。在手勢識別領域，研究人員使用了許多不同的算法，取得了許多成果。M Rossi等結合兩種不同結構分類器來對手勢進行識別，人工先提取圖像特征，用隱馬爾可夫（HMM）模型來區分數據，后用SVM對手勢肌電信號進行識別[2]。田園等利用Kinect的深度攝像頭去獲取手部深度信息，記錄特征點坐標，確定手指尖位置，然后用特征點匹配的方法識別手勢[3]。這些方法需要人工設計提取手勢特征，這不僅是一項繁瑣費時的工作，而且還會因為提取精度低導致識別準確率不高。近些年來，深度學習在人工智能領域取得很大進步。許悅雷等先利用主成分分析算法（PCA）的降維處理技術優化CNN的權值，再用優化后的CNN對手勢識別[4]。石雨鑫等結合CNN與隨機森林（RF）兩種算法進行手勢識別，先對手勢進行分割處理，接著利用CNN進行特征提取，最后由隨機森林分類器完成手勢識別[5]。謝崢桂先對手勢圖像進行手勢分割預處理，然后再用CNN進行特征提取和識別[6]。

目前手勢識別仍然具有廣泛的實際應用和現實意義，如識別手語促進與聾啞人的交流、加強控制智能機器人使用戶更加自然、輔助汽車駕駛提高安全度等。手勢識別需要一個識別率高且泛化能力強的模型，為此本文設計了一種改進CNN?SVM模型用于手勢識別，該模型首先對手勢圖像進行手勢分割處理和數據增強處理，然后用加入Inception模塊改進后的CNN完成對手勢特征的提取，最后通過SVM分類識別。對手勢進行預處理，減少模型參數，降低了算法復雜度;加入Inception模塊提高了對圖像尺度的適應性;利用SVM分類提高了模型泛化能力和準確率。為驗證模型性能，在兩種數據集下進行了測試。實驗結果表明，本文設計的模型較傳統模型泛化能力更強，分類更準確，識別率均達到98%以上。

1? 手勢圖像的預處理

1.1? 手勢分割處理

為了降低手勢圖像的復雜多樣性對手勢特征提取和訓練過程中的影響，提高特征提取和識別的可靠性，需要先對手勢圖像進行分割處理。手勢分割的方法有很多，常見的有膚色分割法、輪廓分割法、SS?ROI分割法等。觀察手勢圖像，很容易看出手部膚色是區別于其他物體的首要特征，本文選用膚色分割法對手勢圖像做分割處理。首先是顏色空間的選取，因為手部膚色在不一樣顏色空間中有著不一樣的區域分布，顏色空間有很多種，常用的有RGB 顏色空間、HSV 顏色空間和 YCrCb 顏色空間等。因為在YCrCb顏色空間中，膚色基本上不受亮度的影響，膚色點多數都落在Cr，Cb分量上，即在膚色分割過程中有不錯的效果和穩定性[7]。所以本文選擇 YCrCb 空間對手勢圖像分割，手勢圖像映射到 YCrCb 空間所用關系式如下：

1.2? 數據集增強處理

為了訓練更加有效的深度學習模型，提高模型對新圖片的適應能力。考慮到手勢識別過程中實際情況的復雜性，如光照強度、手勢的方向、噪聲數據等影響，本文還對手勢圖片做了數據增強處理，包括對圖片的隨機上下翻轉、隨機左右翻轉、隨機裁剪、隨機設置圖片的亮度、隨機添加噪聲擾動。

2? 改進的CNN與SVM混合模型

2.1? 傳統CNN結構

卷積神經網絡于1998年由Yann Lecun提出，該算法擅長處理識別各種圖像[9]。卷積神經網絡是一種具有深度監督學習結構的多層神經網絡結構，可以看作是由兩部分組成：自動特征提取器和可訓練分類器。特征提取器包含特征映射層：卷積層、池化層以及全連接層。在本文中，卷積層從原始圖像中提取基本手勢特征;池化層再進一步提取手勢的主要特征;在全連接層中匯總可以區別手勢的各個部分特征;最后由分類器進行手勢的預測識別。卷積神經網絡結構如圖2所示。

2.2? 傳統CNN的改進

2.2.1? Inception模塊

為了降低網絡復雜度，提高識別準確率和網絡模型對尺度的適應性。本文添加Inception 模塊來限制輸入信道的數量，這樣在同一層級網絡上可運行多個尺寸的濾波器，即讓網絡層級變得更寬而不是更深。Inception模塊最開始出現于谷歌團隊提出的GoogLeNet[10]網絡中，它利用3個不同大小的濾波器（1×1，3×3，5×5）對上層進行卷積操作，并且其還可以執行最大池化。最后全部子層的輸出連接在一起傳送至下一個模塊。Inception 結構[11]如圖3所示。

2.2.2? SVM分類器

本文使用的卷積神經網絡可以準確地提取圖像中的手勢特征[12]，在此基礎上，使用一些傳統的分類方法也能實現較高精度的分類。傳統分類方法有支持向量機分類、樸素貝葉斯分類、隨機森林分類等。其中，SVM學習[13]的超平面是距離各個類別樣本點最遠的平面，用于分類的可靠性是機器學習工具中最好的。其采用最大類間分類平面的原則對樣本數據分類，相比于Softmax具有更強的泛化推廣能力和更高的識別準確率。故本文選用SVM分類器替代原CNN模型中的Softmax分類器。SVM分類器替代原CNN模型中的Softmax分類器具體操作如下：

1） 訓練原始CNN網絡得到較高的識別率;

2） 將訓練模型中損失函數Softmax Loss更改為Hinge Loss;

3） 將全連接層之前的學習率系數lr_mult全部改為0，固定特征提取完畢;

4） 重新訓練時就只訓練最后的SVM分類器，訓練一段時間直至CNN?SVM模型完成。

2.3? 混合模型網絡結構

參照第2.1節傳統卷積網絡結構圖，結合2.2節，本文設計的用于手勢識別改進卷積神經網絡結構由3個卷積層、3個池化層、1個全連接層、3個Inception結構以及1個SVM分類層組成。其混合模型網絡結構示意圖如圖4所示。

3? 混合模型訓練與測試結果分析

本文采用自建手勢數據集訓練和測試模型，隨后在經典Minist數據集下驗證。訓練模型過程中使用隨機梯度下降法來最小化訓練模型中的誤差，即每完成一次迭代時重新評估和更新一次權值。這個重復迭代到一定次數的過程可以找出使訓練數據最小誤差的模型的系數。自建手勢數據集包含表示數字1～10的10種手勢如圖5所示，每種手勢有800張且手勢形態不一，共計8 000張手勢圖像。選取其中4 000張作為訓練樣本，在訓練過程中運用數據增強技術提高模型的泛化能力，其余4 000張作為測試集，驗證模型性能的優劣。

4? 結? 語

本文設計了基于改進卷積神經網絡和支持向量機的模型對手勢進行識別。該模型主要修改了傳統CNN網絡結構加入Inception模塊并結合SVM算法，首先對手勢圖像進行分割處理和數據增強處理，然后利用該模型對手勢進行識別分類。實驗結果表明，改進卷積神經網絡和支持向量機模型比傳統模型具有更好的識別性能。在接下來的研究中，將針對更加復雜的背景，如手部遮擋等情況進行識別研究，同時嘗試多種圖像預處理算法，以求得到更精準的識別率。

參考文獻

[1] 朱雯文，葉西寧.基于卷積神經網絡的手勢識別算法[J].華東理工大學學報（自然科學版），2018，44（2）：260?269.

[2] ROSSI M， BENATTI S， FARELLA E， et al. Hybrid EMG classifier based on HMM and SVM for hand gesture recognition in prosthetics [C]// 2015 IEEE International Conference on Industrial Technology. Seville： IEEE， 2015： 301?311.

[3] 田元，王學璠，王志鋒，等.基于Kinect的實時手勢識別方法[J].計算機工程與設計，2018，39（6）：1721?1726.

[4] 史鶴歡，許悅雷，馬時平，等.PCA預訓練的卷積神經網絡目標識別算法[J].西安電子科技大學學報，2016，43（3）：161?166.

[5] 石雨鑫，鄧洪敏，郭偉林.基于混合卷積神經網絡的靜態手勢識別[J].計算機科學，2019，46（z1）：165?168.

[6] 謝錚桂.基于改進的卷積神經網絡的手勢識別的研究[J].計算機應用與軟件，2019，36（3）：192?195.

[7] SHAIK B K， GANESAN P， KALIST V， et al. Comparative study of skin color detection and segmentation in HSV and YCbCr color space [J]. Procedia computer science， 2015， 57： 41?48.

[8] 楊世強，弓逯琦.基于高斯模型的手部膚色建模與區域檢測[J].中國圖象圖形學報，2016，21（11）：1492?1501.

[9] 周飛燕，金林鵬，董軍.卷積神經網絡研究綜述[J].計算機學報，2017，40（6）：1229?1251.

[10] SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015： 17?33.

[11] SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016： 2818?2826.

[12] 溫靜，安國艷，梁宇棟.基于CNN特征提取和加權深度遷移的單目圖像深度估計[J].圖學學報，2019，40（2）：248?255.

[13] 黃孝喜，李晗雨，王榮波，等.基于卷積神經網絡與SVM分類器的隱喻識別[J].數據分析與知識發現，2018，2（10）：77?83.