基于Sugeno模糊模型的ANFIS在手勢識別中的應用

蔣磊磊，秦麗娟，李武舉

(沈陽理工大學 信息科學與工程學院，遼寧 沈陽 110159)

基于Sugeno模糊模型的ANFIS在手勢識別中的應用

蔣磊磊，秦麗娟，李武舉

(沈陽理工大學 信息科學與工程學院，遼寧 沈陽 110159)

手勢識別正在成為人機交互技術研究中的一種重要模式，運用攝像機和計算機視覺技術捕獲靜態手勢圖像，在YCrCb空間下利用高斯分布對膚色建模，通過計算背景顏色像素概率分割出干凈的手勢圖像，再采用基于Sugeno模糊模型的自適應神經-模糊推理系統識別手勢。與傳統的神經網絡識別系統相比，該識別方法具有較好的自適應性和魯棒性。實驗結果表明，基于Sugeno模糊模型的自適應神經-模糊推理系統能夠有效地進行特征學習，正確識別率可以達到95%左右，是一個非常有效的靜態手勢識別方法。

人機交互；手勢；基于Sugeno模糊模型；自適應神經-模糊推理

0 引言

近年來，隨著計算機技術的快速發展和互聯網應用的迅速普及，人機交互已經成為人們日常生活中必不可少的組成部分[1]。自然的人機交互方式可以降低操作難度，避免身體單一部位的重復勞動。傳統意義里向計算機輸入信息的交互方式如使用鼠標、鍵盤、遙控、觸摸屏、游戲搖桿等讀入設備，都是以機器為中心，用戶需要去適應學習預先設定的規范之后才能應用機器的基本操作。這些人機交互方式已成為人機交流聯系的瓶頸，因為用戶不能使用自己最習慣的方式(如手勢等)與計算機進行交互。

手勢是人有意識地作出的手的動作，不論是操作使用工具還是與其他人進行交流，手勢都能表達出做手勢者的想法與意圖。由此應運而生的手勢識別技術為人們提供了人與計算機進行交互的最自然的方式。基于手勢識別技術，人們能夠與計算機創造的虛擬環境進行直接交互。目前，手勢識別技術的研究是虛擬現實技術研究的主要內容之一。

1 手勢圖像的預處理與手勢分割

ANFIS[2]用于手勢圖像處理的一般流程[3]如圖1所示。

圖1 ANFIS用于手勢識別中的一般模型

1.1 圖像的預處理

在復雜背景下，不同光照變化也會導致膚色的亮度發生變化，這就需要采用一種可靠的顏色空間模型。研究表明YCrCb顏色空間[4]具有亮度和色度分離的優點，既能充分表達人手膚色，又能在很大程度上消除亮度影響，降低了色彩空間的維數，減少了計算復雜度。在YCrCb空間下利用高斯分布對膚色建模，計算出圖像中各點屬于膚色的概率值，可以分割出手勢區域。基于高斯分布對膚色建模的計算公式如下：

P(Cb,Cr)=exp{-0.5(x-m)TC-1(x-m)}

其中：x為樣本像素在YCrCb空間的值x=(Cb,Cr)T，m為膚色在YCrCb空間的樣本均值,m=E(x);C為膚色相似度模型的協方差矩陣,C=E{(x-m)(x-m)T}。

通過計算圖像每個像素點屬于膚色的概率值P，可以建立一個完整的膚色概率分布矩陣，采用最大類間方差法(OTSU)對膚色概率矩陣進行自適應值的二值化處理，在二值化處理的圖像中，像素值為1的亮色區域表示是膚色點，像素值為0的暗色區域表示非膚色點。

使用高斯濾波，消除手勢圖像中的噪聲，恢復有用的手勢信息，增強手勢目標的可檢測性和最大限度地簡化背景圖像數據。經過二值化和濾波處理的圖像，手勢區域邊緣會存在大小不一的空洞，具有毛刺或不完整的輪廓，形態學的膨脹算法可以擴展二值圖像中的亮度區域，腐蝕算法可以擴展二值圖像中的暗色區域。去除二值圖像中孤立的噪聲點和手勢區域邊緣不平滑的凸出部分，同時對二值圖像的孔洞進行填充。

1.2 手勢圖像的分割

OTSU法[5]是一種動態的閾值分割算法。按照手勢圖像灰度特征將手勢圖像分成目標和背景兩部分，選擇門限值劃分使得背景和目標之間的方差最大。背景和目標之間的類間方差越大說明這兩部分的差別越大，目標圖像就越容易從背景圖像中分割出來。

現在，手勢圖像的灰度值為1～N級，t為選定的閾值，那么圖像就被分成兩組。假設A代表背景，PA為背景出現的概率，同理B為目標，PB為目標出現的概率，Pi是N個灰度級每個出現的概率。計算背景和目標兩個區域的類間方差過程如下：

(1)背景和目標的出現概率：

(2)A和B兩個區域的平均灰度值：

(3)灰度圖像全局的灰度平均值：

(4)A和B兩個區域的類間方差：

δ2=PA(ωA-ω0)2+PB(ωB-ω0)2

在1～N之間改變t的值，當δ2取最大時對應的t的值為最佳閾值，因此δ2是選擇閾值的函數。該方法不管圖像的直方圖是否有明顯的雙峰，都能得到比較滿意的結果。本文使用上述方法取得了不錯的效果，圖2和圖3是室內與室外手勢分割的效果圖。

圖3 室外靜態手勢圖像預處理效果

2 自適應神經-模糊推理系統(ANFIS)

自適應神經元模糊推理系統[6](Adaptive Neural Fuzzy Inference System, ANFIS)是一種把模糊邏輯方法和神經網絡方法有機融合在一起的新型神經網絡結構，借助神經網絡的信息存儲能力和學習能力，在對廣泛選擇的訓練樣本進行學習后，優化了控制規則、各語言變量的隸屬函數及每條規則的輸出函數，使ANFIS系統本身朝著自適應、自組織、自學習的方向發展。

Sugeno模糊模型是一種用來在給定的輸入/輸出數據集中產生模糊規則的系統方式。一階Sugeno模糊模型如下：

y=k0+k1x1+k2x2+…+kmxm

圖4表示基于Sugeno模糊模型的自適應神經-模糊推理系統模型。

圖4 自適應神經-模糊推理結構

下面討論每一層的作用。

第1層是輸入層。該層的神經元簡單地將外部信號傳送給第2層，即

第2層是模糊化層。該層中的神經元的作用是執行模糊化操作。其中模糊化神經元有一個鐘形激活函數(bellactivationfunction)。鐘形激活函數由線為規則的鐘形形狀，其定義為：

第3層是模糊化層。規則神經元從各自的模糊化神經元接收輸入，并計算它表示的規則激發強度。在ANFIS中，規則前項的鏈接由“乘積”操作來評估。因此，第3層的神經元的輸出可表示為：

其中μ1的取值代表規則1的激發強度或真值。

第4層是歸一化層。該層接收并計算給定規則的歸一化激發強度。歸一化強度是給定規則的激發強度和所有規則激發強度的總和的比值，它表示給定規則對最終結果的貢獻。因此，第4層神經元i的輸出為：

第5層是去模糊化層。該層中的每個神經元均連接到各自的歸一化神經元上，同時接收初始輸入x1和x2。去模糊化神經元計算給定規則的帶權重的后項值:

第6層為總和神經元，作用是計算所有去模糊化神經元輸出的總和，產生ANFIS總輸出y：

3 基于Sugeno模糊模型的ANFIS在手勢識別中的實現

3.1 ANFIS的學習樣本

首先選擇1～10的手勢樣本進行訓練，每類手勢訓練樣本的數量要近似相等，避免由于訓練樣本數量的不同導致個別類別響應過于敏感或者過于遲鈍，同時能大幅度提高訓練速度，避免網絡陷入局部極小點。

以中國傳統的標準手勢為例，如圖5所示。

圖5 中國傳統的標準手勢圖

由于神經網絡[7]不具有不變識別的能力，要使網絡對手勢的旋轉、伸縮具有不變性，要盡可能選擇各種情況的手勢樣本。每個手勢選用200個樣本進行訓練，盡量選擇不同方向、不同大小的手勢樣本，這樣可以保證網絡系統在較為復雜背景下有較高識別率。訓練樣本如圖6所示。

圖6 手勢樣本圖像

提取預處理后的手勢圖像特征向量，同來訓練系統參數。

3.2 基于Sugeno模糊模型的ANFIS在手勢識別的結果

從分割出來的手勢圖像中提取出特征向量作為識別系統的輸入。本文使用以下三種識別方法：基于自適應神經-模糊推理系統(ANFIS)、基于BP神經網絡[8]的識別方法和基于模糊神經網絡[9]的識別方法，并比較三者的識別率。為了系統學習和輸入的方便，本文采用同樣且同等數量的樣本進行學習，同等條件下經過200次的實驗后得到的結果是：基于自適應神經-模糊推理系統(ANFIS)的手勢識別率比另外兩種方法的識別率高。具體實驗數據如表1所示。

表1 BP、模糊神經網絡和ANFIS的識別率對比 (%)

根據表中的數據制成鏈表，直觀表現三種識別方式的優劣，如圖7所示。此外識別率還受系統學習次數的影響，具體如圖8所示。

圖7 三種方法識別率對比

圖8 不同訓練樣本數下的平均識別率

4 結論與展望

針對傳統神經網絡的不足，本文提出的自適應神經-模糊推理系統充分發揮了自適應、模糊化和神經網絡的優點，具有適應性強、學習能力好的特點，提高了系統的魯棒性。此外對手勢的識別率也有了顯著的提高。

對于手勢本身的多樣性、多義性、差異性等特點以及技術的局限，尤其是在復雜的環境下，當人手和人臉重合或者人手與背景膚色相差不多的情況下，并不能很好地從圖像中提取出完整的無噪聲的手勢圖像。此外目前采用的識別系統在識別率與時間效率還不能同時完美實現，如何在保證目標識別率的前提下，獲得理想的處理速度，提高系統實用性，這將是一個重要的研究課題。

[1] 武霞,張崎,許艷旭. 手勢識別研究發展現狀綜述[J]. 電子科技,2013,26(6):171-174.

[2] NEGNEVITSKY M. 人工智能：智能系統指南[M]. 北京:機械工業出版社, 2012.

[3] 范會敏,王浩. 模式識別方法概述[J]. 電子設計工程,2012,20(19):48-51.

[4] 邱迪. 基于HSV與YCrCb顏色空間進行膚色檢測的研究[J]. 電腦編程技巧與維護,2012(10):74-75.

[5] 李梅. 基于Otsu算法的圖像分割研究[D].合肥:合肥工業大學,2011.

[6] 張小娟. 自適應神經模糊推理系統(ANFIS)及其仿真[J]. 電子設計工程,2012，20(5):11-13.

[7] 馮桐. 基于神經網絡的手勢識別研究[D].北京：北京理工大學,2015.

[8] 李歌. 基于BP神經網絡的手勢識別研究[D].秦皇島：燕山大學,2013.

[9] 齊鏜泉. 基于動態模糊神經網絡的手勢識別算法研究[D].重慶：西南大學,2011.

蔣磊磊(1990- )，男，在讀碩士研究生，主要研究方向：自適應信號處理。

秦麗娟(1978- )，女，博士，副教授，主要研究方向：計算機視覺智能計算、虛擬實現系統、機器人控制理論等。

李武舉(1990- )，男，在讀碩士研究生，主要研究方向：數據挖掘。

The application of ANFIS in gesture recognition based on Sugeno fuzzy model

Jiang Leilei,Qin Lijuan,Li Wuju

(School of Information Science and Engineering, Shenyang Ligong University, Shenyang, 110159 China)

Gesture recognition is becoming an important mode in human-computer interaction technology research. It uses cameras and computer vision technology to capture static gesture image, and in YCrCb color space, uses the Gaussian to distribut skin color modeling. By calculating the probability of background pixel color, clean gesture image is segmented. Then the Sugeno fuzzy model based adaptive neuro fuzzy inference system is used to get gesture recognition. Compared with the traditional neural network recognition system, the recognition method has better adaptive and robustness. The experimental results show that based on Sugeno fuzzy model and adaptive neural fuzzy inference system can effectively learn the feature, the correct recognition rate can reach 95% or so. It is a very effective method of static gesture recognition.

human computer interaction; gesture; Sugeno fuzzy model; adaptive neuro fuzzy inference

TP751;TP753

A

10.19358/j.issn.1674- 7720.2016.24.015

蔣磊磊，秦麗娟，李武舉. 基于Sugeno模糊模型的ANFIS在手勢識別中的應用[J].微型機與應用，2016,35(24)：50-53.

2016-08-21)