基于輪廓PCA的字母手勢識別算法研究*

王景中，李 萌

(北方工業大學 信息工程學院，北京 100144)

0 引言

手勢識別是一個包含多學科多領域的課題，隨著人機交互技術的發展，未來的手勢識別技術會趨于基于視覺。對于基于視覺的手勢檢測存在著光線、復雜背景、人臉胳膊等干擾因素，通常會有附加的限制條件，比如要求背景顏色、穿著長袖衣服等。這些問題短期內不能得到完善的解決辦法，因此良好地檢測到手型區域是手勢識別系統的一個主要研究內容[1]。

手勢檢測常用的方法是膚色分割、背景差分、灰度直方圖檢測。單一的方法對手勢檢測無法得到良好的效果，因此要結合多種方法。邊緣與輪廓檢測是手勢識別中常見的特征提取方法[2-3]，其中Canny算子很適用于手勢的邊緣檢測[4-5]。對于實際的圖形，內部邊緣檢測效果不盡相同，因此在不需要圖形內部信息時，輪廓可以更直觀地反應圖像特征。

手勢識別的核心技術是目標分類。一種常用的分類方法是利用神經網絡[6]，它是應用分類規則的常用方法。另一種是支持向量機的方法[7]，它在數學建模和分類方面非常受歡迎。還有一些方法是通過去除那些對分類決定不起作用的數據來提高分類能力，例如PCA（主成分分 析 法 ）[8]。

本文研究視覺手勢的實時檢測分割算法。根據我國“漢語拼音手指字母圖”中30個不同指式，綜合運用Krisch算子等多種方法進行手勢檢測，然后基于手勢輪廓和PCA算法對字母手勢進行識別。

1 關鍵技術

1.1 PCA技術

PCA（Principal Components Analysis）即主成分分析技術，旨在利用降維的思想，將高維數據投影到較低維空間，間接地對數據進行了壓縮處理，同時很大程度上保留了原數據的信息。因此在機器學習和模式識別及計算機視覺領域，PCA方法被廣泛運用。

1.1.1 基本步驟

(1)設 m個樣本數據{xm}，每個樣本數據是 n維，構建一個大小為m×n的樣本矩陣M。

(3)計算樣本數據的協方差矩陣S，公式如下：

(4)對協方差矩陣做SVD（奇異值分解），即可得到特征值和特征向量。

(5)選出前k個特征向量用于對樣本的表示，達到降低數據維度和壓縮的目的。

(6)將數據投影到特征向量的空間之中[9]。

1.1.2 基于PCA技術的圖像識別

高維的圖像空間經過PCA變換后得到一組新的正交基，保留其中重要的正交基，可變成低維線性空間。假設圖像在這些低維線性空間的投影具有可分性，就可將這些投影用作識別的特征矢量。

在圖像識別中，可以用PCA變換對圖像的原始空間進行轉換，即構造圖像數據集的協方差矩陣，對之進行正交變換，求出協方差矩陣的特征向量，繼而構成投影矩陣。選出前k個特征向量(主成分)，計算投影的系數，對每一類求出平均系數。分類時，將需要分類的圖像數據進行投影，得到系數，再與先前計算出的每一類的平均系數進行比較，可判為最接近的一類。

1.2 Krisch算子

Krisch算子是由8個模板組成的方向算子，圖像中的每個像素在模板代表的8個方向上進行模板卷積計算。它具有良好的邊緣定位能力與抑制噪聲能力，雖然提取出的邊緣和細節較多，導致虛假邊緣多且邊緣較粗，但是能夠提取出對比度較弱的邊緣，因此應用效果較為理想。

1.3 改進的圖像背景差分法

背景差分法是基于圖像序列和參考背景模型相減實現的目標檢測方法。該方法位置精確且速度較快，因此在實時系統檢測中經常應用背景差分法來獲得檢測結果。然而該方法對光照敏感，且在背景灰度變化很大的情況下檢測效果不理想。所以常用的背景差分法會受到背景顏色的影響。

本文提出將目標圖像與背景圖像經過Krisch算子邊緣檢測后再進行差分，以便得到目標的區域位置，流程如圖1所示。

圖1 Krisch算子背景差分流程圖

通過邊緣算子的背景差分后，可得到手勢邊緣的一些信息。該方法對背景沒有特殊限制，比直接進行灰度圖像的背景目標結果明顯完整。在光照的影響下，膚色分割后的圖像手型輪廓變得不平滑，因此通過邏輯運算使Krisch算子的背景差分方法與膚色檢測方法相結合，共同進行手勢檢測，可以得到較為理想的膚色分割結果。

2 手勢識別系統設計

手勢識別系統實現框架流程如圖2所示。

圖2 手勢識別系統實現框架流程圖

如圖2所示，手勢識別系統設計主要分為兩大部分：(1)首先是創建手勢樣本集，對樣本集圖像進行預處理、特征提取，最后構建手勢向量特征庫；(2)建立在第一部分基礎之上，針對的是單張手勢圖像。手勢圖像經過相同的預處理與特征提取過程，將得到的手勢特征向量與手勢庫進行對比，根據歐氏距離計算向量距離，從而得到識別結果。

2.1 圖像預處理

首先將捕捉到的手勢圖像與背景圖像進行Krisch算子圖像背景差分，然后把原圖像RGB空間轉換為HSV空間進行膚色檢測[10]，得到膚色分割后的二值圖像。應用邏輯或運算將差分圖像和膚色分割后的圖像結合起來。

根據得到的二值圖像檢測最大連通域，得到手連同部分胳膊區域的二值圖像。最后根據手勢不同方向，采用不同的方法去掉胳膊，從而得到較為準確的手型區域。將手型圖像進行歸一化處理，壓縮了圖像的數據量，減少冗余度，以便進一步處理。部分樣本輪廓如圖3所示。

圖3 圖像預處理之后的手勢圖像

經過圖像預處理過程，得到大小為32×32的手型輪廓二值圖像。該方法減少了光照對手型檢測的影響，從而得到了準確的手型區域，繼而得到可靠的手勢輪廓信息作為特征，為后續手勢的特征提取與識別完成了良好的預處理工作。

2.2 特征提取

本文研究的特征以輪廓信息特征為基礎，根據PCA算法計算樣本圖像的特征值，生成相應的特征庫，即投影向量矩陣。具體計算方法如下：

每張手勢輪廓圖像表示為一個32×32像素的矩陣，即為一個二維數組，將其按行變換成一維數組，一張圖片就能表示為一個向量 d=（x1，x2…x1024）。

將樣本庫里m張手勢圖片表示成上述向量形式，則m個向量組合成一個m×1 024的樣本矩陣M。當m＜1 024時，經過PCA可得到m個特征值與大小為m×1 024的特征向量。選取k個特征向量作為主成分，形成大小為m×k的投影變換矩陣，記為C。將樣本矩陣向C映射，得到m×k的樣本投影矩陣，即為特征庫矩陣，矩陣中每行為一個大小為1×k的樣本特征向量。

2.3 特征匹配識別

在手勢識別系統中，將測試集中圖像進行預處理，得到的32×32輪廓圖像變為一維數組，大小為1×1 024。將此數組向矩陣C投影，得到大小為1×k的特征向量，記為St。

兩 個 向 量 a=(a[1]，a[2]，… ，a[n])與 b=(b[1]，b[2]，…，b[n])之間的距離 ρ(α，β)定義為下面的公式：

分別計算特征向量St與m個樣本特征向量的歐氏距離，得到距離最小的樣本向量所對應的手勢含義即為識別結果。

3 實驗效果

本手勢識別系統以漢語拼音30個字母手勢為參照,采集了3套手勢（3套分別為不同人的手）形成手勢庫，每套手勢中每個字母手勢錄5張，3套手勢庫共450張手勢圖。圖像格式為BMP圖像，大小為640×480。

根據本文算法，針對靜態的字母手勢做了大量實驗來測試其對識別率的影響。從手勢庫1中的每個手勢挑選2張圖像，從手勢庫2中的每個手勢挑選1張圖像，共得到90張圖像作為樣本。經過上述特征提取方法得到大小為90×k的特征庫矩陣。其余圖像作為測試圖像。根據不同的k值，手勢庫圖像識別結果如表1所示。

由實驗結果可表面，該算法可有效識別字母手勢。當k為40時，平均識別率可達到92，且用時較少，識別150張靜態圖像平均40 s左右可完成。當k值逐漸變小時，識別速度提高了，然而識別率下降了。因此在選擇k值時，應權衡速度與準確率。當k=20時，識別率良好，且用時較少，因此在手勢識別系統中可以選此k值。

表1 測試集中字母手勢識別結果

4 結論

本文針對漢語拼音30個字母手勢識別進行研究，提出了結合多種方法的手勢檢測，基于輪廓檢測和主成分分析的識別算法，進行圖像特征提取和分類。實驗證明，該方法可以有效檢測手勢，簡單高效地對手勢進行識別，對圖像的平移和縮放具有穩定性。同時，手勢過度旋轉對識別存在著一定的影響，可結合手型的多個幾何特征輔助進行特征比較，從而提高識別率。

[1]馮志全，蔣彥.手勢識別研究綜述[J].濟南大學學報(自然科學版)，2013，27（4）：336-340.

[2]孫麗娟，張立材.基于邊緣梯度方向直方圖的靜態手語識別[J].微電子學與計算機，2010，27(3)：148-150.

[3]何陽清，葛元，王林泉.應用幾何矩和邊緣檢測的手勢識別算法[J].計算機工程，2005，31(15)：165-166.

[4]CANNY J.A computational approach to edge detection[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，1986，8(6)：679-698.

[5]THEPADE S D，KULKARNI G，NARKHEDE A，et al.Sign language recognition using color means of gradient slope magnitude edge images[C].Intelligent Systems and Signal Processing(ISSP)，Gujarat：IEEE，2013.

[6]譚昶，肖南峰.基于改進RCE和RBF神經網絡的靜態手勢識別[J].計算機工程與應用，2011，47(7)：172-176.

[7]張秋余，王道東，張墨逸，等.基于特征包支持向量機的手勢識別[J].計算機應用，2012，32(12)：3392-3396.

[8]李榮健，韓其龍，楊鑫華.改進的PCA人臉識別新算法[J].大連交通大學學報，2008，29(4)：48-51.

[9]ABDI H，WILLIAMS L J.Principal component analysis[J].Wiley Interdisciplinary Reviews：Computational Statistics，2010，2(4)：433-459.

[10]ZHANG X N，JIANG J，LIANG Z H，et al.Skin color enhancement based on favorite skin color in HSV color space[J].Consumer Electronics，IEEE Transactions on，2010，56(3)：1789-1793.