基于運動歷史圖像和橢圓擬合的手勢分割

史久根，陳志輝

合肥工業大學計算機與信息學院，合肥 230009

基于運動歷史圖像和橢圓擬合的手勢分割

史久根，陳志輝

合肥工業大學計算機與信息學院，合肥 230009

在手勢識別[1]系統中，手勢分割是后續識別的重要基礎。當前常用的分割方法一般基于特定的膚色模型[2]，很難適應復雜的光照環境。考慮到手勢識別系統中，手勢是一個動態過程，對應著視頻序列中的運動區域之一，于是可采用運動分割方法確定手勢區域。運動分割的常用方法有背景減除法[3]，幀間差分法[4]，光流法[5]。背景剪除法需建立背景模型，由于背景和前景的不確定性，很難建立完善的模型；光流法由于噪聲、多光源等因素，會使光流場分布不可靠，而且光流的計算復雜且耗時，不太適合實時應用；幀間差分法計算量小且對光照的適應性較強，但在物體慢速運動的情況下容易產生分割不足、目標提取不完整的現象。

基于運動歷史圖像（MHI）[6-7]的運動分割能夠有效克服上述問題，文獻[6]利用了MHI實現了運動分割和姿態識別。但該方法易產生分割過度現象，影響分割精度。為解決該問題，本文在基于MHI分割的基礎上，結合橢圓擬合[8]算法，提高了手勢分割的精度。

1 基于MHI的運動分割

MHI將多幀運動輪廓進行疊加形成運動歷史圖像，充分利用了輪廓間的空間相關性，從而更有效地分割運動目標。此處，每幀運動輪廓即為二值化的相鄰幀差。記連續兩幀分別為Fk-1和Fk，W為抑制噪聲的窗口函數，則幀差Dk表示為：

為了區別不同時間段的輪廓，采用了基于時間戳的運動歷史圖像（Timed Motion History Image，tMHI），tMHI[6]記錄了一段時間內的運動輪廓信息，利用當前時間戳標記當前運動輪廓，可表示為：

式（3）中的τ表示當前時間戳，在一般系統中用浮點數表示，δ表示tMHI記錄的時間長度。隨著時間的推進，tMHI不斷被更新。圖1（b）是將tMHI映射到0～255的圖像，該圖反映一段時間內手部運動的歷史，越暗的區域表示發生的時間越早。

圖1 運動分割對比

對tMHI進行分割可采用如下步驟：

（1）逐行掃描tMHI，直到找到當前輪廓。

（2）沿當前輪廓向外搜索沒有標記的區域，當輪廓找到后，用downFill[6]（向下填充）標記之，如果填充區域不夠大，則置0。

（3）存儲找到的分割掩碼。

（4）循環此過程直到所有輪廓都被標記。

在上述步驟中，每個填充區域被不同的正整數予以標記，即表示了不同的運動區域。downFill填充的準則是時間戳的值與當前值相同或小于當前值與填充下降距離之差。分割中需注意兩個參數，即最小的可接受的填充面積和允許的填充下降距離。當填充面積過小時，可認為是噪聲，需要置0；填充下降距離一般大于或等于相鄰輪廓的時間戳之差。

圖1（b）顯示了分割的效果，運動的手部被完整地分割了出來。圖1（a）基于幀差法，采用floodFill[9]算法分割，出現了目標提取不完整的情況，手部被分割成了兩個區域。

當目標運動速度較慢時，幀差法由于相鄰幀重疊部分較多，容易出現輪廓不足、輪廓斷裂現象，導致很難分割出完整目標，而基于MHI的分割，由于利用了多幀輪廓，克服了以上缺陷。但由于MHI是基于一段時間的運動輪廓，產生的“拖影”會使得運動目標分割偏大。

2 橢圓擬合

對于一目標物，其像素簇的空間分布可用一橢圓表示。直觀上講，橢圓擬合即尋找該像素簇的最小外包矩形的最大內切橢圓。對于一橢圓，可表示為e(x0,y0,a,b,θ)，其中(x0,y0)為橢圓中心坐標，a、b分別為長、短半軸，θ為偏轉角度。確定一個擬合橢圓即求解這5個參數。通過二階中心矩可求解這些參數。對于數字圖像，區域為R的二維p+q階中心矩[9]為：

對于目標的擬合橢圓，其中心坐標即為(xˉ,yˉ)，a、b、θ可以利用像素簇二元分布的協方差矩陣[8]解得，其協方差矩陣為：

圖2顯示了對手部的擬合效果，此處先對原圖進行了膚色分割[2，8]，然后二值化后進行橢圓擬合，如右圖顯示的橢圓部分。

圖2 橢圓擬合

3 算法流程

本文算法主要涉及到運動區域分割、手勢篩選、橢圓擬合三個步驟，具體算法步驟如下：

（1）對于視頻序列，對每一幀進行高斯去噪[8]，然后獲取MHI并進行運動分割，分割的結果保存在一個與圖像大小相同的矩陣MASK中，不同的運動區域用不同的正整數標記，非運動區域全部標記為0。

（2）在獲取的MASK中，針對每個非0標記區域求解外接矩形[7]，然后對求得的矩形按一定規則進行篩選，篩選的結果保存在矩形集合RectSet中，規則可用如下偽代碼表示：

N、area、ratio分別表示矩形的個數、面積、寬高比，sum（）函數用于求解矩形區域內非零點個數，即實際運動區域面積，percent表示運動區域面積和外接矩形面積之比。三個if語句對應三條規則，第一條限定矩形面積范圍為[MINAREA，MAXAREA]，可以濾除一些面積過大、過小區域，第二條限定矩形寬高比范圍為[MINRATIO，MAXRATIO]，可以濾除一些形狀過于狹長的區域，第三條限定percent大于MINPERCENT，可以濾除一些輪廓不足的區域。最后對RectSet中的矩形按面積由大到小進行排列。一般由于手部距離攝像頭最近，可認為RectSet中最大的矩形區域即為手勢運動區域。

（3）對于步驟（2）獲得的手勢運動區域，會產生圖1（b）所示的分割偏大問題，為解決該問題，利用該區域內的當前運動輪廓（即當前幀差）做橢圓擬合，進而提高了分割精度。圖3顯示了擬合的結果，矩形區域為手勢運動區域，橢圓區域即為最終分割結果。

圖3 對手勢當前運動輪廓橢圓擬合

由于橢圓擬合操作只在手勢區域進行，不會受到其他運動區域的干擾，保證了擬合的正確性。

4 實驗結果及分析

本文利用了OpenCV開源庫和Python腳本進行了實驗環境的的搭建。圖4為實驗中從視頻中截取的連續4幀圖像。

圖4 手勢分割結果

圖中矩形區域為MHI分割結果，橢圓區域為本文方法分割結果。表1是對一段視頻的連續2 000幀所做出的統計結果。

表1 MHI分割和本文方法對照

AM、AE分別表示基于MHI分割和本文方法分割所得區域面積。當分割區域能夠完整包含手勢部分時，可認為是正確分割，其余情況為錯誤分割。在正確分割的視頻幀中，分別求解平均分割面積-AM、-AE，則-AM/-AE可以反映這兩種方法的分割精度之比。從表中可以看出，本文方法的分割正確率略低于MHI分割，差別很小，但是分割精度提高到MHI分割的1.89倍左右。從實驗數據可以看出，本文方法在基本不降低分割正確率的情況下，明顯提高了MHI分割的精度。

在不同光照條件下實驗，可以測試分割對光照的適應能力。實驗將本文方法和膚色分割法做了對比。為了便于對實驗結果分析，在不同光照條件下分別保存一段手勢運動的視頻，進行處理和分析。

對于膚色分割的實驗，本文采用膚色聚集程度較高的YCgCr顏色空間[10]，具體步驟如下：

（1）利用Gray World色彩均衡法[11]進行色彩校正。

（2）色彩空間轉換[10]，將RGB空間轉換到YCgCr空間。

（3）利用高斯混合模型[12-13]進行膚色建模，得到膚色概率似然圖像。

（4）采用otsu算法[14]對膚色概率似然圖像進行閾值分割，得到膚色區域。

（5）利用floodFill算法對膚色區域進行分割，求解最小外包矩形[7]，得到手勢區域，記為AS。

對三段不同光照條件下的視頻統計了連續2 000幀，得到如表2所示數據。

表2 不同光照下的實驗結果

表2中由上到下，表示光照強度遞減。實驗在室內進行，利用強度可控的白色光源模擬自然光，設置了三種不同的光照強度。在正確分割的視頻幀中，分別求解這兩種方法的平均分割面積-AE、-AS，利用-AE/-AS衡量兩種方法的分割精度之比。

從實驗結果可以看出，在三種光照條件下，-AE/-AS均大于1，說明膚色分割法在分割正確的前提下，分割精度高于本文方法，但比值接近于1，說明兩種方法的分割精度差別較小；同時可以看出，在光照正常情況下，兩種方法的分割正確率差別不大，但在光照降低的情況下，本文方法的分割正確率明顯高于膚色分割法，即使在較低光照條件下，也有較高的分割正確率。從該組實驗數據可以看出，本文方法不僅保證了分割精度，能夠有效分割出手勢，而且對于光照的適應性較強。

5 結語

本文提出的方法在基于MHI分割的基礎上結合了橢圓擬合算法，提高了MHI分割的精度，能夠有效地分割出手勢，并且對光照適應能力較強。該方法未建立復雜的數學模型，計算量小，非常適合于實時環境或者移植到嵌入式平臺。

由于MHI和橢圓擬合都利用到了幀差信息，當手部處于靜止狀態時會導致分割失敗，此時可以結合視頻跟蹤算法予以解決，例如文獻[15]利用了PGH和Kalman濾波器實現了對手勢的跟蹤。該問題有待后續進一步研究。

[1]任海兵，祝遠新，徐光佑.基于視覺手勢識別的研究——綜述[J].電子學報，2000，28（2）：118-122.

[2]Habili N，Cheng Chew Lim，Moini A.Segmentation of the face and hands in sign language video sequences using color and motion cues[J].IEEE Transactions on Circuits and Systems for Video Technology，2004，14（8）：1086-1097.

[3]Arseneau S，Cooperstock J.Real-time image segmentation for action recognition[C]//Proc IEEE Pacific Rim Conference on Communications Computers and Signal Processing. Canada：Victoria，1999：86-89.

[4]Lipton A，Fujiyoshi H，Patil R.Moving target classification and tracking from real-time video[C]//IEEE Workshop on Applications of Computer Vision.Princeton：IEEE Press，1998：8-14.

[5]Barron J，Fleet D，Beauchemin S.Performance of optica flow techniques[J].International Computer Vision，1994，12（1）：42-77.

[6]Bradski G R，Davis J W.Motion segmentation and pose recognition with motion history gradients[J].Machine Vision and Applications，2002，13（5）：174-184.

[7]Bradski G，Kaehler A.Learning openCV[M].[S.l.]：O’Reilly Media，Inc，2008.

[8]Argyros A A，Lourakis MIA.Real time tracking of multiple skin colored bjects with a possibly moving camera[C]//Proc ECCV，2004，3：368-379.

[9]Gonzalez R C，Woods R E.Digital image processing[M].北京：電子工業出版社，2002.

[10]王建國，林宇生，楊靜宇.基于顏色空間YCgCr的人臉區域初定位[J].計算機科學，2007，34（5）：228-233.

[11]雷明，張軍英，董濟揚.一種可變光照條件下的膚色檢測算法[J].計算機工程與應用，2002，38（24）：124-125.

[12]McKenna S K，Gong S，Raja Y.Modeling facial Colour and Identity With Gaussian Mixtures[J].Pattern Reeognition，1998，31（12）：1883-1892.

[13]Yang M H，Ahuja N.Gaussian mixture model for human skin color and its application in image and video databases[J].Proceedings of the SPIE，1999，3656：458-466.

[14]王祥科，鄭志強.Otsu多閾值快速分割算法及其在彩色圖像中的應用[J].計算機應用，2006，26（6）：14-15.

[15]劉玉進，蔡勇，武匯岳，等.一種膚色干擾下的變形手勢跟蹤方法[J].計算機工程與應用，2009，45（35）：164-168.

SHI Jiugen,CHEN Zhihui

School of Computer and Information,Hefei University of Technology,Hefei 230009,China

For general gesture segmentation method is more difficult to adapt to the complex light environment,this paper proposes a new method.Firstly,the method obtains Motion History Images（MHI）from a video sequence and segment motion regions from MHIs.Then it chooses the hand gesture region from these regions.In order to overcome the problem of excessive segmentation,it uses the outline of the current movement of the region to do ellipse fitting,so that it can obtain a more accurate hand gesture segmentation result.Experimental results show that the proposed method can segment hand gesture effectively and have a greater ability to adapt to different light environment compared with general method.

hand gesture segmentation;inter frame difference;motion segmentation;motion history image;ellipse fitting

針對當前常用的手勢分割方法較難適應復雜的光照環境，提出了一種新的方法。該方法先從視頻序列獲取運動歷史圖像（Motion History Image，MHI），對MHI進行運動區域分割，然后在這些運動區域篩選出手勢區域。為了克服手勢區域分割偏大的問題，提出了利用該區域內的當前運動輪廓做橢圓擬合，進而得到精度更高的手勢分割結果。實驗結果表明，提出的方法能夠有效地分割出手勢，并且和傳統方法相比較更能適應不同的光照環境。

手勢分割；幀間差分；運動分割；運動歷史圖像；橢圓擬合

A

TP391

10.3778/j.issn.1002-8331.1212-0313

SHI Jiugen,CHEN Zhihui.Hand gesture segmentation based on MHI and ellipse fitting.Computer Engineering and Applications,2014,50（22）：199-202.

國家自然科學基金（No.60873003）。

史久根（1963—），男，博士，副教授，研究方向為嵌入式系統、計算機視覺；陳志輝（1987—），男，碩士研究生，研究方向為計算機視覺。E-mail：e-zhihui@163.com

2012-12-26

2013-02-01

1002-8331（2014）22-0199-04

CNKI網絡優先出版：2013-03-13,http://www.cnki.net/kcms/detail/11.2127.TP.20130313.0955.025.html

◎信號處理◎