基于人臉檢測的多媒體互動游戲系統的研究

昔 克，周珊珊，馬新春，趙文龍

（新疆電子研究所有限公司 新疆 烏魯木齊　830013）

基于人臉檢測的多媒體互動游戲系統的研究

昔 克，周珊珊，馬新春，趙文龍

（新疆電子研究所有限公司 新疆 烏魯木齊830013）

針對多媒體互動游戲系統實時互動的要求，提出一種人臉膚色與局部特征相結合的實時人臉檢測與跟蹤方法。首先對視頻圖像光線補償，且幀差法提取出視頻中運動目標；然后根據膚色在YCbCr顏色空間內Cr和Cb分量的特定分布范圍建立膚色模型，確定出可能存在人臉的類膚色區域；中值濾波去除噪聲后，通過人臉簡單幾何特征和唇部獨有的顏色特征濾除非人臉膚色區域，準確定位人臉在圖像中的位置。實際應用表明，該互動游戲系統能快速準確的跟蹤玩家的面部位置，通過處理器判斷人臉與掉落物體是否對接，打分計數器做出相應打分，實現整個互動效果。該互動裝置使玩家無需控制器即可享受交互體驗，同時達到商品宣傳促銷的目的，具有巨大的商業前景。

運動目標追蹤；人臉檢測；膚色模型；唇部檢測；人機互動

隨著計算機通信技術的快速發展，越來越多的電子設備為人們所應用，隨著各種電子設備的不斷更新換代，人機互動技術應運而生，觸控技術就是人機互動技術的研究成果之一。目前現有的人機互動技術實現的體感游戲通常是通過計算機及控制裝置來實現。控制裝置如游戲手柄、觸摸屏等通常會被用戶單手或者雙手握于手中進行操作。當玩家長時間處于玩游戲狀態中的時候，這種游戲形式的弊端就顯現出來了，比如長時間游戲操作造成的手指、手腕、眼睛等器官或關節的過度疲勞、勞損等問題；若是以游戲為工作的玩家，上述問題就會顯現的尤為明顯。

鑒于以上所述現有技術的缺點，文中研制了一種基于人臉檢測的多媒體互動游戲裝置，用于解決現有技術中無需控制裝置也可以實現人機互動游戲的問題。針對互動游戲系統的需求，結合人臉檢測技術的最新研究進展，提出了一種適用于互動游戲中的人臉檢測追蹤方法。突破人臉檢測應用于身份檢測的狹義領域，開放性的將其應用于互動游戲的控制。該游戲系統可根據客戶的需求，在設備里更換適合客戶商品展示的內容，并打印出相應的優惠券。不僅滿足不同客戶的要求，而且讓玩家在實現娛樂健身的同時又可以得到商家提供的優惠券，是一種新型獨特的促銷手段，具有極大的商業推廣空間。

1　系統簡介

該多媒體互動游戲裝置如圖1所示主要包括：顯示設備，攝像設備，處理器，打分計數器，打印設備。玩家站在游戲裝置正前方，跟隨顯示設備顯示連續動態掉落的元素做出相應動作，攝像設備捕捉玩家的臉部圖像，并定位追蹤玩家的臉部圖像。與顯示設備和攝像設備分別相連的處理器判斷臉部圖像與元素是否對接，然后打分計數器根據判斷進行計數打分，最后打印設備打印輸出打分結果。系統的工作流程如圖2所示。

圖1　裝置的硬件系統圖Fig.1　The hardware system diagram of the device

圖2　系統工作流程圖Fig.2　The flow chart of system work

2　互動游戲中人臉檢測與追蹤技術

視頻圖像序列中人臉的檢測和追蹤是整個互動游戲系統中最關鍵的部分，針對互動游戲的實時性要求，人臉檢測定位過程必須快速準確。大量研究發現，建立膚色模型進行人臉檢測，可有效排除面部姿態、表情等因素的干擾，且具有算法簡單，檢測迅速的優點，但其缺點是易受類膚色區域的干擾準確性差。因此，典型的人臉檢測系統一般先用膚色模型進行人臉初檢測，然后結合其它檢測方法精確檢測人臉[1-2]。文中采用膚色檢測與人臉局部特征檢測相結合的方法在運動目標中進行人臉檢測，前者主要標定出輸入圖像中可能存在人臉的類膚色區域；后者則通過人臉幾何特征及標志器官檢測逐步確立人臉區域位置，總體結構如圖3所示。該方法不僅充分發揮兩種檢測技術各自的優點，獲得較快的速度和較好的魯棒性，而且在三幀差分法圖像處理后的運動目標中進行人臉檢測，完成目標跟蹤的同時又可以減少背景環境對游戲互動的影響。

2.1圖像預處理

2.1.1光線補償

攝像頭自動對進入互動裝置拍攝范圍內的用戶進行圖像采集?？紤]到互動游戲裝置本身的可移動性及在游戲廳、餐廳、酒吧等燈光特效應用較多場所的市場需求，系統直接采集的視頻圖像序列很可能會受光線及設備自身的影響，存在噪聲及色彩偏差，影響人臉灰度的相對分布，進而直接影響人臉檢測與定位的準確性。因此，為滿足互動裝置的實用性要求，本系統對采集視頻圖像進行了自適應光線補償。每幅視頻圖像有N個像素點，設像素點亮度值為f（x，y），將圖像按亮度值從高到低分成256個灰度等級，第K級灰度值為mk，出現頻數為nk，則該灰度級出現頻率為Pm（mk）:

圖3　人臉檢測方法流程Fig.3　The flow chart of face detection process

K級以上灰度像素點的分布概率為：

系統自適應光線補償取圖像灰度分布前5%的像素點，即Sk≤5%，Sk-1≥5%時K級以上灰度的像素點，對其進行線性放大，使這些像素的平均亮度達到255[3-4]。另外，在此基礎上，其它的像素點則按照光線補償系數進行相應補償。

2.1.2運動目標區域提取

本互動游戲裝置采集的視頻序列中，人臉是一個運動區域，根據運動檢測和運動分析可以分離出視頻中的背景和前景。去除圖像中靜止背景區域的干擾，只在運動前景中檢測人臉，不僅保證檢測的準確性且滿足人臉快速實時檢測的要求。目前，常用的前景提取方法有背景差分法、光流法和幀差法[5-7]。背景差分法對動態場景變化要求較高，光流法能在運動攝像機中檢測出運動目標，但這種方法計算太復雜，不適合實時系統使用；而幀差法比較適合變化的動態場景，且實現簡單，計算速度快，適合互動裝置的實時處理。為了提高運動目標提取的可靠性，本系統采用連續三幀視頻圖像進行對稱差分。提取運動目標的具體步驟 ：首先，等時間間隔抽取3幀連續視頻圖像，并將k時刻抽取視頻圖像在位置（x，y）處的像素記為Fk（x，y），k代表t-Δt，t，t+Δt 3個時間點。設像素Fk（x，y）對應的灰度值為Hk（x，y）。將相鄰兩幀圖像分別進行差分處理：

若連續兩幀圖像灰度差分Dt（x，y），Dt+Δt（x，y）大于閾值Th，被判斷為運動點，賦值1，否則為靜止背景點，賦值0。然后，為了盡量減小背景因素的影響，增加運動目標提取的精確性，對Dt（x，y），Dt+Δt（x，y）進行相“與”運算。此處，閾值Th選取非常重要，如果取值太大，將會引入大量噪聲，取值太小，又會漏掉很多有效信息造成運動目標區域嚴重碎化。本文運用實時采集圖像的灰度值確定動態閾值的方法[8]，保證了視頻圖像中運動目標信息提取的準確性和完整性。

2.2人臉區域定位

該部分首先通過膚色和人臉典型幾何特征快速確定視頻圖像中可能存在人臉的區域；然后通過唇部檢測確定人臉區域及位置。本系統采用膚色和面部特征相結合的方法來確定視頻序列中的人臉，提高人臉檢測準確性的同時又達到了檢測實時性的要求。

2.2.1膚色檢測

面部膚色在聚類特性較好的YCbCr空間內，Cr范圍約為133～173，Cb的范圍約為77～128[9-10]。本系統根據YCbCr空間內Cr、Cb的這種特定分布，建立膚色模型對圖像處理后提取出的運動目標進行人臉粗檢測。首先需要將其從RGB色彩空間轉換到YCbCr空間，為了使Cb，Cr分量為正數以適應數字系統的處理，采用以下轉換公式:

然后，我們采用二維中值濾波器濾除空間轉換產生的噪聲，與其它濾波等方法相比，中值濾波不僅能有效濾除圖像中的孤立噪聲點，還能有效地保護邊界信息。通過公式（6）將圖像二值化處理，膚色點處理為亮白色，非膚色點處理為黑色像素點。

由于膚色建模是建立在色度空間的，忽略了亮度變化，這就造成人體其他裸露區域及運動的非人體區域等跟人臉膚色比較接近的區域可能被誤判為人臉的情況。因此，我們將膚色檢測后的多個類人臉連通區域進行標記后，首先通過類臉區域面積及其外接矩形長寬比及歐拉數幾個人臉幾何參數作為篩選條件，進行初步篩選，然后采用局部特征檢測確定人臉區域，并通過特征定位追蹤人臉的位置。

2.2.2幾何特征檢測

1）本應用系統中玩家跟攝像機的距離不會很遠，固輸入圖像中玩家面部區域占整個視頻圖像比例不應很小，因此首先我們將小于視頻圖像1/200的類人臉連通區域排除。

2）類人臉區域長寬比

③循環上述步驟，直到判定此區域的去留。

3）類人臉區域內孔洞數

由于互動游戲系統是正面人臉檢測，人臉圖像中必存在眼睛、眉毛（有時也存在嘴巴、鼻孔區域）等明顯的非膚色區域，固人臉區域至少有一個或多個孔洞，可以根據歐拉數準則濾除非人臉區域，設E為歐拉數，C為連通域數，H為孔洞數，則對人臉區域有：

舍棄E>0的非人臉區域。

2.2.3唇部檢測及面部區域定位

眼睛和嘴唇是人臉上與膚色特征分離較好的標志器官，考慮到玩家運動時，面部表情豐富可能存在閉眼的情況，本文采用唇部檢測及定位最終確定運動目標的人臉區域。通過采集圖像統計發現，在YCbCr空間中，相比其他面部膚色，嘴唇具有更高強度的Cr分量，Cr∈[145，160]。另一方面，人的膚色和唇色在而在YIQ顏色分布空間中具有明顯的聚類性和可分離性，唇色Q∈[16，30]。為了簡化運算量，選取通過人臉幾何特征驗證后的連通區域的下半部分進行唇部檢測（唇部在面部的下半部分）。RGB空間向YIQ空間轉換的公式為：

將滿足Cr∈[145，160]且Q∈[16，30]區域標定為唇部區域，并根據唇部在人臉中的分布規律，確定人臉區域。

3　互動游戲系統的實現與應用

圖4為多媒體游戲互動裝置的實物效果圖。如圖4（a）所示，基于該人臉檢測系統的游戲裝置可以對人的頭部運動做出準確快速的檢測和定位，在人臉正上方的小金碗隨著玩家的頭部運動做出實時準確反映，并根據接到掉落物品做出“＋40”分和“＋20”分的打分響應。如圖4（b）所示，經過不同的外觀設計，該互動游戲裝置可適用于不同的場所（酒吧、幼兒園、飯店等），得到了不同人群的廣泛喜愛。

圖4　基于人臉檢測的多媒體互動游戲裝置的實物效果圖Fig.4　The physical map of device

4　結束語

文中提出了一種適用于互動游戲系統的實時人臉檢測追蹤方案，首先采用幀差法跟蹤運動區域，然后通過膚色檢測及特征檢測相結合的方法快速精確的標定人臉區域?；谠撊四槞z測技術的互動游戲系統，通過定位跟蹤玩家臉部圖像，判斷與系統內設置掉落元素是否對接進行打分，并根據玩家最終得分打印出相應的商家優惠券?；佑螒蜓b置無需控制器即可操作，解決了人們長時間基于體感控制裝置玩游戲導致的手指、手腕、眼睛等器官或關節的過度疲勞、勞損等問題，是一種非常好的娛樂健身裝置。同時，該互動游戲裝置可根據客戶需求設置顯示的掉落元素，如可以設置成企業的產品或商標等，并打印出不同的優惠券，在實現娛樂使用者、達到商家宣傳的目的的同時，還起到了健身的作用，是現有任何基于體感控制的游戲裝置都無法比擬的，是一種具高度產業利用價值的文化創意展示系統[13-15]。

[1]顧偉，劉文杰，朱忠浩，等.一種基于膚色模型和模板匹配的人臉檢測算法[J].微型電腦應用，2014，30（7）:13-16.

[2]劉翠響，肖伶俐.基于視頻的人臉檢測綜述[J].電子設計工程，2011，19（14）:172-174.

[3]Hsu R L，Abdel-Mottaleb M，Jain A K.Face detection in color images[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2002，24（5）:696-706.

[4]Yang J，Waibel A.A real-time face tracker[C]//Applications of Computer Vision，1996.WACV'96.，Proceedings 3rd IEEE Workshop on.IEEE，1996:142-147.

[5]胡永，師京晶，郭小丹.基于圖像差分的背景差分算法改進及實驗數據分析 [J].實驗室研究與探索，2014，33（8）: 45-48.

[6]石祥濱，王萌，張德園，等.一種持續光流跟蹤的運動目標檢測方法[J].小型微型計算機系統，2014，35（3）:642-647.

[7]何烈云.幀間差分法車速測算技術誤差分析與處理[J].中國人民公安大學學報:自然科學版，2014（1）:56-59.

[8]陳磊，鄒北驥.基于動態閾值對稱差分和背景差法的運動對象檢測算法[J].計算機應用研究，2008，25（2）:488-490.

[9]田甜，樂嘉錦.基于膚色及 AdaBoost算法的改進的人臉檢測方法[J].計算機應用與軟件，2009，26（12）:79-81.

[10]Chai D，Ngan K N.Locating facial region of a head-andshoulders color image[C]//Automatic Face and Gesture Recognition，1998.Proceedings.Third IEEE International Conference on.IEEE，1998:124-129.

[11]李智勇，田貞.基于膚色模型的人臉檢測研究[J].現代電子技術，2011，34（3）:131-133.

[12]曾龍龍.基于視頻監控的實時人臉檢測與跟蹤算法研究[D].杭州:浙江理工大學，2012.

[13]湯欲濤，梁銳，劉暢.基于SOPC的人臉檢測系統的設計[J].電子設計工程，2014（21）:165-168.

[14]王寅.基于LARK特征提取的AdaBoost人臉檢測系統[J].電子科技，2014（7）:137-140.

[15]謝儀，鮑可進.智能視頻監控中人臉檢測的研究與實現[J].計算機測量與控制，2013（11）:2921-2923.

Study of multimedia interaction game system based on face detection technology

XI Ke，ZHOU Shan-shan，MA Xin-chun，ZHAO Wen-long
（Xinjiang Electronic Research Institute Company，Urumqi 830013，China）

To fast detecting and tracking human face in real-time video，a method based on the color and local character of face was proposed.Firstly，moving objects were extracted from the video with light compensation by frame difference method. Then skin-alike region was segmented based on skin color model established by specific distribution of Cr and Cb component in YCbCr color space.After median filter to remove noise，the non-face skin area was eliminated according to the geometric characters of face and the unique color characters of lips，and then player's face was accurate positioning in real-time video. Practical applications show that this interactive game system can fast accurate tracking the player's face，then processor marked according to whether players'face docking with falling objects by score counter，realizing the interaction effects finally.This interactive device has a huge commercial prospect，not only allowing players enjoy interaction experience without controller but also reaching the purpose of product promotion at the same time.

moving target tracking；face detection；skin model；lip detection；human-computer interaction

TP391

A

1674－6236（2016）01-0058-04

2015-04-20稿件編號：201504216

國家科技支撐項目（2013BAH29F00）；新疆維吾爾族自治區戰略新興項目；新疆烏魯木齊高新區科技計劃項目（KJJH2014023）

昔 克（1973—），女，新疆烏魯木齊人，碩士，高級工程師。研究方向：物聯網、嵌入式系統集成及應用。