基于kinect的家居安全防護(hù)系統(tǒng)

孟 歡

（江蘇科技大學(xué)電氣與信息工程學(xué)院，江蘇蘇州，215600）

基于kinect的家居安全防護(hù)系統(tǒng)

孟 歡

（江蘇科技大學(xué)電氣與信息工程學(xué)院，江蘇蘇州，215600）

為了更好的保障家庭生活的安全，本文提出了一種基于Kinect的家居安全防護(hù)系統(tǒng)。該系統(tǒng)利用Kinect傳感器的人體行為識(shí)別、深度數(shù)據(jù)探測(cè)的功能完成入侵檢測(cè)，并整合報(bào)警系統(tǒng)，形成了一整套的家居安全防護(hù)。此外，該系統(tǒng)可靠、有效，且操作簡(jiǎn)單，較傳統(tǒng)的安全防護(hù)系統(tǒng)更加精準(zhǔn)化、智能化。

Kinect；骨骼追蹤;人體行為識(shí)別;k均值聚類(lèi)算法;隱馬爾科夫模型

0　引言

隨著城鎮(zhèn)化的快速推進(jìn)，人們的生活水平和經(jīng)濟(jì)收入不斷提高。此外，城市的流動(dòng)人口數(shù)量也越來(lái)越大且相對(duì)復(fù)雜，入室盜竊、搶劫等案件經(jīng)常發(fā)生，人民的生命財(cái)產(chǎn)安全受到了極大的威脅。傳統(tǒng)的家庭安全防護(hù)系統(tǒng)主要由防盜窗、防盜門(mén)等機(jī)械式的家居防衛(wèi)系統(tǒng)和由普通攝像頭構(gòu)成的家庭監(jiān)控系統(tǒng)組成。然而機(jī)械式的家居防衛(wèi)系統(tǒng)存在著影響建筑美觀、市容整潔等問(wèn)題，傳統(tǒng)的家庭監(jiān)控系統(tǒng)存在著功能單一，智能化不足等問(wèn)題。面對(duì)當(dāng)前犯罪分子作案手段日趨技能化、智能化和暴力化，單靠傳統(tǒng)的家庭安全防護(hù)系統(tǒng)顯然是已經(jīng)不能滿(mǎn)足人們的需求。因此，針對(duì)上述問(wèn)題，本文提出了基于Kinect的家居安全防護(hù)系統(tǒng)。

1　Kinect傳感器

1.1簡(jiǎn)介

Kinect是由微軟研制出的一款3D體感攝像機(jī)，其主要的用途是實(shí)現(xiàn)人機(jī)之間的自然交互。起初，Kinect只是針對(duì)游戲主機(jī)XBOX360開(kāi)發(fā)出的體感外設(shè)，使用領(lǐng)域僅限于游戲領(lǐng)域。但是隨著該產(chǎn)品功能的不斷完善和技術(shù)的漸漸成熟，它開(kāi)始脫離XBOX360,直接和普通的電腦連接，逐漸應(yīng)用到其他領(lǐng)域。Kinect外觀如圖一所示。共有三個(gè)攝像頭，中間的是RGB攝像頭，可以用來(lái)獲取到640*480的彩色圖像，圖像采集速度可達(dá)30f/s（幀/秒）；左邊是紅外投影機(jī)，右邊是紅外攝像頭，用于獲取圖像的深度數(shù)據(jù)；Kinect的兩側(cè)是L型布局的麥克風(fēng)陣列，用于語(yǔ)音識(shí)別和聲源定位；下方還有一個(gè)內(nèi)置馬達(dá)的底座，可以通過(guò)編程控制和調(diào)整攝像頭的角度。

1.2工作原理

Kinect的工作原理主要是依靠三個(gè)攝像頭。其中紅外攝像頭的功能十分強(qiáng)大，該攝像頭能夠?qū)崿F(xiàn)捕捉圖片、識(shí)別顏色等功能。當(dāng)接收到紅外線(xiàn)投影機(jī)發(fā)出的紅外線(xiàn)，紅外攝像頭就可以通過(guò)識(shí)別物體的“深度場(chǎng)”，來(lái)識(shí)別人體的距離和特征。在“深度場(chǎng)”中，人體離Kinect越近，像素值越小，呈現(xiàn)的顏色越深。不同于傳統(tǒng)的TOF(Time of Flight)利用飛行時(shí)間算出目標(biāo)的距離和位置，Light coding 是給需要測(cè)量的空間打上激光散斑，根據(jù)測(cè)量出的散斑圖案計(jì)算出該物體在空間內(nèi)所處的位置。

2　系統(tǒng)設(shè)計(jì)方案

2.1硬件方案設(shè)計(jì)

圖一 Kinect外觀圖

圖二　系統(tǒng)硬件結(jié)構(gòu)圖

2.2軟件方案設(shè)計(jì)

系統(tǒng)的軟件設(shè)計(jì)采取模塊化處理方式，主要包含主程序、Kinect初始化、人體行為識(shí)別、無(wú)線(xiàn)傳輸、GSM報(bào)警短信發(fā)送和揚(yáng)聲器報(bào)警等模塊。Kinect初始化模塊負(fù)責(zé)對(duì)Kinect外設(shè)進(jìn)行初始化，是系統(tǒng)的基本模塊；人體行為識(shí)別模塊對(duì)Kinect視覺(jué)范圍內(nèi)的人體行為進(jìn)行檢測(cè)，判斷其是否有非法舉動(dòng)；無(wú)線(xiàn)傳輸模塊用于傳輸檢測(cè)結(jié)果；GSM模塊用于發(fā)送警報(bào)短信到指定的手機(jī)上；揚(yáng)聲器模塊用于發(fā)出警報(bào)聲驅(qū)趕非法入侵者。系統(tǒng)的軟件流程圖如圖三所示。

圖三 系統(tǒng)軟件流程圖

3　關(guān)鍵技術(shù)

3.1人體行為識(shí)別技術(shù)

本文通過(guò)Kinect傳感器對(duì)運(yùn)動(dòng)人體檢測(cè)，獲取骨架關(guān)節(jié)點(diǎn)的坐標(biāo)，并對(duì)運(yùn)動(dòng)特征進(jìn)行提取，最后利用隱馬爾科夫模型進(jìn)行人體行為識(shí)別。

3.1.1骨骼追蹤

首先，Kinect的COMS紅外傳感器通過(guò)黑白光譜的方式來(lái)感知環(huán)境并生成景深圖像流，并形成一幅代表周?chē)h(huán)境的景深圖像；然后采用分割策略把目標(biāo)人體從背景圖像中分離出來(lái)，并將圖像的像素?cái)?shù)據(jù)傳送到可以識(shí)別人體部位的機(jī)器學(xué)習(xí)系統(tǒng)中進(jìn)行判定，確定20個(gè)人體骨架的空間關(guān)節(jié)點(diǎn)。20個(gè)骨架的空間關(guān)節(jié)點(diǎn)如圖四所示。這20個(gè)空間關(guān)節(jié)點(diǎn)位置由一個(gè)X、Y、Z的三維直角坐標(biāo)系表示。由于Kinect獲取的骨架關(guān)節(jié)點(diǎn)是以Kinect的世界坐標(biāo)系作為參考系，所以為了統(tǒng)一參考系，根據(jù)空間直角坐標(biāo)系的轉(zhuǎn)化方程對(duì)關(guān)節(jié)點(diǎn)坐標(biāo)進(jìn)行轉(zhuǎn)換，建立人體關(guān)節(jié)點(diǎn)坐標(biāo)。

圖四　20個(gè)空間關(guān)節(jié)點(diǎn)

圖六　K均值聚類(lèi)算法流程圖

3.1.2運(yùn)動(dòng)特征提取

國(guó)家老齡化研究所負(fù)責(zé)監(jiān)管這筆新基金，所長(zhǎng)理查德·霍德斯（Richard Hodes）稱(chēng)，研究所不僅僅想擴(kuò)大現(xiàn)有的阿爾茨海默病實(shí)驗(yàn)室，還希望從其他領(lǐng)域吸引像貝克這樣的研究人員，帶來(lái)新的觀念，而且許多研究人員正在做出回應(yīng)。研究老齡化問(wèn)題的西雅圖市華盛頓大學(xué)教授馬特·凱伯林（Matt Kaeberlein）說(shuō)：“為了爭(zhēng)取到這筆基金，幾乎所有我認(rèn)識(shí)的人都在他們的資助申請(qǐng)中說(shuō)到了‘阿爾茨海默病’這個(gè)詞。”

在進(jìn)行分類(lèi)之前需要進(jìn)行運(yùn)動(dòng)特征提取。運(yùn)動(dòng)特征提取的過(guò)程即是把追蹤獲到的骨架關(guān)節(jié)點(diǎn)運(yùn)動(dòng)坐標(biāo)序列聚類(lèi)到有限的狀態(tài)集中，經(jīng)過(guò)矢量量化后使得每個(gè)行為被編碼成一個(gè)有限的符號(hào)序列，這樣，人體的骨架關(guān)節(jié)點(diǎn)的三維坐標(biāo)就被轉(zhuǎn)化為了符號(hào)序列。

這里使用的聚類(lèi)算法是K均值聚類(lèi)。K均值聚類(lèi)算法因簡(jiǎn)單高效而被廣泛地應(yīng)用在智能監(jiān)控方面。通過(guò)給定一個(gè)聚類(lèi)數(shù)目K，K均值聚類(lèi)算法便會(huì)使用距離函數(shù)把目標(biāo)分為K個(gè)聚類(lèi)。聚類(lèi)中心以及分配給它們的目標(biāo)所形成的簇集就代表一個(gè)聚類(lèi)。全部目標(biāo)都分配好之后，會(huì)根據(jù)聚類(lèi)中現(xiàn)有的目標(biāo)重新計(jì)算每個(gè)聚類(lèi)的聚類(lèi)中心。之后不斷重復(fù)這個(gè)過(guò)程，直到數(shù)據(jù)集中的任一目標(biāo)不再被分配給不同聚類(lèi)。K均值聚類(lèi)算法流程圖如圖六所示。

3.1.3分類(lèi)識(shí)別

本文采取的是隱馬爾科夫模型進(jìn)行分類(lèi)識(shí)別。這種模型以概率的方法來(lái)描述信號(hào)的變換過(guò)程，利用這種模型的特征可以很好的對(duì)人體行為進(jìn)行分類(lèi)識(shí)別。模型如圖七所示。

(1)選取初始參數(shù)

初始參數(shù)的選取非常重要，直接影響識(shí)別的結(jié)果。該模型可用矩陣來(lái)表示。根據(jù)該模型的拓?fù)浣Y(jié)構(gòu)特性，設(shè)置初始狀態(tài)概率矩陣=(1,0,0),狀態(tài)轉(zhuǎn)移矩陣A的初始值為

在初始化過(guò)程中，把全部狀態(tài)輸出的概率看作是均勻分布的。本文采用KTH數(shù)據(jù)庫(kù)，人體行為碼本M=30，所以觀察概率矩陣B的初始值為

(2)訓(xùn)練參數(shù)集合

參數(shù)的訓(xùn)練是根據(jù)一個(gè)來(lái)自于已知集合的觀察序列以及相關(guān)的一個(gè)隱藏狀態(tài)集，來(lái)估計(jì)一個(gè)合理的模型，即確定對(duì)已知的觀察序列描述最合適的模型參數(shù)三元組。一般通過(guò)采用Baum-Welch算法的多觀察樣本序列重估公式來(lái)訓(xùn)練模型參數(shù)。

(3)行為識(shí)別分類(lèi)

在模型庫(kù)建立好之后，對(duì)于給定的一系列未知的人體行為,首先獲取觀察符號(hào)序列,然后將其輸入到模型庫(kù)中，利用前向算法計(jì)算出觀察符號(hào)序列的似然概率P,最后利用貝葉斯最大后驗(yàn)概率判定方法確定待識(shí)別行為的所屬分類(lèi)。行為識(shí)別過(guò)程如圖八。

3.1.4人體行為識(shí)別技術(shù)在本系統(tǒng)中的應(yīng)用

本系統(tǒng)中，利用Kinect獲取深度圖像，并在PC上使用Kinect for Windows SDK進(jìn)行骨骼追蹤，即使出現(xiàn)身體、面部遮擋的情況也一樣可以獲取骨骼數(shù)據(jù)。Kinect最多能夠同時(shí)追蹤6個(gè)人，并確定他們具體的位置，還能夠提供其中兩個(gè)人的骨骼追蹤數(shù)據(jù)。站立模式可以追蹤20個(gè)關(guān)節(jié)點(diǎn)，坐姿模式可以追蹤10個(gè)關(guān)節(jié)點(diǎn)。提取到關(guān)節(jié)點(diǎn)空間坐標(biāo)之后，再利用Kinect for Windows SDK進(jìn)行運(yùn)動(dòng)特征提取和行為分類(lèi)識(shí)別。如果Kinect檢測(cè)到監(jiān)控中人體出現(xiàn)非法行為，那么PC會(huì)通過(guò)XL02-232API無(wú)線(xiàn)傳輸模塊把檢測(cè)結(jié)果發(fā)給單片機(jī)，由單片機(jī)發(fā)送警報(bào)短信和警報(bào)聲，阻止非法入侵。

4　結(jié)束語(yǔ)

當(dāng)前，隨著計(jì)算機(jī)技術(shù)的持續(xù)發(fā)展，智能家居已經(jīng)成為嵌入式系統(tǒng)和物聯(lián)網(wǎng)研究的熱點(diǎn)。家庭安全防護(hù)系統(tǒng)作為智能家居的重要組成部分，其發(fā)展也是極為重要。本文以Kinect傳感器為基礎(chǔ)，利用深度圖像數(shù)據(jù)進(jìn)行人體行為識(shí)別，并使用GSM模塊和揚(yáng)聲器構(gòu)成報(bào)警裝置，從而形成一種更加智能的家庭安全防護(hù)系統(tǒng)。該系統(tǒng)成本低廉，操作簡(jiǎn)單，如果能將該系統(tǒng)有效地應(yīng)用到智能家居中，那么無(wú)疑會(huì)帶來(lái)智能家居產(chǎn)業(yè)的重大變革。

圖七　隱馬爾科夫模型拓?fù)浣Y(jié)構(gòu)

圖八　行為識(shí)別流程圖

[1]張?jiān)姵?錢(qián)冬明.體感技術(shù)現(xiàn)狀和發(fā)展研究[J].華東師范大學(xué)學(xué)報(bào):自然科學(xué)版,2014,(2):40-49.

[2]劉飛.基于Kinect骨架信息的人體動(dòng)作識(shí)別:(碩士學(xué)位論文).上海:東華大學(xué),2014.

[3]傅曉英.基于半連接HMM模型的人體行為識(shí)別研究與實(shí)現(xiàn):(碩士學(xué)位論文).北京:北京交通大學(xué),2009.

[4]黃康泉,陳壁金等.Kinect在視頻會(huì)議系統(tǒng)中的應(yīng)用[J].廣西大學(xué)學(xué)報(bào):自然科學(xué)版,2011,36(1):308-313.

[5]馬國(guó)強(qiáng),田云臣等.K-均值聚類(lèi)算法在海水背景石斑魚(yú)彩色圖像分割中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用與軟件,2016,33(5):192-195.

A system based on kinect to realize safety protection of smart home

Meng Huan
(College of Electrical and Information Engineering,Jiangsu University of Science and Technology,Suzhou,215600)

In order to ensure the safety of the life of the family preferably,a system based on kinect to realize safety protection of smart home is presented in this article.The system makes use of the function of the kinect such as human action recognition and the exploration of depth data to complete the intrusion detection and integrates alarm system so that form a whole set of safety protection of smart home.Besides, the system iseffective,reliable and easy to operate.Compare with traditional system,it ismoreprecision and intelligence.

Kinect;Skeletal;Human action recognition;K-means clustering algorithm;Hidden Markov Model

孟歡（1996-），男，江蘇鹽城人，江蘇科技大學(xué)在校本科生。