基于微軟Kinect的體感控制智能窗簾系統(tǒng)

羅偉 梁世豪 姜鑫 安妮 杜銳

摘 要：設(shè)計(jì)了一種基于微軟Kinect的體感控制智能窗簾系統(tǒng)。采用微軟Kinect v1傳感器及其開(kāi)發(fā)者工具包（SDK）和Microsoft Visual Studio集成開(kāi)發(fā)環(huán)境作為核心開(kāi)發(fā)工具，并和基于80c51單片機(jī)的步進(jìn)電機(jī)控制系統(tǒng)組成體感控制智能窗簾系統(tǒng)。能夠通過(guò)Kinect體感傳感器對(duì)人體肢體動(dòng)作識(shí)別并做判斷，并將判斷結(jié)果通過(guò)串口通訊傳送至單片機(jī)控制步進(jìn)電機(jī)系統(tǒng)，從而使得通過(guò)肢體動(dòng)作控制窗簾系統(tǒng)的開(kāi)啟和關(guān)閉。本系統(tǒng)具有動(dòng)作判斷準(zhǔn)確、易于針對(duì)特殊群體進(jìn)行拓展開(kāi)發(fā)、使用方便等優(yōu)點(diǎn)，在智能家居、殘疾人士輔助工具方面有較大應(yīng)用價(jià)值。

關(guān)鍵詞：Kinect傳感器; 智能窗簾; 體感識(shí)別; 單片機(jī); 殘疾人輔助

中圖分類號(hào)： TN710

文獻(xiàn)標(biāo)志碼： A

Abstract：A somatosensory control intelligent curtain system based on Microsoft Kinect was designed. Microsoft Kinect v1 sensor and its developer kit （SDK） was adopted and Microsoft Visual Studio integrated development environment was used as the core of development， and a somatosensory control intelligent curtain system was developed by using the stepping motor control system which was based on the 80c51 single-chip microcomputer. The Kinect sensor was used to identify and judge the human body motion， and the judgment result was transmitted to the single-chip microcomputer to control the stepping motor system through serial communication， thereby controlling the opening and closing of the curtain system through the limb motion. The system has the advantages of accurate action judgment， easy development and specialization for special groups， and has strong application value in smart home and assistive tools for the disabled.

Key words：Kinect sensor; Smart curtain; Somatosensory recognition; Microcontrollers; Disabled assistance

0 引言

智能家居由于其獨(dú)特的智能和便捷被人們廣泛關(guān)注和使用。窗簾作為智能家居不可分割的一部分，其使用模式和便捷程度一直備受關(guān)注。在智能家居中傳統(tǒng)的智能窗簾使用方式基本分為自動(dòng)定時(shí)控制、光強(qiáng)感應(yīng)控制[1-3]、聲控控制[3]、傳統(tǒng)遙控及手機(jī)App遠(yuǎn)程控制[4]等幾類。上述幾類傳統(tǒng)智能窗簾為生活提供便利的同時(shí)也具有各自的局限性，如自動(dòng)定時(shí)和光強(qiáng)感應(yīng)窗簾不能滿足用戶隨時(shí)需要開(kāi)窗的需求、聲控控制窗簾雖然可以滿足用戶隨時(shí)開(kāi)窗但不能應(yīng)用于失聲人群并且使用過(guò)程中必須發(fā)出聲音可能會(huì)打擾到工作或休息的人群、遙控或App控制窗簾操作繁瑣且遙控或手機(jī)經(jīng)常會(huì)遺忘放在某個(gè)角落不易隨時(shí)使用，并且對(duì)老齡幼齡或其他不會(huì)操作遙控或App的人群的使用產(chǎn)生障礙。

針對(duì)上述傳統(tǒng)窗簾所出現(xiàn)的問(wèn)題，本文提出了一種基于微軟Kinect的體感控制智能窗簾系統(tǒng)的設(shè)計(jì)，此設(shè)計(jì)僅需要通過(guò)上半身肢體動(dòng)作即可對(duì)窗簾進(jìn)行控制，可為用戶提供容易操作、安靜、可隨時(shí)控制的便捷性并且可為下肢和語(yǔ)言表達(dá)等方式不便的人群使用。

1 系統(tǒng)總體設(shè)計(jì)方案

1.1 系統(tǒng)整體結(jié)構(gòu)

系統(tǒng)整體結(jié)構(gòu)如圖1所示。

由Kinect傳感器[5]、電源、主機(jī)、串口通訊[6]、51步進(jìn)電機(jī)模塊和簡(jiǎn)易窗簾模型構(gòu)成，具體實(shí)物圖如圖2所示。

系統(tǒng)運(yùn)行的流程為預(yù)先在體感肢體動(dòng)作判定主程序內(nèi)設(shè)置所用四個(gè)肢體動(dòng)作閾值范圍，然后用戶通過(guò)在微軟Kinect體感傳感器前做出相應(yīng)的動(dòng)作，傳感器將捕捉到的肢體信息傳入肢體判定主程序并輸出相應(yīng)的結(jié)果指令，之后將相應(yīng)的結(jié)果指令通過(guò)串口通訊發(fā)送至單片機(jī)驅(qū)動(dòng)步進(jìn)電機(jī)系統(tǒng)，接受到相應(yīng)指令的單片機(jī)將驅(qū)動(dòng)步進(jìn)電機(jī)從而對(duì)窗簾系統(tǒng)的開(kāi)閉進(jìn)行控制。

其中Kinect體感判定程序由C#語(yǔ)言編寫，開(kāi)發(fā)環(huán)境為Microsoft Visual Studio2010。單片機(jī)控制步進(jìn)電機(jī)程序由C語(yǔ)言編寫，開(kāi)發(fā)環(huán)境為keil uVision4，用STC-ISP作為單片機(jī)程序?qū)懭胲浖?/p>

1.2 系統(tǒng)硬件結(jié)構(gòu)

整個(gè)系統(tǒng)分為上位機(jī)和下位機(jī)：

1.上位機(jī)為連接Kinect傳感器的筆記本電腦，是整個(gè)體感控制的核心。

所用硬件：微軟Kinect v1傳感器、筆記本電腦。

2.下位機(jī)為單片機(jī)控制步進(jìn)電機(jī)系統(tǒng)，此部分為一個(gè)簡(jiǎn)單的單片機(jī)驅(qū)動(dòng)步進(jìn)電機(jī)程序。所用模塊：STC89C52RC微控制器、步進(jìn)電機(jī)模塊、USB串口通訊模塊、自制簡(jiǎn)易窗簾模型。

2 體感智能窗簾關(guān)鍵技術(shù)

2.1 Light coding技術(shù)

Kinect傳感器的核心技術(shù)為光編碼（Light coding）技術(shù)，使用連續(xù)光對(duì)投射空間進(jìn)行編碼，通過(guò)紅外線接收器讀取編碼的光線并解碼，即可產(chǎn)生具有深度信息的圖像。所使用的的為激光散斑光源，即當(dāng)激光穿透毛玻璃照或射到粗糙物體會(huì)隨即形成衍射斑點(diǎn)，此斑點(diǎn)具有高度隨機(jī)性并且會(huì)根據(jù)斑點(diǎn)距離不同而形成不同的圖案[7]。而Kinect通過(guò)紅外投射機(jī)向測(cè)量空間中發(fā)射紅外線并對(duì)所投射空間進(jìn)行編碼，通過(guò)紅外攝像頭對(duì)這些反射的隨機(jī)編碼斑點(diǎn)進(jìn)行獲取，將獲取的數(shù)據(jù)經(jīng)過(guò)系統(tǒng)解碼處理建立物體在空間中的具有深度信息的三維模型[8]。

2.2 骨骼點(diǎn)追蹤技術(shù)

通過(guò)對(duì)Kinect紅外線投射器和紅外線攝像頭獲取的數(shù)據(jù)流進(jìn)行處理從而對(duì)空間中的人體建立三維人體模型，再通過(guò)對(duì)人體三維模型的分析從而確定模型中人體的20個(gè)骨骼跟蹤點(diǎn)[9]，人體骨骼跟蹤點(diǎn)如圖3所示。

此設(shè)計(jì)判定肢體動(dòng)作主要用到了三個(gè)骨骼點(diǎn)分別是HAND RIGHT、HAND LEFT、HEAD，其中每個(gè)骨骼點(diǎn)都有位置坐標(biāo)（x，y），坐標(biāo)值單位為米。具體判斷方法為如果HAND RIGHT的橫坐標(biāo)值小于HEAD橫坐標(biāo)值減去0.5或HAND LEFT的橫坐標(biāo)值大于HEAD橫坐標(biāo)值加上0.5時(shí)即判定右手或左手抬起[10]。

3 系統(tǒng)硬件設(shè)計(jì)

3.1 微軟Kinect傳感器

微軟Kinect傳感器設(shè)備如圖4所示。

在基座和感應(yīng)器之間為一個(gè)能夠通過(guò)程序調(diào)整感應(yīng)器俯仰角度的電動(dòng)機(jī)，在上面的感應(yīng)器中從左至右分別為紅外線投射器、傳感器工作狀態(tài)指示燈、彩色攝像頭、紅外線攝像頭，另外傳感器底部有一排麥克風(fēng)陣列用作獲取音頻數(shù)據(jù)和背面有一個(gè)散熱風(fēng)扇。其中彩色攝像頭紅和外線攝像頭分別支持1280*960和640*480分辨率成像[11]。

3.2 51單片機(jī)驅(qū)動(dòng)電機(jī)系統(tǒng)

下位機(jī)單片機(jī)驅(qū)動(dòng)電機(jī)系統(tǒng)的原理圖，如圖5所示。

此系統(tǒng)主要由四個(gè)部分組成：串口通訊電路、51單片機(jī)電路、電源電路、步進(jìn)電機(jī)驅(qū)動(dòng)電路[12]。核心處理部分采用STC89C52RC微控制器，首先通過(guò)電源電路對(duì)整個(gè)系統(tǒng)供電，然后檢測(cè)串口通訊電路是否傳來(lái)相關(guān)控制指令，當(dāng)單片機(jī)接受到步進(jìn)電機(jī)控制指令時(shí)將控制步進(jìn)電機(jī)的正轉(zhuǎn)、反轉(zhuǎn)或暫停從而帶動(dòng)窗簾的開(kāi)啟關(guān)閉或暫停。

4 系統(tǒng)軟件設(shè)計(jì)

4.1 肢體動(dòng)作檢測(cè)程序

肢體動(dòng)作檢測(cè)判斷程序流程圖，如圖6所示。

當(dāng)程序啟動(dòng)時(shí)首先對(duì)系統(tǒng)初始化，然后獲取串口通訊模塊的指令，若未獲得相應(yīng)指令則繼續(xù)檢測(cè)串口模塊，當(dāng)獲得相應(yīng)指令時(shí)判斷質(zhì)量是否為暫停、正轉(zhuǎn)或反轉(zhuǎn)，若不是此三種指令則繼續(xù)檢測(cè)串口模塊獲取指令，當(dāng)檢測(cè)為三種指令其中一種時(shí)則向步進(jìn)電機(jī)模塊發(fā)送相應(yīng)的操作指令，從而控制步進(jìn)電機(jī)的正轉(zhuǎn)、反轉(zhuǎn)或暫停。

5 系統(tǒng)測(cè)試結(jié)果與分析

5.1 系統(tǒng)實(shí)測(cè)結(jié)果與數(shù)據(jù)分析

體感智能窗簾系統(tǒng)的整體測(cè)試效果圖，如圖8、圖9所示。

為了便于觀察在骨骼追蹤時(shí)只顯示三個(gè)骨骼點(diǎn)分別是頭部、左手和右手，并且將未達(dá)到預(yù)設(shè)閾值的個(gè)骨骼點(diǎn)顯示為常規(guī)小圓點(diǎn)，將達(dá)到預(yù)設(shè)閾值的骨骼點(diǎn)顯示為大圓點(diǎn)。在圖8中圖片為模擬正常人站立時(shí)的體感操作，在圖9中圖片為模擬不能站立的殘疾人士或想躺在床上操作窗簾系統(tǒng)的人士的體感操作。此系統(tǒng)共定義了如圖8、9自左到右、自上到下圖片分別表示為雙手未抬起、左手抬起、右手抬起和雙手抬起四個(gè)操作動(dòng)作。

為測(cè)試此體感檢測(cè)系統(tǒng)的動(dòng)作識(shí)別率，將每個(gè)動(dòng)作進(jìn)行300次重復(fù)測(cè)試并記錄檢測(cè)成功的次數(shù)，動(dòng)作識(shí)別率為檢測(cè)成功動(dòng)作次數(shù)與所做動(dòng)作總次數(shù)的比值。測(cè)試記錄如表1所示。

在300次重復(fù)動(dòng)作測(cè)試中站立左右手未抬起動(dòng)作識(shí)別率最高約為99.34%，平躺右手抬起動(dòng)作識(shí)別率最低約為96.67%，其中站立右手抬起、左手抬起和雙手抬起的識(shí)別率分別約為98.00%、98.67%和98.00%，平躺左右手未抬起、左手抬起和雙手抬起的動(dòng)作識(shí)別率約為97.67%、98.33%和97.00%，站立和平躺全部動(dòng)作總體識(shí)別率約為98.50%和97.42%。如圖8、9和表1中所示實(shí)測(cè)結(jié)果表明，此套系統(tǒng)能夠以約96%以上的識(shí)別率識(shí)別人體雙手或單手抬起動(dòng)作。

不同體感動(dòng)作各300次測(cè)試對(duì)應(yīng)的電機(jī)及窗簾正確狀態(tài)的次數(shù)，如表2所示。

由表中統(tǒng)計(jì)可得在站立及平躺的場(chǎng)景下左右手未抬起動(dòng)作識(shí)別成功時(shí)電機(jī)和窗簾都為停止?fàn)顟B(tài)、右手抬起動(dòng)作識(shí)別成功時(shí)電機(jī)反轉(zhuǎn)窗簾開(kāi)啟、左手抬起動(dòng)作識(shí)別成功時(shí)電機(jī)為正轉(zhuǎn)窗簾關(guān)閉、當(dāng)雙手同時(shí)抬起動(dòng)作識(shí)別成功時(shí)電機(jī)停止窗簾也停止，在對(duì)動(dòng)作未識(shí)別成功時(shí)電機(jī)和窗簾都保持原狀態(tài)。根據(jù)表2所示的不同體感動(dòng)作各300次實(shí)測(cè)結(jié)果可得，此系統(tǒng)若上位機(jī)動(dòng)作檢測(cè)判定系統(tǒng)能成功檢測(cè)體感動(dòng)作則下位機(jī)步進(jìn)電機(jī)系統(tǒng)就能完成對(duì)步進(jìn)電機(jī)的正反轉(zhuǎn)控制，此過(guò)程中沒(méi)有出現(xiàn)失誤，即整個(gè)系統(tǒng)的穩(wěn)定程度可由97%體感檢測(cè)識(shí)別率代替，該系統(tǒng)較為穩(wěn)定。

5.2 不同控制方式的對(duì)比分析

不同控制方法的智能窗簾優(yōu)缺點(diǎn)對(duì)比，如表3所示。

Kinect體感控制窗簾相對(duì)于其他幾種控制方法突出的優(yōu)點(diǎn)主要為體感動(dòng)作簡(jiǎn)單易學(xué)、操作無(wú)聲、可為失聲或下肢行動(dòng)不便的特殊人群使用和可隨時(shí)操作等，缺點(diǎn)為易誤觸發(fā)、制作成本高和功耗高。

6 總結(jié)

體感控制為通過(guò)對(duì)肢體動(dòng)作的識(shí)別和判定從而與周圍環(huán)境或設(shè)備互動(dòng)的一種控制方法，這種控制方法目前已被大量的應(yīng)用在游戲、教育[14]及虛擬現(xiàn)實(shí)[15]等行業(yè)。

系統(tǒng)測(cè)試結(jié)果表明此基于Kinect的體感控制窗簾系統(tǒng)可以通過(guò)識(shí)別判斷人的肢體動(dòng)作來(lái)控制窗簾的開(kāi)啟、關(guān)閉和停止。此系統(tǒng)可以在提高智能家居體驗(yàn)科幻感的同時(shí)為下肢或表達(dá)不便的特殊人群提供自主開(kāi)關(guān)窗簾的便利。此設(shè)計(jì)是基于Kinect體感控制的一個(gè)方向的研究，具有較大的實(shí)際應(yīng)用價(jià)值，在此基礎(chǔ)上可以對(duì)其進(jìn)行二次開(kāi)發(fā)為如體感門窗開(kāi)關(guān)、體感燈具、體感飛行器等應(yīng)用。但由于每個(gè)人一天可能會(huì)無(wú)意間做出很多種動(dòng)作，假設(shè)其中某一個(gè)動(dòng)作和此設(shè)計(jì)預(yù)設(shè)的動(dòng)作相似，將會(huì)造成對(duì)系統(tǒng)的誤操作。為了避免此問(wèn)題的出現(xiàn)，目前較好的思路就是將Kinect體感系統(tǒng)與定時(shí)或聲控等功能相結(jié)合，或者設(shè)置特殊的連貫手勢(shì)動(dòng)作作為體感系統(tǒng)的啟動(dòng)、關(guān)閉動(dòng)作。并且現(xiàn)階段整體系統(tǒng)需要微軟Kinect體感設(shè)備和相應(yīng)的主機(jī)設(shè)備支持造成了此系統(tǒng)功耗較大、成本較高等缺點(diǎn)。隨著體感技術(shù)和智能家居等科技的不斷發(fā)展，體感傳感器等硬件成本和功耗將會(huì)更加低廉和多種控制方式結(jié)合的出現(xiàn)，在未來(lái)將會(huì)出現(xiàn)更多惠及生活的體感研究和應(yīng)用[16]。

參考文獻(xiàn)

[1] 楊成慧，王書志，何佑星，等.一種基于STC89C52的智能窗簾控制系統(tǒng)設(shè)計(jì)[J].自動(dòng)化與儀器儀表，2016（6）：246-248.

[2] 譚艷春，武琰.智能窗簾控制系統(tǒng)的仿真與設(shè)計(jì)[J].電子技術(shù)與軟件工程，2019（12）：239-240.

[3] 趙健，吳順偉，陳興美，等.基于單片機(jī)的光敏窗簾及聲控?zé)粝到y(tǒng)的設(shè)計(jì)[J].泰山學(xué)院學(xué)報(bào)，2013，35（3）：101-103.

[4] 唐衛(wèi)斌，宋亞峰.基于boa嵌入式的智能家居系統(tǒng)的設(shè)計(jì)[J].電子設(shè)計(jì)工程，2019，27（10）：173-177.

[5] 千承輝，邵晶雅，夏濤，等.基于Kinect的手語(yǔ)識(shí)別方法[J].傳感器與微系統(tǒng)，2019，38（6）：31-34.

[6] 王公仆，王文成.計(jì)算機(jī)與單片機(jī)的串口通訊程序設(shè)計(jì)[J].輕工機(jī)械，2007（3）：103-105.

[7] 賈同，吳成東，陳東岳，等.一種基于全向結(jié)構(gòu)光的深度測(cè)量方法[J].自動(dòng)化學(xué)報(bào)，2015，41（9）：1553-1562.

[8] 張志林，苗蘭芳.Kinect v2的三維物體重建系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)應(yīng)用與軟件，2019，36（6）：136-141.

[9] 吳秦，陳智，周宇旋，等.基于Kinect骨骼跟蹤技術(shù)的人機(jī)交互[J].常州大學(xué)學(xué)報(bào)（自然科學(xué)版），2014，26（3）：6-12.

[10] 樊景超，周國(guó)民.基于Kinect骨骼跟蹤技術(shù)的手勢(shì)識(shí)別研究[J].安徽農(nóng)業(yè)科學(xué)，2014，42（11）：3444-3446.

[11] 吳國(guó)斌，李斌，閆驥洲.Kinect人機(jī)交互開(kāi)發(fā)實(shí)踐[M].北京：人民郵電出版社，2015.

[12] 陳慧琴.基于STC89C51單片機(jī)步進(jìn)電機(jī)控制系統(tǒng)的設(shè)計(jì)[J].山東工業(yè)技術(shù)，2016（18）：187-188.

[13] 李杰.體感交互游戲中的人體骨骼跟蹤技術(shù)研究[J].現(xiàn)代計(jì)算機(jī)（專業(yè)版），2014（9）：58-61.

[14] 王鈺文，鄧嶸，曾鳴.Kinect技術(shù)對(duì)石油高校實(shí)驗(yàn)教學(xué)的作用[J].實(shí)驗(yàn)科學(xué)與技術(shù)，2018，16（5）：104-108.

[15] 劉肖佑，田立國(guó)，張馳宇，等.智能體感虛擬現(xiàn)實(shí)交互運(yùn)動(dòng)系統(tǒng)[J].科技創(chuàng)新與應(yīng)用，2019（3）：37-38.

[16] 賈騁，李妍，毛豐.體感技術(shù)應(yīng)用現(xiàn)狀與展望[J].科技傳播，2018，10（12）：102-103.

（收稿日期： 2019.08.08）