基于Leap Motion手勢控制的智能家居輔助控制系統研究

劉希睿 蔣江紅 唐盼

摘要：如今智能家居概念逐漸普及并且已經發展應用到生活的多個方面。針對殘疾人士及兒童缺乏人機交互的缺陷，對智能家居使用方式進行創新以及進一步開發。首先，展示以KEA128作為單片機的下位機系統設計與實現；然后，選擇藍牙無線網絡通信技術作為通信橋；最后，詳細介紹Leap Motion實現原理、手勢定義設計及其具體實現。文章介紹了本系統在智能家居的基礎上進行的應用創新，提供更智能化的生活。實驗證明，智能家居環境中可以應用Leap Motion作為新型控制模式。

關鍵詞：Leap Motion；手勢控制；智能家居

隨著現代科技的迅速發展與人們日益生活水平的提高，智能家居的概念逐漸走入人們的視野，如今已經應用到生活的多個方面，如自動化控制、醫療、智能家電等。越來越多的研究機構研發智能家居產品，如國外的MIT，IBM，Microsoft[1]，還有國內的華為、小米等。人們對智能家居概念的理解越深入，越相信科技能改善生活條件[2]。智能家居系統是指可以及時地[3]滿足用戶各種個性化需求、擬人化的系統。該系統利用計算機技術、綜合布線技術、網絡通信技術，集結構、服務、管理、控制為一體[4]，實現家具的智能化，提供交互功能，使家居生活更加舒適、便捷[5]。

傳統的智能家居終端以手機、平板或者電腦為主，雖然使用簡便，但是對于手指有點觸障礙的人群以及小孩來說手機平板點觸式的控制方式并不適用[6]。考慮到小孩子以及生活難以自理的殘疾人士的生活習慣，本系統在原先智能家居的基礎上加入手勢控制方式，可以滿足生活中人們的需求。實現新型的家居智能化，為用戶的家庭生活提供豐富多樣的交互模式和舒適便捷的操作體驗。

本系統針對智能家居使用方式進行應用創新，采用手勢識別對家具電器進行操控。本系統通過對Leap Motion智能手勢感應器的進一步開發，定義簡單的手勢動作，達到控制家居家電的目的。實驗中選擇成熟的藍牙技術作為通信連接橋，采用KEA128單片機，使用Leap Motion作為手勢智能識別器感知手勢動作，并且將捕捉到的手勢軌跡信息發送到中央控制臺中。控制臺統籌管理計算并將信息傳遞給下位機，下位機根據接收到的數據消息執行相應的動作。

1 硬件結構設計

1.1 單片機選取與結構設計

選擇NXP Semiconductors公司生產的KEA128AMLK單片機作為控制器，這款單片機有代碼燒錄用和供電用的引腳，同時，還可以快速地完成指令與獲取數據[7]。

實驗電路中只取12個控制引腳用于電路控制，其余未使用的引腳為高阻態。可以控制8個家用電器（220 V電源）和4個低功耗用電器（5 V供電）。

5 V電路中采用低壓差穩壓器TPS7350QDR，圖1為5 V穩壓電路。該芯片是TI公司的一款超低壓差LDO，具有完善的保護電路功能，包括過流、過壓、電壓反接保護[8]。使用這個芯片只需要極少的外圍元件就能構成高效的穩壓電路。與LM2940及AS1117穩壓器件相比，TPS7350具有更低的工作壓降和更小的靜態工作電流。使用此穩壓器可以使電池獲得相對更長的使用時間。由于熱損失小，因此無需專門考慮散熱問題。TPS7350作為線性穩壓芯片[9]、紋波小，能為單片機及片外AD模塊提供穩定的工作電壓。

1.2 控制開關選擇

考慮到家用電器分為大功率電器與小功率電器。對于大功率電器，使用繼電器[10]作為控制開關；于小功率電器選擇高壓N溝道MOS管。

大功率電器使用繼電器作為控制開關，實驗中采用高電位控制器[11]；小功率電器采用集成MOS管BTS7960。BTS7960是半橋驅動芯片[12]，只需要1個芯片便可以驅動一個電機、一個小燈泡或者其他低功耗電器。該芯片電流最高43 A，內阻極小，所以發熱不厲害，能夠滿足家庭長時間使用的需要。

1.3 系統設計

在電路設計中使用小容量的鉭電容，因為等效串聯電阻（Equivalent Series Resistance，ESR）阻值低[13]，系統不易穩定，這時可通過串接0.7Ω左右的電阻解決。但是如果電容的值比較大（10 μF以上），為保證系統的穩定，需要ESR在0.1Ω以上。因此，我們采用在輸入端和輸出端分別并聯100μF鉭電容和0.1μF貼片電容的方式使系統更加穩定。

2 藍牙技術

2.1 通信模塊選擇

如今流行的無線通信模塊有WiFi，ZigBee，藍牙。表1為三者之間優缺點比較。比較以上三者的優缺點，選擇如今較為成熟的藍牙技術作為通信模塊。

2.2 藍牙技術分析

藍牙是一種無線數據與語音通信的開放性全球規范[21]。藍牙的工作頻段為2.4 GHz，數據速率為1 Mb/s，它低成本的無線連接技術為移動設備提供通用的接口。藍牙具有的跳頻技術可以防止信號衰弱、減弱無線電產品對其的干擾，以保證鏈路穩定，使藍牙通信模塊比其他模塊更穩定可靠[22]。因此，選擇藍牙無線網絡技術作為通信模塊非常合適。

2.3 串口通信設計

藍牙模塊與主機之間通過串口發送數據文件進行通信，主機每向單片機發送控制指令，單片機都會返回相應的執行情況，向主機表明執行情況和現在的狀態。

此處對應5個方法：InitPort（UINT portNo），OpenListenThread（）， WriteData（unsigned char* pData，unsigned int length），CloseListenThread（），ClosePort（）。portNo為串口對應的數字，該系統中向下位機發送數據的串□為 COM3。

3 Leap Motion工作原理與手勢設計

3.1 Leap Motion工作原理

Leap Motion的雙目攝像頭[23]使用紅外線熱感應器成像[24]，可以根據從不同角度捕捉到的畫面快速構建三維空間[25]中手的運動信息[26-27]。該信息含有手的每一個姿勢和手指的動作信息[28]，并且能識別出手中拿的工具，如鉛筆。圖3為Leap Motion構建的三維坐標系。其中手的運動信息包括手掌的列表信息，每一組這樣的信息被稱為“幀”，每個幀對象都會包含一組手掌列表信息。

3.2 Leap Motion手勢控制設計

定義手勢的實際意義如表2所示。手掌向前為打開開關指令，向后為關閉開關指令，向左向右為選擇指令。

3.3 Leap Motion手勢控制實現

從frame.hands（）中獲取手掌信息，Controller.addListener（listener）獲取監聽權限，可以得到手掌的“幀”信息。從幀中得到前后兩次手掌的位置。圖3表示LeapMotion手勢控制實現流程。

分別記前后兩次手掌的位置為LastPosition和FormerPosition。根據方法hands（）[x].palmPosition（）可以得到手掌掌心的位置。比較前后兩次手掌掌心的位置坐標，得到手掌的運動信息。設xLast和zLast為后一次手掌位置坐標，XFOR和ZFOR為前一次。記：

disX表示前后手掌在X軸上的位移差，disZ表示Z軸上的位移差。根據disX與disZ可以得到手掌的詳細運行情況，差值判定手掌運動情況模型如下：

4 結語

通過實驗發現，手離傳感器越近，但不低于Leap Motion的最低范圍時，獲取的數據精確度最高。

實驗中存在不可避免的誤差：測試的時間不同導致光線不同；并且每個人手運動軌跡也會有偏差。然而這些問題在實際應用中是不允許出現的，因此該算法仍然還有改進的空間。

實驗證明，手勢控制方式理念可以加入到智能家居中作為新型的控制方式。同時，可以定義更多豐富的手勢，為其加入真實的意義。未來智能家居的發展必定呈欣欣向榮之態發展，并且控制方式也會多樣化。該系統作為智能家居應用方面的創新，效果顯著，具有重要的應用價值。

[參考文獻]

[1]JIANG L， LIU D Y， YANG B.Smart home research[J].Machine Learning and Cybernetics， 2004（2）：659-663.

[2]DEMIRIS G， RANTZ M J， AUD M A， et al.Older adults attitudes towards and perceptions of “smart home” technologies：a pilotstudy[J].Medical Informatics and the Internet in Medicine， 2004（2）：87-94.

[3]DAVIDOFF S， LEE M K， YIU C， et al.Principles of smart home control[C].Heidelberg：Internet Conference on UbiquitousComputing， 2006：19-34.

[4]HARPER R.Inside the smart home[M].Heidelberg：Springer Science & Business Media， 2006.

[5]HARGREAVES T， WILSON C， HAUXWELL B R.Learning to live in a smart home[J].Building Research & Information， 2018（l）：127-139.

[6]BASSILY D， GEORGOULAS C， GUETTLER J， et al.Intuitive and adaptive robotic arm manipulation using the leap motioncontroller[C].England：41st International Symposium on Robotics， 2014：1-7.

[7]JIN X， LI Y Y， XU T， et al.Active equilibrium control system for lion battery base on LTC3300 and LTC6804[C].Chengdu：Waveletactive media technology and information processing（ICCWAMTIP）， 2015 12th International Computer Conference， 2015：426-431.

[8]PU B J， XIA G M.Based on the research of self-balancing vehicle posture sensor system and design[C].Washington DC：IntelligentSystem Design and Engineering Applications， 2013 Fourth International Conference， 2013：193-196.

[9]DAS S D， JUE Y， CHOWDHURY M R， et al.Design and implementation of intelligent vehicle control system based on camerasensor[C].Switzerland：Applied Mechanics and Materials， Technology Publications， 2013.

[10]WANG B， HAN Z， KJR L， et al.Distributed relay selection and power control for multiuser cooperative communication networksusing stackelberg game distributed relay selection and power control for multiuser cooperative communication networks using stackelberg game[J].Mobile Computing， 2009（7）：975-990.

[ll]ZOU H W， LIMIN M A， ZHANG Y Y.Design of automotive starting protect controller based on NXP P89LPC901 MCU[J].International Electronic Elements， 2008（7）：23.

[12]SYPE D M， BOSSCHE A P， MAES J， et al.Gate-drive circuit for zero-voltage-switching half-and full-bridge converters[J].IndustryApplications， 2002（5）：1380-1388.

[13]ZHAO C， YIN H， YANG Z，et al.Equivalent series resistance-based energy loss analysis of a battery semiactive hybrid energy storagesystem[J].Energy Conversion， 2015（3）：1081-1091.

[14]WENBO Y， QUANYU W， ZHENWEI G.Smart home implementation based on internet and WiFi technology[C].Hangzhou：201534th Chinese Control Conference， 2015：9072-9077.

[15]WANG L， PENG D， ZHANG T.Design of smart home system based on WiFi smart plug[J].International Journal of Smart Home， 2015（6）：173-182.

[16]DEMETRIOU S N， ZHANG Y LEE， WANG X， et al.Guardian of the HAN：thwarting mobile attacks on smarthome devices usingos-level situation awareness[JJ.ArXiv Preprint ArXiv， 2017（1703）：1537.

[17]YUAN B， YE S.Energy-saving smart home based on ZigBee and fuzzy neural network[C].Fuzhou：International Conference for GreenInformatics， 2017：191-198.

[18]SIEKKINEN M， HIIENKARI M， NURMINEN J K， et al.How low energy is Bluetooth low energy？ Comparative measurementswith ZigBee/802.1 5.4 [C].Paris：Wireless Communications and Networking Conference Workshops， 2012：232-237.

[19]GOMEZ C J， OLLER， PARADELL S J.Overview and evaluation of Bluetooth low energy：an emerging low-power wirelesstechnology [J].Sensors， 2012（9）：11734-11753.

[20]KUMAR S， LEE S R.Android based smart home system with control via Bluetooth and Internet connectivity[C].Changsha：ConsumerElectronics， the 18th IEEE International Symposium， 2014：1-2.

[21]錢志鴻，劉丹.藍牙技術數據傳輸綜述[J].通信學報，2012（4）：143-151.

[22]GOLMIE N， REBALA O， CHEVROLLIER N.Bluetooth adaptive frequency hopping and scheduling[C].Montergy：MilitaryCommunications Conference， 2003.

[23]JIN H， CHEN Q， CHEN Z， et al.Multi-Leapmotion sensor based demonstration for robotic refine tabletop object manipulation task[J].China Association of Artificial Intelligence， Intelligence Technology， 2016（1）：104-113.

[24]NIGAM M I， VATSA， SINGH R.Leap signature recognation using hoof and hot features[C].Paris：International Conference ImageProcessing， 2014：5012-5016.

[25]BACHMANN D， WEICHERT F， RINKENAUER G.Evaluation of the leap motion controller as a new contact-free pointing device[J].Sensors， 2014（1）：214-233.

[26]POTTER L E， ARAULLO J， CARTER L.The leap motion controller：a view on sign language[C].Australia：Proceedings of the 25thAustralian Computer-Human Interaction Conference：augmentation， Application， Innovation， Collaboration， Association for ComputingMachinery， 2013：175-178.

[27]KHADEMI M， HONDORI H M， MCKENZIE A， et al.Free-hand interaction with leap motion controller for stroke rehabilitation[C].Toronto：CHF14 Extended Abstracts on Human Factors in Computing Systems， ACM， 2014：1663-1668.

[28]SUTTON J.Air painting with corel painter freestyle and the leap motion controller：a revolutionary new way to paint！[C].AnaheimAssociation for Computing Machinery Siggraph， 2013 Studio Talks， 2013：21.

[29]WEICHERT F， BACHMANN D， RUDAK B， et al. Analysis of the accuracy and robustness of the leap motion controller [J]. Sensors，2013（5）：6380-6393.

[30]GUNA J， JAKUS G， POGA6NIK M， et al. An analysis of the precision and reliability of the leap motion sensor and its suitability forstatic and dynamic tracking[J].Sensors， 2014（2）：3702-3720.

[31]MARIN G， DOMINIO F， ZANUTTIGH P.Hand gesture recognition with leap motion and Kinect devices[C].Paris：InternationalConference on Image Processing， 2014：1565-1569.