AxialGY智能魔方

摘" 要：智能家居中應用智能魔方手勢控制技術，能夠實現對不同群體用戶提供個性化的配置服務，滿足家庭用具設備智能遠程控制的需求。針對現有智能設備需經過解鎖手機、打開APP、選擇設備和打開指定設備等一系列煩瑣操作，設計一款以ESP-12F作為主控芯片的手勢控制為主的智能家庭中樞，只需拿起智能魔方做出旋轉或翻轉等手勢即可完美實現對家居的智能化、遠程化控制，進一步提高用戶生活水平和智能技術帶來的體驗感。

關鍵詞：智能家居；手勢控制；AxialGY智能魔方；智能家庭中樞；遠程控制

中圖分類號：TP393" " " "文獻標志碼：A" " " " " 文章編號：2095-2945（2023）14-0049-04

Abstract： The application of Smart Cube gesture control technology in smart home can provide personalized configuration services for different groups of users and satisfy the intelligent remote control of household appliances and equipment. Aiming at the existing smart devices that need to go through a series of tedious operations such as unlocking the phone， opening the APP， selecting the device and opening the specified device， a Smart Home Hub with gesture control based on ESP-12F as the main control chip is designed. Only by picking up the Smart Cube and making gestures such as rotation or flipping， the intelligent and remote control of the home can be perfectly realized， and the user's living standard and experience brought by intelligent technology can be further improved.

Keywords： smart home; gesture control; AxialGY Smart Cube; Smart Home Hub; remote control

隨著“互聯網+”概念進入公眾視線，以及無線技術的發展和高速寬帶網絡的普及，利用互聯網來操控傳統應用的做法已為人們廣泛接受。現在人們的生活條件大大改善，物質文化追求也逐漸提高。家居設備的控制經歷了物理按鍵控制、PC軟件、手機APP控制，并逐漸向語音控制發展。但在面向居家使用時，當想打開某個設備時，需經過解鎖手機、打開APP、選擇設備，最后才能打開指定設備，操作太過于煩瑣。若采用語音控制，存在難以正確喚醒，并造成誤喚醒的情況，若選擇識別率較高的產品又會增加成本。

基于以上不足，本文通過設計一款以手勢控制為主的家庭中樞控制器，利用該控制器做出旋轉或翻轉等手勢即可控制某個設備。對于居家的人們包括兒童及老人顯得格外方便、快速且易上手。對于辦公人員，隨手就能控制智能家居設備可提高辦公效率。

本設計致力于給廣大人群提供更安全、更智能、更便捷的智能家庭中樞裝置。采用ESP-12F作為主控芯片、配套設計主控芯片，主要采用GY-25陀螺儀芯片，利用姿態解算分析技術識別手勢可以通過對應的手勢控制所需的家庭設備。

1" 智能家居

1.1" 智能家居概念

所謂的智能家居，是以住宅為平臺，利用綜合布線技術、網絡通信技術、安全防范技術、自動控制技術和音視頻技術，將家居生活相關的設備集成起來，構建可集中管理、智能控制的住宅設施管理系統，從而提升家居的安全性、便利性、舒適性和藝術性，并實現環保節能的居住環境。換句話說，智能家居并不是一個單一的產品，而是通過技術手段將家中所有的設備連接成一個有機的系統，主人可隨時隨地控制該系統。

而智能家庭中樞是屬于智能家居系統的組成子系統之一，智能家居單憑人雖然也可以進行操作控制，但是每個不同的智能家居單品也許會擁有不同的操作方案，只能用手動或操作軟件進行隔離，操作起來并不方便。而智能家庭中樞就是打破不同智能家居單品之間相互隔離的工具，是人與智能家居單品之間溝通的橋梁，更重要的是，其可以對所有智能家居單品進行統一調控，是智能家居之間相互協調運作的最重要的組成部分。可以說是智能家居系統的大腦，是復雜的智能家居系統的管家，大大降低了智能家居的使用門檻，可以更好地為人類服務。

1.2" 智能家居的發展

現在智能家居的市場尚未擁有統一的標準，市場層層細分，但是每個市場的潛力都十分巨大，雖然現在智能家居入口及平臺已被巨頭掌握，但是智能家居產品種類繁雜，垂直細分市場同樣潛力巨大。而且市場仍然擁有許多未探索的空白領域和行業巨頭尚未踏足的領域。

伴隨著5G網絡快速普及，基于物聯網和云計算的智能家居應用有了廣闊的發展場景。智能家居是目前AIoT（智能物聯網）領域中最有價值的應用場景，同時也蘊藏著千億的市場價值。IDC報告顯示，全球智能家居市場價值有望在2025年突破4 000億美元[1]。

雖然智能家居在家居行業中仍然是主流趨勢，但是現在智能家居市場并無統一且有說服力的行業標準，而且現今大多數產品本身智能化程度低，使用體驗差；而智能家居的市場越大，一個可以系統控制智能家居單品的智能家庭中樞系統就越重要[2]。

2" AxialGY智能魔方在智能家居中的應用

2.1" 智能家庭中樞存在的問題

細數現在市場上的智能家庭中樞，絕大多數都是以按鍵、觸摸屏或者語音控制為主的，而其中語音控制更是市場的主流，因為語音并不需要與人相接觸，可以長距離地使用，也不用隨時帶在身上，但是現在語音識別技術結合人工智能仍然在不斷地發展當中，其中有些問題始終難以解決，同時也帶來了平時不易察覺的隱患和問題。①只有語音內容識別，沒有聲線音色的識別功能，如果有心人想利用智能家居該漏洞，則防賊系統會被輕易破除。②使用人群的限定，語音識別的語種限定，方言識別難，不準確，無法識別的問題顯現。③喚醒詞的限定，想實現多個功能的時候非常不便利，不僅是有語速的限定、指令的限定、難記，而且每一個功能都需要一個喚醒詞，導致日常使用不方便。④在智能家居設備多的情況下，需要多指令操控，難以記全，同時為了防止設備誤判與誤觸發，導致指令長、不人性化，在不同中樞之間也要設置不同的喚醒詞。

語音控制存在的系列問題都還有待改善，因此可以引入以手勢控制為主的智能家庭中樞系統，手勢控制的操作原理是使用陀螺儀去識別人的手部運動軌跡與姿態，從而達到控制信號的輸入，在這之后內部會處理這些控制信號，通過MQTT協議向MQTT服務器的特定主題發布控制信息，而訂閱了MQTT服務器中特定主題的智能家居單品就可以根據這些信息直接進行自我控制，改變智能家居單品的開關、狀態、功能等[3-6]。

2.2" AxialGY智能魔方手勢控制

本設計的手勢控制是指通過手握智能魔方（實物為正方體設計）進行操作，根據使用者的手部旋轉方向、姿態和角度選擇對應控制的智能家居單品，從而控制其狀態，不需要如同遙控器一直操作按鍵，也不用同語音識別一直喚醒和傳口令。其優點包括：①使用方便簡單，操作的指令可以連續地識別，操作指令也相對簡單，不需要喚醒詞之類的設定，也不用觸摸屏幕或者按下按鍵，是一種新的操作方案；②使用場景的解放，由于只需要拿在手中即可使用，在居家中、會議室中、酒店旅館中使用都比較方便；③適用的人群更加廣泛，上到老年人，下到兒童，除去一些特殊人群，基本都適用；④私密性高，僅僅觀察使用者的手部動作很難猜測出其控制信息和執行功能，保護性強；⑤核心部件成本低，易于生產，可以拓展更多領域性能；⑥設計成品相對現在主流的智能家庭中樞更加的小巧，不會占據過多的空間[7]。

本設計采用網絡芯片作為主控芯片，利用陀螺儀手勢判別技術，通過對應的手勢控制所需的家庭設備，同時在家庭中搭配一套傳感器，實時監控家庭環境通過OLED屏幕顯示監測數據。主要配置如下。

智能中樞：采用3V3升5 V電池電路供電，供電電流2 A，采用ESP-32S作為主控芯片，六軸傳感器采用GY-25模塊，顯示器采用SH1106主控1.3寸OLED屏幕，攝像頭采用OV2640模塊，存儲使用外接MicroSD卡。

智能監測器：采用3V3升5 V電池電路供電，供電電流1 A，采用ESP-12F作為主控芯片，溫濕度監測使用DHT11模塊，空氣質量監測使用MQ135模塊。

ESP32-S內置2個低功耗Xtensa" 32-bit LX6 MCU，主頻支持240 MHz，片上存儲包括448 KBytes的 ROM，520 KBytes片上SRAM，RTC中8 KBytes的 SRAM，1 kbit 的 EFUSE，包含系統專用256 bits，其余用戶應用768 bits。如果采用外置的MicroSD Card，視手邊的SD Card最多可以儲存3部超清電影。內存如果使用得當就不會出問題。

根據已有理論進行建模，再結合相關的器件和供電系統等，以此為依據設計出硬件原理圖，如圖1所示。

該硬件設計采用ESP-12F為主控芯片，搭載0.96寸OLED屏幕和GY-25陀螺儀外設，外圍器件精簡，成本低，除了以上器件還配有電源開關和充電口。當需要識別手勢的時候，按住感應片就會識別1次動作，當識別到對應的預設手勢的時候就會發出特定的指令完成預設的特定任務。

基于以上基礎可以使用MQTT協議搭建一個智能家庭網絡。只要智能家居連接上對應的MQTT服務器并訂閱其上的特定協議就會受其控制，機器可以做到控制智能家居大部分的功能，比如：開啟或關閉電源，改變家居的模式，調節家居的數值。

MQTT服務器：MQTT是一種基于發布/訂閱（publish/subscribe）模式的“輕量級”通信協議，該協議構建于TCP/IP協議上。其最大優點在于，用極少的代碼和有限的帶寬，為連接遠程設備提供實時可靠的消息服務。

MQTT使用的發布/訂閱消息模式，提供了一對多的消息分發機制，從而實現與應用程序的解耦。這是一種消息傳遞模式，消息不是直接從發送器發送到接收器（即點對點），而是由MQTT server（或稱為 MQTT Broker）分發的。

通過以上的特點，將其作為一個數據中轉站，一個相當于Home Assistant的替代品，設備與設備之間的通信都通過向預訂閱的主題上發布，對設備進行的指示與命令也發布在上面，是一個公共頻道，通過命令頭public和private-xxx控制是對全體成員設備發出指令還是對特定設備進行控制，還可以通過Socket協議對設備進行精細的控制。

雖然以手勢控制為主擁有許多天然的優勢，但是不可避免的，如果只單單采用手勢去控制，也會帶來許多問題。例如：①產品的使用是需要拿在手中的，如果不在手邊的話還需要去尋找，如果弄丟了，尋回并沒有這么容易。②雖然單單去控制一個智能家居系統是可以比較簡單操作的，但是一些復雜的操作例如去給智能家居安排一些組合的任務是比較困難的，比如想將智能窗簾從每天早上7：00準時開啟調整到每天早上9：00準時開啟是比較困難的，雖然也可以實現，但是這樣無疑大大增加了產品的復雜度，提高了使用門檻，不利于正常使用，也不符合其天然的輕便簡單的特點。③反饋形式的單一，因為剔除了語言，故而只能采用顯示屏，即用戶只能在特定的屏幕中看見反饋，或者靠振動去反饋信息[8]。

因此本設計增加了攝像頭隔空采集和識別手勢的設計。

3" AxialGY智能魔方手勢識別對策

為了彌補使用單一手勢控制的缺點，設計中加入一個低分辨率的OV2640攝像頭模組，可以使用圖像識別技術去隔空識別使用者的手勢，大大拓展了其使用場景與便利度。

3.1" 攝像頭圖像識別方案一

使用圖像識別技術，通過攝像頭采集直接識別手勢動作。主要識別方式如下：通過膚色檢測對圖片進行切割，大致確定手所在的部分，其他部分切除。還需要對差異圖像進行閾值處理，以使只有手部區域可見，其他不需要的區域都被涂成黑色。扣除背景，采用背景減法更準確地識別，然后對剩下的圖像輪廓進行運算，找到分割的手部區域的凸包（輪廓），并計算凸包中的最極端點（極端頂部、極端底部、極端左側和極端右側），使用凸包中的這些極值點找到手掌的中心。使用手掌的中心，以最大歐幾里德距離（手掌的中心與端點之間）為半徑，構造出1個圓，然后在帶閾值的手形圖像（幀）和圓形ROI（蒙版）之間執行按位與運算。這就顯示出了手指切片，可以進一步用于計算所示手指的數量。使用勾股定理確定各個關鍵點的距離，再通過手掌的大小與比例算出與屏幕的距離，最后通過預訓練的模型算出各個關鍵點的位置，將關鍵點的三維坐標數據向量全部裝入手部信息結構體，根據二維約束的思想，自定義手勢指令。最后實現攝像頭采集手勢動作并發生相應的智能家居狀態改變。

3.2" 攝像頭圖像識別方案二

本設計需要考慮到攝像頭對設計本身重量的影響程度及供電的穩定性，通過實驗表明：供電大于等于5 V、 2.2" A就維持設備正常使用，結合后重量適中，適合日常使用。其次，還要考慮主控芯片的算力是否可以支撐，其功耗是否會過大導致無法正常使用。經過多次多方的實驗，ESP-8266-12F主控芯片的算力無法支撐起這個圖像識別的功能，主控芯片主頻有限，合成視頻流可以達到穩定60幀的效果，要是進行簡單的臉部抓取及識別，物品識別視頻流需要達到20多幀，如果在本機上運行復雜的圖像識別算法，要求的手勢識別，判定點至少會有21個，如此視頻幀數只能到達十數幀甚至幾幀。所以退而求其次，此設計利用其是個無線網關的特點，采取只需要本機采集圖片樣本將其通過無線網絡協議（HTTP）發送到服務器端，在后臺識別圖像流數據進而識別手勢的方式即可，雖使功耗升高了，但是產品的核心部件小巧，內部還有足夠的空間。

同時對于攝像頭參數主要設置成1 s24幀采集的圖片合成視頻文件流，再經過Base64編碼和URL編碼通過HTTP協議上傳回上位機。1張圖片大小格式為XGA，內存占用為10 000～36 000 Bytes。

結合攝像頭后除了可以更復雜更精確地利用人工智能深度學習圖像識別去判別手勢，還可以在其他場景使用，使用起來更簡單、更易懂，也可以與復雜的圖像識別互補，適應處理更多更復雜的使用場景。

4" 結束語

綜上所述，智能家居系統在實際使用過程中，應該考慮多方面的需求，智能家庭中樞是作為整個系統的核心控制設備，應當具備多項適合實際應用的功能，在現階段已有的按鍵、觸摸屏或者語音控制體系下，AxialGY智能魔方以手勢+攝像頭識別控制為特點，希望為智能家庭中樞帶來不一樣的用戶體驗。

參考文獻：

[1] 梁謙剛.智能家居市場空間廣闊29只概念股機構關注度高[N].證券時報，2022-03-14（A05）.

[2] 趙朝.物聯網智能家居發展探究[J].智能建筑與智慧城市，2021（10）：129-130.

[3] 岳駿，解乃軍.基于STM32的物聯網智能家居系統設計[J].工業儀表與自動化裝置，2022（2）：27-31.

[4] 王懷宇，趙建軍，李景麗，等.基于物聯網的溫室大棚遠程控制系統研究[J].農機化研究，2015，37（1）：123-127.

[5] 周鈺博.基于STM32的智能家居控制系統設計[J].電子技術與軟件工程，2021（14）：84-85.

[6] 曹振民，陳年生，馬強，等.基于ESP8266的無線控制電路設計[J].工業控制計算機，2017，30（1）：68-69.

[7] 潘藝全.消費者對智能家居依然存在隱私顧慮[J].計算機與網絡，2021，47（16）：53.

[8] 鄧昀，李朝慶，程小輝.基于物聯網的智能家居遠程無線監控系統設計[J].計算機應用，2017，37（1）：159-165.