N-pod多品牌智能家居語音控制設備的設計與實現

趙彥，孫俊，時凱欣

(1.江蘇信息職業技術學院物聯網工程學院，江蘇無錫214153；2.江南大學人工智能與模式識別國際聯合實驗室，江蘇無錫214122；3.北京郵電大學國際學院，北京100876）

伴隨著老齡化趨勢的加劇，中國將成為超老年型國家，養老院、療養院、護理院一床難求，人工智能養老機器人有助于解決當前社會的居家養老問題[1]。但是目前市場上的養老機器人存在如下缺點：僅能控制自家品牌的智能家居設備，在不知道各品牌控制協議的情況下，難以解決多品牌智能家居設備互不兼容的問題；欠缺老人語音語義識別、人形設計、心理溝通和情感交流；無法及時針對老人及其居家環境情況做出有效的智能控制；欠缺協助老人完成康復訓練的功能。

為了彌補市場不足，解決居家養老問題，立足社會實際需要，在原生態機器人的基礎上研發了一款N-pod多品牌智能家居語音控制設備，通過深度卷積神經網絡（deep convolution neural network，DCNN）完成老人語音識別，通過粒子群優化（particle swarm optimization，PSO）智能算法對采集的老人及其居家環境信息實施分簇處理，形成語音控制多品牌智能家居設備的解決方案，實現千人千面的養老定制需求。其包括面向老人、智能家居、心理診斷、康復訓練的管理部分和面向消費者、線下服務、老人家屬的Internet部分。使用Python的Tornado框架，實現信息交互，用Home Assistant框架進行多品牌智能家居設備的整合，組成N-pod本地服務器。經過邊緣化計算，發送Http請求實現多品牌設備互聯，通過采集環境信息控制所有主流品牌智能家居設備。本設計方案以獨到的全無線傳輸技術，使用Home Assistant框架實現多品牌物聯網設備的自由添加組合[2-3]，巧用深度卷積神經網絡實現高性能的老人語音識別，利用粒子群優化算法實現智能推理決策，形成N-pod多品牌智能家居語音控制設備。最終將該設備與原生機器人相結合，使其具有親人的機器人外觀和成熟的交互能力[4]，能根據語音[5]和環境信息指標自動控制多品牌主流智能家居設備，具有廣闊的市場前景。

1 總體方案設計

人工智能養老機器人是一個涉及面極廣的系統工程，該設備在原生態人形機器人設計架構的基礎之上借助機器人原有的智能化和人性化特點，設計并研發了N-pod主機，實現對老人的看護、陪伴和康復治療。其整體框架結構如圖1所示，包含N-pod智能家居控制系統、智能聊天系統、心理學咨詢問卷系統、室內定位導航系統、老人康復訓練系統5個部分。

圖1 人工智能養老機器人整體結構框架圖Fig.1 Framework of the overall structure of artificial intelligence pension robot

N-pod智能家居控制系統為該設備的核心，在N-pod主機和機器人上架設Web服務器，實現數據的交互。通過Http請求獲取所有品牌智能家居設備的信息，N-pod主機對智能家居設備進行統一控制。該設備將根據老人日常行為要求、語言特征、生活習慣，在云端構建養老機器人資源知識庫，針對特殊老人進行模塊相似匹配搜索和模塊組合約束檢測，從而配置出滿足特有老人需求的定制設備。設備運行實施框架如圖2所示。

圖2 設備運行實施框架Fig.2 Implementation framework of equipment operation

2 N-pod主機設計

2.1 N-pod整體設計介紹

N-pod主機的設計由上位機、人形機器人、中間路由器、終端傳感器及控制器構成，分為交互應用層、網絡層、感知控制層3部分[6]。交互應用層[7]主要由人形機器人來展示，用戶語音發出指令，機器人識別用戶語音指令完成對智能設備的控制。網絡層[8]的功能由WiFi路由器來實現，所有設備均可以通過WiFi的方式傳輸數據。物聯網感知控制層[9]的功能由終端節點實現，用于采集信息和控制設備，采集的信息主要包括門磁、環境溫濕度、圖像等。控制器主要包括紅外發射器、智能插座以及其他WiFi可控制的智能設備，通過紅外控制器控制電視機、空調等可以紅外控制的設備，智能插座控制飲水機的加熱開關等。人形機器人自身攜帶Pad面板，實現圖像、文字的智能交互，并結合優美的動作達到親人效果。

圖3為N-pod系統的拓撲圖，圖4為系統硬件拓撲圖。

圖3 N-pod智能家居控制系統的拓撲架構組成圖Fig.3 Topology architecture diagram of N-pod smart home control system

圖4 N-pod語音控制多品牌家居設備養老機器人硬件拓撲架構Fig.4 Hardware topology architecture of N-pod voice control multi-brand home equipment pension robot

本設備選用的原生機器人尺寸為1 210 mm（高）×425 mm（深）×485 mm（寬），重28 kg，電池是鋰電池，容量30.0 A·h/795 W·h。該機器人擁有4個麥克風，可以用于定位和接收聲音來源。在機器人的額頭和嘴部配有兩臺2D相機，右眼的3D紅外激光相機通過探測激光來測算距離，左眼為檢測紅外反射的接收器。頭部、手部及手背為觸摸敏感區，腳輪含有3個減震器，3個水平激光器可探測高度超過3 cm的物體，2個垂直激光器和1個水平鏟式激光器可探測不平整地面及低于3 cm的障礙物。

2.2 N-pod智能家居控制系統實現數據閉環式管理

N-pod智能家居控制系統有別于其他智能家居控制網關，除了能夠打通各品牌智能家居設備的壁壘，實現設備兼容之外，還在于N-pod利用人工智能技術實現了數據閉環式管理算法，如圖5所示。

圖5 N-pod智能家居控制系統的數據閉環式管理算法Fig.5 Data closed-loop management algorithm of N-pod smart home control system

算法執行步驟如下：

步驟1：智能信息采集。通過智能物聯網終端設備和智能穿戴設備，完成對老人身體素質指標、心理素質指標的采集。

步驟2：智能語音識別。采集老人語音信息，通過深度卷積神經網絡實現老人語音語義識別。該步驟的具體實現方法將在2.3節詳細講述。

步驟3：智能推理決策。將老人語音識別結果以及采集的環境信息作為大數據分析的備用數據，使用粒子群優化算法對備用數據實施智能分簇處理，完成智能推理，形成最終結論和控制策略。該步驟的具體實現方法將在2.4節詳細講述。

步驟4：實施智能控制。根據步驟3形成的控制策略完成對具體智能終端設備的控制，滿足千人千面的老人定制需求。在該步驟中，需使用Home Assistant框架配置多品牌智能家居設備，使用Python的Tornado框架，實現控制指令的信息交互。智能控制方案將再次累積到決策信息表中，為后期能夠提供快速決策做強有力的支撐。

在數據閉環式管理的解決方案中，數據的輸入和輸出均為老人，即人工智能養老機器人的服務對象。N-pod智能家居控制系統不斷地實施數據采集、語音識別、推理決策、智能控制，可對服務的老人進行不間斷的閉環式學習，從而能構建出符合具體老人特點的養老機器人的服務內容和陪護方式。通過深度卷積神經網絡和粒子群優化智能算法，讓整款人工智能養老機器人設備更熟悉、更了解消費者，并針對該消費者的具體情況完成智能控制，制定相應的陪護方式、訓練方案、心理治療方案、營養食譜等，從而實現千人千面的用戶需求。

2.3 深度卷積神經網絡在N-pod智能語音識別環節中的應用

深度卷積神經網絡為多層神經網絡結構，包含輸入層、卷積層、激活函數、池化層、全連接層和輸出層，憑借其數據平移不變性、適用于復雜網絡、便于訓練等特點，被用于圖像處理、語音識別[10]領域。將深度卷積神經網絡應用于N-pod智能語音識別環節，搭建6層深度卷積神經網絡作為語音識別系統的聲學模型，有效提高了語音識別正確率和速度，如圖6所示。

深度卷積網絡的輸入層以語音作為輸入，為了獲得最佳效果，首先對語音進行預處理，通過訓練提取語音特征。當樣本不足時，需要對樣本進行增強處理。

在卷積層，通過卷積運算對輸入進行另一種表示，整個卷積網絡訓練為中間參數。其線性變換函數如下式所示：

式中：k為向量a的維數；wi，b為網絡訓練所需得到的參數。

通過激活函數進行非線性變化，如式（2），從而得到輸入的另一種表示。

在卷積層中需要添加激活函數對運算進行非線性化。激活函數為Sigmoid函數，如下式所示：

池化層將對數據進行特殊處理，通過池化降低卷積層輸出的特征向量維數，縮小語音特征尺寸，能夠有效解決由上層的結果作為輸入帶來的計算量大的問題。經過池化，語音特征尺寸大小將減小50%。

全連接層是網絡消耗參數最多的一層，該全連接層采用下式作為激活函數：

2.4 粒子群優化智能算法在N-pod智能推理決策環節中的應用

粒子群優化（PSO）算法為群智能方法[11]。該算法以鳥群尋找最佳食物來源為啟發，鳥的移動方向受其當前運動、有史以來最佳食物來源以及禽群中任何鳥類的最佳食物來源等多方面的影響。自PSO算法提出以來，研究人員提出了很多改進的粒子群優化算法，并且算法被廣泛運用到工程、醫療、經濟管理等領域中。在N-pod智能推理決策環節引入PSO，此時對最佳粒子問題的求解就是最佳推理決策方案的求解，該解決方案隨最佳粒子在搜索空間中的移動而變化，對采集的環境數據信息、老人個人情況信息實施分簇，從而形成最佳決策，達到滿足千人千面的用戶需求。粒子的運動受慣性、個人最佳位置和全局最佳位置的影響。群由多個粒子組成，每個粒子都有一個適應度值，該適應度值由目標函數分配，并根據其位置進行優化。此外，粒子除了適應度值和位置外還包含其他信息，例如粒子運動的速度。另外，PSO保持了最佳個人姿勢和粒子最佳狀態值。同時，PSO擁有任何粒子所經歷過的最佳全局值和最佳適應度值。

粒子群優化算法使用下式在問題搜索空間內移動粒子：

使用下式更新粒子速度：

式中：wt為慣性權重；r1，r2為隨機生成的數字；cons1，cons2為常數系數為粒子i的當前最佳位置為整個群的當前最佳全局位置。分別從初始化開始到時刻t代表粒子i所找到的最優位置，r1和r2是[0,1]區間內產生的隨機數，cons1和cons2是加速因子用來調整粒子得到收斂速度，一般設置為2。在t+1時刻，粒子位置根據式（6）進行更新。每個粒子都會同時被個體最好位置和全局最好位置影響。參數wt有調整粒子群的全局搜索能力和局部搜索能力的作用，如下式所示：

式中：wi，we為參數w的初始值，一般分別設置為0.9和0.4；T為粒子群的最大迭代次數。

當粒子群龐大時，會加大粒子群更新的負擔，此時使用歐幾里德距離的平方和作為適應度函數，更新粒子位置。適應度函數如下式所示：

式中：K為簇數；d(Xi,Cl)測量的是數據對象Xi和簇Cl質心之間的多樣性。

使用歐幾里德距離計算數據對象之間差異，對于給定的數據對象Xi和Xj，歐氏距離d(Xi,Xj)的計算如下式所示：

粒子群優化算法在N-pod智能推理決策環節應用的偽代碼如下所示：

對于數據對象N、迭代次數T、群體規模M而言，使用粒子群優化算法解決數據分簇問題的時間復雜度為O( )N×T×M。通過對粒子群優化算法的研究，并將該算法與N-pod智能推理決策相結合，有效解決了大規模數據信息的分簇問題，能夠實現提高推理決策的執行效率、準確度和精確度。

3 N-pod系統軟件設計實施方案

3.1 Tornado框架提高消息傳遞的準確率

整個設備使用基于Python的Tornado框架解決信息傳遞的準確性以及提高執行效率的問題。Tornado是一款輕量級框架，具有足夠的健壯性。在處理終端設備實時上傳的設備更新、狀態變化以及用戶通知時，客戶端需要長期保持在一個開放狀態，這些長連接或推送請求會使Apache的最大線程池迅速飽和，一旦線程池的資源耗盡，服務器將不能再響應新的請求。實驗證明采用Tornado框架構建異步服務器，可有效減輕基于線程的服務器的限制。當負載增加時，Tornado使用協作的、多任務的方式進行擴展優化。一旦當前請求正在等待來自其他資源的數據（比如數據庫查詢或Http請求）時，異步服務器可以明確地控制并掛起請求，當合適的數據準備好時又可動態調用回調函數。該作品使用Tornado框架存放static文件，建立template文件存放html數據，將兩種文件地址添加在框架中以便html渲染并返回，在主體框架內寫入端口號、路由映射，框架會根據不同的url請求調用不同的方法。

3.2 使用Home Assistant框架解決主流品牌家居設備的控制問題

當下智能家居的核心缺陷是由于大部分智能家居設備獨立發展，沒有建立統一的通訊協議，一般的情況下只能控制自家品牌的產品，或者開放了協議的產品，因此難以解決多品牌智能家居設備的自由組合接入和控制。N-pod的特色之一就是使用Home Assistant框架解決了語音控制多品牌主流家居設備的問題。N-pod使用Home Assistant開源框架，通過其自有的配置方式連接各種外部設備（智能設備、攝像頭、郵件、短消息、云服務等近千種可連接組件），達到取代傳統物聯網家居控制網關的目的。本設備已經打通小米系列、Philips智能燈系列、亞馬遜音響、蘋果的Siri，Google Assistant、博聯設備以及特斯拉汽車等，同時可以提供互聯網上的各種實時信息，包括股票、匯率、交通、天氣。

3.3 N-pod系統軟件設計

N-pod軟件設計分為三大部分：

1）基于Python2.7的Tornado網絡框架主要為機器人提供外部接口、外部服務等功能。

2）基于Python3.7的Home assistant框架主要為N-pod配置物聯網云服務，通過云服務來控制物聯網設備。

3）基于機器人自身攜帶的ChoreGraphe框架，配置機器人本地Linux系統服務，通過遠程連接控制，完成對機器人基本的功能操作。

三大部分通過Http請求來獲得相關的數據連接，完成機器人所需要的各個功能。各部分之間的數據通訊模式及軟件框架結構如圖7所示。

圖7 N-pod系統軟件框架Fig.7 Software framework of N-pod system

3.4 N-pod語音控制多品牌智能家居設備的功能設計

3.4.1 智能語音識別功能的設計

智能語音識別功能是通過基于語音識別程序完成流暢的對話，使用機器人內部接口與深度卷積神經網絡語音識別模型相結合的方式實現，如圖8所示。

圖8 語音對話邏輯流程圖Fig.8 Voice dialogue logic flow chart

當機器人麥克風獲取音頻信息時，調用深度卷積神經網絡語音識別模型完成語音識別，將識別好的語音信息傳遞給機器人內部應用程序接口，要調用dialog模塊觸發編輯好的對話以及該對話對應的回答和功能，在dialog對應的配置文件中完成代碼書寫，機器人實時聽取說話者的語音，與自身內部語音庫匹配，找到最佳的對應文字，在配置文件中找到對應文字并觸發后續的功能，再將獲取的信息通過機器人語音接口得到語音內容，實現語音會話。

3.4.2 語音控制多品牌智能家居設備功能的設計

通過語音控制多品牌智能設備，其主要方式是通過深度卷積神經網絡語音識別出會話的含義，并通過粒子群優化算法對當前居家環境、老人狀況實施分簇處理，形成智能推理決策，與配置好的控制語音進行匹配，通過Tornado框架發送Http請求給Home Assistant框架，通過執行相應指令，實現對多品牌智能家居設備的控制，其具體流程邏輯如圖9所示。

圖9 語音控制智能設備邏輯流程圖Fig.9 Voice control smart device logic flowchart

3.4.3 其他控制功能的設計

情緒檢測同樣是通過Tornado框架調用應用程序接口（application programming interface，API），將圖片信息發出，再將得到的數據返回。識別圖片信息功能，采用顏色識別算法，在圖片中多點位置取出像素點，對多個像素點采樣、分析、去除紅綠藍白（red green blue white，RGBW）近似值，按照像素點近似值的概率分析出圖片需要識別物體的顏色等信息。

4 N-pod設備測試與實際應用

4.1 N-pod設備測試方法

為了驗證N-pod多品牌智能家居語音控制設備的準確性和靈敏度，測試選取1 000位用戶，按照年齡進行分組，分為50～59年齡段（臨退休老人）、60～69年齡段（退休老人）和70以上年齡段（敬老院老人），在一個月內，選取全天時間段進行人機交流會話，完成數據采集和智能家居控制，持續進行30 d，每位對象累計不少于400次語音控制測試。根據用戶的語音請求，完成語音語義分析，對各主流品牌的智能家居設備進行控制，并進行數據采集。

4.2 N-pod設備測試結果

用戶在不同狀態下使用N-pod多品牌智能家居語音控制設備，用不同語音語境進行會話交流。對比改進前和改進后的語音語義分析結果和控制結果，該設備的語音語義識別正確率高達98.99%，控制執行的正確率在97.08%，控制指令的靈敏度響應度為99.24%，遠高于改進前的使用數據，達到商用效果。系統測試結果分析如圖10所示，圖10a是從1 000個用戶的測試數據中隨機抽樣100個用戶作為樣本數據進行繪制，圖10b是對改進前和改進后的整體使用效果的對比分析。

圖10 N-pod設備測試結果分析Fig.10 N-pod equipment test result analysis

4.3 N-pod實際應用效果

該設備已在無錫市濱湖區金夕延年樂頤養老院、無錫朗高梅園護理院、無錫長江康復中心使用。

相關實際應用效果如圖11所示。圖11a中展示了機器人在養老院現場為老人做信息采集的場景，機器人獲取老人實際信息后，就能通過老人的實際身體指標和各環境指數調節室內溫濕度。目前本款機器人已經采集了1 000多位老人的信息，獲取其生理指標，所有數據存儲在云端，N-pod后臺運行框架圖如圖11b所示。該款人工智能養老機器人在使用單位得到老人們的喜愛。

圖11 實際運行效果圖Fig.11 Actual operation effect diagram

5 結論

N-pod多品牌智能家居語音控制設備，依賴于深度卷積神經網絡實現語音識別，使用粒子群優化算法針對現有老人居家環境和老人自身條件形成智能推理決策，使用Python的Tornado框架解決信息傳遞的準確性并提升執行效率，引入Home Assistant框架打破多品牌智能家居設備互不兼容的僵局，實現語音控制多品牌成熟智能家居設備的目標。整套設備能夠實現數據信息、音視頻信息的實時采集和處理，并結合采集的信息形成智能化的解決方案，實現千人千面的養老定制需求。該設計可為人工智能養老機器人提供完備的物聯網控制技術支持。

該設備已經申請了2項實用新型專利、1項發明專利，整個設備外觀親人、新穎，具有簡單易用的特點，能夠成為老人的助手和陪伴，得到多位人工智能領域專家的一致推薦。該作品已榮獲2019年第十六屆江蘇省大學生課外學術科技作品競賽“挑戰杯”全國競賽江蘇省選拔賽決賽二等獎，已在養老院、敬老院、高檔社區推廣使用，必將帶來較大的經濟和社會效益。