基于語音識別技術的智能家居網關系統設計

張珣 李道磊

摘 要：針對目前市場上語音控制家居產品的語音識別必須在服務端進行，在缺乏互聯網情況下則無法使用，以及智能家居設備采用有線組網方式導致升級維護成本高的問題，設計一款采用WiFi、藍牙等無線混合組網技術搭建的異構家庭網關，可以動態添加設備，組網靈活方便且成本低，即使在斷網情況下，網關也可自動切換到本地語音識別。為此，使用基于上下文相關的GMM-HMM算法訓練聲學模型與語言模型搭建語音識別引擎，采用BP神經網絡學習算法實現語音智能控制。測試結果表明，系統功能基本符合預期，在斷網情況下系統仍可以進行語音識別并對家庭設備進行語音控制。

關鍵詞：智能家居；語音識別；異構網關；智能學習

DOI：10. 11907/rjdk. 182433

中圖分類號：TP319 文獻標識碼：A 文章編號：1672-7800（2019）005-0049-04

Abstract：For the voice recognition of the voice control home products on the market，the voice recognition must be identified on the server side，and it cannot be used in the absence of the Internet. The smart home equipment adopts the wired networking method，which leads to the problem of high upgrade and maintenance cost. The heterogeneous home gateway built by the bluetooth wireless hybrid networking technology can dynamically add devices. The networking is flexible and convenient，and the cost is low. Even in the case of network disconnection，the gateway can automatically switch to local voice recognition.To this end，the context-based GMM-HMM algorithm is used to train the acoustic model and the language model to build the speech recognition engine，and the BP neural network learning algorithm is used to implement the speech intelligent control. The test results show that the system function is basically in line with expectations，and the system can still perform voice recognition and voice control of the home device in the case of network disconnection.

Key Words： smart home； speech recognition； heterogeneous gateway； intelligent learning

0 引言

語言作為人類信息交流中最重要與便捷的方式，讓人與機器交流就像人與人交流一樣方便，一直是學者們研究的重點課題。隨著現代科技的發展與人民生活水平的提高，人們對家庭住宅的需求也發生了較大改變。隨著人工智能算法的逐漸成熟，采用語音控制的智能家居勢必會成為一個新的研究熱點。

基于在線語音識別技術[1]的亞馬遜智能音箱以及國內的小米、百度智能音響等均是基于智能家居設備語音交互技術實現的，但其語音識別引擎均位于云端及服務器端，在斷網情況下則無法使用。本文使用語音識別技術、異構網絡通信技術[2]與Web網絡控制技術，搭建一個具有語音識別功能的智能家居網關系統。系統由語音識別控制中央器、智能設備及Web客戶端組成，家庭人員可通過手機Web端對家庭智能設備進行遠程控制[3-4]，同時采用最新語音識別算法GMM-HMM訓練聲學模型與語言模型搭建離線語音識別引擎，使系統即使在斷網情況下依然能夠進行語音識別，對家居設備發送控制指令。

1 智能家居系統總體框架

本系統主體由智能家居網關后臺管理服務器Web平臺、語音識別控制器、家庭設備、智能家庭異構網關[5]等部分組成。本文采用騰訊云服務器作為Web服務器端，使用手機或PC登錄系統Web頁面即可查看家庭設備狀況，并發送指令控制設備；語音控制器除集成家庭網關功能外，還具有語音識別功能；家庭設備主要包括燈、窗簾、空調等電器設備。系統框架如圖1所示，其中遠聲場語音采集與識別使用科大訊飛的AIUI 硬件模塊[6]，通過ZigBee、藍牙mesh組網技術[7]組建家庭無線傳感控制網絡，實現控制中心與各家庭設備的連接。家庭網關控制中心通過串口將ZigBee網絡與Internet網絡聯系起來，將家庭設備狀態信息上傳至服務器并在Web頁面上展示。

2 智能家居語音主控硬件與軟件模塊設計

2.1 智能家居主控硬件模塊設計

在系統硬件上，家庭網關主控硬件主要由AIUI語音識別模塊[8]與異構網關通信模塊[9]組成。AIUI語音識別模塊對語音進行采集與預處理，最后將其識別成文字；異構通信模塊主要負責對家庭內部的藍牙、WiFi、ZigBee等設備進行組網，同時負責管理網關與外網通信。主要模塊實物如圖2所示。

2.1.1 AIUI語音模塊

AIUI語音識別模塊是由科大訊飛提供的軟硬一體化語音識別模塊，內部集成了語音采集與處理功能，并封裝了語音交互的復雜功能，同時為開發者提供接口調用；內置ARM處理器、WiFi芯片等，可以選擇Andriod、Linux、Window等適合的操作系統進行二次開發，對功能進行擴展[10]。

2.1.2 AIUI異構通信模塊

通信模塊主要集成了ZigBee、WiFi等無線模塊，可以接收組網網絡中的多種信號。異構通信模塊內主要包含一個協議轉換[11]模塊，其主要功能是對終端硬件模塊傳輸過來的包含不同通信協議的數據進行解析轉換。根據終端設備遵循的通信協議，協議適配塊負責與不同協議終端進行協議匹配驗證；數據處理模塊則根據不同公司的協議規范，分別對數據進行處理；統一協議模塊用于統一數據，規范數據格式。協議轉換模塊如圖3所示。

2.2 智能家居網關軟件模塊設計

網關軟件設計主要是在AIUI模塊提供的ARM芯片基礎上進行編程開發，實現在有網絡連接的情況下將語音數據通過AIUI模塊直接上傳到AIUI語音識別引擎上，返回識別后的文字；沒有網絡連接時則使用本地建立的語音識別模型，并返回語音識別后的文字；網關將識別后的文字與已建立的指令庫文字進行匹配映射，最后將匹配的文字指令下發給相應終端設備。

2.2.1 在線語音識別處理

本文采用科大訊飛的AIUI語音模塊，其支持聽寫識別與語義識別功能。聽寫識別和語義識別都屬于在線識別，需要將語音數據上傳到訊飛云端服務器。當語音識別成功后，服務器會返回一段包含語義分析結果的數據，只需調用其提供的接口并對輸出數據進行解析即可。

2.2.2 離線語音識別處理

在無網絡的情況下，需要構建一個能對輸入語音數據進行本地化語音識別的模塊，這也是本文研究的重點和難點。語音識別步驟主要包括語音信號預處理、特征提取、聲學模型訓練、語言模型訓練與解碼搜索5個基本單元[12]。語音識別步驟如圖4所示。

（1）預處理。獲取的語音信號不能直接用來進行語音識別，而首先需要對語音信號作一些預處理，包括將輸入的模擬語音進行數字化，然后進行預加重、分幀、加窗、端點檢測等處理，從而在一定程度上消除噪音。由于預處理效果將直接影響后續語音識別效果，所以本文引入一個新的預處理模型，即多噪聲環境下的層級語音識別模型，其核心思想是將環境噪聲也作為需識別的內容并傳遞到要識別的語音中，前端使用DNN進行特征映射以降低噪聲，后端使用高斯混合—隱馬爾可夫模型（GMM-HMM）作為聲學模型[13]。

（2）特征提取。提取出能代表語音信號本質的特征參數，同時去除無關噪音信號，以及可能的信道失真等，最終得到可用于聲學模型訓練及語音識別的語音特征參數[14]。目前常用特征提取方法有LPCC、MFCC，本文采用梅爾頻率倒譜系數（MFCC）[15]。

（3）識別算法選擇。以上識別步驟中最關鍵的是聲學模型與語言模型訓練，在深度學習尚未得到廣泛應用之前，語音識別系統普遍采用基于隱馬爾可夫模型（HMM）的聲學模型[16]，以及基于N階馬爾科夫假設的N-gram語言模型[17]，而目前最新應用的基于上下文相關GMM-HMM的聲學模型與語言模型[8]相較于傳統語音識別方法，性能有了很大提升，其主要克服了HMM算法隨著詞匯量增加，模型訓練也越來越困難的缺點。GMM-HMM聲學模型如圖5所示。

3 Back Propagation 神經網絡智能學習

使用Back Propagation（以下簡稱BP）[18]神經網絡建立簡化語音指令模型，使用戶在輸出很少語音命令的情況下即能智能學習匹配異構家庭網關對應的指令集。BP模型如圖6所示。

3.1 BP神經網絡模型

BP神經網絡也稱為多層前饋神經網絡，其核心思想是對誤差進行逆向傳播訓練，該算法是目前應用最廣泛的神經網絡算法。典型BP神經網絡包含3層：輸入層、隱含層與輸出層。

BP神經網絡訓練過程由輸入層信息正向傳播與誤差反向傳播組成。輸入數據經輸入層、隱含層與輸出層計算后得到實際結果；當實際結果與期望輸出誤差超過閾值時，則向隱含層和輸入層進行反向傳播，按誤差梯度下降方式修正每一層權值；不斷進行正向傳播與誤差反向傳播，并動態修改各層權值，直到最后輸出結果與期望輸出誤差小于閾值[19]。

3.2 算法原理

3.2.1 正反向傳播網絡

4 評估結果

基于系統初始化內置的網關協議指令集與基于異構協議網關收集的數據，本文使用BP神經網絡算法訓練模型結果集，輸入層包含語音指令時間、家庭成員聲紋編號、麥克風陣列編號、語音指令等，期望輸出包括家庭電器編號、操作編號等，通過神經網絡訓練學習自動確定各連接權值與激活閾值，使期望輸出不斷接近想要的結果，即實現人在廚房及客廳等場景下只要說出開燈指令，即可實現打開燈的效果，而不用說出完整指令。模型訓練后的結果如表1所示。

5 結語

本文搭建一個具有語音識別功能的智能家居網關系統，從實驗結果可以看出，指令在經過BP神經網絡學習之后，在家庭不同位置，只需說出簡單的語音指令如打開燈，網關仍能將該語音指令匹配到已建立好的指令集，實現對相應設備的識別控制。然而，當前模型訓練仍較為簡單，隨著語音識別技術的進一步發展，以及云計算、人工智能技術的普及與使用成本的降低，可以使用云計算結合深度學習算法，從海量用戶生活數據中學習用戶生活習慣，以實現在近似的時間及位置上，用戶只需說出網關系統的語音喚醒詞，便能輸出在該時間段及位置上用戶已發出語音指令記錄中次數最多的指令，或對用戶需要操作的指令進行智能提醒等，從而大大降低用戶的指令發出頻次，實現智能交互家居生活。

參考文獻：

[1] CUILING L. English speech recognition method based on hidden Markov model[C]. International Conference on Smart Grid & Electrical Automation. IEEE， 2016.

[2] 王浩. 多通道智能網關設計與實現[D]. 北京：北方工業大學， 2017.

[3] 賈玉輝. 面向語音交互的云計算系統的研究[D]. 青島：中國海洋大學， 2013.

[4] 王海坤，潘嘉，劉聰. 語音識別技術的研究進展與展望[J]. 電信科學， 2018（2）： 1-11.

[5] 張如龍. 智能家居中異構網關的設計與應用[D].杭州：杭州電子科技大學， 2015.

[6] 章繼剛.科大訊飛AIUI3.0人機交互體驗[J]. 網絡安全和信息化，2018（6）： 17.

[7] 楊望卓. 基于藍牙Mesh智能設備控制技術研究[D]. 寧波：寧波大學， 2017.

[8] 程風. 基于語音交互技術的智能家居主控設計[D]. 合肥：中國科學技術大學， 2018.

[9] 譚立志，周維龍，歐陽洪波. 一種智能家居異構網關的研究與實現[J]. 電子設計工程，2015（22）： 114-116.

[10] 程風，翟超，呂志，等. 基于語音識別技術的智能家居主控設計[J]. 工業控制計算機，2018（5）： 29-31.

[11] 王治靈. 基于FPGA的多協議轉換系統的研究與設計[D].成都：電子科技大學， 2018.

[12] 滕云，賀春林，岳淼. 基于神經網絡的語音識別研究[J]. 重慶師范大學學報：自然科學版， 2010（4）： 73-76.

[13] 牛廷偉. 噪聲環境下的語音識別關鍵技術研究[D]. 天津：天津理工大學， 2012.

[14] 袁翔. 基于HMM和DNN的語音識別算法研究與實現[D].贛州：江西理工大學， 2017.

[15] 曹輝，徐晨，趙曉，等. 說話人識別中的Mel特征頻率倒譜系數[J]. 西北大學學報：自然科學版，2013（2）： 203-208.

[16] 王為凱. 基于GMM-HMM的聲學模型訓練研究[D]. 廣州：華南理工大學， 2016.

[17] 董廣宇，呂學強，王濤，等. 基于N-gram語言模型的漢字識別后處理研究[J]. 微計算機信息，2009（10）： 276-278.

[18] ROMERO E， MAZZANTI F， DELGADO J. A neighbourhood-based stopping criterion for contrastive divergence learning[J]. Computer Science， 2015.

[19] 墨蒙，趙龍章，龔嬡雯，等. 基于遺傳算法優化的BP神經網絡研究應用[J]. 現代電子技術，2018（9）： 41-44.

[20] 吳建源. 基于BP神經網絡的中文分詞算法研究[J]. 佛山科學技術學院學報：自然科學版，2012（2）： 33-37.

[21] 張珣，何東陽. 基于深度信念網絡的個人健康評估模型[J].軟件導刊，2018，17（10）：44-47.

[22] FISCHER A. Training restricted Boltzmann machines[J].Künstliche Intelligenz， 2015， 29（4）：441-444.

（責任編輯：黃 ?。?/p>