基于云計算的嵌入式人機交互系統

葉鵬，田會峰，宗航飛

（江蘇科技大學蘇州理工學院電氣與信息工程學院，江蘇張家港215600）

隨著計算機以及電子技術的不斷發展，人機交互越來越頻繁，人機交互的模式也發生著巨大改變[1]。人們不滿足于僅僅實現基本功能，對交互方式提出了更多需求，而語音交互以其有效、直接、自然的特點成為替代傳統按鍵與屏幕交互的理想方式。對此已有諸多探索，例如將語音交互技術應用于智能家居[2]與無人駕駛車輛[3]中。

此前嵌入式系統中語音交互的研究重點都集中于在各種硬件平臺例如可編程邏輯門陣列（Field-Programmable Gate Array，FPGA）[4]，STM32[5]或者數字信號處理器（Digital Signal，DSP）[6]上實現實時語音算法。然而在硬件上集成語音識別算法不僅對硬件的成本要求過高，并且由于嵌入式平臺的計算資源有限，識別效率并不高。文中提出了一種基于云計算[7]與ZigBee無線通信技術[8]的人機交互系統，該系統借助云端識別引擎以較低成本獲得了較高的識別率。

1 系統方案設計

1.1 人機對話的基本流程及相關技術介紹

人機對話的目的是通過模擬人與人自然語言交流的過程實現人機交互，涉及的技術包括連續語音識別，智能問答系統，文本轉語音（Text To Speech，TTS）等，圖1為其主要流程。

圖1 人機對話流程圖

1.2 連續語音識別系統

語音識別是機器通過識別和理解過程把語音信號轉變為相應的文本文件或命令的技術，作為一門交叉學科，它涉及聲學、語音學、語言學、人工智能、數字信號處理理論、信息理論、模式識別理論、最優化理論、計算機科學等眾多科學緊密相連，除此之外，其應用前景也非常廣闊。

圖2 連續語音識別框圖

如圖2所示，一個完整的語音識別系統由四個部分組成：特征提取，聲學模型訓練，語言模型訓練和解碼器特征提取[9]。語音識別分兩個階段進行。首先需要進行模型的訓練。其中，聲學模型的訓練指根據訓練語音庫的特征參數訓練出聲學模型參數；語言模型的訓練指對訓練文本數據庫進行語法、語義分析，經過基于統計模型訓練得到語言模型。其次，語音識別階段，需要先提取語音特征，即去除語音信號中對于語音識別無用的冗余信息，保留能夠反映語音本質特征的信息，并用一定的形式表示出來。再將提取的特征進行解碼，即通過聲學模型和語言模型將訓練集外的語音數據識別成文字。

而語音識別的基本框架可由如下公式表示。

上式中W表示文字序列，Y表示語音輸入。公式（1）表示語音識別的目標是在給定語音輸入的情況下，找到可能性最大的文字序列。根據貝葉斯公式，可以得到公式（2），其中分母表示出現這條語音的概率，它相比于求解的文字序列沒有參數關系，可以在求解時忽略，進而得到公式（3）。公式（3）中第一部分表示一個給定的文字序列出現這條音頻的概率，即語音識別中的聲學模型（Acoustic Model，AM）；第二部分表示出現這個文字序列的概率，即語音識別中的語言模型（Language Model，LM）。

1.3 自動問答系統

自動問答系統是自然語言處理領域的一個重要方向，旨在讓用戶直接用自然語言提問并獲得答案，。傳統的搜索引擎是根據關鍵詞檢索并將返回大量相關文檔集合，需要用戶親自去查找自己相關的資料。從這樣的比較可以看到，問答系統的實現將使用戶在海量數據中查找相關資料時節省大量的時間。

圖3 問答系統的處理框架

如圖3所示，其處理框架主要包括問句理解、信息檢索、答案生成與驗證3個部分[10]，其中問句理解實現詞法分析、句法分析和問題分類等基本功能以保證系統的高準確率；信息檢索這步通過傳統信息檢索技術獲得可能存在答案的文檔并對文檔進行排序；答案生成及驗證部分指對信息檢索得到的候選文檔進行詞法、句法、語義等方面的分析，并且根據問題的類別抽取相應的答案返回給用戶。

目前，自動問答系統還處在起步階段，其準確率還較低，例如在一項改進微信平臺的自動問答系統的工作中，問答系統的準確率為76.77%[11]。

1.4 文字轉語音系統（TTS）

TTS是語音合成應用的一種，它可以將文本轉換成自然語音輸出。其處理流程如圖4所示。

圖4 文字轉語音系統框架圖

如圖中所示，語音轉文字系統有3個模塊：文本處理模塊、韻律處理模塊、聲音合成模塊[12]。因為本文中介紹的是基于云計算的系統，所以韻律生成模塊會在云端進行訓練與調用。文本處理模塊位于系統的前端，其內容有文本分詞、非標準詞正則化、字音轉換。韻律處理模塊主要負責從文本中提取韻律結構、重音和語調等與韻律有關的信息。聲音合成模塊是語音合成系統的后端模塊，主要進行聲音合成并對其進行修改與輸出。

隨著深神經網絡技術的興起，已有不少學者對深度神經網絡在語音生成上的應用做出諸多嘗試[13]。

1.5 人機交互系統總體設計

1.5.1 總體結構

如圖5所示，系統總體可以分為云端和硬件交互系統兩大部分。其中云端上搭載訓練好的語音模型，實現連續語音識別、自動問答、語音轉文字3個人機對話的核心功能，并且云端也可以實現數據存儲以及硬件節點的控制。硬件交互系統主要負責語音的采集播放以及傳感器信息、語音信息、云端控制信息在節點、主控和云端之間的傳遞，它包含五部分：基站、節點、機器人平臺、麥克風陣列、連接在節點上的傳感器和執行機構。

其中，節點與基站之間通過ZigBee通信技術實現無線通信，并且每個節點以單片機作為主控，單片機上連接了多個傳感器與執行機構，可以將云端解析出的語音信息變成相應的執行動作。

圖5 系統總體結構圖

1.5.2 系統運作模型

如圖6所示，使用該人機交互系統進行交互的過程是一個用戶、硬件與云端相互合作的過程。本文將系統劃分為用戶、基站和節點、云端3個對象主體，基于UML活動圖[14]建立了系統整體運作模型，該圖描述了用戶與系統進行交互過程中涉及的各個對象主體的主要活動和相互之間的動態行為。

由系統的運作模型可知，實現用戶與系統交互有3個主要環節：一是用戶操作，二是硬件采集和播放聲音，節點執行機構執行指令和傳感器采集環境信息，三是調用云端引擎。具體的運行邏輯可以從基站與節點兩個方面闡述。

首先是基站，基站主要設計了兩部分功能，本地的語音交互功能與遠距離的手機APP控制功能。基站通過采音設備采集各個節點處的語音信號并將其上傳至云端語音識別引擎進行解析，解析出的結果會以文本的形勢返回。基站再對返回的文本進行匹配，如果匹配上事先設置好的控制命令則會通過ZigBee網絡傳輸給節點執行相應的命令以實現語音交互中的控制功能；如果沒有匹配到事先設置好的命令，則會將此文本上傳至云端的TTS引擎進行文字轉語音，并將解析出的語音信號返回本地播放，從而實現語音交互中的對話功能。

圖6 系統交互UML活動圖

基站主控還連接開源的物聯網云平臺YeeLink，借助配套的手機APP，我們可以遠距離查看與節點相連的設備狀態，并且可以通過手機遠程控制家里的家電設備。

節點有兩種工作模式，第一種模式下它可以作為交互系統的終端執行機構和環境信息的采集裝置，第二種模式下它可以單獨作為一個自動運行的控制器，例如在智能家居的應用場景中，

通過設置可以讓節點工作于兩種狀態，用戶通過說出“進入用戶模式”的指令控制節點進入第一種狀態，此時節點等待用戶的指令，如果此時用戶有打開窗戶的指令，節點就會驅動相應的執行機構動作，實現開窗的操作，如果用戶說出“進入自動模式”就會進入第二種模式，此時節點就會按照事先設定的程序自動運行，例如下雨關窗，天黑關窗簾等。

2 交互系統硬件設計

2.1 基站硬件設計

基站由樹莓派開發板作為主控，它是一款基于ARM的微型電腦主板，以MicroSD卡為內存硬盤，卡片主板周圍有4個USB接口和一個以太網接口，可連接鍵盤、鼠標和網線，同時擁有視頻模擬信號的電視輸出接口和HDMI高清視頻輸出接口。

主控與一塊ZigBee通信模塊相連，它是一種自組網多跳無線通信模塊。該模塊上電后會與周圍的模塊自動組成一個無線多跳網絡，此網絡為對等網絡，不需要中心節點。模塊頻率為2.4～2.45 GHz，屬于全球免費的無線頻段。將ZigBee模塊設置為串口透傳工作模式后，可以通過串口將基站或節點單片機上的數據自動打包成相應的數據格式并借助ZigBee網絡發送給對方，實現傳感器數據與控制信號的本地網絡傳輸。

基站還連接多個采音設備以及一個揚聲器，其電路圖如圖7所示。

圖7 基站電路圖

其中所有的語音采集設備和揚聲器均通過延長線伸展至節點附近，用戶只需在節點附近靠近麥克風處發出語音命令就能進行交互，節點不承擔相關語音采集以及處理等計算資源的消耗。

考慮到采音設備的采音質量會對最后的識別率與準確識別的距離產生較大影響，此處我們選擇使用麥克風陣列的模塊提高采音質量。

2.2 ZigBee節點硬件設計

節點的電路圖如圖8所示，STC15F2K60S2單片機做為主控，外接一個光敏傳感器，一個溫濕度傳感器DHT11，一個ZigBee通信模塊與多個舵機等執行機構。

圖8 ZigBee無線節點電路

其中，溫度和濕度傳感器都為數字式傳感器，無需對獲得的數據再做數模轉換。

3 系統驗證

3.1 識別率測試

因為本系統采用的云端語音識別引擎為百度語音，官方公布的平均正確識別率為97%，為了測試本系統的實際識別率，我們通過用手機錄制特定命令，并以相同的音量播放，通過多次實地測試，得到圖9所示的不同距離下的識別準確率。

由于識別準確率不僅受云端的影響，具體應用時還受到采音設備性能[15]的影響，本文中設計的交互系統采用的是麥克風陣列采集語音信息，由圖9數據易知，本文中設計的系統在距離為3.5 m范圍內，識別率在90%以上，在距離較近時，甚至接近官方公布的97%的準確率。

圖9 不同距離的識別率曲線

3.2 基站與節點的通信距離

由下面表1易知，在兩面墻的測試環境之下，節點之間的通信距離仍有20 m，由于節點之間是組網通信，模塊會自動尋找最優的信號傳輸路徑，在此通信距離之下，該系統適用于絕大多數的實際家居、辦公場景。

4 結 論

文中以ARM作為基站主控，單片機作為節點主控，在嵌入式平臺上實現了語音交互功能。

首先，借助云端語音識別引擎解決了傳統嵌入式系統移植開發語音算法成本過高與識別率不高[15]的問題，并借助云端智能問答系統和語音轉文字引擎實現了實時聊天對話的功能。

其次，應用ZigBee通信技術實現了語音信息、傳感器信息、云端控制信息在各個節點間的傳遞與執行。本文設計的嵌入式無線交互系統可應用于家庭、醫院、養老中心、餐廳、智能車載等場景。但是在實際驗證系統時發現系統的聲音采集設備還存在較大問題，拾音距離不夠理想，后期的工作集中于尋找更好的遠距離聲音采集方案。