基于Android語(yǔ)音識(shí)別的音響聲控系統(tǒng)的研究與實(shí)現(xiàn)

鄭苑丹 陳志生 肖來(lái)勝

關(guān)鍵詞： 語(yǔ)音識(shí)別; 科大訊飛開(kāi)放平臺(tái); Android; WiFi網(wǎng)絡(luò)通信; WiFi模塊; 嵌入式控制模塊

中圖分類號(hào)： TN912.34?34 ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）04?0085?04

Research and implementation of a voice control audio system

based on Android speech recognition

ZHENG Yuandan1， CHEN Zhisheng2， XIAO Laisheng2，3

（1. School of Mathematics and Computer， Guangdong Ocean University， Zhanjiang 524088， China;

2. School of Electronics and Information Engineering， Guangdong Ocean University， Zhanjiang 524088， China;

3. Educational Information Center， Guangdong Ocean University， Zhanjiang 524088， China）

Abstract： A voice control audio system which conducts speech recognition by collecting speech instructions on the APP of the mobile phone terminal， and controls the work of audio equipment by means of the WiFi network and embedded control module is implemented on the basis of the speech recognition technology of the Android platform， and combining with the WiFi network communication technology and embedded control system. The mobile speech terminal SDK provided by the iFLYTEK open platform is used for speech recognition. The WiFi network is provided by the WiFi router. The embedded control module takes the STC15F204EA as the controller， and is cooperated with the NL6621?M3 WiFi module， so as to receive processing instructions. The results of the experimental test show that the audio system can effectively conduct voice control， which can meet the intelligence requirement of the modern audio equipment.

Keywords： speech recognition; iFLYTEK open platform; Android; WiFi network communication; WiFi module; embedded control module

0 ?引 ?言

隨著電子技術(shù)的發(fā)展，人們對(duì)于音響系統(tǒng)的要求不再局限于使用遙控器進(jìn)行控制，希望控制更自由更舒適更便利。同時(shí)，隨著智能手機(jī)高速發(fā)展，手機(jī)已經(jīng)普及到人們的生活中，越來(lái)越多的功能集成到智能手機(jī)中[1]。在家庭住宅范圍內(nèi)，依靠WiFi通信技術(shù)，將手機(jī)APP和音響設(shè)備聯(lián)系起來(lái)，通過(guò)手機(jī)控制音響設(shè)備，構(gòu)建高效便捷的音響控制系統(tǒng)，方便人們對(duì)音響設(shè)備的操作和管理。語(yǔ)言識(shí)別技術(shù)作為一種新興的智能信息技術(shù)已經(jīng)引起了廣泛的關(guān)注和高度的重視[2]，它可以讓機(jī)器聽(tīng)懂人的話。人可以用語(yǔ)音對(duì)設(shè)備進(jìn)行控制，使人機(jī)交互更加方便直接[3]。語(yǔ)音控制代替了手動(dòng)控制，可以解放人的雙手，讓人們可以在做其他事情的同時(shí)控制音響系統(tǒng)。本文結(jié)合Android平臺(tái)的語(yǔ)音識(shí)別技術(shù)、WiFi網(wǎng)絡(luò)通信和嵌入式技術(shù)，提出一種基于Android語(yǔ)音識(shí)別的音響聲控系統(tǒng)。該系統(tǒng)可以在手機(jī)端通過(guò)WiFi網(wǎng)絡(luò)和嵌入式控制模塊對(duì)音響設(shè)備進(jìn)行語(yǔ)音控制，能滿足現(xiàn)代音響設(shè)備智能化的要求，具有很好的應(yīng)用前景。

1 ?系統(tǒng)設(shè)計(jì)

1.1 ?整體方案

整個(gè)音響聲控系統(tǒng)由手機(jī)控制端、WiFi路由器、嵌入式家庭網(wǎng)關(guān)和音響設(shè)備組成。手機(jī)端基于Android平臺(tái)開(kāi)發(fā)APP，具有語(yǔ)音指令控制和界面指令控制功能。語(yǔ)音指令控制基于科大訊飛開(kāi)放平臺(tái)提供的語(yǔ)音識(shí)別功能實(shí)現(xiàn)。嵌入式家庭網(wǎng)關(guān)即嵌入式控制模塊，采用STC15F204EA單片機(jī)芯片作為微控制器，采用集成Cortex?M3的NL6621芯片作為WiFi通信模塊。WiFi路由器提供WiFi通信網(wǎng)絡(luò)，連接手機(jī)與家庭網(wǎng)關(guān)，并提供手機(jī)到Internet的聯(lián)網(wǎng)。音響設(shè)備從嵌入式家庭網(wǎng)關(guān)接收指令并執(zhí)行。系統(tǒng)總體結(jié)構(gòu)如圖1所示。

手機(jī)端APP將接收到的語(yǔ)音通過(guò)WiFi路由器發(fā)送至Internet上的訊飛語(yǔ)音云服務(wù)進(jìn)行語(yǔ)音識(shí)別，將云端返回的數(shù)據(jù)與本地指令進(jìn)行匹配，找到匹配的指令通過(guò)WiFi路由器向家庭網(wǎng)關(guān)發(fā)送指令。家庭網(wǎng)關(guān)接收到指令后向音響設(shè)備發(fā)送控制信號(hào)，音響設(shè)備按照控制信號(hào)執(zhí)行對(duì)應(yīng)動(dòng)作。語(yǔ)音識(shí)別如果在本地進(jìn)行，則不需要連接Internet。手機(jī)端如果采用界面指令控制，則不需要進(jìn)行語(yǔ)音識(shí)別，直接發(fā)送指令。

1.2 ?語(yǔ)音識(shí)別處理

語(yǔ)音識(shí)別技術(shù)本質(zhì)上是一種模式識(shí)別匹配的過(guò)程，是機(jī)器通過(guò)識(shí)別和理解過(guò)程把語(yǔ)音信號(hào)轉(zhuǎn)變成相應(yīng)的文本或命令的技術(shù)[4]。科大訊飛開(kāi)放平臺(tái)提供多種語(yǔ)音識(shí)別功能[5]，其中語(yǔ)音聽(tīng)寫是基于自然語(yǔ)言處理，將一段語(yǔ)音轉(zhuǎn)換成文本，把語(yǔ)音中包含文字信息提取出來(lái)。語(yǔ)音聽(tīng)寫包括在線引擎和離線引擎兩種。在線引擎需要使用網(wǎng)絡(luò)，速度稍慢，并產(chǎn)生一定流量，但有更好的識(shí)別效果。離線引擎不需要使用網(wǎng)絡(luò)，且識(shí)別的速度更快，但需要使用離線的SDK包[6]。本系統(tǒng)手機(jī)端語(yǔ)音識(shí)別采用科大訊飛開(kāi)放平臺(tái)提供的移動(dòng)語(yǔ)音終端SDK，將本地采集的語(yǔ)音通過(guò)網(wǎng)絡(luò)交給訊飛語(yǔ)音云進(jìn)行識(shí)別，或交給離線的訊飛本地語(yǔ)音識(shí)別SDK包進(jìn)行識(shí)別，再根據(jù)返回的識(shí)別結(jié)果與系統(tǒng)相關(guān)指令匹配，執(zhí)行對(duì)應(yīng)指令。軟件工作流程如圖2所示。

從圖2可以看出，手機(jī)端語(yǔ)音識(shí)別支持在線引擎和離線引擎兩種模式。在線引擎必須確保手機(jī)連接網(wǎng)絡(luò)，以便把語(yǔ)音發(fā)送至訊飛語(yǔ)音云服務(wù)，云服務(wù)端識(shí)別后返回識(shí)別結(jié)果。本地引擎在使用前必須預(yù)安裝本地語(yǔ)音識(shí)別包，使用識(shí)別包進(jìn)行語(yǔ)音識(shí)別。移動(dòng)語(yǔ)音終端SDK提供SpeechUtility類進(jìn)行軟件初始化，SpeechRecognize類實(shí)現(xiàn)語(yǔ)音聽(tīng)寫功能，RecognizerDialog類實(shí)現(xiàn)語(yǔ)音聽(tīng)寫UI功能。移動(dòng)語(yǔ)音終端SDK提供的功能大多使用接口和回調(diào)的方式返回結(jié)果和狀態(tài)。語(yǔ)音識(shí)別結(jié)果在回調(diào)函數(shù)中返回，系統(tǒng)對(duì)識(shí)別結(jié)果的處理也在回調(diào)函數(shù)中進(jìn)行[7]。語(yǔ)音識(shí)別的識(shí)別正確率是系統(tǒng)功能的核心指標(biāo)。科大訊飛開(kāi)放平臺(tái)提供的語(yǔ)音識(shí)別功能識(shí)別正確率比較高[8]。但從多次測(cè)試中發(fā)現(xiàn)，對(duì)于連續(xù)的有上下文語(yǔ)義的句子，識(shí)別率比較高，對(duì)于一些音響指令，如“停止”“菜單三”等沒(méi)有上下文聯(lián)系的單個(gè)詞組，識(shí)別率有所下降。為了使有所下降的識(shí)別率不影響系統(tǒng)的匹配率，系統(tǒng)加入指令相似音節(jié)列表。如“停止”指令對(duì)應(yīng)的相似音節(jié)列表包括“亭子”“聽(tīng)著”“挺直”“金子”等相似音節(jié)詞組，只要語(yǔ)音識(shí)別結(jié)果含有指令相似音節(jié)列表中的其中一個(gè)詞組，則認(rèn)為匹配。對(duì)加入相似音節(jié)列表前后進(jìn)行測(cè)試，測(cè)試結(jié)果如表1和表2所示。其中識(shí)別正確次數(shù)指能正確識(shí)別出原指令詞組的次數(shù)，匹配次數(shù)則是識(shí)別正確次數(shù)加上識(shí)別結(jié)果與相似音節(jié)列表里任一詞組匹配的次數(shù)。從測(cè)試結(jié)果可以看出，單個(gè)指令語(yǔ)音識(shí)別的正確率較低，但增加指令相似音節(jié)列表后，匹配的范圍增大，能很好地提高系統(tǒng)的語(yǔ)音識(shí)別匹配率。

1.3 ?嵌入式家庭網(wǎng)關(guān)

嵌入式家庭網(wǎng)關(guān)以STC15F204EA微控制器為核心，連接音響設(shè)備，配合NL6621?M3 WiFi模塊，接收WiFi網(wǎng)絡(luò)傳輸?shù)闹噶睿刂埔繇懺O(shè)備工作。嵌入式家庭網(wǎng)關(guān)硬件結(jié)構(gòu)如圖3所示。

STC15F204EA為高速51單片機(jī)芯片，單周期指令，主頻33 MHz，2 KB FLASH，1 KB E2PROM，W/R周期10K+，256 B RAM[9]。STC15F204EA微控制器主要工作是連接WiFi網(wǎng)絡(luò)和從串口中接收指令信號(hào)并處理，工作流程如圖4所示。STC15F204EA微控制器初始化完畢后連接WiFi網(wǎng)絡(luò)，連接的命令包括設(shè)置WiFi模式、填寫WiFi id和密碼、設(shè)置波特率、設(shè)置幀長(zhǎng)度和設(shè)置幀間隔。完成WiFi連接后，控制器從串口中接收WiFi模塊傳送過(guò)來(lái)的指令信號(hào)，根據(jù)指令信號(hào)轉(zhuǎn)到對(duì)應(yīng)的子程序處理。

1.4 ?WiFi網(wǎng)絡(luò)通信

WiFi是一種短程無(wú)線傳輸技術(shù)，能夠在數(shù)百英尺（約合100 m）范圍內(nèi)支持互聯(lián)網(wǎng)接入的無(wú)線信號(hào)[10]。系統(tǒng)采用WiFi網(wǎng)絡(luò)通信技術(shù)實(shí)現(xiàn)控制指令信號(hào)的無(wú)線傳輸。WiFi路由器作為無(wú)線信號(hào)發(fā)送端，手機(jī)和嵌入式家庭網(wǎng)關(guān)均作為AP接入[11]。因此手機(jī)和嵌入式家庭網(wǎng)關(guān)均被分配動(dòng)態(tài)IP地址，雙方在通信前必須識(shí)別對(duì)方的IP地址，才能進(jìn)行后續(xù)的控制指令傳輸。網(wǎng)絡(luò)通信流程如圖5所示。

手機(jī)端在剛接入網(wǎng)絡(luò)時(shí)，首先通過(guò)綁定的端口號(hào)廣播發(fā)送探測(cè)數(shù)據(jù)包，綁定相應(yīng)端口號(hào)的嵌入式家庭網(wǎng)關(guān)接收到探測(cè)包后，回復(fù)一個(gè)回應(yīng)包。回應(yīng)包中包含家庭網(wǎng)關(guān)的IP地址。手機(jī)端通過(guò)回應(yīng)包可以獲得家庭網(wǎng)關(guān)的IP地址，之后可以向家庭網(wǎng)關(guān)單播地發(fā)送控制指令包。

2 ?系統(tǒng)測(cè)試

音響聲控系統(tǒng)開(kāi)發(fā)調(diào)試完成后，手機(jī)端控制界面如圖6所示。手機(jī)端包括語(yǔ)音指令控制和界面指令控制兩種方式。使用語(yǔ)音指令控制方式，用戶只需點(diǎn)擊語(yǔ)音按鈕，然后說(shuō)出指令。手機(jī)端采集語(yǔ)音指令，控制音響系統(tǒng)的操作。使用界面指令控制方式，用戶則需要點(diǎn)擊對(duì)應(yīng)指令按鈕來(lái)控制音響工作。

系統(tǒng)測(cè)試分別對(duì)在線引擎和離線引擎兩種方式進(jìn)行語(yǔ)音識(shí)別測(cè)試，記錄匹配率和平均響應(yīng)時(shí)延。測(cè)試結(jié)果如表3所示。

從測(cè)試結(jié)果可以看出，在線引擎和離線引擎經(jīng)過(guò)增加指令相似音節(jié)列表處理后，均能獲得較好的匹配率。在線引擎的平均響應(yīng)時(shí)延比離線引擎的評(píng)價(jià)響應(yīng)時(shí)延低，因?yàn)樵诰€引擎需要將數(shù)據(jù)發(fā)送到云端處理。不管使用哪種識(shí)別方式，均能滿足系統(tǒng)對(duì)語(yǔ)音識(shí)別的要求。

3 ?結(jié) ?語(yǔ)

本文基于科大訊飛開(kāi)發(fā)平臺(tái)提供的移動(dòng)語(yǔ)音終端SDK，結(jié)合WiFi網(wǎng)絡(luò)通信技術(shù)和嵌入式系統(tǒng)，開(kāi)發(fā)通過(guò)語(yǔ)音進(jìn)行控制的音響控制系統(tǒng)。該系統(tǒng)以手機(jī)語(yǔ)音識(shí)別作為控制端，通過(guò)WiFi網(wǎng)絡(luò)向嵌入式家庭網(wǎng)關(guān)發(fā)送控制指令，從而達(dá)到語(yǔ)音控制音響設(shè)備操作的效果。目前本系統(tǒng)已經(jīng)通過(guò)實(shí)驗(yàn)測(cè)試，能良好地控制音響設(shè)備工作。今后將進(jìn)一步研究把系統(tǒng)架構(gòu)擴(kuò)展到智能家居控制和其他嵌入式設(shè)備控制。

參考文獻(xiàn)

[1] YE G， RAN B. Design and implementation of smart home system based on Internet of Things [J]. Journal of computer applications， 2014（S1）： 323?324.

[2] 唐貴堯，萬(wàn)鑫.語(yǔ)音識(shí)別技術(shù)的研究及基本實(shí)現(xiàn)[J].電子技術(shù)與軟件工程，2015（15）：128.

TANG Guiyao， WAN Xin. Research and basic realization of speech recognition technology [J]. Electronic technology & software engineering， 2015（15）： 128.

[3] 楊葉芬，葉成景.基于GSM的智能家居語(yǔ)音控制系統(tǒng)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2017，26（2）：68?72.

YANG Yefen， YE Chengjing. Intelligent home voice control system based on GSM [J]. Computer systems & applications， 2017， 26（2）： 68?72.

[4] 王愛(ài)蕓.語(yǔ)音識(shí)別技術(shù)在智能家居中的應(yīng)用[J].軟件，2015，36（7）：104?107.

WANG Aiyun. Intelligent home speech recognition system based on NL6621 [J]. Computer engineering & software， 2015， 36（7）： 104?107.

[5] 于亦瀟，鄭其林，成欣雨.基于語(yǔ)音識(shí)別和MQTT協(xié)議的智能家居系統(tǒng)實(shí)現(xiàn)[J].物聯(lián)網(wǎng)技術(shù)，2017，7（11）：97?99.

YU Yixiao， ZHENG Qilin， CHEN Xinyu. Implementation of intelligent home system based on speech recognition and MQTT protocol [J]. Internet of Things Technologies， 2017， 7（11）： 97?99.

[6] 科大訊飛.科大訊飛MSC開(kāi)發(fā)指南：引擎類型[EB/OL].[2018?06?19].https：//doc.xfyun.cn/msc_android/%E5%BC%95%E6%

93%8E%E7%B1%BB%E5%9E%8B.html.

iFLYTEK. Development guide of iFLYTEK MSC： engine type [EB/OL]. [2018?06?19]. https：//doc.xfyun.cn/msc_android/%E5%BC%95%E6%93%8E%E7%B1%BB%E5%9E%8B.html.

[7] 科大訊飛.科大訊飛MSC開(kāi)發(fā)指南：概述[EB/OL].[2017?07?04].https：//www.kancloud.cn/iflytek_sdk/msc_manual_andorid/299547.

iFLYTEK. Development guide of iFLYTEK MSC： outline [EB/OL]. [2017?07?04]. https：//www.kancloud.cn/iflytek_sdk/msc_manual_andorid/299547.

[8] 魏思.科大訊飛最新語(yǔ)音識(shí)別系統(tǒng)和框架深度剖析[EB/OL].[2016?08?25].http：//www.sohu.com/a/112088969_114877.

WEI Si. Deep analysis of iFLYTEK latest speech recognition system and its framework [EB/OL]. [2016?08?25]. http：//www.sohu.com/a/112088969_114877.

[9] 百度百科.STC15F204EA[EB/OL].[2018?05?10].https：//baike.baidu.com/item/STC15F204EA/6902552？fr=aladdin.

Baidu Baike. STC15F204EA [EB/OL]. [2018?05?10]. https：//baike.baidu.com/item/STC15F204EA/6902552？fr=aladdin.

[10] 李慶，張婭.家居無(wú)線語(yǔ)音控制系統(tǒng)[J].制造業(yè)自動(dòng)化，2011，33（3）：218?220.

LI Qing， ZHANG Ya. System of wireless voice?controlled house [J]. Manufacturing automation， 2011， 33（3）： 218?220.

[11] YAN W， WANG Q， GAO Z. Smart home implementation based on Internet and WiFi technology [C]// Proceedings of 34th Chinese Control Conference. Hangzhou： IEEE， 2015： 9072?9077.