智能空調(diào)語(yǔ)音控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

王俐偉 廉小親 安颯 付靜

WANG Liwei LIAN Xiaoqin AN Sa FU Jing

北京工商大學(xué)計(jì)算機(jī)與信息工程學(xué)院 食品安全大數(shù)據(jù)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室 北京 100048

Beijing Key Laboratory of Big Data Technology for Food Safety, School of Computer and Information Engineering, Beijing Technology and Business University Beijing 100048

1 引言

隨著人工智能技術(shù)的迅速發(fā)展，語(yǔ)音識(shí)別技術(shù)已經(jīng)相對(duì)成熟，相關(guān)的語(yǔ)音識(shí)別智能產(chǎn)品也因研發(fā)成本的不斷降低而逐漸普及。傳統(tǒng)的空調(diào)系統(tǒng)在控制過(guò)程中存在操作繁瑣、需要用戶借助遙控器等設(shè)備發(fā)出控制指令等問(wèn)題，影響了用戶的使用體驗(yàn)。本設(shè)計(jì)將非特定人語(yǔ)音識(shí)別技術(shù)應(yīng)用到空調(diào)控制系統(tǒng)中，用戶通過(guò)語(yǔ)音指令的方式就能調(diào)整空調(diào)系統(tǒng)的運(yùn)行狀態(tài)。現(xiàn)有的空調(diào)控制方式主要為遙控控制，少數(shù)空調(diào)支持手機(jī)APP控制。但這些控制方法都需要用戶操作相關(guān)的設(shè)備才能實(shí)現(xiàn)對(duì)空調(diào)的控制。語(yǔ)音控制技術(shù)的出現(xiàn)改變了用戶與智能家居之間的“交流”方式，解放了用戶的雙手，改善了用戶在智能家居[1]系統(tǒng)中的使用體驗(yàn)。語(yǔ)音識(shí)別控制技術(shù)讓用戶與智能家居之間的信息交流更加智能化，用戶只需通過(guò)講話的方式就能控制智能家居系統(tǒng)實(shí)現(xiàn)相應(yīng)的功能。

2 系統(tǒng)需求分析及總體設(shè)計(jì)

2.1 系統(tǒng)需求分析

結(jié)合現(xiàn)有的空調(diào)控制技術(shù)和語(yǔ)音識(shí)別技術(shù)[2]，本系統(tǒng)主要實(shí)現(xiàn)以下功能：

（1）通過(guò)語(yǔ)音指令實(shí)現(xiàn)空調(diào)開機(jī)、關(guān)機(jī)功能；

（2）通過(guò)語(yǔ)音指令調(diào)整空調(diào)工作模式；

（3）通過(guò)語(yǔ)音指令調(diào)整空調(diào)的風(fēng)速；

（4）通過(guò)語(yǔ)音指令調(diào)整空調(diào)的設(shè)定溫度。

2.2 系統(tǒng)總體設(shè)計(jì)

智能空調(diào)語(yǔ)音控制系統(tǒng)主要由LD3320語(yǔ)音識(shí)別模塊、STM32主控模塊和空調(diào)控制器三部分組成。LD3320語(yǔ)音識(shí)別模塊通過(guò)MIC采集來(lái)自用戶的語(yǔ)音信號(hào)，該模塊通過(guò)SPI通訊方式與STM32主控模塊進(jìn)行通信，STM32主控模塊和空調(diào)控制器之間采用串行通信方式進(jìn)行通訊，智能家居語(yǔ)音控制系統(tǒng)總體結(jié)構(gòu)框圖如圖1所示。

LD3320語(yǔ)音識(shí)別芯片采用先進(jìn)的非特定人語(yǔ)音識(shí)別技術(shù)并支持關(guān)鍵詞列表動(dòng)態(tài)編輯。語(yǔ)音識(shí)別模塊通過(guò)麥克風(fēng)采集到語(yǔ)音信號(hào)后開始識(shí)別并將識(shí)別結(jié)果寫入相應(yīng)的寄存器，同時(shí)產(chǎn)生中斷到STM32主控模塊，STM32主控模塊通過(guò)讀取語(yǔ)音識(shí)別模塊相應(yīng)寄存器的值來(lái)識(shí)別語(yǔ)音指令，并根據(jù)語(yǔ)音指令對(duì)空調(diào)進(jìn)行控制。

空調(diào)控制器主要由空調(diào)主控模塊和電源模塊組成，空調(diào)主控模塊通過(guò)UART方式接收到來(lái)自STM32主控模塊的控制指令后執(zhí)行相關(guān)的任務(wù)。

3 系統(tǒng)硬件設(shè)計(jì)

本系統(tǒng)的硬件設(shè)計(jì)主要分為語(yǔ)音控制器和空調(diào)控制器兩部分，系統(tǒng)的硬件組成框圖如圖2所示。語(yǔ)音控制器硬件電路主要包括LD3320語(yǔ)音識(shí)別模塊電路、STM32主控模塊電路和電源電路三部分[3]。空調(diào)控制器硬件電路主要包括空調(diào)主控模塊電路和電源電路兩部分。本系統(tǒng)中空調(diào)控制器為空調(diào)廠家定制產(chǎn)品，軟硬件部分均由空調(diào)廠家技術(shù)部門設(shè)計(jì)和制作，本文不作詳細(xì)介紹，主要介紹LD3320語(yǔ)音識(shí)別模塊和STM32主控模塊的硬件電路設(shè)計(jì)。

3.1 LD3320語(yǔ)音識(shí)別模塊

本系統(tǒng)的語(yǔ)音識(shí)別模塊采用的是ICRoute公司設(shè)計(jì)生產(chǎn)的LD3320型號(hào)離線語(yǔ)音識(shí)別模塊，該模塊內(nèi)部固化了高效的非特定人語(yǔ)音識(shí)別[4]搜索引擎模塊，不需事先錄音和訓(xùn)練，同時(shí)內(nèi)置了高精度的AD、DA電路，不需外接Flash、RAM。LD3320芯片最多支持50個(gè)關(guān)鍵詞的識(shí)別，可動(dòng)態(tài)更新關(guān)鍵詞列表，語(yǔ)音識(shí)別準(zhǔn)確率高達(dá)95%。通訊接口方面，LD3320支持并行和串行兩種通訊方式，本設(shè)計(jì)采用SPI串行方式實(shí)現(xiàn)LD3320語(yǔ)音識(shí)別模塊和STM32的通訊。LD3320芯片的語(yǔ)音識(shí)別模式分為單次模式和循環(huán)模式兩種。為了保證本系統(tǒng)控制的實(shí)時(shí)性，本設(shè)計(jì)中語(yǔ)音識(shí)別模塊采用循環(huán)語(yǔ)音識(shí)別的工作方式。

本設(shè)計(jì)中LD3320語(yǔ)音識(shí)別模塊的電路圖如圖3所示，電路參照ICRoute公司發(fā)布的LD3320數(shù)據(jù)手冊(cè)進(jìn)行設(shè)計(jì)，LD3320的通訊方式由46引腳MD決定，當(dāng)MD引腳為高電平時(shí)采用串行SPI通訊，反之則為并行通訊，本設(shè)計(jì)中將MD引腳電平置高，使得LD3320與STM32單片機(jī)采用SPI通訊。

3.2 STM32主控模塊

本系統(tǒng)主控模塊采用STM32F103C8T6芯片，該芯片基于Cortex-M3架構(gòu)，最高支持72MHz時(shí)鐘頻率，內(nèi)部集成了Flash存儲(chǔ)、豐富的I/O口和先進(jìn)的中斷響應(yīng)系統(tǒng)。具有功耗低，工作穩(wěn)定等優(yōu)點(diǎn)，滿足了本系統(tǒng)的設(shè)計(jì)要求，電路圖如圖4所示。其中PB12 IO口與按鍵key相連，該按鍵按下時(shí)關(guān)閉語(yǔ)音識(shí)別模塊。

4 STM32與空調(diào)控制器通訊協(xié)議設(shè)計(jì)

本系統(tǒng)中的LD3320語(yǔ)音識(shí)別芯片采用SPI通訊方式與STM32主控模塊進(jìn)行通信，該芯片通過(guò)操作寄存器進(jìn)行配置和使用，無(wú)需復(fù)雜的通訊協(xié)議。所以本文主要介紹STM32主控模塊和空調(diào)控制器之間的通訊協(xié)議。

圖1 系統(tǒng)總體結(jié)構(gòu)框圖

圖2 系統(tǒng)硬件組成框圖

表1 主從機(jī)通訊數(shù)據(jù)封裝格式

表2 功能碼具體內(nèi)容

表3 主機(jī)數(shù)據(jù)域第四字節(jié)功能含義

圖3 LD3320語(yǔ)音識(shí)別模塊電路圖

圖4 STM32主控模塊電路圖

STM32主控模塊與空調(diào)主控板之間采用全雙工異步串行通信方式。協(xié)議規(guī)定STM32主控模塊為主機(jī)，空調(diào)主控模塊為從機(jī)，通訊數(shù)據(jù)封裝格式如表1所示。數(shù)據(jù)幀頭為0xBB，STM32主控模塊地址為0x00，空調(diào)主控模塊地址為0x01；功能碼分為控制命令，查詢命令和復(fù)位命令，具體內(nèi)容見表2[5]。數(shù)據(jù)長(zhǎng)度由每次發(fā)送的數(shù)據(jù)區(qū)實(shí)際長(zhǎng)度所決定，該值不大于250。校驗(yàn)碼采用CRC校驗(yàn)方式；數(shù)據(jù)格式采用1個(gè)起始位、8個(gè)數(shù)據(jù)位、1個(gè)奇偶校驗(yàn)位和1個(gè)停止位，波特率為9600bps。

4.1 協(xié)議中數(shù)據(jù)通信過(guò)程

主機(jī)每次發(fā)送數(shù)據(jù)完成后，從機(jī)會(huì)延時(shí)200ms后返回?cái)?shù)據(jù)；當(dāng)從機(jī)主動(dòng)發(fā)送信號(hào)時(shí)，主機(jī)接收到后會(huì)在200ms后返回，主機(jī)兩條指令發(fā)送數(shù)據(jù)應(yīng)大于500ms。通訊過(guò)程如圖5所示。協(xié)議規(guī)定每幀數(shù)據(jù)開始前必須至少有100ms的間隔時(shí)間，數(shù)據(jù)發(fā)送結(jié)束后，同樣需要100ms的間隔時(shí)間，然后才能發(fā)送新的數(shù)據(jù)。

4.2 通訊協(xié)議內(nèi)容

通信協(xié)議內(nèi)容主要分為主機(jī)和從機(jī)數(shù)據(jù)區(qū)內(nèi)容，這里主機(jī)是指STM32主控模塊，從機(jī)為空調(diào)主控制板。通信協(xié)議涉及空調(diào)工作狀態(tài)較多，這里以設(shè)置空調(diào)工作模式為例說(shuō)明，后邊也以此為主進(jìn)行設(shè)計(jì)和測(cè)試。

STM32主控模塊下發(fā)控制命令，此時(shí)通信數(shù)據(jù)格式中的功能碼為0x03，通信數(shù)據(jù)格式中數(shù)據(jù)區(qū)的前三字節(jié)表示協(xié)議版本號(hào)和開關(guān)機(jī)，第四字節(jié)表示空調(diào)模式設(shè)置。數(shù)據(jù)區(qū)主機(jī)數(shù)據(jù)域第四字節(jié)功能含義如表3所示，第四位表示工作模式，一共五種工作模式表示空調(diào)運(yùn)行時(shí)的常規(guī)功能設(shè)置。

5 系統(tǒng)軟件設(shè)計(jì)

本系統(tǒng)的軟件設(shè)計(jì)主要分為語(yǔ)音控制器的軟件設(shè)計(jì)和空調(diào)控制器的軟件設(shè)計(jì)兩大部分。其中空調(diào)控制器為空調(diào)廠家定制產(chǎn)品，本文不做過(guò)多介紹，主要介紹語(yǔ)音識(shí)別控制器的軟件設(shè)計(jì)思路。本系統(tǒng)中語(yǔ)音控制器的軟件設(shè)計(jì)參考LD3320開發(fā)手冊(cè)，程序設(shè)計(jì)主要分為主程序設(shè)計(jì)和中斷服務(wù)子程序設(shè)計(jì)兩部分。

圖5 主從機(jī)通訊過(guò)程

5.1 主程序設(shè)計(jì)

系統(tǒng)的主程序流程圖如圖6所示。通用初始化包括STM32芯片初始化和LD3320芯片的初始化。LD3320芯片的初始化主要包括對(duì)語(yǔ)音識(shí)別芯片進(jìn)行軟復(fù)位和基礎(chǔ)化配置，例如設(shè)置模塊的工作模式，通訊方式以及時(shí)鐘頻率等[6]。通過(guò)配置寄存器35的值來(lái)調(diào)整好MIC的音量，寄存器35控制的ADC增益通道為麥克風(fēng)的輸入通道，MIC的音量隨著ADC增益值的增大而增大[7]。官方推薦該值為40H～6FH，增益值太小，遠(yuǎn)距離語(yǔ)音識(shí)別效果就會(huì)降低；反之，增益值太大，語(yǔ)音控制器又容易受到遠(yuǎn)處聲音的干擾。

寫入關(guān)鍵詞主要為配置語(yǔ)音識(shí)別模塊的關(guān)鍵詞列表。LD3320語(yǔ)音識(shí)別芯片最多支持50個(gè)關(guān)鍵詞，且每一個(gè)關(guān)鍵詞對(duì)應(yīng)一個(gè)特定的編號(hào)，編號(hào)可以相同，可以不連續(xù)，但不能大于256。每一個(gè)關(guān)鍵詞是標(biāo)準(zhǔn)普通話的漢語(yǔ)拼音小寫，每個(gè)關(guān)鍵詞之間需要用一個(gè)空格隔開。空調(diào)語(yǔ)音控制的關(guān)鍵詞較多，主要以空調(diào)模式設(shè)置的關(guān)鍵詞為例進(jìn)行說(shuō)明，如表4所示。

打開外部中斷后向語(yǔ)音識(shí)別模塊發(fā)送開啟識(shí)別命令，掃描按鍵key是否按下，如果按下則關(guān)閉語(yǔ)音識(shí)別模塊。本設(shè)計(jì)中LD3320語(yǔ)音識(shí)別芯片采用循環(huán)語(yǔ)音識(shí)別和中斷觸發(fā)的工作方式，即芯片通過(guò)MIC采集到聲音信號(hào)后開始進(jìn)行語(yǔ)音識(shí)別并將識(shí)別結(jié)果與表4中的關(guān)鍵詞進(jìn)行比較。將識(shí)別結(jié)果的個(gè)數(shù)和最佳的識(shí)別結(jié)果分別存入BA和C5寄存器，并向STM32主控模塊發(fā)出中斷請(qǐng)求。完成這一系列的任務(wù)后LD3320語(yǔ)音識(shí)別芯片重新通過(guò)MIC采集聲音信號(hào)。

5.2 中斷服務(wù)子程序設(shè)計(jì)

中斷服務(wù)子程序的主要功能為提取出LD3320語(yǔ)音識(shí)別芯片的識(shí)別結(jié)果，并根據(jù)結(jié)果對(duì)空調(diào)進(jìn)行相應(yīng)的控制。中斷服務(wù)子程序流程圖如圖7所示。

圖6 主程序流程圖

STM32主控模塊接收到外部中斷信號(hào)后執(zhí)行中斷服務(wù)子程序。首先讀取LD3320芯片BA寄存器的值，該值表示LD3320語(yǔ)音識(shí)別芯片識(shí)別到幾種答案；如果該值為零，代表語(yǔ)音識(shí)別芯片未識(shí)別到有效的語(yǔ)音指令；如果BA寄存器的值不為零，則讀取C5寄存器的值，該值為語(yǔ)音識(shí)別芯片識(shí)別出的最佳結(jié)果；然后STM32主控模塊根據(jù)C5寄存器的值執(zhí)行相應(yīng)的空調(diào)控制子程序，按照制定好的協(xié)議將空調(diào)控制指令通過(guò)串口通訊方式發(fā)送到空調(diào)控制器，從而實(shí)現(xiàn)通過(guò)語(yǔ)音指令控制空調(diào)的目的。

圖7 中斷服務(wù)子程序流程圖

6 系統(tǒng)性能測(cè)試與應(yīng)用

本文所設(shè)計(jì)的系統(tǒng)主要用于空調(diào)等電器的語(yǔ)音控制，在實(shí)際的應(yīng)用中主要關(guān)注系統(tǒng)語(yǔ)音識(shí)別的成功率和實(shí)時(shí)性。本設(shè)計(jì)中空調(diào)部分為廠家定制產(chǎn)品，高度集成并且運(yùn)行穩(wěn)定無(wú)需過(guò)多測(cè)試。所以本系統(tǒng)的測(cè)試主要以語(yǔ)音識(shí)別成功率為主。

為了測(cè)試本系統(tǒng)非特定人語(yǔ)音識(shí)別的成功率，本次測(cè)試選擇多個(gè)不同音色的人在實(shí)驗(yàn)室環(huán)境下進(jìn)行。由于本系統(tǒng)空調(diào)的控制指令較多，本次測(cè)試就主要以空調(diào)的模式設(shè)置功能進(jìn)行測(cè)試并觀察系統(tǒng)的實(shí)際響應(yīng)。每位測(cè)試者對(duì)空調(diào)模式設(shè)置的五個(gè)關(guān)鍵詞分別測(cè)試50遍并記錄系統(tǒng)的識(shí)別結(jié)果。部分非特定人語(yǔ)音識(shí)別測(cè)試結(jié)果記錄表見表5。

由表5可知，在實(shí)驗(yàn)室環(huán)境下，本系統(tǒng)對(duì)語(yǔ)音指令的識(shí)別率較高，并且系統(tǒng)的語(yǔ)音識(shí)別并沒有受到測(cè)試者不同音色的影響，平均識(shí)別率可達(dá)90%。

表4 空調(diào)模式設(shè)置關(guān)鍵詞列表

表5 部分非特定人語(yǔ)音識(shí)別測(cè)試記錄表

7 結(jié)束語(yǔ)

語(yǔ)音的識(shí)別與處理是目前語(yǔ)音信號(hào)處理領(lǐng)域的重點(diǎn)與難點(diǎn)。本設(shè)計(jì)將STM32C8T6單片機(jī)與LD3320非特定人語(yǔ)音識(shí)別芯片相結(jié)合，實(shí)現(xiàn)了智能空調(diào)語(yǔ)音控制系統(tǒng)的總體設(shè)計(jì)。試驗(yàn)結(jié)果表明本系統(tǒng)對(duì)非特定人語(yǔ)音識(shí)別的成功率高達(dá)90%，實(shí)現(xiàn)了語(yǔ)音對(duì)空調(diào)的控制，達(dá)到了良好的實(shí)驗(yàn)效果。本系統(tǒng)通用性強(qiáng)，可移植性高，具有良好的發(fā)展前景。

基金項(xiàng)目：

北京工商大學(xué)研究生培養(yǎng)-研究生教育質(zhì)量提升計(jì)劃項(xiàng)目（19008001491）

北京高等學(xué)校教育教學(xué)改革項(xiàng)目（2015-ms146）

北京工商大學(xué)教務(wù)處教學(xué)研究與教改項(xiàng)目

（10800101009）