實(shí)時(shí)語(yǔ)音信號(hào)處理教學(xué)與實(shí)驗(yàn)方法研究

王青云, 梁瑞宇,, 趙 力, 馮月芹, 包永強(qiáng)

(1.南京工程學(xué)院 信息與通信工程學(xué)院，南京 211167； 2.東南大學(xué) 信息科學(xué)與工程學(xué)院，南京 210096)

0 引 言

伴隨人工智能領(lǐng)域的突破性發(fā)展，語(yǔ)音信號(hào)處理技術(shù)愈來(lái)愈受到人們關(guān)注[1]。語(yǔ)音技術(shù)走進(jìn)通信、機(jī)器人、智能家居、健康醫(yī)療等各個(gè)領(lǐng)域，百度小度、蘋果Siri、微軟小娜幾位語(yǔ)音機(jī)器人詼諧機(jī)智的對(duì)話引爆世界[2]。為了緊跟行業(yè)發(fā)展方向，眾多高校在本科生和研究生教學(xué)階段開(kāi)設(shè)了語(yǔ)音信號(hào)處理類課程[3]。但是這類課程在教學(xué)實(shí)施中存在一些難點(diǎn)。由于專業(yè)性強(qiáng)、對(duì)數(shù)學(xué)和信息處理基礎(chǔ)要求高、新技術(shù)層出不窮且知識(shí)更新速度快，同時(shí)高校授課學(xué)時(shí)普遍緊張，導(dǎo)致課程體系、授課內(nèi)容和深度難以把握，理論與實(shí)際應(yīng)用容易脫節(jié)。

實(shí)驗(yàn)是語(yǔ)音信號(hào)處理課程重要的教學(xué)環(huán)節(jié)。以往該類實(shí)驗(yàn)往往采用Matlab平臺(tái)，以離線處理方式進(jìn)行[4]。楊毅等[5]研究了基于Matlab的語(yǔ)音信號(hào)處理系列實(shí)驗(yàn)開(kāi)設(shè)方法，通過(guò)基礎(chǔ)實(shí)驗(yàn)和自主實(shí)驗(yàn)培養(yǎng)學(xué)生對(duì)語(yǔ)音信號(hào)處理領(lǐng)域的科研興趣與動(dòng)手能力。劉衛(wèi)東等[6]探索了基于Matlab的語(yǔ)音信號(hào)處理實(shí)驗(yàn)教學(xué)輔助軟件的設(shè)計(jì)。還有一些針對(duì)機(jī)器人語(yǔ)音處理應(yīng)用研究了相關(guān)的教學(xué)實(shí)驗(yàn)方法[7]。

對(duì)本科生及初學(xué)者而言，Matlab平臺(tái)簡(jiǎn)單易學(xué)。但是，對(duì)于研究生或其他專業(yè)人員而言，Matlab平臺(tái)和實(shí)際應(yīng)用的開(kāi)發(fā)系統(tǒng)相差甚遠(yuǎn)。離線處理和實(shí)際在線語(yǔ)音處理所關(guān)注的性能指標(biāo)也完全不同。這種實(shí)驗(yàn)方式無(wú)法評(píng)估實(shí)驗(yàn)程序在真實(shí)系統(tǒng)中的效能、時(shí)延和資源占用情況。為了解決上述問(wèn)題，需要研究基于嵌入式實(shí)時(shí)語(yǔ)音處理的教學(xué)方法與實(shí)驗(yàn)平臺(tái)，但由于該領(lǐng)域的教學(xué)涉及到的專業(yè)知識(shí)面廣，實(shí)驗(yàn)方法復(fù)雜，目前所提出的可行性方案較少[8-9]。

本文研究實(shí)時(shí)語(yǔ)音信號(hào)處理的教學(xué)方法與實(shí)驗(yàn)方案，提出基于嵌入式硬件平臺(tái)、借助嵌入式Linux系統(tǒng)聲音框架(Advanced Linux Sound Architecture，ALSA)[10]來(lái)實(shí)現(xiàn)實(shí)時(shí)語(yǔ)音信號(hào)處理單元實(shí)驗(yàn)及綜合性實(shí)驗(yàn)的方法。為更好地介紹提出的實(shí)驗(yàn)教學(xué)方法，本文以動(dòng)態(tài)語(yǔ)音情感識(shí)別為例，介紹了系統(tǒng)的硬件構(gòu)成、嵌入式語(yǔ)音處理框架的移植、面向可視化編碼的語(yǔ)音處理實(shí)現(xiàn)以及面向具體應(yīng)用的算法實(shí)現(xiàn)。該方法在兼顧基礎(chǔ)知識(shí)的前提下兼顧實(shí)用性與前沿性，能夠加快授課內(nèi)容與行業(yè)應(yīng)用的接軌，提高學(xué)生的專業(yè)能力和工程能力。

1 語(yǔ)音信號(hào)處理授課內(nèi)容與教學(xué)方法

語(yǔ)音信號(hào)處理課程的目的是講授語(yǔ)音信號(hào)處理的基本理論、基本分析方法，使學(xué)習(xí)者了解本領(lǐng)域中相關(guān)研究熱點(diǎn)，激發(fā)學(xué)習(xí)者對(duì)語(yǔ)音處理相關(guān)研究方向中的有關(guān)興趣，為以后開(kāi)展相關(guān)領(lǐng)域研究打下良好的基礎(chǔ)。因此，在授課內(nèi)容上應(yīng)兼顧基礎(chǔ)性與先進(jìn)性，教學(xué)方法上可結(jié)合集中授課與分組討論等多種方式。具體授課內(nèi)容與階段劃分如下。

(1) 語(yǔ)音信號(hào)處理的基礎(chǔ)知識(shí)。該部分內(nèi)容包括語(yǔ)音信號(hào)的產(chǎn)生、特性、數(shù)學(xué)模型等。教學(xué)方法方面，應(yīng)結(jié)合具體實(shí)例講授，快速培養(yǎng)學(xué)生對(duì)課程的學(xué)習(xí)興趣，需要時(shí)給予一些中英文參考文獻(xiàn)，階段性作業(yè)可以為綜述性報(bào)告。

(2) 語(yǔ)音信號(hào)的分析方法。該部分內(nèi)容包括語(yǔ)音信號(hào)的數(shù)字化和預(yù)處理、短時(shí)能量分析、短時(shí)過(guò)零分析、短時(shí)相關(guān)分析、短時(shí)傅里葉變換、復(fù)倒譜與倒譜分析、線性預(yù)測(cè)分析等。本階段學(xué)習(xí)內(nèi)容多，難度大，對(duì)數(shù)學(xué)知識(shí)要求高。在教學(xué)中，采用“抽象”變“形象”的方法可以加深學(xué)生的理解。如：用彩色語(yǔ)譜圖講解短時(shí)傅里葉變換域時(shí)頻分析。結(jié)合具體實(shí)例講解也可以提高學(xué)生的興趣。

(3) 語(yǔ)音信號(hào)處理的典型應(yīng)用。其中語(yǔ)音增強(qiáng)、語(yǔ)音合成和語(yǔ)音識(shí)別為重點(diǎn)講授的典型應(yīng)用。在以往的語(yǔ)音領(lǐng)域研究中，這些典型應(yīng)用都涉及很多不同的實(shí)現(xiàn)方法。針對(duì)不同的授課對(duì)象，該部分授課內(nèi)容和方法可以進(jìn)行調(diào)整。針對(duì)本科生授課對(duì)象，講解這些典型應(yīng)用的基本方法，每種典型應(yīng)用詳細(xì)介紹1～2種具體算法。針對(duì)研究生授課對(duì)象，除講解典型應(yīng)用的基本方法外，給予大量的中英文參考文獻(xiàn)，要求學(xué)生閱讀并完成文獻(xiàn)綜述，最后安排一次研討課，提交研究報(bào)告。

(4) 語(yǔ)音信號(hào)處理新領(lǐng)域。該部分內(nèi)容的講授將緊隨行業(yè)發(fā)展方向，伴隨最新研究進(jìn)展進(jìn)行及時(shí)調(diào)整。除語(yǔ)音隱藏之隱秘通話內(nèi)容外，隨著人工智能領(lǐng)域的飛速發(fā)展，語(yǔ)音機(jī)器人得到廣泛關(guān)注。在語(yǔ)音機(jī)器人研究中，情感語(yǔ)音機(jī)器人又是最前沿的研究熱點(diǎn)。語(yǔ)音情感識(shí)別和情感語(yǔ)音生成是本階段授課重點(diǎn)講授的內(nèi)容之一。該階段學(xué)習(xí)完成后，可以布置大作業(yè)，要求學(xué)生廣泛收集本領(lǐng)域的最新研究進(jìn)展，提交進(jìn)展報(bào)告或PPT，分組進(jìn)行研討，開(kāi)拓學(xué)生視野，指出未來(lái)的研究方向和研究方法。

2 實(shí)時(shí)語(yǔ)音信號(hào)處理實(shí)驗(yàn)設(shè)計(jì)與實(shí)現(xiàn)

2.1 嵌入式實(shí)時(shí)語(yǔ)音信號(hào)處理實(shí)驗(yàn)平臺(tái)硬件構(gòu)建

針對(duì)實(shí)時(shí)語(yǔ)音信號(hào)處理實(shí)驗(yàn)要求，本方案構(gòu)建嵌入式實(shí)時(shí)語(yǔ)音信號(hào)處理實(shí)驗(yàn)平臺(tái)，采用C語(yǔ)言進(jìn)行程序設(shè)計(jì)，和傳統(tǒng)的Matlab實(shí)驗(yàn)平臺(tái)相比，具有如下特點(diǎn)：① 更接近實(shí)際應(yīng)用系統(tǒng)，強(qiáng)化學(xué)生的工程能力，提高設(shè)計(jì)水平；② 能夠以實(shí)時(shí)方式進(jìn)行語(yǔ)音信號(hào)處理算法的在線調(diào)試；③ 便于評(píng)估算法的計(jì)算量、延時(shí)、存儲(chǔ)容量等性能指標(biāo)，可以為算法的硬件化提供參考。

嵌入式實(shí)時(shí)語(yǔ)音信號(hào)處理實(shí)驗(yàn)平臺(tái)框圖如圖1所示。

圖1 嵌入式實(shí)時(shí)語(yǔ)音信號(hào)處理實(shí)驗(yàn)平臺(tái)框圖

嵌入式語(yǔ)音信號(hào)處理實(shí)驗(yàn)平臺(tái)主芯片采用ARM Cortex-A8微處理器Samsung S5PV210。該微處理器具有豐富的外設(shè)接口，可以滿足各類應(yīng)用需求。系統(tǒng)主頻1 GHz，可以直接針對(duì)硬件進(jìn)行裸機(jī)程序編程，也可以安裝Linux操作系統(tǒng)或Android系統(tǒng)進(jìn)行驅(qū)動(dòng)代碼或應(yīng)用程序編程。

4路麥克風(fēng)輸入語(yǔ)音信號(hào)經(jīng)過(guò)調(diào)理電路后輸入2塊WM8960編解碼芯片中。WM8960是24位低功耗、高質(zhì)量的立體聲編解碼器，內(nèi)置有麥克風(fēng)接口和立體聲耳機(jī)驅(qū)動(dòng)器以及立體聲24 bit Σ-Δ模數(shù)轉(zhuǎn)換器(ADC)和數(shù)模轉(zhuǎn)換器(DAC)，每塊芯片支持兩路麥克風(fēng)輸入。為了實(shí)現(xiàn)聲源定位等麥克風(fēng)陣列信號(hào)處理算法，嵌入式實(shí)時(shí)語(yǔ)音信號(hào)處理實(shí)驗(yàn)平臺(tái)采用2塊WM8960芯片實(shí)現(xiàn)4路麥克風(fēng)信號(hào)輸入，通過(guò)系統(tǒng)時(shí)鐘進(jìn)行數(shù)據(jù)同步。

2.2 嵌入式Linux高級(jí)聲音框架移植

嵌入式Linux操作系統(tǒng)由于其完全開(kāi)源的策略得到廣泛應(yīng)用。在嵌入式Linux操作系統(tǒng)中運(yùn)行語(yǔ)音信號(hào)處理程序要使用到高級(jí)Linux聲音框架(Advanced Linux Sound Architecture，簡(jiǎn)稱ALSA)。ALSA高效支持所有的音頻接口，完全模塊化設(shè)計(jì)，支持應(yīng)用開(kāi)發(fā)庫(kù)，為程序設(shè)計(jì)提供簡(jiǎn)單便捷的設(shè)計(jì)方法。使用ALSA編程需要調(diào)用庫(kù)函數(shù)，其基本結(jié)構(gòu)如圖2所示。在這些庫(kù)中，ALSA-LIB為應(yīng)用函數(shù)庫(kù)、ALSA-DRIVER為常見(jiàn)音頻芯片的ALSA驅(qū)動(dòng)代碼、ALSA-FIRMWARE為DSP或ASIC的專用微碼、ALSA-UTILS為ALSA測(cè)試工具、ALSA-OSS則提供了用ALSA接口模擬舊的OSS接口的方法。

圖2 ALSA函數(shù)庫(kù)基本結(jié)構(gòu)

在嵌入式語(yǔ)音信號(hào)處理實(shí)驗(yàn)平臺(tái)中，首先需要移植WM8960驅(qū)動(dòng)函數(shù)。由于ALSA中WM8960驅(qū)動(dòng)默認(rèn)單聲道，并且只實(shí)現(xiàn)了單片WM8960的驅(qū)動(dòng)，而嵌入式語(yǔ)音信號(hào)處理實(shí)驗(yàn)平臺(tái)采用4路麥克風(fēng)輸入，需要2片WM8960芯片，每片分左右聲道輸入，故需修改驅(qū)動(dòng)代碼中的入口和出口函數(shù)WM8960_modinit，WM8960_exit這兩個(gè)函數(shù)。

static int __init WM8960_modinit(void) //wm8960模塊初始化函數(shù)

{

int ret;

ret = i2c_add_driver(&WM8960_i2c_driver); /*添加i2c驅(qū)動(dòng)設(shè)備*/

if (ret != 0)

{

printk(KERN_ERR "Failed to register WM8960 I2C driver: %d ", ret);

}

return ret;

}

static void __exit wm8960_exit(void) //wm8960模塊

退出函數(shù)

{

i2c_del_driver(&wm8960_i2c_driver);

}

驅(qū)動(dòng)里的配置默認(rèn)采用的是I2C0和I2S0，為了使2塊WM8960芯片都能工作，還需要添加I2C1和I2S1，因此還需要修改內(nèi)核的板級(jí)配置文件mach-mini210.c。 mini210_devices[]中已有&s3c_device_i2c0，為使用I2C1，還要添加&s3c_device_i2c1。同樣，在已有的&s5pv210_device_iis0后面添加&s5pv210_device_iis1。最后，修改I2S的初始化函數(shù)，成功激活I(lǐng)2S1。

2.3 音頻信號(hào)采集與處理

在WM8960驅(qū)動(dòng)移植成功之后，結(jié)合ALSA-LIB庫(kù)函數(shù)，可以實(shí)現(xiàn)音頻信號(hào)的采集與處理編程。其主要使用到的ALSA函數(shù)集包括:SND_readPcm(),SND_writePcm(),SND_P_getFormat(),SND_setParams(),SND_P_saveRead(),snd_open(),snd_close(),snd_playback(),snd_capture()等。

在嵌入式Linux系統(tǒng)中實(shí)現(xiàn)具體的應(yīng)用時(shí)，常用的方式是采用QT開(kāi)發(fā)環(huán)境編寫圖形顯示界面并進(jìn)行語(yǔ)音信號(hào)處理編程。例如，短時(shí)傅里葉函數(shù)short_fa實(shí)現(xiàn)代碼如下：

/*Y為輸入序列，H為窗函數(shù)，wlen為窗長(zhǎng)，nf為幀數(shù)，inc為幀移，startPosition為幀位置即第startPosition幀*/

QVectorshort_fa

(constQVector&Y,constQVector&H,intwlen,intnf,intinc,intstartPosition)

{

QVector F1;

QVector E(wlen); //一幀序列

QVector R(wlen); //短時(shí)頻譜

F1 = enframe(Y,H,wlen,nf,inc); //分幀

for(int i = 0 ;i

E[i] = F1[startPosition*wlen+i];

}

int width = 2 ; //fft長(zhǎng)度

while(width

width = width*2 ; //取大于窗長(zhǎng)的最小2的整數(shù)次方

}

std::complex f[width]; //復(fù)數(shù)頻譜

for(int i = 0 ; i

f[i].imag() = 0 ;

f[i].real() = E[i];

}

for(int i = wlen ; i

f[i].imag() = 0 ;

f[i].real() = 0 ;

}

fft(f,width); //傅里葉變換

for(int i = 0 ; i

R[i] = log(sqrt(f[i].imag()*f[i].imag()+f[i].real()*f[i].real()));

}

return R;

}

2.4 基于K近鄰分類算法的語(yǔ)音情感識(shí)別實(shí)現(xiàn)

考慮到實(shí)驗(yàn)教學(xué)的時(shí)間限制，本文介紹基于K近鄰(K-Nearest Neighbor，KNN)分類算法的語(yǔ)音情感識(shí)別算法在上述嵌入式實(shí)時(shí)語(yǔ)音信號(hào)處理平臺(tái)的實(shí)現(xiàn)方法。KNN分類算法，是一種較為簡(jiǎn)單直觀的分類方法，雖然簡(jiǎn)單，但在語(yǔ)音情感識(shí)別中表現(xiàn)出的性能卻很好。KNN分類器的分類思想是：給定一個(gè)在特征空間中的待分類的樣本，如果其附近的K個(gè)最鄰近的樣本中的大多數(shù)屬于某一個(gè)類別，那么當(dāng)前待分類的樣本也屬于這個(gè)類別。

設(shè)待分類樣本的特征參數(shù)為X，已知類別的訓(xùn)練樣本集樣本的特征參數(shù)集為{X1,X2,…,Xn}；對(duì)于待測(cè)樣本X，計(jì)算其與{X1,X2,…,Xn}中每一樣本的歐氏距離D(X,Xl),l=1,2,…,n即：

(1)

l=1,2,…,n

式中：i為時(shí)間標(biāo)號(hào);N為特征向量的維數(shù)。min{D(X,Xl)}稱為X的最近鄰，而將D(X,Xl)從小到大排列后的前K個(gè)值稱為X的K近鄰。分析K近鄰中屬于哪一類別的個(gè)數(shù)最多，則將X歸于該類。

KNN算法大致可分為4步:

(1) 由特征提取函數(shù)提取訓(xùn)練樣本的特征向量，構(gòu)成訓(xùn)練樣本特征向量集合{X1,X2,…,Xn}。

(2) 設(shè)定算法中K的值。K值的確定沒(méi)有一個(gè)統(tǒng)一的方法(根據(jù)具體問(wèn)題選取的K值可能有較大的區(qū)別)。一般方法是先確定一個(gè)初始值，然后根據(jù)實(shí)驗(yàn)結(jié)果不斷調(diào)試，最終達(dá)到最優(yōu)。

(3) 利用特征向量提取函數(shù)提取待測(cè)樣本的特征向量X，并計(jì)算X與{X1,X2,…,Xn}中每一樣本的歐氏距離D(X,Xl),l=1,2,…,n。

(4) 統(tǒng)計(jì)D(X,Xl),l=1,2,…,n中K個(gè)最近鄰的類別信息，給出X的分類結(jié)果。

實(shí)際程序中，可以將訓(xùn)練樣本集與待測(cè)樣本的特征提取合并一起，得到總特征向量集合，然后劃分出訓(xùn)練樣本集和待測(cè)樣本集，以提高測(cè)試時(shí)的效率。

實(shí)現(xiàn)的動(dòng)態(tài)情感分析界面如圖3所示。通過(guò)麥克風(fēng)采集語(yǔ)音，軟件可以實(shí)時(shí)分析每段語(yǔ)音的情感成分，并將統(tǒng)計(jì)結(jié)果以餅狀圖進(jìn)行顯示。該界面直觀有效，可以激發(fā)學(xué)生興趣，進(jìn)而可以誘導(dǎo)學(xué)生去深入理解原理，發(fā)現(xiàn)算法問(wèn)題，從而查閱資料進(jìn)行改進(jìn)。

圖3 動(dòng)態(tài)情感分析界面

3 結(jié) 語(yǔ)

開(kāi)設(shè)與應(yīng)用接軌、行業(yè)同步的實(shí)驗(yàn)是提高語(yǔ)音信號(hào)處理課程教學(xué)質(zhì)量的關(guān)鍵點(diǎn)。基于嵌入式平臺(tái)的實(shí)時(shí)語(yǔ)音信號(hào)處理實(shí)驗(yàn)平臺(tái)可以借助嵌入式Linux高級(jí)聲音框架(ALSA)，實(shí)現(xiàn)實(shí)時(shí)語(yǔ)音信號(hào)分析、增強(qiáng)、特征提取等單元實(shí)驗(yàn)，以及一些功能性擴(kuò)展實(shí)驗(yàn)。同時(shí)，本文以情感識(shí)別算法為例，介紹了其需要的軟硬件環(huán)境以及實(shí)時(shí)實(shí)現(xiàn)方法。本文所提出的方法與當(dāng)前智能語(yǔ)音產(chǎn)品常用研發(fā)環(huán)境一致，有利于學(xué)生在掌握理論知識(shí)的同時(shí)提高研發(fā)能力和工程能力。