基于免疫優(yōu)化多輸出最小二乘支持向量機(jī)及其應(yīng)用

摘 要:傳統(tǒng)的支持向量機(jī)是一種兩類問題的判別方法， 不能直接應(yīng)用于多類分類問題。為了解決這個問題，提出了一種免疫優(yōu)化多輸出最小二乘支持向量機(jī)方法。該方法利用免疫算法來優(yōu)化最小二乘支持向量機(jī)的參數(shù)。將該方法應(yīng)用于污水生化處理過程建模及語音情感識別，仿真結(jié)果表明，該方法具有更高的精度。

關(guān)鍵詞:免疫優(yōu)化; 最小二乘支持向量機(jī); 污水生化處理; 語音情感識別

中圖分類號:TP181文獻(xiàn)標(biāo)志碼:A

文章編號:1001-3695(2010)06-2065-03

doi:10.3969/j.issn.1001-3695.2010.06.019

Multi-output least squares support vector machine based on immune optimization and its applications

YE Hong-tao1，2， LUO Fei2

(1. Dept. of Electronic Information Control Engineering， Guangxi University of Technology， Liuzhou Guangxi 545006， China; 2. School of Automation Science Engineering， South China University of Technology， Guangzhou 510641， China)

Abstract:The traditional support vector machine is used for the binary-class classification. It can not deal with multi-class classification directly. In order to solve the problem， proposed a method of multi-output least squares support vector machine (LS-SVM) based on immune optimization. Used the immune algorithm to optimize the parameters of LS-SVM. This method has been applied to modeling of biological wastewater treatment processes and speech emotion recognition. The results show this method has higher accuracy.

Key words:immune optimization; least squares support vector machine(LS-SVM); biological wastewater treatment; speech emotion recognition

Vapnik[1]提出的支持向量機(jī)(SVM)是一種基于結(jié)構(gòu)風(fēng)險最小化學(xué)習(xí)訓(xùn)練的方法。為了最小化期望風(fēng)險，應(yīng)同時最小化經(jīng)驗風(fēng)險和置信范圍。支持向量機(jī)的解為全局最優(yōu)， 解決了神經(jīng)網(wǎng)絡(luò)等方法中無法避免的局部極值問題，且具有很強(qiáng)的泛化能力，較少的支持向量數(shù)即能獲得統(tǒng)計意義上較好的推廣能力，因此在分類和函數(shù)回歸、預(yù)測上獲得了廣泛的應(yīng)用[2，3]。支持向量機(jī)參數(shù)優(yōu)化過程是一個求解組合優(yōu)化問題的過程。Keerthi[4]提出用梯度下降方法來求LS-SVM最優(yōu)參數(shù)。但梯度下降法對初始狀態(tài)很敏感，若初始點離最優(yōu)點很遠(yuǎn)，結(jié)果容易陷入局部最優(yōu)。Avci[5]提出遺傳算法的支持向量機(jī)內(nèi)核參數(shù)選擇方法，但該算法容易陷入局部最優(yōu)。免疫算法不但能夠收斂于全局最優(yōu)，而且收斂速度快。傳統(tǒng)LS-SVM只適用于單輸出系統(tǒng)，而在實際問題中經(jīng)常遇到多輸出系統(tǒng)。因此，本文提出一種基于免疫優(yōu)化的多輸出LS-SVM方法。

1 多輸出LS-SVM

SVM算法是一種以有限樣本統(tǒng)計學(xué)習(xí)理論為基礎(chǔ)，依據(jù)結(jié)構(gòu)風(fēng)險最小化原則，在非線性情形下將輸入樣本映射到高維特征空間，通過二次規(guī)劃求取樣本最優(yōu)分類面的機(jī)器學(xué)習(xí)方法。由于算法設(shè)計為凸二次規(guī)劃問題， 可避免多解性，但其計算速度在樣本數(shù)增加時而變慢。

Suykens等人[6]提出的LS-SVM是一種改進(jìn)的SVM算法。 LS-SVM將標(biāo)準(zhǔn)SVM中的不等式約束改為等式約束， 以誤差平方和作為訓(xùn)練樣本的損失函數(shù)，從而將二次規(guī)劃問題轉(zhuǎn)換為求解線性方程組問題。

對訓(xùn)練集{(xi，yi)}si=1∈Rn×Rm。其中:S為樣本數(shù);n為輸入變量個數(shù);m為輸出變量個數(shù)。設(shè)線性函數(shù):

fi(x)=〈ω~i，x〉+bi(1)

i=1，2，…m，〈〉為內(nèi)積

根據(jù)結(jié)構(gòu)風(fēng)險最小化原則，該回歸問題是最小化:

12∑mi=1‖ω~i‖2+C∑mi=1∑sj=1Qi[fi(xj)，yij]

損失函數(shù)Q(#8226;)采用ε-不敏感函數(shù)，Qi(x)=max(0，|x|-εi)，則多輸出LS-SVM可以表達(dá)為

min J=12∑mi=1‖ω~i‖2+C∑mi=1∑sj=1|fi(xj)-yij|

s.t.|fi(xj)-yij|<εi(2)

引入Lagrange函數(shù):

L=12∑mi=1‖ω~i‖2+C∑mi=1∑sj=1(ξij+ξ*ij)-∑mi=1∑sj=1aij(εi+ξij-yij+〈ω~，xj〉+bi)-

∑mi=1∑sj=1a*ij(εi+ξ*ij+yij-〈ω~i，xj〉-bi)-

∑mi=1∑sj=1(ηijξij+η*ijξ*ij)(3)

其中:ξij、ξ*ij為松弛因子，ξi，j，ξ*i，j≥0。

函數(shù)L的極值應(yīng)滿足條件

Lω~i=0，Lbi=0，Lξij=0，Lξ*ij=0

從而可得

ω~i=∑sj=1(aij-a*ij)xj(4)

∑sj=1(aij-a*ij)=0(5)

C-aij-ηij=0(6)

C-a*ij-η*ij=0(7)

將式(4)~(7)代入式(3)，采用核函數(shù)計算特征空間內(nèi)積，則得到優(yōu)化問題的對偶形式:

max W(aij，a*ij)=-12∑mi=1∑sj，k=1(aij-a*ij)(aik-a*ik)×K(xj，xk)+∑mi=1∑sj=1(aij-a*ij)yij-∑mi=1∑sj=1(aij+a*ij)εi(8)

采用RBF核函數(shù):

K(x，xi)=exp(-‖x-xi‖22σ2)(9)

由Karush-Kuhn-Tucke條件可求出aij、a*ij和bi，得到多輸出LS-SVM的結(jié)果為

fi(x)=∑sj=1(aij-a*ij)K(x，xj)+bi;i=1，2，…，m(10)

C和σ是LS-SVM兩個重要參數(shù)，其選取直接影響算法的訓(xùn)練結(jié)果和泛化性能，采用免疫優(yōu)化方法對這兩個參數(shù)進(jìn)行優(yōu)化。用均方誤差(MSE)=1s∑si=1(yi-f(xi))2來表示實際值與LS-SVM預(yù)測值之間的偏差，參數(shù)優(yōu)化的目標(biāo)是使MSE最小。

2 免疫優(yōu)化LS-SVM

免疫算法[7]是一種基于生物免疫機(jī)制的仿生算法。該算法主要借鑒體細(xì)胞成熟理論和免疫網(wǎng)絡(luò)理論，實現(xiàn)了類似于生物免疫系統(tǒng)的自我調(diào)整機(jī)制和抗體多樣性形成機(jī)制。在免疫算法中，抗原對應(yīng)于優(yōu)化問題的目標(biāo)函數(shù)，抗體對應(yīng)于優(yōu)化問題的解。依據(jù)目標(biāo)函數(shù)決定抗原與抗體的親和度，利用親和度對解進(jìn)行評價和選擇。

免疫優(yōu)化LS-SVM參數(shù)C、σ的算法流程如下:

a)設(shè)置編碼規(guī)則及初始化抗體群。采用二進(jìn)制編碼方式，編碼長度L=10。

b)計算親和度。計算所有抗體的親和度aff(xi)。親和度的計算式為

aff(xi)=1MSE(xi)(11)

c)抗體克隆擴(kuò)增。親和度越大的抗體，產(chǎn)生的克隆個體就越多。每個抗體的克隆規(guī)模為

Ni=round(Nc#8226;aff(xi)∑Nj=1aff(xj));i=1，2，…，N(12)

其中:round(#8226;)為取整函數(shù);Ni為第i個抗體的克隆數(shù)量;Nc=∑Ni=1Ni為抗體群的克隆規(guī)模。

d)抗體按變異率Pm進(jìn)行變異。

e)抗體抑制。計算抗體之間的相似度，除去部分相似度大于閾值的個體，目的是增強(qiáng)群體的多樣性。

f)判斷是否達(dá)到最大迭代次數(shù)，若達(dá)到則結(jié)束;否則轉(zhuǎn)到b)繼續(xù)執(zhí)行。

3 實驗與分析

3.1 污水生化處理過程建模

污水生化處理是一個復(fù)雜的非線性反應(yīng)過程，隨著時間、氣候以及污水濃度的變化，反應(yīng)速度也不同，而且反應(yīng)過程較慢，具有很大的時滯性和不確定性，難以建立精確的數(shù)學(xué)模型[8]。復(fù)雜的數(shù)學(xué)模型包括許多生化反應(yīng)過程。由于一些測量數(shù)據(jù)的不足，很難獲得未知動力學(xué)參數(shù)的可靠估計，不能反映真實的污水生化處理過程。本文采用多輸出LS-SVM建立污水生化處理模型，利用免疫算法優(yōu)化LS-SVM的參數(shù)。

出水水質(zhì)是衡量污水處理效果的最重要標(biāo)準(zhǔn)，因此本文選擇出水總磷(TP)及出水氨氮(NH3)為模型輸出。影響出水水質(zhì)的因素很多，通過對污水脫氮除磷機(jī)理的深入研究，本文選取五個主要因素作為模型的輸入，分別是溶解氧(DO)濃度、pH值、化學(xué)需氧量(COD)、入水TP及入水NH3。模型結(jié)構(gòu)如圖1所示。

實驗數(shù)據(jù)來自廣州瀝滘污水處理廠。由于污水的生物反應(yīng)過程緩慢，短時間內(nèi)數(shù)據(jù)變化不明顯，數(shù)據(jù)采樣周期設(shè)定為10 min。選取300組數(shù)據(jù)作為訓(xùn)練樣本集，使用本文提出的免疫算法對LS-SVM進(jìn)行訓(xùn)練。免疫算法中抗體種群規(guī)模N=100，最大迭代次數(shù)G=300，變異率Pm=0.2，抗體克隆抑制閾值為0.001。

選取不在訓(xùn)練樣本集中的100組數(shù)據(jù)進(jìn)行測試。仿真結(jié)果如圖2、3所示。其中實線為實測值，點線為未經(jīng)過優(yōu)化的LS-SVM模型的預(yù)測值，點畫線為經(jīng)過免疫優(yōu)化的LS-SVM模型的預(yù)測值。表1為優(yōu)化前后兩種模型預(yù)測性能的比較。可以看出，與未優(yōu)化LS-SVM相比，免疫優(yōu)化的LS-SVM方差較小，能更精確地預(yù)測出水TP及出水NH3值。

表1 兩種算法預(yù)測性能比較

算法

均方誤差

出水TP出水NH3

LS-SVM4.146×10-31.979×10-3

優(yōu)化的LS-SVM2.253×10-31.041×10-3

為了比較免疫優(yōu)化的LS-SVM和神經(jīng)網(wǎng)絡(luò)模型的精度，本文采用RBF神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測。RBF神經(jīng)網(wǎng)絡(luò)模型隱含層神經(jīng)元個數(shù)為16，連接權(quán)值初始化為區(qū)間(0，1)中的隨機(jī)值，每個基函數(shù)中的方差均初始化為1。出水TP的誤差率比較如圖4所示。其中實線為RBF網(wǎng)絡(luò)模型的誤差率，點畫線為免疫優(yōu)化LS-SVM模型的誤差率。免疫優(yōu)化的LS-SVM模型最大誤差率為4%，RBF神經(jīng)網(wǎng)絡(luò)模型最大誤差率為10%，優(yōu)化的LS-SVM模型精度高于RBF神經(jīng)網(wǎng)絡(luò)模型。

3.2 語音情感識別

語音情感識別是根據(jù)某些特性標(biāo)準(zhǔn)對語音情感作一個有效合理的分類，然后在不同類別的基礎(chǔ)上研究特征參數(shù)的性質(zhì)。目前在語音情感研究中常用的情感大多分為歡快、憤怒、驚奇、悲傷四種情感模型[9]。

特征參數(shù)的選擇將直接影響到分類的性能。一般來說，語音中的情感特征往往通過語音韻律的變化表現(xiàn)出來。語音情感的變化通常可以體現(xiàn)為語音特征參數(shù)的變化。統(tǒng)計分析表明:歡快時，通常是語速較快，音量較大;悲傷時，通常是語速緩慢，音量較小;憤怒時，通常是語速較快，音量較大，音調(diào)較高。

選擇10個情感特征參數(shù)[10]:語句發(fā)音持續(xù)時間、平均基音頻率、最高基音頻率、基音頻率的平均變化率、平均振幅能量、振幅能量的動態(tài)范圍、共振峰頻率的平均值、共振峰頻率的平均變化率、共振峰峰值點回歸直線的平均斜率和共振峰峰值的平均值。

實驗所采用的情感語音包含憤怒、歡快、悲傷、驚奇四類，每類情感包括200句語音。每類情感中的100句作為訓(xùn)練樣本，100句作為測試樣本。所有的情感語音均由一名男性發(fā)音人在安靜環(huán)境下錄音得到，采樣率為8 000 Hz。免疫算法中抗體種群規(guī)模N=80，最大迭代次數(shù)G=400，變異率Pm=0.1，抗體克隆抑制閾值為0.001。針對400句情感測試語音進(jìn)行了情感識別實驗，識別結(jié)果如表2所示。

表2 兩種算法識別率比較/%

情感LS-SVM優(yōu)化的LS-SVM情感LS-SVM優(yōu)化的LS-SVM

憤怒8893驚奇8085

歡快8187平均84.389.3

悲傷8892

通過對情感語音識別系統(tǒng)進(jìn)行的實驗可以看出，采用優(yōu)化的LS-SVM識別率要高于未優(yōu)化的LS-SVM。四種情感狀態(tài)的識別率有著較大的差異。其中憤怒和悲傷的識別率高，歡快和驚奇的識別率略低。另外，憤怒和悲傷這兩種情感相互之間的誤判率也較低，而歡快和驚奇相互之間誤判率則較高。

4 結(jié)束語

本文提出了一種免疫優(yōu)化多輸出LS-SVM方法，并將該方法應(yīng)用于污水生化處理過程建模和漢語語音情感識別中。實驗結(jié)果表明，該方法提高了LS-SVM的分類性能，具有更高的精度。另外，本文的實驗語句是在安靜環(huán)境中錄制的。如何進(jìn)一步提高算法的抗噪聲性能，將是下一步的研究方向。

參考文獻(xiàn):

[1]VAPNIK V N. The nature of statistical learning theory [M]. New York: Springer-Verlag，1995.

[2]YUE Shi-hong， LI Ping， HAO Pei-yi. SVM Classification: its contents and challenges [J]. Applied Mathematics: A Journal of Chinese Universities，2003，18(3):332-342.

[3]SMOLA A J， SCHOLKOPF B. A tutorial on support vector regression [J]. Statistics and Computing，2004，14(3):199-222.

[4]KEERTHI S S. Efficient tuning of SVM hyper parameters using ra-dius/margin bound and iterative algorithms [J]. IEEE Trans on Neural Network，2002，13(5):1225-1229.

[5]AVCI E. Selecting of the optimal feature subset and kernel parameters in digital modulation classification by using hybrid genetic algorithm support vector machines: HGASVM [J]. Expert Systems with Applications，2009，36(2):1391-1402.

[6]SUYKENS J A K， GESTEL T V， BRABANTER J D， et al. Least squares support vector machines [M]. Singapore: World Scientific Publishers， 2002.

[7]De CASTRO L N， von ZUBEN F J. The clonal selection algorithm with engineering applications [C]//Proc of GECCO’00， Workshop on Artificial Immune Systems and Their Applications. Las Vegas:[s.n.]，2000:36-37.

[8]杜樹新.污水生化處理過程建模與控制[J].控制理論與應(yīng)用， 2002，19(5):660-664.

[9]趙力，錢向民，鄒采榮，等.語音信號中的情感識別研究[J].軟件學(xué)報，2001，12(7): 1050-1055.

[10]趙力，王治平，盧韋，等.全局和時序結(jié)構(gòu)特征并用的語音信號情感特征識別方法[J]. 自動化學(xué)報，2004，30(3):423-429.