基于代價(jià)敏感思想和自適應(yīng)增強(qiáng)集成的SVM多分類算法

何旭, 席佩瑤, 辛云宏

(陜西師范大學(xué)物理學(xué)與信息技術(shù)學(xué)院,陜西,西安 710072)

0 引言

在科學(xué)研究和實(shí)際應(yīng)用中,人工智能[1-2]越來越受到研究者的青睞,而數(shù)據(jù)挖掘是人工智能重要組成部分,數(shù)據(jù)分類作為數(shù)據(jù)挖掘的基本手段和重要方法,也被深入研究和優(yōu)化。文獻(xiàn)[3]為提高下肢表面肌電信號(hào)步態(tài)識(shí)別的準(zhǔn)確性,提出了一種基于粒子群(PSO)算法優(yōu)化SVM的模式識(shí)別方法;文獻(xiàn)[4]將最小閉合球算法引入AdaBoost-SVM算法框架中構(gòu)成CSVM算法;文獻(xiàn)[5]提出了基于貝葉斯分類器和Boosting算法的SVM組合模型,有效提高了軟測(cè)量模型的泛化能力;文獻(xiàn)[6]提出了自適應(yīng)增強(qiáng)的SVM集成算法(SVME)在一定程度上提高了對(duì)風(fēng)機(jī)故障類型診斷的識(shí)別正確率。本文通過采用SVM對(duì)數(shù)據(jù)樣本進(jìn)行識(shí)別分類,提出一種基于代價(jià)敏感思想和自適應(yīng)增強(qiáng)的SVM集成數(shù)據(jù)分類算法(CAB-SVM)。通過實(shí)驗(yàn)結(jié)果表明,CAB-SVM集成算法與個(gè)體SVM和SVME集成算法相比正確識(shí)別率提高了。

1 CAB-SVM算法

CAB-SVM算法的基本框架如圖1所示,首先輸入樣本數(shù)據(jù)集,利用AdaBoost算法迭代訓(xùn)練SVM弱分類器,同時(shí)計(jì)算弱分類器的分類誤差和在弱分類器中所占權(quán)重。在權(quán)重更新階段,要增加被分錯(cuò)樣本權(quán)值,為了加快這部分樣本權(quán)值增加,引入代價(jià)敏感思想,即當(dāng)被分錯(cuò)的樣本權(quán)值快速增加,被正確分類的樣本權(quán)值加快減小。更新結(jié)束后得到新的樣本集的權(quán)重分布,再抽取樣本組成臨時(shí)訓(xùn)練集訓(xùn)練下一個(gè)新的SVM弱分類器。繼續(xù)進(jìn)行迭代訓(xùn)練,直至結(jié)束。最后將訓(xùn)練出的所有SVM弱分類器根據(jù)權(quán)重線性相加,得到強(qiáng)分類器集成模型。

圖1 CAB-SVM算法體系結(jié)構(gòu)

1.1 支持向量機(jī)

支持向量機(jī)是在結(jié)構(gòu)風(fēng)險(xiǎn)最小化[7]原則的基礎(chǔ)上提出的一種機(jī)器學(xué)習(xí)方法,它是定義在特征空間上間隔最大的分類器。對(duì)于實(shí)現(xiàn)二分類問題,假設(shè)訓(xùn)練集G中存在d維t個(gè)樣本,G=(xt,yt),其中xi∈Rd,yi∈{+1,1},i=1,…,t。超平面(wo·x)+b=0把這些樣本分類,設(shè)定決策函數(shù)為

f(x)=sign(wox+b)

(1)

接下來引入松弛變量δi和松弛因子c以構(gòu)造約束最優(yōu)化問題,構(gòu)造Lagrange函數(shù),再對(duì)β、b、δi求偏導(dǎo),分別使其等于0,根據(jù)KKT條件,可得到ω和b的最優(yōu)解ω*和b*:

(2)

(3)

再將最優(yōu)解ω*和b*代入式(1),對(duì)于引入核函數(shù)K(xi,yj)的核支持向量機(jī)的情況,判別函數(shù)為

(4)

1.2 構(gòu)建CAB-SVM模型算法

AdaBoost[8]算法在1995年由Freund等提出,是典型的Boosting算法,AdaBoost-SVM算法近年來被許多有關(guān)學(xué)者廣泛關(guān)注[9]。本文提出基于SVM分類器上引入自適應(yīng)增強(qiáng)算法和代價(jià)敏感思想[10-11]的分類算法CAB-SVM,詳細(xì)流程圖見算法1。

算法1: CAB-SVM算法步驟輸入:訓(xùn)練樣本集X=(xt,yt)輸出:H(x)1:式(5)計(jì)算初始化樣本權(quán)值分布D12:計(jì)算每類樣本的數(shù)目nk.3:式(9)計(jì)算樣本的錯(cuò)分代價(jià)Ci4:for q=1,…,Q a.式(7)計(jì)算抽中概率 b.優(yōu)化參數(shù)σ和c c.訓(xùn)練弱分類器 d.式(8)計(jì)算分類誤差eq e.式(9)計(jì)算分類器所占權(quán)重αq f.式(10)(11)更新訓(xùn)練集的權(quán)值分布endReturn 1,…,q,…,hQ5:式(11)輸出強(qiáng)分類器H(x)

首先進(jìn)行樣本權(quán)重初始化,每個(gè)樣本賦予相同的權(quán)重,D1是表示初始樣本權(quán)重分布,wi表示訓(xùn)練樣本權(quán)重,如式(5):

(5)

從樣本集t個(gè)樣本中抽取h個(gè)樣本作為臨時(shí)訓(xùn)練樣本集,樣本抽中概率為

(6)

樣本集權(quán)值調(diào)整更新階段,將代價(jià)調(diào)整函數(shù)ζ引入公式中。ζ函數(shù)的公式如下:

ζ+,i=-0.7(yifq(xq))ci+0.7

ζ-,i=0.7(yifq(xq))ci+0.7

(7)

其中:

(8)

式(8)～式(9)中,t表示樣本集總數(shù),nk表示第k類樣本共nk個(gè)樣本,ζ+表示模型預(yù)測(cè)正確時(shí)函數(shù),ζ-表示為模型預(yù)測(cè)錯(cuò)誤時(shí)的函數(shù)。

當(dāng)hq(Xq(i))≠yi,下一輪權(quán)重分布如式(9):

(9)

當(dāng)fq(Xq(i))=yi,下一輪權(quán)重分布如式(10):

(10)

最后將訓(xùn)練出的SVM弱分類器據(jù)權(quán)重線性相加得到強(qiáng)分類器,如式(11):

(11)

綜上,CAB-SVM模型算法通過AdaBoost用于SVM弱學(xué)習(xí)器的訓(xùn)練中,繼而引入代價(jià)調(diào)整函數(shù),以至在下次迭代時(shí)弱分類器著重學(xué)上輪錯(cuò)分樣本。

2 實(shí)驗(yàn)及結(jié)果

2.1 實(shí)驗(yàn)數(shù)據(jù)集

為了檢驗(yàn)本文提出CAB-SVM算法的識(shí)別性能,實(shí)驗(yàn)數(shù)據(jù)組data-20、data-21是信號(hào)檢測(cè)實(shí)驗(yàn)室現(xiàn)場(chǎng)采集,另外使用UCI標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)中的數(shù)據(jù)集,它們分別是vowel、ecoli、glass。實(shí)驗(yàn)數(shù)據(jù)集信息如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集信息表

2.2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

本文實(shí)驗(yàn)將CAB-SVM算法與SVME集成算法、SVM算法結(jié)果進(jìn)行比較,分析這3種算法的正確識(shí)別率。在分類實(shí)驗(yàn)中,訓(xùn)練樣本集數(shù)目和測(cè)試樣本集數(shù)目比值為4∶1,分類結(jié)果如表2所示。

表2 基于不同方法的SVM分類器分類效果比較

將每套數(shù)據(jù)分別代入3種算法中測(cè)試,每套數(shù)據(jù)在每個(gè)算法中分別進(jìn)行10次實(shí)驗(yàn),最終取10次實(shí)驗(yàn)結(jié)果的平均值為最終的實(shí)驗(yàn)結(jié)果。由圖2可以看出,本文提出的CAB-SVM集成算法具有更高的正確識(shí)別率,是因?yàn)槠鋮^(qū)別于個(gè)體SVM的以下優(yōu)勢(shì):①迭代訓(xùn)練個(gè)體SVM的樣本集不同;②迭代訓(xùn)練個(gè)體SVM的RBF核函數(shù)的參數(shù)σ和懲罰因子c不同;③迭代訓(xùn)練個(gè)體SVM中,樣本權(quán)重更新公式引入了代價(jià)敏感思想;④迭代訓(xùn)練個(gè)體SVM的分類識(shí)別性能逐漸強(qiáng)大。

(a) data-21的實(shí)驗(yàn)結(jié)果

圖2為利用CAB-SVM和SVME兩種集成方法對(duì)這10組數(shù)據(jù)集分別進(jìn)行訓(xùn)練的實(shí)驗(yàn)結(jié)果。橫坐標(biāo)表示用集成算法的分類器個(gè)數(shù),縱坐標(biāo)表示相應(yīng)的集成方法的正確識(shí)別率。

由圖2可知,當(dāng)集成算法的分類器個(gè)數(shù)較少時(shí),分類器集成的正確識(shí)別率較低。實(shí)驗(yàn)結(jié)果證明,CAB-SVM和SVME兩種集成算法在達(dá)到相同較高的正確識(shí)別率時(shí),CAB-SVM所用的分類器集成個(gè)數(shù)總體上少于SVME所用的分類器集成個(gè)數(shù)。綜上所述,CAB-SVM算法相比SVME算法有效地減少了迭代次數(shù),更適宜應(yīng)用到有關(guān)數(shù)據(jù)識(shí)別分類的工作當(dāng)中。

3 總結(jié)

本文在傳統(tǒng)SVM分類器研究基礎(chǔ)上,提出了一種自適應(yīng)增強(qiáng)CAB-SVM算法即在集成算法的每次迭代學(xué)習(xí)中通過快速更新樣本的權(quán)重,個(gè)體分類器主要學(xué)習(xí)訓(xùn)練易錯(cuò)分的樣本,這樣使得分類器的識(shí)別性能和效率都得到了有效的提升。本文實(shí)驗(yàn)中所提出的自適應(yīng)增強(qiáng)CAB-SVM算法雖然提高了正確識(shí)別率,但是在運(yùn)算過程中所需運(yùn)行時(shí)間較長(zhǎng),對(duì)于這一點(diǎn)還需進(jìn)一步研究和改進(jìn)。