一種支持向量機算法設計中優化的混合加權核函數選取與樣本加權方法

曹萬鵬,羅云彬,史 輝

(北京工業大學 未來網絡科技高精尖創新中心,北京 100124)

1 引 言

今天,科研人員已經提出各種成熟的數學分類模型,諸如ID3,C4.5,SVM,樸素貝葉斯(Native Bayes),AdaBoost和K-最近鄰(k-Nearest Neighbor),ANN(人工神經網絡)等分類算法,并基于上述思想,將它們應用到面部識別[1,2]、筆跡驗證[3,4]、數據分析[5,6]和醫學應用[7,8]等不同領域.近年來,基于SVM的分類算法因其結構簡單、泛化能力強、學習和預測時間短、能實現全局最優等卓越性能而應用于諸多領域,特別是在處理小樣本、非線性和高維模式識別問題上.

在SVM算法中,通過將原始樣本空間的非線性問題轉化為高維空間中的線性問題,可以成功地解決分類問題.這里,非線性變換是利用滿足Mercer條件的核函數實現的.在SVM模型設計中合適的核函數選擇和訓練樣本權值設置都很重要,共同決定了分類器性能的優劣.尋找更為合適的核函數,并為訓練樣本設置更加合理權值等已成為研究熱點.

近年來,人們提出不同算法嘗試為SVM算法選取一個恰當的單一核函數.吳濤等基于可以將核函數結構視為函數插值問題這一假設通過訓練樣本構造合適的核函數[9].Wu等采用一種混合遺傳算法(HGA)優化核函數,進而提高SVM算法模型的準確性[10].You等使用三個主要指標:Fisher判別,Bregman散度和方差齊性從矩陣中抽取特征進行核函數的選擇[11].Keerthi等人應用雙線性方法遍歷核函數的參數集,實現核函數中參數的最優設計[12].Maji等人設計了一種自適應的支持向量機核函數,達到了提高SVM分類模型分類性能的目標[13].盡管單一核函數在某些情況下對于分類模型的學習要求已經足夠,但僅依靠單一核函數構建SVM分類模型經常不能實現最佳分類效果.當前,研究人員越來越多地使用混合核函數,并已經證明將不同功能核函數組合在一起的方法可實現更優SVM模型設計,更好分類性能[14].

對混合核函數的研究中,最常用的方法是結合全局核函數和局部核函數來構造混合核函數.Wu等[15]和Huang等[16]都選擇了這種方法,因為基于局部核函數的學習能力和全局核函數的良好泛化能力所構建混合核函數相對于單一核函數方法或一般組合核函數方法具有更好的性能.許多學者把RBF核函數和多項式核函數作為局部核函數和全局核函數進行混合核函數的設計,并將其成功地應用于不同工作中,獲得了令人滿意的分類效果[17-19].

一些研究者也采用了不同的方法構建混合核函數.Zhu等詳細分析了核函數設計對分類性能的影響因素,基于Fisher特征與核函數矩陣校準方法的結合,對單一核函數性能進行預測,并在此基礎上構造了一種新的用于人臉識別的混合核函數,取得了令人滿意的結果[20].Xie通過分析現有LS-SVM核函數并吸收RBF核函數和多項式核函數的優點構建混合核函數,改進了現有的LS-SVM算法[21].üstün等則采用了基于Pearson VII的通用函數(PUK),實驗證明PUK核與標準核函數相比具有同等或更強大的映射能力,進而導致同等或更好的SVM泛化性能[22].G?nen等人通過實驗比較了現存的混合核函數方法,并證明了用混合核函數的方法在性能上要優于單一核函數構建SVM分類模型的方法[23].

目前,同步研究在候選核函數中選取哪些核函數,并且為這些核函數設置什么樣權值的文獻并不多見.大多數混合核函數算法直接選擇RBF核函數和多項式核函數構造混合核函數,沒有進行相應的學習與分析,這不可避免的導致了不盡理想的分類效果.而且大多數混合核函數的構造方法往往缺乏有效的反饋機制來指導混合核函數的設計,也很少考慮如何基于樣本特征為不同核函數設置更為合理的系數.基于此,本文采用ACO算法實現混合加權核函數中相關核函數和對應系數的優化選取.此外,因為SVM分類模型最大分類間隔決定了分類的確定性和所學習分類模型對后續樣本的潛在分類性能,在SVM分類模型的設計過程中,為進一步提高分類模型的分類能力,本文基于訓練樣本對SVM分類模型最大分類間隔的貢獻對訓練樣本進行自適應權值設置.

本文第2節介紹了SVM算法和組合核函數;第3節建立了基于當前訓練樣本特征的自適應樣本加權算法;第4節根據SVM分類原理設計了改進的ACO算法,實現了優化混合加權核函數的選擇;第5節完成了本文方法的實驗驗證和相應的實驗分析;第6節對本文工作進行了總結.

2 SVM算法與混合核函數原理介紹

SVM算法核心思想是尋找一個滿足分類要求的最優分類超平面,具體的分類原理如圖1所示.

給定訓練集(xi,yi),i=1,2,…,N,x∈Rn,y∈{±1},超平面為w·x+b=0.為使分類超平面正確分類所有樣本并產生一個盡量大的分類間隔,需滿足方程:

yi[(w·xi)+b]≥1,i=1,2,…,N

(1)

圖1 SVM算法結構圖Fig.1 SVM algorithm structure diagram

因此,分類間隔可表示為2/‖w‖,構造最優超平面的問題則轉化為下列約束的最小值問題:

(2)

這里,引入拉格朗日函數,

(3)

公式(3)中,αi是拉格朗日系數,且有αi>0.該約束優化問題由拉格朗日函數鞍點確定,優化問題的解滿足在鞍點處對w和b的偏微分為0.最后,QP(二次規劃)問題轉化為相應的對偶問題:

(4)

這里,滿足,

(5)

通過計算,最優權值向量w*和最佳偏置b*分別為:

(6)

那么,最優分類平面為:

w*·x+b*=0

(8)

最優分類函數為:

(9)

在這里,x∈Rn.當樣本非線性可分時,輸入特征空間通過非線性變換變換到一個高維特征空間.為了在高維空間中尋求最佳線性分類,通過定義適當的內積函數(核函數)實現非線性變換.SVM算法可以用訓練集和核函數完全描述,訓練集和核函數是決定算法成敗的關鍵.因此,將訓練樣本映射到其他空間,實現線性區分處理,分割效果取決于核函數的選擇.不同核函數K的選擇將導致完全不同的SVM算法,決定了所構建分類模型的分類性能,在SVM算法中起著決定性作用.非線性SVM的最優分類函數如下:

(10)

這里,K(x·xj)表示核函數.本文選取6個最常用的高性能核函數作為候選核函數,公式具體如下:

1)多項式核函數:

(11)

2)徑向基核函數:

(12)

3)Sigmoid核函數:

(13)

4)線性核函數:

K(xi,xj)=xi·xj

(14)

5)傅里葉核函數:

(15)

6)樣條核函數

K(xi,xj)=B2n+1(xi-xj)

(16)

那么,本文中混合加權核函數可以設計為:

K(xi,xj)=∑lclKl(xi,xj),l=1,2,…,6

(17)

同時,為了確保混合核函數不改變原始匹配的合理性,通常有接下來的約束公式[24]:

(18)

在這里,cl是核函數組合中第l個核函數的加權系數,而Kl(xi,xj)表示6個候選核函數中的第l個核函數.

3 基于當前樣本對SVM最大分類間隔貢獻度的自適應樣本加權方法

為進一步改進對分類模型的學習,本文構建了一種基于訓練樣本特征的自適應加權方法.為所有樣本設置統一的權值在SVM分類模型構建中顯然并不恰當,而基于當前樣本特征為不同樣本設置不同權值可以提高分類模型分類性能.為此,本文提出一種自適應樣本加權方法,它基于當前樣本對SVM分類模型最大分類間隔的貢獻,從提高分類確定性和分類模型對待檢測樣本正確分類能力的角度構造分類模型.

如何為訓練樣本設置自適應加權系數是決定分類器性能的關鍵.從SVM分類原則出發,SVM算法中最大分類間隔決定了分類的確定性程度.對后續待檢測樣本,更大的最大分類間隔代表著更好的潛在正確分類能力和更大的正確分類冗余[25].因此,就分類性能而言最大分類間隔越大,分類性能越佳.一般情況下,使被構造分類器最大分類間隔增加的訓練樣本,有利于分類器潛在分類能力的提升,應為其設置更大權值.相反,使最大分類間隔降低的訓練樣本應該指定較小權值.本文設計思想是計算訓練樣本對最終SVM分類器最大分類間隔的貢獻度,進而根據該信息為其設置恰當權值.因此,訓練樣本自適應加權系數hj設計如下:

(19)

這里,假設do是基于全部訓練樣本學習的SVM分類模型而獲得的對應最大分類間隔,dj是通過從全部訓練樣本中去除當前訓練樣本后獲得的新的最大分類間隔,Δdj是do與dj的差值,Δdmax為所有Δdj中最大的最大分類間隔增量.hj可通過以下步驟獲得:

步驟1.使用所有訓練樣本,包括當前樣本,基于SVM算法計算初始最大分類間隔do;

步驟2.基于SVM算法,使用除當前第j個樣本外剩余訓練樣本計算得到最大分類間隔dj;

步驟3.使用公式Δdj=do-dj計算由樣本j引起的最大分類間隔的增量Δdj;

步驟4.重復步驟2和步驟3,直到獲得所有的M個訓練樣本對最大分類間隔的貢獻度;

步驟5.在Δdj中選擇最大的最大分類間隔增量Δdmax;

步驟6.由公式(19),給出每個樣本的自適應權值hj;

步驟7.結束加權系數的計算,并通過相應的自適應權值加權所有這些訓練樣本.

通過訓練樣本權值更新系數hj為導致SVM最大分類間隔增量增大的樣本設置更高權值.因為有利于提高分類模型分類性能的訓練樣本通過自適應加權,獲得了更大權值,它們在分類器構建中也將發揮更大作用,所以通過本文加權方法構建的分類模型比非加權方法獲得了更優分類性能.

4 基于改善的ACO參數設置算法的最優混合加權核函數搜索

從一系列候選核函數中選擇恰當的核函數,并為它們設置合理的權值對提高分類器分類性能異常關鍵.基于ACO算法在搜索參數空間中尋找最佳參數的優勢,本文采用ACO算法,并在算法參數設置中引入最大分類間隔因素,為SVM分類模型尋找最優核函數組合及其對應的核函數系數.

ACO算法是將待求解計算問題簡化為搜索最佳路徑的概率算法.最初,該算法的設計是模擬螞蟻的行為,即它們在巢穴和食物源之間尋找一條最佳路徑的行為.從更廣泛的角度來看,ACO算法可用于執行模板基的搜索算法[26].

ACO參數的合理設置對于為實際問題所建立的數學模型尋找最佳系統參數異常重要.本文中,根據SVM分類算法基本原理,設計更為合理和有針對性的ACO參數設置方案,用以決定選擇哪些核函數并為它們設置多大權值,進而獲得更優的混合加權核函數.同時,不同于其他參數設置方法,為充分反映分類模型的潛在分類能力和分類確定性,將最大分類間隔因素引入到ACO參數設置中,對其改進如下:

(20)

這里,i和j分別表示路徑上節點i和j,ρij是路徑上節點i和j的信息素揮發系數,k表示第k條路徑,dk表示路徑k上的最大分類間隔,dmax對應著所有最大分類間隔中的最大值,M是路徑數.同時,為進一步反映和強調分類間隔因素在ACO搜索中的重要性,啟發式信息ηij設置為:

ηij=1-ρij

(21)

從這兩個公式中可以看到,較大的最大分類間隔對應于一個較小的信息素揮發系數和一個較高的轉移概率.很明顯,這會引導螞蟻(訓練樣本)聚集向一條對應較大最大分類間隔的路徑.最終,基于這種改進參數設置的ACO算法會獲得更優的核函數組合及對應加權系數.本文所提出算法對應流程圖如圖2所示:最后,根據改進的ACO參數設置,將給出更為合理核函數組合和對應加權系數,具體步驟如下:

步驟1.初始化相關參數:

1)設置全部螞蟻(訓練樣本)的信息素τ初始值為常量,并將全部螞蟻放置于蟻巢;

2)設置ACO算法搜索的最大次數為Nmax;

3)設置螞蟻數為S,每個螞蟻包括n個參數,對應著螞蟻覓食路徑上的n個節點.

步驟2.選擇每個“節點”(表示每一個不同的候選核函數和不同的加權系數)作為一個路徑;

步驟3.記錄路徑中核函數、相應系數的選擇,在到達目的地后得到混合加權核函數,更新搜索次數N=N+1;

步驟4.根據學習得到的SVM模型,利用相應的組合加權核函數,計算分類模型的分類精度和最大分類間隔;

圖2 算法流程圖Fig.2 Proposed method flow chart

步驟5.基于分類精度和分類間隔更新信息素τ,信息素τ更新如下:

(22)

轉移概率p更新如下:

(23)

步驟6.當所有的螞蟻沒有收斂到一條路徑或搜索次數小于預設的最大迭代次數時,繼續重復步驟2到步驟4;

步驟7.結束對核函數及其相應權值的搜索,并給出基于當前訓練樣本的最優核函數組合及相應核函數系數.

通過結合上文中提出的基于當前樣本對最大分類間隔貢獻的自適應樣本加權方法和本部分提出的基于改進ACO參數設置的最優組合加權核函數選擇方法,學習SVM分類模型,可獲得分類性能更加卓越的SVM分類模型.

5 實驗驗證與分析

在這部分中,通過一系列實驗驗證本文方法的分類性能,實驗使用中文筆跡樣本進行驗證,樣本來自于哈爾濱工業大學開放手寫文本庫HIT-MW[27].它提供來源于240個不同人的中文筆跡樣本,每個人筆跡為不同內容,如圖3所示.

圖3 從開放筆跡庫隨機選取的4份筆跡樣本Fig.3 Four Chinese handwriting samples randomly taken from open handwritten text library

同時,為驗證所學習分類模型分類性能,本文采用李昕的筆跡特征抽取算法[28],該方法經驗證對于提取筆跡細節特征具有很好性能.通過該方法從筆跡樣本中提取一系列微結構特征作為樣本多維特征用于SVM分類模型的學習.然后,使用本文算法設計分類器,通過5個有針對性的驗證實驗,從多個角度對本文算法進行了驗證、分析.

第1個驗證實驗采用交叉驗證方式對對應不同最大分類間隔的SVM分類模型進行驗證,考察最大分類間隔因素對SVM分類模型分類性能的影響.在樣本庫中,首先隨機選擇100個筆跡實例作為訓練樣本并將其等分為10份.然后,使用這10組樣本采用不同算法分別學習SVM分類模型,獲得10個分類器,并求解它們所對應的最大分類間隔.另外,再選取100個筆跡樣本,等分為10份作為后續測試樣本.用這10個新構建分類器分類測試樣本,計算它們對應的平均分類精度.

為增加實驗的一般性,每次更換訓練樣本、測試樣本,重復上述實驗10次,可方便地獲得SVM分類模型的最大分類間隔與對應分類精度之間的關系.10個分類器中,兩兩比較對應不同最大分類間隔的SVM分類模型所獲得分類精度.設某次進行比較的兩個分類器分別為Ci和Cj,由(Ci,Cj)表示,模型Ci對應的最大分類間隔di,Cj對應的最大分類間隔為dj,max(Δdij)表示兩分類器對應的較大最大分類間隔與較小最大分類間隔的差值,其值大于等于0,表1給出了對比結果.表1中,“獲勝”代表兩分類器精度比較中,對應較大最大分類間隔的分類器所獲得的分類精度不小于對應較小最大分類間隔的分類器所獲得的分類精度;“失敗”則代表兩分類器精度比較中,較大最大分類間隔的分類器所對應分類精度小于對應較小最大分類間隔的分類器所對應分類精度.從表1可看到,對應較大最大分類間隔的分類模型(max(Δdij)大于等于0)在分類精度的45次比較中贏了42次.實驗結果證明了具有較大分類間隔的SVM分類模型對后續未知測試實例具有更強分類能力.

表1 分類精度比較結果
Table 1 Comparison outcome on classification accuracy

進行比較的兩分類器max(Δdij)獲勝次數失敗次數(Ci，Cj)大于等于0423

為進一步驗證基于本文樣本加權方法所構建SVM分類模型對于待檢測樣本擁有更大的正確分類確定性,根據上文方法多次重復勝負比較實驗,對比本文樣本加權方法與非樣本加權方法分別構建的分類模型的分類精度高低.表2給出了采用這兩種方法構建分類模型的比較結果,可以看到,本文方法幾乎贏得了所有的比較.同時,當測試樣本數量增加時,用本文算法學習的SVM分類器獲勝面更大.這是因為從增加SVM分類器最大分類間隔的角度設計的樣本加權方法使所構建分類模型最大分類間隔增加.當訓練樣本增多時,這種改進將更加明顯,進而使所構建SVM分類模型與傳統方法相比具有更強正確分類能力.

表2 加權方法對非加權方法基于分類精度的獲勝率 (%)
Table 2 Classification accuracy win ratio (%)

分類模型5樣本10樣本15樣本20樣本25樣本訓練樣本加權方式構建的分類器模型94．2095．5197．7198．3798．73

在第2個測試實驗中,從筆跡樣本庫中隨機選取100個樣本,等分為10份.然后,訓練10組筆跡樣本獲得10個SVM分類模型.每次,取其中的9個訓練樣本訓練分類模型,把另外1個樣本作為測試樣本,重復10次,計算平均分類精度.表3給出了使用本文樣本加權方法和非加權方法構建的分類模型對應的平均分類精度.

表3 樣本加權方法vs非樣本加權方法的分類精度比較(%)
Table 3 Classification accuracy for the sample weighting method vs sample unweighting method (%)

方法MeanClassificationAccuracy樣本加權方法94．63非樣本加權方法92．86

從表3可以看到,用樣本加權算法學習到的分類模型擁有更高分類精度.實驗結果證明,基于SVM最大分類間隔增量為測試樣本設置權值系數,因為對應較大最大分類間隔增量的樣本被指定了更大權值,進而導致該樣本在分類模型構建中發揮了更大作用,使對分類模型的學習更傾向于提高SVM的最大分類間隔,該方法有益于所構建分類模型分類精度的改善,對后續待檢測樣本具有更強的正確分類能力.

在第3個驗證實驗中,為驗證在ACO算法參數設置中引入SVM最大分類間隔因子對所構建分類器分類性能的正向影響,基于兩種不同參數設置方法求解最優核函數組合和對應加權系數.兩種方法共同的參數設置如下:信息素τ和Q(信息素強度)的初始值設置為10和100,最大迭代次數設置為500,α值(激勵因素),β(期望啟發式因子)分別設為1和5.不同設置為,第一個方法對最優候選核函數和相應參數的ACO搜索使用傳統方法,將信息素設置為與分類精度相關,其他參數設置為常量.在第二個ACO參數搜索中,使用公式(20)至(23)設置相關ACO參數,包括揮發系數ρ,啟發信息η,信息素τ和轉換概率p.然后,分別根據兩個具有不同參數設置的ACO算法搜索混合核函數,并比較由不同搜索學習的分類模型的分類精度.

另外,隨機選取50個筆跡樣本作為螞蟻,設置6個候選核函數(公式(11)-(16))和它們全部可能對應系數(0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1)為ACO搜索路徑中的節點.進而,ACO中的每條路徑選擇對應一個混合加權核函數方案的選取,如圖4所示.

圖4 本文ACO算法的簡化示意圖Fig.4 Designed simplified ACO sketch map

這里,Ki表示候選核函數,Wi表示核函數系數,虛線表示路徑.通過兩種不同參數設置的ACO算法對候選核函數與其系數進行搜索,獲得兩條不同路徑,代表著兩個不同的混合加權核函數選擇方案.用這兩個選擇方案分別學習SVM分類模型,計算對應分類器的分類精度.

實驗中,第1種ACO算法命名為方法1,參數設置引入SVM最大分類間隔因素.根據公式(20),最大分類間隔越大,則信息素蒸發速度越慢.相應地,啟發信息ηij更強.第2種ACO算法命名為方法2,該方法不在參數設置中考慮最大分類間隔因子.在相同條件下,使用上述兩方法搜索網絡中的最佳路徑.為了驗證最大分類間隔因素的引入對分類模型正確分類的能力的提升,這個實驗使用不同數量的驗證樣本.對應結果顯示在表4和圖5中.表4給出了用兩種ACO參數設置方法構建的分類模型分類精度的比較.實驗結果展示出因為搜索中考慮了最大分類間隔因素,使所構建分類模型在分類精度上有了較大改善.

從圖5可以看到,相對于傳統的ACO參數設置方法,本文所提出參數設置方法的優勢主要體現在通過學習所得的SVM模型對后續未知檢測樣本的正確分類能力.這是因為ACO算法中最大分類間隔因子的引入改善了算法的優化方向,使基于此方法所設計SVM分類模型傾向于產生一個更大的最大分類間隔,進而提高模型正確分類性能.

第4個驗證實驗討論了核函數加權方法對所構建分類模型分類性能的影響.從樣本庫中隨機選取100個樣本并等量地將其分為10組.然后,通過訓練10組樣本對SVM分類模型進行學習,獲得10個分類模型.每次,用其中9個訓練樣本建立分類模型,把另外1個樣本作為測試樣本.重復此過程10次,計算平均分類精度.相同情況下,基于同樣步驟采用核函數系數加權方法和非加權方法分別構建混合核函數,并用上述不同混合核函數分別學習SVM分類模型,求解對應的平均分類精度.

表4 不同訓練樣本下本文提出ACO算法 vs 傳統 ACO算法的分類精度比較 (%)
Table 4 Classification accuracy for the proposed ACO vs traditional ACO from the different number of test samples (%)

精度5樣本10樣本15樣本20樣本25樣本30樣本35樣本方法194．4394．6595．1394．8894．3593．8994．67方法293．2893．6291．5791．9991．1489．1790．35

圖5 本文提出ACO算法 vs 傳統 ACO算法Fig.5 Proposed method vs traditional ACO method

表5給出了分別用這兩種方法獲得的分類精度,從表5看到,基于混合加權核函數構建的分類模型比非加權方法獲得了更好分類效果.實驗結果也反映出基于對最優分類性能的追求,有必要在混合加權核函數設計中為不同核函數賦予不同系數.因為設置統一系數的混合核函數盡管實現了輸入特征空間到高維特征空間的變換,但這一變換并不是所有變換中最優的變換,也不能實現最優SVM分類模型的學習.因此,統一的系數設置明顯不夠合理,難以獲得滿意效果.

表5 核函數加權方法vs非加權方法的分類精度比較(%)
Table 5 Classification accuracy for the kernel function weighting method vs unweighting method (%)

方法平均分類精度核函數加權方法94．47核函數非加權方法93．03

對于第5個驗證實驗,依然從樣本庫隨機選取100個筆跡樣本并分為等量的10組.然后,通過訓練10組樣本對SVM分類模型進行學習,獲得10個分類模型.每次用不同數量訓練樣本,重復該過程10次,計算平均精度.相同情況下,基于同樣步驟采用樣本加權方法學習分類模型,用本文算法和另外3種核函數構建算法分別學習分類模型.3種方法分別為上文中介紹的Wu[9],Huang[16]和Xie[21]所提出方法.同時,這4種方法一同用于分類相同測試樣本以驗證和比較它們的分類性能.訓練樣本數量按步長1從4個增加到10個,考察不同數量訓練樣本下所構建分類模型性能.4種方法分類精度差異效果顯示在表6和圖6.

表6 不同數量訓練樣本下本文算法vs另外3種算法(%)
Table 6 Classification accuracy for the proposed method vs other three methods based on the different number of training samples (%)

分類精度Xie方法Huang方法Wu方法Cao方法4訓練樣本89．3189．0786．5789．925訓練樣本91．3391．0490．5093．296訓練樣本92．8692．4292．5994．317訓練樣本93．2693．5693．1594．448訓練樣本93．4093．7293．4594．559訓練樣本94．1293．9793．3394．9910訓練樣本94．2094．1493．4694．62

從表6可以看出,無論使用多少訓練樣本,與其他3種核函數構建方法相比,本文提出的方法具有更高分類精度.即使在可獲得訓練樣本較少的情況下,本文方法仍然可以訓練出性能優良的分類器,并可取得令人滿意的分類精度.

從圖6還可以看出,隨著訓練樣本數的增加,各種方法的分類精度均有不同程度的改善.當樣本數繼續增加時,分類精度增加速度逐漸放緩.本文方法與其他3種方法相比,能更快速地達到較高分類精度.當訓練樣本數超過5后,本文算法的精度變化已很小.顯然,本文算法的分類性能明顯優于其他方法,這是因為本文算法是從SVM的構建原理和分類原則出發設計的,從根本上提高了SVM分類模型性能.

圖6 本文提出方法vs對另外3種方法Fig.6 Proposed method vs other three methods

通過上述5個有針對性的實驗驗證了本文算法的有效性,實驗結果也證明了本文所提出方法的良好性能,并進一步顯示出本文算法的有效性.

6 結 論

在本文中,提出了一種基于ACO算法的最優混合加權核函數構建方法和一種新的基于當前樣本特征與SVM分類模型工作原理的訓練樣本權值設置方法.本文首先根據樣本對SVM分類模型最大分類間隔的貢獻,建立了一種基于訓練樣本特征的自適應樣本加權方法.它基于SVM算法原理設計,因此所構建分類模型分類性能更強.實驗證明,通過不同權值設置,算法提高了正確分類能力,有利于提高SVM分類器對待檢測樣本的潛在正確分類能力,進而提高分類器的整體分類性能.

除樣本加權方法,本文還利用ACO算法尋找加權核函數組合的最佳方案.不同于其他ACO搜索算法,本文中ACO參數設置中引入了最大分類間隔因素,從SVM算法原理上提高了對后續樣本正確分類的能力,實驗結果也驗證了上述算法.同時,改進的參數設置因為綜合考慮了分類器學習中分類精度和最大分類間隔指標因素,使所學習SVM分類模型具有更佳的分類性能.

[1] Khan N,Ksantini R,Ahmad I,et al.A novel SVM+NDA model for classification with an application to face recognition[J].Pattern Recognition,2012,45(1):66-79.

[2] Kasar M,Bhattacharyya D,Kim T.Face recognition using neural network:a review[J].International Journal of Security and Its Applications,2016,10(3):81-100.

[3] Hasseim A,Sudirman R,Khalid P.Handwriting classification based on support vector machine with cross validation[J].Engineering,2013,5(5B):84-87.

[4] He Z,You X,Tang Y.Writer identification of Chinese handwriting documents using hidden Markov tree model[J].Pattern Recognition,2008,41(4):1295-1307.

[5] Dhillon S,Kaur K.Comparative study of classification algorithms for web usage mining[J].International Journal of Advanced Research in Computer Science and Software Engineering,2014,4(7):137-140.

[6] Liu B,Blasch E,Chen Y,et al.Scalable sentiment classification for big data analysis using Na?ve Bayes classifier[C].IEEE International Conference on Big Data,2013:99-104.

[7] Bendi V,Surendra P,Venkateswarlu N.A critical study of selected classification algorithms for liver disease diagnosis[J].International Journal of Database Management Systems,2011,3(2):101-114.

[8] Raikwal J,Kanak S.Weight based classification algorithm for medical data[J].International Journal of Computer Applications,2014,107(21):1-5.

[9] Wu Tao,He Han-gen,He Ming-ke.Interpolation based kernel function′s construction[J].Chinese Journal of Computers,2003,26(8):990-996.

[10] Wu C,Tzeng G,Lin R.A Novel hybrid genetic algorithm for kernel function and parameter optimization in support vector regression[J].Expert Systems with Applications,2009,36(3):4725-4735.

[11] You D,Hamsici O,Martinez A.Kernel optimization in discriminant analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(3):631-638.

[12] Keerthi S.Efficient tuning of SVM hyperparameters using radius/margin bound and iterative algorithms[J].IEEE Transactions on Neural Network,2002,13(5):1225-1229.

[13] Maji S,Berg A,Malik J.Efficient classification for additive kernel svms[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2013,35(1):66-77.

[14] Smits G,Jordan E.Improved SVM regression using mixtures of kernels[C].International Joint Conference on Neural Networks,2002,3:2785-2790.

[15] Wu F,Ding S.Twin support vector machines based on the mixed kernel function[J].Journal of Computers,2014,9(7):1690-1696.

[16] Huang H,Ding S,Jin F,et al.A novel granular support vector machine based on mixed kernel function[J].International Journal of Digital Content Technology & its Applic,2012,6(20):484-492.

[17] Zheng S,Liu J,Tian J.An efficient star acquisition method based on SVM with mixtures of kernels[J].Pattern Recognition Letters,2005,26(2):147-165.

[18] Yang X,Peng H,Shi M.SVM with multiple kernels based on manifold learning for breast cancer diagnosis[C].IEEE International Conference on Information and Automation,2013:396-399.

[19] Kavzoglu T,Colkesen I.A kernel functions analysis for support vector machines for land cover classification[J].International Journal of Applied Earth Observation and Geoinformation,2009,11(5):352-359.

[20] Zhu Y,Liu W,Jin F,et al.The research of face recognition based on kernel function[J].Applied Mechanics and Materials,2013,321-324(8):1181-1185.

[21] Xie J.Time series prediction based on recurrent LS-SVM with mixed kernel[C].Asia-pacific Conference on Information Processing,2009,1:113-116.

[22] üstün B,Melssen W,Buydens L.Facilitating the application of support vector regression by using a universal Pearson VII function based kernel[J].Chemometrics and Intelligent Laboratory Systems,2006,81(1):29-40.

[23] G?nen M,Alpaydm E.Multiple kernel learning algorithms[J].Journal of Machine Learning Research,2011,12:2211-2268.

[24] Wang G.Properties and construction methods of kernel in support vector machine[J].Computer Science,2006,33(6):172-174.

[25] Li Hang.Statistical learning method[M].Beijing:Tsinghua University Press,Beijing,2012.

[26] Nada M.System evolving using ant colony optimization algorithm[J].Journal of Computer Science,2009,5(5):380-387.

[27] Su T,Zhang T,Guan D.Corpus-based HIT-MW database for offline recognition of general-purpose Chinese handwritten text[J].International Journal on Document Analysis and Recognition,2007,10(1):27-38.

[28] Li Xin,Ding Xiao-qing.Writer identification based on improved microstructure features[J].Journal Tsinghua University (Sci & Tech),2010,50(4):595-600.

附中文參考文獻：

[9] 吳 濤,賀漢根,賀明科.基于插值的核函數構造[J].計算機學報,2003,26(8):990-996.

[25] 李 航.統計學習理論[M].北京:清華大學出版社,2012.

[28] 李 昕,丁曉青.基于改進微結構特征的筆跡鑒別[J].清華大學學報(自然科學版),2010,50(4):595-600.