直覺模糊最小二乘支持向量機*

郭新辰, 張 超, 李成龍

(東北電力大學 理學院, 吉林 吉林 132012)

支持向量機(SVM)是在VC維理論和結構風險最小化原理基礎上發展的一種通用機器學習方法[1]. 為提高SVM的訓練效率, Suykens等[2-3]對標準SVM進行了擴展, 提出了最小二乘支持向量機(LS-SVM), 采用具有等式約束且滿足KKT條件的規則化最小二乘函數作為損失函數, 代替了SVM計算復雜的QP問題, 求解速度相對較快. 但由于平方損失函數沒有正則化, 導致最小二乘向量機對孤立點的魯棒性較差[4-5].

為了克服噪聲和野點對支持向量機的影響, 文獻[6]將模糊集理論和支持向量機相結合, 提出了模糊支持向量機(FSVM). 文獻[7-10]將二者結合又提出了模糊最小二乘支持向量機(FLS-SVM). 在樣本的隸屬度確定方面, 常見的方法是根據樣本到類中心的距離確定相應的隸屬度大小, 但這種方法所確定的隸屬度有兩點局限性： 1) 未考慮樣本間的緊密程度； 2) 未考慮樣本周圍的樣本點情況.

Zadeh[11]提出了模糊集理論, 但由于其隸屬度是一個實數, 只能反映支持、 不支持和不確定三者之一, 不能反映實際情況. 因此, Atanassov[12]在模糊集的基礎上提出了基于隸屬度、 非隸屬度和不確定度的直覺模糊集. 本文將直覺模糊集的相關理論引入到最小二乘支持向量機中提出了新的直覺模糊最小二乘支持向量機(intuitionistic fuzzy least square support vector machine, IFLS-SVM).

1 直覺模糊集

設χ為給定的論域, 則定義χ上的直覺模糊集為

A={〈x,μA(x),νA(x)〉x∈χ},

其中μA(x):x→[0,1]和νA(x):x→[0,1]分別為A的隸屬度函數和非隸屬度函數, 并滿足對所有的x∈A均有0≤μA(x)+νA(x)≤1成立.πA=1-(μA(x)+νA(x))稱為x屬于A的不確定度函數, 即直覺指數.

2 最小二乘支持向量機與模糊最小二乘支持向量機

給定帶有類別標簽的訓練集(x1,y1),(x2,y2),…,(xl,yl), 其中訓練樣本xi∈RN,yi∈{1,-1}為訓練樣本對應的類標簽,i=1,2,…,l. LS-SVM對應的優化問題為

(1)

其中：φ(x): RN→ RNh為輸入空間到特征空間的映射； 權矢量wT∈RN； 誤差變量ξi∈R；b為偏差量；C為正規化參數即最大分類間隔與最小分類誤差的折中.

若在FLS-SVM中引入隸屬度μi的概念, 則相關的數學模型變為

(2)

3 直覺模糊最小二乘支持向量機

給定帶有類別標簽的訓練集(以樣本有兩類為例)： (x1,y1),(x2,y2),…,(xl,yl), 其中: 訓練樣本xi∈RN;yi∈{1,-1}為訓練樣本對應的類標簽;i=1,2,…,l.

3.1 相關指標

圖1 樣本類中心與類內、 外徑示意圖Fig.1 Diagram of sample class center and internal and external radii

3.1.2 樣本點周圍同類點比例與異類點比例 正樣本點周圍同類點比例為

負樣本點周圍同類點比例為

負樣本點周圍異類點比例為

d值需要綜合考慮R1,r1,R2,r2和正負樣本容量等指標合理取值[13].

3.1.3 樣本隸屬度 為了更好地反映每個樣本點與類別間的真實關系, 定義相關的隸屬度. 正樣本屬于正類隸屬度為

正樣本屬于負類隸屬度為

當樣本點滿足D(xi,O1)

負樣本屬于負類隸屬度為

負樣本屬于正類隸屬度為

由隸屬度的計算公式可得：

3.2 直覺模糊最小二乘支持向量機

因為直覺指數反映了一個樣本的不確定程度, 所以直覺模糊最小二乘支持向量機模型為

(3)

其中k為待定參數, 滿足0≤μi-k·πi≤1.

模型(3)對應的Lagrange函數為

(4)

其中Lagrange乘子αi∈R,i=1,2,…,l. 根據KKT條件, 有

(5)

其中i=1,2,…,l. 將式(5)寫成矩陣形式為

(6)

其中:

Z=(y1φ(x1),y2φ(x2),…,ylφ(xl));y=(y1,y2,…,yl);μ=diag(μ1,μ2,…,μl);

π=diag(π1,π2,…,πl);ξ=(ξ1,ξ2,…,ξl)T;α=(α1,α2,…,αl)T;1=(1,1,…,1)T.

經同解變換消去變量w和ξ, 并結合Mercer條件, 式(4)可寫成

(7)

其中Ωij=yiyjK(xi,xj). 令A=Ω+(C(μ-k·π))-1, 求解式(7)可得

4 仿真實驗

借助MATLAB的LSSVMlab工具箱, 在人工數據集上對本文算法進行實驗驗證. 驗證過程如下.

1) 隨機生成人工數據集. 樣本容量為300, 取其中100個樣本作為訓練樣本集, 其余200個樣本作為測試集.

2) 對訓練樣本集進行訓練. 訓練采用RBF核函數, 取σ=0.5,C=10,d=0.6,k=0.5. 分別用LS-SVM,FLS-SVM和IFLS-SVM這3種方法對訓練樣本集進行訓練.

3) 根據3種訓練結果分別對測試集進行測試.

4) 對測試結果進行整理. 由于每次訓練時訓練集和測試集均為隨機生成, 所以本文取3種方法測試100次準確率的平均值作為測試準確率.

根據上述訓練過程, 得出3種方法的測試準確率結果分別為LS-SVM： 93.75%; FLS-SVM： 94.45%; IFLS-SVM： 95.25%. 可見IFLS-SVM的分類效果較好. 圖2為IFLS-SVM(圖2(A))和FLS-SVM(圖2(B))對同一組數據分類結果的對比. 由圖2可見, FLS-SVM將右下方的一個樣本點分錯, 而IFLS-SVM 則沒有. 因此, 本文提出的IFLS-SVM算法比較合理.

圖2 直覺模糊最小二乘支持向量機和模糊最小二乘支持向量機分類的對比結果Fig.2 Classification by IFLS-SVM and FLS-SVM

為了進一步驗證IFLS-SVM算法的有效性, 在標準數據集Blood-Transfusion, Pima Indians Diabetes和Statlog (Heart)上對LS-SVM, FLS-SVM和IFLS-SVM這3種算法進行對比測試, 測試結果列于表1. 由表1可見, IFLS-SVM算法對應的準確率較高, 從而進一步驗證了IFLS-SVM算法的合理性.

表1 3種算法在標準數據集上的測試結果

綜上所述, 為了降低在采用LS-SVM分類時樣本中噪聲和野點對分類效果的影響, 本文將直覺模糊集的相關理論引入到LS-SVM中, 建立了直覺模糊最小二乘支持向量機. 先定義了樣本的隸屬度、 非隸屬度及直覺指數等相關指標, 并建立了IFLS-SVM的數學模型, 再對其求解過程進行推導, 最后通過在人工數據集和標準數據集上進行仿真實驗, 實驗結果驗證了算法的有效性.

[1] Vapnik V N. Statistical Learning Theory [M]. New York: Wiley, 1995： 100-105.

[2] Suykens J A K. Nonlinear Modeling and Support Vector Machines [C]//Proceedings of the 18th IEEE Instrumentation and Measurement Technology Conference. Budapest: Hungary, 2001： 287-294.

[3] Suykens J A K, Vandewalle J. Least Squares Support Vector Machine Classifiers [J]. Neural Process Lett, 1999, 9(3)： 293-300.

[4] Shim J Y, Hwang C, Nau S. Robust LS-SVM Regression Using FuzzyC-Means Clustering [J]. Advances in Natural Computation, 2006, 1(1): 157-166.

[5] LI Jin, TANG Wei. Fuzzy Least Squares Support Vector Machine in the Black Liquor Baume Soft Measurement [J]. Aerospace Manufacturing Technology, 2008(2): 51-53. (李瑾, 湯偉. 模糊最小二乘支持向量機在黑液波美度軟測量中的應用 [J]. 航天制造技術, 2008(2): 51-53.)

[6] LIN Chun-fu, WANG Sheng-de. Fuzzy Support Vector Machines [J]. IEEE Transactions on Neural Networks, 2002, 13(2): 464-471.

[7] CHEN Xiu-juan, LI Yong, Robert H G, et al. Genetic Fuzzy Classification Fusion of Multiple SVMs for Biomedical Data [J]. Journal of Intelligent & Fuzzy Systems, 2007, 18(6): 527-541.

[8] YANG Jun, DUAN Chong, XIE Shou-sheng. Fuzzy Least Squares Support Vector Machines Based Recognition for Aircraft Flight Action [J]. Missiles and Guidance, 2004, 24(3): 395-398. (楊俊, 段翀, 謝壽生. 基于模糊最小二乘支持向量機的飛機飛行動作識別 [J]. 彈箭與制導學報, 2004, 24(3): 395-398.)

[9] ZHANG Ying, SU Hong-ye, CHU Jian. Soft Sensor Modeling Based on Fuzzy Least Squares Support Vector Machine [J]. Control and Decision, 2005, 20(6): 621-624. (張英, 蘇宏業, 褚健. 基于模糊最小二乘支持向量機的軟測量建模 [J]. 控制與決策, 2005, 20(6): 621-624.)

[10] WEI Guo, LIU Jian, SUN Jin-wei, et al. Study on Nonlinear Multifunctional Sensor Signal Reconstruction Method Based on LS-SVM [J]. Acta Automatica Sinica, 2008, 34(8): 869-875. (魏國, 劉劍, 孫金瑋, 等. 基于LS-SVM的非線性多功能傳感器信號重構方法研究 [J]. 自動化學報, 2008, 34(8): 869-875.)

[11] Zadeh L A. Fuzzy Sets [J]. Information and Control, 1965, 8(3): 338-353.

[12] Atanassov K T. Intuitionistic Fuzzy Sets [J]. Fuzzy Sets and Systems, 1986, 20(1): 87-96.

[13] HA Ming-hu, HUANG Shu, WANG Chao, et al. Intuitionistic Fuzzy Support Vector Machine [J]. Journal of Hebei University: Natural Sicence Edition, 2011, 31(3): 225-229. (哈明虎, 黃澍, 王超, 等. 直覺模糊支持向量機 [J]. 河北大學學報: 自然科學版, 2011, 31(3): 225-229.)