基于社會情感優化算法的支持向量機參數選擇

程彩鳳 孫祥娥

摘 ?要： 支持向量機（SVM）是廣泛應用于分類和回歸問題的機器學習方法。SVM做分類預測時的分類精度主要取決于參數的選擇，參數選擇不當將出現“過學習”或“欠學習”的情況，且容易陷入局部最優解。社會情感優化算法（SEOA）加入了人類情感因素，是一種新穎的智能優化算法，有著良好的全局優化能力。提出基于SEOA的SVM參數選擇方法，同時優化核函數參數和懲罰參數。實驗采用4組UCI數據集進行測試，并將SEOA算法與遺傳算法、粒子群優化算法進行仿真測試結果對比。試驗結果表明，SEOA較大地提高了SVM算法的尋優能力，收斂性較好，具有更高的分類精度和更少的搜索時間。

關鍵詞： 支持向量機; 社會情感優化算法; 參數選擇; 分類精度; 機器學習; 遺傳算法

中圖分類號： TN911?34; TP181 ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）12?0108?04

Abstract： The support vector machine （SVM） is a machine learning method widely used in classification and regression problems. The classification accuracy of using the SVM for classification prediction mainly depends on parameter selection. Improper parameter selection can result in situations of "over?study" or "less?study" and easiness to fall into the local optimal solution. With the human emotion factors added， the social emotion optimization algorithm （SEOA） is a novel intelligent optimization algorithm with a good global optimization capability. An SVM parameter selection method based on the SEOA is proposed. The kernel function parameter and penalty parameter are optimized. Four groups of UCI datasets are used for testing in the experiment. The simulation test results are compared for the SEOA， genetic algorithm and particle swarm optimization algorithm. The test results show that the SEOA can greatly improve the optimization ability of the SVM algorithm， and has a good convergence， high classification accuracy and less searching time.

Keywords： support vector machine; social emotion optimization algorithm; parameter selection; classification accuracy; machine learning; genetic algorithm

分類問題已經應用到各個領域，如模式識別、疾病診斷、投資風險評估、故障檢測[1?2]等。支持向量機（SVM）是廣泛應用于分類和回歸問題的機器學習方法，它最早是由Vapnik于20世紀90年代引入的。SVM通過非線性映射構造一個最優分類超平面，作為分類決策面，最大化超平面與原點之間的距離[3]。

SVM使用核函數將數據樣本從低維映射到高維，做分類預測時需要調節相關的參數，主要是誤差懲罰因子C和核函數參數。C過大或過小，泛化能力變差。核參數的改變會影響特征空間中樣本的分布情況，導致特征空間VC維的改變。那么如何選取最佳的參數，以便得到比較理想的預測分類準確率就顯得尤為重要。

為了提高SVM分類器的分類精度、泛化能力以及減少算法的運行時間，很多學者在這方面做了相關的研究。傳統的參數選擇方法有網格搜索法[4]、牛頓法、梯度下降法等，以及仿生物學的人工智能算法，如進化算法、遺傳算法、粒子群優化算法等，以及多種智能算法相結合的方法等。張進等提出改進的PSO算法對SVM的參數進行優化，在PSO中引入遺傳算法中的交叉變異算子，提高了群體的多樣性，結果提高了SVM的分類準確率，但分類精度有待進一步提高[5]。戴上平等提出結合GA算法和PSO算法對SVM參數進行優化求解，將PSO算子作為GA算法的變異算子，使變異算子具備了學習的能力，避免了算法陷入局部最優解，算法效率有所提高，但結果不是很穩定[6]。高雷阜等提出改進的遺傳算法來優化SVM參數，在蟻群算法中加入有向搜索和基于時變函數更新的信息素更新原則，結果具有較高的分類準確率，但是該算法時間復雜度較高[7]。郝艷友等采用免疫遺傳算法IGA，同時進行特征選擇和SVM參數優化，取得了良好的分類效果[8]。本文將優化目前使用最廣泛的高斯核函數的核參數σ和懲罰參數C，提出一種基于社會情感優化（SEOA）算法的支持向量機參數優化方法，以SVM分類準確率最大化作為優化原則，優化選擇核函數參數σ和懲罰參數C，最終能提高支持向量機的分類準確率及其泛化能力。

1 ?社會情感優化算法

社會情感優化算法是結合了粒子群優化和蟻群優化的思想，通過模擬人類情感、情緒對行為的影響而構造的一種群智能優化算法，由于個體有情感因素的加入，能夠利用每個人的情緒作為控制策略，從而提高了算法的性能，改善了算法的多樣性和靈活性[9?12]。

社會情感優化算法是一種基于社會活動中人的情感對行為的影響的群智能優化算法，模擬了理智情況下的人在參與某種社會活動時，感知其周圍環境對他的評價，通過情緒的反饋采取相應決策和效應，來對下一步活動進行指導，重復此過程，直到滿足條件為止。與常見的幾種群智能算法相比，社會情感優化算法收斂效率更高。在社會情感算法中，每個個體代表一個虛擬的人，在每次迭代中，他將根據相應的情緒指數選擇行為。在這之后評價值將從社會反應出來以確認該行為的對與錯。如果正確，那么情緒指數就上升，否則就降低[13?14]。SEOA流程圖如圖1所示。

圖1 ?社會情感優化算法流程圖

下一步行為分為3種情況如下：

式中：vjbest（t）為個體歷史最好社會評價值對應的行為;vGbest（t）為群體歷史最好社會評價值對應的行為;c1，c2，c3是控制參數。SEOA與PSO算法相似，而PSO只有更新策略，沒有引入情感的概念。

SEOA考慮到了社會評價最差的個人行為，以調整其行為。因此，SEOA可以更快地收斂得到最優解。

2 ?基于SEOA的SVM參數優化

考慮訓練集[{xi，yi}Li=1]，其中x是特征向量，[x∈Rn，y∈{+1，-1}]是類標簽。SVM分類的思想是求得一個最佳超平面和使用訓練集分離[15]?？蓪⑵滢D化為一個二分類問題，如下：

對于訓練集[{xi，yi}Li=1]，應用SEOA進行SVM參數優化的具體步驟如下：

1） 種群初始化。設置SEOA的參數c1，c2，c3以及最大迭代次數N，個體的個數L為SVM訓練樣本個數。設定情緒閾值參數m1和m2，初始化每個個體的行為，并使用式（6）計算其社會評價值f[vj（0）]，設定每個個體的情緒指數Ej（0）=1，即情緒指數就是最大值，則社會評價值f[vj（0）]等價于fjbest（0）;

2） 當t=0時，個體按式（2）來選擇下一次行為，當t>0時，個體則按式（3）來選擇下一次行為;

3） 更新個體的歷史最好社會評價值fjbest（t）和其行為vjbest，更新群體的最好社會評價值fGbest，最壞社會評價值fGworst及平均社會評價值，并更新群體的行為vGbest;

4） 判斷是否滿足結束的條件，如果滿足，則輸出群體的最好社會評價值fGbest及其行為vGbest（t），得到最優解并退出;否則進入下一步;

5） 根據式（2）調整個體情緒指數Ej（t），進入下一代，返回步驟2）。

3 ?實驗數據和結果對比

為了測試提出的基于SEOA 的SVM參數優化算法的性能，從UCI 數據集中選取4個數據集進行實驗研究，這4個數據集都是二分類問題。針對數據集分別采用標準遺傳算法優化支持向量機（GA?SVM）、粒子群算法優化支持向量機（PSO?SVM）作為對比模型進行試驗測試。

3.1 ?數據描述

用于測試的數據集描述如表1所示。每個數據集的70%用作訓練，30%用作測試。

表1 ?數據集描述

3.2 ?參數設置

GA參數：最大迭代次數100，種群數目20，采用賭輪選擇法、單點交叉算子進行遺傳操作，變異概率為0.01。

PSO參數：學習因子均設置為1.8，慣性權重為0.6。

SEOA參數：控制參數如表2所示。最大迭代次數N=100，個體數量L=100，根據情緒閾值m1，m2的取值范圍為[0，1]，且m1表2 ?SEOA參數設置

3.3 ?結果分析

為了得到更加準確可靠的實驗結果，每個實驗都重復10次，搜索時間、分類精度均取10次結果的平均值。利用3種方法對4個數據集進行分類的平均分類準確率如表3所示。

表3 ?SEO?SVM與其他算法的比較

通過比較發現，基于情感優化算法的SVM參數優化算法比基于遺傳算法、粒子群算法的 GA?SVM、PSO?SVM參數尋優法具有更好的實驗效果，更高的分類準確率，花費更少的搜索時間。為了分析3種算法在參數尋優過程中的收斂性，圖2顯示了這3種算法對4組數據集的分類效果對比結果，從圖中可以看出，3種算法對于4組數據集的分類效果不同，本文提出的SEO?SVM算法具有更好的收斂性，平均分類精度有所提高。進一步分析發現，當數據集樣本較大時，3種算法的分類效果均有所下降，而本文的SEO?SVM算法的運行時間要長些，這個和模型算法的時間復雜度有關，這也是后期研究的重點。

圖2 ?3種算法模型關于4組數據集的分類效果圖

4 ?結 ?論

SVM作為最流行的機器學習算法之一，被廣泛用于數據集分類和模式識別。為了改進SVM的性能，本文提出將社會情感優化算法用于SVM的參數優化。使用SEOA來對SVM的核函數參數和懲罰參數進行尋優。實驗結果表明，基于SEOA算法的SVM參數選擇是有效可行的，能使用較少的支持向量而得到更高的分類精度;在進行參數選擇時，相比于GA算法和PSO算法，在搜索時間上具有更明顯的優勢。接下來的工作一方面是對SEOA算法的收斂性進行進一步的研究;另一方面是如何選取較好的核函數，以提高SVM的分類精度和泛化能力。

注：本文通訊作者為孫祥娥。

參考文獻

[1] SAIMURUGAN M， RAMACHANDRAN K I ， SUGUMARAN V， et al. Multi?component fault diagnosis of rotational mechanical system based on decision tree and support vector machine [J]. Expert systems with applications， 2011， 38（4）： 3819?3826.

[2] ZHANG Xiaoyuan， ZHOU Jianzhong， GUO Jun， et al. Vibrant fault diagnosis for hydroelectric generator units with a new combination of rough sets and support vector machine [J]. Expert systems with applications， 2012， 39（3）： 2621?2628.

[3] DRUCKER H， WU D ， VAPNIK V N. Support vector machines for spam categorization [J]. IEEE transactions on neural networks， 1999， 10（5）： 1048?1054.

[4] 王健峰.基于改進網格搜索法SVM參數優化的說話人識別研究[D].哈爾濱：哈爾濱工程大學，2012.

WANG Jianfeng. Research on SVM parameter optimization speaker recognition based on improved grid search [D]. Harbin： Harbin Engineering University， 2012.

[5] 張進，丁勝，李波.改進的基于粒子群優化的支持向量機特征選擇和參數聯合優化算法[J].計算機應用，2016，36（5）：1330?1335.

ZHANG Jin， DING Sheng， LI Bo. Improved particle swarm optimization algorithm for support vector machine feature selection and optimization of parameters [J]. Journal of computer applications， 2016， 36（5）： 1330?1335.

[6] 戴上平，宋永東.基于遺傳算法與粒子群算法的支持向量機參數選擇[J].計算機工程與科學，2012，34（10）：113?117.

DAI Shangping， SONG Yongdong. Parameter selection of support vector machines based on the fusion of genetic algorithm and the particle swarm optimization [J]. Computer engineering and science， 2012， 34（10）： 113?117.

[7] 高雷阜，張秀麗，王飛.改進蟻群算法在SVM參數優化研究中的應用[J].計算機工程與應用，2015（13）：139?144.

GAO Leifu， ZHANG Xiuli， WANG Fei. Application of improved ant colony algorithm in SVM parameter optimization selection [J]. Computer engineering and applications， 2015（13）： 139?144.

[8] 郝艷友，遲忠先，李克秋，等.基于IGA的支持向量機特征子集選擇和參數優化[J].計算機工程與應用，2008，44（22）：35?38.

HAO Yanyou， CHI Zhongxian， LI Keqiu， et al. IGA?based feature subset selection and parameters optimization for support vector machines [J]. Computer engineering and applications， 2008， 44（22）： 35?38.

[9] 杜卓明，馮靜.改進遺傳算法和支持向量機的特征選擇算法[J].計算機工程與應用，2009，45（29）：28?30.

DU Zhuoming， FENG Jing. Support vector machine feature selection algorithm based on modified genetic algorithm [J]. Computer engineering and applications， 2009， 45（29）： 28?30.

[10] 崔志華.社會情感優化算法[M].北京：電子工業出版社，2011.

CUI Zhihua. Social emotion optimization algorithm [M]. Beijing： Publishing House of Electronics Industry， 2011.

[11] CUI Z， FAN S， SHI Z. Social emotional optimization algorithm with Gaussian distribution for optimal coverage problem [J]. Sensor letters， 2013， 11（2）： 259?263.

[12] WEI Zhanhong， CUI Zhihua， ZENG Jianchao. Social emotional optimization algorithm with emotional model [J]. International journal of computational science and engineering， 2012， 7（2）： 125?132.

[13] 王俊艷.基于社會情感算法的分類模型設計[J].電子技術與軟件工程，2015（1）：187.

WANG Junyan. Categorization model design based on social emotion algorithm [J]. Electronic technology & software engineering， 2015（1）： 187.

[14] 徐月春.情感選擇方式的策略研究[D].太原：太原科技大學，2012.

XU Yuechun. Research on strategies of emotional choice [D]. Taiyuan： Taiyuan University of Science and Technology， 2012.

[15] ZHANG Yunqiang， ZHANG Peilin. Machine training and parameter settings with social emotional optimization algorithm for support vector machine [J]. Pattern recognition letters， 2015， 54： 36?42.