支持向量機的研究

任麗曄，王 靜，關秀麗

(1.長春大學 電子信息工程學院，長春 130022;2.吉林工業職業技術學院 商學院，吉林 吉林 132000)

支持向量機的研究

任麗曄1，王 靜2，關秀麗1

(1.長春大學 電子信息工程學院，長春 130022;2.吉林工業職業技術學院 商學院，吉林 吉林 132000)

支持向量機可以引入特征變換將原空間的非線性問題轉化為新空間的線性問題。本文在論述支持向量機模型創建的基礎上，著重對核函數的選取及參數的確定進行了研究，通過實驗數據表明，文中創建的組合核函數，在人體下肢動作模式識別中，有較高的識別率。

支持向量機;核函數;模式識別

支持向量機(support vetor machine，SVM)的基本思想可以概括為:首先通過非線性變換將輸入空間變換到一個高維空間，然后在這個新空間中求最優分類面，這種非線性變換是通過定義適當的內積核函數實現的。其首先在模式識別領域得到了成功的應用，最突出的案例是貝爾實驗室對美國郵政服務數字庫進行的實驗，分別采用三種類型的支持向量機，采用不同的核函數有效地解決了傳統機器學習中的不好解決的高維問題及結構選擇的難題。因此，支持向量機(SVM)在分類領域性能是良好的，但其分類性能受到核函數及參數影響，本文通過對腦卒中患者步態的模式識別討論核函數及參數對SVM分類性能的影響，為SVM分類核函數及參數選擇提供借鑒。

1 支持向量機模型

構造一個具有良好性能的SVM，模型選擇是關鍵。其過程主要包括:

(1)訓練集的選取;

(2)核函數類型及其參數的選取;

(3)規則化參數C的選取;

(4)損失函數及其參數ε的選取。

1.1 訓練集的選取

對于一個實際問題，要選取一個合適的訓練集，主要靠有關領域的專門知識和經驗。

本文的訓練集來自50名腦卒中患者和50名正常人，在實驗中使用安徽君誠體育器材公司研制的8導無線表面肌電儀，型號為JE-TB0810，信號處理及分析用JANALYSIS E100C軟件。在實驗中連續采集測試者的脛骨前肌、腓骨長肌、雙側骨直肌和股二頭肌的表面肌電信號。特征共有6個:中位頻率(median frequency，MF)、平 均 功 率 頻 率 (mean power frequency，MPF)、平均肌電值(average EMG，AEMG)及MF斜率、MPF斜率、AEMG斜率。即原始訓練集為:

其中yi=1表示腦卒中患者，yi=-1表示正常者。

1.2 核函數

核函數的選擇實際上是改變了訓練集在數據子空間分布的維數，目前核函數類型主要還是憑經驗選定，大量的參考文獻表明，支持向量機在某種程度上獨立于核函數的類型，但核函數的參數對SVM的性能有很大影響。下文有詳細論述。

1.3 規則化參數C

C是決定擬合誤差和預測誤差的重要參數，針對本文所討論的腦卒中患者步態的識別問題，為了構造最優分類超平面，作者在約束條件中引入非負松弛變量ξi≥0，則訓練集T中的所有樣本應滿足:

將上述兩個約束條件整理得:

求解最優分類超平面，即轉化為:

構造拉格朗日函數 L(w，b，ξi，α，β)，分別對 w，b，ξi求偏導數，可得0 ≤ αi≤ C。如果 C=0，意味著得到的最優分類超平面具有最大的推廣性，而不考慮分類錯誤率達到最小;如果C=∞，意味著得到的經驗風險為0，而沒有考慮推廣能力達到最大。因此在實際情況中，要折中考慮，本文取C=135。

1.4 不敏感度ε

損失函數對于保證SVR具有解的稀疏性非常重要。常用的損失函數是不敏感損失函數，其參數ε為不敏感度，它的大小直接決定了支持向量的數目和逼近函數的擬合精度。

2 核函數

2.1 核函數的本質

核函數方法的實質是通過定義特征變換后樣本在特征空間中的內積來實現的一種特征變換。它關心的是結果，而不是實現結果所采用的具體方式。支持向量機正是通過引入核函數，有效地解決了模式分類中的非線性不可分問題。為了在非線性情況下實現支持向量機，必須利用核特征空間的非線性映射算法，把輸入映射到一個新的高維特征空間，然后在此高維空間中使用線性支持向量機進行分類或回歸估計。對于特征空間和對應的映射可以通過核函數減少計算的復雜性。

設C是RN中的一個子集，如果存在從C到某一個Hilbert空間Z和映射φ:RN→Z，使K(x，y)=［φ(x)·φ(y)］，則稱 K(x，y)為核函數。

2.2 基本核函數

利用不同的函數作為支持向量機的核函數K(xi，x)，可以建立實現輸入空間不同類型的非線性決策面的學習機器。凡是滿足Mercer條件的函數都可以作為支持向量機的核函數，目前研究最多的核函數主要有:

(1)線性核:K(xi，x)=axiTx

d 階多項式核:K(xi，x)=(xiTx+1)d

(3)徑向基核(RBF):K(xi，x)=exp{- ‖x-xi‖2/δ2}

(4)Sigmoid 核:K(xi，x)=tanh(v(x·xi)+c)

式(1)～(5)中a，T，d，δ，c，q等參數都是實常數。在實際運用中，通常要根據問題的具體情況選擇合適的核函數以及相應的參數。

2.3 核函數構造

采用不同的核函數，可以看作是選擇不同的相似性度量。當新的核函數或自己定義核函數時，要考慮所定義的核函數是否滿足Mercer條件。

應用最廣泛的是具有較好學習能力的RBF核，與多項式核函數相比，RBF需要確定的參數要少，核函數參數的多少直接影響函數的復雜程度。另外，當多項式的階數比較高時，核矩陣的元素值將趨于無窮大或無窮小，會減少數值的計算困難。本文提出一種新的組合核函數:

其中參數ρ是用來調節組合核函數中線性核函數和RBF核函數作用大小的常數。為了使新的組合核函數滿足Mereer條件，通過實驗數據取ρ∈(0.35，0.8)。

3 實驗數據

本文使用臺灣國立大學林智仁教授開發的Libsvm系列工具箱為支持向量機仿真工具，利用其Matlab版本為平臺進行研究。該工具箱提供了完善的核函數和參數等接口。實驗中選取規則化參數C=135和不敏感度參數ε=0.001，結果如表1所示:

表1 幾種核函數分類正確率比較

由此可見，在基本的核函數中RBF具有很好的性能，有很強的學習能力。但是與組合的核函數相比，其訓練分類正確率略遜一籌。因此選取適當的規則化參數C和不敏感度參數ε，構造合適的新組合核函數對于提高腦卒中患者步態的模式識別率具有一定的優勢。對于新組合的核函數，通過參數ρ來調節線性核函數和RBF核函數之間的比例，通過表2的數據表明參數ρ取不同的值，訓練分類正確率相差不大，但對于未知數據的回歸精度卻影響較大。

表2 ρ值對新組合的核函數分類正確率和回歸精度比較

4 結論

在使用支持向量機對下肢的動作進行模式識別時，通過選擇一個恰當的核函數，可以避免計算在高維空間中的復雜度，通過實驗結果表明，基于文中的組合核函數所建立的非線性分類器，具有很好的推廣能力，能夠為腦卒中患者康復訓練系統的建模提供借鑒。

［1］胡良謀，曹克強，徐浩軍，董新民.支持向量機故障診斷及控制技術［M］.北京:國防工業出版社，2011.

［2］鄧乃揚，田英杰.數據挖掘中的新方法——支持向量機［M］.北京:科學出版社，2011.

［3］楊志民，劉廣利.不確定性支持向量機——算法及應用［M］.北京:科學出版社，2011.

［4］王煒，郭小明，王淑艷，劉麗琴.關于核函數選取的方法［J］.遼寧師范大學學報:自然科學版，2008，31(1):1-4.

［5］潘豐，毛志亮.基于 CPSO的混合核函數SVM參數優化及應用［J］.控制工程，2011，18(2):267-274.

［6］鄔嘯，魏 延，吳瑕.基于混合核函數的支持向量機［J］.重慶理工大學學報:自然科學版，2011，25(10):66-70.

［7］張倩，楊耀權.基于支持向量機核函數的研究［J］.電力科學與工程，2012，28(5):42-45.

［8］劉明，周水生，吳 慧.一種新的混合核函數支持向量機［J］.計算機應用，2009(29):167-169.

Research on the Application of Support Vector Machine

REN Li-ye1，WANG Jing2，GUAN Xiu-li1
(1.College of Electronic Information Engineering，Changchun University，Changchun 130022，China;2.Business School，Jilin Vocational College of Industry and Technology，Jilin 132000，China)

Support vector machine(SVM)can convert the nonlinear problem of the original space into the linear problem of new space by introducing feature transform.Based on discussing the model creation of SVM，this paper mainly studies the selection of kernel function and the determination of parameters.The experimental data shows that the combined kernel function created in this paper has higher recognition rate in human lower limb motion pattern recognition.

SVM;kernel function;pattern recognition

O24

A

1009-3907(2013)12-1595-04

2013-10-26

任麗燁(1975-)，女，吉林松原人，副教授，碩士，主要從事算法研究。

責任編輯:

程艷艷