支持向量機多項式光滑函數的誤差理論研究

何文斌　劉群鋒　熊金志

(東莞理工學院計算機學院　廣東東莞　523808)

?

支持向量機多項式光滑函數的誤差理論研究

何文斌劉群鋒熊金志

(東莞理工學院計算機學院廣東東莞523808)

(hewb@dgut.edu.cn)

摘要光滑函數在光滑支持向量機的理論中起著重要作用.1996年Chen等人提出一個支持向量機的光滑函數——Sigmoid函數的積分函數，并解決了該光滑函數的誤差問題.2005～2009年，袁玉波、熊金志和劉葉青等人相繼提出支持向量機的無窮多個多項式光滑函數和多項式光滑的支持向量機模型，但都未解決這類多項式光滑函數的誤差函數問題.為此，用 Newton-Hermite 插值方法研究該問題.研究結果表明：1)用 Newton-Hermite 插值方法可計算這類光滑函數的誤差函數，并給出了具體算法；2)這類誤差函數有無窮多個，可用一個一般形式表示，并得到了這個一般形式；3)這類誤差函數具有許多重要性質，并給出了嚴格證明.解決了支持向量機無窮多個多項式光滑函數的誤差函數及其性質問題，建立了這類多項式光滑函數的誤差理論，為研究支持向量機的光滑理論提供了基本的理論支持.

關鍵詞支持向量機；Newton-Hermite插值；光滑函數；誤差函數；多項式

支持向量機是在統計學習理論的基礎上發展起來的一種機器學習方法、是數據挖掘的一種新方法，廣泛用于分類問題和回歸問題，特別在文本分類、圖像檢索、人臉識別、語音識別、手寫數字識別等領域有大量應用[1-4].但隨著信息技術的迅猛發展，數據規模越來越大，其分類速度慢的問題日益突出.為此，在支持向量機理論的研究上，近年來出現了一個新的研究方向——光滑的支持向量機.這種光滑的支持向量機采用快速的求解算法，因而可以降低支持向量機的計算復雜性.該研究方向可分為光滑支持向量機模型和光滑函數2個方面.

在光滑支持向量機模型的研究方面，2001年，Lee等人[5]用Sigmoid函數的積分函數作為光滑函數，提出光滑的支持向量機模型；2005年，袁玉波、嚴杰和徐成賢[6]用多項式函數作為光滑函數，提出一個多項式光滑的支持向量機模型；同年Lee等人[7]用Sigmoid函數的積分函數的復合函數作為光滑函數，提出一個光滑的支持向量回歸機模型；2008年，我們用一類多項式光滑函數，提出多項式光滑的支持向量機在分類問題中的一般模型[8]，還提出多項式光滑的支持向量回歸機模型[9]；2009年，劉葉青等人[10]也提出多項式光滑的支持向量機.上述這些光滑模型因為可以采用快速的Newton-Armijo算法進行求解，所以可以提高分類速度或回歸速度.但這種光滑模型都必須用適當的光滑函數對原支持向量機模型進行光滑處理才能得到.可見光滑函數是研究光滑支持向量機的前提和基礎，研究光滑函數具有重要的理論意義.光滑支持向量機以往的研究主要是針對光滑函數的應用，例如對光滑支持向量機的模型及其性能、效率的研究，而對光滑函數自身性質的研究卻很少見到.

在光滑函數的研究方面，1996年，Chen等人[11-12]針對數學規劃問題中正號函數x+=max(0,x)不光滑的問題，用概率密度的方法提出一個光滑函數，即Sigmoid函數的積分函數，并解決了該光滑函數的誤差問題.此后將近10年沒有新的研究成果出現，直到2005年，袁玉波等人[6]提出一個多項式光滑函數；2007年，熊金志等人[13]用積分等方法導出一個重要的遞推公式，得到一類支持向量機的多項式光滑函數，并指出這類多項式光滑函數有無窮多個；2008年，王斌等人[14]用遞推等方法也得到這類多項式光滑函數；2009年，劉葉青等人[10]用級數方法提出這類多項式光滑函數的級數形式.然而，這些方法都沒能給出這類多項式光滑函數的誤差函數及其性質.到目前為止，有關利用正號函數光滑化的文獻也均未給出這種誤差函數.因此，支持向量機的多項式光滑函數還存在3個問題：1)用何種方法尋找這類光滑函數的誤差函數？2)這類誤差函數有多少個？可否用一個一般形式表示？3)這類誤差函數的性質如何？為此，本文用Newton-Hermite插值方法，研究支持向量機無窮多個多項式光滑函數的誤差函數及其性質，試圖解決上述3個長期困擾人們的問題，為光滑函數和支持向量機的研究提供基本的理論支持.

1多項式光滑函數及其Newton-Hermite插值問題

1.1多項式光滑函數

為便于敘述和理解，我們先給出支持向量機多項式光滑函數的定義：

定義1. 多項式光滑函數.在一個包含原點的對稱區間[-a,a]，a>0，用一個具有d階光滑(d為任意正整數)的多項式函數pd(x,a)代替x+=max(0,x)，在該區間以外仍取x+的值.而在端點x=±a上，使pd(x,a)具有d階光滑，從而使這個函數在整個x軸上皆具有d階光滑，稱這種函數為支持向量機的多項式光滑函數[13],如圖1所示的虛線為多項式光滑函數曲線.

Fig.1　The image of polynomial smoothing functions approximating x+.圖1　多項式光滑函數逼近x+的圖像

1.2Newton-Hermite插值方法

Hermite插值是處理插值節點處的導數信息已知的一類插值方法.其基本原理是：設被插值函數為f(x)，φ(x)為Hermite插值多項式.給定f(x)在n+1個插值節點x0,x1,…,xn處的函數值及導數值，這些插值條件通常表示為φ(k)(xi)=f(k)(xi),i=0,1,…,n且k=0,1,…,d，其中φ(0)(x)表示函數值φ(x).Newton差商經常被用來求Hermite插值多項式，兩者的結合稱為Newton-Hermite插值方法.當利用到高階導數的信息即插值條件中d>1時，Newton-Hermite插值方法具有計算簡便、容易得到誤差估計等優點[15].

由定義1知，支持向量機的多項式光滑函數只涉及到2個節點，因此下面我們簡要給出只有2個插值節點的Newton-Hermite插值的相關定義：

定義2. Newton-Hermite插值多項式函數.給定被插值函數f(x)在2個插值節點x1,x2處的信息f(k)(x1),f(k)(x2)，k=0,1,…,d，若多項式函數φ(x)滿足插值條件φ(k)(x1)=f(k)(x1)，φ(k)(x2)=f(k)(x2)，k=0,1,…,d，則稱φ(x)為f(x)的Newton-Hermite插值多項式函數.

根據Newton-Hermite插值原理[15]，該多項式函數可表示為

φ(x)=f[x1]+f[x1,x1](x-x1)+…+

f[x1,…,x1](x-x1)d+f[x1,…,x1,x2]×

(x-x1)d+1+f[x1,…,x1,x2,x2]×

(x-x1)d+1(x-x2)+…+f[x1,…,x1,

x2,…,x2](x-x1)d+1(x-x2)d,

其中，插值多項式函數的系數稱為Newton差商，其定義如下：

定義3[15]. Newton差商.記

定義4. 誤差函數.對插值區間內的任意點x，令R(x)=f(x)-φ(x)，則稱R(x)為Newton-Hermite插值多項式函數的誤差函數.

根據Newton-Hermite插值原理[15]，該誤差函數可表示為

(x-x1)d+1(x-x2)d+1.

(1)

1.3多項式光滑函數的Newton-Hermite插值問題

在支持向量機的光滑理論中，正號函數具有很重要的作用.為表述方便，我們把正號函數記為f(x)，即

因為正號函數不光滑，所以如何選擇光滑函數對正號函數進行光滑逼近是一個重要課題.

本文用多項式函數對正號函數在一個對稱區間[-a,a]進行光滑處理，根據定義1，即用d階光滑多項式函數pd(x,a)來光滑逼近正號函數f(x)，使其滿足如下的d階光滑條件[13]：

其中a>0，d為任意正整數.根據定義2，顯然該問題是一個Hermite插值問題.根據Newton-Hermite插值原理，該d階多項式光滑函數可表示為

pd(x,a)=f[-a]+f[-a,-a](x+a)+…+

f[-a,…,-a](x+a)d+f[-a,…,-a,a]×

(x+a)d+1+f[-a,…,-a,a,a](x+a)d+1×

(x-a)+…+f[-a,…,-a,a,…,a]×

(x+a)d+1(x-a)d,

(2)

其中,各項系數為Newton差商.

為書寫方便，我們結合定義3，記Newton差商為

i,j=0,1,…,d+1.

(3)

則由式(2)可直接得d階多項式光滑函數:

(4)

顯然，只要求出各項Newton差商N(i,j)，就可得到多項式光滑函數pd(x,a).因此我們就把求多項式光滑函數的問題轉換成了求Newton差商的問題.

2Newton差商與多項式光滑函數的Newton-Hermite插值形式

2.1Hermite插值中的Newton差商

下面的引理表明，在本文的Hermite插值問題中，Newton差商具有許多良好性質.

引理1.Newton差商N(i,j)定義如式(3)，則：

1) N(i,0)=0, i=1,2,…,d+1,

2) 當i≠0，j≠0時，

4) 當i≠0，j≠0時，Newton差商為

(5)

其中,h(i,j)滿足:

h(i,j)=h(i-1,j)-h(i,j-1)；

(6)

5) 當i=1或j=1時，有:

h(i,1)=1，i=1,2,…,d+1,

h(1,j)=(-1)j，j=2,3,…,d+1;

6) 當i,j=2,3,…,d+1時，h(i,j)滿足下列遞推公式：

證明. 1) 由式(3)得:

N(1,0)=f[-a]=f(-a)=0，

N(0，1)=f[a]=f(a)=a,

i,j=2,3,…,d+1.

故有N(0,2)=1,N(0,j)=0，j=3,4,…,d+1.

2) 根據式(3)有:

4) 用數學歸納法.

當i+j=2時，有:

假設當i+j=n時，式(5)成立，即:

下面證明當i+j=n+1時，式(5)也成立.因為

5) 結合3)和式(6)直接可得.

6) 由式(6)分別可得:

h(i,j)-h(i-1,j)=-h(i,j-1)，

h(i-1,j)-h(i-2,j)=-h(i-1,j-1)，

h(2,j)-h(1,j)=-h(2,j-1)，

以上等式相加得到:

證畢.

說明：

1) 引理1的結論5)，6)表明：系數h(i,j)與插值區間的a無關，只與i和j有關.任意給定i和j，h(i,j)是常量，由引理1的結論5)，6)可將h(i,j)遞推出來.為表述方便，我們稱h(i,j)為Newton差商因子.

2) 引理1的結論4)把Newton差商表示成式(5)，從而把與a有關的Newton差商N(i,j)與Newton差商因子h(i,j)一一對應了起來，也就是說，把求Newton差商N(i,j)的問題轉換成了求Newton差商因子h(i,j)的問題了.

3) 借助Newton差商因子h(i,j)來發現Newton差商的內部規律和性質，仍用Newton差商N(i,j)來更簡潔地表示相應的結果.

引理2. 當i，j≠0且i+j>2時，Newton差商因子h(i,j)和Newton差商N(i,j)具有3點性質：

1) 若i+j是偶數，則h(i,j)=-h(j,i)，從而N(i,j)=-N(j,i)；

2) 若i+j是奇數，則h(i,j)=h(j,i)，從而N(i,j)=N(j,i)；

3) N(i,j)=(-1)i+j-1N(j,i).

證明. 用數學歸納法.

1) 當i+j=4時，根據引理1的結論1)～3)，可得：

假設當i+j=2n(n>2)時h(i,j)+h(j,i)=0成立.下面證明當i+j=2(n+1)時(n>2)命題也成立.

多次利用式(6)：h(i,j)=h(i-1,j)-h(i,j-1)，可得：

h(i,j)+h(j,i)=h(i-1,j)-h(i,j-1)+

h(j-1,i)-h(j,i-1)=h(i-2,j)-

h(i-1,j-1)-h(i-1,j-1)+h(i,j-2)+

h(j-2,i)-h(j-1,i-1)-h(j-1,i-1)+

h(j,i-2)=[h(i-2,j)+h(j,i-2)]-

2[h(i-1,j-1)+h(j-1,i-1)]+

[h(i,j-2)+h(j-2,i)]，

因為i+j-2=2n,n>2，所以以上每個中括號項都等于0.故h(i,j)+h(j,i)=0成立.

故當i，j≠0且i+j為大于2的偶數時，h(i,j)=-h(j,i)總成立，從而N(i,j)=-N(j,i).

2) 與結論1)類似，可證當i，j≠0且i+j為大于2的奇數時，h(i,j)=h(j,i)總成立，從而N(i,j)=N(j,i).

3) 根據證明1)和2)可直接得到性質3).

證畢.

推論1. 對任意正整數2≤r≤d+1，有h(r,r)=0，N(r,r)=0.

證畢.

推論2. 對任意正整數d，i=1,2,…,d，有(-1)d+1h(i,d+1)>0，(-1)d+1N(i,d+1)>0.

證明. 根據式(5)只需要證明(-1)d+1h(i,d+1)>0成立即可.用數學歸納法.

當d=1時，根據引理1的結論5)知h(1,2)=1，故命題成立.

假設當d=n時命題也成立，即對任意i=1,2,…,n，有(-1)n+1h(i,n+1)>0.

下面證明d=n+1時命題成立.因為：

所以，對任意i=1,2,…,n+1，有：

故對任意正整數d，i=1,2,…,d，(-1)d+1h(i,d+1)>0總成立.

證畢.

推論3. 對任意正整數d，i=1,2,…,d，有(-1)i+1h(d+1,i)>0，(-1)i+1N(d+1,i)>0.

證明. 根據式(5)，只需證明(-1)i+1h(d+1,i)>0成立即可.由引理2，當d+i+1為奇數時，h(d+1,i)=h(i,d+1).所以由推論2，對任意i=1,2,…,d，有：

0<(-1)d+1h(i,d+1)=(-1)d+1h(d+1,i)=

(-1)d+1+2ih(d+1,i)=(-1)i+1h(d+1,i)，

即(-1)i+1h(d+1,i)>0.類似地，當d+i+1為偶數時，h(d+1,i)=-h(i,d+1).所以由推論2，對任意i=1,2,…,d，有：

0<(-1)d+1h(i,d+1)=(-1)dh(d+1,i)=

(-1)d+2i+2h(d+1,i)=(-1)i+1h(d+1,i)，

即(-1)i+1h(d+1,i)>0.

證畢.

2.2多項式光滑函數的Newton-Hermite插值形式

引理3. 支持向量機d階多項式光滑函數可表示為

(7)

證明. 由引理1的結論1)知N(i,0)=0，i=1,2,…,d+1，代入式(4)可得：

由推論1知N(d+1,d+1)=0.故有式(7)成立.

證畢.

由引理3知，對稱區間(-a,a)上的多項式光滑函數pd(x,a)是2d階的，于是就推出：

推論4. 文獻[6]關于光滑支持向量機在對稱區間用“奇數階多項式可能是做不到的”的猜想是正確的.

結合式(5)和式(7)直接可得：

定理1. 支持向量機d階多項式光滑函數pd(x,a)可表示為

(8)

定理1表明：

1) 支持向量機的多項式光滑函數存在一種Newton-Hermite插值形式.

2) 只要求出式(8)中的Newton差商因子h(d+1,j)和h(d,j+1)，即可得到這種Newton-Hermite插值形式.

3) 任意給定一個d(d=1,2,…)，式(8)就有一個多項式光滑函數與之對應，顯然該Newton-Hermite插值形式含有無窮多個光滑函數，即{pd(x,a),d=1,2,…}.

因此由定理1知，只要求出h(d+1,j)，就可得到支持向量機多項式光滑函數的Newton-Hermite插值形式.于是，我們就把求多項式光滑函數的問題最終轉換成了求Newton差商因子h(d+1,j)的問題.

將定理1和引理1結合起來，便可得到如下計算d階多項式光滑函數的算法：

算法1. 計算支持向量機的任意d階多項式光滑函數.

Step1. 給定光滑階數d；

Step2. 根據引理1的結論5)，6)計算Newton差商因子h(d+1,j)，j=1,2,…,d；

Step3. 代入式(8)，計算出d階多項式光滑函數pd(x,a).

需要指出的是，我們在文獻[13]已證明：任意給定一個d(d=1,2,…)，支持向量機的多項式光滑函數是唯一的.因此，由算法1求得的支持向量機多項式光滑函數形式上是用Newton-Hermite插值表示，實際上與文獻[10,13-14]的多項式光滑函數是完全相同的，只是求法和形式不同.我們還注意到文獻[6,8,10]已做了3個工作：1)列出了這類多項式光滑函數的前3個函數；2)用這類多項式光滑函數提出了多項式光滑的支持向量機及其一般模型；3)做了數值實驗.因此本文就不重復這些工作了.

本節得到了Newton差商的性質和多項式光滑函數的Newton-Hermite插值形式，下面我們利用這些結果重點研究多項式光滑函數的誤差函數及其性質.

3多項式光滑函數的誤差函數及其性質

3.1誤差函數及其一般形式

正號函數不是多項式且在原點處不可導，故用插值多項式函數逼近正號函數，必然會產生誤差.據我們所知，到目前為止，利用正號函數的光滑化的文獻均未解決這類誤差問題.下面我們研究多項式光滑函數pd(x,a)逼近正號函數的誤差函數.顯然誤差函數有無窮多個，根據定義4，該類誤差函數可記為

Rd(x,a)=f(x)-pd(x,a),

(9)

其中，d=1,2,….

由定義1易知，在區間(-a,a)以外，Rd(x,a)=0,d=1,2,….因此我們只需研究誤差函數Rd(x,a)在區間(-a,a)內的情形.

引理4. 對任意點x∈(-a,a)，d階多項式光滑函數pd(x,a)在x處的誤差函數可表示為

(10)

或

(11)

其中,N(d+1,j)和N(j,d+1)由式(5)給出.

證明. 把式(7)代入式(9)直接可得式(10).下面證明式(11)成立.

根據式(1)，正號函數的插值多項式的誤差函數也可表示為

(x+a)d+1(x-a)d+1.

若記：

i,j=0,1,…,d+1，

(12)

則誤差函數可表示為

Rd(x,a)=l(d+1,d+1)(x+a)d+1(x-a)d+1.

根據定義3，由式(12)可得Newton差商

從而：

(13)

根據定義3和式(12)可得：

所以：

代入式(13)得到：

故：

Rd(x,a)=l(d+1,d+1)(x+a)d+1(x-a)d+1=

即式(11)成立.

證畢.

定理2. 支持向量機d階多項式光滑函數的誤差函數的一般形式可表示為

Rd(x,a)=

(14)

其中，N(d+1,j)和N(j,d+1)由式(5)給出.

證明. 當x∈(-a,0]時，f(x)=0，代入引理4的式(10)得到：

當x∈[0,a)時，f(x)=x，代入式(11)得到：

故(14)式成立.

證畢.

式(14)中含有2類Newton差商N(d+1,j)和N(j,d+1)，通過式(5)可以轉化為Newton差商因子h(d+1,j)和h(j,d+1).h(d+1,j)可根據引理1的結論5)，6)得到，而h(j,d+1)可通過引理2間接得到.

定理2表明3個性質：

1) 這類光滑函數的誤差函數可由Newton-Hermite插值方法給出.式(14)是這類光滑函數的誤差函數的一般形式，也是一個計算誤差函數的方便公式，顯然只需計算Newton差商因子h(d+1,j)，然后利用引理2計算h(j,d+1)，即可算出N(d+1,j)和N(j,d+1)，j=1,2,…,d，從而由式(14)得到誤差函數.

2) 由式(14)知，誤差函數與被插值函數的函數值無關，只與Newton差商N有關，或者說只與Newton差商因子h有關(通過式(5)可知).因此我們就把求多項式光滑函數的誤差函數問題轉換成了求Newton差商的問題，然后又轉換成了求Newton差商因子的問題.

3) 任意給定一個d(d=1,2,…)，就有一個誤差函數與之對應，顯然該誤差函數包含了無窮多個多項式光滑函數的誤差函數.

以上分析可綜合成下面的算法：

算法2. 計算支持向量機d階多項式光滑函數的誤差函數.

Step1. 給定光滑階數d；

Step2. 根據引理1的結論5)，6)計算Newton差商因子h(d+1,j)；然后根據引理2計算Newton差商因子h(j,d+1)，j=1,2,…,d；

Step3. 將Newton差商因子h(d+1,j)和h(j,d+1)代入式(5),得到N(d+1,j),N(j,d+1)，j=1,2,…,d；

Step4. 將N(d+1,j),N(j,d+1),j=1,2,…,d，代入式(14)計算出d階多項式光滑函數的誤差函數Rd(x,a).

3.2誤差函數的性質

定理3. 任意給定正整數d和正數a，支持向量機d階多項式光滑函數的誤差函數Rd(x,a)具有4個性質：

1) Rd(x,a)是非正函數，即Rd(x,a)≤0；

2) Rd(x,a)是偶函數，即Rd(-x,a)=Rd(x,a)；

3) Rd(x,a)在(-a,0]上是減函數，在[0,a)上是增函數；

4) Rd(x,a)在x=0時絕對值最大，即在x=0處誤差最大，且最大誤差為

證明. 1)當x≤-a或x≥a時，顯然有Rd(x,a)=0.下面考慮x∈(-a,a)的情形，此時有x+a>0，x-a<0.

根據推論3可得對任意j=1,2,…,d，有(-1)i+1N(d+1,i)>0.所以當x∈(-a,0]時，

又根據推論2可得：對任意i=1,2,…,d，(-1)d+1N(i,d+1)>0.所以當x∈(0,a)時，

綜合以上分析可得：Rd(x,a)≤0.

2) 因為：

Rd(-x,a)=

所以Rd(-x,a)=Rd(x,a)，即Rd(x,a)為偶函數、關于y軸對稱.

3) 當x∈(-a,0]時，可求得Rd(x,a)關于x的導數：

當x∈[0,a)時，可求得Rd(x,a)關于x的導數

4) 根據性質3)的結論，Rd(x,a)在x=0時取最小值.由性質1)知Rd(x,a)≤0，故Rd(x,a)在x=0時絕對值最大，即在x=0處誤差最大.在式(14)中取x=0得到最大誤差為

證畢.

定理3表明誤差函數Rd(x,a)具有若干共同的重要性質，特別是定理3的性質4)給出了誤差函數一般形式Rd(x,a)的誤差最大值點以及最大誤差值，這是誤差理論的一個重要內容.

定理4. 任意給定x和正數a，支持向量機d階多項式光滑函數的誤差函數Rd(x,a)關于光滑階數d是增函數.

證明. 我們在文獻[8]中已證明：d階多項式光滑函數pd(x,a)關于光滑階數d是減函數，即

pd(x,a)≤pd-1(x,a)，d=2,3,…,

結合式(9)，易得：

f(x)-pd(x,a)≥f(x)-pd-1(x,a)，

d=2,3,…,

即：

Rd(x,a)≥Rd-1(x,a)，d=2,3,…，

所以，Rd(x,a)關于光滑階數d是增函數.

證畢.

定理3的性質1)表明Rd(x,a)是非正函數，結合定理4知，光滑階數d越大，Rd(x,a)越接近0.換言之，光滑階數d越大，多項式光滑函數pd(x,a)越接近正號函數.

證明. 根據定理3的性質1)，4)有：

故：

證畢.

3.3誤差函數的若干算例

由第3節的證明知：這類多項式光滑函數的誤差函數有無窮多個.下面我們以d=1,2,3時為例，即以1階、2階和3階多項式光滑函數為例，用Matlab演算這類多項式光滑函數的前3個誤差函數的表達式，以及驗證它們的重要性質.

根據算法2，得到表1中關于Newton差商因子h(d+1,j)及h(j,d+1)的數據.

Table1Whendis1, 2and3,theDifferenceQuotientFactorofNewtonh(d+1,j)andh(j,d+1)

表1d值取1,2,3時的Newton差商因子h(d+1,j)及h(j,d+1)

dh(d+1,j)h(j,d+1)11121,-1-1,-131,-2,21,2,2

Note: j=1,2,…,d

當d=1時，1階多項式光滑函數的誤差函數為

當d=2時，2階多項式光滑函數的誤差函數為

當d=3時，3階多項式光滑函數的誤差函數為

下面以a=1為例，即在區間(-1,1)上，畫出1階至3階多項式光滑函數的誤差函數，如圖2所示:

Fig. 2　Error function of the polynomial smoothing functions between -1 and 1.圖2　區間(-1,1)上多項式光滑函數的誤差函數

由圖2可以看出，這3個多項式光滑函數的誤差函數具有5個共同的重要性質：1)非正函數；2)偶函數；3)在(-1,0]上是減函數，在[0,1)上是增函數；4)在x=0處誤差最大；5)關于光滑階數是增函數.

4結論

光滑函數是研究光滑支持向量機的重要基礎，因此其誤差及其性質問題是一個重要的理論問題.近年來多位學者用不同方法對支持向量機的多項式光滑函數進行了研究，提出了這類多項式光滑函數的多種不同形式，還提出了多項式光滑的支持向量機及其一般模型，但都沒能解決這類多項式光滑函數的誤差函數及其性質問題.為此本文用Newton-Hermite插值方法對該問題進行了研究：首先把多項式光滑函數的誤差函數問題轉換成Newton-Hermite插值問題，繼而轉換成求Newton差商的問題，然后轉換成求Newton差商因子的問題，最終解決了這個問題,歸納出3個結論：

1) 用Newton-Hermite插值方法可得到這類光滑函數的誤差函數.

2) 這類誤差函數有無窮多個，任意給定一個光滑階數，就有一個誤差函數與之對應.這無窮多個誤差函數可用一個一般形式表示，并給出了這個一般形式,該一般形式能方便地計算出任意多項式光滑函數的誤差函數.還給出了誤差函數一般形式的誤差最大值點以及最大誤差值.

3) 這類誤差函數具有6個共同的重要性質.如：①都是非正函數；②都是偶函數；③在區間(-a,0]上都是減函數，在區間(0,a)上都是增函數；④誤差最大值點都在原點，誤差最大值都可由一個公式給出；⑤關于光滑階數都是增函數；⑥當插值區間趨于一點時，誤差都趨于0.

本文用Newton-Hermite插值方法，得到了支持向量機多項式光滑函數的誤差函數的一般形式及其許多重要性質，從而解決了這類多項式光滑函數以往沒有解決的誤差函數問題，成功解決了引言中提到的3個問題，填補了多項式光滑函數在誤差函數方面的研究空白，建立了這類多項式光滑函數的誤差理論.本文為研究光滑函數和光滑支持向量機提供了基本的理論支持，因而在一定程度上豐富了支持向量機理論.

參考文獻

[1]DengNaiyang,TianYingjie.NewMethodinDataMining:SupportVectorMachine[M].Beijing:SciencePress, 2004 (inChinese)(鄧乃揚, 田英杰. 數據挖掘的新方法—支持向量機[M]. 北京: 科學出版社, 2004)

[2]XuLL,CrammerK,SchuurmansD.Robustsupportvectormachinetrainingviaconvexoutlierablation[C]Procofthe21stIntConfonArtificialIntelligence.MenloPark,CA:AAAIPress, 2006: 536-542

[3]WuYC,LiuYF.Robusttruncatedhingelosssupportvectormachines[J].JournaloftheAmericanStatisticalAssociation, 2007, 102(479): 974-983

[4]YangXiaowei,TanLiangjun,HeLifang.Arobustleastsquaressupportvectormachineforregressionandclassificationwithnoise[J].Neurocomputing, 2014, 140: 41-52

[5]LeeYJ,MangasarianOL.SSVM:Asmoothsupportvectormachineforclassification[J].ComputationalOptimizationandApplications, 2001, 22(1): 5-21

[6]YuanYubo,YanJie,XuChengxian.Polynomialsupportvectormachine[J].ChineseJournalofComputers, 2005, 28(1): 9-17 (inChinese)(袁玉波, 嚴杰, 徐成賢. 多項式光滑的支撐向量機[J]. 計算機學報, 2005, 28(1): 9-17)

[7]LeeYJ,HsiehWF,HuangCM. ε-SSVR:Asmoothsupportvectormachineforε-insensitiveregression[J].IEEETransonKnowledgeandDataEngineering, 2005, 17(5): 5-22

[8]XiongJinzhi,YuanHuaqiang,PengHong.Ageneralformulationofpolynomialsmoothsupportvectormachines[J].JournalofComputerResearchandDevelopment, 2008, 45(8): 1346-1373 (inChinese)(熊金志, 袁華強, 彭宏. 多項式光滑的支持向量機一般模型研究[J]. 計算機研究與發展, 2008, 45(8): 1346-1373)

[9]XiongJinzhi,HuJinlian,YuanHuaqiang,etal.Researchonnewsmoothingfunctionsforsupportvectorregressions[J].PatternRecognitionandArtificialIntelligence, 2008, 21(3): 273-279 (inChinese)(熊金志, 胡金蓮, 袁華強, 等. 支持向量回歸機的光滑函數研究[J]. 模式識別與人工智能, 2008, 21(3): 273-279)

[10]LiuYeqing,LiuSanyang,GuMingtao.Researchonpolynomialfunctionsforsmoothingsupportvectormachines[J].SystemsEngineeringandElectronics, 2009, 31(6): 1450-1453 (inChinese)(劉葉青, 劉三陽, 谷明濤. 光滑支持向量機多項式函數的研究[J]. 系統工程與電子技術, 2009, 31(6): 1450-1453)

[11]ChenC,MangasarianOL.Aclassofsmoothingfunctionsfornonlinearandmixedcomplementarityproblems[J].ComputationalOptimizationandApplication, 1996, 5: 97-138

[12]ChenC,MangasarianOL.Smoothingmethodsforconvexinequalitiesandlinearcomplementarityproblems[J].MathematicalProgramming, 1995, 71: 51-69

[13]XiongJinzhi,HuJinlian,YuanHuaqiang,etal.Anewclassofsmoothingfunctionsforsupportvectormachines[J].ActaElectronicaSinica, 2007, 35(2): 366-370 (inChinese)(熊金志, 胡金蓮, 袁華強, 等. 一類光滑支持向量機新函數的研究[J]. 電子學報, 2007, 35(2): 366-370)

[14]WangBin,HuJinlian,XiongJinzhi.Newmethodforsolvingsmoothingfunctionsofsupportvectormachines[J],JournalofSystemSimulation, 2008, 20(15): 4018-4020 (inChinese)(王斌, 胡金蓮, 熊金志. 一種求支持向量機光滑函數的新方法[J]. 系統仿真學報, 2008, 20(15): 4018-4020)

[15]KincaidD,CheneyW.NumericalAnalysis:MathematicsofScientificComputing[M]. 3rded.NewYork:ThomsonLearning,Inc, 2002

HeWenbin,bornin1976.PhD,lecturer.Hismainresearchinterestsincluderemotesensingimageprocessing,artificialintelligence.

LiuQunfeng,bornin1978.PhD,associateprofessor.Hismainresearchinterestsincludeglobaloptimization,intelligentcomputing.

XiongJinzhi,bornin1964.Professor.Hismainresearchinterestsincludeartificialintelligenceanddatamining.

收稿日期：2015-01-04；修回日期：2015-08-19

基金項目：國家自然科學基金項目(60773050)；廣東省科技發展專項資金(基礎與應用基礎研究方向)項目(2016A030313135)；東莞市科技計劃資助項目(201208102027)

通信作者：熊金志(dgxiongjz@126.com)

中圖法分類號TP18

The Error Theory of Polynomial Smoothing Functions for Support Vector Machines

He Wenbin, Liu Qunfeng, and Xiong Jinzhi

(CollegeofComputer,DongguanUniversityofTechnology,Dongguan,Guangdong523808)

AbstractSmoothing functions play an important role in the theory of smooth support vector machines. In 1996, Chen et al proposed a smoothing function of support vector machines—the integral function of Sigmoid function, and solved the error problem of the smoothing function. From 2005 to 2009, Yuan, Xiong and Liu proposed an infinite number of polynomial smoothing function and the corresponding reformulations for support vector machines. However, they did not touch the error functions for this class of polynomial smoothing functions. To fill up this gap, this paper studies the problem of the error functions with the Newton-Hermite interpolation method. The results show that: 1) the error functions of this class of polynomial smoothing functions can be calculated using the Newton-Hermite interpolation method, and the detailed algorithm is given; 2) there are an infinite number of error functions for this class of polynomial smoothing functions and a general formulation is obtained to describe these error functions; 3) there are several important properties for this class of error functions and the strict proof is given for these properties. By solving the problem of the error functions and their properties, this paper establishes an error theory of this class of polynomial smoothing functions, which is a basic theoretical support for smooth support vector machines.

Key wordssupport vector machine; Newton-Hermite interpolation; smoothing function; error function; polynomial

This work was supported by the National Natural Science Foundation of China (60773050), the Special Fund for Science and Technology Development in Guangdong Province (Basic and Applied Basic Research) (2016A030313135), and the Dongguan Science and Technology Plan (2012108102027).