一種過(guò)程支持向量機(jī)模型及其若干理論性質(zhì)

許少華， 龐躍武， 王 兵

( 東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，黑龍江 大慶 163318 )

0 引言

支持向量機(jī)(Support Vector Machines，簡(jiǎn)稱(chēng)SVM)是一種建立在統(tǒng)計(jì)學(xué)習(xí)理論結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則上的模式分類(lèi)方法[1-2]，具有數(shù)學(xué)理論完備、算法復(fù)雜度與特征空間維數(shù)無(wú)關(guān)、易于實(shí)際應(yīng)用等優(yōu)點(diǎn)，在很多領(lǐng)域獲得成功應(yīng)用[3-7].在科學(xué)研究和工程領(lǐng)域中，存在大量時(shí)變信號(hào)的模式分類(lèi)與識(shí)別問(wèn)題，如抽油機(jī)井動(dòng)態(tài)平衡狀況診斷[8]、地震信號(hào)實(shí)時(shí)監(jiān)測(cè)與辨識(shí)[9]、運(yùn)動(dòng)圖像特征分析[10]等.在SVM模型中，系統(tǒng)的輸入一般為與時(shí)間無(wú)關(guān)的常量，即輸入/輸出之間是幾何點(diǎn)式的對(duì)應(yīng)關(guān)系，從信息處理機(jī)制上無(wú)法反映時(shí)變輸入信號(hào)的過(guò)程特征和輸入過(guò)程中的累積效應(yīng)[11-12]，難以直接分類(lèi)判別時(shí)變信號(hào).

筆者將SVM的分類(lèi)機(jī)制擴(kuò)展至?xí)r域空間，提出一種過(guò)程支持向量機(jī)(Process Support Vector Machines，簡(jiǎn)稱(chēng)PSVM)模型.PSVM的輸入為時(shí)變過(guò)程信號(hào)，通過(guò)核函數(shù)變換將動(dòng)態(tài)模式映射到高維特征空間，經(jīng)過(guò)學(xué)習(xí)訓(xùn)練集中函數(shù)樣本的類(lèi)別特性，自適應(yīng)提取動(dòng)態(tài)模式的過(guò)程特征，實(shí)現(xiàn)對(duì)動(dòng)態(tài)模式的判別；給出PSVM的一般模型，證明PSVM與單隱層前饋過(guò)程神經(jīng)元網(wǎng)絡(luò)[13]的二分類(lèi)能力等價(jià)；將復(fù)雜的動(dòng)態(tài)模式集合非線性地映射到高維特征空間，提高動(dòng)態(tài)模式的可分性；非時(shí)變SVM是PSVM的一種特例等理論問(wèn)題.PSVM放寬傳統(tǒng)SVM模型對(duì)輸入的同步瞬時(shí)限制，拓寬支持向量機(jī)的應(yīng)用領(lǐng)域.

圖1 PSVM模型

1 PSVM模型

PSVM的輸入為時(shí)變過(guò)程信號(hào)，輸出為模式類(lèi)別，其結(jié)構(gòu)由時(shí)變信號(hào)輸入層、核函數(shù)變換層和輸出層組成(見(jiàn)圖1).其中：xi(t)為時(shí)變輸入信號(hào)，x(t)=(x1(t),x2(t),…,xn(t))∈(C[0,T])n,[0,T]為信號(hào)輸入過(guò)程區(qū)間；Xj(t)為過(guò)程支持向量，Xj(t)∈(C[0,T])n(j=1,2,…,m)；K(·,·)為PSVM的核函數(shù)；αj(j=1,2,…,m)為隱層節(jié)點(diǎn)到輸出節(jié)點(diǎn)的連接權(quán)；d(X(t))為PSVM的輸出.

PSVM模型的動(dòng)態(tài)模式分類(lèi)規(guī)則為

(1)

由圖1中PSVM的輸入、輸出之間的動(dòng)態(tài)信號(hào)變換關(guān)系，構(gòu)建3種過(guò)程核函數(shù).

(1)多項(xiàng)式核函數(shù)：

(2)

式中：(Y(t))T為函數(shù)向量Y(t)的轉(zhuǎn)置，Y(t)∈(C[0,T])n.

(2)徑向基核函數(shù)：

(3)

式中：‖·‖為函數(shù)空間(C[0,T])n中的范數(shù)；σ為均方差參數(shù).

(3)兩層過(guò)程感知機(jī)核函數(shù)：

(4)

式中：βj為性質(zhì)參數(shù).

2 PSVM性質(zhì)

PSVM的性質(zhì)是其對(duì)動(dòng)態(tài)模式分類(lèi)問(wèn)題應(yīng)用有效性的基礎(chǔ).

定理1PSVM與單隱層前饋過(guò)程神經(jīng)元網(wǎng)絡(luò)的二分類(lèi)能力等價(jià).

證明由PSVM構(gòu)建1個(gè)單隱層前饋過(guò)程神經(jīng)元網(wǎng)絡(luò)(Process Neural Network，簡(jiǎn)稱(chēng)PNN)，該P(yáng)NN可與PSVM實(shí)現(xiàn)相同的動(dòng)態(tài)模式二分類(lèi).

(1)定義1個(gè)結(jié)構(gòu)為n-m-1的PNN.設(shè)該P(yáng)NN的輸入層有n個(gè)時(shí)變函數(shù)輸入節(jié)點(diǎn)，隱層有m個(gè)過(guò)程神經(jīng)元節(jié)點(diǎn)，其激勵(lì)函數(shù)為PSVM的核函數(shù)Kj，時(shí)空聚合運(yùn)算[1,14]由過(guò)程支持向量機(jī)的核函數(shù)變換確定；輸出層為1個(gè)非時(shí)變神經(jīng)元，該神經(jīng)元與PSVM輸出節(jié)點(diǎn)的信息變換機(jī)制相同.輸入層節(jié)點(diǎn)到隱層各節(jié)點(diǎn)的連接權(quán)設(shè)為1，隱層各節(jié)點(diǎn)到輸出節(jié)點(diǎn)的連接權(quán)為αj(j=1,2,…,m).顯然，所構(gòu)建的PNN與PSVM具有相同的信息處理機(jī)制，可實(shí)現(xiàn)對(duì)時(shí)變函數(shù)樣本集S相同的二分類(lèi).

(2)設(shè)PNN為由n個(gè)輸入節(jié)點(diǎn)、m個(gè)過(guò)程神經(jīng)元隱層節(jié)點(diǎn)和1個(gè)非時(shí)變神經(jīng)元輸出節(jié)點(diǎn)組成的多輸入單輸出系統(tǒng)，二分類(lèi)訓(xùn)練樣本集為S.PNN隱層m個(gè)過(guò)程神經(jīng)元節(jié)點(diǎn)對(duì)應(yīng)的激勵(lì)函數(shù)為Kj(j=1,2,…,m).當(dāng)m>n時(shí)，K=(K1,K2,…,Km)將S中的樣本映射到高維特征空間.設(shè)PNN輸入層節(jié)點(diǎn)與過(guò)程神經(jīng)元隱層節(jié)點(diǎn)的連接權(quán)為wij(t)(i=1,2,…,n;j=1,2,…,m)，隱層各節(jié)點(diǎn)到輸出節(jié)點(diǎn)的連接權(quán)為αj(j=1,2,…,m).定義PSVM的核函數(shù)變換為過(guò)程神經(jīng)元在過(guò)程區(qū)間[0,T]上的時(shí)空加權(quán)聚合運(yùn)算的激勵(lì)輸出，過(guò)程支持向量取為Wj(t)=(w1j(t),w2j(t),…,wnj(t))(j=1,2,…,m)，輸出單元為PNN的輸出神經(jīng)元，輸入層節(jié)點(diǎn)到核函數(shù)變換層各節(jié)點(diǎn)的連接權(quán)為1，核函數(shù)變換層各節(jié)點(diǎn)到輸出層節(jié)點(diǎn)的連接權(quán)為αj(j=1,2,…,m)，則定義一個(gè)結(jié)構(gòu)為n-m-1的PSVM(見(jiàn)圖1)，且該P(yáng)SVM與PNN關(guān)于訓(xùn)練樣本集S具有相同的二分性.

單隱層前饋過(guò)程神經(jīng)元網(wǎng)絡(luò)具有連續(xù)性，以及對(duì)滿(mǎn)足Lipschitz條件泛函和連續(xù)泛函的可逼近能力[14-15]，因此PSVM對(duì)復(fù)雜動(dòng)態(tài)模式具有很強(qiáng)的分類(lèi)能力.

定理2傳統(tǒng)支持向量機(jī)是過(guò)程支持向量機(jī)的一種特例.

證明在過(guò)程支持向量機(jī)模型中(見(jiàn)圖1)，令系統(tǒng)輸入為與時(shí)間無(wú)關(guān)的常量，即X(t)=(x1,x2,…,xn)∈Rn.此時(shí)系統(tǒng)輸入由時(shí)變函數(shù)變?yōu)榉菚r(shí)變數(shù)值(或數(shù)值向量).將過(guò)程核函數(shù)替換為非時(shí)變核函數(shù)，即取核函數(shù)K(X(t),Xj(t))=K(X,Xj)，則PSVM模型簡(jiǎn)化為一般SVM模型.

定理3將復(fù)雜的動(dòng)態(tài)模式集合非線性地映射到高維特征空間，提高動(dòng)態(tài)模式的可分性.

證明設(shè)S為包含N個(gè)時(shí)變模式向量Xi(t)(i=1,2,…,N)的集合，其中Xi(t)∈(C[0,T])n，且Xi(t)屬于2個(gè)模式類(lèi)χ1和χ2之一.若存在非線性函數(shù)K(X(t))=(K1(X(t)),K2(X(t)),…,Km(X(t)))，可將S中的點(diǎn)一一映射到1個(gè)新的m維特征空間(m>n)，記映射點(diǎn)的全體為H(H為由泛函K生成的集合S的特征空間).H中的點(diǎn)表示為

K(Xi(t))={K1(Xi(t)),K2(Xi(t)),…,Km(Xi(t))},Xi(t)∈S,i=1,2,…,N.

(5)

如果存在一個(gè)m維向量ω，使得

(6)

則稱(chēng)1個(gè)關(guān)于S的二分{χ1,χ2}是φ可分的.其中，由方程K(X(t))·ω=0定義的超平面描述特征空間H中2類(lèi)樣本的分離曲面.

從概率角度分析，1個(gè)動(dòng)態(tài)模式集合的二分問(wèn)題可被看作是1個(gè)依賴(lài)于所選擇的分類(lèi)原則，以及樣本函數(shù)空間中動(dòng)態(tài)模式分布的隨機(jī)事件.假設(shè)動(dòng)態(tài)模式向量X(t)=(X1(t),X2(t),…,XN(t))，根據(jù)動(dòng)態(tài)系統(tǒng)的概率特性獨(dú)立選取，同時(shí)所有關(guān)于S的二分為等可能.令P(N,m)表示某一隨機(jī)選取的二分是K可分的概率，則根據(jù)Cover定理[16]，P(N,m)表示為

(7)

式(7)表明特征空間H的維數(shù)m越高，則概率P(N,m)越趨向于1.這證明,通過(guò)將復(fù)雜的動(dòng)態(tài)模式分類(lèi)問(wèn)題非線性地映射到高維數(shù)特征空間，比在低維數(shù)特征空間中更可能使模式可分.

3 結(jié)束語(yǔ)

針對(duì)時(shí)變信號(hào)的分類(lèi)問(wèn)題，建立一種過(guò)程支持向量機(jī)PSVM模型，對(duì)其分類(lèi)能力、模式可分性、傳統(tǒng)SVM是PSVM的一種特例等性質(zhì)進(jìn)行證明.PSVM將傳統(tǒng)SVM的信息處理域擴(kuò)展為時(shí)變空間，可直接將時(shí)變過(guò)程信號(hào)作為SVM模型的輸入，簡(jiǎn)化傳統(tǒng)動(dòng)態(tài)分類(lèi)方法需要預(yù)先提取時(shí)變信號(hào)形態(tài)特征的過(guò)程，擴(kuò)大SVM的應(yīng)用領(lǐng)域，對(duì)于時(shí)變對(duì)象的模式分類(lèi)等問(wèn)題的解決具有重要意義.