支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)的融合

(成都理工大學(xué) 四川 成都 610059)

一、前言

隨著信息時(shí)代的來(lái)臨，大數(shù)據(jù)已經(jīng)成為當(dāng)代社會(huì)一個(gè)重大時(shí)代變革的起源。因此，大數(shù)據(jù)的分析和應(yīng)用越來(lái)越受到人們的關(guān)注和歡迎。分類問(wèn)題是處理大數(shù)據(jù)時(shí)最常見(jiàn)的問(wèn)題，它已成為研究大數(shù)據(jù)的重要組成部分。因此，各種各樣分類算法在大數(shù)據(jù)分析領(lǐng)域大放異彩。有計(jì)算簡(jiǎn)單，易于理解，可適應(yīng)不同的數(shù)據(jù)類型的決策樹(shù)算法；也有簡(jiǎn)單有效的k近鄰算法；還有適用于小樣本數(shù)據(jù)的支持向量機(jī)以及適合非線性數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)算法等。在數(shù)據(jù)分類算法中，人工神經(jīng)網(wǎng)絡(luò)(ANN)以其學(xué)習(xí)能力、大規(guī)模并行計(jì)算等方面的優(yōu)異表現(xiàn)成為分類算法的代表之一。當(dāng)然，任一領(lǐng)域都不缺乏追趕者和挑戰(zhàn)者，支持向量機(jī)(SVM)憑借其在處理非線性數(shù)據(jù)表現(xiàn)優(yōu)異、魯棒性強(qiáng)的優(yōu)勢(shì)與人工神經(jīng)網(wǎng)絡(luò)并駕齊驅(qū)。在機(jī)器學(xué)習(xí)領(lǐng)域中，人工神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)一直處于“對(duì)抗”狀態(tài)。“支持向量機(jī)的提出就是為了打敗并取代神經(jīng)網(wǎng)絡(luò)。”Sch?lkopf如是說(shuō)道(Vapnik V，1971)。支持向量機(jī)，在處理線性不可分問(wèn)題時(shí)采用核函數(shù)方法，將其轉(zhuǎn)化為高維狀態(tài)下的凸二次規(guī)劃問(wèn)題，從而受到廣大研究者的關(guān)注與追捧。2006年，Deep Learning神經(jīng)網(wǎng)絡(luò)算法由神經(jīng)網(wǎng)絡(luò)大師Hinton(2006)提出，Deep Learning神經(jīng)網(wǎng)絡(luò)算法與普通的神經(jīng)網(wǎng)絡(luò)算法相比，處理能力更高。據(jù)Hinton所說(shuō)，Deep Learning的這個(gè)名字完全是為了“反擊”支持向量機(jī)(因?yàn)閷?duì)于支持向量機(jī)，他認(rèn)為是“Shallow Learning”)。2004年，Guang-Bin Huang及其團(tuán)隊(duì)的極限學(xué)習(xí)機(jī)(ELM)的提出,也掀起了機(jī)器學(xué)習(xí)新的浪花。

支持向量機(jī)是一種基于Vapnik的統(tǒng)計(jì)學(xué)習(xí)理論的高效的機(jī)器學(xué)習(xí)方法。從1981年開(kāi)始,Vapnik(1971)和他的合作者提出了各種重要基礎(chǔ)理論。到了1995年,Vapnik總結(jié)自己的研究，整合出了統(tǒng)計(jì)學(xué)習(xí)理論(Vapnik，1982)，并首次提出來(lái)了這一新概念——支持向量機(jī)。由于支持向量機(jī)在對(duì)于小訓(xùn)練樣本的學(xué)習(xí)精度和能識(shí)別任意樣本且無(wú)錯(cuò)誤的能力之間取得了平衡,因此擁有優(yōu)異的泛化能力。

支持向量機(jī)分類的本質(zhì)是將求解問(wèn)題劃分為一個(gè)二次規(guī)劃的優(yōu)化問(wèn)題，繼而通過(guò)解決二次規(guī)劃問(wèn)題來(lái)解決原問(wèn)題。對(duì)于二次規(guī)劃問(wèn)題，研究者研究出了各種改進(jìn)算法，并且算法表現(xiàn)優(yōu)異，尤其是在某些特殊問(wèn)題的解決中。

支持向量機(jī)優(yōu)勢(shì)是在于：小樣本問(wèn)題、非線性數(shù)據(jù)分類及高維模式識(shí)別效果好，泛化能力強(qiáng)，并且易推廣。由于支持向量機(jī)在函數(shù)回歸、預(yù)測(cè)控制、數(shù)據(jù)挖掘、計(jì)算機(jī)入侵檢測(cè)、金融序列分析等領(lǐng)域獲得顯著優(yōu)勢(shì)，由此成為研究焦點(diǎn)，支持向量機(jī)的研究，主要集中在核函數(shù)方法。研究出最適合于樣本的核函數(shù)，是現(xiàn)在SVM研究的基本方向。

神經(jīng)網(wǎng)絡(luò)是抽象、簡(jiǎn)化與模擬人腦結(jié)構(gòu)的簡(jiǎn)易網(wǎng)絡(luò)。由于它是人腦的模仿，人腦具有的基本的自組織、自適應(yīng)和自學(xué)習(xí)的能力，神經(jīng)網(wǎng)絡(luò)也擁有。由于這個(gè)特性，神經(jīng)網(wǎng)絡(luò)可處理模糊的信息問(wèn)題。所以，目前神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于語(yǔ)音識(shí)別、圖形識(shí)別與理解，計(jì)算機(jī)視覺(jué)、智能機(jī)器人、故障檢測(cè)等領(lǐng)域中(郭虎升，2009)。雖然神經(jīng)網(wǎng)絡(luò)的研究一波三折，但從九十年代至今，神經(jīng)網(wǎng)絡(luò)的研究幾乎滲透到了科學(xué)的各個(gè)領(lǐng)域，眾多研究領(lǐng)域的學(xué)者專家紛紛加入到神經(jīng)網(wǎng)絡(luò)的研究，在模型的設(shè)計(jì)、動(dòng)力學(xué)研究、模型的應(yīng)用各個(gè)方面取得了大量成果。

二、RBF神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)

RBF是Radical Basis Function的簡(jiǎn)稱，即徑向基函數(shù)。什么是徑向基函數(shù)？徑向基函數(shù)就是以到固定點(diǎn)的距離為自變量的一類函數(shù).徑向基函數(shù)的函數(shù)形式如，其中自變量為，代表空間中某一點(diǎn)x到某一中心點(diǎn)c之間的歐式距離。1985年，Powell提出了多變量插值的RBF法，故RBF應(yīng)用于神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)其思想根源在于解決插值問(wèn)題(劉輝耀，2017)。權(quán)值與基函數(shù)的乘數(shù),構(gòu)成了大小各異的徑向基函數(shù)值，最后，可擬合出趨于完美的函數(shù)曲線。

根據(jù)COVER定理，在低維空間不可分的數(shù)據(jù)可能在高維空間變得可分(Haykin S，2011)。RBF神經(jīng)網(wǎng)絡(luò)的基本思想是：用徑向基函數(shù)作為隱單元的“基”，構(gòu)成隱含層空間，隱含層對(duì)輸入矢量進(jìn)行變換，將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi)，使得在低維空間內(nèi)的線性不可分問(wèn)題在高維空間可分(石靈丹，2009)。由此可以看出，徑向基網(wǎng)絡(luò)的隱含層單元的功能，即將樣本映射高維空間，映射依據(jù)是徑向基函數(shù)。最后，在高維空間進(jìn)行數(shù)據(jù)分類，避免局限最優(yōu)，從而得到全局最優(yōu)解。

支持向量機(jī)的理論最初來(lái)自于對(duì)數(shù)據(jù)分類問(wèn)題的處理。對(duì)于線性可分?jǐn)?shù)據(jù)的二值分類。如果采用神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，其機(jī)理可以簡(jiǎn)單描述為：系統(tǒng)隨機(jī)產(chǎn)生一個(gè)超平面，并移動(dòng)它，直到訓(xùn)練集合中屬于不同類別的點(diǎn)正好位于該超平面的不同側(cè)面，就完成了對(duì)網(wǎng)絡(luò)的設(shè)計(jì)要求(管軍，2006)。但是這種機(jī)理決定了不能保證最終所獲得的分割平面位于兩個(gè)類別的中心，這對(duì)于分類問(wèn)題的容錯(cuò)性是不利的。

三、融合算法

在某種條件下，正則化的神經(jīng)網(wǎng)絡(luò)與SVM存在等價(jià)的關(guān)系，兩者之間可以相互轉(zhuǎn)化，從而可推導(dǎo)出正則化的RBF 神經(jīng)網(wǎng)絡(luò)與核函數(shù)為RBF的SVM 互為充要條件且可以彼此轉(zhuǎn)化(劉耀輝，2017)。

通過(guò)了解徑向基神經(jīng)網(wǎng)絡(luò)可知，徑向基網(wǎng)絡(luò)分為正則化網(wǎng)絡(luò)和廣義網(wǎng)絡(luò)，正則化網(wǎng)絡(luò)將所有的樣本都作為網(wǎng)格中心，當(dāng)樣本點(diǎn)有噪聲時(shí)，正則化網(wǎng)絡(luò)就會(huì)出現(xiàn)過(guò)擬合現(xiàn)象，泛化能力降低，同時(shí)，由于所有的樣本都作為了中心，樣本數(shù)太多時(shí)，神經(jīng)元太多，使得網(wǎng)絡(luò)變得復(fù)雜，計(jì)算量增大，增加計(jì)算時(shí)間。而廣義網(wǎng)絡(luò)由于選擇的是部分樣本作為中心，對(duì)于噪聲樣本，不會(huì)陷入過(guò)擬合現(xiàn)象，同時(shí)少量的神經(jīng)元使得網(wǎng)絡(luò)的復(fù)雜程度和計(jì)算量降低，增強(qiáng)了泛化能力。選擇以廣義網(wǎng)絡(luò)的徑向基神經(jīng)網(wǎng)絡(luò)為模型基礎(chǔ)。

廣義徑向基網(wǎng)絡(luò)的特點(diǎn)，核心點(diǎn)主要有三個(gè)：網(wǎng)絡(luò)中心，擴(kuò)展常數(shù)(作用域)以及權(quán)值w(隱含層到輸出層之間)。通過(guò)學(xué)習(xí)SVM可知，影響一個(gè)SVM模型的關(guān)鍵參數(shù)是懲罰變量C與其核函數(shù)的參數(shù)。當(dāng)支持向量機(jī)選擇徑向基核函數(shù)時(shí)，此時(shí)兩者就會(huì)有相似的地方，即徑向基函數(shù)中的確定。由此，RBF網(wǎng)絡(luò)中的可以完全借用核函數(shù)為RBF的SVM的。