神經網絡與支持向量機的競爭與協作

黃曄　穆向陽

摘 要：簡單介紹了神經網絡與支持向量機，對比分析兩者的優缺點，提出了神經網絡與支持向量機的協作發展，為兩者實際應用的缺欠領域創造更多可能。

關鍵詞：神經網絡；支持向量機；競爭；協作

人工神經網絡（Artificial Neural Network，ANN）與支持向量機（Support Vector Machine，SVM）都是非線性分類模型。1986年，Rummelhart與McClelland創造出前饋型神經網絡學習算法，簡稱BP算法。Vapnik等人于1992年提出支持向量機的概念。神經網絡為包含輸入、輸出以及隱含層的非線性模型，隱含層可以是單層也可以是多層，支持向量機則運用核理論將非線性問題轉換為線性問題。神經網絡與支持向量機同為統計學習的代表方法，其中神經網絡建立在傳統統計學的基礎上，支持向量機則建立在統計學理論的基礎上。傳統統計學假定樣本數據無限大，從而推導出各種算法，得到其統計性質及其漸進理論。而在實際應用中，樣本數為有限數據，對神經網絡算法造成了限制。為了對比分析，研究者分別對BP神經網絡與支持向量機進行仿真實驗，得出支持向量機具有更強的逼近能力這一結果。但從后文所述支持向量機的優缺點來看，當訓練樣本規模較大時，運用支持向量機的算法很難實現。一直以來，神經網絡與支持向量機處于“競爭”的關系，但無論是神經網絡還是支持向量機，都做不到完美無缺。

1 人工神經網絡

1.1 神經網絡特點

神經網絡是由大量的神經細胞（亦稱神經元）組成，這些神經細胞具有很高的互連程度，構成了神經網絡復雜的并行結構。神經網絡結構來源于對人腦結構的模仿，因而也反映了人腦的基本結構與基本特征，構成了類似人腦結構復雜程度的學習與運算系統。為前饋網絡選擇適當的隱含層數目與隱含層節點數目，便能以任意精度逼近非線性函數。在工業過程的控制與建模操作中，神經網絡技術得以廣泛應用并成果顯著。神經網絡具有以下特點：在線及離線學習，自學習和自適應不確定的系統；能夠辨識非線性系統，逼近任意非線性函數；訊息分布存儲、并行處理，因而容錯性強且處理速度快；通過神經網絡運算，解決自動控制計算的許多問題。具有以上特點，使神經網絡良好的應用于自動控制領域。

1.2 神經網絡缺陷

神經網絡的缺陷性主要表現為：網絡結構需事先確定，訓練過程不斷修正，無法保證最優網絡；通過實驗調整網絡權系數，且有局限性；樣本數目足夠多時結果質量好，但需要大量訓練時間；出現無法得到最優解的情況，易陷入局部最優；目前收斂速度的決定條件無法判斷，定量分析訓練過程的收斂速度無法實現；經驗風險最小化原則的基礎下，無法保證優化時神經網絡的泛化能力。前饋型神經網絡普遍運用于自動控制領域，但實際應用中存在的問題卻不容忽視，在經驗風險最小化原則的基礎下，網絡模型具有較差的泛化能力。相比于神經網絡，支持向量機小樣本學習能力強、模型外推能力好，適用于高維數據的處理，適于解決過程控制中的復雜問題，廣泛應用于過程控制領域。

2 支持向量機

2.1 支持向量機特點

支持向量機算法建立在統計學理論的基礎上。統計學理論是機器學習規律的基本理論，對于小樣本統計目前最佳。神經網絡建立在經驗風險最小化原則的基礎上，優化時的泛化能力無法保證，而統計學理論對經驗風險最小化原則成立的條件進行了系統的研究，并分析小樣本情況下經驗風險與期望風險的關系。自Vapnik等人鉆研此方面起，到20世紀90年代中期，伴隨核理論進展、趨于成熟，最終提出支持向量機。支持向量機可以看作簡易的前饋型神經網絡，只包含一個隱含層。選定非線性映射，支持向量機將輸入向量映射到高維特征空間，來實現最優分類超平面。每個輸入的支持向量對應一個隱含層中的節點，輸出為隱含層節點的線性組合。支持向量機能夠根據有限的樣本信息，獲得模型復雜程度與學習能力之間最佳的平衡點，得到最佳的外推能力。而基于統計學理論，支持向量機并不依賴于設計者的知識、經驗，具有嚴謹的理論基礎。支持向量機具有以下特點：具有嚴格的理論基礎，不依賴于設計者的知識、經驗；針對小樣本情況，相比于尋求樣本數趨于無窮時的最優解，節省了大量時間；基于結構風險最小化的原則，泛化能力得以保證；將輸入空間的非線性問題轉化為高維空間的線性函數進行判別；解決局部最優問題，保證了算法的全局最優性。

2.2 支持向量機缺陷

針對小樣本情況，對于大規模訓練樣本難以實施，支持向量機憑靠二次規劃來求解支持向量，求解二次規劃時需要計算n（樣本個數）階矩陣。支持向量機針對小樣本設計，矩陣階數很高時需要很長的運算時間，同時大大占用了機器的內存。在解決多元問題上存在困難實際應用中待解決的往往是多元問題。利用支持向量機解決多元問題，可將待解決的問題轉化為多個經典二分類支持向量機的組合，或者構造多個分類器的組合。需要結合其他算法優勢，分析并克服支持向量機的固有缺陷，找到平衡點。

3 相互關系及協作發展

神經網絡理論上存在一定的缺陷，實際應用中存在不可避免的問題，雖然有對應的改進方案和解決辦法，但神經網絡的弊端卻無法從根本上解決，這就造成一段時間內神經網絡理論發展緩慢。實際應用中，神經網絡結構的選擇為一難點。結構選擇并無統一標準，研究者從實際角度出發，根據自身知識、經驗選定網絡的參數與結構。在樣本數目一定的情況下，想得到較強的學習能力，則要求更復雜的網絡結構，那么就存在過學習的現象，結構過于簡單則學習能力不足。神經網絡的參數與結構需要研究者事先確定，而對于實際問題中的變化無法隨機應對。神經網絡的研究發展緩慢，面對無法克服的缺陷及弊端，許多研究者先后選擇退出該研究領域。既然支持向量機具備多方面神經網絡所欠缺的性能，為何不分析支持向量機，從統計學理論的先進性，為神經網絡的發展尋求一些啟示？如何與支持向量機對比、協作，在樣本有限的情況下使神經網絡具有較強的推廣性？這些都是研究者們應該繼續深入研究的問題。解決多分類問題時神經網絡非常便利，而目前支持向量機仍然無法良好處理。研究者設計出包含各種先驗知識的神經網絡結構，來滿足對實際問題的需求，支持向量機卻只能將其轉化為二類組合問題進行處理。對于支持向量機來說，并不是只需要選取核函數就解決了一切問題，如何選取核函數，如何構造都是還未解決的問題，對核函數不同的選擇得到的分類結果不同，因此核函數的選取尤為重要。

4 結束語

處于支持向量機理論的高速發展時期，人們研究支持向量機具有很大的熱情，則必然存在一定的跟風與盲目性，科學技術的研究更多需要的是理智與耐心，雖然神經網絡的研究趨于平緩、正常，但不應被徹底遺忘或摒棄。如何深入研究支持向量機的優點，探討統計學理論的先進性，對神經網絡加以改進；如何避免支持向量機理論快速發展時期隨波逐流的現象，借鑒神經網絡算法，提高研究效率，改進研究結果，這都是研究人員需要思考、解決的問題。

參考文獻

[1]史忠植.神經網絡[M].北京：高等教育出版社，2009，5.

[2]韓力群.人工神經網絡教程[M].北京：北京郵電大學出版社，2007，7.

[3]茹菲，李鐵鷹.人工神經網絡系統辨識綜述[J].軟件導刊，2011，3.

[4]Hagan M T， Demuth H B， Beale M H. Neural network design[M].Boston London： Pws Pub.，1996.

[5]黃娟，唐軼，王軍霞.貪婪支持向量機的分析與應用[J].計算機工程與應用，2012，48（24）：32-36.

[6]Cristianinin， Shawe T J. An introduction to support vector machine[M].New York： Cambridge University Press，2000.

[7]張昱，陳光黎.基于最小二乘支持向量機的機器視覺識別方法[J].測控技術，2011，30（7）：97-100.

作者簡介：黃曄（1989-），女，漢族，陜西扶風人，碩士在讀，研究方向：檢測技術與自動化裝置。