基于支持向量機和神經網絡模型的識別

秦云月

摘要 支持向量機（ SupportVector Machines，SVM）與神經網絡（ Neural Network）是統計學習的代表方法。支持向量機（包含核方法）與神經網絡都是非線性分類模型，而支持向量機則細分了線性與非線性的隔空間，神經網絡主要是事前輸入系統識別。1986年，Rummelhart與McClelland發明了神經網絡的學習算法Back Propagation.之后，Vapink與1 992年提出了支持向量機。支持向量機利用核技巧把非線性問題轉換為線性問題，而神經網絡是多層（通常為三層）的非線性模型。近年來Hinton提出了神經網絡的DeepLea ring算法，極大的提高了神經網絡的能力，盡管與支持向量機有所區別，但是神經網絡模式的Deep Learing在RestrictedBoltzmann Machine（非監督學習）的結構與Back Propagation（監督學習）網絡的權值具有重大意義。本文旨在探討支持向量和神經網絡的概論、特點與二者的區別，為現代科技提供一點愚見。

【關鍵詞】支持向量機 神經網絡模型 發展意義算法

早期的SVM求解方法是基于統計學理論的基礎上的，無論是支持向量機還是支持向量機回歸都依賴于線性約束凸二次規劃的求解，但是經過Vapnik、Boser、Plantt等人基于SVM算法的研究，提出了更加簡化和快速的算法。目前，支持向量機的算法越來越趨于成熟，并且飛速的發展，在各個產品模塊成熟而廣泛的運用。神經網絡是在傳統統計學的基礎上研究的，樣本內容無窮大時的漸進理論，即樣本數據趨于無窮多時的統計性質，而實際問題中樣本數據往往是有限的。

1 支持向量機和神經網絡的概述

1.1 含義

支持向量機（Support Vector Machine，SVM）主要是Corinna Cortes和Vapnik等人首先提出的，其旨在解決小樣本、非線性及高維模式識別，并能夠推廣應用到函數擬合及其他機器學習問題中，還支持矢量網絡和相關的學習算法的監督學習模型，表現在人臉識別、信息識別、語音識別等多個智能識別領域，對目前的人工智能領域具有重大的發展意義。

人工神經網絡（ Artificial NeuralNetworks，簡寫為ANNs）也簡稱為神經網絡（ NNs）或稱作連接模型（ConnecrionModel），它主要是模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型，其實質是模擬人腦神經元的極易、聯想以及反射等功能抽象出來的數字模型。

1.2 特點

1.2.1 支持向量機

（1） SVM利用內積核函數代替向高維空間的非線性映射，其基本特征是空間內最大線性，以達到學習的目的;

（2） SVM的目標是對特征空間劃分最優平面，具有最大間隔使線性從可分到線性不可分，其核心方法是最大化分類邊際的思想;

（3） SVM的訓練結果是支持向量，借助二次規劃來求解向量，在SVM分類決策中起決定作用。

（4） SVM是理論基礎的小樣本學習方法，本質上避開了從歸納到演繹的傳統過程，實現了從訓練到預報的樣本“轉導推理”。

（5）為了避免了“維數災難”只有少數的支持向量是SVM的最終決策函數，凸化問題保證全局最優性。

1.2.2 神經網絡

（1）具有自我學習的功能。先把許多不同的圖像模板和應識別的結果輸入人工神經網絡，通過自學習功能，網絡就會慢慢學會識別相類似的圖像。并且自學習功能不僅對預測有重大意義，未來的人工神經網絡模型將為人類提供經濟、市場、效益等方面的預測，其應用前途和領域是很遠大的，市場前景廣闊。

（2）具有聯想和存儲功能。聯想是通過人工神經網絡反饋得以實現的。

（3）具有高速運算解決的能力。一個復雜問題的優化解，通常需要大計算量，而利用人工神經網絡反饋型可以針對性解決問題，從而發揮出計算機的高速運算能力，快速找到優化解。

2 支持向量機的分類

2.1 線性支持向量機

支持向量機是一種監督的分類和回歸方法，主要二分類即為單個SVM，針對線性可分情況，它構造的最優分類面不僅能把兩類樣本正確分開，而且能使每一組數據與超平面距離最近的點到達與超平面距離最大。

2.2 非線性支持向量機

現實中針對噪音的輸入數據，幾乎所有樣本都是線性不可分的，通過非線性變化把樣本映射到高維特征空間，然后進行空間線性分類，尋找最優超平面，即即將非線性可分問題轉化為線性可分問題。

2.3 支持向量機回歸

支持向量機回歸（SVR）將回歸中的情況，分類問題的樣本點在分類之前已經屬于哪一類，而回歸問題事先不知道。

3 支持向量機與神經網絡的異同

支持向量機與神經網絡類似都是學習型機器，不同的是支持向量機是算法方法，而神經網絡是優化解決。支持向量機的基礎是理論和數學，與神經網絡學習方法相比，支持向量機以下特點四個：

（1）支持向量機在保證結構風險最小選擇和學習機器泛化能力具有極大優勢;

（2）終端目的旨在解決優化了算法復雜度與輸入向量相關問題，以到達識別、運算的目的：

（3）主要是基于有限的樣本信息針對小樣本情況，而不是樣本數趨于無窮大時的最優解，引用核函數將輸入空間中的非線性問題映射到高維特征空間中在高維空間中構造線性函數判別。

神經網絡的優化目標是基于經驗的風險最小化，采用的是傳統統計法，不能保證網絡的能夠像向量機一樣具有泛化能力。神經網絡優劣因設計者的優劣水平而異，如果設計者在網絡設計過程中竭盡所能的利用了自己的經驗、先驗和專業等知識，可能會得到較理想的網絡結構，反之亦然。

4 結語

隨著科技發展支持向量機和神經網絡模型都有各自深入的發展，內在算法的進步直接表現在外在的結果上，為人類的安全又提供了深入的保障，同時促進了人工智能的發展，例如AlphaGo打敗了世界圍棋冠軍。使得人工神經網絡更加向人腦趨近，更加智能。

參考文獻

[1]韓虎，任恩恩，基于粗集理論的支持向量機分類方法研究[J].計算機工程與設計.2008，28 （11）： 2640-2643.

[2]張學工，關于統計學習理論與支持向量機[J].自動化學報，2000，126 （01）： 32-42.

[3]吉建嬌，張嬌嬌，許婕，劉丹丹.人工神經網絡一控制系統不依賴與模型的故障診斷方法[J].科技風，2009（13）：11-16.