機器學習與支持向量機

現代社會我們已經越來越離不開對未知信息的預測：比如天氣預報，地震、海嘯預警，山體滑坡、泥石流等自然災害的預報等等，那么我們是依據什么對未知世界進行預測的呢？這就不得不提到人工智能的一個分支——機器學習。

機器學習

機器學習是研究計算機如何模擬或實現人類的學習行為，獲取新的知識或技能，并對已有的知識結構進行重新組織使之不斷改善自身的一種新技術。機器學習的研究方法是從大量的觀測數據尋找規律，利用這些規律對未來數據或無法觀測的數據進行預測。迄今為止，關于機器學習還沒有一種被共同接受的理論框架，關于其實現方法有以下幾種：

第一種是傳統統計學理論，亦即經典的統計估計方法。實際上，傳統參數估計方法正是基于傳統統計學的，在這種方法中，參數的相關形式是已知的，訓練樣本用來估計參數的值。但這種方法有很大的局限性：首先，它需要已知樣本分布形式，這需要花費很大代價；其次，傳統統計學研究的都是假設樣本數目趨于無窮大時的漸近理論。而實際問題中，樣本的數目往往是有限的，因此一些理論上很優秀的學習方法實際中表現卻可能不盡人意。

第二種方法是經驗非線性方法。經驗非線性方法利用已知樣本建立非線性模型，克服了傳統參數估計方法的困難。但是，這種方法缺乏一種統一的數學理論。以神經網絡為例，神經網絡是目前運用較多也是最早應用的非線性分類，由于神經網絡是基于經驗最小化原理，它具有對非線性數據快速建模的能力，通過對訓練集的反復學習來調節自身的網絡結構和連接權值，并對未知的數據進行分類和預測。但是，神經網絡從某種意義上說是一種啟發式的學習機，本身有很大經驗的成分，它有諸如如何確定網絡結構的問題、過學習與欠學習問題、局部極小點問題、訓練出來的模型推廣能力不強等固有問題得不到很好的解決。

為了克服神經網絡算法這個無法避免的難題，萬普尼克（Vapnik）領導的ATT Bell實驗室研究小組提出了統計學習理論。統計學習理論是一種專門研究小樣本情況下機器學習規律的理論，該理論針對小樣本統計問題建立了一套新的理論體系，在這種體系下的統計推理規則不僅考慮了對漸近性能的要求，而且追求在現有有限信息的條件下得到最優結果。Vapnik還在統計學習理論基礎上提出了支持向量機（Support VectorMachine，SVM），是一種全新的模式識別方法。由于當時這些研究尚不十分完善，在解決模式識別問題中往往趨于保守，且數學上比較難以解釋，因此對支持向量機的研究一直沒有得到充分重視。直到20世紀90年代，由于神經網絡等機器學習方法的研究遇到一些難以解決的瓶頸，使得支持向量機的研究得到重視并迅速發展和完善。支持向量機是基于結構風險最小化原理的一種新方法，利用結構風險最小化原理使得VC維即泛化誤差的上確界最小化，從而使支持向量機具有很好的泛化能力。支持向量機在解決小樣本、非線性及高維模式識別問題中表現出許多特有的優勢，并能夠推廣應用到函數擬合等其他機器學習問題中。SVM最初是針對分類問題提出的，目前也被推廣到回歸問題上。鑒于SVM扎實的理論基礎，SVM目前已經成為機器學習的研究熱點之一，并已經取得了很好的研究成果。

支持向量機

支持向量機方法是根據有限的樣本信息建立的模型獲得最好的推廣學習能力。它的實現的思想是：通過某種事先選擇的非線性映射，也就是滿足Mercer定理的核函數將輸入向量映射到一個高維特征空間，在這個空間中構造最優分類超平面，使得這個最優分類超平面能夠盡可能多地將兩類數據點正確地分開，同時使分開的兩類數據點距離分類面最遠。我們以二維線性不可分，而三維線性可分為例，如圖所示：

圖a)表示二維空間中的樣本非線性可分，只能用橢圓曲線作其分類標準；但通過某種映射，將樣本點映射到圖b)的三維空間，樣本就變得線性可分。從本質上講，支持向量機是通過構造一個帶線性不等式約束條件的二次規劃問題，并求解該問題來構造分類超平面，從而得到決策函數。

支持向量機的優點

傳統的統計方法只有在樣本數目趨向無窮大時其性能才有理論上的保證，對于應用中的優先樣本難以取得理想的分類回歸效果，而支持向量機是一種小樣本學習方法，在小樣本學習上有特殊的優越性，能在訓練樣本數目很小的情況下取得很好的推廣能力，特別是對非線性分類和回歸問題的處理上更加有效。同時，作為一個凸優化問題，支持向量機還具有泛化能力強，容易訓練，沒有局部極小值等優點。支持向量機相對傳統的機器學習方法優勢還是很明顯的：

1、支持向量機是一種有堅實理論基礎的新穎的小樣理本學習方法，并且運算過程中基本上不涉及概率測度及大數定律等。

2、支持向量機的最終決策函數只由少數的支持向量所確定，計算的復雜性取決于支持向量的數目，而不是樣本空間的維數，這在某種意義上避免了“維數災難”。

3、少數支持向量決定了最終結果，這不但可以幫助我們抓住關鍵樣本、“剔除”大量冗余樣本，而且注定了該方法不但算法簡單，而且具有較好的“魯棒”性。

此外， 支持向量機具有調節參數少，運算速度快，時間代價小的優點，加之支持向量機理論研究的逐步深入，支持向量機在模式識別、回歸估計、概率密度函數估計等問題上的研究也逐步深入，成為各國研究者的研究熱點。

支持向量機的應用

由于支持向量機具有良好的逼近任意復雜非線性系統的能力，近年來被廣泛地用于自動控制領域，以解決非線性、大滯后系統這一困擾現代控制理論界的難題。

模式識別方面，支持向量機可以廣泛應用到人臉和人臉姿勢識別、指紋識別、基因數據分析和編碼、語音激活檢測、語音分類以及圖像的檢索和識別等問題，無論從查全率和查準率兩方面較傳統方法都有較大的提高。

回歸預測方面，支持向量機也得到較為廣泛的應用。有人將支持向量機應用到短期電力使用負荷預測中，得到了很快的計算速度和較好的預測效果。支持向量機還可以廣泛應用到天氣、水文、自然災害甚至股票走勢的預測上。另外，支持向量機在故障診斷領域也得到了較為廣泛的應用，如水輪發電機組衛星故障診斷、內燃機故障診斷、工業過程故障診斷等等。

二十一世紀， 是一個“ 信息大爆炸”的時代，信息數據大量增長，機器學習的難度急劇加大，給機器學習帶來了巨大挑戰。但我們相信這些挑戰將極大地推動機器學習技術的不斷發展，給人工智能乃至整個計算機的發展帶來重大而深遠的影響。同時，人類也將因此而受益。