SVM的發展與應用

摘 要： 本文主要介紹了支持向量機（SVM）的發展歷程，SVM的基本思想，以及SVM在一些領域中的成功應用。

關鍵詞： SVM 語音識別 人臉檢測 圖像處理

1.引言

隨著網絡技術的飛速發展和普及，進入了信息大爆炸的時代。信息無處不在，給我們的學習生活帶來了諸多便捷，由于堪稱海量的信息量，我們從中獲取有用的信息變得困難，解決這一難題就是要對這些大量的信息進行分類。SVM就是一種很好的信息分類方法。SVM技術在解決小樣本、非線性及高維度的模式識別問題中表現出許多優勢，在許多領域，如文本分類、圖像識別、生物信息學等領域中得到了成功的應用。

2.SVM的發展

SVM，是基于模式識別方法和統計學習理論的一種全新的非常有潛力的分類技術，主要用于模式識別領域。1963年，ATE-T Bell實驗室研究小組在Vanpik的領導下，首次提出了支持向量機（SVM）理論方法。這種方法是從樣本集中選擇一組樣本，對整個樣本集的劃分可以等同于對這組樣本的劃分，這組樣本子集就被形象地稱之為支持向量（SV）。但在當時，SVM在數學上不能明晰地表示，人們對模式識別問題的研究很不完善，因此SVM的研究沒有得到進一步的發展與重視。

1971年，Kimeldorf提出了使用線性不等約束重新構造SV的核空間，使一部分線性不可分的問題得到了解決。

20世紀90年代，一個比較完善的理論體系——統計學習理論（Statistical Learning Theory，SLT）形成了，此時一些新興的機器學習方法（如神經網絡等）的研究遇到了一些重大的困難，比如欠學習與過學習問題、如何確定網絡結構的問題、局部極小點問題等，這兩方面的因素使得SVM迅速發展和完善，并在很多問題的解決中表現出許多特有優勢，而且能夠推廣應用到函數擬合等其他機器學習問題中，從此迅速發展了起來，目前已經成功地在許多領域里得到了成功應用。

3.SVM的應用

SVM的主要思想可以概括為如下兩點：

（1）它是針對線性可分的情況進行分析的。對于線性不可分的情況，通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉化為高維特征空間，使其線性可分，從而使得在高維特征空間中采用線性算法對樣本的非線性特征進行線性分析成為可能。（2）它基于結構風險最小化理論，在特征空間中構建最優分類面，使得學習器能夠得到全局最優化，并且使整個樣本空間的期望風險以某個概率滿足一定上界。

從上面的兩點基本思想來看，SVM沒有使用傳統的推導過程，簡化了通常的分類和回歸等問題；少數的支持向量確定了SVM 的最終決策函數，計算的復雜性取決于支持向量，而不是整個樣本空間，這就可以避免“維數災難”。少數支持向量決定了最終結果，這不但可以幫助我們抓住關鍵樣本，而且注定了該方法不但算法簡單，而且具有較好的“魯棒”性。

3.1人臉檢測、驗證和識別

Osuna最早將SVM應用于人臉檢測，取得了較好的效果。其方法是直接訓練非線性SVM分類器完成人臉與非人臉的分類。由于SVM的訓練需要大量的存儲空間，并且非線性SVM分類器需要較多的支持向量，速度很慢，因此，他提出了一種層次性結構的SVM分類器，它由一個線性SVM的組合和一個非線性SVM組成。檢測時，由前者快速排除掉圖像中絕大部分背景窗日，而后者只需對少量的候選區域做出確認。

3.2說話人/語音識別

說話人識別屬于連續輸入信號的分類問題，SVM是一個很好的分類器，但不適合連續輸入樣本。為此，引入了隱式馬爾可夫模型HMM，建立了SVM和HMM的混合模型。HMM適合處理連續信號，而SVM適合分類問題；HMM的結果反映了同類樣本的相似度，而SVM的輸出結果則體現了異類樣本間的差異。為了方便與HMM組成混合模型，需要首先將SVM的輸出形式改為概率輸出。

3.3文字/手寫體識別

貝爾實驗室對美國郵政手寫數字庫進行的實驗中，人工識別平均錯誤率為2.500，專門針對該特定問題設計的5層神經網絡錯誤率為5.100（其中利用了大量先驗知識），而用3種SVM方法（采用3種核函數）得到的錯誤率分別為2.000、2.1%和2.200，且SVM是直接采用16X 16的字符點陣作為輸入的，表明了SVM的優越性能。

3.4圖像處理

3.4.1圖像過濾。一般的針對互聯網色情圖像的過濾軟件主要采用網址庫的形式封鎖色情網址或采用人工智能方法對接收到的中、英文信息進行分析甄別。學者們提出了一種多層次特定類型圖像過濾法，即綜合膚色模型檢驗、支持向量機分類和最近鄰方法校驗的多層系圖像處理框架，此方法能夠達到85%以上的準確率。

3.4.2視頻字幕提取。視頻字幕蘊含了豐富的語義，可用于對相應視頻流進行高級語義標注。研究人員提出并實踐了基于SVM的視頻字幕自動定位和提取的方法，該方法首先將原始圖像的幀分割為NXN的子塊，提取每個子塊的灰度特征，然后使用預先訓練好的SVM分類機進行字幕子塊和非字幕子塊的分類，最后結合金字塔模型和后期處理，實現視頻圖像字幕區域的自動定位提取。

3.4.3圖像分類和檢索。由于計算機自動抽取的圖像特征和人所理解的語義間存在巨大差異，圖像檢索的結果難以令人滿意。近年來出現了相關反饋方法，以SVM為分類器，在每次反饋中對用戶標記的正例和反例樣本進行學習，并根據學習所得的模型進行檢索。相關研究人員使用了由9918幅圖像組成的圖像庫進行了實驗，結果表明，這種方法在訓練樣本有限的情況下具有良好的泛化功能。

3.5其他方面的應用

SVM除了在上述領域中得到了成功的應用外，在其他領域，如汽輪發電機組的故障診斷，金融工程，生物醫藥信號處理，生物信息，自適應信號處理，手寫體相似字識別，巖爆預測的支持向量機，缺陷識別等領域都有成功的應用。

4.結語

目前，國際上關于SVM理論的討論和深入的研究在逐漸廣泛發展，我國國內在此領域的研究尚處在萌芽狀態，需要及時學習掌握有關的理論知識，開展有效的研究工作，使國內在這個具有重要意義的領域中盡快趕上國際水平，跟上國際發展步伐。

參考文獻：

[1]韓毅.基于SVM的Web文本分類.科技信息，200917.

[2]付慶.基于支持向量機的人臉識別技術研究.青島大學，2007.

[3]徐淑萍.基于支持向量機的圖像分割研究綜述.遼寧科技大學，2008.

[4]汪曉玲.基于SVM的銀行客戶個人信用評估研究，西北工業大學，2007.