支持向量機參數優化研究

湖北工業大學 楊小欽

支持向量機參數優化研究

湖北工業大學 楊小欽

基于統計學習理論的支持向量機作為數據挖掘中的新技術，開發了一個極好的機器學習方法。它被認為是機器學習領域非常受歡迎的和成功的例子。支持向量機應用到實際問題時，首先面臨的模型參數，包括支持向量機和核參數的選擇。參數的選擇直接決定了訓練支持向量機的效率和效果，如何選擇參數是支持向量機的主要問題。本文介紹的支持向量機參數優化和粒子群優化算法的關鍵知識，支持向量機的性能是很大程度上取決于參數設置，包括的懲罰參數和核函數參數，如何選擇支持向量機的關鍵參數問題。

向量機參數；優化；研究

21世紀是一個“信息爆炸”，大量的信息和數據的增長，機器學習困難急劇增加的時代。機器學習（學習機，ML）是人工智能（人工智能，AI）最聰明的功能，最尖端的研究領域之一。是機器學習的主要障礙和人工智能研究的發展方向之一。包括計算的理論學習和學習系統的建設。AI系統有沒有或只有非常有限的學習能力。在進入系統手工編程系統的知識，知識的錯誤不能自動得到糾正。換句話說，大多數現有的人工智能，演繹，歸納推理，因此不能自動獲取和創造知識。未來的計算機將自動獲得直接從書本學習，通過與人交談，學習，通過觀察學習知識的能力。自我完善，通過實踐來克服人們更少的存儲效率低，注意力分散，這是很難傳輸所獲得的知識，和其他限制。

支持向量機，Support Vector Machine[3]，簡稱為SV機（本文一般是指SVM）。這是一個監督的學習方法，廣泛應用于統計分類和回歸分析。支持向量機的廣義線性分類。他們也可以認為是卡爾納蒂克愛標準化（吉洪諾夫，正規化）方法的一個特例。他們可以最大限度地減少經驗的錯誤，并最大限度地提高該地區的幾何邊緣。因此，支持向量機，又稱作為世界上最大的邊緣區分類。支持向量機將向量映射到高維空間，以及建立在此空間的最大間隔超平面。有2個相互平行的超平面分開的超平面兩側的數據。由超平面分開的2個平行的超平面的距離最大化。總誤差越小假設的距離或平行的超平面分類之間的差距更大。范德沃爾特和巴納德，支持向量機分類器進行了比較。我們通常希望分類的過程是一個機器學習的過程。這些數據點不需要點是一個任意點（統計學符號），或在計算機科學（符號）。

支持向量機是在統計學習理論的基礎上，基于結構風險最小化的原則，一個新的機器學習算法，它將最大限度地提高基于核相結合的思路和方法的時間間隔，顯示出良好的反老化性能。SVM在應用程序中，仍存在一些問題，典型的問題是模型參數的選擇。Vapnik等人的研究，不同的內核函數的SVM性能，但核函數核參數和懲罰參數是影響SVM性能的一個關鍵因素。本文認為對SVM分類性能參數不同性質的影響，即建立核參數和懲罰參數變量的優化問題，利用遺傳算法的優化問題，最后確定SVM參數的最佳值，數值實驗驗證改進方法的有效性。

鳥類捕食過程中，每只鳥找到食物最簡單和最有效的方法是搜索周邊地區的距離食物的鳥。Kennedy和Eberhart通過對鳥類捕食過程中的分析和模擬，在1995年最先提出了原始的PSO算法。與遺傳算法相比，PSO算法概念簡單，計算快速，易于實現，并沒有太多的參數需要調整的優勢。因為這些諸多優點的算法之一，已引起了廣大學者的關注，不斷涌現出的各種信息的PSO算法的應用研究，有力地推動了PSO算法的研究成果。許多研究者的參數集，收斂，拓撲結構，傳統的PSO算法和其他算法，集成的角度來看，各種改善其不足之處，為了提高算法的性能。

本文介紹的支持向量機參數優化和粒子群優化算法的關鍵知識，支持向量機的性能是很大程度上取決于參數設置，包括的懲罰參數和核函數參數，如何選擇支持向量機的關鍵參數問題。支持向量機參數優化問題，主要是提出了一種基于遺傳算法的參數優化方法，其主要內容概括如下：

首先，為支持向量機模型，用來形容加上或減去2個樣品給定的數據類型設置，以便建立一個變量約束的優化問題的核參數之間的分離，分離指標定義。

然后將參數代入到支持向量機、分揀機，建立與懲罰參數變量的約束優化問題的泛化性能起將被替換成核參數的最佳值。

最后得到粒子群優化算法搜索優化問題的最佳解決方案。驗證的方法和網格方法的比較實驗的有效性。支持向量機參數優化方法的實驗分析。

[1]Peter J.Angeline.Using selection to improve particle swarm optimization.In Proceedings of the 1998 IEEE Congress on Evolutionary Computation,pages 84–89,Piscataway,NJ,USA,1998.IEEE Press.

[2]Tim M.Blackwell and Peter J.Bentley.Don′t push me collision-avoiding swarms.In Proceedings of the 2002 IEEE Congress on Evolutionary Computation,pages 1691–1696,Piscataway,NJ,USA,2002.IEEEPress.

[3]Maurice Clerc and James Kennedy.The particle swarm–explosion,stability,and convergence in a multidimensional complex space.IEEE Transactions on Evolutionary Computation,6(1):58–73,2002.

[4]HolgerH.Hoos and Thomas Stützle.Stochastic Local Search:Foundations and Applications.Morgan Kaufmann,San Francisco,CA,USA,2004.

2017-09-10）