支持向量機在葡萄酒識別上的應用

陳婉嬌 龍衛江

摘要：在當今的大數據時代，機器學習越來越廣泛地應用于生活中，為人們解決實際生活生產的需要。其中，支持向量機算法是機器學習中重要的算法之一，應用廣泛且有效。文章主要介紹了支持向量機的原理和模型，還介紹了核函數在支持向量機中的應用和交叉驗證法的理論。在實驗部分，文章將支持向量機應用于葡萄酒數據集上，通過分析對比，得到了以下的結論：對于葡萄酒數據集，采用R語言對多種支持向量機模型進行比較，當支持向量機的類型為nu-classification，核函數為線性核函數時，識別的正確率最高，達到了98.86%，并且應用交叉驗證法進行驗證，降低了識別誤差。

關鍵詞：機器學習；支持向量機；核函數；葡萄酒數據集；交叉驗證法

中圖分類號：O242.1 文獻標識碼：A 文章編號：1009-3044（2019）04-0154-03

Abstract： Today is the era of big data and machine learning is widely used in life to solve the needs of real life production. Among them， the support vector machine （SVM） algorithm is one of the important algorithms in machine learning， and it is widely used and effective. The article mainly introduces the principle and model of support vector machine， and also introduces the application of kernel function in SVM. In addition， the principle of cross-validation is introduced. In the experiments， the paper applies the SVM to the wine dataset. Through analysis and comparison， the following conclusions are obtained： For the wine dataset， a variety of support vector machine models are used for comparison. When the type of SVM is nu-classification， and the kernel function is the linear kernel， the recognition rate is the highest， which is 98.86%. In addition， the cross-validation method is applied in this paper， which reduces the recognition error.

Key words： machine learning； support vector machine（SVM）； kernel function； wine data set； cross-validation method

1 引言

在當今大數據時代，人工智能廣泛應用于生活中的各個領域，機器學習在科學研究中占據著越來越重要的地位，科學工作者致力于研究機器學習算法，機器學習算法通過已有數據進行學習，獲得學習規律，用于預測判別等等[1]。機器學習算法可分為監督學習、無監督學習、半監督學習，其中支持向量機是一種監督學習算法。

支持向量機也是機器學習中的一個重要的統計學習方法，應用廣泛且有效，在模式識別、函數逼近、函數擬合、回歸估計等均有很好的應用[2]。

本文主要研究支持向量機的算法，并將支持向量機應用于葡萄酒數據集上，選擇合適的核函數，采用交叉驗證法，探究支持向量機算法在該數據集上的判別效果。

2 基礎知識

2.1支持向量機模型

機器學習中的分類模型有很多，支持向量機就是其中的一種，它原始的模型主要是在特征空間中將樣本盡可能地分開，使得樣本間間隔最大化，但是并非所有的樣本都是完全線性可分的，于是有了軟間隔的解決方法，但是對于一些樣本是線性不可分的，就引出了核函數，將樣本映射到高維空間中，使得樣本在高維特征空間中可分，解決了樣本非線性問題。因此對于支持向量機可以分為硬間隔SVM，軟間隔SVM和非線性SVM[3][4]。

2.2 間隔與支持間隔

對于分類模型，屬于監督學習范疇，是希望可以在空間中找到某個超平面，可以將類別不一樣的樣本區分開來，而且這樣的超平面并不是唯一的，但最優化算法是可以找到最能區分樣本空間的超平面，選擇位于兩類訓練樣本正中間的劃分超平面，原因是這個超平面的分類結果最魯棒，泛化能力最強[5]。

2.4 交叉驗證法

交叉驗證法在機器學習中很常用，通常用于檢驗模型算法的性能，基本的想法是將樣本進行分組，分為訓練集與測試集，交替多次進行訓練與檢驗，以得到更為客觀的評價模型算法的性能指標，常見的方法有以下兩種：

1）留一法

留一法是每次將樣本中的一個樣本作為測試集，其他的樣本作為訓練集，假設樣本有n個，則需要重復進行n次檢驗，n次分類準確率的平均值作為分類準確率，被實際評估的模型與期望評估的模型很相似，但比較適合小樣本的情況[8]。

2）K-折交叉驗證

將樣本平均分為k組，每次試驗將其中一組作為測試集，其他k-1組作為訓練集，則需要進行k次試驗，將k次分類準確率的平均值作為分類準確率，通常k的取值均大于1，常見的有5折和10折交叉驗證法[8]。

3 實驗與應用

3.1 數據描述

本文的數據來自UCI上的機器學習數據庫，為葡萄酒數據集，表示的是意大利同一地區3中不同品種的葡萄酒13中化學成分含量，以期通過某種模型算法，可以將葡萄酒自動分類[9]。

本次分類的數據共有178個樣本，每個樣本有13個屬性，并提供每個樣本的正確分類，共有三類葡萄酒，現在選取兩個屬性Flavanoids和Hue對葡萄酒數據進行展示，可以看到，三類葡萄酒數據基本可由一定的超平面將其分開。

3.3 實驗

本文采用的R語言進行建模，采用支持向量機軟件包e1071，采用svm函數，其中，變量type在R語言中可選參數有C-classification、nu-classification、one-classification、eps-regression、nu-regression[10][11]，前三種針對字符型結果變量的分類方式，第三種屬于邏輯判斷，后兩種針對數量型結果變量的分類方式，在R語言中，變量kernel可選參數有Linear、polynomial、radial、sigmoid，分別為線性核函數、多項式核函數、高斯核函數、Sigmod核函數，分別將type為C-classification、nu-classification、one-classification和kernel為Linear、polynomial、radial、sigmoid[10][11]組合的12種模型應用于葡萄酒數據集上，用十折交叉驗證法比較這12種組合模型的效果，采用10折檢驗數據的正確率的平均值作為模型檢驗的正確率。

可見，表現最差的是type為one-classification的支持向量機模型，無論核函數取哪一種正確率仍很低，表現最好的模型是type為nu-classification，核函數為線性核函數的支持向量機模型，識別的正確率為98.86%，通過觀察這一類模型十折交叉驗證正確率最高的為100%，共有八次達到正確分類，另外兩次的正確率分別是：94.12%和94.44%。因此我們可以看到這一葡萄酒數據集在支持向量機模型中分類判別表現較好。

4 總結

文章將支持向量機應用在葡萄酒數據集的分類識別中，通過實驗說明了當類型為nu-classification，核函數為線性核函數的支持向量機模型時，識別正確率最高，達到了98.86%。此外，通過了多種模型的比較，并且應用交叉驗證法進行驗證，降低了分類的誤差。

參考文獻：

[1] 周志華. 機器學習[M]. 清華大學出版社， 2016.

[2] 李航. 統計學習方法[M]. 清華大學出版社， 2012.

[3] Saurabh Paul， Malik Magdon-Ismail， Petros Drineas. Feature selection for linear SVM with provable guarantees[J]. Pattern Recognition， 2016， 60：205-214.

[4] Pirasteh A， Maghooli K， Mousavizadeh S. Iris recognition using localized zernikes feature and SVM[J]. Applied Mathematics & Computation， 2016， 168（2）：1128-1144.

[5] Shang W， Li L， Wan M， et al. Industrial communication intrusion detection algorithm based on improved one-class SVM[C]// Industrial Control Systems Security. IEEE， 2016：21-25.

[6] 李彤. 支持向量機的分解理論算法研究[J]. 河南科技， 2013（2）：9-10.

[7] 姚迪， 劉會杰， 劉潔， 等. 基于支持向量機的認知無線電頻譜感知[J]. 電子設計工程， 2018（21）.

[8] Xu P， Davoine F， Zha H， et al. Evidential calibration of binary SVM classifiers[J]. International Journal of Approximate Reasoning， 2016， 72（C）：55-70.

[9] Available at http：//blog.csdn.net/zjccoder/article/category/2397449

[10] 肖敏， 王小天， 韓路朋. 基于SVM的露天邊坡穩定性預測模型研究及R語言實現[J]. 露天采礦技術， 2018， 33（1）： 38-42.

[11] 姚興山. 基于統計的中文文本分類研究[J]. 情報理論與實踐， 2009， 32（5）：95-98.

【通聯編輯：王力】