支持向量機在柴油機尾氣分析中的核模型選擇

摘 要：研究支持向量機（SVM）中常用核函數及其參數對分類效果的影響。在此基礎上，聯系柴油機尾氣數據，應用交叉確認法（CV）得到在該數據集下擁有不同常用核函數的SVM的最優參數，及在最優參數下SVM的三個性能指標，即對訓練集的交叉確認準確率、對測試集的分類準確率和尋優時間。對比各性能指標，結果表明：對于柴油機尾氣數據，徑向基核函數模型所對應的訓練集交叉確認準確率最高，而其測試集分類準確率最低；線性核函數模型的尋優時間最短。綜合考慮SVM的學習能力、外推能力及尋優時間，決定選擇線性核函數作為SVM在柴油機尾氣分析中的核模型。

關鍵詞：支持向量機；尾氣分析；核函數；柴油機；交叉確認法

中圖分類號：TP312；TK428 文獻標識碼：A

The Nuclear Model Selection of SVM in the Analysis of Diesel Engine Exhaust Emissions

GAO Yang，LI Guozhang

(Department 1，Ordnance Engineering College ， Shijiazhuang 050003， China)

Abstract:The effect of ordinary kernels and their parameters of the Support Vector Machine (SVM) on classification are researched. Then， use Cross-Validation (CV) to obtain the optimum parameters of SVM with different ordinary kernel on the diesel engine exhaust emissions data， and 3 performance indexes of SVM， the CV accuracy on training data and the classification accuracy on testing data as well as the parameter optimizing time， under the corresponding optimum parameters respectively. Comparing the same type indexes， the results are， for the diesel engine exhaust emissions data， the RBF kernel model has higher accuracy than other models at the first index， but the lower one at the second; the Linear kernel model takes shorter time on parameter optimizing than other ones. Considering the learning and extrapolating ability as well as the parameter optimizing time， linear kernel is determined to be used in SVM in the analysis of diesel engine exhaust emissions.

Key words:SVM; analysis of exhaust emissions; kernel; diesel engine; CV

1 引 言

近年來，隨著人們對車輛尾氣排放的關注，相關的研究也開始活躍起來。部分研究者將研究目的設定為檢查并控制車輛的尾氣排放，其目標為設計出尾氣測試及控制方法^［1］。而另一部分研究者^［2］則將研究的重點放在通過車輛的尾氣排放情況來判斷車輛的故障情況。本文的研究即是后一類研究中的部分工作，即通過采集的尾氣排放數據判斷柴油機對應的故障類型。

本文采用支持向量機對采集樣本進行判斷，識別其所屬的故障類型。但對于支持向量機最優參數的確定，到現在還沒有統一的標準和方法可循^［3］。而且，支持向量機的最優參數的獲得，不僅與包括核函數在內的支持向量機本身性能有關，同時還與所利用的訓練樣本有關，這無疑加大了參數尋優的難度。本文擬在對支持向量機參數，特別是核函數及其各參數，對分類效果的影響作一定分析的基礎上，通過實驗對比，為支持向量機在柴油機尾氣分析上的應用選擇合適的核模型。

2 核模型及其對分類的影響

求解非線性支持向量機的二分類問題，就是解決下列凸二次規劃問題^［4］：

min α12∑mi=1∑mj=1yiyjK(xi，xj)αiαj－∑mj=1αj

s. t：0≤αi≤C， i = 1，2，…，m

∑mi=1yiαi=0其中，訓練集T={（x1，y1），（x2，y2），…， (xm，ym)} ∈(Rn×У)m，

xi∈ Rn，yi∈У={-1，1}，i = 1，2，…，m

K(xi，xj)為核函數。

由上式的解α=(α1，α2，α3...)T可得到判別函數

f(x)=sgn(g(x)).

從上面的式子可以看出，在支持向量機中，我們僅需確定參數C和核函數即可完成分類模型的建立。經過仿真發現，這兩者中核函數的作用尤為關鍵。

目前，在工程上常用的核函數有線性核函數、多項式核函數、徑向基核函數及sigmoid核函數^［5］。當然，也有針對具體數據集構造的核函數^［6］。雖說這樣的核函數具有更好的分類效果，但針對特定數據集專門構造核函數無疑增大了工程應用的復雜性。而且在實際中，選擇適當的常用核函數相對于構造的核函數對數據集的分類效果相差不大。所以，通常情況下，我們都是選用常用核函數。但在應用上，各常用核函數也具有各自不同的特點，這些特點從支持向量機的分類效果和運算速度等方面得以表現。下面本文針對各常用核函數的特點對其進行簡要的介紹。

線性核函數是一種最基本的常用核函數，其表達式為K(xi，xj)= xixj，其中，xi，xj∈Rn。運用此核函數的情況為，訓練集在樣本空間中便可以進行線性分劃。同時，在保證分類效果的前提下，若使用線性核函數，可以有效地提高計算速度和分類效率。但當訓練集在樣本空間是不可分的，或類別標簽與特征之間的關系為非線性關系時，線性核函數就不能達到預期的分類效果了。

多項式核函數也是較常用的一種核函數，其表達式為K(xi，xj)=κ(xi，xj)+rd， 其中xi，xj∈Rn，κ∈R+，r∈R，d∈Z+。多項式核函數可以將訓練樣本映射到高維空間，使其在特征空間中能夠被線性分劃。根據仿真實驗知道，多項式核函數具有較好的外推能力，且隨著階數d的降低，其外推能力增強，而學習能力則會隨之下降；相反，若果階數d升高，則其學習能力會升高，甚至產生過擬合現象，同時也會增大系統的復雜性，降低運算速度。此外，多項式核函數有三個參數需要確定，相對其他核函數顯得復雜了些，這在一定程度上影響了它的使用率。

徑向基核函數是用的最多的一種核函數，其表達式為K(xi，xj)=e－{‖xi－xj‖22σ2}，其中xi，xj∈Rn，σ∈R。根據文獻［7］^［7］可知線性核函數和多項式核函數是徑向基核函數的特殊情況。同時根據［8］^［8］可知，在某些參數情況下，sigmoid核函數和徑向基核函數具有相似的性能。同而且，徑向基核函數只有一個參數σ，相對其他核函數而言顯得更易掌握。所以該核函數在實際中使用率最高。雖說徑向基核函數只有一個參數，但這個唯一的參數對支持向量機的性能卻有著很大的影響。選擇不同的σ就相當于將樣本映射到不同的特征空間中，即對σ的選擇就是對特征空間的選擇。同時通過實驗發現，隨著σ的減小，SVM的學習能力加強，局部效應^［9］加重。當σ很小時產生過學習現象，此時所有的訓練樣本都被認為是支持向量，這將加大計算量，在訓練樣本較多時尤為明顯。同時，隨著σ的減小，SVM的外推能力會隨之降低。與此相反，隨著σ增大時，SVM的學習能力降低。當σ很大時，產生欠學習現象，此時SVM會將所有的樣本都歸為同一類。因此，在對σ的選擇中，應該兼顧SVM的學習和外推能力，選取恰當的σ值，使樣本在特征空間中能比較容易地實現線性劃分，同時簡化計算。

Sigmoid核函數源于神經網絡，其表達式為K(xi，xj)= tanh (κ(xi，xj)+r)，其中xi，xj∈Rn，κ∈R+，r∈R。此函數需要符合一些條件才能滿足作為核函數的要求，這在一定程度上影響了它的應用。

由本節可知，支持向量機僅需要確定參數C和核函數就可完成分類模型的建立。本文上面對常用核函數及其參數對分類效果的影響做了簡要的介紹，接下來就對參數C的影響效果做一簡要介紹。 

參數C是誤差懲罰系數，它能夠使模型在復雜度和訓練誤差間取得折中^［10］，使模型具有較好的學習及外推能力。當C較小時，對樣本誤判的懲罰就較小，從而使訓練誤差變大，當系統對新的樣本進行分類時，錯分率就會較高。當C過大時，系統對訓練樣本誤判的懲罰就很大，這樣系統對訓練樣本的錯分率很小，但對新樣本的錯分率卻很大。所以，對于C的選擇，不宜過大，也不宜過小，應該根據計算取得最優值，以使模型的學習能力及外推能力達到協調。

對于核函數參數及C的選取，現在常用的方法為k折交叉確認法（k-CV），其基本思想為：將所有訓練點隨機分成k個互不相交且大小近似的子集，每個子集扮演一次測試集，然后進行k次訓練和測試。將每次測試的錯誤點個數相加再比上全部測試樣本個數得到本算法的錯誤率， 1減去錯誤率即得到交叉確認的準確率。根據計算得到的交叉確認準確率大小來判斷包括核函數在內的各參數的取值最優點。本文對于柴油機尾氣分析中的最優參數確定也將采用這個辦法。

3 柴油機尾氣分析中的參數優化及核模型

分析

3.1 數據情況

本文的數據來源為對F3L912柴油機的四種模擬故障狀態下的尾氣測試數據。所謂模擬，即是在實驗室條件下，人為地設置相應故障。柴油機的主要技術參數見表1，相應故障的類別標號如表2。

測試中的數據屬性包括HC（碳氫化合物）、NO（氮氧化合物）、O2、CO、CO2和光吸收系數K值，它們在樣本中的排列順序及各自的單位如表3。

為了方便計算，本文僅選取柴油機在轉速為800轉/分左右，空載條件下處于各故障狀態下的尾氣排放的部分數據作為訓練及測試樣本。現將柴油機在該轉速狀態下測試所得的尾氣排放數據列于圖1。

(1)為低壓油路進氣故障

(2)為單缸高壓油管漏油故障

（3）為單缸失火故障

（4）為進氣嚴重堵塞

圖1 怠速工況下柴油機在各故障狀態下的尾氣排放屬性值變化

在各故障狀態數據中分別選取50個樣本點（隨機抽取），連同其對應標號組成一個具有200個樣本點的訓練集T1，然后再在剩下的各樣本中分別選取10個樣本點（隨機抽取），連同其對應標號組成一個具有40個樣本點的測試集T2。本文通過訓練集來建立模型并判斷模型的學習能力，而通過測試集來判斷模型的外推能力。在綜合考慮模型的學習及外推能力和參數尋優時間后，再最終確定選擇哪種核函數。對于各模型的參數，本文通過對訓練集采用上節提到的交叉確認法（CV）獲取，且對各模型均采用5折交叉確認法。

3.2 參數優化及對比

首先，本文運用線性核函數模型對T1進行交叉確認，以得到在此核函數下針對訓練集的最優參數，其訓練結果如圖2。Accuracy表示的是對訓練集的交叉確認準確率，這體現了模型的學習能力。從圖中可以看出，在C為0.0625時，Accuracy首次達到最大，且其參數尋優耗時0.42s。

圖2 應用線性核函數的訓練效果

其次，本文運用多項式核函數模型對T1進行交叉確認，在此令κ=1，r=0，其訓練結果如圖3。從圖中可以看出，在C為0.0068，階數d為2時，對訓練集的交叉確認準確率首先達到最大，且其參數尋優耗時695.95s。

圖3 應用多項式核函數的訓練效果

再次，運用徑向基核函數模型對T1進行交叉確認，其訓練結果如圖4。從圖中可以看出，在C為9.1896，12σ2=g=0.1088時，對訓練集的交叉確認準確率首次達到最高，且其參數尋優耗時16.14s。

圖4 應用徑向基核函數的訓練效果

最后，運用sigmoid核函數模型對T1進行交叉確認，在此令r=0，其訓練效果如圖5。從圖中可以看出，當C為10000，κ=g=1.5849×10-5時，對訓練集的交叉確認準確率首次達到最高，且其參數尋優耗時22.16s。

圖5 應用sigmoid核函數的訓練結果

現將使用不同核函數模型的CV結果列于表4。從表中可以看出，各核函數模型對訓練集的交叉確認準確率都比較高，這也說明了CV方法的有效性。

3.3 模型的對比分析

對比表4和表5發現，針對柴油機尾氣數據，各常用核函數用于支持向量機中都有不錯的性能表現，主要體現在他們的學習和外推能力上。其中，徑向基核模型對訓練集的交叉確認準確率甚至達到了100%，其他核模型也都達到了99%。而在測試中，徑向基核模型相對其它模型稍欠缺，但各模型實際效果差別都不是太大。從參數尋優時間上看，多項式核模型所用的時間遠遠多于其它核模型，而線性模型表現優越，其運算時間遠短于其它核模型。

4 結 論

綜合以上的對比，對于柴油機尾氣數據的分析，相對于其它常用模型，線性核函數模型具有更好的綜合性能，主要體現在其不錯的學習及外推能力和最短的尋優時間上。這說明，原尾氣數據在樣本空間中就有較好的線性可分性，若將樣本映射到特征空間中，不僅使分類更加復雜，而且還不一定有利于分類精度的提高。達到這個結論后，我們再反觀樣本數據圖1。從圖中可以看到，各故障模式在設定轉速下的排放數據在分布（主要在變化趨勢和各屬性值的數量級）上本身就各有特點，而且差別較明顯，這也解釋了線性核模型能夠較好地完成分類的原因。綜上所述，在用支持向量機通過尾氣數據判斷柴油機故障模式時，宜選用線性核模型。

參考文獻

［1］劉巽俊. 內燃機的排放與控制［M］. 北京：機械工業出版社，2003.

［2］ 滕飛. 基于灰靶理論和排放分析的柴油機狀態評估［J］. 車用發動機，2009，1:74-76.

［3］ 賈志杰. 基于支持向量機的柴油機燃油系統故障診斷［J］. 四川兵工學報，2008，8:12-14.

［4］ 鄧乃揚， 田英杰. 支持向量機-理論、算法與拓展［M］. 北京：科學出版社，2009.

［5］ GUSTAVO C V， LORENZO B. Kernelbased methods for hyperspectral image classification ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2005， 43：52-55.

［6］ 吳濤. 核函數的性質、方法及其在障礙檢測中的應用［D］.長沙：國防科學技術大學，2003.

［7］ KEERTHI S S， LIN C J. Asymptotic behaviors of support vector machines with gaussian kernel ［J］. Neural Computation， 2003， 15(7): 1667-1689.

［8］ LIN H T， LIN C J.A Study on sigmoid kernels for SVM and the Training of non-PSD kernels by SMO-type Methods ［D］. Taipei: Department of Computer Science and Information Engineering， National Taiwan University， 2003.

［9］ CHRISTIAN W， BARBARA C， ARNULF G. Recognition with local feature: the kernel recipe ［C］. Proceedings of the Ninth IEEE International Conference on Computer Vision， 2003.

［10］ZHANG Y， CHI Z X， LIU X D， WANG X H. A novel fuzzy compensation multi-class support vector machine ［J］. Applied Intelligence， 2007， 27: 21-28

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文