基于改進網格搜索法的支持向量機在氣體定量分析中的應用

曲 健,陳紅巖,劉文貞,李志彬,張 兵,應亞宏

(中國計量學院機電工程學院,杭州 310018)

?

基于改進網格搜索法的支持向量機在氣體定量分析中的應用

曲 健,陳紅巖*,劉文貞,李志彬,張 兵,應亞宏

(中國計量學院機電工程學院,杭州 310018)

針對氣體定量分析中,支持向量機建模的參數難以確定以及現有的方法歷時長等問題,提出了一種改進的網格搜索法,用于建立基于紅外光譜的CO2氣體定量分析模型。通過對汽車尾氣中CO2氣體的初始數據進行優化,再將優化的核函數代入支持向量機進行濃度的回歸分析。對濃度范圍在0.025%～20%的20組不同濃度的CO2氣體進行定量分析,并與PSO算法作對比。實驗表明,采用改進的網格搜索法獲得的最佳參數c=0.25,g=2.828 4,PSO獲得的最佳參數c=18.302 1,g=0.01,所用時間比PSO算法節省約5倍。預測結果誤差在5%以內,符合國家對尾氣排放的相關標準。

傳感器應用;支持向量機;網格搜索;定量分析;紅外光譜

機動車尾氣排放已經成為污染環境的重要因素,尾氣排放的氣體主要有CO、NO、CO2、HC化合物等。CO2是溫室氣體,過量排放將嚴重影響我們的生活環境。在CO2氣體定量分析方法中,主要采用紅外吸收法,但由于傳感器元器件的老化、溫度的變化、供電電壓的波動等因素,導致測量的精度不是很高,無法對汽車尾氣排放進行有效的檢測和監督。

提高氣體測量精度的方法主要有人工神經網絡[1-2](ANN)方法和支持向量機[3-5](SVM)方法等。其中,劉建國[1]等人將RBF神經網絡應用到可燃混合氣體的分析中,克服了傳感器陣列在混合氣體檢測中的交叉敏感現象;金翠云[6]等利用粒子群優化算法對支持向量機進行參數優化,并應用于電子鼻氣體定量分析中,得到了最優參數組合進一步提高了預測精度;Manouchehrian Amin[7]等運用基于遺傳算法尋優方法的支持向量機,建立回歸模型,預測巖石的強度和可變性屬性;陳媛媛[8]等研究粗糙集核優化的SVM,應用到多組分污染氣體定量分析中,使預測精度和運算時間有所提高;付華[9]等利用MPSO優化的基于柯西分布加權的最小二乘支持向量機(CWLS-SVM)算法來預測非線性動態瓦斯涌出量,有效的提高了瓦斯涌出量的預測精度,降低了預測誤差。神經網絡算法的收斂性及預測的準確度受初始權值和閥值的選擇影響很大,因此輸出具有不一致性,容易陷入局部極小值,而支持向量機算法可以有效地避免上述問題。

本文以SVM為基礎對濃度范圍在0.025%～20%的20組CO2氣體樣本進行定量分析,選取其中15組樣本作為訓練集,建立SVM回歸模型,并對訓練集進行預測分析,以檢測模型的準確度;選擇剩余的5組氣體樣本作為驗證集,驗證模型的預測精度和水平。在SVM參數的選取問題上,提出了改進的網格搜索法參數尋優。

1 SVM回歸校正模型理論

SVM[10]算法是根據結構風險最小化原則[11]設計的一種統計學習理論,具有小樣本學習能力強、模型推廣性能好以及高維數據處理能力強等優點。SVM回歸校正模型,就是利用SVM核函數,將CO2紅外光譜輸入數據利用非線性映射Φ,映射到高維空間,然后在高維空間進行回歸分析,建立紅外光譜數據與待測CO2氣體濃度的回歸校正模型。

本文將已知濃度的CO2樣本作為訓練集T={(x1,y1),…,(xN,yN)}∈(Rn×R)N,其中xi∈Rn為第i個待測CO2氣體樣本,xi=(x1,x2,…,xL)為在掃描波長范圍內L個光譜數據,yi∈R為對應的待測CO2氣體濃度值,i=1,2,…,N。在高維空間需要求解的光譜與待測CO2氣體濃度的回歸函數f(xi)可表示為如下形式:

f(xi)=ω·φ(xi)+b

(1)

式中:ω·φ(xi)為向量ω與φ(xi)的內積;ω為回歸系數,b為閥值。

在此引入松弛變量ξ,ξ*≥0來求解ω與b,根據SRM準則,將式(1)轉換為凸二次規劃問題:

(2)

s.t. ±[yi-ω·φ(xi)-b]≤ε+ξi,i=1,2,…,N

(3)

式中:C為懲罰參數,ε為回歸函數結果與待測氣體樣本的誤差精度。

引入Lagrange函數求解式(2),通過核函數k(xi,xj)將高維空間的內積運算轉換在原二維空間計算,有:

(4)

得到的SVM回歸校正模型的回歸函數為:

(5)

式中:若αi不為零或者αi不為零,表示此樣本即為支持向量。

常用的核函數有線性核函數、多項式核函數、徑向基(RBF)核函數、Sigmoid

核函數。由于Gauss函數能較好的模擬光譜信號,所以本文選用RBF核函數。其表達式如下:

K(xi,xj)=exp(-g‖xi-xj‖2),g>0

(6)

式中:參數g為gamma參數函數設置(若k為屬性的數目,則g默認為1/k)。

2 改進的網格搜索尋優方法

SVM的回歸模型的建立需要進行參數的優選,主要是選擇參數c和g。網格搜索法[12]的基本原理是讓c和g在一定的范圍劃分網格并遍歷網格內所有點進行取值,對于取定的c和g利用K-CV[13]方法得到在此組c和g下訓練集驗證分類準確率,最終選擇使訓練集交叉驗證分類準確率最高的那組c和g作為最優參數組合。這種傳統方法,如果采用較小的步長,會使得優化時間過長,采用較大的步長又可能陷入局部最優。而改進的網格搜索法,首先,在較大范圍內采用大步距進行粗搜,選擇使分類準確率最高的一組c和g。在尋得了局部最優參數之后,再在這組參數附近選擇一個小區間,采用傳統方法中的小步距進行二次精搜,找到最終的最優參數。具體的尋優過程如圖1所示。

圖1 改進網格搜索尋優流程圖

3 實驗與分析

本實驗采用不分光紅外法(NDIR)對CO2濃度進行檢測。經過MCU調制的紅外光源通過一定長度的氣室內,氣室中充有待測濃度的CO2氣體。由于CO2對紅外線波段中特征波長紅外線能量的吸收,特定波長的光源通過氣體后,在相應譜線處會發生光強的衰減,紅外線的能量將減少,探測器檢測剩余的光強度并轉化為電信號,放大濾波后作為模型的輸入。整個測試系統的原理如圖2所示。

圖2 NDIR測試系統原理圖

圖2中,檢測系統的核心部件—傳感器,包括進氣口、出氣口、光源、氣室、探測器和信號處理電路等部分。如圖3所示。

圖3 傳感器裝置實物圖

以標準濃度在0.025%～20%之間的20組CO2氣體作為實驗樣氣,對標準濃度進行歸一化處理,便是模型的期望輸出。選擇濃度為0.025、0.12、0.23、0.46、0.62、1.05、2.00、4.02、5.04、6.03、8.09、10.01、14.10.16.20、20.20的15組樣本為訓練集,建立SVM模型并查看模型在訓練集上的回歸效果;選擇濃度為0.82、2.99、7.06、12.03、18.30的5組樣本為測試集,用建立好的模型對測試集進行回歸預測,并驗證SVM模型的預測精度和水平(詳情見表一)。模型的建立需要找到最優的懲罰參數c和RBF核參數g,本文采用改進的網格搜索法進行參數尋優的實驗過程如下:

①設定初始網格搜索的(c,g)范圍和步距。國際上對于(c,g)的范圍并沒有明確的限定,但過高的c會引起模型的過學習,所以本實驗設定的初始范圍c為-8～8(取以2為底的冪指數后),g為-8～8。由于進行粗略參數選擇,目的是找到參數的大概位置,步距設為2。

②采用交叉驗證的方法,其中交叉驗證折數K取5,得到使分類準確率最高的局部最優參數,c=4,g=0.0625。

③在得到的局部最優參數的附近,重新定義搜索范圍和步距,其中c為-6～-2,g為-4～4,步距為0.5。進行精細化選擇,二次尋優的結果如圖4所示。

選定好最優參數組合(c,g)后,對訓練集進行訓練,建立SVM回歸模型,之后對測試集進行回歸分析。

圖4 參數選擇結果視圖

在訓練集上驗證模型的回歸效果,結果顯示均方差為0.001 98,相關系數為98.67%,說明模型的回歸分析能力是較好的,能夠很好地預測出標準氣體樣本濃度。測試集樣本的實際濃度值和模型預測的濃度值對比圖如圖5所示,驗證集樣本的實際濃度值和模型預測的濃度值對比圖如圖6所示。

圖5 訓練集實際濃度和預測輸出對比圖

圖6 測試集實際濃度和預測輸出對比圖

由圖5可以看出利用訓練集建立的模型對訓練集本身做預測時,效果是比較不錯的;將模型應用于測試集的預測,效果明顯,曲線很好地逼近真實濃度,說明本實驗建立的模型預測精度高,可以應用于CO2氣體的回歸預測。

若采用PSO優化算法[14],首先需要計算粒子的初始適應度值和初始化局部最優和全局最優,尋優的流程如圖7所示,最終尋優結果曲線如圖8所示。

圖7 PSO參數優化流程圖

圖8 PSO尋優結果圖

由圖8可以看到,最終優選結果的粒子適應度值基本上圍繞在0.05～0.25之間,相對比較集中。

通過實驗,可以得到兩種方法的尋優結果對比,包括尋優時間長短、最終模型參數以及測試結果均方差大小,如表2所示。測試數據的仿真結果及平均絕對誤差如表1所示。

由表1、表2可以看出:兩種方法建立的氣體定量分析模型的測試誤差水平基本相當。采用改進的網格搜索法進行參數尋優,參數c明顯小于PSO法,而過高的c容易引起模型的過學習;尋優時間約為PSO的1/5,均方誤差略高于PSO。犧牲一點準確率而節省尋優時間是可以接受的。因此應用此方法建立氣體定量分析模型是有效可行的。改進式網格搜索法算法實現簡單、優化率高,通過步距的調整縮短了尋優時間,提高了收斂速度。

表1 仿真結果對比

表2 尋優結果對比

4 結論

本文將改進的網格搜索法應用于支持向量機的參數尋優,對濃度范圍在0.025%～20%的標準CO2氣體進行定量分析,選取其中15組樣本作為訓練集,建立了SVM回歸模型,并對訓練集進行預測分析,以檢測模型的準確度;選擇剩余的5組氣體樣本作為驗證集,驗證模型的預測精度和水平。在SVM參數的選取問題上,提出了改進的網格參數尋優法,取得的最優參數組合(c,g)為(0.25,2.828 4)。模型的仿真絕對誤差在5%以內,符合國家關于尾氣排放的檢測標準,能夠滿足氣體測量的實際需求。與啟發式算法PSO相比,在誤差精度相差不大的情況下,尋優時間明顯減少,因此,改進的網格搜索法與SVM相結合在CO2氣體紅外光譜的定量分析建模中具有一定的發展潛力和挖掘空間。

[1] 劉建國,安振濤,張倩. 基于傳感器陣列的可燃混合氣體RBF網絡分析[J]. 裝備環境工程,2013,10(3):113-116.

[2]袁力哲,楊憲江,王宇. 基于自適應遺傳BP算法的混合氣體定量檢測研究[J]. 儀表技術與傳感器,2013(6):118-120.

[3]喬聰明. PLS-SVR的三組分混合氣體定量分析[J]. 太原理工大學學報,2014,45(1):120-122,127.

[4]林繼鵬,劉君華. 基于支持向量機的多組分氣體分析[J]. 西安交通大學學報,2005,39(6):586-589.

[5]張其林. 基于支持向量機的紅外光譜混合氣體組分分析[J]. 計算機時代,2010(1):9-11.

[6]金翠云,崔瑤,王穎. 粒子群優化的SVM算法在氣體分析中的應用[J]. 電子測量與儀器學報,2012,26(7):635-639.

[7]Manouchehrian Amin,Sharifzadeh Mostafa,Hamidzadeh,et al. Selection of Regression Models for Predicting Strength and Deformability Properties of Rocks Using GA[J]. International Journal of Mining Science and Technology,2013,23(4):495-501.

[8]陳媛媛,張記龍,李曉,等. 基于粗糙集核優化的支持向量機在多組分污染氣體定量分析中的研究與應用[J]. 光譜學與光譜分析,2010,30(12):3384-3387.

[9]付華,王馨蕊,楊本臣,等. 基于MPSO-CWLS-SVM的瓦斯涌出量預測[J]. 傳感技術學報,2014,27(11):1568-1572.

[10]白鵬,劉君華. 基于多維光譜的多組分混合氣體濃度支持向量機算法[J]. 化工自動化及儀表,2005,32(5):43-47.

[11]哈明虎,田景峰,張植明. 基于復隨機樣本的結構風險最小化原則[J]. 計算機研究與發展,2009,46(11):1907-1916.

[12]王興玲,李占斌. 基于網格搜索的支持向量機核函數參數的確定[J]. 中國海洋大學學報,2005,35(5):859-862.

[13]湯寶平,劉文藝,蔣永華. 基于交叉驗證法優化參數的Morlet小波消噪方法[J]. 重慶大學學報,2010,33(1):1-6.

[14]付華,王馨蕊,王志軍,等. 基于PCA和PSO-ELM的煤與瓦斯突出軟測量研究[J]. 傳感技術學報,2014,27(12):1710-1715.

Application of Support Vector Machine Based on Improved Grid Search in Quantitative Analysis of Gas

QUJian,CHENHongyan*,LIUWenzhen,LIZhibin,ZHANGBing,YINGYahong

(College of Mechanical and Electrical Engineering,China Jiliang University,Hangzhou 310018,China)

According to the difficult in selecting parameter of SVM when modeling on the gas quantitative analysis,and existing methods need long time,SVM optimized by improved grid search method was proposed to built an infrared spectrum quantitative analysis of gas. According to this method,the spectrum data of CO2in vehicle exhaust is optimized. The kernel function leads SVM and calcu-late the concentration. By using improved grid search and PSO to make the contr-ast,quantitatively analyzed 20 different concentrations of CO2in the concentration range between 0.025%～20%. The experiment results show that this method getsc=0.25,g=2.828 4,PSO getsc=18.302 1,g=0.01,the time of modeling by improved grid search was reduced to one fifth of that of PSO optimization. And the prediction error is less than 5%,in line with national standar-ds for exhaust emissions.

sensor application;SVM;grid search;quantitative analysis;infrared spectrum

曲 健(1989-),男,山東青島人,在讀研究生,主要研究方向為檢測技術,13645712326@163.com;

陳紅巖(1965-),男,浙江杭州人,教授,研究生導師,浙江大學內燃機工程專業碩士、博士學位;上海交通大學動力與機械工程專業博士后。主要研究領域為汽車電子、發動機排放與控制等,bbchy@163.com。

2015-01-05 修改日期:2015-02-03

C:7230;4145

10.3969/j.issn.1004-1699.2015.05.027

TH744

A

1004-1699(2015)05-0774-05