基于粒子群優化支持向量機的測控設備校準間隔預測

岳瑞華 楊學猛 徐中英

第二炮兵工程大學302教研室，西安 710025

美國標準局(NBS，現在為國家標準技術研究院NIST)提出的基于測量過程控制方法的量值傳遞方式——計量質量保證方案(MAP)[1]，把測量看成一個全過程,通過對測量數據的定期監控和分析,使測量過程始終處于連續的統計控制狀態。對大型武器系統的測試設備而言，在MAP的實施過程中如果能利用已有數據進行預測，進而對預測超差的設備提前檢定校準，則能夠更加及時有效地提供技術支持。

基于統計學習理論的機器學習方法——支持向量機(SVM，support vector machines)較好地解決了以往困擾很多學習方法的小樣本、非線性、過學習、高維數、局部極小點等實際問題，具有很強的泛化能力[2-3]，因而可以用來進行校準間隔預測[4-7]。而SVM核函數參數的選擇，對于SVM回歸估計的精度影響較大[8-9]。本文提出將粒子群優化算法(PSO)應用于SVM核函數參數的選擇[10]，利用改進的PSO-SVM對測量儀器的測量值進行預測，依據Shewhart控制圖或給定不確定度提前檢出超差值，及時對測試設備檢定校準。

1 SVM回歸

設樣本集為：(y1,x1),…,(yl,xl),x∈Rn,y∈R，回歸函數用下列線性方程來表示，

f(x)=ωTx+b

(1)

最佳回歸函數通過求以下函數的最小極值得出，

(2)

其中，C是設定的懲罰因子值，ξ,ξ*為松弛變量的上限與下限。

Vapnik提出運用下列不敏感損耗函數：

(3)

通過優化方程：

(4)

求解：

(5)

(6)

對于非線性模型，可通過一個非線性映射將數據映射到高維的特征空間中，在其中進行線性回歸。非線性SVR的解即可通過下面方程求出：

(7)

回歸函數f(x)則為：

(8)

其中，應用最廣泛的是RBF核，無論是低維、高維、小樣本及大樣本等情況，RBF核函數均適用，具有較寬的收斂域。

2 粒子群優化

粒子樣優化算法(PSO)是一種進化優化算法，源于對鳥群捕食行為研究，已經被證明是一種很好的優化方法[10]。其數學描述如下：在連續空間坐標系中，設粒子群個數為m，每個粒子的坐標為xi=(xi1,xi2,…,xiD)，每個粒子的飛行速度為vi=(vi1,vi2,…,viD)，每個粒子都有一個優化目標函數決定的適應值，對于第i個粒子，其所經過的歷史最好位置記為pi=(pi1,pi2,…,piD)，也稱為個體極值pbest；整個群體中所有粒子發現的最好位置記為pg=(g1,g2,…,gD)，也稱為全局極值gbest。粒子就是根據這2個極值來不斷更新自己的速度和位置：

vij(k+1)=vij(k)+c1r1(pij-xij(k))+

c2r2(gij-xij(k))

(9)

xij(k+1)=xij(k)+vij(k+1)

(10)

其中：i=1,2,…,m，m表示粒子的總個數；j=1,2,…,D，D表示一個粒子的維數，即算法所優化的第j個參數，根據具體的優化問題而定；r1,r2為[0,1]之間相對獨立的隨機數；c1,c2為加速因子，通常在[0,2]間取值。為保證收斂性和收斂速度，加入收縮因子γ，(9)式即為：

vij(k+1)=γ{vij(k)+c1r1(pij-xij(k))+

c2r2(gij-xij(k))}

(11)

在每一次迭代過程中，每個粒子都需要根據目標函數來計算其適應值大小，目標函數可以是均方誤差、方差、標準差等。然后根據適應值來確定當前粒子最優位置pij(k)及群體最優位置pgj(k)，然后根據式(10)和式(11)調整各個粒子的速度及位置。其結束條件為：

1)迭代次數達到設定值，通常設定最大迭代次數為100代[11]；

2)群體迄今為止搜索到的最優位置滿足預設最小適應值，通常預設適應值為0。

3 PSO-SVM

SVM的自選參數C，ξ和γ的選擇，對于SVM回歸估計的精度影響很大。其中參數C可以根據樣本數據的特性，決定模型的復雜度和對大于ξ的擬合偏差的懲罰程度。ξ值過大或過小，都會使系統的泛化能力變差。參數表明了系統對估計函數在樣本數據上誤差的期望，其值影響了構造回歸函數的支持矢量數目。ξ值過大，回歸估計精度低，支持矢量數量少，會導致過于平滑的估計；ξ值過小，不敏感損失函數作用變小，預測結果的魯棒性減弱。核函數的參數γ反映了訓練數據的特性，對于系統的泛化能力影響較大。因此，只有合理選擇參數，才可以使SVM回歸估計得到很好的擬合效果。

如何合理選擇SVM的參數，目前尚無有效的方法，一般通過交叉驗證試算或梯度下降法求解，為此，本文采用粒子群優化算法實現對SVM參數的自動優化選擇。為了實現SVM參數的優化選擇，首先將樣本數據分為2部分：訓練樣本集和測試樣本集。訓練樣本集用于回歸SVM的訓練，即求解形如式(4)的二次優化問題，得到SVM的回歸估計模型，將訓練結果代入式(8)進行預測，采用均方根誤差(MSE)作為適應度評價指標：

(12)

本文中，PSO用來選擇解決模型選擇問題，決定用來預測測試設備校準間隔的SVM回歸模型參數值[10]。SVM中參數C,ξ和高斯核函數的參數γ作為PSO算法的決策變量。因此，三維向量中，第i個粒子屬性xi=(xi1,xi2,xi3)，pi=(pi1,pi2,…,pi3)，vi=(vi1,vi2,…,vi3)分別對應于參數C，ξ和γ。

采用帶收縮因子的局部最優PSO模型，算法流程見圖1，具體步驟如下：

步驟1 參數初始化：視向量C，ξ和γ為粒子，確定粒子群規模m，確定加速度因子c1,c2，初始化r1,r2，設置最大迭代次數；

步驟2 將每個粒子的個體極值位置設置為當前位置，計算每個粒子的初始適應度，取適應度最好的粒子所對應的個體極值作為最初的全局極值；

步驟3 按照式(9)、式(10)和式(11)進行迭代計算，更新粒子的位置和速度；

步驟4 由式(12)評價每個粒子的適應值；

步驟5 將更新后的每個粒子的個體極值pbest與全局極值gbest比較，若pbest優于gbest，則gbest=pbest，否則保留原值；

步驟6 更新迭代次數，i=i+1；

步驟7 判斷是否滿足結束條件，滿足則輸出全局最優解作為支持向量機的最優參數向量，否則返回步驟3；

步驟8 根據優化的參數向量建立SVM校準間隔預測模型。

圖1 粒子群優化支持向量機算法流程圖

4 測試設備校準數據預測實例

數據來自于計量站對一大型測控設備某計量標準器的1kΩ電阻10年間的校準記錄[12]。該標準在滿足統計受控條件下每年由上級計量單位進行一次檢定，兩次檢定期間，利用更高精度的計量標準對其每月進行一次精度核查，共得到120個校準誤差數據。

圖2(a)，(b)，(c)列出了PSO-SVM與SVM預測效果對比，圖2(d)是預測性能的直觀展示。

圖2 SVM和PSO-SVM的預測結果

用于校準間隔預測的傳統SVM方法和所提SPO-SVM方法的均方根誤差對比見表1。

表1 預測效果評價

相比參數優化前，MSE降低了0.1503mΩ。由此可見，本文提出基于PSO算法優化的SVM對大型測控設備計量校準間隔進行預測不僅是可行的，而且可以獲得較好的預測，是一種有效的預測方法。

5 結語

充分利用了粒子群優化算法對支持向量機的參數進行全局并行尋優能力和SVM強大的非線性映射功能，將PSO與SVM兩種方法進行有機組合，提出了基于PSO-SVM的預測方法并應用于大型測控設備的校準間隔的預測。實例驗證該方法相比SVM具有更好的預測效果，并可與Shewhart控制圖結合，將MAP中發現超差后的校準轉變為基于粒子群優化支持向量機的預測校準，該方法對于提高計量質量保障水平具有參考意義。

[1] 王立吉.計量質量保證方案[M].中國計量出版社, 1992.

[2] 張學工.關于統計學習理論與支持向量機[J].自動化學報, 2000(1):36-46.(ZHANG Xuegong.Introduction to Statistical Learning Theory and Support Vector Machines[J].Acta Automatic Sinica, 2000(1):36-46.)

[3] Sch?lkopf B, Smola A J.Learning with Kernels—Support Vector Machines, Regularization, Optimization, and Beyond [M].MIT Press: London, England,2002.

[4] 孫群, 趙穎, 孟曉風.基于支持向量回歸的自動測試系統校準間隔動態優化[J].兵工學報, 2009,(1):76-80.(SUN Qun, ZHAO Ying, MENG Xiaofeng.Optimization of Calibration Interval for Automatic Test System Based on Support Vector Regression[J].Acta Armamentarii, 2009,(1):76-80.)

[5] 尉詢楷, 李應紅, 張樸, 等.基于支持向量機的時間序列預測模型分析與應用[J].系統工程與電子技術, 2005,(3): 529-532.(WEI Xunkai, LI Yinghong, ZHANG Pu, et al.Analysis and Applications of Time Series Forecasting Model via Support Vector Machines [J].Systems Engineering and Electronics, 2005,(3): 529-532.)

[6] 余學鋒, 錢成, 文海.測量儀器校準間隔的確定及其模型[J].計量學報, 2002(1): 74-77.(YU Xuefeng, QIAN Cheng, WEN Hai.Determination of the Calibration Interval for a Measuring Instrument by Stochastic Model [J].Acta Metrologica Sinica, 2002,(1): 74-77.)

[7] 余學鋒, 王亞梅, 田建柱.測量設備校準間隔確定方法工程化應用與發展[J].中國測試, 2009,(4):15-18.(YU Xuefeng, WANG Yamei, TIAN Jianzhu.Development and Application of Engineering for Measurement Equipment Calibration Interval Analysis Method [J].China Measurement & Test, 2009,(4):15-18.)

[8] 閻威武, 邵惠鶴.支持向量機和最小二乘支持向量機的比較及應用研究[J].控制與決策, 2003,18(3):358-360.(YAN Weiwu, SHAO Huihe.Application of Support Vector Machines and Least Squares Support Vector Machines to Heart Disease Diagnoses [J] .Control and Decision, 2003,18(3):358-360.)

[9] Yang J, Zhang Y.Application Research of Support Vector Machines in Condition Trend Prediction of Mechanical Equipment[J].Lecture Notes in Computer Science 2005,3498:857-864.

[10] Aydin I, Karakose M, Akin E.A Multi-objective Artificial Immune Algorithm for Parameter Optimization in Support Vector Machine [J].Applied Soft Computing, 2011,11:120-129.

[11] Pai P-F, Hong W-C.Software Reliability Forecasting by Support Vector Machines with Simulated Annealing Algorithms [J].Journal of Systems and Software,2006,79:747-755.

[12] 劉如峰.軍事計量標準精度非線性組合預測方法研究[D].西安: 第二炮兵工程學院, 2010.

[13] Bergh F D, Engelbrecht A P.A Study of Particle Swarm Optimization Particle Trajectories [J].Information Science, 2006, 176(8):937-971.

[14] V.K.Support Vector Machines—An Introduction.In Support Vector Machines: Theory and Applications [M].Berlin: Springer, 2005.

[15] 吳曉軍, 楊戰中, 趙明.均勻搜索粒子群算法[J].電子學報, 2011(6): 1261-1266.(WU Xiaojun, YANG Zhanzhong, ZHAO Ming.The Convergence Analysis of the Uniform Search Particle Swarm Optimization [J].Acta Electronica Sinica, 2011,(6): 1261-1266.)