淺談RVM核函數優化算法比較

張丹丹

（中國民航大學電子信息與自動化學院 天津 300300）

淺談RVM核函數優化算法比較

張丹丹

（中國民航大學電子信息與自動化學院 天津 300300）

相關向量機（RVM）預測模型是在2000年Tipped博士首次提出的基于貝葉斯框架構建學習機的一種概率稀疏模型，而且RVM還能處理回歸以及分類問題。本文總結了相關向量機的基本原理及主要應用領域，并詳細闡述了三種相關向量機核函數的優化模型，而且說明了每一種RVM核函數優化算法的優點以及缺點，并作出比較。希望對研究者今后的研究有所啟發，以促進該領域的發展。

相關向量機；核函數；優化算法

1 前言

RVM的訓練是在貝葉斯框架下進行的，可以用它進行回歸及分類模式分析。RVM克服SVM缺點：RVM的關聯向量數要低于SVM，擁有更優的泛化性能；能夠獲取點估計以及區間估計；不需要經過多次的驗算獲得最優的和C或ε類似的主觀設置值。與SVM類似的是RVM也利用核方法，把自變量映射到一個高維空間里面，獲得因變量和自變量線性回歸的稀疏解，然而核函數參數對RVM的性能會有很大的影響，怎樣方便快速地找到綜合性能最優的核函數參數到現在依舊沒有解析解理論指導，因為RVM的分類功能建立在回歸的基礎之上，本文嘗試使用了幾種算法獲取回歸綜合性能比較好的核參數數值解。

2 三種RVM核函數優化算法

2.1 RVM核參數優化的遺傳算法

遺傳算法是一類隨機優化算法，模擬了自然選擇和遺傳中發生的復制、交叉和變異等現象，從任一初始種群出發，通過隨機選擇、交叉和變異操作，得到一群更適應環境的個體，使群體進化到搜索空間中越來越好的區域，這樣不斷繁衍進化，最后收斂到一群最適應環境的個體，求得問題的最優解。

以實驗Sinc的訓練及測試數據為基礎，使用Gauss核函數，改進Tipping的RVM實驗程序，以σ為自變量，test RMS作為因變量構造適應度函數，利用Matlab7遺傳算法工具箱，通過實驗可以得到σ以較高的概率收斂在最優值附近，采用多次計算或依據較優解確定初始范圍的辦法，可以更準確地獲取最優解。

2.2 QPSO核函數優化算法

受粒子群算法和量子力學的啟發，Sun博士等人在2004年提出基于量子δ勢阱的粒子群模型的QPSO算法，該算法把量子行為引入到PSO算法里面，擁有全局收斂性，控制參數少，收斂速度快和尋優能力強這些優點。

采用高斯徑向基函數核函數作為RVM預測模型的核函數，該核函數具有較強的非線性處理能力，定義為K（x，y）=exp（-（x-y）2/2γ2），γ為核寬度，其對預測模型具有很大的影響，QPSO優化RVM預測模型核函數的大致步驟為：第一步初始化粒子初始位置、速度、粒子數量、尋優范圍、迭代次數、學習因子；接下來根據公式計算每個粒子的fitness，得出每個粒子的最優位置以及全局最優位置；在得出mbest；對粒子位置進行更新；然后判斷終止條件是否滿足條件，若不滿足，則繼續計算粒子的最優位置以及全局最優位置；若滿足條件則輸出尋優得到的RVM核函數最佳核寬度因子γ。

通過實驗可以得出不同的核寬度因子對組合模型的預測影響。通過與真實值的比較可以發現，不同的γ對數據預測的準確性有很大的差異，當是最佳值時，預測值非常逼近真實值，而隨著γ增大，預測曲線與真實曲線產生了更大的偏差，從而說明核參數優化的重要性。

2.3 基于QGA優化RVM核函數

選用高斯徑向基核函數作為RVM的基函數。QGA是在傳統GA中引入量子計算的概率以及機制形成的新型算法，充分使用量子計算具有天然的并行性，極大地加快了處理信息的速度。與傳統GA不同的是，QGA中的染色體用量子比特取代GA中的二進制串，采用量子比特編碼，使得一個染色體可以同時表達多個量子態的疊加，即僅通過一個小數量種群的量子個體來代替傳統數量較大的個體。此外，量子門操作這一獨特的處理步驟，使得QGA擁有良好的全局尋優能力。QGA擁有更好的多樣性特征以及更佳的收斂性。因此，采用GA的改進算法QGA自適應地選取最優核參數。

基于QGA優化RVM核函數的步驟為：第一步初始化參數（種群數量、代數等）；第二步核函數參數的量子比特編碼形成初始種群P（t）；第三步：測量種群P（t）的各個個體形成二進制種群Q（t）；第四步：交叉驗證訓練RVM；第五步：計算各個個體（待選參數值）的適應度；第六步：保留最優個體及對應的適應度為進化目標；接下來判斷是否滿足終止條件，若不滿足則返回到第四步，若滿足則輸出RVM最優核參數。

利用QGA優化RVM的好處是為了能夠得到最好的分類準確率。通過實驗可以表明QGA算法在測試過程中每次都能自動的選取到最好的核函數參數，說明了QGA算法在優化RVM過程中并行計算的優勢。

3 結束語

RVM是貝葉斯框架下的新興統計學習方法，擁有一部分SVM所沒有的優點。RVM使用核函數將回歸線性化，求得稀疏解，在現有核函數下避免過擬合，實驗表明核函數的參數對RVM回歸的綜合性能造成很大影響。介紹的三種優化核函數的算法中，遺傳算法是一類隨機優化算法，模擬了自然選擇和遺傳中發生的復制、交叉和變異等現象，經過迭代進化，最后收斂到一群最適應環境的個體，自動但不茫然，高效率地求得問題的最優解；QPSO算法將量子行為引入到PSO算法中，具有全局收斂性，控制參數少，收斂速度快以及尋優能力強這些特點；QGA具有很好的全局尋優能力、多樣性特征以及更好的收斂性。

[1]范庚，馬登武，張繼軍，等.基于自適應RVM的電子系統緩變故障預測方法[J].北京航空航天大學學報，2013，39（10）：1319～1324.

[2]Michael E.Tipping.The Relevance Vector Machine[J].Advances in Neural Information Processing Systems 12，652～658.Cambridge，Mass:MIT Press.

[3]白霜.基于PSO優化混合RVM模型的進出口貿易預測算法[J].計算機與自動化，2014，24（8）：1006～2475.

[4]王波，劉樹林，蔣超，張宏利.基于量子遺傳算法優化RVM的滾動軸承智能故障診斷振動與沖擊學報，2015，34（17）：923～928.

[5]Wu Z，Guang N E.Ensemble empirical mode decomposition:A noise-assisted data analysis method[J].Advances inAdaptive Data Analysis，20091(1): 1～41．

P332.8

A

1004-7344（2016）20-0306-01

2016-7-1

張丹丹（1991－），女，河南人，碩士研究生，研究方向為故障檢測與診斷。