LSSVM 的特征選擇算法在燒結過程的應用

汪建新 ，吳永剛 ，2，陳肖潔

（1.內蒙古科技大學，機械工程學院，內蒙古 包頭 014010；2.內蒙古包鋼鋼聯股份有限公司煉鐵廠，內蒙古 包頭 014010）

1 引言

支持向量機（support vector machine，SVM）是一種以結構風險最小化為理論基礎的統計學習方法，較好地解決了維數災難，具有全局最優解等優點[1]，目前得到了廣泛的應用推廣，如混沌時間序列預測[2]、轉子故障診斷[3]等。SVM的求解采用凸二次規劃方法，運算過程需耗費大量的內存和時間。為提高運算速度和減少儲存內存，文獻[4-5]提出了最小二乘支持向量機（least squares support vector machine，LSSVM），巧妙地，將SVM中的二次規劃問題轉化為線性方程組求解，降低了求解的復雜度，解決了多元建模的求解問題。由于種種原因，數據的樣本特征會含有一些無關特征。特征選擇[6]可以去除冗余特征、無關特征甚至噪聲特征，篩選出一個干凈的樣本集，以便提高數據的識別效率和增強實際問題的可理解性。換言之，特征選擇一般是指從輸入特征集中按照某種評估標準選擇出最優的特征子集，以達到去除冗余特征、無關特征、甚至噪聲特征，提高學習精度的目的。特征選擇算法一般要與所采用的學習算法結合使用，結合LSSVM中的最小二乘回歸機（least squares support vector regression，LSSVR）和特征選擇，鑒于LSSVM的高效計算性，將其運用于特征選擇是可行的，通過對燒結過程中的建模的仿真實驗，驗證所提算法的有效性。

2 LSSVM

LSSVM用如下函數對輸入的x進行預測：

式中：φ（x）—非線性函數，可將輸入空間映射到一個更高維的特

征空間，以便在高維特征空間中以線性擬合的方式求解輸

入空間的非線性擬合問題。

給定一組訓練集（xi，yi）｝，xi∈Rn為輸入向量，yi∈Rn為相應于xi的輸出，在文獻[7]所提出的嶺回歸公式中，令α=1/r，回歸問題的約束優化問題可表示如下[8]：

式中：ω—權向量；r—正則化參數；ek—誤差變量；b—常值偏差。

通過建立Lagrange函數來求解上述式（2）～式（3）的優化問題：

式中：αk—Lagrange乘子，αk≠0的樣本點為支持向量。分別對ω，

b，e，α求偏微分，帶入化簡，得到如下方程組的形式：式中：Ωi，j=φ（xi）T（xj）T=k（xi，xj），其中 k=1，…，l，Y=（y1，…，yl）T1=（1，…，1）Tα=（α1，…，αl）TI=eye（1，…，1）T且 I為與 Ω同階的單位矩陣。

解方程（5）得到a，b后，同時，當給定實際集合x，即新的輸入向量，其輸出y（x）可用如下公式計算：

LSSVM模型的非線性映射能力是由核函數決定的[2，9]。常見的核函數有線性核函數、多項式核函數和RBF核函數，其形式分別分別如下：k（x，xi）=＜x，xi＞，k（x，xi）=（＜x，xi＞+1）q，k（x，xi）=exp

不同的映射形式，不同的核函數類型在學習能力和泛化能力上存在很大的差異性。分別使用線性核、多項式核和RBF核訓練和測試樣本。

3 LSSVM的特征選擇算法及其應用

一個多特征的樣本中，其每個特征的重要性存在差異，即每個特征對數據正確預測的貢獻率有程度上的不同。為了檢驗每個特征是否重要及重要性程度如何，利用LSSVM對樣本中的每一個特征進行測試，記錄其預測均方誤差，并排序。具體的建模與排序算法步驟如下：

步驟1：初始化算法參數，如多形式核的參數q和RBF核的參數σ；步驟2：對于xi∈R中的n維特征，取t=1，即選出第一個特征x（iT）；步驟3：對選出的特征x（iT）進行LSSVM學習訓練和測試，并記錄其 mse（t）。

式中：l—預測樣本個數；yi—目標值—預測值；mse—均方誤差，test accuracy=1-mse—預測準確率。mse誤差越小，說明模型的預測精度越高，該特征對樣本越重要的重要性程度越高。

步驟4：選取下一個特征x（iT），t=2，3，…，n；步驟 5：轉步驟 3，或轉步驟 6；步驟 6：將所有的 mse=［mse（1），…mse（n）］按從小到大排序，記錄相對應的特征重要性的順序，并按其順序將樣本數據的特征重新排列；步驟7：依次選取排序后的樣本特征中的第一個，前2個，…，所有n個特征分別對樣本進行學習和預測，并記錄相應的均方誤差和預測準確率。將LSSVM的特征選擇算法應用于燒結過程建模中，其具體的應用流程圖，如圖1所示。

圖1 燒結數據實驗流程圖Fig．1 Experimental Flow Chat of Sintering Dataset

4 實驗

選取包鋼鋼聯股份有限公司煉鐵廠燒結過程的實際生產數據為實驗樣本，以驗證所提出的LSSVM的特征選擇算法的有效性。該數據共有391個，以燒結礦的堿度為質量指標，建立輸入數據到輸出數據的預測模型。燒結過程是一個復雜的多變量、非線性、強耦合的物理和化學過程[10]，經過現場實際分析發現，影響堿度的主要因素有：料量、高返料量、冷返料量、焦煤料量、干餾煤料量、蒙古礦配比、混勻礦配比、生石灰配比、白云石配比、FeO含量、CaO含量、SiO2含量、Fe含量、機組速度、點火溫度、主管負壓、主管溫度等27個。選取總樣本的30%為測試集和總樣本的70%為訓練集，訓練集中的30%為訓練-訓練集和70%為訓練-測試集。

4.1 數據預處理

在建立預測模型之前，必須要對數據進行歸一化處理，以消除各項輸入及輸出數據間量綱不一致對數據分析造成的影響。歸一化公式如下：

式中：i—樣本的某個輸入特征；x′（：，i）—歸一化后的變量；x（：，i）—原始變量。

4.2 實驗過程

為了驗證上述所提LSSVM的特征選擇算法的有效性，設置初始參數σ=2，選用RBF核函數，按第3部分的算法和圖1的流程圖進行實驗：訓練集，訓練-訓練集和訓練-測試集對每一個特征重要性程度進行測定，為了減少偶然因素對實驗結果造成的影響，采用10次實驗結果（均方誤差）的平均值作為排序依據；然后，按照排序后的樣本特征，對訓練集和測試集進行LSSVM訓練學習和預測。實驗中選用預測樣本的預測準確率作為算法的評價指標。圖2顯示了3次實驗，按樣本特征重要性程度每添加一個特征的實驗結果圖。運用所有的樣本特征時，LSSVM分別使用線性核、多項式核和RBF核進行實驗，其參數為，為驗證最小二乘支持向量機對樣本數據預測的有效性，參與比較的算法有：5折交叉驗證（5-foldcrossvalidation）經典SVM，最小二乘（leastsquare，LS），BP 神經網絡。5 折交叉驗證法：設置懲罰系數 C=｛2-8，2-7．5，…，27．5，28｝和 1/σ2=｛2-8，2-7．5，…，27．5，28｝進行 SVM 訓練學習和預測；BP神經網絡：設置兩層神經網絡的向量模型，輸入層神經元為5個，網絡層神經元為1個。所有實驗方法的實驗結果如表1所示：預測結果的預測均方誤差及其相應的運行時間（采用10次實驗結果的平均值和標準差）。所有實驗的平臺為Intel（R）Core（TM）2 Duo CPU E8200@2．66GHz 2．00GB RAM 的個人計算機，Win7 32位操作系統。

圖2 不同的特征子集上的實驗結果Fig．2 Experimental Results on Different Feature Subsets

表1 不同的實驗方法的實驗結果（單位：秒）Tab.1 Experimental Results of Different Experimental Methods（unit：s）

4.3 實驗結果分析

表1的數據和圖2的圖像清楚地顯示：當選擇第一個特征時，其預測準確率已經達到了0．96以上，隨著特征個數的增加，其預測準確率緩慢增加或不增加（偶爾還會出現小小的減小）；當所有的特征均用上時，最高的預測準確率為0．9840。燒結數據的實驗結果表明，用LSSVM的特征選擇算法對樣本數據的特征的重新排序，再選擇幾個重要特征進行預測的方法是可行的，具有在保證預測準確率的前提下，提高預測速度的優勢，在實際生產中具有很高的應用價值。觀察表1的實驗結果可知：使用最小二乘支持向量機（LSSVM）對數據進行擬合可以取得比最小二乘（LS）和神經網絡（BP）方法更好的擬合效果，所用時間還是BP的（20～50）之一；LSSVM雖然在擬合效果上不如SVM好，但是LSSVM以犧牲一點點準確率來換取大大的計算高效性還是很值得的。

5 總結

煉鋼廠的燒結過程是一個復雜的多變量、非線性、強耦合的物理和化學過程，結合最小二乘支持向量機和特征選擇對燒結過程進行建模，提出了最小二乘支持向量機的特征選擇算法。燒結數據的仿真結果顯示，LSSVM的特征選擇算法具有高效計算性和高預測精度等優點，驗證了該算法的有效性。研究為快速預測燒結數據提供了一種快捷的新方法。

［1］Vapnik V．Statistical Learning Theory［M］．New York：John Wiley and Sons Inc，1998．

［2］田中大，高憲文，石彤．用于混沌時間序列預測的組合核函數最小二乘支持向量機［J］．物理學報，2014，63（16）：1-10．（Tian Zhong-da，Gao Xian-wen，Shi Tong．Combination kernel function least squares support vector machine for chaotic time series prediction［J］．Acta Physica Sinica，2014，63（16）：1-10．）

［3］張維強，趙榮珍，李坤杰．基于MSKPCA和SVM的轉子故障診斷模型及應用［J］．機械設計與制造，2015（10）：4-8．（Zhang Wei-qiang，Zhao Rong-zhen，Li Kun-jie．Rotor fault diagnosis model and application based on multi-scale kernel principal component analysisandsupportvectormachine［J］．MachineryDesign&Manufacture，2015（10）：4-8．）

［4］Suykens J A K，Vandewalle J．Least squares support vector machine classifiers［J］．Neural Processing Letters，1999（9）：293-300．

［5］Suykens J A K，Van Gestel T，De Brabanter J．Least Squares Support Vector Machines［M］．Singapore：World Scientific press，2002．

［6］王文劍，門昌騫．支持向量機建模及應用［M］．北京：科學出版社，2014．（Wang Wei-jian，Men Chang-qian．Model and Application of Support Vector Machine［M］．BeiJing：Science Press，2014．）

［7］Saunders C，Gammerman A，Vovk V．Ridge regression learning algorithm in dual variables［C］．In Proceedings of the 15th International Conference on Machine Learning ICML-98，Morgan Kaufmann，1998：515-521．

［8］楊曉偉，郝志峰．支持向量機的算法設計與分析［M］．北京：科學出版社，2013．（Yang Xiao-wei，Hao Zhi-feng．Design and Analysis of the Support Vector Machine［M］．Beijing：Science Press，2013．）

［9］韓曉霞，謝剛，韓曉明．基于相空間重構和支持向量機的多相催化劑失活預測［J］．控制與決策，2012，27（6）：953-956．（Han Xiao-xia，Xie Gang，Han Xiao-ming．Application of phase space reconstruction and support vector regression for forecasting of catalyst deactivation［J］．Control and Decision，2012，27（6）：953-956．）

［10］宋強，程國彪，常衛兵．燒結礦堿度的灰色神經網絡預測模型及仿真［J］．燒結球團，2007，32（3）：24-27．（Song Qiang，Cheng Guo-biao，Chang Wei-bing．Prediction model of the sinter basicity based on grey neural network algebra［J］．Sintering and Pelletizing，2007，32（3）：24-27．）