基于CART-LSSVM的球磨機料位軟測量方法研究*

張　興，李　偉，閻高偉*，龐宇松

（1.太原理工大學信息工程學院，太原030024 2.荷蘭代爾夫特理工大學機械海運與材料工程學院，荷蘭）

基于CART-LSSVM的球磨機料位軟測量方法研究*

張興1，李偉1，閻高偉1*，龐宇松2

（1.太原理工大學信息工程學院，太原030024 2.荷蘭代爾夫特理工大學機械海運與材料工程學院，荷蘭）

球磨機是用于電力、磨礦和冶金等行業的高能耗設備，準確測量其滾筒料位能夠提高運行效率和安全性能。針對其滾筒內料位難以實時檢測，球磨機的軸承振動信號中存在較多的冗余特征，提出了一種基于分類回歸樹和最小二乘支持向量機的軟測量方法，首先用Welch法獲得振動信號的功率譜密度，并分割得到基本特征，然后建立分類回歸樹模型，根據最優樹模型的分支節點進行特征選擇，最后利用最小二乘支持向量機實現特征變量與料位間的非線性映射。通過實驗結果的對比分析，驗證了該模型的有效性和實用性，以及良好的預測精度。

球磨機料位；軟測量；特征選擇；分類回歸樹；最小二乘支持向量機；振動信號

EEACC:7230doi:10.3969/j.issn.1004-1699.2015.09.016

滾筒式球磨機是一種用于磨礦及制粉工業等過程的主要設備，其工作過程是涉及破碎力學、機械振動與噪聲學等多個學科的復雜過程，筒體振動信號存在冗余性和互補性［1］，且由于其封閉旋轉運行的工作特性，球磨機料位參數與筒體振動信號的映射關系難以直接有效建立，因此經常會發生空磨、飽磨、堵磨等現象，從而影響生產效率或帶來安全問題。因此需要準確可靠檢測料位，使球磨機運行在最佳狀態。

近年來，科研技術人員針對該問題提出了很多解決方法，其中以軟測量方法為主要代表，其模型的基本結構為特征降維方法結合機器學習方法。文獻［2］采用主成分分析［3］方法（Principal Component Analysis，PCA）提取振動功率譜特征，再采用支持向量機（Support Vector Machines，SVM）建立料位和頻譜特征之間的關系模型。文獻［4］采用主成分分析（Principle Component Analysis，PCA）方法進行振動信號的特征提取，然后采用偏最小二乘回歸方法（Partial Least Square Regression，PLSR）建立料位軟測量模型。文獻［5］采用偏最小二乘法（Partial Least Square，PLS）進行振動信號的特征提取，然后采用極限學習機（Extreme Learning Machine，ELM）建立料位軟測量模型。以上三種方法利用振動信號，均可以實現球磨機料位的軟測量，但是存在降維后特征的維數難以有效準確確定的問題，通常需要反復試驗確定一個較好的特征作為模型下一階段輸入。文獻［6］采用自適應遺傳算法—偏最小二乘法（Adaptive Genetic Algorithm-Partial Least Squares，AGA-PLS）選擇頻譜特征，然后融合時域電流信號，基于PLS算法建立融合時頻數據特征的球磨機料位軟測量模型，其特征選擇過程結合了自適應遺傳算法（AGA），時間復雜度有所上升。

為此，本文結合分類回歸樹和最小二乘支持向量機，并將該方法用于基于球磨機軸承振動信號的料位軟測量建模。實驗結果表明，該方法避免了復雜的特征提取及維數選擇過程，具有較好的測量精度及穩定性，為軟測量建模中數據的降維提供了一種新思路。

分類回歸樹［7］（Classification and Regression Tree，CART）為一種基于統計分析的非參數識別技術，具有多元參數、非參數統計等優點，利用其較高的分類正確率［8］，CART能自動進行特征選擇，有效降低變量維數。這種特征選擇的方法有以下幾個優點:①能簡單高效地處理高維特征；②為一個非參數過程，不依賴于特定的函數形式；③樹的分支節點上的變量或者變量的組合是以最小的錯分率獲得的比較顯著的特征［9］。CART的這些特性使其能夠快速準確的提取有效特征，解決了樣本特征維數高、難以抽取的問題，是一種嵌入到學習算法中的特征選擇方法。支持向量機（SVM）是由Vapnik［10］最初在統計學習理論的基礎上建立起來的一種機器學習方法。它是近年來發展起來的一種人工智能技術，SVM較好的解決了小樣本、非線性、高維數、局部極小點等實際問題，具有很強的泛化能力［11］。最小二乘支持向量機（LSSVM）是標準支持向量機的一種擴展，是支持向量機在二次損失函數下的一種形式［12］，它與支持向量機的主要區別在于采用了等式約束，并將求解優化問題轉成求解線性方程，避免了求解耗時的受約束二次規劃QP問題，求解速度相對加快。

1　理論與算法

1.1分類回歸樹

分類回歸樹（Classification and Regression Tree，CART）采用二分遞歸法，利用訓練樣本構造一棵結構簡潔的二叉樹，是一種有監督的學習算法，將當前訓練樣本集分為兩個子樣本集，使得生成的決策樹的每個非葉子結點都有兩個分支。具體構建分類回歸樹Tmax的過程如圖1所示。

圖1　CART樹模型簡圖

所有的數據樣本R=｛（Xi，yi）|i=1，2，…，l｝都屬于樹根節點t，尋找第一個拆分規則S1（即選擇整棵樹根節點的分支條件）時，首先從變量Xi的第一維x1開始掃描，計算并記錄樣本數據中該變量的每一個取值作為拆分閾值時節點的不純度函數下降值Δi（S11，x1），接著掃描變量第二維x2，同樣計算并記錄該變量的各個不純度函數下降值Δi（S12，x2），直至掃描完變量最后一維xn，計算并記錄所有的拆分閾值對應的不純度下降值。最后找出不純度函數下降值最大的拆分規則S1*，滿足:

Δi（S1*，xj） =max Δi（S1j，xj） （j=1，2，...，n）（1）

然后找到該拆分規則對應的拆分變量xi和拆分閾值C1，將其定義為樹根節點的拆分變量和拆分閾值。此時，已經將整個樣本數據集分到兩個子樹t1和t2上，其中

t1= ｛X∈R : xi≤C1｝ ， t2= ｛X∈R : xi＞C1｝（2）

對于每一個子樹，重復以上尋找樹根節點拆分規則的掃描過程，尋找每個子樹所屬子樹的根節點的拆分規則。整棵樹的建立過程就是一個尋找更小子樹根節點的拆分規則的過程。當節點滿足以下三種條件之一，即被視作葉節點停止拆分。

①節點很小:分支后的葉節點的樣本數小于給定值Nmin（一般取默認值Nmin=10）；

②純節點:分支后的葉節點中的樣本為同一類；

③空屬性向量集:無屬性向量用作分支選擇。

停止拆分后，根據節點ti中來自每個類的樣本比例，可以對每個子葉節點wi（i=1，2，…，n）指定類別標簽yi，即本文中的料位。此時就完成了分類回歸樹Tmax的構建。樹完全生長過程中會出現過度擬合現象，在得到最大分類回歸樹的基礎上，采用最小代價—復雜性剪枝算法對生成的樹進行剪枝。經過剪枝之后，得到最優分類回歸樹。

最后選擇出所有分支節點上的拆分變量，得到模型選擇出來的有效特征為Xcart

Xcart= xi（t）?xj（t1）?…?xm（tn）（3）

xi（t）表示在節點t選擇出來的第i維變量。

本文的不純度采用基尼不純度（Gini Impurity），表示一個隨機選中的樣本在子集中被分錯的可能性。當一個節點中所有樣本都是一個類時，基尼不純度為零。假設i的可能取值為｛1，2，…，m｝，令fi是樣本被賦予i的概率，則基尼不純度可通過如下公式計算:

1.2最小二乘支持向量機

SVM是由Vapnik提出的一種用于解決分類與函數逼近問題的機器學習方法，與神經網絡的經驗風險最小化相比具有更好的泛化能力。LSSVM是在標準SVM上的一種擴展，其需要預先確定的參數也比標準SVM算法少。

設訓練樣本集為D=｛（xi，yi）|i=1，2，…，l｝，在原始空間中的優化問題可以描述為

約束條件為

yi=wTΦ（xi）+b+ei（6）

式中:xi為輸入變量，yi為輸出變量，w為權值，b為閾值，γ為正則化參數，ei為誤差，優化問題的拉格朗日形式為

式中:λi為拉格朗日系數，優化問題轉化為解線性方程

優化問題的決策函數為

在選定核函數之后，LSSVM需要進一步確定其超參數:正則化參數γ和核參數σ，目前還沒有確定γ和σ的統一方法。本文采用耦合模擬退火法（Coupled Simulated Annealing，CSA）與單純形法（Simplex Method，SM）相結合的方法優化LSSVM的超參數，其主要優化過程分為兩步，首先，參數初始化:對于每個超參數，利用耦合模擬退火法（CSA）計算合適的初始值，其搜索范圍為［exp（-10），exp （10）］。其次，參數尋優:根據得到的初始值，應用單純形法進一步對超參數進行優化。

2　建模及實驗過程

2.1 基于CART-LSSVM軟測量建模

軟測量技術主要依據對可測易測過程變量（稱為輔助變量）與難以直接檢測的待測變量（稱為主導變量）的數學關系認識，采用各種計算方法實現待測變量的測量或估計。本文以球磨機軸承振動信號為輔助變量，結合基于分類回歸樹（CART）的特征選擇方法和最小二乘支持向量機（LSSVM）建立球磨機料位的軟測量模型。該模型進行軟測量的過程主要分為兩個階段，離線建模階段和在線測量階段，其流程圖如圖2所示。

圖2　CART-LSSVM系統流程圖

具體測量步驟為:①利用振動傳感器采集球磨機軸承振動信號。②采用Welch法計算振動信號中時域數據的功率譜并進行頻譜的分割，不同頻率段的功率譜對應不同的特征［13］，需進一步進行頻段的選擇，即特征的選擇。③根據離線建模階段得到的CART選擇特征變量Xcart，將其做為LSSVM模型輸入。④將Xcart輸入離線建模階段所建立的LSSVM模型，預測得出實際料位。

2.2實驗過程及數據預處理

采用小型球磨機進行試驗數據的采集，振動傳感器安裝在遠離電動機一端的軸承座上，分別采集1 L，2 L，…，20 L共20組振動信號，使用Welch法計算振動信號的功率譜密度（Power Spectrum Density，PSD），將每組PSD均分成22個樣本，則樣本總數為440個，并把每組的22個樣本隨機的分成15個訓練樣本與7個測試樣本，因此得到的訓練集有300個樣本，測試集有140個樣本。對PSD進行分析后發現，振動信號的能量主要集中在600 Hz～6 000 Hz之間，因此取這個區間的頻譜為有效頻譜。綜合考慮頻譜的波動范圍及計算效率，以20 Hz為單位對有效頻譜進行分割，并求其均值，所以單個樣本的維數是270維。

然后，將訓練數據（300×270）輸入CART建立分類回歸樹模型，根據建立的最優樹模型，抽取出樹的所有分支節點上的拆分變量Xcart，這些變量就是CART選擇出的特征對應的維度。本文中，將270維的數據輸入CART后，得到最優的回歸樹模型，其在訓練集上的RMSE為0.085 8，選擇樹模型中的拆分變量得到基本的26維特征，從這270維數據中抽取出這26維，將300×26的訓練數據輸入LSSVM建立特征變量與料位間的非線性映射。最終，采用與建模數據在同一數據空間的測試數據集（140×270）對CART-LSSVM模型進行測量效果驗證。

2.3結果分析與討論

為了證實本文所建立的球磨機料位測量模型的有效性，在實驗的同時采用主成分回歸分析（PCR）、主成分分析-最小二乘支持向量機（PCALSSVM）、核主成分分析-最小二乘支持向量機（KPCA-LSSVM）、最小冗余最大相關-最小二乘支持向量機（MRMR-LSSVM）和RELIEFF-最小二乘支持向量機（RELIEFF-LSSVM）5種方法作為對照。采用均方根誤差（Root Mean Square Error，RMSE）、平均絕對誤差（Average Absolute Error，AAE）和最大絕對誤差（Maximal Absolute Error，MAE）作為模型性能評價指標，其中RMSE為主要的評價指標。

式中:yi為第i個樣本的真實值，y^i為第i個樣本的估計值，N為測試集的樣本個數。實驗中，LSSVM算法的實現采用J.A.K.Suykens等人開發的LS-SVM-lab1.8Toolbox工具箱。

最小冗余最大相關（Min-Redundancy Max-Relevance，MRMR）是一種經典的基于互信息（Mutual Information，MI）進行特征選擇的方法，能選擇出單個表示能力較好的特征，并使這些單個較好的特征之間的冗余度最小［14］。RELIEFF是一種啟發式的特征選擇方法，可以很好的處理有噪音、多標簽及有缺失的數據［15］。

表1　不同測試方法測試誤差比較

表1給出了幾種不同的方法10次預測誤差的均值。其中，Ncomp表示降維后所得特征的維數，這里PCR降維后所得預測精度最好的維數為28維，PCA-LSSVM為20維，KPCA-LSSVM為10維。從這幾個最好的結果可以看出，PCR和PCA-LSSVM表現普通，分析其原因，主要是由于PCA是一種“線性”降維技術，只能處理線性問題，一方面主成分是原始特征的線性組合，另一方面是由于其對原始數據進行標準化處理，使協方差矩陣變成相關系數矩陣，而相關系數矩陣僅反映指標間的“線性”相關程度。經過KPCA進行非線性降維得到的特征優于PCA得到的特征，對振動信號特征的處理能力較PCA有所提高，但還是不能有效減少特征中的冗余信息，對此類特征的非線性降維難以達到理想的結果。

為了比較MRMR、RELIEFF和CART三種特征選擇方法與前三種方法所建立模型的效果，將文中的六種方法均降到26維做對比試驗，不同測試方法的最優預測曲線如圖3所示，其橫坐標表示每個料位下7個測試樣本組成的測試樣本集，縱坐標表示球磨機的實際料位，單位為升。結合表1可以看出，利用CART得到的特征建模效果較好，該方法有效降低了特征中的冗余信息，自動對特征變量進行選擇，并快速將特征降低到較小的維數，為非線性降維的一種有效方法，優于傳統的特征選擇方法MRMR 和RELIEFF。分析其原因，CART利用基尼系數逐步找出所含信息最大的屬性，并遞歸的建立樹模型，能選擇出特征中最具區分度的屬性作為樹的分支，這種機制有效的減少了特征中的冗余信息。從圖中可以看出，CART-LSSVM模型的預測精度RMSE= 0.538 5，優于其他對比方法，該方法能較好的跟蹤球磨機料位，達到了比較理想的預測精度。

通過對比分析可以發現，CART可以自動將特征變量快速降低到一個較小的維數，避免了特征提取方法的維數選擇過程，同時優于傳統的特征選擇方法，其選擇出的特征具有一定的穩定性，可有效的應用于球磨機料位的軟測量建模。

圖3　不同方法最優測試結果

3　結論

針對球磨機振動信號中存在較多的冗余特征，本文從選擇球磨機軸承振動信號中的有效特征出發，采用分類回歸樹（CART）建立樹模型，選擇樹干上的頻域特征變量，根據得到的特征建立最小二乘支持向量回歸模型來進行球磨機料位的軟測量。對比試驗預測結果表明，該方法具有的優勢有:①降維過程中維數的確定不需要人為參與，避免了傳統的特征提取及特征選擇過程中繁瑣的維數調整過程；②具有良好的預測精度，且建模過程簡單，易于在實際中操作，算法復雜度不高。

同時該模型有以下待改進的部分，本文中的分類回歸樹，其拆分規則都只考慮了單個變量，有些情況下需要考慮多變量組合的拆分規則，因此，基于該特征選擇方法的軟測量建模為需要進一步研究的課題。

［1］ 湯健，柴天佑，叢秋梅，等.基于EMD和選擇性集成學習算法的磨機負荷參數軟測量［J］.自動化學報，2014，40（9）:1853-1866.

［2］ Tang Jian，Zhao Lijie，Yu Wen，et al.Soft Sensor Modeling of Ball Mill Load via Principal Component Analysis and Support Vector Machines［J］.Lecture Notes in Electrical Engineering，2010（67）: 803-810.

［3］ 付華，王馨蕊，王志軍，等.基于PCA和PSO-ELM的煤與瓦斯突出軟測量研究［J］.傳感技術學報，2014，12:1710-1715.

［4］ 湯健，鄭秀萍，趙立杰，等.基于頻域特征提取與信息融合的磨機負荷軟測量［J］.儀器儀表學報，2010，31（10）:2161-2167.

［5］ Tang Jian，Wang Dianhui，Chai Tianyou.Predicting Mill Load Using Partial Least Squares and Extreme Learning Machines［J］.Soft Computing，2012，16（9）:1585-1594.

［6］ 湯健，柴天佑，趙立杰，等.融合時/頻信息的磨礦過程磨機負荷軟測量［J］.控制理論與應用，2012，29（5）:564-570.

［7］ Loh W Y.Classification and Regression Trees［J］.Wiley Interdisciplinary Reviews:Data Mining and Knowledge Discovery，2011，1 （1）:14-23.

［8］ Bittencourt H R，Clarke R T.Feature Selection by Using Classification and Regression Trees（CART）［J］.The International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2004:66-70.

［9］ Gomez-Chova L，Calpe J，Soria E，et al.CART-Based Feature Selection of Hyperspectral Images for Crop Cover Classification［C］// IEEE International Conference on Image Processing，2003，3（2）: 589-592.

［10］Vapnik V N.The Nature of Statistical Learning Theory［J］.Neural Networks IEEE Transactions，1995，10（5）:988-999.

［11］賽吉爾呼，戴盛芳，董愛華，等.基于SVM和RBFN的汽車主動降噪系統傳感器故障診斷［J］.傳感技術學報，2014，27（4）: 512-517.

［12］Suykens J A K，Vandewalle J.Least Squares Support Vector Machine Classifiers［J］.Neural Processing Letters，1999，9（3）:293-300.

［13］湯健，趙立杰，岳恒，等.濕式球磨機筒體振動信號分析及負荷軟測量［J］.東北大學學報:自然科學版，2010，31（11）:1521-1524.

［14］Peng H，Long F，Ding C.Feature Selection Based on Mutual Information Criteria of Max-Dependency，Max-Relevance，and Min-Redundancy［J］.Pattern Analysis&Machine Intelligence IEEE Transactions，2005，27（8）:1226-1238.

［15］Kononenko I，?imec E，Robnik-?ikonja M.Overcoming the Myopia of Inductive Learning Algorithms with Relieff［J］.Applied Intelligence，1997，7（1）:39-55.

張興（1990-），男，碩士研究生，研究方向為機器學習，智能信息處理，zhangxing0265@link.tyut.edu.cn；

閻高偉（1970-），男，博士，教授，主要研究方向為智能信息處理和多傳感器信息融合，yangaowei@tyut.edu.cn。

Soft Sensor for Ball Mill Fill Level Based on CART-LSSVM Model*

ZHANGXing1，LI Wei1，YAN Gaowei1*，PANG Yusong2
（1.College of Information Engineering，Taiyuan University of Technology，Taiyuan 030024，China；2.College of Mechanical，Maritime and Materials Engineering，Delft University of Technology，Delft，Holland）

Ball mill is a high energy consumption equipment used in electricity，grinding and metallurgical industries.Accurate measurement of its fill level（FL）can improve operational efficiency and safety performance.However，The real-time measurement of FL is difficult to realize，and the components of bearing vibration of ball mill are complex and redundant.Aiming at these problems，a new soft sensor approach of FL based on Classification and Regression Tree（CART）and Least Squares Support Vector Machine（LSSVM）is proposed.Firstly，the Power Spectrum density（PSD）of bearing vibration is obtained by welch method，essential features are achieved by partition subsequently.Secondly，these features are adopted to build CART，and branch nodes of the best model is selected as features.Finally，the LSSVM are used to implement the non-linear mapping between features and FL.The comparative experiments verifies that this model is feasible and practical with high prediction accuracy.

ball mill fill level；soft sensor；feature selection；classification and regression tree；least squares support vector machine；vibration signal

TP29

A

1004-1699（2015）09-1361-06

項目來源:國家自然科學基金項目（61450011）；山西省自然科學基金（2015011052）

2015-05-07修改日期:2015-06-24