基于支持向量機的污水狀態識別

張永利，朱艷偉

（1.河北理工大學 輕工學院，河北 唐山 063000；2.唐山師范學院 數學與信息科學系，河北 唐山 063000）

隨著科學技術的發展，特別是微電子技術、集成電路及其設計技術、計算機技術、近代信號處理技術和傳感器技術的發展，多傳感器信息融合已經發展成為一個新的學科方向和研究領域。多傳感器信息融合技術在軍事領域和民用領域均得到了廣泛應用。多傳感器的信息融合層次有三種結構：數據層融合、特征層融合和決策層融合[1-2]。目前，信息融合常用的方法有，貝葉斯法、D-S證據理論法、聚類算法、人工神經網絡法和模糊集合理論法等。但它們都存在著各自的缺點。支持向量機（support vector machine SVM）最初是由Vapnik提出的一種新興的基于統計學習理論的學習機[3]。相對于神經網絡的啟發式學習方式和實現中帶有的很大的經驗成分相比，SVM 具有更嚴格的理論和數學基礎，不存在局部最小問題。小樣本學習使得SVM具有很強的泛化能力，不過分依賴樣本的數量和質量，從而成為當前機器學習的一個研究熱點。本文提出了一個新的多傳感器信息融合方法：基于SVM的多傳感器信息融合，并把此方法應用于污水狀態的識別。

1 信息融合

多傳感器信息融合方法多傳感器信息融合要靠各種具體的融合方法來實現。在一個多傳感器系統中，各種信息融合方法將對系統所獲得的各類信息進行有效的處理或推理，形成一致的結果。多傳感器信息融合目前尚無一種通用的融合方法，一般要根據具體的應用背景而定。歸納起來信息融合方法[1]主要有：估計方法、統計方法、信息論方法和人工智能方法。在人工智能方法中，人工神經網絡方法是一種被廣泛采用的方法。

基于神經網絡的多傳感器信息融合具有如下特點：具有統一的內部知識表示形式，通過學習方法可將網絡獲得的傳感器信息進行融合，獲得相關網絡的參數（如連接權矩陣、結點偏移向量等），并且可將知識規則轉換成數字形式，便于建立知識庫；利用外部環境的信息，便于實現知識自動獲取及進行聯想推理；能夠將不確定環境的復雜關系，經過學習推理，融合為系統能理解的準確信號；神經網絡具有大規模并行處理信息的能力，使得系統信息處理速度很快。但是，神經網絡也存在著缺乏嚴格的理論、數學基礎，有局部最小值問題，訓練過程難以掌握等缺點。因此，本文將一種新的理論——支持向量機，引入到信息融合中。

2 支持向量機

2.1 支持向量機

支持向量機是由線性可分情況下的最優分類面發展而來的。它的基本思想采用圖1的二維情況說明。圖中，實心圓點和實心三角分別代表兩類樣本，H為分類線，H1，H2分別為過各類中離分類線最近的樣本并且平行于分類線的直線，它們之間的距離稱作分類間隔（margin）。最優分類線指的是不但能將兩類正確分開（即訓練誤差為零），而且能使分類間隔最大。

圖1 最優分類平面

對于線性可分的樣本集

滿足：

支持向量機的數學表示式[4]為

其中，n是訓練樣本數。上面的問題被稱為原問題。該問題能夠通過標準的二次規劃來解決。使用拉格朗日優化方法可將原問題轉化為對偶問題得：

解出

后，利用

并且選擇α*的一個大于0的分量所對應樣本(xi?xj)（即支持向量所對應的樣本），根據

計算w和b以確定最優超平面 (w*?x) +b*= 0，由此求得決策函數

或

2.2 序列最小優化算法（sequential minimal optimization，簡稱SMO）

1998年，Platt提出了序列最小優化算法（SMO）來解決大訓練樣本的問題[5]，并和 Chunking算法進行了比較。該算法可以說是Osuna分解算法[6]的一個特例，工作集B中只有兩個樣本。其優點是針對兩個樣本的二次規劃問題可以有解析解的形式，從而避免了多樣本情形下的數值解不穩定及耗時問題，同時也不需要大的矩陣存儲空間，特別適合稀疏樣本。其工作集的選擇也別具特色，不是傳統的最陡下降法，而是啟發式。通過兩個嵌套的循環來尋找待優化的樣本變量。在外環中尋找違背 Karush-Kuhn-Tucker條件（簡稱KKT條件）最優條件的樣本，然后在內環中再選擇另一個樣本，完成一次優化。再循環，進行下一次優化，直到全部樣本都滿足最優條件。SMO算法主要耗時在最優條件的判斷上，所以應尋找最合理即計算代價最低的最優條件判別式，同時對常用的參數進行緩存。

2.3 最小二乘支持向量機

為了使支持向量機能夠對大樣本情況進行學習，Suvkens J.A.K在1999年提出了一種新型支持向量機方法，最小二乘支持向量機（Least Squares Support Vector Machines，LS-SVM）[7]。該方法采用最小二乘線性系統作為損失函數，用等式約束代替傳統方法中的不等式約束，通過求解一組等式方程，得出最優分類超平面，從而避開了求解計算量相對繁重的二次規劃問題，并應用到模式識別和非線性函數估計，取得了較好的效果[8]，其運算簡單，收斂速度快，精度高。

2.4 SVM多類分類器

一般SVM僅能夠進行兩類分類，目前，將SVM機器學習方法延伸到多類分類問題還處于初步研究階段。已提出的解決該問題的思路有：1）構造多個2類分類器并組合起來完成多類分類，分成“one against one”和“one against all”兩種類型；2）只使用一個SVM實現多個分類輸出，這種思路涉及十分復雜的優化問題。

2.5 基于SVM的多傳感器信息融合

多傳感器的信息融合可以降低信息不確定性或降低信息模糊度，提高識別的正確率。在采用融合方法前，需對每個傳感器的測量數據作相應處理（數據預處理和特征提?。缓罄肧VM方法進行決策層的融合和分類。其過程為：根據實際系統要求，確定輸入傳感器的個數，采集各傳感器數據，生成訓練樣本與測試樣本，然后使用支持向量機對樣本進行分類。

3 實驗結果

城市污水處理廠日常監控數據來自 UCI數據庫，數據庫中有527組38維數據，共有污水狀態13種。對數據進行預處理后得到全部屬性和屬性值都完整的記錄有375個。由于記錄中有些狀態過少，為研究方便這里把性質相同的狀態合并，合并后共有4種狀態。首先，將樣本分成兩部分，其中245個樣本用來訓練分類機，130個樣本用來測試分類機的分類識別效果。所有實驗都是在個人計算機上進行的，計算機配置為，Intel(R) Core(TM)2 Duo T5470雙核CPU，主頻1.66GHz，1G內存和Windows XP操作系統，使用Matlab 7.0軟件進行處理。

首先，使用信息融合常用的人工神經網絡方法，選用BP網絡進行實驗，訓練設定的目標值為0.01，訓練次數設定為10000次。實驗發現訓練完10000次后目標還是沒有達到。BP網絡的測試結果：訓練時間為118.92秒，仿真（測試）時間為0.063秒，測試樣本的類別預測正確率為83.23%。

然后使用基于SVM的信息融合方法，支持向量機使用兩種分類算法SMO算法和LS-SVM算法，因為合并后的污水狀態為4種，這里采用“one against all”的多類分類方法。核函數選擇的是Gauss徑向基核函數：

通過實驗對兩種算法進行參數選取，得到實驗結果見表1。

表1 BP神經網絡與支持向量機的實驗結果

4 結束語

BP神經網絡算法的訓練時間比較長，它的訓練時間是支持向量機算法中的LS-SVM訓練時間的420多倍，是支持向量機算法中的SMO算法的訓練時間的7倍。花費了這么長的訓練時間，但是得到的樣本類別預測的正確率并不是很高，僅為83.23%。而SMO算法的正確率為90.77%，LS-SVM算法的正確率為 92.15%?？梢娭С窒蛄繖C算法，在面對污水處理監測數據的這樣的模式識別問題有很大的優越性。因此，將支持向量機引入到信息融合問題中具有可行性。