基于量子粒子群優(yōu)化SVM算法的水質(zhì)預(yù)測(cè)研究

閻 鳳

(上海城投水務(wù)（集團(tuán)）有限公司自來水業(yè)務(wù)受理分公司，上海 200040)

0 引言

水質(zhì)預(yù)測(cè)是水環(huán)境治理的一項(xiàng)基礎(chǔ)工作，是資源環(huán)境承載能力監(jiān)測(cè)預(yù)警的重要組成部分，建立準(zhǔn)確的水質(zhì)預(yù)測(cè)模型可以為管理部門水資源保護(hù)科學(xué)決策提供重要支持。水質(zhì)預(yù)測(cè)模型通常利用流域?qū)傩詳?shù)據(jù)或者各類時(shí)序數(shù)據(jù)，建立非線性關(guān)系模型或時(shí)序特征模型。傳統(tǒng)的水質(zhì)預(yù)測(cè)模型主要包括時(shí)間序列模型、灰色系統(tǒng)理論模型、回歸分析模型以及神經(jīng)網(wǎng)絡(luò)模型等。雷勇等[1]采用線性回歸模型實(shí)現(xiàn)在線水質(zhì)監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。于慧等[2]采用灰色GM(1,1)模型對(duì)海河三岔口斷面的溶解氧等多項(xiàng)指標(biāo)年度變化趨勢(shì)進(jìn)行預(yù)測(cè)。周添一等[3]采用優(yōu)化的非線性有源自回歸模型（Nonlinear autoregressive with exogenous inputs,NARX）對(duì)時(shí)間序列溶解氧進(jìn)行預(yù)測(cè)。時(shí)間序列模型過于強(qiáng)調(diào)時(shí)間因素在預(yù)測(cè)中的作用，忽視了其他水質(zhì)影響因素和水質(zhì)項(xiàng)之間的關(guān)系。Wang 等[4]利用長短期記憶網(wǎng)絡(luò)（Long short-term memory networks,LSTM）模型預(yù)測(cè)城市污水的化學(xué)需氧量。王昱文等[5]采用復(fù)合神經(jīng)網(wǎng)絡(luò)對(duì)四項(xiàng)水質(zhì)指標(biāo)進(jìn)行預(yù)測(cè)。石翠翠等[6]基于水質(zhì)參數(shù)與溶解氧的復(fù)雜非線性關(guān)系，采用支持向量機(jī)方法研究水質(zhì)預(yù)測(cè)模型。

支持向量機(jī)（Support Vector Machine,SVM）是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)算法，以解決小樣本量和非線性問題而著稱，是研究人工智能、數(shù)據(jù)分析、人臉識(shí)別等領(lǐng)域的一個(gè)重要方法。SVM 雖然有許多優(yōu)點(diǎn)，但是在處理大樣本容量等分類問題時(shí)存在不足。當(dāng)訓(xùn)練樣本數(shù)為N時(shí)，SVM 的時(shí)間復(fù)雜度接近N2[7]。另外，SVM 對(duì)參數(shù)的選取具有高度依賴性，核函數(shù)和懲罰因子等參數(shù)的選取將直接影響SVM 的泛化性能與分類精度，因此，SVM 參數(shù)優(yōu)化方法的研究對(duì)其發(fā)展和應(yīng)用起著非常重要的意義[8]。

現(xiàn)有的SVM 參數(shù)優(yōu)化方法主要有果蠅算法、遺傳算法和粒子群優(yōu)化算法等。宋娟等[9]提出了一種集成果蠅優(yōu)化算法（Fruit Fly Optimization Algorithm,FOA）和SVM 的混合優(yōu)化策略FOA-SVM 來提高天然氣短期負(fù)荷預(yù)測(cè)的準(zhǔn)確度。趙新等[10]提出了基于改進(jìn)果蠅算法優(yōu)化SVM的模擬電路故障診斷方法。Huang等[11]利用遺傳算法（Genetic Algorithm,GA）對(duì)SVM 中的損失參數(shù)，核函數(shù)參數(shù)和損失函數(shù)epsilon 的值進(jìn)行優(yōu)化，提出了GA-SVM 模型來分析氣候變化和人類活動(dòng)對(duì)植被覆蓋變化的定量貢獻(xiàn)。Chen 等[12]提出了一種基于GA-SVM 的拉曼光譜技術(shù)，可以快速有效地篩選人乳頭瘤病毒，并通過使用遺傳算法優(yōu)化SVM 模型中的懲罰因子和核函數(shù)參數(shù)來提高模型的準(zhǔn)確性。粒子群優(yōu)化（Particle Swarm Optimization,PSO）算法作為一種基于群體智能的隨機(jī)搜索算法，其主要特點(diǎn)是收斂速度快、易于實(shí)現(xiàn)。康琛笠等[13]提出了一種基于粒子群優(yōu)化支持向量機(jī)(PSO-SVM)的局部放電模式識(shí)別方法。Liu 等[14]利用PSO-SVM 模型來預(yù)測(cè)每日PM2.5 水平，通過算法對(duì)比表明了PSO-SVM 具有最高的準(zhǔn)確性和效率。馬鋼等[15]提出一種基于PSOSVM 模型的油氣管道內(nèi)腐蝕速率預(yù)測(cè)方法。粒子群優(yōu)化算法雖然原理簡單、易于實(shí)現(xiàn)，但是它所設(shè)置的參數(shù)過多（例如慣性因子，學(xué)習(xí)因子等）以及缺少隨機(jī)性，極易陷入局部最優(yōu)，而量子粒子群優(yōu)化（Quantum Particle Swarm Optimization,QPSO）算法取消了粒子的移動(dòng)屬性，粒子位置的更新跟該粒子之前的運(yùn)動(dòng)沒有任何關(guān)系，所以它具有全局隨機(jī)性，搜索速度快，計(jì)算精度高的特點(diǎn)[16]。本文提出一種基于量子粒子群優(yōu)化的支持向量機(jī)（QPSO-SVM）算法，用于水質(zhì)預(yù)測(cè)研究。

1 方法描述

1.1 支持向量機(jī)

支持向量機(jī)首先由Cortes 和Vapnik 在1995 年提出。它是一類按監(jiān)督學(xué)習(xí)方式對(duì)數(shù)據(jù)進(jìn)行二分類的算法。其基本思想是在樣本空間中構(gòu)造一個(gè)超平面作為決策線，將兩類不同的樣本彼此劃分開。以下是SVM算法的推導(dǎo)過程。

首先，在一個(gè)二分類問題過程中，給定一個(gè)N個(gè)訓(xùn)練樣本構(gòu)成的集合S，S={(xi,yi),i=1,2,…,N}其分類超平面的表達(dá)式為：

其中，w為超平面的法向量；b為超平面的平移距離。

SVM 欲找到具有“最大間隔”的劃分超平面，其目標(biāo)函數(shù)表示為：

如果所有的訓(xùn)練樣本都滿足約束條件，則說明集合S是線性可分的。

為了增加SVM 分類器對(duì)誤差的容錯(cuò)性，需要在目標(biāo)函數(shù)中添加松弛變量ξi和懲罰因子C，此時(shí)目標(biāo)函數(shù)表示為：

當(dāng)面對(duì)非線性分類問題時(shí)，SVM 算法將輸入數(shù)據(jù)映射到更高維的特征空間中來解決非線性分類問題。為了避免維數(shù)過高的問題，引入核函數(shù)k(xi,xj)，本文選用的是高斯徑向基核函數(shù)：

其中，參數(shù)б影響著從樣本空間到特征空間的映射。將目標(biāo)函數(shù)引進(jìn)廣義拉格朗日乘子，此時(shí)，優(yōu)化問題可以重新表示為：

其中，αi為拉格朗日系數(shù)，則最終優(yōu)化的超平面表示為：

1.2 主成分分析

主成分分析是分析多個(gè)特征間相關(guān)性的一種多元統(tǒng)計(jì)方法。它的基本思想是通過少數(shù)幾個(gè)主成分來揭示多個(gè)特征間的內(nèi)部結(jié)構(gòu)，即從原始數(shù)據(jù)多個(gè)特征中降維到少數(shù)幾個(gè)特征，使它們盡可能的保留原始數(shù)據(jù)特征間的關(guān)系，且彼此間互不相關(guān)。主成分分析在人工智能、數(shù)據(jù)挖掘和圖像識(shí)別等領(lǐng)域發(fā)揮了重要的作用。下面是主成分分析算法的簡單推導(dǎo)過程。

假設(shè)樣本點(diǎn)xi在新空間中超平面上的投影是WTxi，若所有樣本點(diǎn)的投影能盡可能分開，則應(yīng)該是投影后樣本點(diǎn)的方差最大化。投影后樣本點(diǎn)的協(xié)方差矩陣是，于是優(yōu)化目標(biāo)可寫為：

其中，W=(w1,w2,...,wd)。

對(duì)公式⑺使用拉格朗日乘子法可得：

于是，只需對(duì)協(xié)方差矩陣XXT進(jìn)行特征值分解，將求得的特征值排序：λ1≥λ2≥...≥λd，再取前d’個(gè)特征值對(duì)應(yīng)的特征向量構(gòu)成W*=(w1,w2,...,wd’)。

PCA算法的步驟如下。

步驟1設(shè)定初始數(shù)據(jù)集D={x1,x2,…,xm}和低維空間維數(shù)d’。

步驟2對(duì)所有樣本進(jìn)行中心化處理：xi←xi-

步驟3計(jì)算樣本的協(xié)方差矩陣XXT，并對(duì)協(xié)方差矩陣XXT做特征值分解。

步驟4取最大的d’個(gè)特征值所對(duì)應(yīng)的特征向量w1,w2,...,wd’。

1.3 量子粒子群優(yōu)化（QPSO）算法

1.3.1 PSO算法

PSO 算法由Kennedy 和Eberhart 在1995 年提出，它是通過模擬鳥群覓食行為而發(fā)展起來的一種基于群智能的隨機(jī)搜索算法。它的基本思想是通過群體中個(gè)體之間的協(xié)作和信息共享來尋找最優(yōu)解。

粒子群優(yōu)化算法的數(shù)學(xué)描述為：在一個(gè)n維搜索空間中，設(shè)粒子群規(guī)模為m，則第i個(gè)粒子當(dāng)前的最優(yōu)位置為：

整個(gè)粒子群當(dāng)前的最優(yōu)位置為：

粒子群中每個(gè)粒子的速度更新公式為：

其中，c1，c2為學(xué)習(xí)因子；w為慣性因子；rand1和rand2是均勻分布在[0,1]區(qū)間的隨機(jī)數(shù)；vi(t)為第i個(gè)粒子的速度，xi(t)為第i個(gè)粒子的位置；t代表迭代次數(shù)。

粒子群中每個(gè)粒子的位置更新公式為：

1.3.2 QPSO算法

由于PSO 算法需要設(shè)定的參數(shù)(慣性因子w，學(xué)習(xí)因子c1，c2)太多，不利于找到待優(yōu)化模型的最優(yōu)參數(shù)，而且粒子位置變化缺少隨機(jī)性，容易陷入局部最優(yōu)。針對(duì)這些問題，本文提出一種性能更高的優(yōu)化算法—量子粒子群優(yōu)化算法。QPSO 算法取消了粒子的移動(dòng)方向?qū)傩裕黾恿肆Ｗ幼兓恢玫碾S機(jī)性。以下是QPSO算法的計(jì)算過程。

QPSO 算法引入的新名詞mbest，它表示pbest 的平均值，即平均粒子歷史最優(yōu)位置，公式為：

其中，M為粒子群的大小。

粒子i當(dāng)前的最優(yōu)位置更新公式為：

其中，Φ為(0,1)間的均勻分布數(shù)值。

每個(gè)粒子位置更新公式為：

其中，μ為(0,1)間的均勻分布數(shù)值;α為創(chuàng)新參數(shù)，一般其值不大于1。取+和-的概率為0.5。

2 基于PCA和QPSO優(yōu)化SVM參數(shù)

當(dāng)一個(gè)數(shù)據(jù)集的特征屬性過多時(shí)，會(huì)影響SVM 模型預(yù)測(cè)的準(zhǔn)確度及計(jì)算速度，因此首先對(duì)數(shù)據(jù)集進(jìn)行降維處理，利用PCA 算法將數(shù)據(jù)集降到低維再進(jìn)行數(shù)據(jù)分析。其次，SVM 的分類效果對(duì)RBF 核函數(shù)б和懲罰因子C的選取有著極高的依賴性，因此本文通過QPSO 算法優(yōu)化SVM 模型中的懲罰因子C和RBF 核函數(shù)б。最后將最優(yōu)參數(shù)帶入到SVM模型中進(jìn)行分類預(yù)測(cè)。PCA 和QPSO 優(yōu)化SVM 參數(shù)過程如圖1 所示，具體步驟如下。

圖1 PCA和QPSO優(yōu)化SVM參數(shù)

步驟1給定初始數(shù)據(jù)集Q，確定QPSO 初始參數(shù)，如粒子群的數(shù)量，參數(shù)的取值范圍，α值等。

步驟2利用PCA 算法將數(shù)據(jù)集Q 進(jìn)行降維處理得到數(shù)據(jù)集Q’，如果數(shù)據(jù)集的數(shù)量級(jí)相差較大，需進(jìn)行標(biāo)準(zhǔn)化處理。

步驟3設(shè)定適應(yīng)度函數(shù)。本文設(shè)置的適應(yīng)度函數(shù)為粒子在5-fold 交叉驗(yàn)證（Cross Validation,CV）下的分類精度。將數(shù)據(jù)集Q’作為QPSO 算法的輸入，通過當(dāng)前例子的位置向量，訓(xùn)練SVM 模型，并計(jì)算適應(yīng)度值，更新每個(gè)粒子的最優(yōu)值pbest 和全局最優(yōu)值gbest。

步驟4計(jì)算粒子群中值最優(yōu)位置mbest，更新每個(gè)粒子的新位置。

步驟5判斷結(jié)束條件。當(dāng)尋優(yōu)達(dá)到最大迭代次數(shù)時(shí)，則尋優(yōu)結(jié)束；否則轉(zhuǎn)至步驟3，繼續(xù)尋優(yōu)。

步驟6將得到的粒子最優(yōu)位置，即最優(yōu)參數(shù)(C，б)賦給SVM，并進(jìn)行分類預(yù)測(cè)。

3 仿真結(jié)果與分析

3.1 數(shù)據(jù)的收集和編碼

本研究數(shù)據(jù)來源國家地表水水質(zhì)自動(dòng)監(jiān)測(cè)實(shí)時(shí)數(shù)據(jù)發(fā)布系統(tǒng)，上海各區(qū)斷面水質(zhì)數(shù)據(jù)。分類的目標(biāo)是預(yù)測(cè)未來斷面水質(zhì)類別。數(shù)據(jù)集包括九個(gè)屬性。每一個(gè)屬性都是國控水站水質(zhì)評(píng)價(jià)指標(biāo)。這些屬性包括水溫、pH、溶解氧、電導(dǎo)率、濁度、高錳酸鉀鹽指數(shù)、氨氮、總磷、總氮共九項(xiàng)檢測(cè)指標(biāo)。為便于表示，用A1～A9 代替，原始數(shù)據(jù)集如表1 所示。通過對(duì)數(shù)據(jù)集九個(gè)特征屬性分析，利用PCA 算法對(duì)數(shù)據(jù)集降維，將降維后的數(shù)據(jù)集帶入到QPSO-SVM 模型中進(jìn)行預(yù)測(cè)。以上的所有編程環(huán)境均在Pycharm2019 中實(shí)現(xiàn)。為了更加直觀地看出每個(gè)特征的分布情況，我們通過直方圖進(jìn)行展示，如圖2所示。

表1 原始數(shù)據(jù)集

圖2 數(shù)據(jù)集特征直方圖

從圖2 中可以看出，特征A1 至A9 的分布都比較分散，說明該九個(gè)特征對(duì)于模型的分類效果都有影響，分類效果明顯。

3.2 PCA算法的數(shù)據(jù)降維

接下來，利用PCA 算法對(duì)表2 的數(shù)據(jù)進(jìn)行降維處理。由于數(shù)據(jù)樣本的屬性值范圍差距較大，首先需要對(duì)數(shù)據(jù)集進(jìn)行StandardScaler 處理。在PCA 算法中，本文設(shè)置的參數(shù)為n_components=2。通過運(yùn)算，得出PCA 降維后的數(shù)據(jù)如表2 所示，其中，X1，X2為主成分分析降維后的二個(gè)主成分元素。

表2 PCA降維后數(shù)據(jù)

為了能夠更加清楚、直觀地觀察數(shù)據(jù)經(jīng)過PCA降維后的分布情況，下面對(duì)17組數(shù)據(jù)樣本進(jìn)行可視化處理。以X1為x 軸，X2為y 軸，建立二維直角坐標(biāo)系，建立后的直角坐標(biāo)系如圖3 所示。（選取了17 個(gè)樣本，從九維特征降維至二維特征可視化如：）

圖3 PCA降維后的數(shù)據(jù)集分布情況

為了能夠數(shù)據(jù)的可視化，通過PCA 算法將原始的九個(gè)屬性特征降維至二個(gè)屬性特征，從而減少了七個(gè)屬性特征。為了驗(yàn)證該二維特征與原始九維特征的替代情況，通過關(guān)系熱度圖直觀地顯示出原始特征與PCA主成分之間的關(guān)系，如圖4所示。

圖4 主成分與各特征值之間的關(guān)系熱度圖

在圖4 中，顏色由深至淺代表一個(gè)從-0.4～1.0 的數(shù)值，如果某個(gè)特征對(duì)應(yīng)的數(shù)值是正值時(shí)，說明它和主成分之間是正相關(guān)的，如果為負(fù)值則相反。從圖4中可以看出，X1對(duì)應(yīng)的A2，A3 的相關(guān)系數(shù)極低，X2對(duì)應(yīng)的A1，A5 的相關(guān)系數(shù)極低。這說明，經(jīng)過PCA 算法降維后得到的X1，X2替代效果是較好的。

3.3 多分類QPSO-SVM模型的構(gòu)建及參數(shù)設(shè)定

首先，將PCA 算法得到的二維數(shù)據(jù)集作為多分類SVM 模型的數(shù)據(jù)集，高斯RBF函數(shù)作為內(nèi)核函數(shù)。然后，結(jié)合QPSO 算法并進(jìn)行3-fold CV 的參數(shù)尋優(yōu)，找出最優(yōu)參數(shù)對(duì)（C，б）來運(yùn)行多分類SVM 模型。在QPSO算法中，通過每一次迭代得出一個(gè)參數(shù)對(duì)（C，б），反復(fù)迭代到最大的迭代次數(shù)輸出最優(yōu)的參數(shù)對(duì)（C，б）。QPSO算法的具體參數(shù)設(shè)置如表3所示。

表3 QPSO算法參數(shù)設(shè)定

通過QPSO 算法參數(shù)值的設(shè)定計(jì)算出最優(yōu)的參數(shù)對(duì)（C,б），然后將其作為多分類SVM 模型的參數(shù)設(shè)定值進(jìn)行預(yù)測(cè)分析。

3.4 QPSO-SVM模型的求解

為了評(píng)估訓(xùn)練模型的性能，使用分類精度作為度量。QPSO-SVM 通過迭代得出的5-fold CV 下的分類精度過程如圖5所示。

圖5 QPSO-SVM參數(shù)尋優(yōu)

通過QPSO-SVM 算法得出，當(dāng)?shù)螖?shù)到第2 次的時(shí)候，分類精度（即85.09%）達(dá)到最高，此時(shí)得出最優(yōu)參數(shù)值C=3.91619，б=0.0001。將最優(yōu)的參數(shù)帶入多分類SVM 模型中，并用697 個(gè)測(cè)試集樣本驗(yàn)證該模型的分類精度，得出預(yù)測(cè)精度為87.37%。

為了對(duì)比所提方法的優(yōu)越性，本文將QPSO-SVM模型與PSO-SVM 和SVM模型進(jìn)行對(duì)比，如表4所示。

表4 模型的精度對(duì)比

從表4 可看出，QPSO-SVM 的訓(xùn)練識(shí)別率和測(cè)試識(shí)別率都高于PSO-SVM 和SVM 模型，QPSO-SVM模型訓(xùn)練樣本的識(shí)別率達(dá)到了85.09%，測(cè)試樣本的識(shí)別率達(dá)到了87.37%，均方誤差也低于其他算法。綜上可看出QPSO-SVM 模型有更好的分類精度，也說明了該模型的優(yōu)越性。

4 結(jié)束語

本文研究基于支持向量機(jī)的水質(zhì)預(yù)測(cè)模型。SVM 對(duì)于內(nèi)部參數(shù)具有高度依賴性，針對(duì)SVM 參數(shù)尋優(yōu)問題，本文提出了PCA-QPSO 算法優(yōu)化SVM 參數(shù)對(duì)（核函數(shù)б、懲罰因子C）。首先通過PCA 算法對(duì)原始數(shù)據(jù)集進(jìn)行降維處理，然后利用QPSO 算法優(yōu)化SVM 中的懲罰因子C和核函數(shù)б，將得到的最優(yōu)參數(shù)對(duì)帶入到多分類SVM 模型中，用測(cè)試集來對(duì)模型進(jìn)行測(cè)試。最后，本文以上海各區(qū)斷面水質(zhì)數(shù)據(jù)預(yù)測(cè)進(jìn)行驗(yàn)證。結(jié)果表明，PCA-QPSO-SVM 模型的訓(xùn)練精度和測(cè)試精度均高于PSO-SVM 和SVM模型。