嵌入式粒子群-遺傳算法的水質(zhì)COD檢測特征波長優(yōu)化算法

漆 偉，馮 鵬，魏 彪，鄭 冬，于婷婷，劉鵬勇

重慶大學(xué)光電技術(shù)及系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室, 重慶 400044

引 言

化學(xué)需氧量(chemical oxygen demand，COD)是衡量水環(huán)境污染水平高低的最重要指標(biāo)之一。利用紫外-可見光譜法構(gòu)建模型對(duì)水質(zhì)COD進(jìn)行分析，已廣泛應(yīng)用于在線水質(zhì)檢測領(lǐng)域，具有實(shí)時(shí)、在線、原位測量、無二次污染等優(yōu)點(diǎn)[1]。但在實(shí)際應(yīng)用中，水質(zhì)檢測系統(tǒng)會(huì)受到多方面的影響，其中檢測的光譜數(shù)據(jù)含有大量的噪聲對(duì)水質(zhì)COD的分析造成嚴(yán)重干擾[2]，因此，對(duì)光譜數(shù)據(jù)進(jìn)行去噪是水質(zhì)COD檢測的必要前提。在光譜噪聲處理方面，小波變換可以有效去除光譜噪聲，但是小波去噪后依然存在懸浮物散射、光譜信息冗余和微弱噪聲等問題。故在小波閾值去噪的基礎(chǔ)上，采用特征波長選取操作，特征波長選取是利用智能優(yōu)化算法在原始光譜的整個(gè)波段選出最佳的幾個(gè)特征波長，用于表征原始光譜信息。

常用的智能優(yōu)化算法有粒子群算法、遺傳算法、蟻群算法等。賓俊等[3]在近紅外光譜波長選擇的研究中，提出了以蟻群優(yōu)化(ACO)、遺傳優(yōu)化(GA)、粒子群優(yōu)化(PSO)、隨機(jī)青蛙(RF)和模擬退火(SA)等智能優(yōu)化算法對(duì)特征波長進(jìn)行選擇的思想，找出了總氮和煙堿對(duì)應(yīng)最佳光譜波長組合，結(jié)果表明利用智能優(yōu)化算法選擇特征波長可以排除噪聲干擾，建立的模型可以快速準(zhǔn)確的分析出總氮和煙堿的含量。Tang等[4]采用了基于遺傳算法和粒子群算法優(yōu)化的遺傳算法-粒子群優(yōu)化(GA-PSO)算法，成功實(shí)現(xiàn)了在消光光譜測量中選擇最佳波長，該方法具有抗噪聲的優(yōu)點(diǎn)。Ying等[5]將連續(xù)投影算法(SPA)與四種群智能優(yōu)化算法相結(jié)合，包括GA算法，PSO算法，群搜索優(yōu)化器(GSO)和螢火蟲算法(FA)，以用于提取有效波長變量，可以快速有效地區(qū)分蘋果汁的摻假。Li等[6]利用差分進(jìn)化(DE)的波長選擇方法，消除了太赫茲時(shí)域光譜的散射和噪聲干擾問題。Zhang等[7]提出了使用等距組合多元線性回歸(ECMLR)方法進(jìn)行波長選擇，在時(shí)間相關(guān)的驗(yàn)證方面，ECMLR方法的預(yù)測效果比使用全光譜構(gòu)建預(yù)測模型的預(yù)測效果稍好。總結(jié)現(xiàn)有的波長選取方法，大多只是利用單一的智能優(yōu)化算法進(jìn)行波長選擇，但單一的智能算法卻存在一定的缺陷，很少有人將多種智能算法融合成新型的智能算法進(jìn)行波長選擇。

鑒于此，提出了嵌入式粒子群-遺傳(EPSO_GA)新型算法用于選取最佳特征波長，結(jié)合偏最小二乘法(PLS)[8]對(duì)紫外-可見光譜下的COD進(jìn)行了定量分析。

1 嵌入式粒子群-遺傳(EPSO_GA)算法原理

粒子群(PSO)算法是一種進(jìn)化計(jì)算技術(shù)，源于對(duì)鳥群捕食行為的研究，其基本思想是通過群體中粒子之間的協(xié)作和信息共享來尋找最優(yōu)解[9]。遺傳(GA)算法是模擬達(dá)爾文進(jìn)化論的自然選擇和遺傳學(xué)機(jī)理的生物進(jìn)化過程的計(jì)算模型，是一種模擬自然進(jìn)化過程搜索最優(yōu)解的方法[10]，利用選擇、交叉和突變等進(jìn)化因子使得種群的適應(yīng)度不斷增強(qiáng)，從而達(dá)到優(yōu)勝劣汰的目的。PSO算法具有自組織和進(jìn)化性以及記憶功能，所有粒子都保存優(yōu)解的相關(guān)知識(shí)，PSO算法注重整體，側(cè)重于整體上的尋優(yōu)能力，優(yōu)化速度較快，局部搜索能力較差，精度不高易陷入局部極小值振蕩或在尋優(yōu)過程中全部收斂于全局極值，而忽略局部最優(yōu)。GA算法中變異算子是對(duì)群體中的部分個(gè)體實(shí)施隨機(jī)變異，與歷史狀態(tài)和當(dāng)前狀態(tài)無關(guān)，在局部信息交流上具有良好的特性，但是效率比其他優(yōu)化算法低，計(jì)算量大、運(yùn)行時(shí)間長。兩者算法都容易陷入“早熟”的現(xiàn)象，因此在PSO算法中單個(gè)粒子更新時(shí)嵌入GA算法的選擇操作、整個(gè)種群更新時(shí)嵌入交叉操作和變異操作，形成嵌入式粒子群-遺傳(EPSO_GA)優(yōu)化算法。EPSO_GA算法將已經(jīng)產(chǎn)生的優(yōu)秀個(gè)體與隨機(jī)產(chǎn)生的微粒個(gè)體進(jìn)行交叉變異操作，使產(chǎn)生的微粒跳出局部極值點(diǎn)，并且又保留了優(yōu)秀個(gè)體的特性，可以加強(qiáng)算法在局部和整體上的尋優(yōu)能力，加快搜索的速度，在解決優(yōu)化問題中更占優(yōu)勢。EPSO_GA算法的主要步驟如下：

①對(duì)PSO算法與GA算法都采用實(shí)數(shù)編碼，實(shí)現(xiàn)編碼上的統(tǒng)一；

②定義n個(gè)粒子組成一個(gè)群體對(duì)D維問題空間進(jìn)行搜索，根據(jù)鄰近粒子和自身的經(jīng)驗(yàn)不斷調(diào)整其位置x和速度v；

第i個(gè)粒子在t時(shí)刻的位置表示為

(1)

第i個(gè)粒子在t時(shí)刻的速度表示為

(2)

③PSO算法與GA算法都采用同一種目標(biāo)函數(shù)，實(shí)現(xiàn)評(píng)價(jià)上的統(tǒng)一，根據(jù)求解問題定義的目標(biāo)函數(shù)如式(3)所示

f(x)=min(RMSE)

(3)

RMSE是選取特征波長COD真實(shí)值與模型解算出測量值之間的均方根誤差。

④根據(jù)初始化種群參數(shù)和個(gè)體的位置、速度信息，更新PSO粒子，同時(shí)根據(jù)目標(biāo)函數(shù)計(jì)算當(dāng)前個(gè)體最優(yōu)極值和全局最優(yōu)極值。粒子i的速度由當(dāng)前最優(yōu)粒子的位置Pbest和所有粒子中的最優(yōu)位置Gbest來更新迭代，從而更新粒子i的位置，更新公式如式(4)和式(5)

(4)

(5)

⑤嵌入GA算法的選擇算子和交叉算子，根據(jù)計(jì)算出的個(gè)體極值選擇出優(yōu)良的個(gè)體，再根據(jù)交叉概率交換粒子之間的基因，將有益的基因組合，提高個(gè)體的目標(biāo)函數(shù)值, 此時(shí)產(chǎn)生的新個(gè)體的位置表示為

(6)

⑥根據(jù)自然變異的思想，嵌入GA算法的變異算子，對(duì)粒子群按照一定的變異概率進(jìn)行變異操作，保證粒子群的多樣性，產(chǎn)生子代粒子種群；

⑦將粒子群父代精英個(gè)體染色體與子代個(gè)體染色體合并，孕育出適應(yīng)度更強(qiáng)的粒子種群；

⑧更新當(dāng)前目標(biāo)函數(shù)值，更新最優(yōu)粒子的位置Pbest和所有粒子中的最優(yōu)位置Gbest；

⑨重復(fù)步驟④—⑧，直到滿足結(jié)束條件，結(jié)束算法，并記錄當(dāng)前粒子的目標(biāo)函數(shù)值和位置。

圖1 嵌入式粒子群-遺傳優(yōu)化算法流程圖Fig.1 Flow chart of embedded particle swarm optimization-genetic algorithm

在式(4)中ω是慣性權(quán)重，決定先前速度對(duì)當(dāng)前速度的影響，取值一般在[0, 1]范圍。c1和c2為學(xué)習(xí)因子，經(jīng)驗(yàn)設(shè)置c1=c2=2，r1和r2為隨機(jī)因子，在[0, 1]區(qū)間隨機(jī)取值，Pbest是單個(gè)粒子在搜索過程中的歷史最優(yōu)值,Gbest是粒子群在搜索過程中的歷史最優(yōu)值。在式(6)中，α為交叉概率，一般設(shè)置α=0.7。EPSO_GA算法的流程圖如圖1所示。

2 實(shí)驗(yàn)部分

2.1 光譜數(shù)據(jù)采集

利用化學(xué)方法，使用重鉻酸鉀溶液對(duì)某高校的池塘水樣、生活污水和排水溝水樣分別進(jìn)行滴定，溫度為15 ℃，溶液20 mL, 測得池塘水樣COD濃度為10.4 mg·L-1、生活污水水樣COD濃度為40 mg·L-1、排水溝水樣COD濃度為12.6 mg·L-1，接著對(duì)每種水樣進(jìn)行稀釋，每次加蒸餾水5 mL, 共得到46組COD標(biāo)準(zhǔn)溶液。在水體環(huán)境中，有機(jī)物對(duì)紫外-可見光的吸收遵循 Lambert Beer定律[11]，因此，根據(jù)紫外-可見光的吸收度確定特定條件下的水質(zhì)COD濃度值。紫外-可見吸收光譜法是基于測量水體中有機(jī)物對(duì)紫外-可見光的吸收強(qiáng)度來確定COD值的方法[12]，使用海洋光學(xué)生產(chǎn)的USB2000+工業(yè)級(jí)光譜儀和長壽命、無需預(yù)熱的脈沖氙燈光源對(duì)46組COD標(biāo)準(zhǔn)溶液進(jìn)行光譜采集，可得到溶液在紫外-可見光波段的吸收光譜數(shù)據(jù)。部分?jǐn)?shù)據(jù)如表1所示。從中隨機(jī)選擇32組數(shù)據(jù)用作模型訓(xùn)練數(shù)據(jù)集，剩余14組數(shù)據(jù)用作測試集。

表1 紫外-可見吸收光譜數(shù)據(jù)集Table 1 UV-Visible absorption spectrum data set

2.2 光譜數(shù)據(jù)預(yù)處理

由光譜儀采集到的水質(zhì)吸收光譜存在大量噪聲，既有低頻的基線干擾，又有高頻噪聲的影響[13]。因此在使用吸收光譜數(shù)據(jù)構(gòu)建預(yù)測模型之前需對(duì)光譜數(shù)據(jù)進(jìn)行預(yù)處理。針對(duì)噪聲干擾，預(yù)處理可以濾除部分噪聲，消除相關(guān)因素對(duì)模型預(yù)測結(jié)果的影響。采取小波閾值去噪方法對(duì)現(xiàn)有的光譜數(shù)據(jù)進(jìn)去降噪，選取“sym4”小波，將光譜信號(hào)經(jīng)“sym4”小波分解得到相應(yīng)的小波系數(shù)，運(yùn)用極值閾值估計(jì)方法設(shè)定閾值，定義大于閾值的小波系數(shù)為有用信號(hào)產(chǎn)生的，將其保留，小于閾值的小波系數(shù)認(rèn)定為噪聲信號(hào)，將其濾除。最后將分解之后保留的小波進(jìn)行重構(gòu)，即可得到降噪之后的光譜數(shù)據(jù)。原始光譜圖和預(yù)處理之后的光譜圖分別如圖2所示。在處理之后的光譜圖中可以明顯觀察到吸收峰主要分布在230～550和620～960 nm這兩個(gè)波段。但是實(shí)際上，去噪后的吸收光譜仍存在水中懸浮物的散射干擾[14]，因此，需要對(duì)吸收光譜進(jìn)行散射校正處理，便于后續(xù)建模的精度提升。早期研究多采用254 nm波長的吸光度為模型輸入量，但在實(shí)時(shí)在線測量時(shí)，由于水中懸浮物散射對(duì)254 nm吸光度產(chǎn)生干擾，導(dǎo)致測量結(jié)果偏差較大。為了補(bǔ)償水中懸浮物對(duì)吸光度造成的散射影響，本工作采用多波長的吸光度進(jìn)行建模，即利用智能優(yōu)化算法選擇N個(gè)特征波長作為模型輸入量。

圖2 原始光譜與去噪之后的對(duì)比圖Fig.2 Comparison between the original and denoising spectra

2.3 特征波長選擇

觀察去噪之后的光譜，發(fā)現(xiàn)吸收光譜中存在多個(gè)吸收峰。受益于主成分分析(principal component analysis，PCA)方法的思想，對(duì)所有數(shù)據(jù)吸收光譜的吸收峰進(jìn)行篩選，結(jié)果表明每條數(shù)據(jù)的6個(gè)主吸收峰可以貢獻(xiàn)所有吸收峰98%的信息，故使用智能優(yōu)化算法選擇6個(gè)特征波長作為模型輸入。利用PSO算法選擇特征波長，選擇均方根誤差(root mean square error，RMSE)作為目標(biāo)函數(shù)，迭代200次，不斷更新粒子的位置與速度，選取的特征波長為： 289.76，386.67，445.23，542.68，777.37和787.80 nm，此時(shí)的目標(biāo)函數(shù)值為0.1653。利用GA算法選擇特征波長時(shí)，同樣以均方根誤差(root mean square error，RMSE)作為目標(biāo)函數(shù)，設(shè)置迭代次數(shù)為200，選取的特征波長為： 289.76，372.56，486.36，507.24，539.61和883.87 nm，此時(shí)的目標(biāo)函數(shù)值為0.154 7。PSO算法和GA算法雖都具有深刻的智能背景，但在某些方面依然存在一定缺陷。在GA算法中，染色體之間相互共享信息，整個(gè)種群是比較均勻地向最優(yōu)區(qū)域移動(dòng)[15]。而PSO 算法的性能依賴于全局搜索和局部搜索之間(exploration and exploitation) 的平衡能力，即搜索空間的全局搜索能力和快速收斂于有希望的區(qū)域的能力，分別對(duì)應(yīng)Gbest變量和Pbest變量[16], 雖然搜索速度較快，但是收斂性較差。PSO算法具有記憶，能將歷史優(yōu)解都保存，但GA算法沒有記憶，以前的知識(shí)隨著種群的改變?nèi)菀妆黄茐摹榱藦浹a(bǔ)PSO算法與GA算法的缺陷，采用EPSO_GA算法選擇特征波長，EPSO_GA算法將GA算法的選擇算子、交叉算子、變異算子嵌入到PSO算法中，不僅具備了PSO算法的搜索速度和全局尋優(yōu)能力，還有著GA算法的局部尋優(yōu)能力。通過不斷更新以均方根誤差(root mean square error，RMSE)作為目標(biāo)函數(shù)的函數(shù)值，實(shí)現(xiàn)粒子群的整體優(yōu)化。實(shí)驗(yàn)設(shè)置迭代次數(shù)為200次，尋得粒子群中的最優(yōu)個(gè)體，得到最佳的6個(gè)吸收波長，6個(gè)波長分別為： 285.80，372.56，496.42，544.99，638.19和945.96 nm，此時(shí)的目標(biāo)函數(shù)值為0.106 9。對(duì)比EPSO_GA算法、PSO算法、GA算法選擇特征波長的迭代流程和實(shí)驗(yàn)結(jié)果，迭代流程比較圖如圖3所示，實(shí)驗(yàn)測試結(jié)果如表2所示，可以明顯發(fā)現(xiàn)EPSO_GA既有PSO算法的收斂速度，又有GA算法的精度，EPSO_GA算法在迭代81次之后就接近收斂，而且精度得到了大大的提升，達(dá)到了0.106 9。分析選取的特征波長，基于PSO算法和基于GA算法篩選出的波長組合表征的光譜的信息不完善，不是最優(yōu)組合，基于EPSO_GA算法選取的特征波長目標(biāo)函數(shù)值最小, 在吸收光譜上分配的更加均勻，更具合理性, 故認(rèn)為基于EPSO_GA算法篩選出的波長組合對(duì)光譜散射問題更敏感，幾乎可以表征完整的光譜信息，跳出了局部最優(yōu)解，找到了近似于全局最優(yōu)解的波長組合。

圖3 EPSO_GA，PSO，GA算法迭代流程比較Fig.3 Comparison of iterative processes of EPSO_GA, PSO and GA algorithms

表2 EPSO_GA，PSO，GA算法實(shí)驗(yàn)結(jié)果Table 2 Experimental results of EPSO_GA, PSO and GA algorithms

3 結(jié)果與討論

將全部特征波長和根據(jù)PSO算法、GA算法、以及EPSO_GA算法選出的特征波長采用PLS方法根據(jù)訓(xùn)練集的32組數(shù)據(jù)分別建立PLS，PSO_PLS，GA_PLS，EPSO_GA_PLS的水質(zhì)COD預(yù)測模型，再利用構(gòu)建的模型對(duì)14組測試數(shù)據(jù)進(jìn)行預(yù)測，得到各個(gè)模型下水質(zhì)COD預(yù)測值，表3為各個(gè)模型下的COD預(yù)測值以及與COD真實(shí)值的誤差數(shù)據(jù)。圖4是各個(gè)模型下水質(zhì)COD預(yù)測值與真實(shí)值比較的曲線圖。

表3 各個(gè)模型下COD預(yù)測值與COD真實(shí)值的誤差Table 3 Errors between COD predicted values and true COD values for each model

圖4 模型效果展示圖 (a)： 全光譜PLS； (b)： PSO_PLS； (c)： GA_PLS; (d)： EPSO_GA_PLSFig.4 Performance of each model for COD prediction (a)： Full-spectrum PLS; (b)： PSO_PLS; (c)： GA_PLS; (d)： EPSO_GA_PLS

表4 各個(gè)模型的指標(biāo)性能Table 4 Indicator performance of each model

根據(jù)所得數(shù)據(jù)再計(jì)算出各個(gè)模型的均方根誤差(RMSE)、平均絕對(duì)誤差(MAE)、中值絕對(duì)誤差(MedAE)、確定系數(shù)(R2)、作為模型的評(píng)估標(biāo)準(zhǔn)，RMSE指標(biāo)是用來衡量預(yù)測值同真實(shí)值之間的偏差，MAE指標(biāo)用于評(píng)估預(yù)測結(jié)果和真實(shí)數(shù)據(jù)的接近程度，MedAE反映模型的對(duì)異類預(yù)測的情況，值越小說明擬合效果越好，R2用來度量測試樣本是否可能通過模型被很好地預(yù)測，其值越大說明模型的效果越強(qiáng)，值最大為1，表4反映了各個(gè)模型指標(biāo)性能。觀測各個(gè)模型下水質(zhì)COD預(yù)測值與真實(shí)值相比較的曲線圖，對(duì)比各個(gè)模型的性能指標(biāo)，可直觀發(fā)現(xiàn)在測試數(shù)據(jù)集中由全光譜建立的PLS模型效果不理想，均方根誤差太大，若將模型應(yīng)用到實(shí)際場景中將會(huì)存在一定的問題。而利用特征波長選擇方法構(gòu)建的PSO_PLS，GA_PLS，EPSO_GA_PLS模型較全光譜建立的模型而言，選用的特征波長大幅度減少，降低了光譜數(shù)據(jù)的冗余度，弱化了光譜散射影響，使建模更簡單，穩(wěn)定性更強(qiáng)，效果更優(yōu)。對(duì)比利用特征波長選擇方法構(gòu)建的3個(gè)模型，則以EPSO_GA_PLS模型效果最優(yōu)，它的均方根誤差達(dá)到了0.212 3，水質(zhì)COD的預(yù)測準(zhǔn)確率突破到了99.93%，同時(shí)異類預(yù)測的情況更少。

4 結(jié) 論

將GA算法嵌入到PSO算法，得到新型EPSO_GA算法，將EPSO_GA應(yīng)用到水質(zhì)COD檢測特征波長優(yōu)化算法研究中，EPSO_GA算法在選取特征波長的過程中具有高收斂性、高精度解的優(yōu)點(diǎn)。結(jié)合目前光譜法測水質(zhì)COD最常用的PLS定量分析模型，建立了EPSO_GA_PLS的水質(zhì)COD預(yù)測模型，比較了其與全光譜，PSO算法選擇特征波長和GA算法選擇特征波長構(gòu)建的PLS水質(zhì)COD預(yù)測模型的不同，分析了EPSO_GA算法選擇的特征波長組合優(yōu)于PSO算法和GA算法選擇的波長組合的原因。結(jié)果表明，利用EPSO_GA算法選擇的特征波長組合表征原始光譜的信息更加完善，比PSO算法和GA算法選擇的特征波長組合的適應(yīng)性更強(qiáng)，是紫外-可見光譜法水質(zhì)COD檢測特征波長的最佳選擇，其選取的波長組合建立的PLS水質(zhì)COD預(yù)測模型的復(fù)雜度較全光譜構(gòu)建的模型而言大大減小，減少了特征變量的個(gè)數(shù)，解決了光譜噪聲干擾和濁度散射問題，提高了模型的預(yù)測精度。綜上所述： 基于EPSO_GA算法建立的EPSO_GA_PLS的水質(zhì)COD預(yù)測模型，優(yōu)化了單一智能算法的早熟和收斂速度慢的問題，弱化了噪聲干擾、光譜散射干擾，數(shù)據(jù)冗余的問題，實(shí)現(xiàn)了紫外-可見光譜法下COD的精準(zhǔn)檢測。故本文提出的用EPSO_GA算法選擇特征波長建立的PLS水質(zhì)COD預(yù)測模型可以為實(shí)際場景快速精準(zhǔn)定量檢測水質(zhì)COD提供有效方案，為水環(huán)境保護(hù)事業(yè)做出貢獻(xiàn)。