基于多目標PSO 混合優(yōu)化的虛擬樣本生成

王丹丹 湯 健 夏 恒 喬俊飛

本文采用符號的含義見表1.

表1 本文采用符號的含義Table 1 The meaning of the symbols used in this article

實現(xiàn)復雜工業(yè)過程的智能控制和綠色生產(chǎn)需要對產(chǎn)品質量、能耗物耗、污染排放等難測參數(shù)(如城市固廢焚燒(Municipal solid waste incineration,MSWI) 過程中的有機污染物二噁英(Dioxin,DXN)的排放濃度[1]等)進行實時檢測[2].MSWI 是目前世界范圍內應用最為廣泛的城市固廢無害化、減量化和資源化處理手段[3-4]以及國家“十四五”規(guī)劃鼓勵推行技術,該過程中被嚴格限制排放的DXN被稱作“世紀之毒”[5].以實時、準確、低成本方式實現(xiàn)DXN 的檢測是降低其排放控制的關鍵技術之一,也是目前業(yè)界亟待解決的難題[6].因工業(yè)過程長期在穩(wěn)態(tài)模式下運行,這使得現(xiàn)場采集的數(shù)據(jù)所對應的工況極為相似,通過實驗設計方式或突發(fā)工況情景獲取非穩(wěn)態(tài)模式過程數(shù)據(jù)、異常數(shù)據(jù)甚至故障數(shù)據(jù)的風險很高或不被允許,進而導致有效建模樣本數(shù)據(jù)稀少且分布不均衡[7-8].另外,諸如選礦磨礦[9]、柔性制造[10]和化工生產(chǎn)[11]等工業(yè)過程,由于實時進行難測參數(shù)真值檢測的技術難度大、離線化驗的時間與經(jīng)濟成本高等原因,使得工業(yè)過程難測參數(shù)建模面臨著“大數(shù)據(jù)、小樣本”問題[12].目前,通過虛擬樣本生成(Virtual sample generation,VSG)技術擴充建模樣本數(shù)量已成為解決上述小樣本問題的有效手段之一,也是目前學術界的研究的難點和熱點[9].

由模式識別領域首次提出的VSG 技術通過擴增原始建模樣本的方法,解決面向分類的小樣本問題[13],其本質是通過擷取小樣本間的缺失信息生成適當數(shù)量的虛擬樣本[14],Niyogi 等[15]從數(shù)學上證明了VSG 等效于正則化策略.目前,VSG 技術已被成功地應用于癌癥識別[16]、可靠性分析[17]、機械振動信號建模[9]等領域,其在圖像識別領域的應用尤為廣泛[18-21].主要策略是結合先驗知識,通過幾何變換等操作生成虛擬圖像.針對復雜工業(yè)過程,只有具有長期運行經(jīng)驗的領域專家才能抽象出明確的先驗知識,但也存在一定的主觀性和隨意性.針對先驗知識無法獲取或提取難度大的問題,VSG 的研究開始聚焦于如何從已知樣本中汲取知識以生成虛擬樣本.Li 等[22]為解決制造系統(tǒng)早期樣本較少問題,提出基于區(qū)間核密度估計的VSG,核心是根據(jù)小樣本數(shù)據(jù)估計總體分布后再生成虛擬樣本.進一步,Li等[23]和Lin 等[24]分別提出了基于雙參數(shù)威布爾分布估計和多模態(tài)分布估計的VSG.針對上述研究存在小樣本分布不均衡情況下估計偏差較大的問題,Li 等[16]提出基于模糊理論信息擴散準則的整體趨勢擴散(Mega-trend-diffusion,MTD)技術,本質是通過數(shù)據(jù)分布趨勢擴展樣本空間,并在擴展域內生成虛擬樣本.上述VSG 研究主要面向分類問題,特點在于僅需要為不同類別生成虛擬樣本的輸入即可;相對于本文所面對的回歸建模問題,還需要考慮如何為合理的虛擬樣本輸入生成精準的虛擬輸出.因此,面向回歸的VSG 的研究難度較大,這也是相關文獻較少的原因之一.

為使得虛擬樣本輸入能夠均衡地填補真實小樣本間的信息間隙,Zhu 等[11]先利用距離準則識別信息空隙區(qū)域,再進行Kriging 插值;Zhang 等[25]先采用流形學習Isomap 識別樣本稀疏區(qū)域,再進行插值;Chen 等[26]先采用查詢策略獲取稀疏區(qū)域,再進行插值.進一步,同時考慮虛擬樣本的輸入和輸出,Li 等[27]先基于樹的趨勢擴散技術進行區(qū)域擴展后,再依據(jù)啟發(fā)式機制同時生成輸入與輸出;Zhu等[28]先依據(jù)多分布趨勢擴散技術生成虛擬樣本輸入,再通過小樣本映射模型生成輸出;He 等[29]和朱寶等[30]基于神經(jīng)網(wǎng)絡模型隱含層插值和縮放方式,同時生成非線性輸入與輸出;Qiao 等[31]結合改進MTD 技術與隱含層插值生成輸入與輸出.此外,針對物理含義清晰的工業(yè)過程實驗數(shù)據(jù),Tang 等[32]通過線性插值生成虛擬樣本輸入后,再依據(jù)多個映射模型融合生成相應輸出.針對虛擬樣本輸入輸出難以有效獲得的問題,Li 等[33]先通過MTD 進行域擴展再采用遺傳算法(Genetic algorithm,GA)生成優(yōu)化虛擬樣本,Chen 等[34]采用粒子群優(yōu)化(Particle swarm optimization,PSO)算法生成虛擬樣本.上述算法的優(yōu)點是同時考慮了數(shù)據(jù)屬性間的相互影響,但未予考慮所虛擬樣本間的多樣性和映射模型超參數(shù)對虛擬樣本的影響.

總之,為生成更為合理的虛擬樣本,已經(jīng)存在諸多VSG 方法.考慮到虛擬樣本與實際數(shù)據(jù)間存在的偏差,這些不同方法所生成的虛擬樣本間也必然存在著冗余性與互補性.對此,湯健等[35]提出面向已經(jīng)生成的虛擬樣本的優(yōu)化選擇策略,雖然采用的用于獲取虛擬樣本輸出的隨機權神經(jīng)網(wǎng)絡(Random weight neural network,RWNN)映射模型具有結構簡單、計算復雜度低、能夠進行隱含層插值等特點,但其固有的隨機性使得所生成的虛擬樣本輸出精度難以保證.隨機森林(Random forest,RF)對于多數(shù)數(shù)據(jù)集均具有良好的表現(xiàn),能夠處理具有離散、連續(xù)、高維等特性的數(shù)據(jù)[36].顯然,RF 作為生成虛擬樣本輸出的映射模型可以提高虛擬樣本的質量.此外,由于映射模型的超參數(shù)取值影響虛擬樣本的質量,因此在生成虛擬樣本的過程中,對強關聯(lián)性的超參數(shù)進行優(yōu)化也是提高VSG 的一個改進方向.顯然,對映射模型的超參數(shù)和虛擬樣本的選擇進行同時優(yōu)化屬于連續(xù)變量和離散變量的混合優(yōu)化問題,這不僅需要確保超參數(shù)的優(yōu)化過程不會提前收斂至局部最優(yōu),也需要在進行大量虛擬樣本優(yōu)化選擇時,具有較好的收斂速度.研究表明,綜合學習粒子群優(yōu)化 (Comprehensive learning particle swarm optimization,CLPSO)算法依據(jù)所有其他粒子的歷史最佳信息進行粒子更新,能夠保持種群多樣性且防止過早收斂[37].此外,筆者認為,篩除冗余虛擬樣本的關鍵在于如何對虛擬樣本進行合理評價,但目前對該問題的研究還不夠深入.另外,由于虛擬樣本引入的預測誤差存在積累效應,這使得虛擬樣本的數(shù)量會影響建模性能;但是,以往研究主要通過實驗確定虛擬樣本最佳數(shù)量[38].林越等[39]基于信息熵理論推導得到虛擬樣本的最佳數(shù)量,但是實際上虛擬樣本的最佳數(shù)量往往與建模數(shù)據(jù)質量具有較大的相關性.顯然,有必要通過多目標優(yōu)化策略實現(xiàn)對虛擬樣本數(shù)量和質量的綜合均衡.

綜上所述,面向工業(yè)過程回歸建模的VSG 研究存在以下難點: 1)針對原始小樣本的分布稀疏與不均衡特性,如何基于原始小樣本探究實際數(shù)據(jù)的分布空間,均衡地生成虛擬樣本輸入;2)如何通過映射模型為虛擬輸入生成合理的虛擬輸出,獲得大量高質量具有冗余與互補特性的虛擬樣本;3)如何篩選出有效的高質量虛擬樣本并確定其最佳數(shù)量;4)如何對虛擬樣本進行量化評價以支撐其篩選策略.

針對上述亟待解決的難點,結合筆者已有研究成果,本文提出一種基于多目標PSO 混合優(yōu)化的虛擬樣本生成策略,用于優(yōu)化虛擬樣本的生成與選擇過程,包括面向混合優(yōu)化的粒子設計、面向VSG的適應度函數(shù)設計和面向VSG 的多目標混合優(yōu)化.本文首次提出將VSG 問題描述為多目標混合優(yōu)化任務,并首次采用度量學習的指標對虛擬樣本的質量進行評價.通過基準數(shù)據(jù)集和實際工業(yè)數(shù)據(jù)集實驗,驗證了本文VSG 方法的合理性和有效性.

1 相關知識

1.1 小樣本數(shù)據(jù)回歸建模

對工業(yè)過程難測參數(shù)進行軟測量建模(即通過機器學習方法構建易測過程變量與難測參數(shù)間的映射模型)是目前業(yè)界的常用檢測手段[40].例如在MSWI 過程中,DXN 排放濃度通常采用離線直接檢測法和在線間接檢測法,但以上2 種方法均存在價格昂貴、時間滯后等局限性,難以支撐以降低污染排放濃度為目標的實時運行優(yōu)化[1].構建基于MSWI過程易測變量的DXN 排放濃度軟測量模型,雖然能夠克服以上問題,但DXN 排放濃度的有標記真值樣本(真輸入-真輸出)具有高維、稀缺的特性[41].綜上所述,對工業(yè)過程難測參數(shù)進行建模,往往需要在解決建模樣本維度高、數(shù)量少、分布稀疏與不平衡等問題后,才能構建得到具有高精度、強魯棒性能的軟測量模型.

理論上,數(shù)據(jù)驅動建模通常用于建模樣本足夠豐富且真值獲取成本相對較低的場景[42].統(tǒng)計學科認為,建模樣本數(shù)量應該大于等于輸入特征維數(shù)或大于等于30[43].眾多研究學者指出,小樣本是指有效樣本數(shù)量少于30 (或50)或樣本數(shù)量少于輸入特征維數(shù)的k倍(k取2、5、10)[9,44-46].可見,小樣本問題不能簡單理解為樣本絕對數(shù)量較少,而是與輸入特征維數(shù)有關的相對概念,其本質是樣本中所包含的建模所需特征信息不足.另外,小樣本數(shù)據(jù)也存在分布稀疏與不平衡等特性[47].因此,基于小樣本構建的軟測量模型往往具有片面性和偏差性,難以實現(xiàn)難測參數(shù)的有效預測.目前,已有多種機器學習方法用于改善小樣本數(shù)據(jù)的建模性能,包括支持向量機[47-48]、灰色模型[49]、核回歸[50]和貝葉斯網(wǎng)絡[51-52]等.在樣本數(shù)量稀缺及分布不平衡的情況下,上述算法也難以進一步提高軟測量模型的預測精度.因此,需要從新的視角解決工業(yè)小樣本數(shù)據(jù)的回歸建模問題.

1.2 虛擬樣本生成

1.2.1 虛擬樣本定義

1992年,Poggio 等[13]首次提出VSG 方法用于人臉識別問題.進一步,文獻[53]給出虛擬樣本定義如下.

定義1.對于給定的訓練樣本 (x,y),通過變換T得到的樣本 (Tx,yT(x)) 也是合理樣本,那么新得到的樣本 (Tx,yT(x)) 就是通過變換T生成的虛擬樣本:

式中,變換 (T,yT(·)) 即為領域先驗知識Know.通常,先驗知識包括: 1)直接從問題中提取物理含義明確的知識;2)從小樣本中獲取先驗知識;3)在學習算法中嵌入先驗知識等.

1.2.2 虛擬樣本內涵

VSG 的本質是依據(jù)小樣本數(shù)據(jù)生成盡可能符合真實數(shù)據(jù)分布的虛擬樣本.虛擬樣本與真實樣本間的關系如圖1 所示.圖1 展示了虛擬樣本、真實樣本、小樣本空間、虛擬樣本空間、實際數(shù)據(jù)空間之間的關系.

圖1 虛擬樣本與真實樣本間的關系Fig.1 Relationship between virtual samples and real samples

由圖1 可知,小樣本存在如下問題: 1)小樣本未能全面覆蓋實際數(shù)據(jù)空間,存在信息空白區(qū)域;2)小樣本間存在信息間隙;3)小樣本未能在實際數(shù)據(jù)空間中均勻分布.因此,小樣本空間只能片面反映實際數(shù)據(jù)空間.眾多學者研究VSG 的目標是使虛擬樣本空間能盡可能地貼近實際數(shù)據(jù)空間.但無論采用哪種VSG,必然會生成某些不符合實際數(shù)據(jù)特征和分布的虛擬樣本(如圖1 下部所示的實際數(shù)據(jù)空間之外的虛擬樣本),其不僅不利于模型的訓練,還會導致模型泛化性能變差.

顯然,針對虛擬樣本質量的評判問題,需要提出更加合理的評價指標和篩選機制.

1.2.3 回歸建模VSG

面向工業(yè)過程回歸建模的VSG 問題比分類領域的難度更大,如何生成虛擬樣本的輸入和輸出是主要焦點.生成的虛擬樣本輸入應具有的特征包括:1)能夠貼近實際數(shù)據(jù)分布;2)可填補小樣本的信息間隙或空白;3)可緩解小樣本分布的不均衡性.生成虛擬樣本輸出的方法是先構建基于小樣本的映射模型再預測輸出,當平均絕對百分比誤差不超過10%時,可用于生成虛擬輸出.雖然通過調整模型參數(shù)可達到上述要求,但由于映射模型構建方法固有的差異性,采用相同虛擬輸入映射得到的輸出在穩(wěn)定性和擴展性上存在較大差異.為得到更為合理的虛擬樣本輸出,映射模型應該具有較好的數(shù)據(jù)適應性.另外,為消除所生成虛擬樣本間存在的冗余性,湯健等[35]采用PSO 算法對虛擬樣本進行了優(yōu)化選擇.如何確定虛擬樣本數(shù)量和評價其質量,還是開放問題.

綜上,有必要從同時優(yōu)化虛擬樣本質量和模型泛化性能的視角求解VSG 問題.

1.3 多目標粒子群優(yōu)化

1.3.1 多目標優(yōu)化問題

通常,多目標優(yōu)化問題(Multi-objective optimization problem,MOP)被轉化為最小化優(yōu)化問題進行研究,其描述為:

式中,z=(z1,z2,···,zn) 為決策變量,? 表示可行搜索域,F(z):?→S是由m個實值函數(shù)組成的優(yōu)化目標,S表示目標空間.

設a,b ∈? 為式(2)定義的MOP 的2 個可行解.當且僅當對于任意i ∈{1, 2,···,m},都有fi(a)≤fi(b) 且至少有一個j ∈{1, 2,···,m},使得fj(a)

求解多目標優(yōu)化問題的常用進化算法包括遺傳算法、差分進化(Differential evolution,DE)算法和PSO 等.GA 算法通過選擇、交叉和變異等操作產(chǎn)生新解,適用于離散型的優(yōu)化問題,其運行時間隨種群規(guī)模指數(shù)級增長.DE 算法隨機選擇3 個與自身不同的個體生成新個體,通過實數(shù)編碼對可行域進行搜索,其超參數(shù)對算法性能影響較小,收斂性能好,但針對混合優(yōu)化DE 算法的研究很少.標準PSO 算法是模擬鳥群捕食行為的智能優(yōu)化算法,其原理是通過種群中個體間的相互協(xié)作和信息共享尋找最優(yōu)解,其粒子跟隨全局最優(yōu)與個體最優(yōu)位置進行移動,雖然搜索空間連續(xù),但也可求解特征選擇等離散問題.標準PSO 算法容易陷入局部最優(yōu)解,且當全局最優(yōu)與個體最優(yōu)矛盾時會造成算力的浪費.

1.3.2 綜合學習PSO 描述

相對于標準PSO 算法,CLPSO 算法對粒子速度的更新策略進行了改進,提高算法的全局搜索能力,其粒子速度vp與位置zp的更新公式如下:

式中,winertia是影響粒子搜索步長的慣性權重,c為學習因子,服從[0,1]間的均勻分布,為粒子p第n維的學習樣例.

由式(3)可知,粒子速度的更新不再受個體最優(yōu)與全局最優(yōu)的綜合影響,而是學習所有粒子的個體最優(yōu),其更新公式如下:

式中,dp=(,) 表示粒子p的個體最優(yōu).

CLPSO 為每個粒子均維持一個樣例池,粒子各個維度學習其相應的樣例.顯然,該策略能夠保持種群多樣性,有效緩解標準PSO 提前收斂的問題.若粒子個體最優(yōu)迭代Nrefresh次后仍未能更新,則更新其學習樣例池.策略為: 設定粒子各維度學習樣例的更新概率為Pcp,更新時,首先任意選擇種群中2 個粒子,然后對比2 個粒子的個體最優(yōu),競爭選擇較好的個體最優(yōu)作為新學習樣例,可表示為:

為粒子p的學習概率,更新如下:

式中,rankp表示粒子個體最優(yōu)的適應度排名,隨著粒子的排序rankp遞增,其學習概率隨之增大,即學習樣例的更新概率從5% 逐漸增大到50%.

2 基于MOPSO 混合優(yōu)化的VSG 策略

1)面向混合優(yōu)化的粒子設計

將決策變量分為參數(shù)決策和樣本選擇決策變量2 個部分,前者為指導候選虛擬樣本生成的連續(xù)變量,后者為篩選候選虛擬樣本的高維離散變量,通過粒子設計實現(xiàn)混合優(yōu)化的策略.

2)面向VSG 的適應度函數(shù)設計

分為生成候選虛擬樣本、候選虛擬樣本選擇和虛擬樣本評價指標計算共3 個階段計算適應度,評價指標包括虛擬樣本數(shù)量和混合樣本構建模型在驗證集上的預測性能.

3)面向VSG 的多目標混合優(yōu)化

改進CLPSO 算法,以適應VSG 過程的變維度特性.在達到最大迭代次數(shù)和確定全局最優(yōu)后,獲得最優(yōu)虛擬樣本集.

3 基于MOPSO 混合優(yōu)化的VSG 實現(xiàn)

本文采用多目標優(yōu)化的目的是,在確保虛擬樣本達到最優(yōu)建模效果的前提下,盡可能地減少其數(shù)量.相應地,本文的優(yōu)化目標可描述為:

式中,決策矢量z指導虛擬樣本的生成和篩選,fnum(z)表示篩選后虛擬樣本的數(shù)量,fmod(z) 表示篩選后由虛擬樣本與訓練集混合后構建的RF 模型性能指標.

3.1 面向混合優(yōu)化的粒子設計

3.2 面向VSG 的適應度函數(shù)設計

適應度函數(shù)的設計即根據(jù)粒子的位置zp計算式(8)所定義優(yōu)化目標的過程.本文的目標是對虛擬樣本的生成和選擇過程進行混合優(yōu)化,即通過粒子位置zp指導虛擬樣本的生成和選擇,將虛擬樣本的數(shù)量和質量同時作為粒子的適應度.因此,本文面向VSG 的適應度函數(shù)設計包含參數(shù)決策變量指導候選虛擬樣本生成、樣本選擇決策變量對候選虛擬樣本進行選擇、虛擬樣本評價指標計算3 個部分.

3.2.1 生成候選虛擬樣本

生成候選虛擬樣本的過程為: 首先,基于擴展率γextend,對原始樣本空間進行基于MTD 的擴展,在原始域和擴展域中,通過混合插值生成虛擬樣本輸入;然后,基于RF 建模參數(shù)LF和θleaf構建RF映射模型,基于RWNN 建模參數(shù)I構建RWNN 映射模型生成對應虛擬樣本輸入的輸出值;最后,對生成的虛擬樣本進行混合和刪減,以獲得候選虛擬樣本.

3.2.1.1 生成虛擬樣本輸入

基于擴展率γextend,采用改進MTD 分別對原始訓練集Rtrain={Xtrain,ytrain}∈RN×L的輸入和輸出空間進行擴展.

1) 首先,對輸出域進行擴展.計算ytrain=的均值yave,并由此將ytrain分為大于均值的yhigh和小于均值的ylow兩部分后,再計算ytrain的最大值ymax和最小值ymin,作為擴展空間;然后,分別計算yhigh的均值yH-ave和ylow的均值yL-ave;最后,計算獲得輸出擴展域的上限yvsg-max和下限yvsg-min[35].以相同方式對樣本輸入空間進行擴展,獲得其擴展上限xvsg-max和下限xvsg-min.

2)在樣本輸入擴展空間中,進行等間隔插值和隨機插值,以生成虛擬樣本輸入.

首先,分別在小樣本空間和擴展空間進行Nequal倍的等間隔插值[8],獲得等間隔插值虛擬樣本輸入,記為Xequal.

然后,在輸入擴展空間進行隨機插值,獲得隨機插值虛擬樣本輸入,記為Xrand:

式中,Nrand表示隨機插值倍數(shù),randL表示第n個樣本對應的隨機值.

3)將等間隔插值與隨機插值獲得的虛擬樣本輸入混合,得到虛擬樣本輸入,記為Xvs-g={Xequal;Xrand}.

3.2.1.2 生成虛擬樣本輸出

為獲得豐富的虛擬樣本,本文采用2 個映射模型生成虛擬樣本的輸出,其中RF 和RWNN 映射模型分別可獲得穩(wěn)定性較高和隨機性較強的輸出.

重復上述過程,構建得到K個決策樹.對上述全部決策樹進行集成,得到最終映射模型,具體建模過程詳見算法1,其中θleaf表示葉節(jié)點包含樣本數(shù)量的閾值.

算法1.RF 算法偽代碼

最后,獲得虛擬樣本集,記為Rvs-g1={Xvs-g,yvs-g1}.

2) RWNN 映射模型的輸出

基于RWNN 隱含層神經(jīng)元個數(shù)I,使用原始訓練集Rtrain={Xtrain,ytrain}∈RN×L構建RWNN映射模型,其包含輸入層、輸出層和單隱含層.

首先,隨機設置輸入層與隱含層間神經(jīng)元的連接權重ω={w1,w2,···,wI} 和偏置b={b1,b2,···,bN}T;然后,結合訓練集計算隱含層的輸出矩陣Hvs-g和隱含層與輸出層神經(jīng)元的連接權重β[35].

接著,由RWNN 映射函數(shù)計算虛擬樣本輸入對應的虛擬樣本輸出yvs-g2為:

最后,獲得虛擬樣本集,記為Rvs-g2={Xvs-g,yvs-g2}.

3.2.1.3 獲得候選虛擬樣本

將第3.2.1.2 節(jié)的虛擬樣本集進行混合,獲得Rvs-g={Rvs-g1;Rvs-g2}={Xvs-g,yvs-g}.

本文雖然是通過在擴展域內插值生成的虛擬樣本輸入,但虛擬樣本輸出卻是通過映射模型生成的,因此必然存在位于擴展域外的虛擬樣本.這需要根據(jù)虛擬樣本輸出擴展域的下限yvsg-min和上限yvsg-max對虛擬樣本集Rvs-g進行刪減:

3.2.2 候選虛擬樣本選擇

對zvss進行解碼后,可獲得粒子所選擇的虛擬樣本Rvs-s:

式中,θselect為虛擬樣本的選擇閾值,一般設置為0.5.

由于對zvss直接解碼所獲取的Rvs-s中可能包含擴展域外的虛擬樣本,故需要先對zvss進行變維度處理:

式(18)所表征的原理為: 首先,將擴展域外的虛擬樣本所對應的決策變量設置為無效;然后,對變維處理后的進行解碼,即從候選虛擬樣本中獲得虛擬樣本子集Rvs-s.

3.2.3 虛擬樣本評價指標計算

計算獲得虛擬樣本子集Rvs-s的評價指標,并將其作為粒子的適應度:

3.3 面向VSG 的多目標混合優(yōu)化

采用CLPSO 算法對虛擬樣本生成過程進行混合優(yōu)化過程如圖2 所示,包括種群初始化,更新粒子速度,更新參數(shù)決策變量,生成候選虛擬樣本,變維度更新樣本選擇決策變量,選擇候選虛擬樣本,計算適應度,更新粒子個體最優(yōu)、檔案和樣例池等階段,達到迭代次數(shù)后計算全局最優(yōu)及獲取最優(yōu)虛擬樣本.

圖2 基于MOPSO 混合優(yōu)化的VSG 策略Fig.2 VSG based on hybrid optimization with MOPSO

圖3 基于混合優(yōu)化策略的粒子設計Fig.3 Particle design based on hybrid optimization strategy

種群初始化時,首先對粒子數(shù)量Pnum、迭代次數(shù)Niter、更新閾值Nrefresh、參數(shù)決策變量的上/下限等相關參數(shù)進行設定;然后,生成由Pnum個粒子構成的種群,隨機初始化粒子的位置和速度并計算粒子的適應度;接著,初始化粒子的個體最優(yōu)與外部檔案;最后,計算粒子的學習概率和學習樣例.

初始化種群后,進入迭代尋優(yōu)階段.首先,根據(jù)式(3)更新粒子的速度vp;然后,根據(jù)式(4)更新粒子的參數(shù)決策變量的位置(t+1),根據(jù)式(9)中的的表征結果,以第3.2.1 節(jié)描述方式,生成候選虛擬樣本;其次,根據(jù)式(4)更新粒子的樣本選擇決策變量位置,以第3.2.2 節(jié)描述方式對候選虛擬樣本進行選擇,以獲得虛擬樣本Rvs-s;再依據(jù)第3.2.3 節(jié)描述方式計算Rvs-s的評價指標作為粒子適應度值F(zp);接著,基于適應度值、根據(jù)式(5),更新粒子個體最優(yōu),并將種群搜索到的非支配解存入檔案中,并更新檔案A;最后,計算粒子的個體最優(yōu)排序rankp,并根據(jù)式(7)更新其學習概率Pc,進而對迭代Nrefresh次后個體最優(yōu)仍未更新的粒子進行學習樣例更新.

但在更新粒子學習樣例時,考慮到待優(yōu)化的樣本選擇決策變量維數(shù)較高,需要對CLPSO 進行改進,以加速虛擬樣本優(yōu)選過程的收斂速度.本文首先在標準CLPSO 采用的如式(6)所示的更新樣例池策略的基礎上,增加樣本選擇決策變量向檔案中粒子學習的新策略如下:

然后,依據(jù)上述步驟不斷進行迭代尋優(yōu),在達到最大迭代次數(shù)Niter后,依據(jù)式(22)計算檔案A中粒子適應度的評估指標ρi:

式中,ρi為全局最優(yōu)粒子選擇指標,表示虛擬樣本的綜合評價指標;fmod(?) 表示無虛擬樣本情況下,原訓練集的泛化性能指標F;ai表示檔案A中的非支配解.

最后,將檔案中ρi值最大的粒子作為全局最優(yōu),對全局最優(yōu)的樣本選擇決策變量進行變維度解碼后,獲得最優(yōu)虛擬樣本Rvs.

基于多目標PSO 混合優(yōu)化的VSG 算法偽代碼見算法2.

算法2.基于多目標PSO 混合優(yōu)化的VSG 算法偽代碼

4 仿真驗證及工業(yè)應用

基于UCI 平臺的2 個基準數(shù)據(jù)集,設計不同的小樣本集生成虛擬樣本,對本文VSG 方法進行驗證.通過增加虛擬樣本后所構建模型的泛化性能和虛擬樣本的分布情況,驗證本文方法的有效性.進一步,基于MSWI 過程DXN 排放濃度數(shù)據(jù)生成虛擬樣本,構建軟測量模型.

本文進行算法仿真驗證的計算機軟硬件配置為Windows7 操作系統(tǒng),Matlab2021,Inter Corei7處理器,32 GB 內存.

4.1 評價指標綜述

本文定義指標η用于評價小樣本與數(shù)據(jù)整體間的分布相似度.定義數(shù)據(jù)集S1和S2的分布相似度如下:

式中,Nattr表示數(shù)據(jù)集S1和S2的屬性數(shù)量;分別表示1和∈S2的概率分布;表示數(shù)據(jù)集S1和S2屬性的Hellinger 距離,后者是F散度的一種,本文用于度量2 個概率分布的相似度:

采用均方根誤差(Root mean square error,RMSE)作為模型泛化性能的評價指標:

此外,式(22)定義的用以選擇全局最優(yōu)的評價指標ρi用于評價不同VSG 方法生成的虛擬樣本集在數(shù)量和泛化性能改進方面的優(yōu)劣.

本文面向不同實驗對虛擬樣本進行評價,將其重新定義為:

式中,實驗j的虛擬樣本綜合評價值定義為ρj;E0為基于原始小樣本建模的 RMSE;Ej為實驗j的RMSE;Nj為建模所用虛擬樣本的數(shù)量,表示虛擬樣本對模型泛化性能改進的平均貢獻.ρj值越大,表示虛擬樣本集的質量越高.

4.2 基準數(shù)據(jù)驗證

4.2.1 數(shù)據(jù)描述

本文采用的基準數(shù)據(jù)集分別為混凝土抗壓強度數(shù)據(jù)集和超導臨界溫度數(shù)據(jù)集.其中,混凝土抗壓強度數(shù)據(jù)集共有1 030 組數(shù)據(jù),包含8 個輸入變量(水泥、高爐渣、粉煤灰、水、超塑化劑、粗骨料、細骨料和齡期)和1 個輸出變量(混凝土抗壓強度);超導臨界溫度數(shù)據(jù)集共有21 263 組數(shù)據(jù),包含81個輸入變量和1 個輸出變量(超導臨界溫度).

為驗證本文方法,分別對以上2 個數(shù)據(jù)集進行處理: 從數(shù)據(jù)集中隨機選取20、40 和60 個樣本作為訓練集(即原始小樣本),對應隨機選取20、40 和60 個樣本作為驗證集,等間隔選取100 個樣本作為測試集.每個數(shù)據(jù)集均設計3 個對比實驗,編號分別為A1、A2、A3、B1、B2 和B3.基準數(shù)據(jù)集劃分如表2 所示,表2 中η表示上述各數(shù)據(jù)集與其原始數(shù)據(jù)集根據(jù)式(23)計算的分布相似度.

表2 基準數(shù)據(jù)集劃分Table 2 Benchmark data set partitioning

4.2.2 實驗結果

基準數(shù)據(jù)基于多目標PSO 混合優(yōu)化的VSG參數(shù)設定如表3 所示,需要根據(jù)不同數(shù)據(jù)特征憑經(jīng)驗確定.分別采用A1、A2、A3、B1、B2 和B3 實驗數(shù)據(jù)集與本文方法進行仿真實驗.基于多目標混合優(yōu)化獲得的非支配解的Pareto 前沿如圖4 所示.

圖4 非支配解的Pareto 前沿Fig.4 Pareto front of non-dominant solutions

表3 基準數(shù)據(jù)基于多目標PSO 混合優(yōu)化的VSG 參數(shù)設定Table 3 Parameter setting of VSG based on hybrid optimization with multi-objective PSO for benchmark data

圖4 中的橫/縱坐標分別表示2 個優(yōu)化目標,即虛擬樣本數(shù)量Nvs-s和混合樣本模型的 RMSE 值.由2 個數(shù)據(jù)集的Pareto 前沿可知,當原始訓練樣本數(shù)為20 時,虛擬樣本對模型性能的提升效果最為明顯.另外,虛擬樣本數(shù)量的增加可提高模型性能,但當虛擬樣本數(shù)量超過某個閾值后,模型性能不再明顯提升.

各實驗均生成1 080 個虛擬樣本,混合優(yōu)化后篩選出的虛擬樣本最佳數(shù)量卻存在差異,其中A1、A2 和A3 的最佳數(shù)量分別為80、128 和150,B1、B2 和B3 的最佳數(shù)量分別約為20、69 和70.這一統(tǒng)計結果表明,虛擬樣本的最佳數(shù)量與其質量相關.

進一步,對非支配解進行分析.圖5～ 7 分別展示了非支配解碼獲得的虛擬樣本的建模性能指標、綜合評價指標和分布相似度指標的對比情況.

圖5 非支配解的建模性能指標對比Fig.5 Comparison of modeling performance indexes of non-dominant solutions

圖5 分別展示了不同小樣本構建的RF 軟測量模型在不同測試集上的 RMSE.由圖5 可知,本文方法生成的虛擬樣本可提高RF 軟測量模型的泛化性能.對于超導臨界溫度數(shù)據(jù)集,混合樣本構建的RF 模型在驗證集上的泛化性能弱于在測試集上的表現(xiàn).另外,隨著小樣本數(shù)量的增多,基于小樣本所構建模型的測試性能整體提高,但虛擬樣本對模型泛化性能卻有所下降.

圖6 給出了針對混合樣本構建的RF 軟測量模型在驗證集和測試集上對虛擬樣本的綜合評價結果.由圖6 可知,本文方法生成的虛擬樣本均有較好的綜合評價指標.但隨著原始小樣本數(shù)量的增加,所生成虛擬樣本的綜合評價指標明顯變差.由虛擬樣本的綜合評價指標可知,超導臨界溫度數(shù)據(jù)集在驗證集上的表現(xiàn)較差.

圖6 非支配解的綜合評價指標對比Fig.6 Comparison of comprehensive evaluation indexes of non-dominant solutions

不同數(shù)據(jù)集生成的虛擬樣本與全體數(shù)據(jù)的分布相似度情況如圖7 所示.由圖7 可知,本文方法生成的虛擬樣本能夠改善小樣本與全體數(shù)據(jù)的分布相似度,當小樣本數(shù)量為20 時,分布相似度改善效果最為明顯.另外,小樣本數(shù)量的增加會大大提高它與全體數(shù)據(jù)的分布相似度,但本文方法很難對分布相似度指標進行改善.其中當小樣本數(shù)量為60 時,虛擬樣本對分布相似度幾乎未得到改善,甚至破壞了原有分布.

圖7 非支配解的分布相似度對比Fig.7 Comparison of distribution similarity of non-dominant solutions

根據(jù)式(26)定義的綜合評價指標ρ從檔案中選取全局最優(yōu),基準數(shù)據(jù)基于多目標PSO 混合優(yōu)化獲得的最優(yōu)虛擬樣本如表4 所示.表4 中Xvs和yvs分別為最優(yōu)虛擬樣本的輸入和輸出.其中,數(shù)據(jù)集A1 選取5 個虛擬樣本,B1 選取5 個虛擬樣本的前8 個輸入和輸出.基準數(shù)據(jù)原始樣本輸入/輸出范圍如表5 所示.

表4 基準數(shù)據(jù)基于多目標PSO 混合優(yōu)化獲得的最優(yōu)虛擬樣本Table 4 Optimal virtual samples obtained based on multi-objective PSO hybrid optimization for benchmark data

表5 基準數(shù)據(jù)原始樣本輸入/輸出范圍Table 5 Input/output range of original samples for benchmark data

本文方法在不同數(shù)據(jù)集上的全局最優(yōu)結果包括超參數(shù)最優(yōu)解、虛擬樣本數(shù)量、混合樣本構建的RF 模型在驗證集和測試集上的平均RMSE、平均綜合評價值和混合樣本的分布相似度指標,基準數(shù)據(jù)基于多目標PSO 混合優(yōu)化的全局最優(yōu)解的統(tǒng)計結果如表6 所示.由表6 可知,超參數(shù)優(yōu)化結果中,擴展率γextend值隨數(shù)據(jù)集變化,其受訓練集和驗證集分布情況的綜合影響.統(tǒng)計結果表明,各數(shù)據(jù)集均進行了明顯地域擴展;小樣本數(shù)量影響虛擬樣本的最佳數(shù)量,間接說明虛擬樣本的最佳數(shù)量與其質量相關;在原始訓練集中加入虛擬樣本構建的RF模型在驗證集和測試集上均有較好表現(xiàn),比小樣本建模的性能均有所提升.當小樣本數(shù)量為20 時,生成的虛擬樣本最佳數(shù)量分別為82 和20,建模平均測試 RMSE 分別為11.59 和18.05,比小樣本建模分別提升了10.50%和21.73%;虛擬樣本的綜合評價指標隨小樣本數(shù)量的增多而逐漸減小,即虛擬樣本對模型性能的提升隨小樣本數(shù)量的增多而變得更加困難;同時,混合樣本與原始數(shù)據(jù)分布相似度也有較明顯改善,特別是數(shù)據(jù)集A1 和B1,建模所用樣本與原始數(shù)據(jù)分布相似度分別改善了29.25% 和38.05%.

表6 基準數(shù)據(jù)基于多目標PSO 混合優(yōu)化的全局最優(yōu)解的統(tǒng)計結果Table 6 Statistical results of global optimal solution based on hybrid optimization with multi-objective PSO for benchmark data

圖8 分別給出了數(shù)據(jù)集A 和B 在測試集上的預測輸出.由圖8 可知,混合樣本建模的測試集預測輸出對期望輸出具有良好的擬合度,但其精度還有提升空間.

圖8 基準數(shù)據(jù)預測輸出對比Fig.8 Comparison of prediction output for benchmark data

4.2.3 方法比較

本文MoHo-VSG 與其他VSG 進行對比.為了驗證本文方法比其他方法更具優(yōu)越性,本節(jié)只在樣本數(shù)量為20 的A1 和B1 小樣本集進行實驗對比.實驗過程為: 首先,采用A1 和B1 小樣本集分別生成虛擬樣本;然后,將其與原始小樣本混合以構建模型;最后,所有實驗重復30 次,并計算相應評價指標,基準數(shù)據(jù)不同VSG 方法的對比統(tǒng)計結果如表7 所示.

表7 基準數(shù)據(jù)不同VSG 方法的對比統(tǒng)計結果Table 7 Comparative statistical results of different VSG methods for benchmark data

表7 中N-VSG[29]表示非線性插值的VSG 法;M-VSG[31]表示線性與非線性結合的混合插值VSG方法;PSO-VSG[34]表示基于PSO 優(yōu)化生成的VSG 方法;MP-VSG[35]表示基于插值并經(jīng)PSO 優(yōu)化選擇的VSG 方法.由表7 可知,本文方法在虛擬樣本數(shù)量最少情況下,混合樣本構建的RF 模型具有更好的泛化性能,其在測試集上的 RMSE 和最優(yōu)值最小,表明本文方法生成的虛擬樣本在提高模型泛化性能的同時,也具有較好的穩(wěn)定性.本文方法生成的虛擬樣本綜合評價值最大,表明本文方法生成的虛擬樣本具有更高質量,即每個虛擬樣本對模型性能提升的貢獻更大;本文方法生成的虛擬樣本與訓練集混合后的分布相似度最小,表明其分布更符合全體數(shù)據(jù)分布.

本文所采用的CLPSO 算法對VSG 結果的影響主要體現(xiàn)在: 1)種群的粒子數(shù)量Pnum和迭代次數(shù)Niter是對可行域進行充分搜索的基礎條件,兩者的乘積代表了粒子到達可行域的位置數(shù).當Pnum和Niter值過小時,種群未收斂至全局最優(yōu);當Pnum和Niter值過大時,種群收斂至全局最優(yōu)后繼續(xù)迭代會浪費較多算力.所以Pnum和Niter值需結合全局收斂性能和VSG 數(shù)據(jù)進行確定.2)學習樣例引導著粒子的搜索方向和步長,樣例池的更新閾值Nrefresh決定了學習樣例的更新頻率,間接決定算法的搜索能力和收斂性.若粒子全局最優(yōu)經(jīng)Nrefresh次未變,需要通過更新學習樣例而引導粒子跳出個體最優(yōu).當Nrefresh過大時,粒子長期向舊學習樣例進行學習會導致種群全局搜索能力下降;當Nrefresh過小時,粒子不斷向新學習樣例進行學習會導致種群收斂性變差.所以Nrefresh值的確定需考慮VSG 數(shù)據(jù)的特性并結合迭代次數(shù)Niter值.另外,變量zMTD、、、zRWNN的上/下限決定著種群的可行域,影響著種群的搜索效率和結果.當可行域過大,則搜索效率會下降;當可行域過小,則可能會錯失全局最優(yōu)解.所以,它們的取值也需要根據(jù)VSG 數(shù)據(jù)特征,憑經(jīng)驗確定.

4.3 工業(yè)數(shù)據(jù)驗證

4.3.1 二噁英排放過程描述

國內MSWI 過程工藝流程圖如圖9 所示.圖9中,由MSWI 過程所產(chǎn)生的DXN 分別包含在灰渣、飛灰和煙氣3 種產(chǎn)物中,其中煙氣中含有的DXN按照工藝階段可分為 DXN 產(chǎn)生時的煙氣G1、DXN被吸附后的煙氣G2 和排放至大氣的煙氣G3 三種.在機理上,DXN 的產(chǎn)生來源包括固廢不完全燃燒和新規(guī)合成反應生成2 類[54].通常,為保證DXN 等有毒有機物的有效分解,在固廢焚燒階段的煙氣溫度應達到至少850 °C 并保持2 s.另外,為減低排放煙氣中的DXN 濃度,在煙氣處理階段需要向反應器內噴射消石灰和活性炭,以吸附DXN 以及某些重金屬.此外,余熱鍋爐和煙氣處理階段的積灰所造成的至今機理仍不清晰的DXN 記憶效應也會導致DXN 排放濃度增加.上述不同階段的過程變量均以秒為周期、由現(xiàn)場控制系統(tǒng)采集.但焚燒企業(yè)或環(huán)保部門通常以月、季或更長時間為不確定周期,離線化驗煙氣G3 中DXN 濃度,該方法需要專門的實驗室分析設備,檢測成本高且耗時長[4].此外,煙氣G3 中的易檢測氣體(如CO、HCL、SO2和 N Ox等) 濃度能夠通過煙氣排放連續(xù)監(jiān)測系統(tǒng)進行實時檢測,并且與DXN 濃度存在相關性.基于指標/關聯(lián)的在線間接檢測方法要求先檢測指示物/相關物的濃度,再基于映射模型間接計算DXN排放濃度,需要昂貴且復雜的在線分析設備,并且存在以小時為單位的時間滯后[1].因此,有必要構建DXN 排放濃度軟測量模型,以實現(xiàn)在線實時檢測.

圖9 MSWI 過程工藝流程圖Fig.9 Flow chart of MSWI process

綜上所述,煙氣G3 中的DXN 濃度與MSWI過程不同階段的過程變量相關,并且構建DXN 預測模型的數(shù)據(jù)(真輸入-真輸出)具有樣本數(shù)量稀缺與分布不均衡、輸入特征維度高等特性.Bunsan 等[54]結合機理和經(jīng)驗,利用臺灣某焚燒廠4 年多的實際過程數(shù)據(jù),結合相關分析、主成分分析和人工神經(jīng)網(wǎng)絡,從23 個易檢測變量中選取13 個變量建立DXN軟測量模型.Xiao 等[55]采用爐溫、鍋爐出口煙氣溫度、煙氣流量、S O2、HCL 和顆粒物濃度等輸入變量,建立基于支持向量機的DXN 排放濃度軟測量模型.針對實際MSWI 過程變量具有數(shù)百維且不同程度地與DXN 產(chǎn)生、吸收和排放有關,喬俊飛等[56]提出多層特征選擇方法.但是,以上方法均是通過降低建模樣本維度的方式構建軟測量模型,并未從本質上解決建模樣本稀少問題,并且未被選擇的特征可能會造成信息損失.因此,本文采用MoHo-VSG 用于解決DXN 排放濃度建模問題.

4.3.2 數(shù)據(jù)描述

本文采用的工業(yè)數(shù)據(jù)源于北京某基于爐排爐的MSWI 電廠,涵蓋了2012～ 2018 年所記錄的有效DXN 排放濃度檢測樣本共34 個.將原始數(shù)據(jù)經(jīng)過預處理后,獲得包含119 維輸入和1 維輸出的建模樣本.由于原始樣本數(shù)量較少,將數(shù)據(jù)集劃分為訓練集和驗證集,驗證集同時也作為測試集,將該數(shù)據(jù)集記為C.

4.3.3 實驗結果

DXN 數(shù)據(jù)基于多目標PSO 混合優(yōu)化的VSG算法參數(shù)設定如表8 所示,包括決策變量zMTD、和zRWNN的最大/最小值.

表8 DXN 數(shù)據(jù)基于多目標PSO 混合優(yōu)化的VSG 算法參數(shù)設定Table 8 Parameter setting of VSG algorithm based on multi-objective PSO hybrid optimization for DXN data

在數(shù)據(jù)集C 上,對本文方法進行仿真實驗,獲得非支配的Pareto 前沿 ——DXN 排放濃度如圖10 所示.由圖10 可以看出,當虛擬樣本數(shù)量為40 時,模型泛化性能較好,其中候選虛擬樣本數(shù)量均為918.

圖10 非支配解的Pareto 前沿 ——DXN 排放濃度Fig.10 Pareto front of non-dominated solutions ——DXN emission concentration

對非支配解進行分析.非支配解的建模性能和綜合評價指標對比如圖11 所示.由圖11 可以看出,本文方法生成的虛擬樣本在總體上可提高模型的泛化性能;而非支配解4 和5 的綜合評價指標為負,表明加入虛擬樣本后,建模性能沒有得到提升,反而降低了.由于測試集和驗證集相同,所構建的RF 模型表現(xiàn)相近,但也存在一定差別.DXN 數(shù)據(jù)基于多目標PSO 混合優(yōu)化獲得的最優(yōu)虛擬樣本如表9 所示,表9 展示了5 個虛擬樣本的前7 個輸入和1 個輸出.

圖11 非支配解的建模性能和綜合評價指標對比Fig.11 Comparison of modeling performance indexes and comprehensive evaluation indexes of non-dominant solutions

表9 DXN 數(shù)據(jù)基于多目標PSO 混合優(yōu)化獲得的最優(yōu)虛擬樣本Table 9 Optimal virtual samples obtained based on multi-objective PSO hybrid optimization for DXN data

DXN 數(shù)據(jù)面向VSG 的多目標PSO 混合優(yōu)化全局最優(yōu)解如表10 所示.由表10 可以看出,超參數(shù)γextend較小,表明樣本域擴展程度較小,反映了訓練集與測試集的分布域較為相似.17 個訓練樣本生成的虛擬樣本最佳數(shù)量為40,混合樣本構建的RF 模型在驗證集和測試集上的表現(xiàn)相近,其在測試集上的平均RMSE 為0.023 1,比小樣本建模提升了2.51%;虛擬樣本的綜合評價指標大于0,但值較小,表明所生成的虛擬樣本有效用但仍需改進.

表10 DXN 數(shù)據(jù)面向VSG 的多目標PSO 混合優(yōu)化全局最優(yōu)解Table 10 DXN data for VSG-oriented multi-objective PSO hybrid optimization global optimal solution

4.3.4 方法比較

本文MoHo-VSG 與其他VSG 進行對比.采用數(shù)據(jù)集C 生成虛擬樣本,將其與原始小樣本混合構建模型,實驗均重復30 次,DXN 數(shù)據(jù)的不同VSG方法對比統(tǒng)計結果如表11 所示.由表11 可以看出,本文方法在虛擬樣本數(shù)量最少情況下,混合樣本構建的RF 模型具有更好的泛化性能,其在測試集上的RMSE 均值和方差較小,表明本文方法在提升模型預測性能和穩(wěn)定性上具有優(yōu)勢.但是,在30 次重復實驗中,本文方法最優(yōu)RMSE 值不如MP-VSG方法.另外,本文方法生成的虛擬樣本有較好的綜合評價指標ρ.

表11 DXN 數(shù)據(jù)的不同VSG 方法對比統(tǒng)計結果Table 11 Comparative statistical results of different VSG methods based on DXN dataset

綜上所述,本文MoHo-VSG 能夠對VSG 過程的超參數(shù)和虛擬樣本的選擇進行混合優(yōu)化,確保優(yōu)選并生成更為合理的虛擬樣本,能夠有效地提高虛擬樣本的質量和確定其最佳數(shù)量.針對不同的數(shù)據(jù)集,本文方法能進行自適應的域擴展,并基于生成的虛擬樣本優(yōu)化確定其最佳數(shù)量.生成的虛擬樣本可明顯提升模型泛化性能,且具有較好的綜合評價值,也能夠提高小樣本與全體數(shù)據(jù)的分布相似度η值,比其他VSG 方法具有優(yōu)勢.在2 個基準數(shù)據(jù)集上進行仿真實驗,當小樣本數(shù)量為20 時,生成的虛擬樣本最佳數(shù)量分別為82 和20,建模平均RMSE分別為11.59 和18.05,比小樣本建模分別提升了10.50%和21.73%,建模所用樣本與原始數(shù)據(jù)的分布相似度分別改善了29.25%和38.05%.將本文方法應用于DXN 排放濃度建模上,17 個訓練樣本生成的虛擬樣本最佳數(shù)量為40,模型在測試集上的平均 RMSE 為0.023 1,比小樣本建模提升了2.51%.

5 結束語

針對工業(yè)過程回歸建模時樣本數(shù)量有限問題,本文提出基于多目標PSO 混合優(yōu)化的VSG 方法,其創(chuàng)新性表現(xiàn)有以下3 點: 1)首次采用混合優(yōu)化策略對VSG 過程的超參數(shù)和樣本選擇過程進行同時優(yōu)化,確保虛擬樣本的合理性和有效性;2)改進CLPSO 算法對VSG 過程進行多目標優(yōu)化,在確保模型泛化性能的同時,盡可能地降低虛擬樣本數(shù)量,這樣既保證了虛擬樣本的整體質量,也確定了虛擬樣本的最佳數(shù)量;3)提出新的面向虛擬樣本質量的綜合評價指標和分布相似度指標,用于度量虛擬樣本對建模性能的貢獻度,以及虛擬樣本改善小樣本分布的效果.通過基準數(shù)據(jù)和工業(yè)數(shù)據(jù)仿真實驗,驗證了本文方法的有效性.

目前,面向工業(yè)過程小樣本數(shù)據(jù)回歸建模的VSG 方法仍處于不斷探索的階段,在如何確定樣本的期望分布、如何針對不同研究領域小樣本數(shù)據(jù)的特性從理論上確定虛擬樣本最佳數(shù)量、如何提出更好的虛擬樣本評價指標以度量虛擬樣本和實際數(shù)據(jù)的差異等方向,仍有待深入研究.