基于改進大趨勢擴散和隱含層插值的虛擬樣本生成方法及應用

喬俊飛，郭子豪，3，湯健

（1 北京工業大學信息學部，北京100124； 2 計算智能與智能系統北京市重點實驗室，北京100124；3 北京軌道交通技術裝備集團，北京100071）

引 言

復雜工業過程采集和存儲的樣本數量隨著自動化和信息化程度的提高而日漸增大，但建模及控制算法所需要的覆蓋多種工況的特定樣本或極端樣本往往比較稀缺。同時，這些工業過程的部分難以檢測質量或環境污染指標的檢測時間和經濟成本極高，這使得用于構建相應的預測模型的建模數據呈現出小樣本特性[1]。研究表明，如果數據分布呈現離散或松散結構，即在采樣點之間存在較大間隙，或者并沒有根據基礎數據變化規律進行有效采集，也將導致建模數據具有“小樣本”特性[2]，即特征容量小、數據不連續、樣本多樣性差等[3]。以在生活垃圾的無害化、減量化和資源化處理等方面具有顯著優勢的城市固廢焚燒（MSWI）過程為例[4]，MSWI過程會產生對人類健康和生態環境造成巨大潛在危害的劇毒持久性有機污染物，即二英（DXN）[5]。此外，DXN 也是造成MSWI 建廠存在“鄰避效應”的主要原因。面對世界范圍內限制排放的污染物DXN，目前MSWI 企業的主要關注點是如何通過優化控制焚燒運行參數實現其排放的最小化[6]。顯然，實現DXN的優化減排的關鍵點之一是實現DXN的在線檢測。針對MSWI 過程的DXN，主要檢測方法包括離線直接檢測法、指示物/關聯物在線間接檢測法和軟測量方法[1]。目前，實際工業現場多以月或季為周期采用離線直接檢測法獲得DXN 排放濃度，進而導致DXN 的有標記建模樣本數量極其稀缺。顯然，具有類似上述特征的小樣本數據構建的模型難以有效地表征事物或過程的本質[7]。高質量建模數據是進行復雜工業過程優化控制與智能決策的基礎，目前需要一種針對小樣本建模問題的解決技術。因此，小樣本數據驅動建模首先要克服的是稀缺樣本不完備問題。

關于小樣本建模難問題，文獻[8]提出基于灰色系統理論，通過累加原始樣本降低隨機性和提高序列間規律性，進而提高建模精度，但針對分布不平衡數據的預測性能有限；文獻[9]提出基于箱圖的改進灰色預測模型，提升時間序列小樣本模型的預測精度；文獻[10]闡述樣本數量與模型精度與復雜度之間的關系，并給出建模樣本數量與建模精度間映射關系的證明。

文獻[11]提出了虛擬樣本生成（VSG）的概念，其利用數學變換從多個角度生成虛擬樣本，以提高模式識別的能力。文獻[12]指出VSG能夠提高小樣本模型泛化能力的原因是其在數學上等價于將先驗知識合并為正則化矩陣，并證明了利用原始數據映射關系生成虛擬樣本的可行性。針對樣本分布稀疏和分布不平衡的問題，文獻[13]提出一種通過構造離散點之間的近似函數求解未知空間函數值的插值法。文獻[14]提出了一種基于多項式插值的技術擴展樣本。現有VSG 研究大多面向分類問題[15-16]。針對本文所重點研究的小樣本回歸建模問題[17]，文獻[18-20]提出了基于多種優化算法的VSG 策略，文獻[21]提出了生成通用結構數據的抽樣策略，文獻[22]對小樣本VSG 方法的有效擴展策略進行了論述，文獻[23]說明了VSG 方法在擴展小樣本方面的有效性，文獻[24]提出基于距離準則確定數據稀疏區域。最近，湯健等提出了針對高維數據的VSG[25]，并基于VSG 提出了面向多組分機械振動信號的建模策略[26]；但這兩種技術僅利用實驗數據所蘊含的先驗知識進行插值，未能解決建模樣本稀缺的根本問題。從本質上講，VSG 主要通過填充樣本空間中不完整或不平衡信息進行擴充。上述基于插值法的VSG 策略大多采用傳統單模型生成虛擬樣本，這對具有復雜工況分布的工業建模對象而言是很難有效的。此外，上述方法未考慮極端樣本或樣本分布不均勻等問題，在本質上并未有效解決小樣本擴容問題。

文獻[27]提出根據實際樣本的輸入分布擴展虛擬樣本區域的大趨勢擴散（MTD）技術；但方法僅在隸屬度空間進行擴展，并且由于選取均值作為虛擬樣本空間的擴展中心導致無法保證其在實域空間內擴展樣本邊界的完整性。此外，該MTD 方法未考慮樣本總體分布的差異性和極端樣本的存在，很難有效填補多工況特定樣本或極端樣本的分布范圍。因此，需要一種更為有效的真實樣本邊界區域擴展算法。隨機權神經網絡(RWNN)是基于前饋神經元網絡的機器學習算法，其特點是隱含層節點權值隨機生成且無須更新，輸出權值采用最小廣義逆計算獲得[28]。針對真實樣本中可能存在的噪聲，文獻[22,29]提出了基于RWNN 和自聯想神經網絡的隱含層插值相結合的VSG 方法，但在虛擬樣本生成的穩定性等方面還有待完善。此外，上述不同類型的虛擬樣本之間還存在著互補特性。

基于此，本文提出了一種基于改進MTD 和RWNN 隱含層多層插值法的VSG 方法。在采用改進MTD 進行虛擬樣本輸入/輸出區域進行擴展的基礎上，采用基于RWNN 的等間隔插值和正則化隱含層插值相結合策略增強虛擬樣本生成的穩定性及相互之間的互補性。采用基準數據集以及MSWI過程的DXN 數據驗證了該VSG 方法的合理性和有效性。

1 相關工作

1.1 基于VSG方法的樣本生成

圖像識別領域首先給出的虛擬樣本定義為：基于先驗知識通過數學變換產生的新圖像[11]。進一步，文獻[30]給出了較為通用的VSG的定義，即基于先驗知識和較少數量的真實樣本通過某種變換產生新樣本的過程。具體而言，VSG 是以原始小樣本數據集為基礎，利用先驗知識或樣本分布等潛在信息生成虛擬樣本，解決樣本數據稀缺、不平衡等問題，進而提高小樣本數據模型的泛化能力。目前，VSG面臨的挑戰包括：如何確定虛擬樣本輸入/輸出、如何確定虛擬樣本數量和如何評估虛擬樣本質量等。文獻[22]給出了如圖1 所示的真實樣本與期望樣本空間的示意圖。

圖1表明VSG的本質是通過“填充”期望分布樣本空間中的不完整或不平衡信息以實現樣本擴充，主要涉及：（1）對真實樣本空間的信息間隔進行填充；（2）對真實樣本空間邊界進行擴展并填充；（3）對不符合期望樣本空間的虛擬樣本進行刪減。

1.2 基于MTD方法的區域擴展

圖1 真實樣本與期望樣本空間的關系Fig.1 Relationship between expected sample space and real sample space

3.1 基準數據集驗證

3.1.1 數據集的描述 本驗證實驗采用UCI平臺的“水泥抗壓強度”基準數據集，可訪問http://www.ucl.ac.be 獲取。數據集共有數據1030 組，包含8 個輸入變量（水泥、高爐渣、粉煤灰、水、超塑化劑、粗骨料、細骨料、齡期,分別用數字1～8表示）和1個輸出變量（混凝土抗壓強度）。為驗證所提VSG 方法的合理性和有效性，針對1030 組原始數據集的前1000 組數據每25組數據抽取1組數據，總共抽取40組作為本驗證實驗所使用的真實小樣本數據集。

3.1.2 仿真結果 采用所提方法對虛擬樣本進行區域擴展，原始數據的xmax和xmin以及擴展后的xvsg-max和xvsg-min如圖3 所示。數據集的ymax和ymin以及擴展后的yvsg-max和yvsg-min值，如表1所示。

從圖3 和表1 可知，虛擬樣本的輸入/輸出空間均被有效擴展，其中：樣本輸入空間的上限和下限分別平均擴展了28.81%和12.77%，樣本輸出空間的上限和下限分別平均擴展了25.61%和100%。

基于等間隔方法生成虛擬樣本輸入/輸出的結果如表2所示。

表1 基準數據擴展輸出空間與原始輸出空間的對比Table 1 Comparison of extended output space and original output space for Benchmark data

由表2 可知，在考慮到極端樣本的前提下，基于等間隔法在擴展區域和原始區域生成的虛擬樣本有效擴充了小樣本數據。虛擬樣本輸出的未刪減數量（合格樣本）與生成數量的關系如圖4所示。

由圖4 可知，上述方法所生成虛擬樣本的穩定性具有隨機性，其平均刪減比率為30.41%。隨機性可能與映射模型的構建、神經網絡本身的隨機性以及小樣本自身建模的局限性等因素有關。

圖3 基準數據原始小樣本空間與擴展空間的對比Fig.3 Comparison between original small sample space and extended space

表2 基準數據等間隔策略生成虛擬樣本的輸入/輸出（以n=3時第1和2組樣本為例）Table 2 Input and output of virtual samples generated based on equal interval method for Benchmark data（taking the first and second samples with n=3 as example）

圖4 基準數據樣本輸出的刪減數量與生成數量的關系Fig.4 Relationship between the deleted number and the generated number of the virtual sample output for Benchmark data

未加入正則化項基于多組隱含層插值法的虛擬樣本輸入和輸出（反歸一化處理后）結果如表3所示。

由表3 可知，未加正則化項時在高維非線性空間插值進行虛擬樣本的生成，經由高維空間的線性變換得到的虛擬樣本輸出較為穩定；但從高維空間反映射到低維線性空間獲取虛擬樣本輸入時，因映射參數有一定的隨機性導致其所生成虛擬樣輸入的穩定性具有較大的波動性。以前5 組為例，虛擬樣本輸入平均符合上下限設定值的比率為67.5%，但最優情況可達100%，最差情況也會低至0。

表3 基準數據未加入正則化項基于多組隱含層插值法的虛擬樣本輸入/輸出結果（以前5組為例）Table 3 Virtual sample input and output results based on multiple sets of hidden layer interpolation method without regularization term for Benchmark data（taking the former five samples as example）

表4 基準數據加入正則化項基于多組隱含層插值法的虛擬輸入/輸出結果（以前5組樣本為例）Table 4 Virtual sample input and output results based on multiple sets of hidden layer interpolation method with adding regularization term for Benchmark data（taking the former five samples as example）

因此，在未加入正則化項時，每對虛擬樣本輸入/輸出總會因其中一項不合格而導致該組虛擬樣本因不合格而被舍棄，進而導致合格虛擬樣本生成率低。加入正則化項（懲罰參數取值為0.1）后隱含層插值法的虛擬輸入/輸出結果如表4所示。

由表4 可知，加入正則化項所生成的虛擬樣本輸入/輸出均符合樣本的規定區域。因此，基于RWNN 的隱含層插值法的隨機性是影響其樣本生成穩定性的主要因素之一。正則化項加入前后的虛擬樣本合格率的對比如圖5所示。

圖5 基準數據正則化項對虛擬樣本合格率的影響Fig.5 Effect of regularization term on sample qualification rate

表5 基準數據刪減后的基于多組隱含層插值法的虛擬樣本輸入/輸出結果（以前5組樣本為例）Table 5 Virtual sample input and output results based on multiple sets of hidden layer interpolation method with deletion operation for Benchmark data（taking the former five samples as example）

表6 基準數據實驗結果比較Table 6 Comparison of experimental results for Benchmark data

由圖5 可知，未加入正則化項時的虛擬樣本合格率無法得到有效保障，加入后合格率顯著提高。刪減后的基于多組隱含層插值的虛擬樣本輸入/輸出如表5所示。

由上可知，基于本文所提策略，可對抽樣獲得的小樣本水泥抗壓強度數據集進行合理擴容，驗證本文所提VSG方法的合理性。

3.1.3 方法比較 基于本文所設計實驗，基準數據的對比結果如表6所示。

由表6 可知，對于本實驗所采用的水泥抗壓強度數據集，小樣本數據集（無VSG 方法）的RMSE 為23.599，使用VSG 方法后的最佳RMSE 為13.383。結果表明，本文所提VSG 方法可提高小樣本建模精度43.290%，驗證了所提方法的有效性，但如何確定合理的虛擬樣本數量方面的研究仍然有待深入。不同方法的預測輸出曲線如圖6所示。

由上述結果可知：所提方法能夠擴展和填補真實樣本邊界和間隔，提高虛擬樣本的有效性、平衡性和數據完整性。但所用建模方法所固有隨機性導致混合樣本的建模精度具有一定的波動性。

3.2 工業過程數據驗證

3.2.1 數據描述 典型的基于爐排爐的MSWI的工藝流程如圖7所示。

圖6 基準數據不同方法的測試樣本預測曲線Fig.6 Prediction curves of test samples with different methods of Benchmark data

由圖7 可知，城市固廢焚燒（MSWI）過程主要分為以下步驟：首先將城市固廢（MSW）運輸至卸料大廳，然后倒入存放池中，靜置發酵后通過抓斗抓入爐排內；在爐排中經過多組爐排聯動燃燒后，所產生的廢渣進入爐渣池，經收集后進行填埋處理；燃燒生成的混合氣體經余熱鍋爐和水冷壁降溫后，產生高壓蒸氣推動汽輪機進行發電；冷卻后的混合氣體進入反應器和除塵器進行吸附物理反應和脫硫脫硝化學反應后由煙囪排出；排放至大氣的混合氣體含有二英（DXN）等有害物質。

圖7 典型基于爐排爐的MSWI工藝流程圖Fig.7 Typical MSWI process flow chart based on grate furnace

MSWI 的過程變量以秒為單位采集和存儲。因DXN 檢測的高成本性和難測量性使得工業現場多以月或季為周期對其進行離線直接檢測，這導致有標記建模樣本的數量極其稀缺。基于關聯物/指示物的DXN 在線檢測在本質上仍然需要基于離線化驗DXN 數據構建映射模型[31-32]，軟測量直接采用MSWI 的過程變量和易檢測氣體濃度構建映射模型[33-34]。不同于文獻[35]采用的是20 年前國外相關機構收集的DXN 數據[36]建模，本驗證實驗建模數據源于北京某基于爐排爐的MSWI 企業，涵蓋了近6 年所記錄的有效DXN 排放濃度檢測樣本，樣本數量為34個，特征選擇后的變量維數為18。

3.2.2 仿真結果 對于虛擬樣本區域的擴展，原始數據集的xmax和xmin以及擴展后的xvsg-max和xvsg-min如圖8所示。

原始數據集的ymax和ymin以及擴展后的yvsg-max和yvsg-min如表7所示。

從圖8 和表7 可知，虛擬樣本的輸入/輸出空間均被擴展，其中：樣本輸入空間的上限和下限分別平均擴展了37.29%和49.47%，樣本輸出空間的上限和下限分別平均擴展了60.24%和100%。基于等間隔法所生成虛擬樣本輸入/輸出的結果如表8所示。

虛擬樣本輸出的刪減數量與生成數量的關系如圖9所示。

圖8 DXN數據原始小樣本空間與擴展空間對比（以前5組特征變量為例）Fig.8 Comparison between original small sample space and extended space(taking the former 5 input features as example)for DXN data

表7 DXN數據擴展輸出空間與原始輸出空間的對比Table 7 Comparison between extended output space and original output space for DXN data

圖9 DXN數據樣本輸出的刪減數量與生成數量的關系Fig.9 Relationship between the number of deletion and generation of virtual sample output for DXN data

由圖9 可知，虛擬生成樣本的成功率具有隨機性，其平均刪減比率為17.65%。該隨機性與映射模型的構建精度、神經網絡固有隨機性以及小樣本數據自身建模的局限性等多種因素有關。

未加入正則化項時基于多組隱含層插值法的虛擬輸入/輸出（反歸一化后）結果如表9所示。

由表9可知，在未加正則化項情況下，在高維非線性空間插值生成的虛擬樣本輸出較為穩定；但虛擬樣本輸入需從高維空間反映射到低維線性空間，因映射參數所固有的隨機性導致所生成的虛擬樣本輸入的成功率具有隨機性。此處以前5 組為例，其中：虛擬樣本輸入平均值符合上下限設定值的比率為80%，最優100%，最差0。因此，在未加入正則化項時，隱含層插值所生成的虛擬樣本輸入/輸出中總會存在一定數量的不合格樣本，這導致難以獲得期望數量的合格虛擬樣本。

表8 DXN數據基于等間隔法生成的虛擬樣本輸入/輸出結果（以n=3時第1和2組樣本為例）Table 8 Virtual samples input and output based on generated at equal interval method（taking the first and second samples with n=3 as example）for DXN data

表9 DXN數據未加入正則化項基于多組隱含層插值法的輸入/輸出結果（以前5組樣本為例）Table 9 Input and output results based on multiple groups of hidden layer interpolation method without regularization term for DXN data（taking the former five samples as example）

加入正則化（懲罰參數取值為0.1）項后，基于多組隱含層插值法的虛擬輸入/輸出結果如表10所示。

由表10 可知，在加入正則化項情況下，所生成的虛擬樣本輸入/輸出符合樣本規定區域的比例達到100%。因此，基于RWNN 的隱含層插值法的隨機性是影響其樣本生成優劣的主要因素。

針對同一輸入特征，加入正則化項前后的虛擬樣本合格率的對比如圖10所示。

由圖10 可知，未加入正則化時的合格率波動較大，范圍從0～100%；加入正則化項后可確保其合格率達到100%。采用所提方法，刪減后基于多組隱含層插值法的虛擬樣本輸入/輸出如表11所示。

表10 DXN數據加入正則化項基于多組隱含層插值法的輸入/輸出結果（以前5組樣本為例）Table 10 Virtual sample input and output results based on multiple sets of hidden layer interpolation method with adding regularization term for DXN data（taking the former five samples as example）

圖10 DXN數據正則化項對樣本合格率的影響Fig.10 Effect of regularization term on sample qualification rate for DXN data

由上可知，本文所提策略能夠對DXN 數據進行合理擴充，驗證了所提VSG方法的合理性。

3.2.3 方法比較 基于本文所設計實驗，基準數據對比結果如表12所示。

從表12 可知，基于真實小樣本數據集（無VSG）的RMSE 為0.0383，基 于VSG 的 最 佳RMSE 為0.0254。結果表明，采用所提VSG 方法后可提高DXN 小樣本數據建模精度30.29%，驗證了有效性，但如何確定合理的虛擬樣本數量方面的研究仍然有待深入。因此，所提方法有效地擴展了樣本空間，有效填補了樣本間隔，提高混合建模樣本的有效性、平衡性和完整性。但所用建模方法所固有的隨機性也導致混合建模樣本的預測性能存在一定波動性。

表11 DXN數據刪減后的基于多組隱含層插值法的虛擬樣本輸入/輸出結果（以前5組樣本為例）Table 11 Virtual sample input and output results based on multiple sets of hidden layer interpolation method with deletion operation for DXN data（taking the former five samples as example）

4 結 論

本文針對復雜工業過程難以檢測質量或環境污染指標數據的時間和經濟成本高，進而導致有標記建模數據樣本稀缺的問題，提出了基于改進大趨勢擴散和隱含層插值的虛擬樣本生成(VSG)方法，用于提升小樣本數據的建模性能。主要創新為：（1）提出了改進MTD 算法，確保了虛擬樣本輸入/輸出的有效擴展區域；（2）提出了基于正則化改進的隨機權神經網絡隱含層插值算法，提高了VSG 的成功率和穩定性；（3）提出了融合等間隔插值和神經網絡隱含層插值的策略及虛擬樣本刪減機制。實驗結果表明，本文所提方法能夠有效擴展樣本邊界區域和填補樣本間隔，提高了建模樣本的有效性、平衡性和完整性。考慮到影響混合建模樣本的效果包括數據集類型、MTD 擴展倍數、映射模型構建算法與參數等多個因素，下一步研究工作是如何深化VSG 理論基礎、如何優化虛擬樣本生成質量與數量以及降低映射模型隨機性。

表12 DXN數據實驗結果比較Table 12 Comparison of experimental results for DXN data