一種新穎的小樣本整體趨勢擴散技術

朱寶，陳忠圣，余樂安（北京化工大學經濟管理學院，北京 0009；北京化工大學信息科學與技術學院，北京 0009）

?

一種新穎的小樣本整體趨勢擴散技術

朱寶1，陳忠圣2，余樂安1
（1北京化工大學經濟管理學院，北京 100029；2北京化工大學信息科學與技術學院，北京 100029）

摘要：基于數據驅動的生產過程建模、優化與控制是當今學術界與企業界的研究與應用熱點。大數據時代小樣本問題不可忽視。針對諸如人工神經網絡（ANNs）、極限學習機（ELMs）等傳統建模方法在小樣本條件下難以獲得較高的學習精度，提出了一種新穎的多分布整體趨勢擴散技術（multi-distribution mega-trend-diffusion, MD-MTD）用于提升小樣本學習精度。通過整體擴散技術推估小樣本屬性可接受范圍，在整體趨勢擴散的基礎上，增加了均勻分布和三角分布描述小樣本數據特性，生成虛擬樣本，填補小樣本數據點間的信息間隔。利用標準函數產生標準樣本，在正交實驗和不均勻樣本實驗下論證了MD-MTD的合理性和有效性，用MLCC和PTA兩個實際的工業數據集進一步驗證了MD-MTD的實用性。實驗結果表明，MD-MTD能提高小樣本學習精度8%以上。

關鍵詞：小樣本集；整體趨勢擴散技術；虛擬樣本；正交實驗

2015-12-17收到初稿，2016-01-06收到修改稿。

聯系人：余樂安。第一作者：朱寶（1987—），男，博士研究生。

引 言

現代石化生產過程系統應用了先進的控制系統和生產經營管理系統（DCS、FCS、MES、ERP、CRM、LIMS等），積累了大量有關生產過程的歷史和當前生產的實時動態數據及企業經營管理等海量數據，但用于建模、優化與控制的數據需要覆蓋整個過程系統運行的全范圍，表征過程系統的整體特性，這就需要數據具有良好的分布性和一致性。正常運行狀態下的數據相對平穩，不同原油的生產操作數據、開停車數據、歷史故障數據等相對較少，常規的數據挖掘技術難于從稀少而彌貴的數據中挖掘出有效信息。人工神經網絡、極限學習機和貝葉斯網絡等傳統學習工具廣泛用于學習潛在知識，但當數據不充分時，這些學習工具性能差、泛化能力不足、魯棒性不強，可能誤導生產管理者的決策、管理與控制。機器學習的精度很大程度上取決于樣本量的大小[1]，如何根據有限的、稀疏的、不充分的原始數據合理科學地擴大樣本空間，強化學習工具的工作性能，成為人們解決小樣本問題的切入點。

小樣本學習問題不僅局限于統計學中樣本數N少于50（工程上N取30）的樣本學習問題，也包括數據挖掘中數據結構的不完整和不平衡問題[2-3]。由于小樣本集在分布上呈現離散和松散的特點，數據間的信息間隔惡化了利用有限稀疏樣本對總體特性的表征。小樣本提供的信息是稀疏、離散的，由于信息間隔的存在，無法觀測到觀測點間隔間的信息。此外，小樣本是總體的子集（如圖1所示），直接通過小樣本對總體特性進行推斷是片面的和有偏的，不足為信。因此，擷取觀測點間隔內的潛在信息對描述總體特征具有重要作用。

圖1 總體、小樣本、虛擬樣本三者的關系Fig.1 Relationship among population, small-sample-sets and virtual datasets

目前，解決小樣本集學習問題主要有兩種思想。一種是基于灰色理論直接對原始的樣本集進行建模[4-5]。另一種思想是生成虛擬樣本，擴大樣本的數量，富化小樣本集的貧信息。虛擬樣本的概念由Poggio等[6]首先提出，他們針對某個對象給定的三維視角，通過數學變換的方法，從其他任意角度生成新的圖像，即虛擬樣本，提高模式識別能力。虛擬樣本的概念提出后，在加工制造業[5,7-10]、醫療[11-12]、圖像處理[3,13]等領域得到廣泛的應用。

為提高小樣本學習精度，研究人員提出了功能虛擬總體FVP算法[7]、基于自適應網絡的模糊推理系統ANFIS方法[8]、基于高斯分布的虛擬樣本生成VSG方法[2]分別為小樣本問題和不平衡數據問題開發的VSGGDS和VSGGDI算法、基于Bootstrap的虛擬樣本生成方法[12,14]等。但FVP是對實際樣本總體的有偏估計，特別是當系統的性能指標發生變化時，FVP可能會嚴重偏離實際樣本總體且FVP沒有被嚴格地理論證明；結合ANFIS的模糊化方法中采用對稱性的擴散方式，沒有考慮實際樣本可能的非對稱特性；基于高斯分布的VSG方法也沒有提供有效確定均值與方差的方法；基于Bootstrap的虛擬樣本生成方法執行有放回的重復抽樣過程，僅對小樣本集不同屬性值進行組合，Bootstrap樣本與原始樣本特征完全相同，因而其學習性能實質上也只是對原始樣本的重復訓練而獲得，并未擷取原始樣本點信息間隔內所蘊含的信息。

模糊理論盛行后，模糊理論對填補信息間隔開辟了一個新的可行方向。Huang[15]基于模糊理論提出了信息擴散準則，導出了正態擴散函數，通過離散化的區間計算虛擬值填補信息間隔。Huang等[16]提出了擴散神經網絡DNN，將信息擴散與傳統的神經網絡結合，用于函數學習。在給定某一發生的可能性下，DNN將數據點視為某一區間上模糊正態分布的數據中心，用對稱的擴散函數對這些數據點進行左、右對稱擴散。因此每個樣本點可通過擴散得到兩個虛擬樣本點，利用虛擬樣本增加的額外信息來獲得更高的學習精度。DNN在一定程度上能填補由數據不完整性造成的信息空白，但沒有指出如何確定擴散函數和擴散系數，與結合ANFIS的模糊化方法類似，DNN采用具有對稱性的正態擴散函數并未考慮實際樣本不對稱的情況。此外，DNN要求變量間的相關性大于0.9，實際數據集很難滿足這樣苛刻的要求，大大限制了DNN的應用范圍。

在Huang和Moraga的研究基礎上，考慮到數據的整體性，Li等[9-10]提出了大趨勢擴散技術MTD，將單點擴散推廣到整體擴散，利用數據的趨勢信息產生虛擬樣本。但是，MTD及改進的MTD （TTD[1]和TBTD[10]）并未給出嚴格的理論證明。雖然MTD不需要原始數據的分布信息，克服樣本對稱擴大問題，但增加人工屬性后，數據屬性的個數是原始屬性個數的2倍，由此擴大了BPNN網絡規模，帶來了高昂的計算開銷和時間花費。同時，MTD采用三角分布來描述總體分布，形式過為簡單，難以描述數據的特性。

針對基本MTD的上述缺陷，本文提出了一種新穎的多分布整體趨勢擴散技術MD-MTD，通過多種方式驗證了所提方法的有效性。

1 虛擬樣本產生機制

在不同的研究領域，虛擬樣本又稱為合成樣本[17]、人工樣本[9-11,17]、模擬樣本，但尚未形成虛擬樣本的權威定義。下面給出虛擬樣本定義。

定義1 令e=(x,f(x))表示隨機訓練集，其中x∈Rn。通過應用先驗知識K，定義一種轉換關系(T,yT)，生成原始樣本集e的新樣本(Tx,yTf(x))。yT到T的關系可能十分復雜，這取決于所研究問題的先驗知識。這些新樣本被稱為虛擬樣本。因此，給定訓練集D={(x1,y1),…,(xn,yn)}，可通過合適的轉換關系T產生虛擬樣本集D′={(x′1,y′1),…,(x′n,y′n)}，其中x′i=Txi, y′i=yT(yi)Txi。

Niyogi等[13]從數學上證明了通過領域先驗知識構造的虛擬樣本能夠像真實樣本一樣提供信息有效擴展訓練集。

事實上多元線性回歸（MLR）、神經網絡（ANN）、支持向量機（SVM）、極限學習機（ELM）等監督式學習方法建立的預測模式（超平面）已經包含了樣本屬性間的關系，因此，可通過合適的監督式學習方法建立起總體（通常為存在但未知的）超平面和小樣本集推估超平面，分別通過式（1）和式（2）決定。

2 MD-MTD工作流程

為了克服小樣本下機器學習算法難以獲得魯棒的預測結果和優良的預測精度，MTD被用于估計小數據集屬性可接受范圍，填補信息間隔，計算虛擬樣本值和隸屬函數值（該樣本值發生的可能性）。本文在基本的MTD基礎上，提出了多分布整體趨勢擴散技術（MD-MTD），如圖2所示。

圖2 多分布整體趨勢擴散示意圖Fig.2 Diagram of MD-MTD

2.1 多分布整體趨勢擴散技術（MD-MTD）

給定樣本集X={x1,x2,…,xn}，用基本的MTD估計X可接受邊界，由式（3）、式（4）給出X的可接受范圍下界L和上界U。

其中，

式中，n表示小樣本集大小，CL表示數據中心，NL(NU)表示樣本值小于（大于）CL的個數，表示小樣本集方差，SkewL（SkewU）表示描述數據非對稱擴散特征的左（右）偏度。

均值對離群點很敏感，為了更好地估計數據趨勢中心且克服離群值對數據中心影響，將數據中心CL修正為

式中，x[·]表示順序統計量。

由于離群點的存在，會使NL(NU)值偏大，因而造成對左（右）偏度SkewL（SkewU）的過高估計，致使過度增大數據推展域。因此在式（5）的SkewL、SkewU的計算式中，分母增加修正量因子m，防止出現數據推展域過度增大。將數據左偏度SkewL和右偏度SkewU修正為

本研究中m=1。

樣本集X的推展區域為[L,min]和[max,U]，直接觀測區域為[min,max]。在推展區域[L,min]和[max,U]內，由于數據分布情況未知，因此用均勻分布產生虛擬樣本點，在圖2中用三角形空心點表示。在直接觀測區域[min,max]，用三角分布描述數據分布情況，越靠近數據中心CL，數據發生的可能性越大，數據在分布上越集中；越遠離數據中心CL，數據發生的可能性越小，數據在分布上越分散。在推展區域的虛擬樣本點增加了額外信息，直接觀測區域虛擬樣本點填補了原始離散觀測點的信息間隔。

通過MD-MTD過程，在信息上，擴展了原始樣本集X的信息量；從訓練上，有效增加了樣本容量。在后面部分中將討論MD-MTD提升小樣本集的學習精度問題。

2.2 虛擬樣本生成

對于給定的小樣本集Ds=(x,y)，樣本容量為Nreal，對任意輸入屬性xi，通過MD-MTD過程擴大輸入樣本容量。前面提到，監督式學習方法建立的預測模式（超平面）已經包含了樣本屬性間的關系。顯然，采用生成與Ds的輸入屬性x相對應的y是合理的。文獻[3]指出，當的平均絕對百分比誤差MAPE不超過10%時，可用于生成與輸入屬性x相應的y。對于一般的學習工具，通過調整模型參數，容易保證MAPE≤10%。對于給定的Ds，虛擬樣本生成可歸納為以下3個步驟：

① 采用MLR、ANN、SVM、ELM等監督式學習方法建立預測模式（超平面）；

② 對Ds的任意輸入屬性xi，通過MD-MTD過程產生所需數量Nvir的虛擬樣本輸入空間xvir；

由式(9)獲得虛擬樣本集Dvir=(xvir,yvir)，綜合原始的小樣本集Ds=(x,y)，最終得到樣本容量為Nsyn=Nreal+Nvir的合成樣本集Dsyn。

2.3 虛擬樣本容量Nvir的確定

Nvir對最終預測模型的精度有直接的影響。就機器學習中的樣本大小，計算學習理論努力尋找一個成功學習所需的訓練樣本數和計算量[12]，確定Nvir大小是小樣本學習理論尚未解決的問題。總體來說，隨著Nvir增大，生成的合理虛擬樣本數就可能越多，最終獲得的預測模型性能越好。但Nvir不合理增大也可能增加生成大量不合理虛擬樣本數的可能，進而惡化最終獲得的預測模型性能。本文通過采取多次改變Nvir大小來確定最合理的Nvir。

2.4 標準函數驗證MD-MTD合理性和有效性

為了驗證MD-MTD的合理性和有效性，定義一個3輸入1輸出的標準函數構造標準樣本集，分別在正交和不均勻樣本試驗下，構造25個標準樣本作為小樣本集Ds，250個標準樣本作為測試集Dtest。在本研究中，神經網絡的激活函數為sigmoid函數，學習速率lr=0.01，動量因子mc=0.95，最大迭代次數epochs=5000，最大允許誤差goal=1×10?8。

（1）正交實驗

定義一個3輸入1輸出的標準函數

輸入空間

選用4位級或5位級的正交表進行樣本選擇，可滿足足夠的精度需求[18]。考慮到被引入的標準函數具有3個輸入，因此選擇3因素5位級的正交表L25(53)設計實驗，進行均勻樣本選擇，得到25個正交樣本作為小樣本集Ds。3個輸入變量（因素）5位級的線性離散取值

在定義的樣本空間內，隨機生成5000組樣本，再從中隨機選擇250組作為Dtest，用3層BPNN和ELM進行建模驗證。工作流程如下：

① 用BPNN/ELM對25個正交樣本Ds建立小樣本集推估平面，通過選擇合適的節點數Nh（通常采用試誤法來確定），確保MAPE≤10%。

② 設置Nvir=100，對任意輸入x進行MD-MTD數據擴大過程，用計算相應的輸出y=( x )，獲得100組虛擬樣本集Dvir，綜合25組正交樣本和100組虛擬樣本獲得125組合成樣本集Dsyn作為最終的訓練集。

③ 對Dsyn，用BPNN/ELM進行學習，用Dtest測試建立的BPNN/ELM預測模型，計算模型精度

④ 重復步驟②、③3次，計算MAPE的平均值

⑤ 重復步驟①～③5次，計算平均誤差描述預測模型精度

進行MD-MTD數據擴大前后，用BPNN和ELM學習測試結果如表1所示。用標準輸出與預測輸出的MAPE描述虛擬樣本偏離標準樣本的程度，虛擬樣本偏離標準樣本的程度取決于超平面的性能，與H越貼近，偏離（MAPE）越小，生成的虛擬樣本越能反映總體的全貌。

表1 25組正交樣本在數據擴大前后精度變化Table 1 Accuracy variation before and after data extend with 25 orthogonal samples

由表1，進行MD-MTD數據擴大后，用BPNN 和ELM對Ds的學習精度對比數據擴大前都有明顯的增加，BPNN的精度增量為5.7532%，ELM的精度增量高于BPNN的精度增量，達11.7461%，ELM的隱含層節點數6少于BPNN的隱含層節點數8，計算開銷更小。5次獨立運行后，BPNN的平均精度增量標準差為2.1430，ELM的平均精度增量標準差為5.8017，因而，BPNN的精度增量波動沒有ELM的精度增量波動劇烈，＞比更貼近H，故的工作性能比的工作性能更加出色。因此，ELM的精度增量更高，但BPNN的標準差更小，即模型性能更穩定。

（2）不均勻樣本實驗

上述正交實驗中，展示了MD-MTD能有效提高均勻分布的小樣本集的學習精度。在實際生產實踐中，獲得實際樣本往往在分布上難以呈現均勻性，通過不均勻樣本實驗驗證MD-MTD的合理性和有效性更具實用意義。

為得到分布不均勻的小樣本集，將3個輸入屬性在空間上均勻分成5個連續間隔，將標準函數的輸入空間劃分成5個區域。在區域1中，隨機選取20組樣本，在剩余區域中隨機生成5組樣本，構成一個樣本容量為25的不均勻小樣本集Ds，采用與正交實驗中相同的測試集Dtest。

通過與正交實驗類似的MD-MTD工作流程，用BPNN和ELM學習測試結果如表2所示。

表2 25組不均勻樣本在數據擴大前后精度變化Table 2 Accuracy variation before and after data extend with 25 inhomogeneous samples

通過表2可知，得到與正交實驗一致的結論。在進行MD-MTD數據擴大后，用BPNN和ELM對Ds的學習精度對比數據擴大前都有明顯的增加。ELM的精度增量高于BPNN的精度增量（分別為8.5891%、14.2948%），的工作性能比的工作性能更加出色，ELM的精度增量更高，但BPNN的標準差更小，即模型性能更穩定，ELM的節點數6少于BPNN的節點數8，計算開銷更小。

3 實例研究

為進一步驗證MD-MTD的實用性，下面對2個實際的工業數據集應用MD-MTD，結果顯示，MD-MTD能提高小樣本的學習精度在8%以上。

3.1 MLCC數據集應用

多層陶瓷電容器（multi-layer ceramic capacitors, MLCC）是陶瓷介電材料、相關輔助材料等精密化工材料和精細制備工藝相結合的高技術產品。MLCC數據集[3,10,12,14]包括比表面積（SA）、粒徑大小分布90%分位點（PSD-90）、粒徑大小分布50%分位點（PSD-50）等12個輸入因數和1個輸出（電解常數RK），共44組樣本，隨機選擇30組樣本作為小樣本集Ds，剩余14組作為測試集Dtest。指定Nvir=100，按前述步驟用BPNN和ELM學習測試結果如表3所示。

表3 30組MLCC在樣本數據擴大前后精度變化Table 3 Accuracy variation before and after data extend with 30 samples of MLCC

由表3可知，直接用BPNN或ELM對MLCC建立預測模型，模型的MAPE≥9%。經過MD-MTD，添加虛擬樣本后，學習精度都得到改善，BPNN的MAPE在8.5%左右，其MAPE對比添加虛擬樣本前提高了8.7%左右；ELM的MAPE在8.2%左右，其MAPE對比添加虛擬樣本前提高11.5%左右。BPNN的MAPE增量幅度略低于ELM 的MAPE增量幅度，BPNN的MAPE增量波動比ELM的MAPE增量波動更平穩。ELM的節點數（Nh=18）少于BPNN的節點數（Nh=20），計算開銷更小。

3.2 PTA數據集應用

精對苯二甲酸（purified terephthalic acid, PTA）是一種生產聚酯的重要化工原料。PTA數據集[19]共260組樣本，包括進料量FC1501、溫度TI1504、回流量FC1502等17個輸入變量和一個輸出（塔頂電導率），隨機選擇30組樣本作為小樣本集Ds，剩余14組作為測試集Dtest。指定Nvir=100，按前述步驟用BPNN和ELM學習測試結果如表4所示。

表4 30組PTA在樣本數據擴大前后精度變化Table 4 Accuracy variation before and after data extend with 30 samples of PTA

表4顯示了進行MD-MTD數據擴大前后，BPNN和ELM的MAPE變化情況。在進行MD-MTD前，BPNN和ELM的MAPE分別在0.84%、1.15%左右，在進行MD-MTD后，BPNN和ELM的MAPE分別在0.73%、1.03%左右，分別提高了12.31%、10.37%左右。BPNN的MAPE增量幅度略高于ELM 的MAPE增量幅度，BPNN的MAPE增量波動比ELM的MAPE增量波動更平穩。ELM的節點數（Nh=105）少于BPNN的節點數（Nh=120），計算開銷更小。

4 結 論

小樣本下機器學習算法難以獲得魯棒的預測結果和優良的預測精度。首先，本文通過提出的MD-MTD，結合MD-MTD與常規建模工具，形成了虛擬樣本產生機制。其次，利用3輸入1輸出非線性標準函數產生的標準樣本，在正交實驗和不均勻樣本實驗下論證了MD-MTD的合理性和有效性。最后，通過MLCC和PTA實際工業數據集，驗證MD-MTD的實用性和可靠性，結果表明，MD-MTD能提高小樣本的學習精度在8%以上，在一定程度上改善了小樣本學習精度。

References

[1] LIN Y S, LI D C. The generalized-trend-diffusion modeling algorithm for small data sets in the early stages of manufacturing systems [J]. European Journal of Operational Research, 2010, 207: 121-130.

[2] YANG J, YU X, XIE Z Q, et al. A novel virtual sample generation method based on Gaussian distribution [J]. Knowledge-Based Systems, 2011, 24: 740-748.

[3] LI D C, WEN I H. A genetic algorithm-based virtual sample generation technique to improve small data set learning [J]. Neurocomputing, 2014, 143: 222-230.

[4] LI D C, CHANG C J, CHEN C C, et al. A grey-based fitting coefficient to build a hybrid forecasting model for small data sets [J]. Applied Mathematical Modelling, 2012, 36: 5101-5108.

[5] CHANG C J, LI D C, HUANG Y H, et al. A novel gray forecasting model based on the box plot for small manufacturing data sets [J]. Applied Mathematics and Computation, 2015, 265: 400-408.

[6] POGGIO T, VETTER T. Recognition and structure from one 2D model view: observations on prototypes, object classes and symmetries [J]. Laboratory Massachusetts Institute of Technology, 1992, 1347: 1-25.

[7] LI D C, CHEN L S, LIN Y S. Using functional virtual population as assistance to learn scheduling knowledge in dynamic manufacturing environments [J]. International Journal of Production Research, 2003, 41: 4011-4024.

[8] LI D C, WU C S, TSAI T I, et al. Using mega-fuzzification and data trend estimation in small data set learning for early FMS scheduling knowledge [J]. Computers & Operations Research, 2006, 33(6): 1857-1869.

[9] LI D C, WU C S, TSAI T I, et al. Using mega-trend-diffusion and artificial samples in small data set learning for early flexible manufacturing system scheduling knowledge [J]. Computers & Operations Research, 2007, 34: 966-982.

[10] LI D C, CHEN C C, CHANG C J, et al. A tree-based-trend-diffusion prediction procedure for small sample sets in the early stages of manufacturing systems [J]. Expert Systems with Applications, 2012, 39: 1575-1581.

[11] LI D C, HSU H C, TSAI T I, et al. A new method to help diagnose cancers for small sample size [J]. Expert Systems with Applications, 2007, 33: 420-424.

[12] CHAO G Y, TSAI T I, LU T J, et al. A new approach to prediction of radiotherapy of bladder cancer cells in small dataset analysis [J]. Expert Systems with Applications, 2011, 38: 7963-7969.

[13] NIYOGI P, GIROSI F, POGGIO T. Incorporating prior information in machine learning by creating virtual examples [J]. Proc. IEEE, 1998, 86: 2196-2209.

[14] TSAI T I, LI D C. Utilize bootstrap in small data set learning for pilot run modeling of manufacturing systems [J]. Expert Systems with Applications, 2008, 35: 1293-1300.

[15] HUANG C F. Principle of information diffusion [J]. Fuzzy Sets and Systems, 1997, 91: 69-90.

[16] HUANG C F, MORAGA C. A diffusion-neural-network for learning from small samples [J]. International Journal of Approximate Reasoning, 2004, 35: 137-161.

[17] LI D C, LIN L S, PENG L J. Improving learning accuracy by using synthetic samples for small datasets with non-linear attribute dependency [J]. Decision Support Systems, 2014, 59: 286-295.

[18] 周毅, 徐柏齡. 神經網絡中的正交設計法研究 [J]. 南京大學學報:自然科學版, 2001, 37(1): 72-78.

ZHOU Y, XU B L. Orthogonal method for training neural networks [J]. Journal of Nanjing Forestry University: Natural Sciences Edition, 2001, 37(1): 72-78.

[19] 賀彥林, 王曉, 朱群雄. 基于主成分分析-改進的極限學習機方法的精對苯二甲酸醋酸含量軟測量 [J]. 控制理論與應用, 2015, 32(1): 80-85. DOI: 10.7641/CTA.2015.40398.

HE Y L, WANG X, ZHU Q X. Modeling of acetic acid content in purified terephthalic acid solvent column using principal component analysis based improved extreme learning machine [J]. Control Theory & Applications, 2015, 32(1): 80-85. DOI: 10.7641/CTA. 2015. 40398.

研究論文

Received date: 2015-12-17.

Foundation item: supported by the National Natural Science Foundation of China(71433001).

A novel mega-trend-diffusion for small sample

ZHU Bao1, CHEN Zhongsheng2, YU Le’an1
（1School of Economics and Management Science, Beijing University of Chemical Technology, Beijing 100029, China;2College of Information Science & Technology, Beijing University of Chemical Technology, Beijing 100029, China）

Abstract：Process modeling, optimization and control methods based on data-driven attract attention to both academic community and business circles in terms of its research domains and applications. Even in Big Data era, small sample problems cannot be ignored. In view of the difficulty of obtaining high learning accuracy with small-sample-set using traditional modeling methods, such as artificial neural networks (ANNs), extreme learning machine (ELMs), etc., a novel technology of multi-distribution mega-trend-diffusion (MD-MTD) is proposed to improve the learning accuracy of small-sample-set. The mega-trend-diffusion (MTD) is employed to estimate the acceptable range of the attribution of small sample. The uniform distribution and triangular distribution are added based on MTD to describe data characteristics, which are used to generate virtual samples and fill information gaps among observations in small sample. A benchmarking function is utilized to generate benchmarking samples under the orthogonal test and inhomogeneous sample test in order to verify the reasonability and effectiveness of the MD-MTD, and two industrial real-world datasets include MLCC and PTA are used to further confirm the practicability of the MD-MTD. The results of the validation tests manifest that the proposed MD-MTD can improve the learning accuracy of more than 8% for small sample.

Key words:small-sample-set; mega-trend-diffusion; virtual sample; orthogonal test

DOI：10.11949/j.issn.0438-1157.20151921

中圖分類號：TP 181

文獻標志碼：A

文章編號：0438—1157（2016）03—0820—07

基金項目：國家自然科學基金項目（71433001）。

Corresponding author:Prof. YU Le’an, yulean@mail.buct.edu.cn