使用不同置信級(jí)訓(xùn)練樣本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法

高學(xué)星 孫華剛 侯保林

?

使用不同置信級(jí)訓(xùn)練樣本的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法

高學(xué)星*①孫華剛②侯保林①

①(南京理工大學(xué)機(jī)械工程學(xué)院 南京 210094)②(軍械技術(shù)研究所 石家莊 050000)

針對(duì)含不同置信級(jí)樣本的模型擬合問(wèn)題，該文提出了一種基于神經(jīng)網(wǎng)絡(luò)的二次學(xué)習(xí)方法。文中指出真實(shí)模型是實(shí)驗(yàn)?zāi)Ｐ偷囊环N變異，提出逼近真實(shí)模型期望值的神經(jīng)網(wǎng)絡(luò)，是融合先驗(yàn)樣本和真實(shí)樣本的最佳網(wǎng)絡(luò)。首先，以先驗(yàn)樣本為訓(xùn)練樣本進(jìn)行第1次神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，并計(jì)算取決于硬點(diǎn)信息的軟點(diǎn)誤差容量區(qū)間；然后，同時(shí)將先驗(yàn)樣本和真實(shí)樣本作為訓(xùn)練樣本，利用軟點(diǎn)誤差容量區(qū)間和硬點(diǎn)誤差敏感系數(shù)，對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中輸入/目標(biāo)對(duì)的誤差進(jìn)行修改，通過(guò)第2次學(xué)習(xí)得到既能精確擬合真實(shí)樣本，又能最大化利用先驗(yàn)樣本信息的綜合網(wǎng)絡(luò)。與基于知識(shí)的神經(jīng)網(wǎng)絡(luò)(KBNN)相比，該方法更加簡(jiǎn)單，可操控性更強(qiáng)并具有更加明確的邏輯意義。

神經(jīng)網(wǎng)絡(luò)；模型擬合；基于知識(shí)的神經(jīng)網(wǎng)絡(luò)(KBNN)；先驗(yàn)知識(shí)

1 引言

機(jī)器學(xué)習(xí)算法在很多應(yīng)用領(lǐng)域被證明很有使用價(jià)值，可以有效地解決數(shù)據(jù)挖掘等需要?jiǎng)討B(tài)適應(yīng)條件變化，或者超出人類當(dāng)前認(rèn)知范圍的某些困難問(wèn)題[1]。機(jī)器學(xué)習(xí)的效果嚴(yán)重依賴于訓(xùn)練樣本的數(shù)量和質(zhì)量[2]，通常，來(lái)自真實(shí)使用過(guò)程的真實(shí)樣本比較稀少而且分布不全面，此時(shí)真實(shí)樣本不適合直接用來(lái)建模[3]。1990年，文獻(xiàn)[4]提出了聯(lián)合符號(hào)化領(lǐng)域理論和神經(jīng)網(wǎng)絡(luò)的基于知識(shí)的神經(jīng)網(wǎng)絡(luò)方法(Knowledge-Based Neural Networks, KBNN)。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，KBNN提供了一種使用特定問(wèn)題知識(shí)(problem-specific knowledge)來(lái)補(bǔ)償樣本缺少的學(xué)習(xí)途徑[5,6]。KBNN在非線性動(dòng)態(tài)建模[7]、控制[8]、監(jiān)測(cè)診斷[9,10]、預(yù)測(cè)[11,12]和知識(shí)庫(kù)的補(bǔ)充[13]等方面得到了應(yīng)用。但總體來(lái)說(shuō)，其應(yīng)用并不廣泛[14]，主要有兩方面原因：對(duì)于復(fù)雜系統(tǒng)，先驗(yàn)領(lǐng)域知識(shí)不易獲得，不準(zhǔn)確的領(lǐng)域知識(shí)甚至?xí)?duì)算法造成誤導(dǎo)[15]；另外，尚無(wú)證據(jù)表明神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)因素變化具有明確的意義[16]。

實(shí)際上，真實(shí)樣本稀少時(shí)，不僅可以利用公式化的領(lǐng)域知識(shí)進(jìn)行補(bǔ)充，實(shí)驗(yàn)樣本作為數(shù)據(jù)形式的先驗(yàn)知識(shí)，同樣可以與真實(shí)樣本結(jié)合進(jìn)行訓(xùn)練學(xué)習(xí)。可以將實(shí)驗(yàn)樣本學(xué)習(xí)到的神經(jīng)網(wǎng)絡(luò)作為另一種形式的領(lǐng)域知識(shí)，應(yīng)用KBNN對(duì)真實(shí)樣本進(jìn)行學(xué)習(xí)。KBNN會(huì)通過(guò)對(duì)初始網(wǎng)絡(luò)權(quán)值進(jìn)行一定范圍內(nèi)精化修正的方法實(shí)現(xiàn)對(duì)真實(shí)樣本的進(jìn)一步學(xué)習(xí)。

本文基于不同置信級(jí)樣本(真實(shí)樣本與實(shí)驗(yàn)樣本)間的誤差分析，針對(duì)含先驗(yàn)樣本的擬合問(wèn)題，提出了一種不同于KBNN的神經(jīng)網(wǎng)絡(luò)2次學(xué)習(xí)方法，通過(guò)修改標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)算法中輸入/目標(biāo)對(duì)誤差進(jìn)行第2次訓(xùn)練，以獲得融合先驗(yàn)樣本和真實(shí)樣本的綜合網(wǎng)絡(luò)。

2 基本思路

雖然實(shí)驗(yàn)或者虛擬實(shí)驗(yàn)更容易獲得大量可規(guī)劃的樣本，但大多數(shù)情況下的實(shí)驗(yàn)?zāi)Ｐ拖鄬?duì)真實(shí)模型都有一定的誤差，該誤差可能是因?yàn)閷?shí)驗(yàn)條件的不完全真實(shí)性，或者樣本的獲取途徑差異，所以真實(shí)樣本和實(shí)驗(yàn)樣本是具有不同置信度級(jí)別的。不妨稱實(shí)驗(yàn)樣本為軟點(diǎn)樣本，真實(shí)使用中獲取的樣本為硬點(diǎn)樣本。若只簡(jiǎn)單地將二者合在一起進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，對(duì)于偏離軟點(diǎn)的硬點(diǎn)，要么會(huì)導(dǎo)致過(guò)擬合，要么會(huì)成為被忽略的“噪點(diǎn)”。需要一種改進(jìn)的訓(xùn)練算法，使其既能對(duì)硬點(diǎn)精確擬合，又能最大限度地利用軟點(diǎn)提供的信息。

3 針對(duì)單硬點(diǎn)樣本的擬合算法

3.1 單硬點(diǎn)樣本的模型誤差期望值分析

此時(shí)誤差函數(shù)是離散的，沒(méi)有“剛性”的。

對(duì)上式進(jìn)行整理得

從而

將式(8)和式(9)代入式(6)，約去相同項(xiàng)，可得

3.2 神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)

只有一個(gè)硬點(diǎn)時(shí)，獲取綜合神經(jīng)網(wǎng)絡(luò)的算法步驟如下：

對(duì)于軟點(diǎn)，輸入/目標(biāo)對(duì)的誤差改為如下：

對(duì)于硬點(diǎn)，為使網(wǎng)絡(luò)對(duì)硬點(diǎn)數(shù)據(jù)有更好的擬合，將硬點(diǎn)同時(shí)納入到訓(xùn)練集、驗(yàn)證集和測(cè)試集中，且借鑒信息融合時(shí)常用的加權(quán)思想[17]，將硬點(diǎn)的輸入/目標(biāo)對(duì)誤差進(jìn)行放大：

為硬點(diǎn)誤差敏感系數(shù)，可取一個(gè)較大的值；

3.3 算例1

圖1 含1個(gè)硬點(diǎn)和多個(gè)軟點(diǎn)的訓(xùn)練樣本及先驗(yàn)網(wǎng)絡(luò)

4 針對(duì)多硬點(diǎn)樣本的擬合算法

同理，對(duì)硬點(diǎn)誤差進(jìn)行放大

式(21)中，為硬點(diǎn)誤差敏感系數(shù)。算法的實(shí)現(xiàn)過(guò)程與本文3.2節(jié)相同。以下兩個(gè)算例將說(shuō)明此算法對(duì)多硬點(diǎn)樣本的擬合效果。

4.1 算例2

4.2 算例3

5 結(jié)束語(yǔ)

本文針對(duì)包含大量低置信級(jí)樣本(實(shí)驗(yàn)樣本)和少量高置信級(jí)樣本(真實(shí)樣本)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練問(wèn)題，提出涵蓋所有已知信息下模型的期望(())的神經(jīng)網(wǎng)絡(luò)近似neth()，是代理真實(shí)模型()的最佳網(wǎng)絡(luò)。通過(guò)對(duì)樣本間誤差關(guān)系的分析，提出此網(wǎng)絡(luò)應(yīng)等于先驗(yàn)網(wǎng)絡(luò)與實(shí)驗(yàn)誤差期望之和。引入了參數(shù)對(duì)實(shí)驗(yàn)誤差的散布程度進(jìn)行約束，通過(guò)計(jì)算軟點(diǎn)誤差容量區(qū)間[ed,eu]和引入硬點(diǎn)誤差敏感系數(shù)，對(duì)標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中輸入/目標(biāo)對(duì)的誤差進(jìn)行了修改替換，多種情形下的算例證明，此方法在精確擬合高置信級(jí)樣本的同時(shí)，盡可能地利用了低置信級(jí)樣本的信息。與KBNN相比，該方法更加簡(jiǎn)單，可操控性更強(qiáng)并具有更加明確的邏輯意義。本文算法可用于神經(jīng)網(wǎng)絡(luò)的離在線結(jié)合訓(xùn)練，或系統(tǒng)變異后的重新學(xué)習(xí)。本文所做改進(jìn)僅限于擬合問(wèn)題，分類問(wèn)題需要進(jìn)一步研究。

圖2 r=2時(shí)的誤差容量區(qū)間[ed,eu]

圖3 取r=2時(shí)由本文算法獲得的綜合網(wǎng)絡(luò)neth與先驗(yàn)網(wǎng)絡(luò)nets對(duì)比

圖4 取r=1.5時(shí)由本文算法獲得的綜合網(wǎng)絡(luò)neth與先驗(yàn)網(wǎng)絡(luò)nets對(duì)比

圖5 含4個(gè)硬點(diǎn)和多個(gè)軟點(diǎn)的訓(xùn)練樣本及先驗(yàn)網(wǎng)絡(luò)

圖6 r=2時(shí)的誤差容量區(qū)間[ed,eu]

圖7 本文算法獲得的綜合網(wǎng)絡(luò)neth與先驗(yàn)網(wǎng)絡(luò)nets對(duì)比

圖8 含3個(gè)硬點(diǎn)的2維輸入樣本及先驗(yàn)網(wǎng)絡(luò)

圖9 本文算法獲得的綜合網(wǎng)絡(luò)

圖10 綜合網(wǎng)絡(luò)與先驗(yàn)網(wǎng)絡(luò)差值neth-nets及eu, ed

[1] Mitchell T M. Machine Learning[M]. New York: McGraw Hill Higher Education, 1997: 17.

[2] 李露, 李斌, 杜艷玲, 等. 樣本量對(duì)飛灰含碳量的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度的影響[J]. 電力與科技工程, 2012, 28(9): 38-41.

[3] Milanic S, Strmcnik S, Sel D,.. Incorporating prior knowledge into artificial neural networks-an industrial case study[J]., 2004, 62(1): 131-151.

[4] Towell G G, Shavlik J W, and Noordewier M O. Refinement of approximate domain theories by knowledge-based neural networks[C]. Proceedings of the Association for the Advancement of Artificial Intelligence, Boston, 1990: 861-866.

[5] Sahin S, Tolun M R, and Hassanpour R. Hybrid expert systems: a survey of current approaches and applications[J]., 2012, 39(4): 4609-4617.

[6] Simsek M, Zhang Q J, Kabir H,.. The recent developments in knowledge based neural modeling[J]., 2012, 1(1): 1321-1330.

[7] 婁海川, 蘇宏業(yè), 謝磊. 融合過(guò)程先驗(yàn)知識(shí)的遞歸神經(jīng)網(wǎng)絡(luò)模型及應(yīng)用[J]. 化工學(xué)報(bào), 2013, 64(5): 1665-1673.

[8] 文剛. 用于步進(jìn)電機(jī)細(xì)分控制的知識(shí)人工神經(jīng)網(wǎng)絡(luò)[J]. 現(xiàn)代電子技術(shù), 2011, 34(7): 190-192.

[9] Yu Jian-bo, Xi Li-feng, and Zhou Xiao-jun. Intelligent monitoring and diagnosis of manufacturing processes using an integrated approach of KBANN and GA[J]., 2008, 59(5): 489-501.

[10] Serpen G, Tekkedil D K, and Orra M. A knowledge-based artificial neural network classifier for pulmonary embolism diagnosis[J]., 2008, 38(2): 204-220.

[11] Akkala A, Bhatt D, Devabhaktuni V,Knowledge- based neural network appoaches for modeling and estimating radon concentrations[J].&, 2013, 32(2): 355-364.

[12] 鮮于建川, 雋志才. 基于知識(shí)的神經(jīng)網(wǎng)絡(luò)在出行方式選擇中的應(yīng)用研究[J]. 計(jì)算機(jī)應(yīng)用研究, 2008, 25(9): 2651-2654.

[13] Gajzler M. The idea of knowledge supplementation and explanation using neural networks to support decisions in construction engineering[J]., 2013, 57: 302-309.

[14] Iqbal R A. Empirical learning aided by weak domain knowledge in the form of feature importance[C]. 2011 International Conference on Multimedia and Signal Processing, Guilin, 2011: 126-130.

[15] Yoon H, Park C S, Kim J S,Algorithm learning based neural network integrating feature selection and classification[J]., 2013, 40(1): 231-241.

[16] Jones J K, and Goel A K. Perceptually grounded self- diagnosis and self-repair of domain knowledge[J].-, 2012, 27: 281-301.

[17] 朱永生, 王成棟, 張優(yōu)云. 基于證據(jù)加權(quán)調(diào)整方法的神經(jīng)網(wǎng)絡(luò)及其在故障診斷中的應(yīng)用[J]. 機(jī)械工程學(xué)報(bào), 2002, 38(6): 66-71.

高學(xué)星： 男，1987年生，博士生，研究方向?yàn)閰?shù)不確定性與故障診斷.

孫華剛： 男，1979年生，高級(jí)工程師，研究方向?yàn)闄C(jī)械系統(tǒng)故障診斷.

侯保林： 男，1965年生，教授，博士生導(dǎo)師，研究方向?yàn)榛鹋谧詣?dòng)供輸彈系統(tǒng).

A Neural Network Learning Method Using Sampleswith Different Confidence Levels

Gao Xue-xing①Sun Hua-gang②Hou Bao-lin①

①(,,210094,)②(,050000,)

To solve the model-fitting problem with different confidence levels of samples, a Neural-Network (NN)- based twice learning method is proposed. It is pointed out that the real model is a variation of experimental model. The neural network approximation to the mathematical expectation of real model, is believed to be the best network fusing the information of prior samples and real samples. In the first learning, neural network is trained using the prior samples only, and the error capacity intervals of the soft points, which are determined by the information of hard points, are calculated. Then, both prior samples and real samples are included in the training samples. The import-objective errors in the process of NN training are modified, using soft point error capacity intervals and hard point error-sensitivity coefficients. The expected network is generated by the second learning, with accurate fitting to the real samples and efficacious utilization of the prior samples. In contrast with Knowledge-Based Neural Networks (KBNN), this method is simpler and more amenable to manipulation with definite logical significance.

Neural Networks (NN); Model-fitting; Knowledge-Based Neural Networks (KBNN); Prior knowledge

TP183

A

1009-5896(2014)06-1307-05

10.3724/SP.J.1146.2013.01099

高學(xué)星 hss1737@gmail.com

2013-07-25收到，2013-12-09改回

國(guó)家自然科學(xué)基金(51175266/E050604)資助課題