基于批次加權(quán)正則極限學(xué)習(xí)機(jī)的發(fā)酵過程軟測量

姚景升，劉 飛

(江南大學(xué)輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室自動(dòng)化研究所，江蘇無錫214122)

由于發(fā)酵過程機(jī)理復(fù)雜、影響因素眾多、高度非線性，并且當(dāng)今沒有有效的生物傳感器，所以一些重要變量如產(chǎn)物質(zhì)量濃度、菌體質(zhì)量濃度等無法在線測量，嚴(yán)重影響了過程控制與優(yōu)化。目前，解決這一問題的方法之一是軟測量技術(shù)，因此建立預(yù)測性能良好的軟測量模型具有重要意義。近年來，應(yīng)用于生物發(fā)酵過程的軟測量建模方法主要包括機(jī)理建模、回歸分析建模、人工神經(jīng)網(wǎng)絡(luò)等。其中，神經(jīng)網(wǎng)絡(luò)建模方法成為近年來研究的熱點(diǎn)［1］。但傳統(tǒng)基于梯度下降法的神經(jīng)網(wǎng)絡(luò)迭代次數(shù)多、易陷入局部極小、參數(shù)選擇敏感等問題一直得不到很好的解決，限制了它的應(yīng)用。

極限學(xué)習(xí)機(jī)(ELM)是近年來提出的一種針對單隱層前饋神經(jīng)網(wǎng)絡(luò)(SLFNs)的學(xué)習(xí)算法［2］。該算法已經(jīng)通過許多標(biāo)準(zhǔn)問題和實(shí)際應(yīng)用驗(yàn)證，結(jié)果表明其極大提高了前饋神經(jīng)網(wǎng)絡(luò)的計(jì)算速度，并且避免了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)因梯度下降法產(chǎn)生的很多問題［3］。ELM在提出后得到了進(jìn)一步的改進(jìn)與擴(kuò)展［4-6］，并廣泛應(yīng)用于目標(biāo)識(shí)別［7］、癌癥診斷［8］、生化過程［9］、電力負(fù)荷預(yù)測［10］等領(lǐng)域。但由于ELM是基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原理，在訓(xùn)練過程中容易導(dǎo)致過擬合，泛化能力較差。文獻(xiàn)［11］借鑒統(tǒng)計(jì)學(xué)習(xí)理論中的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理，提出了正則極限學(xué)習(xí)機(jī)(RELM)，通過引入正則項(xiàng)有效提高了模型的泛化能力。

由于RELM具有較ELM更好的預(yù)測能力，考慮將其應(yīng)用于發(fā)酵過程軟測量建模中。在實(shí)施RELM建模時(shí)，每批訓(xùn)練樣本的地位是平等的，而實(shí)際發(fā)酵過程中批次間不同的發(fā)酵初始條件會(huì)導(dǎo)致不同的變量變化軌跡，所以當(dāng)選定某一批次發(fā)酵過程作為預(yù)測對象時(shí)，各批次樣本對它的預(yù)測能力是有差異的。因此，在訓(xùn)練過程中可以通過區(qū)別對待各訓(xùn)練批次來提高學(xué)習(xí)精度。文中引入批次加權(quán)的概念，根據(jù)各訓(xùn)練批次初始條件與預(yù)測對象初始條件之間的相似度，結(jié)合文中提出的相似度量化函數(shù)得到各訓(xùn)練批次的懲罰權(quán)值，進(jìn)而實(shí)施加權(quán)回歸。另外，RELM本身存在超參數(shù)估計(jì)問題，文獻(xiàn)［11］利用傳統(tǒng)的交叉驗(yàn)證方法進(jìn)行超參數(shù)的選擇，實(shí)驗(yàn)復(fù)雜性高，計(jì)算代價(jià)大，是一種非常耗時(shí)的超參數(shù)選擇方法。文中采用貝葉斯方法［12］對超參數(shù)進(jìn)行自適應(yīng)估計(jì)，降低計(jì)算代價(jià)與實(shí)驗(yàn)復(fù)雜性。最后以青霉素發(fā)酵過程為例，建立了基于批次加權(quán)RELM(BWRELM)的軟測量模型，仿真結(jié)果表明所建模型具有良好的預(yù)測能力。

1 基于批次加權(quán)RELM的軟測量模型

1.1 正則極限學(xué)習(xí)機(jī)

假設(shè)有n個(gè)不同的訓(xùn)練樣本，集合可以表示為D={(Xi，Ti)∣i=1，2，…，n;Xi∈RM，Ti∈Rm}，其中Xi是M維輸入樣本，Ti是m維輸出樣本。根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理，為較好的權(quán)衡結(jié)構(gòu)風(fēng)險(xiǎn)與經(jīng)驗(yàn)風(fēng)險(xiǎn)，RELM通過引入超參數(shù)γ來調(diào)節(jié)兩種風(fēng)險(xiǎn)的比例。則具有N個(gè)隱含層節(jié)點(diǎn)的RELM數(shù)學(xué)模型可表示為

其中，Aj= ［aj1，aj2，…，ajM］T為輸入層節(jié)點(diǎn)與第j個(gè)隱含層節(jié)點(diǎn)的連接權(quán)值，bj為第j個(gè)隱含層節(jié)點(diǎn)的閾值，Wj= ［wj1，wj2，…，wjm］T為第 j個(gè)隱含層節(jié)點(diǎn)與輸出層節(jié)點(diǎn)的連接權(quán)值，Aj·Xj表示Aj與Xj的內(nèi)積，g(·)為隱含層的激活函數(shù)，εi表示回歸誤差。

式(1)為條件極值問題，通過構(gòu)造下面的拉格朗日方程轉(zhuǎn)換為無條件極值問題:

由式(3)求解得網(wǎng)絡(luò)輸出權(quán)值

式中，I為單位矩陣。

1.2 批次加權(quán)回歸

由發(fā)酵過程的實(shí)際情況以及實(shí)驗(yàn)研究發(fā)現(xiàn)，發(fā)酵初始條件對發(fā)酵過程有著十分重要的影響。初始條件相似的發(fā)酵過程，過程變量的變化軌跡相似，初始條件差別較大的發(fā)酵過程則會(huì)導(dǎo)致明顯不同的變化軌跡，而且實(shí)際中各批發(fā)酵過程的初始條件的確存在差異。因此，為解決以上問題，文中引入批次加權(quán)概念并提出一種新相似度量化函數(shù)。

1.2.1 優(yōu)化問題轉(zhuǎn)換 為實(shí)現(xiàn)區(qū)別對待訓(xùn)練批次以達(dá)到提高模型預(yù)測精度的目的，可以采用加權(quán)的方法。這種方法根據(jù)一個(gè)評價(jià)標(biāo)準(zhǔn)，確定各樣本在訓(xùn)練過程中的地位，分配不同的懲罰權(quán)值。此方法已經(jīng)應(yīng)用在一些算法的改進(jìn)中。文獻(xiàn)［13］利用加權(quán)的方法對ELM進(jìn)行了改進(jìn)，根據(jù)訓(xùn)練誤差的大小來評價(jià)各個(gè)樣本的重要程度，提高了模型的抗干擾能力和預(yù)測精度。文中結(jié)合發(fā)酵過程數(shù)據(jù)的批次特性，借鑒上述思想將目標(biāo)由樣本點(diǎn)變?yōu)榕?，根?jù)各訓(xùn)練批次在訓(xùn)練過程中的地位，給予不同的權(quán)值。具體實(shí)施方法是對RELM目標(biāo)函數(shù)中的誤差項(xiàng)進(jìn)行加權(quán)，使得跟具體預(yù)測對象相似的訓(xùn)練批次在訓(xùn)練過程中獲得更高的精度。假設(shè)有p個(gè)批次的訓(xùn)練樣本，式(1)的優(yōu)化問題可轉(zhuǎn)換為

1.2.2 基于相似度的懲罰權(quán)值求解 文中采用各訓(xùn)練批次發(fā)酵初始條件與預(yù)測對象初始條件之間的相似度作為依據(jù)，通過相似度量化函數(shù)得到懲罰權(quán)值矩陣V。因此做出如下定義:對于第k個(gè)訓(xùn)練批次的初始條件與預(yù)測對象的初始條件ICk和IC，用兩者之間的歐氏距離d(ICk，IC)來表示相似度，如下式:

其中，n表示組成發(fā)酵過程初始條件的變量數(shù)目，為消除數(shù)量級(jí)不同帶來的影響，將發(fā)酵初始條件進(jìn)行歸一化處理，使n個(gè)變量均限定在［0，1］區(qū)間內(nèi)。

在計(jì)算出各訓(xùn)練批次與預(yù)測對象之間的相似度之后，采用如式(8)所示常用的相似度量化函數(shù)［14］對其進(jìn)行量化得到可以用于度量各訓(xùn)練批次重要程度的懲罰權(quán)值vk:

式中，dmax和dmin均為常數(shù)。

1.2.3 新相似度量化函數(shù) 觀察式(8)，當(dāng)相似度在dmin與dmax之間時(shí)，它是一個(gè)一階函數(shù)，因此為了獲得更高的預(yù)測精度，可以將函數(shù)前半段拉伸為凸函數(shù)，將函數(shù)后半段拉伸為凹函數(shù)。這樣與預(yù)測對象相似的訓(xùn)練批次可以得到更大的權(quán)值，在訓(xùn)練過程中起到更大的作用?；谏鲜鏊枷?，文中設(shè)計(jì)了一種新相似度量化函數(shù):

為了更直觀比較上述兩種相似度量化函數(shù)，令

因此得到如下兩式，并作圖1。

由圖1可以很明顯地看出，通過文中提出的新相似度量化函數(shù)計(jì)算得到的懲罰權(quán)值的懲罰力度更大，當(dāng)某訓(xùn)練批次發(fā)酵初始條件與預(yù)測對象發(fā)酵初始條件之間的相似度接近dmin時(shí)，即圖中x接近0時(shí)，新相似度量化函數(shù)相比常用函數(shù)可以賦予該訓(xùn)練批次更大的懲罰權(quán)值，進(jìn)一步增強(qiáng)其在訓(xùn)練過程中的作用;相反，當(dāng)某訓(xùn)練批次發(fā)酵初始條件與預(yù)測對象發(fā)酵初始條件的相似度接近dmax時(shí)，即圖中x接近1時(shí)，新相似度量化函數(shù)賦予該批次更小的懲罰權(quán)值，進(jìn)一步減弱其在訓(xùn)練過程中的影響。因此，從理論分析的角度，文中所提相似度量化函數(shù)可以更好地滿足要求，建立的模型能夠更好地對預(yù)測對象進(jìn)行預(yù)測。

圖1 y1與y2對比Fig.1 Contrast of y1 and y2

1.3 基于貝葉斯的超參數(shù)估計(jì)

正則化方法把避免網(wǎng)絡(luò)學(xué)習(xí)過程的過擬合問題轉(zhuǎn)化為對目標(biāo)函數(shù)中起控制作用的超參數(shù)的估計(jì)問題。因此超參數(shù)選擇的準(zhǔn)確與否在一定意義上決定著正則化的有效性。傳統(tǒng)的超參數(shù)估計(jì)方法是交叉驗(yàn)證法，計(jì)算量較大，且需要專門從數(shù)據(jù)集中分割出驗(yàn)證數(shù)據(jù)。貝葉斯參數(shù)估計(jì)是一種基于貝葉斯思想的有效參數(shù)估計(jì)方法，通過最大化網(wǎng)絡(luò)輸出權(quán)值與超參數(shù)的后驗(yàn)概率能夠?qū)崿F(xiàn)模型參數(shù)的自適應(yīng)估計(jì)。

在給定樣本數(shù)據(jù)D的情況下，由貝葉斯準(zhǔn)則可得到權(quán)值后驗(yàn)概率為

其中p(D)是歸一化因子，與W無關(guān)，p(W)是權(quán)值的先驗(yàn)分布，p(D|W)是權(quán)值的似然函數(shù)。

假設(shè)目標(biāo)數(shù)據(jù)由一個(gè)光滑的、具有加性零均值高斯噪聲的函數(shù)生成且各數(shù)據(jù)獨(dú)立同分布，權(quán)值先驗(yàn)滿足高斯分布，則權(quán)值的先驗(yàn)分布為

權(quán)值的似然函數(shù)為

其中

分別代表RELM中的結(jié)構(gòu)風(fēng)險(xiǎn)與經(jīng)驗(yàn)風(fēng)險(xiǎn)，超參數(shù)α與β對應(yīng)兩種風(fēng)險(xiǎn)的比例，控制對應(yīng)分布的方差。則

權(quán)值的后驗(yàn)概率

根據(jù)貝葉斯理論，最大化上式即能得到最優(yōu)的權(quán)值，比較式(16)與式(1)可知，最大化權(quán)值的后驗(yàn)概率即最小化RELM的目標(biāo)函數(shù)，式(1)中，γ=β/α。因此最大后驗(yàn)概率權(quán)值WMP即為上節(jié)求出的輸出權(quán)值

根據(jù)貝葉斯理論，同樣可以通過最大化超參數(shù)的后驗(yàn)概率來得到最優(yōu)超參數(shù)。利用貝葉斯準(zhǔn)則，在給定樣本數(shù)據(jù)D的情況下，超參數(shù)的后驗(yàn)概率為

其中p(D)為歸一化因子，p(α，β)與超參數(shù)無關(guān);p(α，β)為超參數(shù)的先驗(yàn)概率，也稱為超先驗(yàn)，這里假設(shè)其為一種很寬的分布函數(shù)(α與β在很大的范圍內(nèi)幾乎不變);p(D|α，β)為超參數(shù)的似然函數(shù)，也稱為α與β的置信度。因此超參數(shù)的后驗(yàn)概率可

通過最大化p(D|α，β)得到。

將式(13)和式(14)代入上式，并令S(W)=βED+αEW，可得

對上式取對數(shù)可得

其中，A=Λ+αI，Λ =β▽▽ED是誤差平方和函數(shù)的Hessian矩陣。

對上式中α和β，分別求最大值，可得

其中

λi為Λ的特征值。

在實(shí)際應(yīng)用中，需要找到α，β，WMP合適的值使概率最大，一種可行的方法是用迭代法求解WMP，并周期地更新α，β。

1.4 BWRELM算法步驟

1)網(wǎng)絡(luò)初始化:給定隱含層激活函數(shù)g(·)，確定隱含層節(jié)點(diǎn)數(shù)，隨機(jī)選取網(wǎng)絡(luò)輸入層與隱含層節(jié)點(diǎn)的連接權(quán)值A(chǔ)j和閾值bj，初始化超參數(shù)α和β。

2)超參數(shù)迭代尋優(yōu):利用式(17)計(jì)算輸出層最大后驗(yàn)概率權(quán)值W，分別利用式(15)和式(24)計(jì)算得到ED，EW，r，利用式(22)和式(23)更新超參數(shù)α和β，如果超參數(shù)α，β的變化量小于給定閾值，則說明收斂，超參數(shù)取現(xiàn)在的α與β，否則重復(fù)上述過程，直到滿足條件或者達(dá)到最大迭代次數(shù)。

3)批次加權(quán):對各訓(xùn)練批次與預(yù)測對象的發(fā)酵初始條件進(jìn)行歸一化處理，利用式(7)得到各訓(xùn)練批次發(fā)酵初始條件與預(yù)測對象發(fā)酵初始條件之間的相似度，利用式(9)實(shí)施對步驟2)中相似度的量化，得到各訓(xùn)練批次的權(quán)值vk，組成懲罰權(quán)值矩陣V，利用式(6)更新隱含層到輸出層的權(quán)值W。

4)利用測試數(shù)據(jù)驗(yàn)證所建模型，通過設(shè)置均方根誤差作為性能指標(biāo)評價(jià)所建網(wǎng)絡(luò)的預(yù)測性能，其計(jì)算公式如下:

其中:n為數(shù)據(jù)的個(gè)數(shù);ti為真實(shí)值;yi為模型預(yù)測值。

2 青霉素發(fā)酵過程仿真實(shí)驗(yàn)

仿真實(shí)驗(yàn)引用的數(shù)據(jù)來自美國Illinois州立理工學(xué)院Ali Cinar領(lǐng)導(dǎo)的過程監(jiān)控與技術(shù)小組設(shè)計(jì)的青霉素生產(chǎn)仿真軟件Pensim2.0。該軟件的內(nèi)核采用基于Bajpai機(jī)理模型改進(jìn)的Birol模型，在此模型中，考慮了15種物理量及生物量對菌體質(zhì)量濃度與產(chǎn)物質(zhì)量濃度的影響，因此是一個(gè)能比較全面反映青霉素發(fā)酵實(shí)際過程的模型。通過此仿真軟件，可以對不同操作條件下菌體質(zhì)量濃度、產(chǎn)物質(zhì)量濃度等多種變量進(jìn)行仿真研究，因此可以作為后續(xù)建模、監(jiān)測、優(yōu)化和控制可靠的仿真實(shí)驗(yàn)平臺(tái)，相關(guān)研究已表明該仿真平臺(tái)的實(shí)用性與有效性［15］。

青霉素發(fā)酵是一類典型的生物發(fā)酵過程，具有時(shí)變性、高度非線性、不確定性等特點(diǎn)。發(fā)酵工藝過程是通過控制一系列工藝參數(shù)來實(shí)現(xiàn)的，其中，產(chǎn)物質(zhì)量濃度等生物參數(shù)的實(shí)時(shí)測量對發(fā)酵過程的實(shí)時(shí)優(yōu)化控制起著重要的作用。然而由于生物傳感器的缺乏及發(fā)酵過程復(fù)雜的內(nèi)在機(jī)理，這些生物參數(shù)的在線測量往往較為困難。因此建立這些關(guān)鍵變量的軟測量模型對工業(yè)生產(chǎn)具有非常重要的意義。

在青霉素發(fā)酵生產(chǎn)過程中，部分變量如排氣二氧化碳、溶解氧濃度等可以通過儀器直接進(jìn)行測量，因此可以利用發(fā)酵過程中實(shí)時(shí)獲取的參數(shù)建立預(yù)測產(chǎn)物質(zhì)量濃度等不可測變量的軟測量模型。文中建立產(chǎn)物質(zhì)量濃度的軟測量模型，因此主導(dǎo)變量為產(chǎn)物質(zhì)量濃度。輔助變量通過分析各個(gè)變量與主導(dǎo)變量之間的相關(guān)關(guān)系得到，最終選擇通風(fēng)速率、底物流加速率、補(bǔ)料溫度、溶解氧濃度、反應(yīng)器體積、排氣二氧化碳濃度、反應(yīng)熱以及堿流加速率8個(gè)變量。模型網(wǎng)絡(luò)均為3層結(jié)構(gòu)，輸入層節(jié)點(diǎn)數(shù)為8個(gè)，隱含層激活函數(shù)為Sigmoid函數(shù)，隱含層節(jié)點(diǎn)數(shù)為40個(gè)，輸出層節(jié)點(diǎn)數(shù)為1個(gè)。

結(jié)合對青霉素發(fā)酵過程的分析和在仿真平臺(tái)上的實(shí)驗(yàn)研究，發(fā)酵初始條件由初始基質(zhì)質(zhì)量濃度(S0)、初始菌體質(zhì)量濃度(X0)與初始pH值(pH0)組成，式(8)，(9)中兩個(gè)參數(shù)的取值為:dmin=0.1，dmax=1.2。然后由仿真平臺(tái)產(chǎn)生不同初始條件下的6批樣本數(shù)據(jù)，發(fā)酵過程反應(yīng)時(shí)間為400 h，采樣時(shí)間為 1 h，選擇初始條件［S0，X0，pH0］為［15.21，0.1，5.0］的批次作為預(yù)測樣本，另外5批作為訓(xùn)練樣本。分別用ELM，RELM，采用常用相似度量化函數(shù)的批次加權(quán)RELM(BWRELM0)與采用新相似度量化函數(shù)的批次加權(quán)RELM(BWRELM)對訓(xùn)練樣本進(jìn)行訓(xùn)練，建立了預(yù)測模型，它們的仿真預(yù)測結(jié)果分別如圖2、圖3、圖4、圖5所示。

由圖2和圖3可以看出，ELM的預(yù)測效果較差，預(yù)測曲線有很大的起伏;RELM的預(yù)測效果比ELM好，預(yù)測曲線也更加平穩(wěn)。這是因?yàn)镽ELM通過引入結(jié)構(gòu)風(fēng)險(xiǎn)，提高了泛化能力。由圖4和圖5可以看出，兩種基于批次加權(quán)RELM的預(yù)測效果好于未加權(quán)的。通過區(qū)分各訓(xùn)練批次的重要程度，達(dá)到了提高模型預(yù)測精度的目的。另外通過比較圖4和圖5可以看到，采用新相似度量化函數(shù)建立的模型比采用常用函數(shù)建立的模型預(yù)測精度更高，仿真結(jié)果與理論分析一致，說明文中提出的新相似度量化函數(shù)更好。同時(shí)，基于貝葉斯參數(shù)估計(jì)的3種算法良好的預(yù)測效果也說明了貝葉斯參數(shù)估計(jì)的有效性。

為了更好地比較4種方法，首先，表1給出了4種方法的訓(xùn)練誤差、預(yù)測誤差與訓(xùn)練時(shí)間?？梢钥闯?，RELM的訓(xùn)練誤差與預(yù)測誤差均比ELM小，訓(xùn)練時(shí)間上與ELM接近，保持了ELM的快速性;兩種批次加權(quán)算法的訓(xùn)練誤差和預(yù)測誤差都比前兩種算法小，其中采用新相似度量化函數(shù)的算法預(yù)測誤差更是達(dá)到了0.024 3，接近ELM預(yù)測誤差的1/3，預(yù)測效果最好。兩種批次加權(quán)算法的訓(xùn)練時(shí)間因?yàn)橛?jì)算懲罰權(quán)值的關(guān)系略長，但0.2 s的訓(xùn)練時(shí)間完全可以滿足在線測量的實(shí)際要求。另外，表2、表3分別給出了兩種算法各訓(xùn)練批次的發(fā)酵初始條件、懲罰權(quán)值以及對應(yīng)的訓(xùn)練誤差。由表2、表3可以看出，訓(xùn)練誤差與各批次權(quán)值成反比，權(quán)值越大，學(xué)習(xí)精度越高，即該批訓(xùn)練樣本在訓(xùn)練過程中的作用越大。另外，通過比較表2與表3的權(quán)值與訓(xùn)練誤差可以看出，新相似度量化函數(shù)的懲罰力度更大，使得所建模型的預(yù)測精度更高。

表1 4種算法的比較結(jié)果Tab.1 Comparison of 4 kinds of algorithms

表2 BWRELM 0權(quán)值與訓(xùn)練誤差Tab.2 Weights and training errors of BWRELM 0

表3 BWRELM權(quán)值與訓(xùn)練誤差Tab.3 Weights and training errors of BWRELM

綜上所述，基于文中所提建模方法建立的青霉素發(fā)酵過程產(chǎn)物質(zhì)量濃度軟測量模型，與其他3種比較，預(yù)測精度更高，綜合性能更好。

3 結(jié)語

針對發(fā)酵過程關(guān)鍵變量難以在線測量的問題，提出了一種基于批次加權(quán)正則極限學(xué)習(xí)機(jī)(BWRELM)的軟測量建模方法，并以青霉素發(fā)酵過程為對象，實(shí)現(xiàn)了產(chǎn)物質(zhì)量濃度的軟測量。結(jié)合發(fā)酵過程中系統(tǒng)動(dòng)態(tài)特性與初始條件密切相關(guān)的特點(diǎn)，以發(fā)酵批次初始條件之間的歐氏距離為相似度，通過相似度量化函數(shù)得到用于度量訓(xùn)練過程中各訓(xùn)練批次重要性的懲罰權(quán)值，區(qū)別對待各訓(xùn)練批次，提升模型預(yù)測精度，并且設(shè)計(jì)了一種懲罰力度更大的新的相似度量化函數(shù)，與常用量化函數(shù)相比，進(jìn)一步改善了模型的性能。采用貝葉斯方法對RELM中的超參數(shù)進(jìn)行自適應(yīng)估計(jì)，降低了計(jì)算代價(jià)，而且不需要專門劃分出驗(yàn)證集，可以有更多的樣本數(shù)據(jù)用于訓(xùn)練。最后的仿真結(jié)果表明該算法的有效性，對解決同類問題具有一定的參考價(jià)值。

［1］Jimenez A，Beltran G，Aguilera M P，et al.A sensor-software based on artificial neural network for the optimization of olive oil elaboration process［J］.Sensors and Actuators，2008，129(2):985-990.

［2］HUANG G B，ZHU Q Y，Siew C K.Extreme learning machine:a new learning scheme of feedforward neural networks［C］//the International Joint Conference on Neural Networks.Budapest，Hungary:IEEE，2004:25-29.

［3］HUANG G B，ZHU Q Y，Siew C K.Extreme learningmachine:theory and applications［J］.Neurocomputing，2006，70:489-501.

［4］HUANGG B，DING X J，ZHOU H M.Optimization method based extreme learningmachine for classification［J］.Neurocomputing，2010，74:155-163.

［5］韓敏，李德才.基于替代函數(shù)及貝葉斯框架的1范數(shù)ELM算法［J］.自動(dòng)化學(xué)報(bào)，2011，37(11):1344-1350.HAN Min，LIDe-cai.An norm 1 regularization term ELM algorithm based on surrogate function and Bayesian Framework［J］.Acta Automatic Sinica，2011，37(11):1344-1350.(in Chinese)

［6］胡義函，張小剛，陳華，等.一種基于魯棒估計(jì)的極限學(xué)習(xí)機(jī)方法［J］.計(jì)算機(jī)應(yīng)用研究，2012，29(8):2926-2930.HU Yi-han，ZHANG Xiao-gang，CHEN Hua，et al.Extreme leaming machine on robust estimation［J］.Application Research of Computers，2012，29(8):2926-2930.(in Chinese)

［7］XU J T，ZHOU H M，HUANG G B.Extreme learning machine based fast object recognition［C］//Information Fusion 15thInternational Conference on.Singapore:［s.n.］，2012:1490-1496.

［8］ZHANG R X，HUANG G B，Sundararajan N，et al.Multicategory classification using an extreme learningmachine formicroarray gene expresssion cancer diagnosis［J］.IEEE Trans Computational and Bioinformatics，2007，4(3):485-495.

［9］常玉清，李玉朝，王福利，等.基于極限學(xué)習(xí)機(jī)的生化過程軟測量建模［J］.系統(tǒng)仿真學(xué)報(bào)，2007，19(23):5587-5590.CHANG Yu-qing，LI Yu-chao，WANG Fu-li，et al.Soft sensing modeling based on extreme learning machine for biochemical processes［J］.Journal of System Simulation，2007，19(23):5587-5590.(in Chinese)

［10］毛力，王運(yùn)濤，劉興陽，等.基于改進(jìn)極限學(xué)習(xí)機(jī)的短期電力負(fù)荷預(yù)測方法［J］.電力系統(tǒng)保護(hù)與控制，2012，40(20):140-144.MAO Li，WANG Yun-tao，LIU Xing-yang，et al.Short-term power load forecasting method based on improved extreme learning machine［J］.Power System Protection and Control，2012，40(20):140-144.(in Chinese)

［11］DENGW Y，ZHANG Q H，CHEN L.Regularized extreme learningmachine［C］//Computational Intelligence and Data Mining，2009.CIDM’09.IEEE Symposium on.Xian:［s.n.］，2009:389-395.

［12］MacKay D JC.A Practical bayesian framework for back-propagation networks［J］.Neural Computation，1992，4(3):448-472.

［13］Huynh H T，Won Y.Weighted least squares scheme for reducing effects of outliers in regression based on extreme learning machine［J］.Int JDigital Content Technol Appl，2008，2(3):40-46.

［14］楊強(qiáng)大，王福利，常玉清.基于加權(quán)RBF神經(jīng)網(wǎng)絡(luò)的諾西肽發(fā)酵過程菌體濃度軟測量［J］.化工學(xué)報(bào)，2008，59(10):2553-2560.YANG Qiang-da，WANG Fu-li，CHANG Yu-qing.Weighted RBF neural network based soft sensor of biomass in nosiheptide fermentation process［J］.Journal of Chemical Industry and Engineering(China)，2008，59(10):2553-2560.(in Chinese)

［15］HONG JJ，ZHANG J.Quality prediction for a fed-batch fermentation process usingmulti-block PLS［J］.Springer Proceedings in Physics，2010，135:155-162.