基于多尺度核JYMKPLS遷移模型的間歇過程產(chǎn)品質(zhì)量的在線預(yù)測(cè)方法

褚菲，彭闖，賈潤達(dá)，陳韜，陸寧云

（1 地下空間智能控制教育部工程研究中心，江蘇徐州221116； 2 中國礦業(yè)大學(xué)信息與控制工程學(xué)院，江蘇徐州221116；3東北大學(xué)信息科學(xué)與工程學(xué)院，遼寧沈陽110819； 4 薩里大學(xué)化學(xué)與工藝工程系，英國吉爾福德；5 南京航空航天大學(xué)自動(dòng)化學(xué)院，江蘇南京210016）

引 言

隨著經(jīng)濟(jì)的迅猛發(fā)展以及國際產(chǎn)品市場(chǎng)的競(jìng)爭(zhēng)日趨激烈，產(chǎn)品質(zhì)量的標(biāo)準(zhǔn)與要求也變得越來越高[1-5]。特別是在間歇生產(chǎn)過程中，產(chǎn)品質(zhì)量的穩(wěn)定不僅直接關(guān)乎企業(yè)的經(jīng)濟(jì)效益，而且也是實(shí)現(xiàn)間歇過程生產(chǎn)優(yōu)化的前提[6-9]。精確的質(zhì)量預(yù)測(cè)則是確保間歇過程安全運(yùn)行、獲得高質(zhì)量產(chǎn)品的必要條件，隨著數(shù)據(jù)技術(shù)的迅速發(fā)展，數(shù)據(jù)驅(qū)動(dòng)方法[10-16]因其建模速度快、模型精度高、成本效益好等優(yōu)點(diǎn)正成為過程建模的主流，被廣泛地應(yīng)用于間歇過程的產(chǎn)品質(zhì)量預(yù)測(cè)[17-18]。數(shù)據(jù)驅(qū)動(dòng)建模的前提是要擁有充足的過程數(shù)據(jù)，這是實(shí)現(xiàn)精準(zhǔn)預(yù)測(cè)的必要條件[5]。在實(shí)際間歇生產(chǎn)過程中，不同的產(chǎn)品規(guī)格應(yīng)采用特定的操作條件甚至設(shè)備進(jìn)行生產(chǎn)，操作狀態(tài)需要頻繁更新，數(shù)據(jù)驅(qū)動(dòng)模型的性能會(huì)降低，此時(shí)則需要重新構(gòu)建新過程。但是，新過程由于運(yùn)行時(shí)間相對(duì)較短而無法獲得豐富的過程數(shù)據(jù)，難以建立準(zhǔn)確可靠的數(shù)據(jù)驅(qū)動(dòng)模型[19-20]。

大數(shù)據(jù)時(shí)代的背景下，在現(xiàn)代間歇工業(yè)過程中有很多使用相同或相似的工藝原理生產(chǎn)相同或相似規(guī)格產(chǎn)品的相似過程[20]，這些過程中存在著大量相似的歷史數(shù)據(jù)沒有得到充分利用，造成了資源的浪費(fèi)。針對(duì)上述問題，一些學(xué)者提出了遷移學(xué)習(xí)的概念，遷移學(xué)習(xí)方法因其可以利用相似源域的知識(shí)來幫助完成目標(biāo)域的學(xué)習(xí)任務(wù)而越來越受到重視[21-23]。Shen 等[24]為了克服收集長(zhǎng)期循環(huán)數(shù)據(jù)的成本高昂這一困難，針對(duì)訓(xùn)練數(shù)據(jù)集數(shù)據(jù)少的問題,通過融合轉(zhuǎn)移學(xué)習(xí)和集成學(xué)習(xí),提出了一種基于深度學(xué)習(xí)模型 DCNN-ETL(deep convolutional neural networks with ensemble learning and transfer learning)的容量估計(jì)方法,使得復(fù)雜神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程在目標(biāo)任務(wù)中使用相對(duì)較小的訓(xùn)練數(shù)據(jù)集即可進(jìn)行收斂。Shao等[25]開發(fā)了一個(gè)用于機(jī)械故障診斷和分類的深度遷移學(xué)習(xí)框架,通過使用遷移學(xué)習(xí)來加速深度神經(jīng)網(wǎng)絡(luò)CNN(convolutional neural networks)的訓(xùn)練，結(jié)果證明遷移學(xué)習(xí)能夠明顯提高深度模型的性能。Liu 等[26]利用遷移學(xué)習(xí)開發(fā)了一種領(lǐng)域自適應(yīng)極限學(xué)習(xí)機(jī)DAELM (adaptive extreme learning machine)，通過利用不同工況下的有用信息，并將其遷移到現(xiàn)有的軟測(cè)量系統(tǒng)中，有效提高了模型的預(yù)測(cè)范圍和預(yù)測(cè)精度。數(shù)據(jù)遷移作為遷移學(xué)習(xí)技術(shù)的一種形式，能夠充分利用舊過程的數(shù)據(jù)和模型，并將有用的數(shù)據(jù)信息遷移到新過程中以輔助其建模和控制。Jaeckle等[27]提出了一種用于數(shù)據(jù)遷移的EPCR(extended principal component regression)方法，該方法通過結(jié)合兩個(gè)相似過程的輸出數(shù)據(jù)矩陣來建立PCR(principal component regression)模型，利用相似生產(chǎn)過程已有的數(shù)據(jù)信息進(jìn)行有效預(yù)測(cè)。但是，此方法在遷移時(shí)沒有合理利用相似過程的輸入數(shù)據(jù), 而這些輸入數(shù)據(jù)中也很可能存在許多可以輔助新過程建模的有效信息。針對(duì)這個(gè)方法存在的不足，García 等[28]隨后提出了JYPLS (Joint-Y partial least squares)方法，首先在同一空間建立相似過程的聯(lián)合質(zhì)量指標(biāo)，然后利用所有相似過程的數(shù)據(jù)進(jìn)行建模，而且JYPLS 模型只要求相似過程具有相同的質(zhì)量指標(biāo)構(gòu)成，對(duì)于輸入變量矩陣沒有任何限制。

此外，針對(duì)JYPLS 方法不適用于非線性較強(qiáng)的間歇過程，Chu 等[5]在該模型上引入核函數(shù)，提出了一種改進(jìn)的過程遷移的JYKPLS (Joint-Y kernel partial least squares)方法，成功地應(yīng)用于非線性新間歇過程的產(chǎn)品質(zhì)量預(yù)測(cè),大大提高了建模效率和產(chǎn)品質(zhì)量的預(yù)測(cè)精度。然而，在實(shí)際應(yīng)用中進(jìn)一步發(fā)現(xiàn)，雖然JYKPLS 方法可以描述過程數(shù)據(jù)的非線性關(guān)系，但是針對(duì)具有多尺度非線性特性的間歇過程，JYKPLS 方法的應(yīng)用效果并不理想，存在局部擬合精度不高，模型參數(shù)匹配困難等問題[29-33]，特別是當(dāng)通過遷移學(xué)習(xí)利用相似舊過程的數(shù)據(jù)進(jìn)行建模時(shí)，由于相似過程之間必然存在差異，使得包含兩個(gè)相似過程的建模數(shù)據(jù)集在多尺度方面的問題更加嚴(yán)重，嚴(yán)重影響產(chǎn)品質(zhì)量預(yù)測(cè)精度的進(jìn)一步提高。

本文針對(duì)過程數(shù)據(jù)不足，且具有強(qiáng)非線性和多尺度特性的間歇過程，將遷移學(xué)習(xí)方法與多尺度核學(xué)習(xí)方法相結(jié)合，提出了一種基于多尺度核JYMKPLS(Joint-Y multi-scale kernel partial least squares)遷移學(xué)習(xí)模型的間歇過程產(chǎn)品質(zhì)量在線預(yù)測(cè)方法。本文通過遷移學(xué)習(xí)在解決新間歇過程數(shù)據(jù)不足難以精準(zhǔn)建模的基礎(chǔ)上，旨在解決間歇過程數(shù)據(jù)具有多尺度特性且在過程遷移建模時(shí)由于過程數(shù)據(jù)之間的差異性表現(xiàn)得尤為突出的問題。由于單個(gè)尺度的核函數(shù)難以對(duì)所有樣本進(jìn)行高效的映射，本文在遷移學(xué)習(xí)的基礎(chǔ)上引入了多尺度核函數(shù)的方法，通過改變核的尺度的大小更好地?cái)M合數(shù)據(jù)變化劇烈和變化平緩的趨勢(shì)，充分地反映了數(shù)據(jù)樣本的分布特性，改善了新模型的泛化性，從而實(shí)現(xiàn)對(duì)產(chǎn)品質(zhì)量的精準(zhǔn)預(yù)測(cè)。

1 多尺度核學(xué)習(xí)方法

核學(xué)習(xí)方法以非線性特征提取的方式，能夠?qū)⒆宰兞客ㄟ^非線性的方式映射到高維空間，并在其中利用線性運(yùn)算進(jìn)行特征提取[29-34]。核函數(shù)有很多種類型，每一種核函數(shù)都有不同特性的映射效果，針對(duì)具體的樣本空間來選擇不同類型的核函數(shù)一般能夠獲得較為滿意的非線性映射。然而，由于噪聲的存在以及工業(yè)過程日趨復(fù)雜多變，使得過程樣本數(shù)據(jù)分布更加不規(guī)則、不平坦。在這種情況下，單一核函數(shù)的方法具有很大的局限性，過程的所有數(shù)據(jù)樣本難以用一個(gè)特定的核函數(shù)對(duì)整體進(jìn)行有效的映射[35]。

近年來有學(xué)者提出了多核學(xué)習(xí)的方法，而多尺度核方法作為其中的一種[29]，通過設(shè)置不同的核參數(shù)大小來構(gòu)造多個(gè)尺度大小的核函數(shù)，能夠?qū)^程不同的局部特征分別進(jìn)行高效的映射。這種方法具有非常多的尺度選擇性，因此具有很強(qiáng)的靈活性。高斯核函數(shù)作為常用核函數(shù)的一種，不僅能夠多尺度化，而且具有普遍的無限逼近能力，具體形式如下所示：

其中，σ表示核函數(shù)的尺度參數(shù)，本文將其多尺度化后如下所示：

其中，σ1＜σ2＜…＜σn，當(dāng)σ 較小時(shí)，對(duì)變化劇烈的數(shù)據(jù)樣本具有更好的映射效果；當(dāng)σ較大時(shí)，對(duì)變化平緩的數(shù)據(jù)樣本具有更好的映射效果。由此可構(gòu)造出新的多尺度核函數(shù)如下所示，其中多個(gè)尺度采用直接加權(quán)的形式：

其中，k 代表所選核函數(shù)的尺度的數(shù)量，各個(gè)尺度核函數(shù)的寬度參數(shù)用σi(i = 1,2,…,k)來表示?；诟咚箯较蚧撕瘮?shù)的多尺度核的學(xué)習(xí)方法主要是通過調(diào)整各個(gè)尺度核函數(shù)中的核參數(shù)，更好地?cái)M合不均勻數(shù)據(jù)的變化特征，以達(dá)到最優(yōu)解。

2 基于JYMKPLS 模型的產(chǎn)品質(zhì)量預(yù)測(cè)

考慮到在現(xiàn)代工業(yè)生產(chǎn)中，使用相同或相似的工藝原則生產(chǎn)相同或相似規(guī)格的獨(dú)立生產(chǎn)過程是普遍存在的。也就是說，對(duì)于一個(gè)新的目標(biāo)工藝過程，雖然它與舊工藝過程有著不同的設(shè)備、原材料和操作條件，但是過程之間各變量的相關(guān)關(guān)系往往是相接近的，它們共享著相似的內(nèi)在機(jī)理，且它們的過程數(shù)據(jù)的協(xié)方差結(jié)構(gòu)具有相似性，從這個(gè)意義上說，這兩個(gè)過程具有一定的相似性。近年來，遷移學(xué)習(xí)方法因其可以利用相似源域的知識(shí)來幫助完成目標(biāo)域的學(xué)習(xí)任務(wù)而越來越受到重視[21-23]?？紤]到新過程剛投入運(yùn)行，過程數(shù)據(jù)不足以建立較為精準(zhǔn)的數(shù)據(jù)驅(qū)動(dòng)模型，而舊過程已經(jīng)投入運(yùn)行了很久，擁有充足的過程數(shù)據(jù)但尚未被利用，造成了數(shù)據(jù)資源的閑置與浪費(fèi)。因此，如果能夠通過遷移學(xué)習(xí)的方法將實(shí)際工業(yè)過程中可用的相似過程的數(shù)據(jù)進(jìn)行整合和利用，依靠這些閑置的數(shù)據(jù)信息來促進(jìn)新過程的快速高效建模，不僅能夠提高產(chǎn)品質(zhì)量的預(yù)測(cè)精度，而且還能提高企業(yè)和社會(huì)的經(jīng)濟(jì)效益。如圖1所示，在本文中，假定有兩個(gè)相似間歇過程：新 過 程B 和 舊 過 程A，XA,XB∈RI×J×K和YA,YB∈RI×J分別為兩個(gè)過程的輸入變量矩陣和質(zhì)量指標(biāo)輸出矩陣，J 是過程變量數(shù)，K 是采樣時(shí)間，I是生產(chǎn)的批次數(shù)量。

圖1 兩個(gè)相似過程數(shù)據(jù)Fig.1 Two similar process datasets

2.1 JYMKPLS

JYPLS 方法屬于線性建模范疇，難以對(duì)非線性系統(tǒng)固有的特性進(jìn)行準(zhǔn)確高效的描述。為此，文獻(xiàn)[5]中提出了一種新的JYKPLS 算法，通過在JYPLS算法中引入核學(xué)習(xí)方法建立新過程的遷移學(xué)習(xí)模型，能夠較好地描述新舊間歇過程的非線性特性，提高模型的預(yù)測(cè)精度。該方法雖然可以在一定程度上解決非線性問題，但是考慮到工業(yè)過程中存在數(shù)據(jù)分布不均勻的特性，單個(gè)尺度的核函數(shù)往往難以準(zhǔn)確擬合所有樣本數(shù)據(jù)的變化趨勢(shì)。為此，本文將多尺度核函數(shù)技術(shù)應(yīng)用到JYPLS 算法，提出了一種新的基于多尺度核的JYMKPLS算法,通過改變核函數(shù)的尺度的大小能夠更好地?cái)M合數(shù)據(jù)變化劇烈和變化平緩的趨勢(shì)，可以更好地解決復(fù)雜的非線性分析問題，從而進(jìn)一步提高質(zhì)量預(yù)測(cè)的精度，JYMKPLS的模型結(jié)構(gòu)如圖2所示。

用原始空間中定義的核函數(shù)來替代內(nèi)積運(yùn)算，則可構(gòu)成如下形式的核矩陣：

圖2 JYMKPLS模型結(jié)構(gòu)Fig.2 The structure of JYMKPLS model

本文選用了高斯核進(jìn)行多尺度化，并采用下式進(jìn)行核矩陣元素的計(jì)算：

其中，多個(gè)尺度高斯核函數(shù)的寬度參數(shù)分別用σl(l = 1,2,…,m)表示。尺度個(gè)數(shù)m與核函數(shù)模型的復(fù)雜度直接相關(guān)，m越多，則構(gòu)造的多尺度核函數(shù)模型越復(fù)雜，學(xué)習(xí)訓(xùn)練的時(shí)間也越長(zhǎng)，尺度個(gè)數(shù)m 過多或過少都不利于使模型獲得良好的泛化性。由于某一寬度的高斯核函數(shù)可以將某一特定分布的樣本有效地向高維特征空間映射，因此輸入空間中訓(xùn)練樣本的特征分布的數(shù)量可以看作尺度個(gè)數(shù)的最優(yōu)選擇。目前常用的方法有模糊聚類分析方法，其可以通過劃分原始空間的樣本來確定相對(duì)最優(yōu)的尺度個(gè)數(shù)。此外，核函數(shù)的合成系數(shù)以及核參數(shù)的大小的尋優(yōu)方法越復(fù)雜，模型復(fù)雜度越高，學(xué)習(xí)訓(xùn)練的時(shí)間也越長(zhǎng)。針對(duì)一些具體問題，對(duì)核參數(shù)的選取，合成系數(shù)的設(shè)定，目前還沒有形成一個(gè)合理統(tǒng)一的模式[29]。本文在突出多尺度核優(yōu)勢(shì)的前提下，為了降低模型復(fù)雜度和學(xué)習(xí)時(shí)間，暫且采用直接求和的方式來構(gòu)造核模型的合成系數(shù)[31]。同時(shí)，為保證模型精度，利用訓(xùn)練樣本建立JYMKPLS回歸模型，利用優(yōu)化算法對(duì)核寬度參數(shù)σl進(jìn)行尋優(yōu)，計(jì)算擬合誤差作為評(píng)價(jià)指標(biāo)，選取最優(yōu)精度模型所對(duì)應(yīng)的參數(shù)作為最優(yōu)結(jié)果。在此算法中,由于只計(jì)算原始低位空間的核函數(shù)就可以得到高維空間的核函數(shù)矩陣KA和KB，因此沒有必要知道非線性映射函數(shù)的顯式表達(dá)式Φ(?)。在執(zhí)行JYMKPLS 算法之前，通常需要對(duì)這兩個(gè)核矩陣進(jìn)行中心化處理，公式如下：

其中，1I是I×I維的矩陣，其元素都為1，I則表示I×I維度的單位矩陣。

如果從原始空間到高維空間的映射Φ:xi∈RN→Φ(xi)∈H 已知，憑借樣本映射ΦA(chǔ)、ΦB和輸出樣本YA、YB則可以在高維空間中直接使用JYPLS 建模,那么就可以利用拉格朗日方法分析準(zhǔn)則函數(shù)得到如下所示：

但是ΦA(chǔ)、ΦB通常都是未知的，wJ則不能通過式(8)直接計(jì)算得到，不過可以利用核函數(shù)來巧妙地避開該映射，將式(8)轉(zhuǎn)化成式(9)。

（4）計(jì)算YAi,YBi的得分向量uAi= YAiqJi,uBi=YBiqJi。

（5）對(duì)uAi和uBi進(jìn)行收斂性判斷，若步驟（4）中的得分向量都具有收斂性，再根據(jù)式（13）進(jìn)行核矩陣和輸出矩陣的縮減，否則返回到步驟（2）。

（6）然后令i=i+1，重復(fù)步驟（2）～步驟（6）提取主成分直到A 的主成分全部提取結(jié)束，主成分?jǐn)?shù)量可以由交叉驗(yàn)證確定。

2.2 離線建模

給定某個(gè)間歇生產(chǎn)過程，假設(shè)它有J 個(gè)過程變量，在一個(gè)批次內(nèi)有K 個(gè)采樣時(shí)間點(diǎn)，共收集I 個(gè)批次數(shù)，就構(gòu)成了典型的間歇過程三維數(shù)據(jù)X(I × J ×K)。在進(jìn)行過程傳遞模型的建立之前，本文采取圖3 所示的方法按批次方向?qū)⑤斎刖仃嘪A,XB∈RI×J×K展 開 成XA,XB∈RI×KJ形 式，對(duì) 應(yīng) 的輸出變量矩陣為YA,YB∈RI×J。

圖3 相似過程數(shù)據(jù)的批次展開Fig.3 Batch-unfolding of similar process data

將JYPLS 過程遷移模型與多尺度核方法相結(jié)合，不僅能夠解決新間歇過程因沒有充足的過程建模數(shù)據(jù)而影響建模效率的問題，而且同時(shí)考慮到數(shù)據(jù)具有多尺度特性的問題，通過改變核的尺度的大小來更好地?cái)M合數(shù)據(jù)變化劇烈和變化平緩的趨勢(shì)，能夠充分地反映數(shù)據(jù)樣本的分布特性，可以進(jìn)一步提高質(zhì)量預(yù)測(cè)的精度。

JYMKPLS離線建模步驟如下：

（1）數(shù)據(jù)展開。采用批次展開的方式將新間歇過程B 和與其相似的舊間歇過程A 的矩陣XA,XB∈RI×J×K依次展開成XA,XB∈RI×KJ。

（2）數(shù)據(jù)預(yù)處理。將兩個(gè)過程的輸入矩陣XA,XB的每一列數(shù)據(jù)分別按照零均值和單位方差進(jìn)行歸一化；同樣，對(duì)輸出矩陣YA,YB也進(jìn)行標(biāo)準(zhǔn)化處理,將其聯(lián)合得到Y(jié)J=[YA; YB]。

（3）確定尺度個(gè)數(shù)m。對(duì)輸入樣本進(jìn)行聚類，選擇分類個(gè)數(shù)作為相對(duì)最優(yōu)的尺度個(gè)數(shù)m。

（4）確定核函數(shù)寬度參數(shù)σl(l = 1,2,…,m)。利用新舊過程的學(xué)習(xí)樣本建立JYMKPLS模型，計(jì)算擬合誤差作為評(píng)價(jià)指標(biāo)，利用優(yōu)化算法尋找最優(yōu)核寬度參數(shù)σl(l = 1,2,…,m)，使得擬合誤差最小，選取誤差最小模型所對(duì)應(yīng)的核寬度參數(shù)作為最優(yōu)結(jié)果。

（5）計(jì)算核矩陣。通過式(4)進(jìn)行非線性映射，利用式(6)的多個(gè)尺度的核函數(shù)在高維空間中分別計(jì)算并得到核函數(shù)矩陣KA和KB。

（6）通過式(7)中心化核矩陣KA和KB。

（7）使用輸入核矩陣KA和KB以及聯(lián)合輸出矩陣YJ運(yùn)行JYMKPLS算法。

（8）計(jì)算JYMKPLS模型的回歸系數(shù):

其中，TJ=[TA; TB]是舊間歇過程A 和新間歇過程B 過程潛變量的聯(lián)合矩陣，是建立質(zhì)量預(yù)測(cè)模型最為關(guān)鍵的變量。

（9）將預(yù)測(cè)樣本代入JYMKPLS 模型，得到回歸方程為：

其中，xnew是新過程B 的新采樣數(shù)據(jù)，xj代表第j批次的輸入訓(xùn)練數(shù)據(jù)，knew是新的批次數(shù)據(jù)對(duì)應(yīng)的核向量, e 是預(yù)測(cè)誤差，ynew為新采樣數(shù)據(jù)的預(yù)測(cè)結(jié)果。

2.3 基于JYMKPLS模型的在線預(yù)測(cè)

本文基于JYMKPLS過程遷移模型，為間歇過程產(chǎn)品質(zhì)量提供了在線預(yù)測(cè)方法的完整框架和算法流程，包括基于JYMKPLS 的預(yù)測(cè)模型的離線建立，在線模型更新和數(shù)據(jù)剔除，該方法的流程圖如圖4所示。

圖4 基于JYMKPLS過程遷移模型的批次過程質(zhì)量預(yù)測(cè)及更新流程Fig.4 Batch process quality prediction and update process based on JYMKPLS process transfer model

得到離線質(zhì)量模型之后，該模型可用于下一批次產(chǎn)品的質(zhì)量預(yù)測(cè)。在新的批次運(yùn)行時(shí)，由于該批次過程沒有完全結(jié)束，只能得到操作周期開始到當(dāng)前時(shí)刻的不完整的輸入數(shù)據(jù)xformer。為了預(yù)測(cè)當(dāng)前時(shí)刻下最終的產(chǎn)品質(zhì)量，可以通過預(yù)估計(jì)[7]的方法對(duì)當(dāng)前時(shí)刻之后的數(shù)據(jù)部分xafter進(jìn)行填補(bǔ)，構(gòu)成與預(yù)測(cè)值y?new相對(duì)應(yīng)的輸入數(shù)據(jù)xnew=[xformer; xafter]。然后，通過核函數(shù)獲得核向量knew，將完整的輸入數(shù)據(jù)xnew和knew代入預(yù)測(cè)模型即可得到預(yù)測(cè)值y?new。

其中，xj代表第j 批次的輸入訓(xùn)練數(shù)據(jù)，knew表示過程新產(chǎn)生的新批次的輸入數(shù)據(jù)所對(duì)應(yīng)的核向量，e為預(yù)測(cè)誤差，y?new代表新過程新采集到的數(shù)據(jù)所對(duì)應(yīng)的預(yù)測(cè)輸出值。

2.4 模型在線更新和舊數(shù)據(jù)剔除

由于新過程建模數(shù)據(jù)的稀缺性，現(xiàn)有的新過程數(shù)據(jù)集也無法描述整個(gè)新過程的特征。因此，在每個(gè)批次結(jié)束時(shí)，需要不斷地利用新獲得的數(shù)據(jù)xnew和ynew補(bǔ)充到新過程的建模數(shù)據(jù)集XB和YB，進(jìn)一步增加建模信息，從而有效提高預(yù)測(cè)模型的準(zhǔn)確性。通過這兩個(gè)增廣矩陣可以離線更新預(yù)測(cè)模型，模型更新方法如式（17）所示：

在生產(chǎn)過程前期，由于新過程數(shù)據(jù)不足，舊過程的數(shù)據(jù)有助于新過程模型的建立，但是由于相似過程之間必然存在差異，舊過程的數(shù)據(jù)不可能包含新過程的所有過程信息，隨著新過程數(shù)據(jù)的補(bǔ)充和積累，建模數(shù)據(jù)集中舊過程的數(shù)據(jù)反而會(huì)影響模型精度的進(jìn)一步提高。因此，需要在適當(dāng)?shù)臅r(shí)刻對(duì)舊過程數(shù)據(jù)進(jìn)行逐步剔除,本文檢測(cè)了連續(xù)m 個(gè)批次的最終質(zhì)量偏差，通過設(shè)置穩(wěn)定性閾值εstable來判斷誤差是否收斂至穩(wěn)定階段從而決定是否進(jìn)行數(shù)據(jù)剔除(εstable的值是趨近于0 的預(yù)設(shè)常數(shù))。數(shù)據(jù)剔除的原則是對(duì)舊過程數(shù)據(jù)集中偏差較大的數(shù)據(jù)優(yōu)先處理，具體方法和步驟如下。

（2）收集所有最新批次的最終質(zhì)量的預(yù)測(cè)偏差，判斷連續(xù)采樣批次中Δj偏差小于閾值εstable的批次數(shù)是否大于等于n 個(gè)，如果是，則轉(zhuǎn)到步驟（3）進(jìn)行數(shù)據(jù)選擇和剔除，否則返回到步驟(1)。

（3）計(jì)算新舊過程數(shù)據(jù)之間的相似度，從舊過程數(shù)據(jù)集中選取與新過程數(shù)據(jù)偏差最大的舊數(shù)據(jù)進(jìn)行剔除，計(jì)算相似度的公式如式(18)所示：

其中，‖ ? ‖2是歐幾里得度量，XˉB是新過程數(shù)據(jù)的平均值，d(xAj,XB)表示過程數(shù)據(jù)之間的歐氏距離，相似度用S(xAj)表示，其范圍是0～1。

3 算法仿真驗(yàn)證

3.1 青霉素生產(chǎn)過程及實(shí)驗(yàn)過程設(shè)計(jì)

青霉素生產(chǎn)過程是一種典型的間歇工業(yè)過程，其主要通過微生物發(fā)酵的途徑進(jìn)行生產(chǎn)，過程本身具有非線性的特性。而青霉素的終點(diǎn)濃度是衡量生產(chǎn)效益的最重要的指標(biāo)，因此，對(duì)其進(jìn)行質(zhì)量預(yù)測(cè)十分重要。本文通過Pensim2.0 仿真軟件按照設(shè)定生成的數(shù)據(jù)來驗(yàn)證本文算法，過程反應(yīng)周期和采樣間隔分別設(shè)定為400 h 和0.5 h。然后，選取了通風(fēng)率等六個(gè)輸入變量和青霉素濃度這一個(gè)輸出變量建立預(yù)測(cè)模型對(duì)青霉素濃度進(jìn)行質(zhì)量預(yù)測(cè)。本文采用仿真軟件按照表1設(shè)置的工作條件分別生成40 個(gè)批次的數(shù)據(jù)作為舊過程A 已有的大量過程數(shù)據(jù)，生成55 個(gè)批次的數(shù)據(jù)作為新過程B 產(chǎn)生的過程數(shù)據(jù)，其中5 個(gè)作為剛投入運(yùn)行的新過程B 已有的過程數(shù)據(jù)，剩余50個(gè)批次的數(shù)據(jù)用作數(shù)據(jù)更新和數(shù)據(jù)測(cè)試。同時(shí)，為了增加實(shí)驗(yàn)實(shí)際應(yīng)用的可信度，將2%的測(cè)量噪聲分別加到過程的輸入變量和輸出質(zhì)量指標(biāo)上。提取舊過程A中40個(gè)批次數(shù)據(jù)中的6個(gè)輸入變量和最終質(zhì)量，形成舊過程數(shù)據(jù)集矩陣XA(40 × 6 × 800)和YA(40 × 1)，同樣，可以得到新過程數(shù)據(jù)集矩陣XB(55× 6 × 800)和YB(55× 1)。

表1 過程A和B的工作條件Table 1 Working conditions for batch processes A and B

圖5 基于KPLS和MKPLS的青霉素最終濃度預(yù)測(cè)結(jié)果Fig.5 The prediction result of the final concentration of penicillin in each batch based on KPLS and MKPLS

3.2 基于MKPLS的青霉素質(zhì)量預(yù)測(cè)

為了更清晰地表明新過程B由于數(shù)據(jù)稀缺導(dǎo)致數(shù)據(jù)驅(qū)動(dòng)建模精度低下的問題，更好地突出多尺度核學(xué)習(xí)方法在質(zhì)量預(yù)測(cè)中的優(yōu)勢(shì)，本節(jié)只用到新過程B 的數(shù)據(jù)，將MKPLS 模型與傳統(tǒng)的KPLS 模型進(jìn)行了比較，測(cè)試了這兩種方法的預(yù)測(cè)效果。

首先為了充分地驗(yàn)證兩個(gè)模型在整個(gè)工況范圍內(nèi)的最終質(zhì)量預(yù)測(cè)能力，保持建模數(shù)據(jù)集不變，并且不進(jìn)行模型的在線更新和舊數(shù)據(jù)的剔除，實(shí)驗(yàn)將新過程B 的50 個(gè)批次的數(shù)據(jù)分為5 個(gè)批次的建模數(shù)據(jù)集和45 個(gè)批次的測(cè)試數(shù)據(jù)集，構(gòu)建最終質(zhì)量預(yù)測(cè)模型。利用兩種方法對(duì)測(cè)試數(shù)據(jù)集的最終質(zhì)量進(jìn)行了預(yù)測(cè)，評(píng)價(jià)指標(biāo)為預(yù)測(cè)值的均方根誤差RMSE 和平均相對(duì)預(yù)測(cè)誤差MPRE。由圖5 和表2 可得實(shí)驗(yàn)結(jié)果如下，新過程在剛投入生產(chǎn)的前期階段，擁有很少的建模數(shù)據(jù)，在不進(jìn)行模型更新的前提下基于這兩種數(shù)據(jù)驅(qū)動(dòng)建模方法的預(yù)測(cè)精度都不理想，但是MKPLS 建模方法的預(yù)測(cè)效果要略優(yōu)于KPLS 建模方法的預(yù)測(cè)效果，這表明即使在少量數(shù)據(jù)的情況下，相比于單尺度核方法，多尺度核方法能夠較好地抓取數(shù)據(jù)特征，具有更高的精度。

兩種方法的均方根誤差和平均相對(duì)預(yù)測(cè)誤差值如表2所示。

考慮模型更新的情況，本實(shí)驗(yàn)將新過程B 的55個(gè)批次的數(shù)據(jù)分為5 個(gè)批次的建模數(shù)據(jù)集，45 個(gè)批次的更新數(shù)據(jù)集，5 個(gè)批次的測(cè)試數(shù)據(jù)集三個(gè)部分，測(cè)試數(shù)據(jù)集中5 個(gè)批次最終濃度預(yù)測(cè)值的RMSE 是量化預(yù)測(cè)性能的評(píng)價(jià)指標(biāo)。利用建模數(shù)據(jù)集構(gòu)建初始的最終質(zhì)量預(yù)測(cè)模型，每次對(duì)測(cè)試數(shù)據(jù)集中的所有測(cè)試樣本進(jìn)行預(yù)測(cè)后，計(jì)算預(yù)測(cè)結(jié)果的RMSE，然后向訓(xùn)練數(shù)據(jù)集中添加一批更新數(shù)據(jù)集以重建質(zhì)量預(yù)測(cè)模型，再次對(duì)測(cè)試集的最終濃度進(jìn)行預(yù)測(cè)，直到更新數(shù)據(jù)集中的所有數(shù)據(jù)都放入建模數(shù)據(jù)集中。兩種方法測(cè)試數(shù)據(jù)集的RMSE 如圖6 所示，隨著新批次數(shù)據(jù)的不斷產(chǎn)生，建模數(shù)據(jù)不斷增多，兩種預(yù)測(cè)方法的精度隨著模型更新都在不斷提高，在第25批次之后，達(dá)到了較為穩(wěn)定的精度。對(duì)比兩種預(yù)測(cè)方法的均方根誤差，可以看出在進(jìn)行該生產(chǎn)過程的質(zhì)量預(yù)測(cè)時(shí)，基于MKPLS的建模方法的預(yù)測(cè)效果明顯優(yōu)于基于KPLS 的建模方法，而且隨著建模數(shù)據(jù)越來越多，基于MKPLS的建模方法的預(yù)測(cè)效果的優(yōu)勢(shì)會(huì)更加明顯。

1．3 技術(shù)培訓(xùn)與質(zhì)量控制 本研究的6名測(cè)查人員均經(jīng)過北京婦幼保健院的Gesell神經(jīng)心理發(fā)育測(cè)查的技能培訓(xùn)并取得證書，臨床測(cè)查經(jīng)驗(yàn)豐富。實(shí)驗(yàn)前6名測(cè)查員測(cè)查結(jié)果一致性檢驗(yàn)合格。

表2 兩種預(yù)測(cè)方法的評(píng)價(jià)指標(biāo)對(duì)比Table 2 The evaluation index comparison of two prediction methods

圖6 帶有模型更新的KPLS模型和MKPLS模型的RMSEFig.6 RMSE of KPLS model and MKPLS model with model updates

3.3 基于JYMKPLS的青霉素質(zhì)量預(yù)測(cè)

考慮到新過程B初期建模數(shù)據(jù)少導(dǎo)致建模精度很低甚至無法建模的情況，為了突出過程遷移在最終質(zhì)量預(yù)測(cè)中的優(yōu)勢(shì)，更為了突出多尺度核方法在解決批次過程訓(xùn)練樣本中普遍存在的數(shù)據(jù)分布不均勻的多尺度特性問題上的優(yōu)勢(shì)，本節(jié)將JYMKPLS模型、JYKPLS 模型以及傳統(tǒng)的KPLS 模型的預(yù)測(cè)效果進(jìn)行了比較。

首先，為了充分驗(yàn)證在新過程數(shù)據(jù)不足的情況下，JYMKPLS 模型在整個(gè)工況范圍內(nèi)的最終質(zhì)量預(yù)測(cè)能力，保持建模數(shù)據(jù)集不變，并且暫且不進(jìn)行模型的在線更新和舊數(shù)據(jù)的剔除。該實(shí)驗(yàn)中，用到舊過程A 的所有數(shù)據(jù)和新過程B 的50 個(gè)批次的數(shù)據(jù)，將新過程B的50個(gè)批次的數(shù)據(jù)分為5個(gè)批次的建模數(shù)據(jù)集和45個(gè)批次的測(cè)試數(shù)據(jù)集，用以構(gòu)建最終質(zhì)量預(yù)測(cè)模型。其中，傳統(tǒng)的KPLS 建模方法只利用新過程B 的5 個(gè)批次數(shù)據(jù)進(jìn)行建模，而JYKPLS 和JYMKPLS 過程遷移建模方法則利用相似舊過程A的40個(gè)批次的過程數(shù)據(jù)和新過程B的5個(gè)批次的過程數(shù)據(jù)進(jìn)行建模。利用三種方法對(duì)測(cè)試數(shù)據(jù)集的最終質(zhì)量進(jìn)行了預(yù)測(cè)，評(píng)價(jià)指標(biāo)為預(yù)測(cè)值的均方根誤差RMSE 和平均相對(duì)預(yù)測(cè)誤差MPRE。實(shí)驗(yàn)的結(jié)果如圖7 和表3 所示，在新過程運(yùn)行初期，擁有很少的建模數(shù)據(jù)的情況下, JYKPLS 和JYMKPLS 過程遷移建模方法的整體預(yù)測(cè)效果要明顯優(yōu)于KPLS 建模方法的預(yù)測(cè)效果。同時(shí)，基于JYMKPLS的建模方法的預(yù)測(cè)精度要略優(yōu)于基于JYKPLS 的建模方法的預(yù)測(cè)精度。

三種預(yù)測(cè)方法的均方根誤差以及平均相對(duì)預(yù)測(cè)誤差如表3所示。

表3 三種預(yù)測(cè)方法的評(píng)價(jià)指標(biāo)對(duì)比Table 3 The evaluation index comparison of three prediction methods

三種預(yù)測(cè)方法的平均均方根誤差如表4 所示（無數(shù)據(jù)剔除）。

表4 三種預(yù)測(cè)方法的平均均方根誤差對(duì)比Table 4 Comparison of mean RMSE of three prediction methods

圖7 基于KPLS、JYKPLS和JYMKPLS的青霉素最終濃度預(yù)測(cè)結(jié)果Fig.7 Prediction results of final penicillin concentration for each batch based on KPLS,JYKPLS and JYMKPLS

圖8 帶有模型更新的三種模型的RMSEFig.8 RMSE of the three models with model updates

考慮模型更新情況，本實(shí)驗(yàn)用到新過程B 的55個(gè)批次的數(shù)據(jù)，將其分為三部分，5 個(gè)批次的建模數(shù)據(jù)集，45個(gè)批次的更新數(shù)據(jù)集，5個(gè)批次的測(cè)試數(shù)據(jù)集。然后根據(jù)KPLS、JYKPLS、JYMKPLS 三種建模方法構(gòu)建初始的最終質(zhì)量預(yù)測(cè)模型。其中，傳統(tǒng)的KPLS 建模方法只利用新過程B 的5 個(gè)批次數(shù)據(jù)進(jìn)行建模，而JYKPLS 和JYMKPLS 過程遷移建模方法則利用相似舊過程A 的40 個(gè)批次的過程數(shù)據(jù)和新過程B 的5 個(gè)批次數(shù)據(jù)進(jìn)行建模。測(cè)試數(shù)據(jù)集中5個(gè)批次最終濃度預(yù)測(cè)值的RMSE是量化預(yù)測(cè)性能的評(píng)價(jià)指標(biāo)，每次對(duì)測(cè)試數(shù)據(jù)集中的所有測(cè)試樣本進(jìn)行預(yù)測(cè)后，計(jì)算預(yù)測(cè)結(jié)果的RMSE，并向訓(xùn)練數(shù)據(jù)集中添加一批更新數(shù)據(jù)集用以重建預(yù)測(cè)模型，再次預(yù)測(cè)它們的最終濃度，直到更新數(shù)據(jù)集中的所有數(shù)據(jù)都放入建模數(shù)據(jù)集中。如圖8(a)和表4所示，隨著新批次數(shù)據(jù)的不斷產(chǎn)生，建模數(shù)據(jù)不斷增多，三種預(yù)測(cè)方法的精度隨著模型更新都在不斷提高，在第25批次之后，達(dá)到了較為穩(wěn)定的精度。對(duì)比三種預(yù)測(cè)方法的均方根誤差，可以看出在對(duì)新過程B 的前期進(jìn)行質(zhì)量預(yù)測(cè)時(shí)，相較于KPLS 方法，引入相似舊過程A 的過程數(shù)據(jù)進(jìn)行遷移建模的JYKPLS 方法和JYMKPLS 方法能夠明顯地降低預(yù)測(cè)誤差。同時(shí)，由于引入了多個(gè)尺度的核函數(shù)來更好地?cái)M合數(shù)據(jù)的變化特征，使得JYMKPLS 方法相較于JYKPLS 方法在降低預(yù)測(cè)誤差方面更加明顯。此外，由于在第25批次之后，JYKPLS 方法和JYMKPLS 方法都已達(dá)到了較為穩(wěn)定的精度，精度受到舊過程數(shù)據(jù)的影響，此時(shí)須考慮數(shù)據(jù)剔除情況，如圖8(b)所示，通過上文所提的剔除判定方法，在誤差穩(wěn)定幾個(gè)批次之后進(jìn)行數(shù)據(jù)剔除，可以看出在第30 個(gè)批次以后，二者的預(yù)測(cè)誤差都進(jìn)一步降低?？傮w上，隨著模型更新和數(shù)據(jù)剔除的進(jìn)行，基于JYMKPLS建模方法的預(yù)測(cè)精度不斷提高，而且預(yù)測(cè)精度明顯優(yōu)于另外兩種建模方法。

4 結(jié) 論

針對(duì)間歇過程數(shù)據(jù)大都具有強(qiáng)非線性和多尺度特性的問題，為了對(duì)數(shù)據(jù)不足的新間歇過程建立更加精準(zhǔn)的產(chǎn)品質(zhì)量預(yù)測(cè)模型，提出了一種基于多尺度核JYMKPLS 遷移學(xué)習(xí)模型的產(chǎn)品質(zhì)量在線預(yù)測(cè)方法。該方法綜合了遷移學(xué)習(xí)建模和多尺度核學(xué)習(xí)方法的優(yōu)點(diǎn),既能在減少數(shù)據(jù)資源浪費(fèi)的同時(shí),遷移相似舊過程充足的過程數(shù)據(jù)到新過程中以輔助和加速新過程的建模,又兼顧了間歇過程訓(xùn)練樣本中普遍存在的多尺度特性，提升了模型泛化性。此外，提出模型在線更新和數(shù)據(jù)剔除，在每個(gè)生產(chǎn)周期結(jié)束時(shí)，通過在線持續(xù)改善遷移模型對(duì)新間歇過程的匹配程度，以消除相似過程間的差異性給遷移學(xué)習(xí)帶來的不利影響，進(jìn)而不斷地提高產(chǎn)品質(zhì)量的預(yù)測(cè)精度。本文通過仿真將該方法應(yīng)用于青霉素生產(chǎn)過程，結(jié)果顯示，與傳統(tǒng)的KPLS 方法和基于過程遷移的JYKPLS 方法相比，該方法在加快新過程建模速度的同時(shí)，具有更高的預(yù)測(cè)精度和良好的泛化性能，能夠進(jìn)一步提高新批次產(chǎn)品質(zhì)量的預(yù)測(cè)精度。

符 號(hào) 說 明

B——模型的回歸系數(shù)矩陣

e——ynew的預(yù)測(cè)誤差

I——I × I單位矩陣

KA,KB——分別為A、B過程的核函數(shù)矩陣

knew——B過程的新的批次數(shù)據(jù)對(duì)應(yīng)的核向量

qJi——聯(lián)合輸出變量的負(fù)載矩陣

S(·)——數(shù)據(jù)之間的相似度

tA,tB,tJ——分別為A、B 過程輸入數(shù)據(jù)的得分向量和關(guān)聯(lián)主成分

uA,uB——分別為過程輸出數(shù)據(jù)的得分向量

XA,XB——分別為A、B過程的輸入數(shù)據(jù)矩陣

xformer,xafter——分別為xnew中已存在數(shù)據(jù)樣本和未知數(shù)據(jù)樣本

xi——第i 批次的輸入訓(xùn)練數(shù)據(jù)

xnew——B過程在線獲取的新的批次的數(shù)據(jù)樣本

YA,YB,YJ——分別為A、B 過程的輸出數(shù)據(jù)矩陣和聯(lián)合輸出矩陣

ynew,——分別為B 過程在線采集的新生產(chǎn)批次的輸出樣本值及其預(yù)測(cè)值

βj——第j批次的預(yù)測(cè)偏差

Δj——前后批次間預(yù)測(cè)偏差的差值

εstable——穩(wěn)定閾值

σ——核參數(shù)

Φ(?)——非線性變換函數(shù)

下角標(biāo)

A——與過程B相似的舊間歇生產(chǎn)過程

after——之后的,未知的

B——新間歇生產(chǎn)過程

former——之前的,已知的

i——提取的潛變量的序號(hào)

J——聯(lián)合矩陣

j——批次數(shù)

new——新過程B的當(dāng)前運(yùn)行批次

old——舊過程A的數(shù)據(jù)