云過程神經(jīng)網(wǎng)絡(luò)模型及算法研究

王 兵李盼池楊冬黎于曉紅

①(東北石油大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院 大慶 163318)

②(大慶油田公司勘探開發(fā)研究院 大慶 163712)

云過程神經(jīng)網(wǎng)絡(luò)模型及算法研究

王 兵*①李盼池①楊冬黎①于曉紅②

①(東北石油大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院 大慶 163318)

②(大慶油田公司勘探開發(fā)研究院 大慶 163712)

該文針對(duì)輸入輸出具有不確定性特征并與時(shí)間或過程有關(guān)的復(fù)雜非線性系統(tǒng)建模和求解問題，利用過程神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)變信號(hào)的動(dòng)態(tài)處理能力，結(jié)合云模型對(duì)定性定量概念的轉(zhuǎn)化能力，構(gòu)建了一種具有不確定性信息處理能力的云過程神經(jīng)網(wǎng)絡(luò)模型，并采用貓群優(yōu)化算法同時(shí)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)進(jìn)行并行優(yōu)化設(shè)計(jì)，提高了網(wǎng)絡(luò)逼近及泛化能力，實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)在時(shí)間域和不確定信息處理領(lǐng)域上的有效擴(kuò)展。仿真實(shí)驗(yàn)結(jié)果驗(yàn)證了模型和算法的可行性和有效性。

云模型；云過程神經(jīng)網(wǎng)絡(luò)；貓群優(yōu)化；時(shí)間序列預(yù)測(cè)

1 引言

過程神經(jīng)網(wǎng)絡(luò)是本世紀(jì)初由何新貴院士等人[1]提出的一種新的人工神經(jīng)網(wǎng)絡(luò)模型。它的輸入、輸出以及連接權(quán)等均可為與時(shí)間或過程有關(guān)的函數(shù)，其聚合運(yùn)算和激勵(lì)可同時(shí)反映時(shí)變輸入信號(hào)的空間加權(quán)聚合以及在時(shí)間軸上的累積效應(yīng)，對(duì)于求解與時(shí)間過程有關(guān)的信息處理問題具有廣泛的適用性。對(duì)于過程神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練問題，文獻(xiàn)[2-4]分別提出了基于函數(shù)基展開結(jié)合最小均方算法、基于數(shù)值積分以及基于智能優(yōu)化計(jì)算的訓(xùn)練方法，有效簡(jiǎn)化了時(shí)空聚合運(yùn)算。在網(wǎng)絡(luò)性能方面，文獻(xiàn)[5,6]研究了其連續(xù)性、可逼近性及計(jì)算能力等理論性質(zhì)。在模型構(gòu)造方面，文獻(xiàn)[7-9]先后提出了小波，Elman，量子等多種過程神經(jīng)網(wǎng)絡(luò)模型。過程神經(jīng)網(wǎng)絡(luò)也被廣泛應(yīng)用于發(fā)動(dòng)機(jī)排氣溫度監(jiān)測(cè)[7]，PID控制[10]，圖像處理[11]等領(lǐng)域。

客觀世界中絕大部分事物和現(xiàn)象都具有不確定性，神經(jīng)網(wǎng)絡(luò)只能表達(dá)和處理精確、定量化的信息模式，很難應(yīng)付自然界中的隨機(jī)性和模糊性信息。云模型的出現(xiàn)[12]提供了一種新的定性定量不確定性轉(zhuǎn)換模型，已經(jīng)在不確定性推理、智能控制、決策支持、系統(tǒng)預(yù)測(cè)等方面得到成功應(yīng)用[13]。目前，國(guó)內(nèi)外很多學(xué)者致力于將云模型與神經(jīng)網(wǎng)絡(luò)進(jìn)行融合并已提出一些有意義的云神經(jīng)網(wǎng)絡(luò)模型。

針對(duì)具有過程性、隨機(jī)性和模糊性特征的復(fù)雜非線性系統(tǒng)的建模和求解問題，本文將云模型對(duì)定性定量概念的轉(zhuǎn)化能力與過程神經(jīng)網(wǎng)絡(luò)對(duì)時(shí)變信號(hào)的處理方法相結(jié)合，提出了一種云過程神經(jīng)網(wǎng)絡(luò)模型(Cloud Process Neural Network, CPNN)，實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)在時(shí)間域和不確定信息處理領(lǐng)域上的擴(kuò)展。此外，文中采用貓群優(yōu)化算法對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)參數(shù)進(jìn)行并行優(yōu)化設(shè)計(jì)，提高了網(wǎng)絡(luò)的逼近及泛化能力。將該模型算法用于個(gè)人家庭電力消耗數(shù)據(jù)預(yù)測(cè)，實(shí)驗(yàn)結(jié)果驗(yàn)證了模型和算法的可行性和有效性。

2 云過程神經(jīng)網(wǎng)絡(luò)模型

本文建立的輸入輸出均為云化模型的云過程神經(jīng)網(wǎng)絡(luò)由時(shí)變輸入層、過程云化層、規(guī)則層、標(biāo)準(zhǔn)化層、整合層、逆向云化層和輸出層組成。本文著重研究多輸入/單輸出結(jié)構(gòu)的網(wǎng)絡(luò)系統(tǒng)，由此不難推廣到多輸入/多輸出系統(tǒng)，其拓?fù)浣Y(jié)構(gòu)如圖1所示。該網(wǎng)絡(luò)模型表達(dá)的云推理規(guī)則的一般形式為

(1)時(shí)變輸入層：負(fù)責(zé)將時(shí)變過程輸入信號(hào)的每一個(gè)分量傳遞到過程云化層進(jìn)行云化處理。設(shè)網(wǎng)絡(luò)輸入空間為([0,])n

CT，其中[0,T]為時(shí)間過程采樣區(qū)間。n個(gè)過程式輸入節(jié)點(diǎn)組成的輸入函數(shù)向量為

(3)規(guī)則層：每個(gè)節(jié)點(diǎn)代表“軟與”操作，執(zhí)行云規(guī)則匹配，并確定該條規(guī)則的激活度ak，其中“軟與”操作可通過多維正態(tài)云模型為網(wǎng)絡(luò)“軟與”程度的調(diào)節(jié)參數(shù)。

(4)標(biāo)準(zhǔn)化層：對(duì)規(guī)則層傳遞來的激活度ak進(jìn)行標(biāo)準(zhǔn)化操作。

(5)整合層：負(fù)責(zé)對(duì)每條規(guī)則的平均激活度進(jìn)行整合輸出：

其中l(wèi)=1,2,…,q 為網(wǎng)絡(luò)輸出y所分解的子云數(shù)量。μl為每個(gè)子云的確定度。為第k條規(guī)則結(jié)論為Cl(μl)的可信度。由于所以μl∈[0,1]。

(6)逆向云化層：每個(gè)節(jié)點(diǎn)代表一個(gè)云模型，負(fù)責(zé)對(duì)特定隸屬度μl進(jìn)行逆向求解(Y條件云發(fā)生器)：

(7)輸出層：采用加權(quán)平均法進(jìn)行輸出：

圖1 云過程神經(jīng)網(wǎng)絡(luò)模型

可以看出，該網(wǎng)絡(luò)為多層前饋型網(wǎng)絡(luò)，有4組權(quán)參數(shù)需要調(diào)整，即過程云化層中的規(guī)則層中的整合層中的逆向云化層中的從時(shí)變輸入層到標(biāo)準(zhǔn)化層實(shí)現(xiàn)規(guī)則的前提部分，從整合層到輸出層實(shí)現(xiàn)規(guī)則的結(jié)論部分。

3 云過程神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

對(duì)于云過程神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問題，可以采用傳統(tǒng)的基于基函數(shù)展開結(jié)合梯度下降的學(xué)習(xí)算法[3]，但該方法中選用何種基函數(shù)以及如何確定基函數(shù)的展開項(xiàng)數(shù)還沒有一個(gè)統(tǒng)一的指導(dǎo)標(biāo)準(zhǔn)。此外，梯度下降法也容易陷入局部最優(yōu)，而且還可能面臨梯度不可計(jì)算的情況。實(shí)際上，過程神經(jīng)網(wǎng)絡(luò)除了參數(shù)學(xué)習(xí)之外還應(yīng)包含對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)，即學(xué)習(xí)過程應(yīng)涉及結(jié)構(gòu)調(diào)整和參數(shù)調(diào)整兩大部分，傳統(tǒng)的依據(jù)經(jīng)驗(yàn)法或試湊法對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行的調(diào)整往往存在很大的誤差。因此，文中將采用一種新的基于群體行為的智能優(yōu)化算法 貓群優(yōu)化算法(Cat Swarm Optimization, CSO)[14]在有效確定網(wǎng)絡(luò)最優(yōu)結(jié)構(gòu)的同時(shí)優(yōu)化網(wǎng)絡(luò)學(xué)習(xí)參數(shù)，使網(wǎng)絡(luò)能夠快速、準(zhǔn)確地獲得全局最優(yōu)解。

3.1 適應(yīng)度函數(shù)的設(shè)計(jì)

其中，ys可根據(jù)式(1)-式(6)計(jì)算求得。

在實(shí)際工程中，網(wǎng)絡(luò)輸入多為由采樣得到的離散時(shí)間序列，因此，可直接輸入進(jìn)行Hausdorff距離計(jì)算。當(dāng)系統(tǒng)輸入為時(shí)變函數(shù)時(shí)，可對(duì)函數(shù)進(jìn)行離散化處理后再計(jì)算。設(shè)在時(shí)間過程采樣區(qū)間[0,T]上有P個(gè)采樣點(diǎn)，則網(wǎng)絡(luò)輸入函數(shù)離散化為相應(yīng)地將也表示為離散化形式作為網(wǎng)路的待調(diào)參數(shù)。

綜上所述，云過程神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)函數(shù)E為結(jié)構(gòu)參數(shù)mi,q和變參數(shù)的函數(shù)。采用云過程神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)函數(shù)E作為貓群算法的適應(yīng)度函數(shù)，從而將云過程神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問題轉(zhuǎn)化為最小化網(wǎng)絡(luò)目標(biāo)函數(shù)E的優(yōu)化問題。

3.2 具體學(xué)習(xí)步驟

步驟1 初始化：確定貓群規(guī)模N，最大迭代次數(shù)T，設(shè)置當(dāng)前迭代次數(shù)t=0。隨機(jī)生成N只貓的初始位置和速度信息。貓的位置信息可以表示為

則貓的位置維度為

步驟 2 分配：按照混合比例算子MR的值分配少部分貓進(jìn)入追蹤模式，其它的貓進(jìn)入搜尋模式。

步驟3 評(píng)價(jià)：通過適應(yīng)度函數(shù)計(jì)算每只貓的適應(yīng)度值。記錄到目前為止獲得的貓的最佳位置為

步驟4 移動(dòng)：根據(jù)貓的工作模式標(biāo)志信息分別移動(dòng)貓的位置如下：

(1)搜尋模式：

(a)復(fù)制：將當(dāng)前貓c的位置復(fù)制SMP份放入記憶池中。如果自身位置考慮因子SPC為真，則當(dāng)前貓c的位置作為一個(gè)候選位置放入記憶池中，其它(SMP-1)份保持不變。

(b)變異：對(duì)于每一個(gè)位置副本，首先根據(jù)維數(shù)變化因子CDC選擇M維度中的若干維參加變異操作，在當(dāng)前值基礎(chǔ)上隨機(jī)加減一定百分比代替原有值，新舊值變化幅度必須在維度變化域因子SRD限定范圍內(nèi)。

(c)評(píng)價(jià)：根據(jù)適應(yīng)度函數(shù)計(jì)算貓c各個(gè)候選位置的適應(yīng)度值FS。

(d)計(jì)算：根據(jù)式(11)計(jì)算每個(gè)候選位置的選中概率；如果選中概率全部相等，則將其均置為1。

(e)移動(dòng)：根據(jù)各個(gè)候選位置的選中概率，采用輪盤賭方法選擇其中一個(gè)候選位置作為貓c新的當(dāng)前位置進(jìn)行移動(dòng)。

(2)追蹤模式：

(a)根據(jù)式(12)更新當(dāng)前貓c的速度信息。

其中c1為一常量，r1是[0,1]范圍內(nèi)的一個(gè)隨機(jī)數(shù)。

(b)檢查更新后的每一維速度分量是否仍在設(shè)定的最大速度Vmax內(nèi)。如果不在，那么這一維的速度分量就被限定為Vmax。

(c)根據(jù)式(13)更新當(dāng)前貓c的位置信息。

步驟5 判斷：若t＞T或目標(biāo)函數(shù)E小于設(shè)定值，則停止運(yùn)算。否則t=t+1，轉(zhuǎn)步驟2。 3.3 學(xué)習(xí)算法分析

在上述學(xué)習(xí)算法中，對(duì)貓的搜索空間的合理限定是充分發(fā)揮該算法同時(shí)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)參數(shù)的保證。mi, q為樣本的輸入輸出分解為子云的數(shù)量，屬于結(jié)構(gòu)信息，取值為正整數(shù)。在一次實(shí)驗(yàn)中n, P是固定不變的，因此貓的位置的維度大小由mi, q決定。如果mi, q取值過大，待優(yōu)化變量過多，不但會(huì)給算法帶來性能影響，甚至可能會(huì)產(chǎn)生維數(shù)災(zāi)難。mi, q過小，又會(huì)導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)過于簡(jiǎn)單而沒有足夠的逼近能力。因此，需要根據(jù)實(shí)際問題的復(fù)雜程度設(shè)定一個(gè)合理的范圍。此外，mi, q的頻繁變動(dòng)會(huì)引起其它待調(diào)參數(shù)維度的改變而導(dǎo)致沒有充分的學(xué)習(xí)機(jī)會(huì)，可設(shè)定每迭代若干次后mi, q才有機(jī)會(huì)進(jìn)行選擇性移動(dòng)。對(duì)于各子云的期望參數(shù)可以采用下面兩種方法來確定其初值：一種是從各子云對(duì)應(yīng)的輸入或輸出樣本中隨機(jī)選取部分樣本作為各自期望的初始值；另一種方法是采用K-均值等聚類的聚類中心作為各子云的初始期望。云的熵和超熵取值為正實(shí)數(shù)，并且為防止霧化現(xiàn)象發(fā)生，超熵不能超過其相應(yīng)熵的1/3。

貓群算法本身的搜索策略并不復(fù)雜，其計(jì)算復(fù)雜性在于每次迭代時(shí)都要為每只貓的每個(gè)候選位置或更新位置進(jìn)行一次適應(yīng)度評(píng)價(jià)，即計(jì)算網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)函數(shù)E。因此該算法的計(jì)算復(fù)雜度主要受貓群規(guī)模N，迭代次數(shù)t以及記憶池大小SMP的影響，目標(biāo)函數(shù)E的計(jì)算次數(shù)≤Nt (SMP+1)次。同時(shí)E本身的計(jì)算也與mi, q有關(guān)?？梢酝ㄟ^合理設(shè)定N, t, SMP,mi, q的值或范圍使算法在計(jì)算量和優(yōu)化性能之間找到一個(gè)較好的平衡。

4 仿真實(shí)驗(yàn)

本次實(shí)驗(yàn)采用UCI數(shù)據(jù)集中的個(gè)人家庭電力消耗數(shù)據(jù)集進(jìn)行仿真。該數(shù)據(jù)集收錄了從2006年12月到2010年11月期間近4年某家庭每分鐘的電力消耗情況，共計(jì)2075259個(gè)數(shù)據(jù)實(shí)例，常被用來檢測(cè)時(shí)間序列時(shí)變樣本的預(yù)測(cè)、分類能力。

實(shí)驗(yàn)擬分別進(jìn)行電力消耗功率小時(shí)數(shù)據(jù)、日數(shù)據(jù)、周數(shù)據(jù)和月數(shù)據(jù)的單步短期預(yù)測(cè)。以分鐘采樣數(shù)據(jù)為基礎(chǔ)分別計(jì)算獲得34560, 1440, 205和46份完整的小時(shí)、日、周和月數(shù)據(jù)。其中周數(shù)據(jù)如圖2所示。

圖2 周時(shí)間序列數(shù)據(jù)

以周數(shù)據(jù)預(yù)測(cè)為例，預(yù)測(cè)方案是用前d周的周數(shù)據(jù)預(yù)測(cè)第d+1周數(shù)據(jù)。實(shí)驗(yàn)中將數(shù)據(jù)集按5︰2.5 ︰2.5的比例隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。為體現(xiàn)本文提出的云過程神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法的優(yōu)越性(CPNN-CSO)，分別將其與普通過程神經(jīng)網(wǎng)絡(luò)(PNN)和采用基函數(shù)展開結(jié)合梯度下降方法的云過程神經(jīng)網(wǎng)絡(luò)(CPNN)進(jìn)行對(duì)比。由預(yù)測(cè)方案可知，3種網(wǎng)絡(luò)的輸入輸出節(jié)點(diǎn)數(shù)均為1。經(jīng)過試探法，小時(shí)、日、周和月預(yù)測(cè)對(duì)應(yīng)的d值分別取為24, 10, 7 和4。對(duì)于PNN和CPNN，利用3次樣條函數(shù)對(duì)網(wǎng)絡(luò)d個(gè)輸入離散采樣點(diǎn)進(jìn)行擬合并采用Walsh基展開。在CPNN-CSO算法中，貓群規(guī)模N=160，記憶池大小SMP=5，混合比例算子MR=0.05, mi, q的搜索空間限定為[1,8]之間的整數(shù)。3種網(wǎng)絡(luò)的最大迭代次數(shù)均設(shè)定為1000，樣本歸一化后的均方根誤差均限定為0.0001。經(jīng)過多次實(shí)驗(yàn)對(duì)比分析，3種模型算法在訓(xùn)練集、驗(yàn)證集和測(cè)試集上的收斂誤差對(duì)比如表1所示。

實(shí)驗(yàn)結(jié)果表明，無論是在模型逼近能力方面還是在網(wǎng)絡(luò)泛化性能上，整體來說，CPNN-CSO均優(yōu)于CPNN和PNN，其中PNN效果最差。對(duì)此結(jié)果可作如下分析：首先，CPNN-CSO和CPNN通過云模型將電力消耗定量數(shù)據(jù)轉(zhuǎn)換為多個(gè)子云的定性概念，并通過挖掘多個(gè)子云之間的內(nèi)在規(guī)律，確定輸入輸出變量之間的關(guān)聯(lián)規(guī)則，從而很好地體現(xiàn)了客觀事物的隨機(jī)性、模糊性及相關(guān)性，因此預(yù)測(cè)能力比PNN有所提高。其次，與CPNN相比，CPNNCSO采用了貓群優(yōu)化算法替代了傳統(tǒng)的基展開結(jié)合梯度下降算法，并且同時(shí)從結(jié)構(gòu)和參數(shù)兩方面對(duì)網(wǎng)絡(luò)進(jìn)行辨識(shí)，充分發(fā)揮了貓群算法的局部搜索能力及全局優(yōu)化能力，避免了梯度下降算法早熟帶來的算法不穩(wěn)定，因此效果較好。在CPNN-CSO算法中，最終確定網(wǎng)絡(luò)輸入輸出軟劃分為子云的數(shù)量mi=5,q=3。以周數(shù)據(jù)預(yù)測(cè)為例，3種模型算法的預(yù)測(cè)結(jié)果對(duì)比如圖3所示。

表1 3種方法在訓(xùn)練集、驗(yàn)證集和測(cè)試集上的收斂誤差對(duì)比

文中利用3種模型算法對(duì)周數(shù)據(jù)進(jìn)行一次訓(xùn)練和預(yù)測(cè)的平均耗時(shí)進(jìn)行了實(shí)驗(yàn)分析。其中，PNN和CPNN所耗時(shí)間相差不大，分別為4.17 s和4.42 s。因?yàn)閮煞N模型均為前饋模型，采用相同學(xué)習(xí)算法，只是待調(diào)參數(shù)個(gè)數(shù)有些差異而已。而CPNN-CSO耗時(shí)較多，為791 s。這是因?yàn)镃SO算法中每次迭代都要對(duì)所有貓進(jìn)行適應(yīng)度評(píng)價(jià)，但多只貓之間的相互交流協(xié)作會(huì)更快更有效地找到最優(yōu)點(diǎn)，從而減少算法的迭代次數(shù)，所以整體耗時(shí)仍是可以接受的。

圖3 3種方法的預(yù)測(cè)結(jié)果對(duì)比

5 結(jié)束語(yǔ)

本文提出了一種基于云模型理論的云過程神經(jīng)網(wǎng)絡(luò)模型和算法，將云推理系統(tǒng)與過程神經(jīng)網(wǎng)絡(luò)有機(jī)結(jié)合起來，一方面實(shí)現(xiàn)了云推理系統(tǒng)的自學(xué)習(xí)和自適應(yīng)特性，同時(shí)也增強(qiáng)了過程神經(jīng)網(wǎng)絡(luò)對(duì)自然界中持續(xù)性、隨機(jī)性和模糊性過程式信息的動(dòng)態(tài)處理能力，從而有效地彌補(bǔ)二者存在的不足。通過采用貓群優(yōu)化算法提高了云過程神經(jīng)網(wǎng)絡(luò)的逼近和泛化能力，為時(shí)變信號(hào)的模式識(shí)別、過程預(yù)測(cè)等問題提供了一種新的解決方法。關(guān)于云過程神經(jīng)網(wǎng)絡(luò)的連續(xù)性、可逼近性、收斂性以及泛化能力等理論性質(zhì)值得進(jìn)一步進(jìn)行深入研究。

[1] He Xin-gui and Liang Jiu-zhen. Process neural networks [C]. The 16th World Computer Congress 2000, Proceedings of the Conference on Intelligent Information Processing, Beijing, 2000: 143-146.

[2] 許少華, 何新貴. 基于函數(shù)正交基展開的過程神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[J]. 計(jì)算機(jī)學(xué)報(bào), 2004, 27(5): 645-650. Xu Shao-hua and He Xin-gui. Learning algorithms of process neural networks based on orthogonal function basis expansion[J]. Chinese Journal of Computers, 2004, 27(5): 645-650.

[3] 肖紅, 許少華, 李盼池. 基于數(shù)值積分的多聚合過程神經(jīng)網(wǎng)絡(luò)算法[J]. 信息與控制, 2013, 42(5): 608-612. Xiao Hong, Xu Shao-hua, and Li Pan-chi. Multi- aggregation process neural networks algorithm based on numerical integration[J]. Information and Control, 2013, 42(5): 608-612.

[4] 許少華, 何新貴. 一種基于混沌遺傳與粒子群混合優(yōu)化的過程神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法[J]. 控制與決策, 2013, 28(9): 1393-1398. Xu Shao-hua and He Xin-gui. A training algorithm of process neural networks based on CGA combined with PSO[J]. Control and Decision, 2013, 28(9): 1393-1398.

[5] 何新貴, 梁久禎. 過程神經(jīng)元網(wǎng)絡(luò)的若干理論問題[J]. 中國(guó)工程科學(xué), 2000, 2(12): 40-44. He Xin-gui and Liang Jiu-zhen. Some theoretical issues on procedure neural networks[J]. Engineering Science, 2000, 2(12): 40-44.

[6] 許少華, 何新貴. 關(guān)于連續(xù)過程神經(jīng)元網(wǎng)絡(luò)的一些理論問 題[J]. 電子學(xué)報(bào), 2006, 34(10): 1838-1842. Xu Shao-hua and He Xin-gui. Some theoretical issues on continuous process neural networks[J]. Acta Electronica Sinica, 2006, 34(10): 1838-1842.

[7] Zhong Shi-sheng, Li Yang, and Ding Gang. Continuous wavelet process neural network and its application[J]. NeuralNetwork World, 2007, 17(5): 483-495.

[8] Ding Gang and Lin Lin. Elman-style process neural network with application to aircraft engine health condition monitoring[J]. Lecture Notes in Computer Science, 2011, 6675(1): 484-494.

[9] 李盼池, 王海英, 戴慶, 等. 量子過程神經(jīng)網(wǎng)絡(luò)模型算法及應(yīng)用[J]. 物理學(xué)報(bào), 2012, 61(16): 160303. Li Pan-chi, Wang Hai-ying, Dai Qing, et al.. Quantum process neural networks model algorithm and applications[J]. Acta Physica Sinica, 2012, 61(16): 160303.

[10] Wang Bing, Xu Shao-hua, Meng Yao-hua, et al.. A process neural network based on improved particle swarm optimization and its application in PID control[J]. International Journal on Advances in Information Sciences and Service Sciences, 2013, 5(7): 701-709.

[11] 肖紅, 李盼池. 兩種離散過程神經(jīng)網(wǎng)絡(luò)算法及在圖像恢復(fù)中的應(yīng)用[J]. 信號(hào)處理, 2013, 29(8): 1182-1189. Xiao Hong and Li Pan-chi. Two discrete process neural network algorithm with application to image restoration[J]. Signal Processing, 2013, 29(8): 1182-1189.

[12] 李德毅, 孟海軍, 史雪梅. 隸屬云和隸屬云發(fā)生器[J]. 計(jì)算機(jī)研究與發(fā)展, 1995, 32(6): 16-18. Li De-yi, Meng Hai-jun, and Shi Xue-mei. Membership clouds and membership cloud generators [J]. Computer of Research & Development, 1995, 32(6): 16-18.

[13] 付斌, 李道國(guó), 王慕快. 云模型研究的回顧與展望[J]. 計(jì)算機(jī)應(yīng)用研究, 2011, 28(2): 420-426. Fu Bin, Li Dao-guo, and Wang Mu-kuai. Review and prospect on research of cloud model[J]. Application Research of Computers, 2011, 28(2): 420-426.

[14] Chu, S C, Tsai P W, and Pan J S. Cat swarm optimization[C]. Proceedings of the 9th Pacific Rim International Conference on Artificial Intelligence, LNAI, 4099, 2006: 854-858.

[15] Huttenlocher D P, Klanderman G A, and Rucklidge W J. Comparing images using the Hausdorff distance[J]. IEEE Transactions on Pattern Analysis and Intelligence, 1993, 15(9): 850-863.

王 兵： 女，1982年生，講師，博士生，研究方向?yàn)樯窠?jīng)網(wǎng)絡(luò)、模式識(shí)別等.

李盼池： 男，1969年生，教授，博士，研究方向?yàn)榱孔觾?yōu)化等.

楊冬黎： 女，1979年生，講師，研究方向?yàn)檫M(jìn)化計(jì)算等.

于曉紅： 女，1982年生，工程師，研究方向?yàn)閿?shù)據(jù)挖掘等.

Research on Cloud Process Neural Network Model and Algorithm

Wang Bing①Li Pan-chi①Yang Dong-li①Yu Xiao-hong②①(School of Computer & Information Technology, Northeast Petroleum University, Daqing 163318, China)
②(Exploration and Development Research Institute, Daqing Oilfield Company, Daqing 163712, China)

For modeling and solving problems of complex nonlinear systems whose input/output have uncertainty and are associated with time or process, a cloud process neural network model is built in the paper. It has uncertainty information processing ability by combining process neural network’s processing ability for time-varying signal with cloud model transformation ability between qualitative and quantitative concepts. In addition, the cat swarm optimization algorithm is used to optimize the network structure and parameters simultaneously, and it helps to improve network approximation and generalization performance. The effective extension of neural networks in time domain and uncertain information processing field is realized. Experimental results verify the effectiveness and feasibility of the model and algorithm.

Cloud model; Cloud process neural network; Cat swarm optimization; Time series prediction

TP183

A

1009-5896(2015)01-0110-06

10.11999/JEIT140329

2014-03-13收到，2014-06-03改回

國(guó)家自然科學(xué)基金(61170132)和中國(guó)博士后科學(xué)基金(201003405)資助課題

*通信作者：王兵 wangbing0812@sina.com