堆疊隱空間模糊C回歸算法及其在發(fā)酵數(shù)據(jù)多模型建模中的應(yīng)用

劉歡，王駿，鄧趙紅，王士同

(江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無錫 214122)

?

堆疊隱空間模糊C回歸算法及其在發(fā)酵數(shù)據(jù)多模型建模中的應(yīng)用

劉歡，王駿，鄧趙紅，王士同

(江南大學(xué) 數(shù)字媒體學(xué)院，江蘇 無錫 214122)

切換回歸算法FCR的性能容易受到噪聲點以及離群點的影響，同時該算法對于復(fù)雜數(shù)據(jù)的處理能力較差。對此，文中提出一種基于堆疊隱空間的模糊C回歸算法。該算法將基于ELM特征映射技術(shù)，利用主成分分析進行特征提取,再結(jié)合多層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)結(jié)構(gòu)對隱空間進行多次擴展和壓縮。實驗結(jié)果表明,該算法具有更好的抗噪性能，對模糊指數(shù)的變化不敏感，同時在處理復(fù)雜數(shù)據(jù)以及在多模型建模中更加精確、高效、穩(wěn)定。

隱空間映射；極限學(xué)習(xí)機；主成分分析；模糊C回歸算法；多層神經(jīng)網(wǎng)絡(luò)；多模型建模

切換回歸模型在經(jīng)濟、數(shù)據(jù)挖掘等領(lǐng)域中有著廣泛的應(yīng)用。近年來，基于模糊聚類分析[1-4]的切換回歸技術(shù)得到了廣泛的研究。如文獻[5]在模糊C均值聚類算法(fuzzy C clustering algorithm, FCM)的基礎(chǔ)上提出了模糊C均值回歸算法(fuzzy C regression algorithm, FCR)算法，從而實現(xiàn)了對多個模型的切換回歸；在此基礎(chǔ)上，文獻[6]結(jié)合牛頓萬有引力定律提出了關(guān)于切換回歸的集成模糊聚類算法(gravity-based fuzzy clustering algorithm, GFC)算法，文中實驗表明該算法與FCR相比具有更快的收斂速度；文獻[7]通過向FCR中引入動態(tài)的樣本權(quán)值，提出了離群模糊切換回歸模型，從而使模型具有更強的魯棒性，并且能通過權(quán)值發(fā)現(xiàn)數(shù)據(jù)集中的離群點。雖然這些方法在一定條件下可以較好地解決切換回歸模型中的參數(shù)學(xué)習(xí)問題，但是面向現(xiàn)實生活中的復(fù)雜數(shù)據(jù)，仍然有諸多局限性，其學(xué)習(xí)能力有待進一步提高。

近年來，以極速學(xué)習(xí)機(extreme learning machine，ELM)為代表的單隱層前饋神經(jīng)網(wǎng)絡(luò)快速學(xué)習(xí)理論得到了研究人員的深入研究[8-11]。研究表明，將ELM特征映射技術(shù)代替已有核方法中的核映射，可以有效提高學(xué)習(xí)器的學(xué)習(xí)能力，目前該技術(shù)已被廣泛用于分類、回歸、聚類等學(xué)習(xí)任務(wù)中。結(jié)合已有的研究工作，本文重點研究基于ELM隱空間學(xué)習(xí)理論的切換回歸模型。首先研究基于主成分分析(principal component analysis, PCA)[12]的壓縮隱空間構(gòu)建新方法。在此基礎(chǔ)上，結(jié)合多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法，將單隱層結(jié)構(gòu)改造為多隱層結(jié)構(gòu)[13]，提出堆疊隱空間模糊C回歸算法(cascaded hidden space FCR, CHS-FCR)。該方法通過使用層次化的學(xué)習(xí)結(jié)構(gòu)對數(shù)據(jù)對象在不同層次上的表達形式進行抽象，并通過重組低層概念來重新定義高層概念，從而有效提高了學(xué)習(xí)系統(tǒng)處理復(fù)雜問題的能力。經(jīng)實驗驗證，該算法能有效地彌補經(jīng)典FCR的若干不足，在保證學(xué)習(xí)精度和學(xué)習(xí)效率的前提下，該方法對噪聲數(shù)據(jù)和離群點有很好的魯棒性。

1 相關(guān)工作

1.1 ELM隱空間

在ELM中，隱節(jié)點所形成的特征空間構(gòu)成隱空間[14]。其映射過程如下：1)隨機生成權(quán)重矩陣W∈RL×d和偏移量矩陣B=[b1b2…bL]T，其中L是ELM隱節(jié)點總數(shù)，d是原始數(shù)據(jù)的維數(shù)。2)將原始數(shù)據(jù)映射到L維的隱空間中。每一個輸入數(shù)據(jù)都是一個d維的向量，x=[x1x2…xd]T。該特征映射可以表示為：

式中G(x)是激勵函數(shù)，其映射過程如圖1所示。

圖1 隱空間特征映射的過程

常用的激勵函數(shù)有以下幾種：

1.2 模糊C回歸算法及其問題分析

1993年Richard J.Hathaway[5]和James C.Bezdek[15]提出了FCR算法。該算法能在對觀察數(shù)據(jù)進行模糊劃分的同時估計出劃分?jǐn)?shù)據(jù)滿足的回歸模型參數(shù)。設(shè)數(shù)據(jù)集D={(x1,y1),(x2,y2),…,(xn,yn)},其中n是數(shù)據(jù)點個數(shù),xj=(xj1,xj2,…,xjd)∈Rd,yj∈R表示觀察數(shù)據(jù)模型,d是數(shù)據(jù)集的特征數(shù)。FCR算法構(gòu)建的回歸模型為

yj,i=βi0+βi1xj1+…+βidxjd

式中：c是模型數(shù)目，j是樣本點個數(shù)，βi為模型參數(shù)。FCR算法的目標(biāo)函數(shù)為

FCR的目標(biāo)函數(shù)是一個基于模糊劃分的多模型最小二乘擬合準(zhǔn)則問題,任何現(xiàn)有的能解決加權(quán)最小二乘問題的方法都可以用來估計參數(shù)。模型參數(shù)可以通過式(8)求解：

1)給定模型參數(shù)c(1≤c≤n)，模糊指數(shù)m>1,迭代終止條件ε>0,并初始化劃分矩陣U(0),迭代步驟l=0；

3)根據(jù)(yj-yj,i)2計算擬合誤差,代入式(7)求隸屬度矩陣U；

研究表明，F(xiàn)CR可以較好地解決切換回歸問題，但是也存在以下問題：對噪聲和離群點敏感，當(dāng)數(shù)據(jù)集中含有離群點或大量噪聲數(shù)據(jù)時,算法性能就會受到影響；FCR算法在數(shù)據(jù)原空間中進行學(xué)習(xí)，針對現(xiàn)實生活中的復(fù)雜數(shù)據(jù)，F(xiàn)CR算法的性能很難得到有效地提升。

本文將ELM隱空間學(xué)習(xí)理論與特征降維技術(shù)相結(jié)合，基于多隱層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法，將傳統(tǒng)的基于淺層結(jié)構(gòu)的學(xué)習(xí)方法改造為多隱層學(xué)習(xí)結(jié)構(gòu)，從而提高對復(fù)雜數(shù)據(jù)的無監(jiān)督學(xué)習(xí)能力。通過提出堆疊隱空間學(xué)習(xí)結(jié)構(gòu)，從而有效精簡冗余信息和過濾噪聲數(shù)據(jù)，同時補充必要的信息，使得切換回歸算法具有更強的魯棒性，并將其應(yīng)用于多模型建模以取得更好的效果。

2 堆疊隱空間模糊C回歸算法

2.1 基于主成分分析的壓縮ELM隱空間

在ELM學(xué)習(xí)技術(shù)中，可以通過隨機賦值的方法來快速生成ELM隱空間，隨著隱節(jié)點數(shù)目的增加，學(xué)習(xí)精度也不斷提高[16-17]。但是隨之而來的一個重要問題是計算效率會逐步降低。此外，由于隱節(jié)點生成過程中相關(guān)參數(shù)是隨機生成的，因此不可避免地會引入大量噪聲。針對這一問題，本文中將ELM隱空間技術(shù)與主成分分析相結(jié)合，提出基于主成分分析的壓縮隱空間構(gòu)建方法，其過程如下：

1)根據(jù)圖1所示過程將原始數(shù)據(jù)映射到高維空間RL中，得到矩陣H(1)∈Rn×L，n為樣本點個數(shù)；

3)計算矩陣A的協(xié)方差矩陣C，并計算矩陣C的特征值λi和特征向量Vi，i=1,2,…,L；

其結(jié)構(gòu)可映射為如圖2所示的前饋神經(jīng)網(wǎng)絡(luò)模型。輸入數(shù)據(jù)經(jīng)過輸入層后，通過ELM特征映射被映射到高維ELM隱空間中。在此過程中，生成ELM隱空間時的隨機賦值操作會引入噪聲，后續(xù)的PCA對高維隱空間中的數(shù)據(jù)進行降維，從而有效地過濾掉部分噪聲，這有利于提高學(xué)習(xí)性能。

圖2 基于PCA的壓縮ELM隱空間

2.2 堆疊隱空間模糊C回歸算法CHS-FCR

在隱空間構(gòu)建過程中，為了使學(xué)習(xí)器得到更好的表達能力和穩(wěn)定的學(xué)習(xí)效果，通常會使用較多的隱節(jié)點數(shù)目。但是，這增加了額外的計算負擔(dān)。研究表明，在保證學(xué)習(xí)器泛化能力的前提下，將單隱層結(jié)構(gòu)改造為多隱層結(jié)構(gòu)是降低隱節(jié)點數(shù)目的有效方法。為此，本文對上述基于PCA的壓縮隱空間映射過程進行改造，通過把ELM隱層中的隱節(jié)點分散到多個隱含層中，并與PCA層的隱結(jié)點相結(jié)合，形成新的混合隱含層。將若干個混合隱含層進行疊加，得到多隱層學(xué)習(xí)結(jié)構(gòu)，該過程如圖3所示。

圖3 堆疊隱空間學(xué)習(xí)結(jié)構(gòu)

堆疊隱空間模糊C回歸算法CHS-FCR的描述如下：

設(shè)隱節(jié)點總數(shù)為L，數(shù)據(jù)集D的維數(shù)為d，PCA壓縮后的維數(shù)為p，隱空間壓縮的次數(shù)為f，每層隱空間的ELM隱節(jié)點數(shù)T=L/f，n為樣本點個數(shù)。

1)① 隨機生成值在[0,1]之間的權(quán)重矩陣W∈RT×d以及值在[0.5,1]之間的偏移量矩陣B∈RT×1。

②根據(jù)式(1)以及圖1將數(shù)據(jù)集D進行特征映射，得到高維數(shù)據(jù)矩陣H(1)∈Rn×T。

2)利用基于PCA的壓縮隱空間方法對H(1)進行壓縮，得到維數(shù)為p的數(shù)據(jù)矩陣H(2)；

3)forj=1:f-1

①重復(fù)步驟1中1)、2)；

②將H(2)與H(1)合并存入矩陣H(3)中，H(3)=[H(2)H(1)]。

③利用PCA對H(3)進行特征提取，得到矩陣記為H(2)；

循環(huán)結(jié)束；

4)構(gòu)造全一矩陣1∈Rn×1，將最終獲取的數(shù)據(jù)H(2)=[1,H(2)]利用FCR框架進行切換回歸。

CHS-FCR算法將基于PCA的壓縮ELM隱空間單隱層學(xué)習(xí)結(jié)構(gòu)改造為多隱層學(xué)習(xí)結(jié)構(gòu)。假設(shè)從第二層開始，每個隱含層中隨機生成的ELM隱節(jié)點數(shù)都是T，由前一層PCA壓縮后得到的隱節(jié)點數(shù)為T′,易得隱節(jié)點總數(shù)為

其中隨機生成的ELM隱節(jié)點總數(shù)為

經(jīng)過多次隱空間壓縮，噪聲信息被過濾，同時會發(fā)生相應(yīng)的信息損失；但是每個混合層中新生成的ELM隱節(jié)點信息彌補了這些丟失的信息，因此本文的堆疊隱空間結(jié)構(gòu)能得到更好的學(xué)習(xí)效果。

3 實驗研究與分析

3.1 實驗平臺以及算法性能的評價指標(biāo)

本文在表1中實驗平臺上進行所有實驗并且采用式(13)和(14)所示的指標(biāo)來評價各算法的性能。

(13)

表1 實驗平臺

3.2 魯棒性實驗

本實驗中，基于文獻[5]的模擬回歸數(shù)據(jù)集,通過分別加入噪聲點和離群點來比較FCR以及CHS-FCR算法的魯棒性。實驗中，F(xiàn)CR算法和CHS-FCR算法的模型個數(shù)c=2，模糊指數(shù)m=2，CHS-FCR隱空間壓縮次數(shù)f=5，PCA特征提取后的維數(shù)p=3。

3.2.1 離群點實驗

在切換回歸分析中，離群點主要是指不符合任一模型的數(shù)據(jù)，它主要是在收集數(shù)據(jù)的過程中出現(xiàn)誤操作或異常情況而引入的。本實驗中基于式(15)和(16)生成2個回歸數(shù)據(jù)集，并分別加入離群點(16,8)。實驗數(shù)據(jù)集分布如圖4所示。

圖5和圖6給出了加入離群點之前模糊C均值回歸算法(fuzzy C regression algorithm, FCR)和堆疊隱空間模糊C回歸算法(cascaded hidden space FCR, CHS-FCR)的回歸結(jié)果，圖7和圖8給出了加入離群點之后兩算法的回歸結(jié)果。從中可以看出，加入離群點之前，F(xiàn)CR和CHS-FCR這2個算法均可以得到理想的結(jié)果。加入離群點之后，F(xiàn)CR的擬合效果明顯受到離群點的影響；但是CHS-FCR仍然能得到令人滿意的擬合結(jié)果。可見，壓縮隱空間方法的引入使本文所提的CHS-FCR算法對離群點具有更好的魯棒性。

(a)數(shù)據(jù)集A

(b)數(shù)據(jù)集B

(a)數(shù)據(jù)集A

(b)數(shù)據(jù)集B

(a)數(shù)據(jù)集A

(b)數(shù)據(jù)集B

(a)數(shù)據(jù)集A

(b)數(shù)據(jù)集B

(a)數(shù)據(jù)集A

(b)數(shù)據(jù)集B

3.2.2 抗噪聲實驗

為了進一步驗證本文算法的抗噪性能并將其與FCR進行比較，本實驗采用式(17)生成帶隨機噪聲的數(shù)據(jù)集。

式中δ∈[-0.5,0.5]為服從均勻分布的隨機值。分別運行FCR和CHS-FCR，所得結(jié)果如圖9所示。從圖9的模擬實驗結(jié)果中可以看出,在模擬數(shù)據(jù)集C中，F(xiàn)CR算法易受噪聲點的影響,無法得到準(zhǔn)確的實驗結(jié)果。相反，CHS-FCR算法在該數(shù)據(jù)集中能夠取得較好的擬合效果。

(a)加入噪聲的數(shù)據(jù)集C

(b)FCR測試結(jié)果

(c)CHS-FCR測試結(jié)果

綜合以上2個實驗不難發(fā)現(xiàn)，傳統(tǒng)的FCR算法性能易受離群點和噪聲數(shù)據(jù)的干擾，而CHS-FCR算法利用多次隱空間映射和壓縮，使得隱空間中的冗余信息被精簡，噪聲被有效過濾，同時每一層中進行了適度的信息彌補，這使得該算法在不同回歸模型中均能很好地完成學(xué)習(xí)過程。

3.3 發(fā)酵數(shù)據(jù)集多模型建模

式中：j=1,2,…，c；dit=‖vi-h(xt)‖2。

本文使用參考文獻[18]中所用的發(fā)酵數(shù)據(jù)集并且采用10折交叉驗證的方法進行實驗。將CHS-FCR (f=5)算法和FCR、HS-FCR、CHS-FCR (f=1)算法進行比較。實驗中，對于不同的數(shù)據(jù)集，采用不同的模糊指數(shù)m和模型個數(shù)c，并且讓各算法都在同樣的參數(shù)條件下運行。表2給出各數(shù)據(jù)集的詳細信息及該數(shù)據(jù)集在實驗中的相關(guān)參數(shù)設(shè)置，表3給出各算法說明及相關(guān)參數(shù)設(shè)置。

表2 實驗數(shù)據(jù)集

3.3.1 算法的擬合性能對比實驗

本實驗從擬合精度出發(fā)來研究CHS-FCR(f=5)、CHS-FCR (f=1)與FCR以及HS-FCR在表2所示中的發(fā)酵數(shù)據(jù)集上的多模型建模效果。實驗中，分別運行各算法10次，得到JRRSE、JSCC這2個指標(biāo)的均值和標(biāo)準(zhǔn)差如表4所示。

表3 各算法的說明以及相關(guān)參數(shù)設(shè)置

Table 3 The description of each algorithms and associated parameters

算法算法說明以及相關(guān)參數(shù)FCR最大迭代次數(shù)100次,收斂閾值10-5。HS-FCR通過ELM特征映射后進行執(zhí)行FCR算法,ELM隱節(jié)點總數(shù)1000,激勵函數(shù)Sigmoid,最大迭代次數(shù)100次,收斂閾值10-5。CHS-FCR(f=1)通過ELM特征映射后利用PCA進行1次隱空間壓縮后執(zhí)行FCR算法,ELM隱節(jié)點總數(shù)1000,PCA提取的特征數(shù)為5,最大迭代次數(shù)100次,收斂閾值10-5。CHS-FCR(f=5)通過ELM特征映射后利用PCA進行5次隱空間壓縮后執(zhí)行FCR算法,ELM隱節(jié)點總數(shù)1000,PCA提取的特征數(shù)為5,最大迭代次數(shù)100次,收斂閾值10-5。

從表4的實驗結(jié)果可以發(fā)現(xiàn)，在發(fā)酵數(shù)據(jù)集中 CHS-FCR(f=5)與FCR和HS-FCR這2個算法相比擁有更好的學(xué)習(xí)效果。將CHS-FCR(f=5)與CHS-FCR(f=1)進行比較，不難發(fā)現(xiàn)，將ELM隱節(jié)點分散到多個混合隱含層中，經(jīng)過多次隱空間壓縮，有助于進一步提高算法的學(xué)習(xí)精度和算法的穩(wěn)定性。

表4 各算法在不同數(shù)據(jù)集中的擬合精度對比

3.3.2 算法效率對比實驗

本實驗研究在相同ELM隱節(jié)點總數(shù)的前提下，淺層學(xué)習(xí)結(jié)構(gòu)和多層學(xué)習(xí)結(jié)構(gòu)對算法效率的影響。實驗中分別執(zhí)行CHS-FCR(f=5)與HS-FCR算法，并為2個算法設(shè)置相同的ELM隱節(jié)點總數(shù)目為500、1 000。分別使2個算法各運行10次，記錄JRRSE、JSCC以及算法運行時間這3個指標(biāo)的均值如表5所示。由表5中的HS-FCR的運行結(jié)果可以看出，通過ELM映射將原數(shù)據(jù)經(jīng)映射到高維ELM隱空間使得隱節(jié)點總數(shù)增加，后續(xù)學(xué)習(xí)過程的效率明顯降低。而本文所提出的CHS-FCR (f=5)中，雖然涉及了多次隱空間映射和壓縮，但是在隱空間壓縮過程中，冗余信息被有效精簡，這使得CHS-FCR(f=5)算法能夠在高效處理復(fù)雜數(shù)據(jù)的同時具有更好的擬合效果。由此可見，相同ELM隱節(jié)點總數(shù)的情況下，本文提出的具有多層學(xué)習(xí)結(jié)構(gòu)堆疊隱空間構(gòu)造技術(shù)可以使后續(xù)的回歸算法取得更好的學(xué)習(xí)效果。

表5 CHS-FCR(f=5)與HS-FCR算法的效率對比

3.3.3 參數(shù)敏感性實驗

在CHS-FCR(f=5)和FCR算法中，模糊指數(shù)m是一個重要指標(biāo)，它嚴(yán)重影響著算法的執(zhí)行效果。基于表2中的各數(shù)據(jù)集，本實驗將研究模糊指數(shù)m的變化對算法性能產(chǎn)生的影響。給出了JRRSE、JSCC指標(biāo)的變化情況，實驗中，m值在{2，2.2，2.4，2.6，2.8，3.0，3.2，3.4，3.6，3.8，4.0}上變化，算法的其他參數(shù)如表3所示，2個算法分別運行10次。記錄JRRSE和JSCC指標(biāo)的均值，實驗結(jié)果如圖10、11所示。

(a)FCR

(b)CHS-FCR(f=5)

從圖10、11結(jié)果中可以看出FCR算法的性能在4個數(shù)據(jù)集中隨著m的變化有著較大的波動。例如在圖11(a)中，當(dāng)m=3.2時FCR算法的JRRSE指標(biāo)會出現(xiàn)明顯的波動現(xiàn)象，而圖11(b)中的CHS-FCR(f=5)算法無論其m值怎樣變化，其JRRSE指標(biāo)基本呈現(xiàn)平穩(wěn)變化的趨勢。由此可見，雖然模糊指數(shù)m在較為寬廣的范圍內(nèi)變化，但是CHS-FCR(f=5)在各數(shù)據(jù)集上均可以取得令人滿意且較穩(wěn)定的結(jié)果。

(a)FCR

(b)CHS-FCR(f=5)

綜上所述，經(jīng)過堆疊隱空間的壓縮與重組，CHS-FCR(f=5)算法對模糊指數(shù)m的變化具有更好的魯棒性，這有利于用戶在實際應(yīng)用中更方便地選取模糊指數(shù)。

4 結(jié)束語

本文基于主成分分析和ELM映射技術(shù)將復(fù)雜數(shù)據(jù)映射到低維空間中，并結(jié)合多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法將單隱層結(jié)構(gòu)改造為多隱層結(jié)構(gòu)；在此基礎(chǔ)上提出堆疊隱空間模糊C回歸算法CHS-FCR。通過在模擬以及發(fā)酵數(shù)據(jù)集的實驗結(jié)果，均表明本文方法較其他相關(guān)算法有更好的魯棒性且能夠高效地處理復(fù)雜數(shù)據(jù)，可以有效地應(yīng)用于發(fā)酵數(shù)據(jù)集多模型建模工作中。當(dāng)前，隨著回歸模型算法研究的不斷深入，人們已經(jīng)基于不同理論提出了更先進的回歸技術(shù)。如何將本文所提的堆疊隱空間技術(shù)應(yīng)用于這些回歸算法中，這將是今后研究的重點。

[1]王駿, 王士同, 鄧趙紅. 聚類分析研究中的若干問題[J]. 控制與決策, 2012, 27(3): 321-328. WANG Jun, WANG Shitong, DENG Zhaohong. Survey on challenges in clustering analysis research[J]. Control and decision, 2012, 27(3): 321-328.

[2]蔣亦樟, 鄧趙紅, 王駿, 等. 熵加權(quán)多視角協(xié)同劃分模糊聚類算法[J]. 軟件學(xué)報, 2014, 25(10): 2293-2311. JIANG Yizhang, DENG Zhaohong, WANG Jun, et al. Collaborative partition multi-view fuzzy clustering algorithm using entropy weighting[J]. Journal of software, 2014, 25(10): 2293-2311.

[3]張敏, 于劍. 基于劃分的模糊聚類算法[J]. 軟件學(xué)報, 2004, 15(6): 858-868. ZHANG Min, YU Jian. Fuzzy partitional clustering algorithms[J]. Journal of software, 2004, 15(6): 858-868.

[4]秦蓓蓓. 基于聚類分析的魯棒自適應(yīng)切換回歸算法研究[D]. 上海: 上海交通大學(xué), 2012: 14-39. QIN Beibei. Research on the robust and adaptive switching C-regressions models based on cluster analysis[D]. Shanghai: Shanghai Jiao Tong University, 2012: 14-39.

[5]HATHAWAY R J, BEZDEK J C. Switching regression models and fuzzy clustering[J]. IEEE transactions on fuzzy systems, 1993, 1(3): 195-204.

[6]WANG Shitong, JIANG Haifeng, LU Hongjun. A new integrated clustering algorithm GFC and switching regressions[J]. International journal of pattern recognition and artificial intelligence, 2002, 16(4): 433-446.

[7]沈紅斌, 王士同, 吳小俊. 離群模糊切換回歸模型研究[J]. 華東船舶工業(yè)學(xué)院學(xué)報: 自然科學(xué)版, 2003, 17(3): 31-36. SHEN Hongbin, WANG Shitong, WU Xiaojun. Research on fuzzy switching regression models with outliers[J]. Journal of east China shipbuilding institute: natural science edition, 2003, 17(3): 31-36.

[8]WANG Shitong, CHUNG Fulai, WANG Jun, et al. A fast learning method for feedforward neural networks[J]. Neurocomputing, 2015, 149: 295-307.

[9]HUANG Guangbin, ZHU Qinyu, SIEW C K. Extreme learning machine: theory and applications[J]. Neurocomputing, 2006, 70(1/2/3): 489-501.

[10]HUANG Guangbin, ZHOU Hongming, DING Xiaojian, et al. Extreme learning machine for regression and multiclass classification[J]. IEEE transactions on systems, man, and cybernetics, part b (cybernetics), 2012, 42(2): 513-529.

[11]HUANG Guangbin, WANG Dianhui, LAN Yuan. Extreme learning machines: a survey[J]. International journal of machine learning and cybernetics, 2011, 2(2): 107-122.

[12]JOLLIFFE I T. Principal component analysis[J]. New York: Springer, 2002.

[13]ZHOU Hongming, HUANG Guangbin, LIN Zhiping, et al. Stacked extreme learning machines[J]. IEEE transactions on cybernetics, 2014, 45(9): 2013-2025.

[14]HE Qing, JIN Xin, DU Changying, et al. Clustering in extreme learning machine feature space[J]. Neurocomputing, 2014, 128: 88-95.

[15]BEZDEK J C. Pattern recognition with fuzzy objective function algorithms[M]. New York: Plenum Press, 1981: 203-239.

[16]HUANG Guangbin, CHEN Lei. Convex incremental extreme learning machine[J]. Neurocomputing, 2007, 70(16/17/18): 3056-3062.

[17]HUANG Guangbin, CHEN Lei. Enhanced random search based incremental extreme learning machine[J]. Neurocomputing, 2008, 71(16/17/18): 3460-3468.

[18]DENG Zhaohong, CHOI K S, CHUNG Fulai, et al. Enhanced soft subspace clustering integrating within-cluster and between-cluster information[J]. Pattern recognition, 2010, 43(3): 767-781. .

劉歡，男，1993年生，碩士研究生，主要研究方向為人工智能與模式識別、智能計算、數(shù)據(jù)挖掘。

王駿，男，1978年生，副教授,博士，CCF會員,主要研究方向為人工智能與模式識別、智能計算、數(shù)據(jù)挖掘。

鄧趙紅，男，1981年生，教授,博士，CCF高級會員,主要研究方向為人工智能與模式識別、智能計算、系統(tǒng)建模。

2017第二屆IEEE云計算與大數(shù)據(jù)分析國際會議

2017 the 2nd IEEE International Conference on Cloud Computing and Big Data Analysis

云計算和大數(shù)據(jù)是近年來非常熱的話題，也是近年來非常重要的技術(shù)。隨著大數(shù)據(jù)時代來臨，在以云計算為代表的技術(shù)創(chuàng)新大幕的襯托下，它將在眾多領(lǐng)域掀起變革的巨浪，大數(shù)據(jù)會逐步為人類創(chuàng)造更多的價值。與此同時，中央和國家今年也在力推“互聯(lián)網(wǎng)+”以及大數(shù)據(jù)戰(zhàn)略，以及在十三五規(guī)劃中強調(diào)的創(chuàng)新驅(qū)動，均離不開當(dāng)前信息技術(shù)中的云計算和大數(shù)據(jù)。

就目前國際國內(nèi)對云計算和大數(shù)據(jù)發(fā)展趨勢來看，加大對云計算和大數(shù)據(jù)的技術(shù)層面的理解，加深對云計算和大數(shù)據(jù)在推動社會發(fā)展的層面的理解，以及增強各個研究和應(yīng)用領(lǐng)域之間的交流顯得尤為重要。

為此，將于2017年4月在中國成都聯(lián)合展開為期3天的第二屆IEEE云計算與大數(shù)據(jù)分析國際會議。會議旨在促進云計算與大數(shù)據(jù)分析等領(lǐng)域的學(xué)術(shù)交流與合作，熱忱歡迎從事相關(guān)技術(shù)研究的專家、學(xué)者和專業(yè)技術(shù)人員踴躍投稿并參加大會。

會議網(wǎng)站：http://www.icccbd.com/

A cascaded hidden space fuzzy C-regression algorithm and its application in multi-model modeling for the fermentation process

LIU Huan, WANG Jun, DENG Zhaohong, WANG Shitong

(School of Digital Media， JiangNan University， WuXi 214122， China)

The switching regression algorithm FCR is sensitive to noise data and outliers. The algorithm also has low levels of capability for dealing with complex data. In order to handle these problems, an improved fuzzy C-regression algorithm is proposed based on cascaded hidden space. In our method, principal component analysis is combined with extreme machine learning feature mapping and multilayer feedforward neural networks. The experimental results show that our proposed method is more stable as regards noise data and outliers, and thus more suitable for handling complex data and multi-model modeling problems for the fermentation process.

hidden space feature mapping; extreme learning machine; principal component analysis; fuzzy C-regression algorithm; multilayer neural network; multi-model modeling.

2015-08-14.

日期：2016-08-24.

國家自然科學(xué)基金項目(61300151); 江蘇省自然科學(xué)基金項目(BK20130155，BK20130160).

劉歡.E-mail:771627297@qq.com.

TP181

A

1673-4785(2016)05-0670-10

10.11992/tis.201508015

http://www.cnki.net/kcms/detail/23.1538.TP.20160824.0928.002.html

劉歡，王駿，鄧趙紅，等.堆疊隱空間模糊C回歸算法及其在發(fā)酵數(shù)據(jù)多模型建模中的應(yīng)用[J]. 智能系統(tǒng)學(xué)報， 2016, 11(5): 670-679.

英文引用格式：LIU Huan, WANG Jun, DENG Zhaohong, et al. A cascaded hidden space fuzzy C-regression algorithm and its application in multi-model modeling for the fermentation process [J]. CAAI transactions on intelligent systems, 2016,11(5): 670-679.