顯隱信息協(xié)同的多視角極限學習模糊系統(tǒng)*

張 特，鄧趙紅，王士同

江南大學 數(shù)字媒體學院，江蘇 無錫 214122

1 引言

多視角學習是關(guān)注由多個不同特征集來表述數(shù)據(jù)對象的機器學習問題。該學習機制的出現(xiàn)很大程度上是由于越來越多的真實數(shù)據(jù)是由不同特征集，或者說不同“視角”，來描述的。例如在食品發(fā)酵過程中，可從風速和攪拌速度兩個角度來記錄食品的發(fā)酵指標參數(shù)[1]。又比如在基于內(nèi)容的網(wǎng)頁圖像搜索中，目標可以同時由來自圖像的可視化特征及描述圖畫的文本特征組成[2]。因此，多視角學習是很有前景的研究領(lǐng)域并且具有廣泛的實際應用[1,3-7]。

目前已有的多視角技術(shù)主要包含如下3類：

（1）多視角分類技術(shù)：Farquhar等人將核典型分量分析（kernel canonical component analysis，KCCA）與支持向量機（support vector machine，SVM）相結(jié)合提出了SVM-2K算法[7]；Chen和Sun提出了多視角Fisher判別分析[8]；Li等人基于直推式SVM，通過引入全局約束變量提出了多視角半監(jiān)督SVM算法[5]；Sun將流行正則化、多視角正則化與傳統(tǒng)形式的SVM算法進行整合，提出了多視角拉普拉斯SVM[6]。

（2）多視角聚類技術(shù)：Pedrycz在模糊C均值（fuzzy C-means，F(xiàn)CM）中采用了協(xié)同聚類的思想，通過對各視角間的模糊劃分進行控制，構(gòu)造了基于劃分協(xié)同控制的Co-FCM算法[9]；Cleuziou等人基于文獻[9]的協(xié)同思想，同樣以經(jīng)典FCM算法作為基礎(chǔ)模型，進一步提出了兩種不同的多視角協(xié)同劃分方法并依此構(gòu)造了全新的多視角模糊聚類算法Co-FKM[3]；Tzortzis等人在核聚類領(lǐng)域內(nèi)分別基于核k-means算法及譜聚類算法提出了兩種多視角聚類算法多視角核k均值（multi-view kernel k-means，MVKKM）和多視角譜聚類（multi-view spectral clustering，MVSpec）[10]；Yamanishi等人從概率的角度基于期望最大化（expectation maximization，EM）提出了可用于解決多視角問題的協(xié)同聚類算法Co-EM算法[11]；Chaudhuri等人針對高維數(shù)據(jù)的特點，提出了將高維數(shù)據(jù)投影到低維空間，然后利用多視角聚類技術(shù)對低維數(shù)據(jù)進行分析得到一個全局劃分結(jié)果[12]。

（3）多視角回歸技術(shù)：Kakade等人提出的基于典型相關(guān)性分析的多視角回歸[13]。

近年來，模糊集理論和模糊系統(tǒng)作為智能計算領(lǐng)域重要的研究分支，由于其獨特的可解釋性以及強大的學習能力，在多視角學習領(lǐng)域有一些成功的應用。在多視角模糊聚類方面，Jiang等人[14]通過引入懲罰因子，基于經(jīng)典FCM算法，提出了多視角加權(quán)的協(xié)同模糊聚類算法；Wang等人[15]在經(jīng)典FCM算法的基礎(chǔ)上，引入極小極大優(yōu)化，提出了多視角MinimaxFCM算法。在多視角模糊分類方面，Jiang等人[16]基于經(jīng)典TSK型模糊系統(tǒng)（Takagi-Sugeno-Kang fuzzy system，TSK-FS），將最大間距化策略引入其目標函數(shù)，采用協(xié)同學習的方式整合來自不同視角的特征，提出了具有視角協(xié)同學習能力的兩視角TSK型模糊系統(tǒng)，在不同應用上得到了較好的表現(xiàn)。特別地，針對癲癇EEG信號識別，Jiang等人提出了一種多視角模糊系統(tǒng)構(gòu)建方法，取得了較好的癲癇檢測效果[17]。

較之于其他多視角智能分類方法，目前已有的基于模糊系統(tǒng)的多視角分類方法在解釋性和不確定性建模能力方面均有一定的優(yōu)勢。但是，在多視角信息的協(xié)作和利用方面，目前的方法還有待進一步加強。例如，已有的方法主要關(guān)注的是多個顯性視角的信息，而對于多個高度相關(guān)的視角間的隱藏的共性信息還未能充分挖掘和利用。此類隱性信息對多視角學習是非常重要的。例如，各顯性視角之間通常隱藏了一個共享的隱空間，該隱空間內(nèi)的共享數(shù)據(jù)可以通過不同的映射方式生成不同顯性視角的數(shù)據(jù)。因此，如果能充分挖掘多個顯性視角對應的共享隱性視角，對多視角學習將具有很大的幫助。根據(jù)上述分析可知，已有的多視角模糊分類方法還未能充分利用各視角間共享的隱空間信息，從而導致受訓模型的魯棒性受到限制。

針對上述挑戰(zhàn)，本文提出了一種引入各視角間共享隱空間信息的顯隱視角協(xié)同的模糊系統(tǒng)建模方法來實現(xiàn)多視角分類任務。嶺回歸極限學習模糊系統(tǒng)（ridge regression extreme learning fuzzy system,RR-EL-FS）[18]是引入了極限學習機制的0階TSK型模糊系統(tǒng)，具有訓練速度快，在小樣本噪音數(shù)據(jù)集上魯棒性強的特點。本文以嶺回歸極限學習模糊系統(tǒng)作為具體研究對象來構(gòu)建多視角模糊系統(tǒng)分類方法。該方法首先通過矩陣分解技術(shù)來學習得到各顯性視角的共享隱空間，此隱空間即為得到的隱性視角；在此基礎(chǔ)上，進行顯性視角和隱性視角的協(xié)同學習來輔助模糊系統(tǒng)的構(gòu)建；最終，可得到顯隱視角協(xié)同決策的多視角模糊系統(tǒng)預測模型。該方法較之已有的多視角模糊系統(tǒng)預測方法和其他相關(guān)方法能有效地基于隱空間的共享信息實現(xiàn)顯隱空間的協(xié)作，從而能更好地提升所得預測模型的泛化性能。

本文主要貢獻可歸納為如下幾方面：

（1）基于非負矩陣分解技術(shù)，提出了一種獲取多視角數(shù)據(jù)集各顯性視角間共享的隱空間信息的方法。

（2）提出了顯隱信息協(xié)同學習的多視角模糊系統(tǒng)建?？蚣?，并基于該框架，以嶺回歸極限學習模糊系統(tǒng)為基模型，提出了顯隱信息協(xié)同的多視角嶺回歸極限學習模糊系統(tǒng)。

（3）對所提出的顯隱信息協(xié)同的多視角嶺回歸極限學習模糊系統(tǒng)進行了廣泛的實驗分析。

本文剩余部分組織如下：第2章對經(jīng)典Takagi-Sugeno-Kang型模糊系統(tǒng)、嶺回歸極限學習模糊系統(tǒng)以及多視角學習進行了簡述；第3章首先提出了基于各視角信息學習共享隱空間信息的策略和求解方法，而后詳細描述了顯隱信息協(xié)同的嶺回歸極限學習模糊系統(tǒng)建模方法；第4章進行了廣泛的實驗比較與分析；第5章對本文進行了總結(jié)和展望。

2 相關(guān)工作

2.1 經(jīng)典Takagi-Sugeno-Kang型模糊系統(tǒng)

經(jīng)典模糊系統(tǒng)模型可分為以下3類：TSK型模型[19]、Mamdani-Larsen（ML）型模型[20]及廣義模糊模型（generalized fuzzy model，GFM）[21]。其中，TSK型模型應用最為廣泛[19]。

TSK型模糊系統(tǒng)是基于規(guī)則和模糊集的智能系統(tǒng)，具有良好的解釋性和不確定建模能力。經(jīng)典TSK模糊系統(tǒng)的模糊規(guī)則如下：

當TSK型模糊系統(tǒng)采用乘合取算子、乘蘊含算子、加法組合算子和重心反模糊化操作時，其最終輸出可表示為：

2.2 嶺回歸極限學習模糊系統(tǒng)

RR-EL-FS是引入了極限學習機制的0階TSK模糊系統(tǒng)[18,22]。其通過隨機為二維二值規(guī)則結(jié)合矩陣C以及三維二值無關(guān)特征矩陣DC賦值的方式完成ifthen規(guī)則的生成，而后通過嶺回歸的方式對后件參數(shù)進行優(yōu)化。算法細節(jié)如下。

2.2.1 嶺回歸極限學習模糊系統(tǒng)的前件生成

RR-EL-FS采用高斯函數(shù)作為隸屬度函數(shù)，輸入向量的每一維特征都會被劃分進5個模糊子集這5個模糊子集對應的高斯隸屬度函數(shù)中心被固定為[0,0.25,0.50,0.75,1.00]，對應的自然語義標簽為非常低、低、中、高以及非常高[24]。

其中，k=1,2,…,5，i=1,2,…,d，ak∈{0,0.25,0.50,0.75,1.00}，μki為特征xi對第k個模糊子集的隸屬度。式（4）中高斯隸屬度函數(shù)對應的標準差σ通過隨機賦值所得。

與極限學習機所采用的隨機機制相同，RR-ELFS通過隨機為規(guī)則結(jié)合矩陣C（維度為d特征×5隸屬度函數(shù)×L規(guī)則，其中d為輸入樣本的特征數(shù)，5表示5個隸屬度函數(shù)，L為規(guī)則數(shù)）以及無關(guān)特征矩陣DC（維度為d特征×L規(guī)則）的方式來決定每條規(guī)則使用的特征及所用特征相應的隸屬度函數(shù)。例如，若規(guī)則結(jié)合矩陣中C(2,3,4)=1則表示特征2對應式（4）中在規(guī)則4中被激活。若D(2,4)=1則表示特征2在規(guī)則4中是無關(guān)（不被使用）的。給定兩個輸入樣本（x1和x2），每個輸入樣本包含5個特征，若第k條規(guī)則所對應的矩陣C及矩陣DC如下：給定輸入向量x=(x1x2…xd)，其每一維特征對應的模糊隸屬度可由下式計算：

則第k條規(guī)則可表示為：

2.2.2 嶺回歸極限學習模糊系統(tǒng)的后件生成

RR-EL-FS的最終輸出為：

其中，L表示規(guī)則數(shù)，pl0為第l條規(guī)則對應的后件參數(shù)，ul表示第l條規(guī)則的觸發(fā)強度，其計算如下：

令：

則式（7）可寫為：

RR-EL-FS采用嶺回歸的方式對后件參數(shù)pg進行求解。給定N個訓練樣本(xn,yn)∈Rd×R，將所有訓練樣本對應的觸發(fā)強度結(jié)合成矩陣，即：

則求解后件參數(shù)的目標公式可表示如下：

式（15）中，Id為d×d的單位矩陣。

2.3 多視角學習

2.3.1 傳統(tǒng)多視角學習框架

多視角學習技術(shù)旨在通過對同一對象的不同特征集合（即各視角）所構(gòu)造的數(shù)據(jù)樣本進行分析，并利用各視角間的協(xié)同找出視角間的相關(guān)性，進而得到一個最合理的全局決策結(jié)果。由于多視角技術(shù)全面地考慮了被研究對象在各個視角下所存在的特征信息，因而在求同存異的指導思想下所得到的決策結(jié)果，要比在僅基于單一視角特征空間所得到的決策結(jié)果更為全面可靠。一個經(jīng)典的多視角學習框架的原理如圖1所示。

2.3.2 基于單視角模糊系統(tǒng)建模的多視角建模

傳統(tǒng)的模糊系統(tǒng)建模技術(shù)均是針對單視角場景設計。當面對多視角建模場景時，通常采用的策略是針對不同的視角僅利用單個視角下的樣本構(gòu)建與之對應的單視角模糊系統(tǒng)，然后對各系統(tǒng)決策結(jié)果進行簡單集成，例如求取各視角輸出的均值作為最終的數(shù)據(jù)結(jié)果。相關(guān)流程如圖2所示。

上述策略為單視角建模方法在多視角場景下的應用提供了一種可行的方案。由于其針對每一視角獨立建模的方式在一定程度上破壞了多視角數(shù)據(jù)集之間的關(guān)聯(lián)關(guān)系，這通常會造成不同視角所獲得之模糊系統(tǒng)泛化能力存在良莠不齊的現(xiàn)象。目前，針對這一問題，已有學者提出了相關(guān)的改進算法。例如，Jiang等人將最大間隔化的思想與協(xié)同學習相結(jié)合，提出了一種2視角模糊系統(tǒng)的建模方法，該建模方法相對傳統(tǒng)單視角模糊系統(tǒng)在面對2視角數(shù)據(jù)時具有較明顯的優(yōu)勢[16]。此外，在文獻[17]中，提出了一種可以處理多視角數(shù)據(jù)的癲癇EEG識別模糊系統(tǒng)分類方法。

Fig.1 Classical multi-view learning framework圖1 一種經(jīng)典的多視角學習框架圖

Fig.2 Framework of multi-view modeling using single-view fuzzy system圖2 基于單視角模糊系統(tǒng)的多視角建模框架

雖然已有的多視角模糊系統(tǒng)建模方法在分類等方面體現(xiàn)了較之于單視角模糊系統(tǒng)方法的優(yōu)越性，但多視角學習方面還存在許多不足。其中一個重要的挑戰(zhàn)就是多視角數(shù)據(jù)的共性隱信息未能充分挖掘，進而未能基于共性隱信息和各顯視角信息進行全面的學習。因而探討顯隱信息協(xié)同的多視角模糊系統(tǒng)建模方法很有必要。

3 顯隱信息協(xié)同的多視角嶺回歸極限學習模糊系統(tǒng)建模

由于嶺回歸極限學習模糊系統(tǒng)（RR-EL-FS）具有訓練速度快，對噪音數(shù)據(jù)集魯棒性較強的特點，本文以嶺回歸極限學習模糊系統(tǒng)為基礎(chǔ)模型，提出具有多視角學習能力的嶺回歸極限學習模糊系統(tǒng)。

3.1 顯隱信息協(xié)同的多視角嶺回歸極限學習模糊系統(tǒng)建?？蚣?/h3>

為了充分利用各視角間的共享隱空間信息，同時使得單視角嶺回歸極限學習模糊系統(tǒng)建模方法具備多視角學習的能力，本文探討了顯隱信息協(xié)同的多視角嶺回歸極限學習模糊系統(tǒng)建模方法（ridge regression extreme learning fuzzy system with cooperation between visible and hidden views，RR-EL-FS-CVH）。RR-EL-FS-CVH的總體框架如圖3所示。

從圖3可知，該建模方法較之傳統(tǒng)單視角和已有的多視角模糊建模方法而言，具有如下特點：（1）充分利用了各個視角間共享的隱空間信息；（2）不再將各視角下的數(shù)據(jù)樣本孤立開來進行獨立的模糊系統(tǒng)構(gòu)建，而是通過多視角協(xié)同機制來訓練不同視角下的模糊系統(tǒng)；（3）不僅各顯性視角可以協(xié)作，顯性視角和隱性視角也進行了協(xié)作，因而通過多個視角的有效協(xié)作，最終所獲得的各視角的模糊系統(tǒng)泛化能力得到提升。

3.2 共享隱空間的生成

3.2.1 隱空間特征提取機制

對于多視角數(shù)據(jù)集，一個合理的假設是：所有視角間存在一個共享的隱空間，基于該隱空間數(shù)據(jù)可以通過不同的映射把共享空間特征映射到不同視角所在的空間生成不同視角的數(shù)據(jù)。因此，找到該隱空間對于獲得多視角數(shù)據(jù)的共性信息來輔助面臨的多視角建模任務是很有意義的。給定擁有K個視角，N個樣本的多視角數(shù)據(jù)集X，第K個視角對應的數(shù)據(jù)集合可表示為，第k個視角的數(shù)據(jù)可用矩陣形式表示為為了獲取各視角共享的隱空間，以及該隱空間到各個視角的映射矩陣，通常可構(gòu)造如下的優(yōu)化目標[25]：對于式（16），說明如下：

Fig.3 Framework of RR-EL-FS-CVH圖3 顯隱信息協(xié)同的多視角嶺回歸極限學習模糊系統(tǒng)框架

（1）式中Wk∈Rr×dk表示將隱空間數(shù)據(jù)映射到視角k所在特征空間的映射矩陣（dk為視角k特征空間的維度；r為隱空間的特征維度，1≤r≤min{d1,d2,…,dk}）；數(shù)據(jù)集H=[h1,h2,…,hN]T∈ RN×r為各視角數(shù)據(jù)在共享隱空間對應的共享數(shù)據(jù)的矩陣表示；αk表示視角k的所占權(quán)重，且。

其中，||?||F為Frobenius范數(shù)；為使模型簡單且具有較高解釋性，常引入對Wk以及H的非負約束。

其中，Lk=Dk-Sk為拉普拉斯矩陣。

結(jié)合式（17）及式（18），對于式（16）可得如下最小化問題：

通過求解該問題，可以獲得各顯性視角在隱空間的共享數(shù)據(jù)H以及共享隱空間到各個顯性視角的映射矩陣Wk。

3.2.2 隱空間及映射矩陣的求解

式（19）對應的優(yōu)化問題本質(zhì)上是個非負矩陣分解（non-negative matrix factorization，NMF）問題，一種常用的求解方法是利用坐標下降方法進行迭代求解[26]。基于迭代優(yōu)化的思想，式（19）的迭代求解可分如下兩步：固定H求解映射矩陣Wk，而后固定Wk求解H。具體方式如下。

（1）計算映射矩陣Wk

當固定H=H(（t)t為當前迭代次數(shù)）時，式（19）中，僅將Wk作為變量的子優(yōu)化問題為：

該非負二次規(guī)劃問題形式與傳統(tǒng)NMF模型相同。因此，Wk可采用NMF的經(jīng)典方法求解。例如，基于文獻[26]的求解策略，可得如下的更新公式：

（2）計算隱空間H

可以得到H如下的更新公式[26]：

3.3 具備顯隱視角協(xié)同學習能力的目標函數(shù)構(gòu)建

給定如3.2.1節(jié)所述多視角數(shù)據(jù)集，為了充分利用各視角間共享隱空間特征，首先采用3.2節(jié)所示方法提取出各視角間共享的隱空間對應的共享數(shù)據(jù)集其矩陣形式為 H=[h1,h2,…,hN]T∈ RN×r。然后，將所提取出的隱空間特征作為一個全新的視角加入到原始多視角數(shù)據(jù)集中得到最終用于系統(tǒng)訓練的多視角數(shù)據(jù)集，此時新數(shù)據(jù)集共有k+1個視角，即k個顯性視角和1個隱性視角。在得到加入隱空間信息的數(shù)據(jù)集后，為充分利用不同視角的特有特征，以及利用各視角特征間內(nèi)在的關(guān)聯(lián)關(guān)系，本文采用協(xié)同學習的方式進行模糊系統(tǒng)的構(gòu)建。

若視角k的專屬嶺回歸極限學習模糊系統(tǒng)具有Lk條規(guī)則，隱空間視角的專屬嶺回歸極限學習模糊系統(tǒng)具有J條規(guī)則，參考2.1節(jié)及2.2節(jié)，則第k個顯性視角對應的模糊系統(tǒng)在其規(guī)則生成的高維空間對應的線性模型可表示如下：

第k+1視角，即隱性視角專有嶺回歸極限學習模糊系統(tǒng)對應的高維空間的線性模型為:

基于上述變換和表達，本文設計的具備多視角協(xié)同學習能力的嶺回歸極限學習模糊系統(tǒng)優(yōu)化目標函數(shù)式如下：

式（26）中，yi為第i個樣本的類標簽，為2.2節(jié)所述嶺回歸極限學習模糊系統(tǒng)通過視角k訓練所得專有模糊系統(tǒng)的后件參數(shù)，wk為其對應的權(quán)值。為協(xié)同項，（為了表示方便，這里）。為所有視角（包括隱空間視角）的權(quán)重對應的負香農(nóng)熵，為正則化項。

對于式（26）的優(yōu)化目標函數(shù)可進一步解釋如下：

（2）僅僅考慮各視角間樣本的數(shù)據(jù)對于整個多視角嶺回歸極限學習模糊系統(tǒng)的構(gòu)建是不夠的，因此，考慮到視角間的關(guān)聯(lián)關(guān)系，所提方法構(gòu)造了具備協(xié)同學習能力的協(xié)同項，即式（26）中的。上述協(xié)同項可使各視角（包括隱空間視角）間進行協(xié)同學習，最終達到各視角所對應的模糊系統(tǒng)之輸出趨于一致，從而避免因視角特征的差異而造成各視角模糊系統(tǒng)泛化性能的劇烈變化。

（3）許多已有的多視角方法在最終組合各視角結(jié)果進行決策時，如何決定各視角的重要性具有一定的主觀性，例如采用取均值的方式或人為給定權(quán)重。針對此，本文方法通過引入香農(nóng)熵來實現(xiàn)各視角權(quán)重的自適應調(diào)節(jié)和控制。令，可將權(quán)值視為概率分布，其對應的香農(nóng)熵即為，熵的極大化使得各概率分量盡可能均等，即引入了極大熵理論。此項的引入，可以避免對式（14）的第一、二項進行優(yōu)化時，某個視角的權(quán)重占絕對優(yōu)勢而造成其他視角的信息被完全忽視。由于式（14）為最小化目標函數(shù)，因此，極大化香農(nóng)熵在式中形式為最小化負熵，即最小化。

（4）式（26）中正則化參數(shù)λ1>0,λ2>0,λ3>0用于控制模型中各項的影響，其數(shù)值可通過交叉驗證等策略選取合適的值。

3.4 參數(shù)學習規(guī)則

采用迭代優(yōu)化方法，對式（26）中的專有模糊系統(tǒng)后件參數(shù)及對應權(quán)值可進行迭代學習，更新公式如下：

給定具有K個視角特征的測試樣本x，系統(tǒng)最終的輸出為:

4 實驗結(jié)果與分析

4.1 實驗設置

為對本文所提顯隱信息協(xié)同的嶺回歸極限學習模糊系統(tǒng)（RR-EL-FS-CVH）建模方法的性能進行驗證和評估，本節(jié)基于分類任務，首先將所提算法與單視角算法在人工構(gòu)造的以及真實的多視角數(shù)據(jù)集上進行了實驗研究；而后又將所提算法在相同數(shù)據(jù)集上與幾種多視角算法進行了對比。數(shù)據(jù)集詳細信息將于4.1.1節(jié)中描述，算法細節(jié)及實驗硬件平臺將在

4.1.2 節(jié)中描述。實驗中所有分類數(shù)據(jù)集的輸入部分均進行了歸一化處理。實驗指標為分類準確率，分類準確率越高，表示算法泛化性能越好。實驗采用五倍交叉驗證的方式將數(shù)據(jù)集劃分為訓練集和測試集，具體地，通過分層采樣的方式將原始數(shù)據(jù)均分成五組，將每個子集數(shù)據(jù)分別做一次驗證集，其余的四組子集數(shù)據(jù)作為訓練集。以五次在測試集上所得分類準確率的平均值作為最終的指標對算法性能進行評估。

4.1.1 數(shù)據(jù)集描述

本文所用人工構(gòu)造數(shù)據(jù)集及真實多視角數(shù)據(jù)集均來自UCI數(shù)據(jù)集庫[28]。其中，人工構(gòu)造的數(shù)據(jù)集本身并非多視角數(shù)據(jù)集，但其特征可以人為劃分為多視角數(shù)據(jù)，因此在本文中，這類數(shù)據(jù)集被稱為人工構(gòu)造的多視角數(shù)據(jù)集。

本文所采用的人工構(gòu)造數(shù)據(jù)集為Iris數(shù)據(jù)集以及Forest type數(shù)據(jù)集，所采用的真實數(shù)據(jù)集為Multiple feature數(shù)據(jù)集、Image segmentation數(shù)據(jù)集以及Dermatology數(shù)據(jù)集。各數(shù)據(jù)集細節(jié)如表1所示。

4.1.2 對比算法及實驗硬件平臺

本文將RR-EL-FS-CVH算法分別與5個單視角模糊系統(tǒng)算法和2個多視角算法進行了比較。5個單視角模糊系統(tǒng)算法分別為將模糊規(guī)則嵌入到極限學習機隱層節(jié)點的模糊極限學習機（fuzzy extreme learning machine，F(xiàn)-ELM）[22]、基于 IQP（iterative quadratic programming）優(yōu)化算法的ε-不敏感損失函數(shù)的TSK模糊系統(tǒng)（IQP）[29]、基于LSSLI（learning by solving a system of linear inequalities）優(yōu)化算法的ε-不敏感損失函數(shù)的TSK模糊系統(tǒng)（LSSLI）[29]、MATLAB工具箱中基于模糊C均值算法的模糊系統(tǒng)GENFIS（generate fuzzy inference system）[30]以及基于模糊子空間聚類的O階L2型TSK模糊系統(tǒng)（fuzzy subspace clustering based zero-order L2-norm TSK fuzzy system，L2-TSKFS）[31]。多視角模糊系統(tǒng)算法為引入最大間距化策略和協(xié)同學習思想的兩視角TSK模糊系統(tǒng)（two view TSK fuzzy classification system，TwoV-TSK-FCS）[16]，多視角非模糊系統(tǒng)算法為引入了極大熵的多視角極大熵判別算法（alternative multiview maximum entropy discrimination，AMVMED）[32]。這 7 種對比算法中，TwoV-TSK-FCS以及AMVMED算法為二分類算法，對于多類分類，本文對于二分類算法采用1對1策略來實現(xiàn)多分類問題。

實驗平臺，CPU，Intel?CoreTMi7-4790；主頻，3.60 GHz；內(nèi)存，16 GB；操作系統(tǒng)，Win 7 64位操作系統(tǒng)；編程環(huán)境，MATLAB 8.1.0.604(R2013a)。

4.2 與單視角算法對比實驗

本節(jié)將所提RR-EL-FS-CVH算法與幾種經(jīng)典單視角模糊系統(tǒng)算法進行了對比。對于單視角算法，本文將多視角數(shù)據(jù)集所有視角特征合并為一個全視角數(shù)據(jù)集，然后將單視角算法用于該全視角數(shù)據(jù)集。所有單視角模糊系統(tǒng)算法規(guī)則數(shù)以及RR-EL-FSCVH中任一視角專有模糊系統(tǒng)的規(guī)則數(shù)的尋優(yōu)范圍均設定為k={3,4,9,16,25,36,49。}RR-EL-FS-CVH算法與單視角模糊系統(tǒng)算法在各數(shù)據(jù)集上所得分類準確率見表2。

Table 1 Description of multi-view datasets表1 多視角數(shù)據(jù)集描述

表2中最優(yōu)值次數(shù)指標是指在所有數(shù)據(jù)集中該算法所得指標為各算法中最優(yōu)值的次數(shù)。觀察表2可得如下結(jié)論：（1）RR-EL-FS-CVH算法所得分類精度在所有數(shù)據(jù)集上均高于單視角模糊系統(tǒng)算法，這也說明RR-EL-FS-CVH算法相對于單視角模糊系統(tǒng)算法具有更好的分類性能。（2）從在多個數(shù)據(jù)集上的平均精度來看，RR-EL-FS-CVH算法的平均精度相對于幾種單視角算法優(yōu)勢非常明顯。

Table 2 Comparison between this paper and single-view fuzzy systems(Mean±Std)表2 本文算法與單視角模糊系統(tǒng)算法比較（均值±方差）

4.3 與多視角算法對比實驗

為進一步對所提算法的性能進行評價，本文將所提算法與兩相關(guān)多視角算法進行了對比。同時，采用對單視角算法輸出值進行加權(quán)整合的方式，把幾種單視角算法改造為相應的多視角算法。具體改造過程為：針對每一個視角的特征，訓練出一個單視角分類器，而后對每一視角的輸出值進行加權(quán)求和得到算法的最終輸出（如有K個視角，則每個視角的分類器權(quán)值為1 K）。為與單視角算法做出區(qū)分，本文將基于F-ELM、IQP、LESSLI、GENFIS2以及L2-TSK-FS改造得到的多視角算法分別稱為F-ELM(MV)、IQP(MV)、LESSLI(MV)、GENFIS2(MV)以及L2-TSK-FS(MV)。同樣，為保持模糊系統(tǒng)的簡潔性，所有模糊系統(tǒng)的規(guī)則數(shù)尋優(yōu)范圍被設定為k={3,4,9,16,25,36,49}。RR-EL-FS-CVH算法與多視角算法在各數(shù)據(jù)集上的分類準確率如表3～表7所示。

觀察表3至表7可得到如下結(jié)論：（1）對于這些得到的各視角模糊系統(tǒng)，無論是從獨立的單一視角看，還是從不同視角之間系統(tǒng)的泛化性能關(guān)聯(lián)關(guān)系角度分析，本文所提RR-EL-FS-CVH算法在大多數(shù)數(shù)據(jù)集上得到了最高的分類精度，說明所提方法具有較好的分類性能。（2）本文所提算法各視角集成后所得分類精度均大于僅使用單一視角數(shù)據(jù)的分類精度，說明所提算法不僅能充分利用單一視角的數(shù)據(jù)，還能通過協(xié)同學習的方式充分利用各視角數(shù)據(jù)之間有效的相關(guān)信息，提升分類性能。（3）部分單視角簡單集成后的多視角算法，在某些數(shù)據(jù)集上采用各視角集成后所得分類精度反而不如只用單一視角數(shù)據(jù)所得分類精度，如IQP算法在Dermatology數(shù)據(jù)集上，僅使用組織病理學視角特征時，可以達到0.827 4的分類精度，而引入臨床視角特征后所得全視角精度為0.753 1，這說明簡單的多個視角集成不一定能提升模型的性能，有時可能會起到負作用。

5 結(jié)束語

Table 3 Classification accuracies on multiple feature dataset(Mean±Std)表3 在Multiple feature數(shù)據(jù)集上的分類準確率（均值±方差）

Table 4 Classification accuracies on Image segmentation dataset(Mean±Std)表4 在Image segmentation數(shù)據(jù)集上的分類準確率（均值±方差）

Table 5 Classification accuracies on Dermatology dataset(Mean±Std)表5 在Dermatology數(shù)據(jù)集上的分類準確率（均值±方差）

Table 6 Classification accuracies on Iris dataset(Mean±Std)表6 在Iris數(shù)據(jù)集上的分類準確率（均值±方差）

Table 7 Classification accuracies on Forest type dataset(Mean±Std)表7 在Forest type數(shù)據(jù)集上分類準確率比較（均值±方差）

本文針對傳統(tǒng)的模糊系統(tǒng)建模方法在處理多視角場景僅利用到了多視角數(shù)據(jù)集的顯性信息，而忽略了各視角間共享的隱空間信息之不足，提出了顯隱信息協(xié)同學習的多視角嶺回歸極限學習模糊系統(tǒng)。該方法不僅能充分利用多視角數(shù)據(jù)集的顯性信息，同時能充分利用各視角間共享的隱空間信息，進而提高各視角下模糊系統(tǒng)的泛化能力并通過協(xié)同學習機制進一步穩(wěn)定各視角模糊系統(tǒng)的性能。在構(gòu)造數(shù)據(jù)集以及真實數(shù)據(jù)集上的仿真實驗結(jié)果表明：本文所提方法比傳統(tǒng)的單視角建模方法以及僅利用多視角數(shù)據(jù)集顯性信息的多視角算法具有更好的泛化能力。

盡管本文所提算法表現(xiàn)出了較好的分類性能，但仍有需要進一步研究的地方。例如，本文所提算法利用交叉驗證策略對超參數(shù)進行優(yōu)化會帶來較大的時間開銷，如何有效地降低參數(shù)尋優(yōu)的時間復雜度將是進一步研究的重點工作之一。