互補與一致的多視角子空間聚類網絡

何士豪,張玉龍,唐啟凡

(西安交通大學軟件學院,710049,西安)

近年來,隨著計算機和網絡技術的快速發展,“大數據”一詞開始頻頻出現在大眾視野,隨著海量數據的涌現,如何有效地在數據中挖掘出有價值的信息成為熱門的研究課題。其中,多視角數據因其包含更全面的信息而成為熱點研究數據。多視角數據是指同源數據的多種表示形式,例如,一幅圖片可以由顏色、紋理、邊緣等特征表示,一篇文章可以由多種語言表示等。聚類分析一直以來是數據挖掘的主要任務之一,其中子空間聚類是聚類分析中的重要研究部分。傳統的子空間聚類算法在處理多視角數據時,通常是將多視角數據簡單拼接為單視角數據,然后對其應用經典的單視角子空間聚類算法[1-3]。這種做法的優點是簡單快捷,但同時帶來了一系列缺點。首先,多視角數據具有互補性與一致性的特點[4]。互補性是指各視角包含其他視角所不具備的信息,各視角所含數據信息具有互補性。一致性是指來自同一數據源的各視角數據所包含的基本信息是一致的[4]。單視角聚類算法僅將多視角數據簡單拼接,無法有效地挖掘多視角所包含的豐富信息,因此無法取得較好的聚類效果。其次,多視角數據中含有大量重復數據和噪聲數據,簡單地將其拼接成單視角數據時,往往會帶來維度災難,導致數據龐大而冗余。因此,近年來多視角聚類算法受到越來越廣泛的關注。

多視角聚類算法通過提取多視角間的互補性[5-7]或一致性信息[8-12]來提升聚類性能。然而,隨著研究的深入,單一地探索多視角數據的互補性或一致性信息已不能滿足聚類性能要求。于是,一系列同時探索多視角數據的互補性和一致性信息的聚類算法被提出[13-15],這些算法通過對多視角共享的鄰接矩陣和單視角私有的鄰接矩陣添加規范項來更全面地探索數據信息,進一步提升了聚類性能。

這些多視角聚類算法具有開創性意義,且聚類性能均達到非常優秀的水平,其中關于多視角子空間聚類的研究主要集中在線性子空間的聚類上。然而,現實中數據不一定嚴格地符合線性子空間模型,例如,在人臉圖像聚類中,反射率通常是非朗伯式的,而且拍攝對象的姿勢經常變化,在這些條件下,面部圖像更像是在一個非線性的子空間中[15]。針對這個問題,文獻[16-18]通過核技巧[19]進行了嘗試,但目前仍需依靠經驗選擇核類型,并且沒有嚴格的證明表示核所屬的隱式特征空間可以完美地適配子空間聚類。近年來,越來越多的研究工作將深度學習與子空間聚類結合,利用自編碼器將數據映射到非線性子空間,通過在編碼器與解碼器間的全連接層學習鄰接矩陣進行子空間聚類[15,20-22]。實驗表明,自編碼器可以有效挖掘多視角數據間的非線性子空間關系,從而提升聚類性能。

為了在非線性子空間中同時挖掘多視角數據中的互補性與一致性信息、最大程度地利用多視角數據的有效信息提升聚類性能,一種行之有效的方法是將深度學習與傳統的多視角聚類算法相結合,例如:文獻[23]利用兩個網絡分別挖掘數據的互補性與一致性信息,然而由于兩個網絡的獨立性,多視角共享的相似度矩陣和多視角獨有的相似度矩陣是獨立的,兩種相似度矩陣缺乏關聯性,未能充分挖掘相關信息,導致某些數據集上的實驗效果欠佳;文獻[24]利用全局結構和局部結構使得多視角共享的系數矩陣與多視角私有的潛在特征表示產生連接,同時利用規范項挖掘多視角數據的互補性信息,然而其缺乏對聚類標簽的有效利用,導致系數矩陣的學習缺乏反饋過程,很難學習到好的特征表示。盡管聚類標簽不一定正確地標記所有數據點的類信息,但其包含一些有價值的信息,因此可以用聚類標簽來監督自表達系數的訓練過程,以提升聚類性能[25]。

本文提出一種互補與一致的多視角子空間聚類網絡(C2MSCN),用來解決自監督式地在非線性空間中同時挖掘多視角數據的互補性與一致性信息的問題。C2MSCN由編碼器、自表達層、譜聚類模塊和解碼器組成。C2MSCN中的數據流通過程主要有4個階段:①編碼器將原始數據映射到非線性空間;②自表達層在非線性空間同時學習各視角共享的自表達系數矩陣和各視角私有的自表達系數矩陣;③將自表達系數矩陣供給譜聚類模塊聚類,得到聚類標簽,譜聚類模塊將聚類標簽返回網絡;④解碼器將自表達數據還原到原始空間。C2MSCN算法在4個評價指標下6個數據集的對比實驗中取得了1.25的平均排名;參數敏感度實驗和消融性實驗表明,C2MSCN算法能夠有效地在非線性子空間中探索數據互補性與一致性,并且在不同數據集上表現穩定。

1 相關工作

1.1 子空間聚類

假設高維數據來自低維子空間,子空間聚類的任務是將一群高維數據分為多組,為每組數據尋找一個適配的低維子空間[4]。自表達是指用屬于同一子空間的數據的線性組合來表示高維數據,數據的線性組合系數被稱為自表達系數,由所有數據的自表達系數組成的矩陣被稱為自表達系數矩陣。子空間聚類的流程是:①構造自表達系數矩陣;②構造相似度矩陣;③應用譜聚類得到聚類結果。子空間聚類的重點是如何利用自表達系數矩陣正確地恢復數據的子空間結構。近年來,子空間聚類算法主要研究如何學習一個優質的數據自表達系數矩陣。其中一些優秀的算法包括:SSC通過對自表達系數矩陣添加L1范數,保證了自表達系數矩陣的稀疏性[1];LRR通過對自表達系數矩陣添加核范數約束,挖掘了自表達系數矩陣的低秩性[2];深度子空間聚類網絡(DSCN)在編碼器與解碼器間加入自表達層,在編碼器映射的低維非線性空間中學習自表達系數矩陣,可以對具有復雜或非線性潛在結構的數據有效地聚類,從而彌補了傳統子空間聚類算法只能探索線性數據關系的弊端[15];自監督卷積神經網絡(S2SCN)在DSCN的基礎上加入了自監督模塊,將自表達系數矩陣的學習與譜聚類結合,首次利用聚類標簽信息監督自表達系數矩陣的學習[25];多級深度子空間表示學習(MLRDSC)取用自編碼器網絡多個中間層數據,并利用自表達層學習中間層數據共享的自表達系數矩陣和中間層數據私有的自表達系數矩陣,融合了多個中間層數據的互補性與一致性信息,通過挖掘網絡的中間層數據提高了聚類效果[26];基于差分演化算法的軟子空間聚類在目標函數中綜合利用了模糊加權類內相似性和界約束權值矩陣,并用復合差分演化算法搜尋子空間聚類,有效地提高了聚類效果[27]。

1.2 多視角聚類

多視角聚類的關鍵是如何充分利用多視角數據的有效信息來提升聚類效果。目前,一系列多視角聚類算法通過對多視角數據的關系進行建模或者學習數據的內在表示來提高聚類效果[23]。RMSC通過學習公共低秩概率轉移矩陣來融合多視角數據的有效信息,通過學習各視角的私有稀疏噪聲矩陣來處理多視角數據中的噪聲,有效地融合了多視角數據信息,過濾了噪聲[8];LMSC首先將數據從原始空間映射到潛在的數據空間,然后在潛在空間學習自表達系數矩陣,從而挖掘了更深層的數據信息[9];Co-Reg假設多視角數據具有相同的類別關系,對不同視角間的特征向量矩陣添加協同約束,利用一個視角的數據信息去優化其他視角特征向量矩陣的學習,以此挖掘多視角數據信息[6];一致與特殊多視角子空間聚類(CSMSC)通過學習多視角共享的自表達系數矩陣和多視角私有的自表達系數矩陣,在線性空間同時挖掘了多視角數據間的互補性與一致性信息[4];一種雙重加權的多視角聚類算法利用互信息學習各個視角的權重,并將各視角權重用于基于內容和基于上下文的多視角表示,充分利用了兩種數據形式下的多視角數據間的互補性信息[28]。

1.3 自編碼器

自編碼器通過將數據映射到非線性低維空間來提取數據的內在非線性特征。因此,在子空間聚類中,可以利用自編碼器來挖掘多視角間潛在的非線性關系[15]。深度多模態子空間聚類(DMSCN)將自編碼器與多視角聚類結合,采用端對端的訓練算法,利用多視角數據間的一致信息,在非線性空間中學習公共自表達系數矩陣,從而克服了傳統多視角聚類算法無法探索多視角數據間非線性關系的弊端[21];自編碼器網絡中的自編碼器算法(Ae2-nets)由內部自編碼器和外部自編碼器組成,內部自編碼器由自編碼器網絡組成,外部自編碼器由退化網絡和內部自編碼器網絡組成,首先單獨訓練內部自編碼器,然后通過退化網絡將潛在特征退化為內部自編碼器的中間層特征表示Z′,通過優化真正的中間層特征表示Z與Z′的差距得到良好的潛在特征,從而自適應地平衡多視角數據間的互補性與一致性信息[29]。

2 互補與一致的多視角子空間聚類網絡

2.1 網絡結構

圖1 互補與一致的多視角子空間聚類網絡

2.2 目標函數

根據C2MSCN的網絡結構,目標函數由重構損失、自表達損失、多樣性規范化項、自監督規范化項和其他約束共5部分組成。

(1)重構損失。由于端對端的訓練方式,輸入編碼器的原始數據與輸出解碼器的重構數據間存在重構損失。重構損失項通過約束自編碼器的網絡參數,確保原始數據經編碼器編碼獲得的隱式特征可以通過解碼器還原到原始數據,從而保證隱式特征的有效性。重構損失定義為

(1)

(2)自表達損失。潛在特征表示與自表達特征間存在自表達損失。自表達損失項通過約束自表達系數,確保原始數據與其自表達系數表示形式具有一致性。自表達損失定義為

(2)

(3)多樣性規范化項。為充分挖掘多視角數據間的互補性信息,參考文獻[24],在私有自表達系數矩陣間引入多樣性規范化項

H(Di,Dj)=‖Di⊙Dj‖0

(3)

式中:⊙表示哈達瑪積;‖·‖0表示矩陣的L0范數;Di表示第i視角自表達系數矩陣。利用多樣性規范化項使兩個矩陣盡可能正交。理想情況下,如果Di的(a,b)位置不等于0,規范化項將迫使Dj的相同位置為0,使得私有自表達系數基于位置盡可能不相同。因此,多樣性規范化項可以挖掘不同視角數據在不同集群中的互補信息。由于L0范數的非凸性,將L0范數松弛為L1范數[18],Di與Dj間多樣性規范化變為

H(Di,Dj)=‖Di⊙Dj‖1=tr((Di)TDj)

(4)

所有視角的私有自表達系數矩陣兩兩之間的多樣性規范化之和構成總的多樣性規范化項

(5)

(4)自監督規范化項。參考文獻[25]中的研究工作,即使譜聚類產生的聚類標簽不一定與真實聚類相同,聚類標簽仍包含一些價值信息,可以用譜聚類的輸出來監督自表達系數的訓練過程。從自表達模塊學習到自表達系數矩陣應包含足夠的預測數據點的類標簽信息。因此,將譜聚類的目標函數作為自監督規范化項,具有監督自表達模塊訓練的效果。在得到自表達系數矩陣后,計算出相似度矩陣A=(|C|+|C|T)/2,其中|C|代表對矩陣C求絕對值。通過最小化損失函數

(6)

對相似度矩陣A應用譜聚類得到聚類指示矩陣Q。式(6)中,M={Q∈{0,1}k×N,s.t.1TQ=1T,rank(Q)=k}是具有k類的有效聚類指示矩陣的集合,qm和qn表示Q的第m列和第n列向量,分別指示第m個視角數據與第n個視角數據所屬的類別,1為元素全是1的向量,利用譜聚類模塊為網絡提供的聚類標簽信息Q構造自監督規范化項

(7)

S為相似度矩陣,構造算法為

(8)

由式(7)可以看出,自監督項可以衡量相似度矩陣S和聚類指示矩陣Q間的差異性。在已知Q的情況下,最小化式(7)會有如下效果:當qm不等于qn時,迫使相似度矩陣S的(m,n)位置項Sm,n趨近于0;當且僅當qm等于qn時,Sm,n才有可能為非0項。背后的意義是:當第i項數據和第j項數據不屬于同一簇時,迫使它們之間的相似度趨于0;只有當它們屬于同一簇時,它們之間的相似度才有可能為非0項。相似度矩陣由公有自表達系數C和私有自表達系數Di組成,于是式(7)間接地約束C和Di,從而為其自表達系數的訓練提供反饋,達到自監督公有自表達系數和私有自表達系數的效果。

(5)其他規范化項。理想情況下,各個子空間應該是相互獨立的,子空間中的數據應僅由屬于同一子空間的其他數據表示[26],于是公有自表達系數應具有塊狀結構,即稀疏的矩陣結構,L1范數可以迫使它具有系數的矩陣結構。另外,對私有自表達系數加入F范數約束可以保證連通性,使得私有自表達系數更緊密,從而消除連通性問題[4]。為保證自表達系數的這些特征,參考文獻[26]的思想,對公共系數C和私有系數Di添加約束

(9)

式中QT|C|的第(i,j)位置元素表示在構建數據j時使用屬于第i個簇的數據比例。與‖C‖1促使整個矩陣所有元素稀疏性不同,Lc僅促進樣本簇成員數據間的稀疏性。換言之,它鼓勵每個數據僅由具有相同類標簽的樣本表示,從而使樣本對不同子空間的成員預測變得平滑。此外,正則化項Ld使得不同矩陣的元素在數值上趨于相似,從而增強了與相似度矩陣的連通性[26]。

將所有約束項相加得到目標函數

(10)

目標函數有λ1～λ5共5個超參數:λ1負責調節自表達重構約束的強度;λ2和λ4分別負責調節共享系數矩陣和私有系數矩陣的稀疏程度;λ3和λ5分別調節私有自表達系數矩陣的多樣性程度和自監督規范化項程度。

2.3 訓練策略

C2MSCN算法分為3個階段:第1階段預訓練自編碼器網絡;第2階段正式訓練整個網絡;第3階段利用自表達系數矩陣構造相似度矩陣進行聚類。

(2)微調階段。首先,使用預訓練階段得到的多視角編碼器參數和多視角解碼器參數初始化自編碼器。然后,迭代優化編碼器參數、解碼器參數和自表達層參數(共享自表達系數與私有自表達系數)以獲得最優參數。參考文獻[15]的訓練策略,使用Adam優化器優化目標函數,并設置優化器的初始學習率為1.0×10-3。由于加入了自監督規范化項,在訓練過程中需利用譜聚類模塊更新Q。采用間隔式的方式更新Q,即每隔一定的迭代次數更新一次Q,原因有兩點:①由于自表達系數是隨機初始化的,在初始迭代階段,其包含的正確信息不多,這會導致由其構造的相似度矩陣S具有很強的誤導性,最終導致聚類指示矩陣Q具有誤導性,如果此時利用Q約束自表達系數,會導致自表達系數偏離正確的優化方向,影響迭代速度;②更新Q的過程就是進行譜聚類的過程,如果每迭代一次都進行一次譜聚類,將導致很大程度地增加算法的收斂時間,得不償失。因此,間隔式更新Q既能保證自監督效果,又能節省時間,是權衡時間與效果后的結果。

最后,基于相似度矩陣應用譜聚類得到聚類結果。算法流程如下。

輸入:多視角數據{X1,X2,…,XV},超參數λ1～λ5,預訓練迭代數M′,學習率α,Q的更新周期T0,最大迭代數Tmax。

1 設置λ1=…=λ5=0,隨機初始化自編碼器網絡參數,設置t1=0。

2 WHILEt1

3 優化LRE,更新自編碼器網絡參數;

4t1←t1+1;

5 END WHILE

6 隨機初始化C、Di(i=1,2,…,V)、Q,使用預訓練階段得到的網絡參數初始化自編碼器網絡,設置t=0;

7 WHILEt

8 IFt%T0==0 THEN

9 通過譜聚類模塊更新Q;

10 END IF

11 優化目標函數,更新整個網絡參數;

12t←t+1;

13END WHILE

14構造相似度矩陣,應用譜聚類得到聚類結果。

輸出:聚類結果

3 實 驗

3.1 實驗設置

3.1.1 數據集 本文使用6種廣泛應用的多視角數據集進行實驗。Yale是一個包含15人共165張人臉圖像的數據集,每張圖像的光線、人臉的表情等特征均有所不同。ORL是一個包含40種不同對象的數據集,每個對象含10張在不同光線、面部表情和臉部細節下采集的圖像。對于Yale和ORL數據集,提取強度、局部二值模式(LBP)和Gabor共3種圖像特征作為3個視角。BBCSport[8]數據集里包含了BBC Sport網站的544篇運動新聞文章,文章涵蓋兩個視角下的5種專題領域。3sources[30]數據集包含BBC、Reuters和Guardian共3個視角的新聞,共有169篇文章和6個主題。Newsgroups(NGs)[30]數據集是20Newsgroups數據集的子集,由3個視角的500個樣本構成。Movie數據集包含了17個電影種類下的617部電影,由演員和關鍵字兩種視角描述。

3.1.2 評價指標 本文使用4種評價指標評估聚類算法的聚類效果:歸一化互信息N、準確率A、F分數F和修正隨機指數R。4種指標都是值越大代表聚類效果更好。

(1)歸一化互信息。計算預測結果與實際結果的歸一化相似度,定義為

(11)

式中:B是樣本總數;ni和nj分別為真實簇標簽是第i簇和第j簇的樣本數;ni,j為真實簇標簽是第i簇而聚類結果標簽為第j簇的樣本數。

(2)準確率。用來評估聚類的準確率,定義為

(12)

式中:li是真實簇標簽;ci是聚類結果簇標簽;f(ci)是映射函數,將聚類標簽映射到真實標簽;{li=f(ci)}的定義為

(13)

(3)F分數。基于準確率與召回率的評價指標,定義為

(14)

式中K為召回率。

(4)修正隨機指數。隨機指數r的改良版本,定義為

(15)

3.1.3 對比算法 對比算法選取2種單視角聚類算法和8種多視角聚類算法,多視角聚類算法包括5種經典算法和3種深度學習算法。

單視角聚類算法:①BSV,對多個視角進行譜聚類,選擇最優的聚類效果;②LRRbest[2],使用LRR算法對多個視角進行聚類,選擇最優的聚類效果。

多視角聚類算法:①特征拼接(FeaCon),合并所有視角的特征,對合并的數據進行譜聚類;②Co-Reg[6],通過協同約束的算法隱式地將多視角的圖融合,利用一個視角的數據去優化其他視角特征向量矩陣的學習;③RMSC[8],通過低秩稀疏分解得到共享的概率轉移矩陣,將其輸入基于馬爾可夫鏈的譜聚類算法進行聚類;④LMSC[9],尋找數據的潛在表示空間,在潛在表示空間進行子空間聚類;⑤CSMSC[4],在原始數據空間同時學習共享自表達系數矩陣和私有自表達系數矩陣,最后利用其構造鄰接矩陣進行譜聚類;⑥DMSCN[21],用卷積神經網絡提取深層數據特征,利用自表達層融合多視角數據信息得到共享自表達系數矩陣,使用共享自表達系數構造相似度矩陣進行譜聚類;⑦Ae2-nets[29],利用自編碼器非線性提取深層數據特征,通過最優化退化網絡的輸出與自編碼器中間層數據的損失來優化退化網絡以及多視角數據共享的潛在特征表示,在目標函數收斂后將潛在特征表示輸入K-means算法得到聚類結果;⑧DMSC-UDL[24],利用自編碼器將數據映射到非線性空間,通過約束多視角數據潛在特征和自表達系數,同時挖掘多視角數據的互補與一致信息。

DMSC-UDL與本文算法相同之處在于:二者均利用自編碼器將多視角數據映射到非線性空間,以更好地適應具有非線性關系的子空間;二者都同時挖掘了多視角數據的互補性與一致性信息以提升聚類效果。不同之處在于:DMSC-UDL在自表達過程中僅學習了公共的自表達系數,未學習私有自表達系數,且是通過對多視角數據的潛在空間表示進行約束來挖掘多視角數據間的互補信息,本文算法在自表達過程中同時學習了公共的自表達系數和私有自表達系數,且通過對私有自表達系數進行約束來挖掘互補信息;DMSC-UDL未加入自監督約束,而是加入了局部結構約束來挖掘數據的局部特征,本文算法利用聚類信息監督自表達系數的學習過程,以學習到更好的自表達系數,提升聚類效果。

3.2 結果分析

3.2.1 對比實驗 表1～6展示了C2MSCN算法與對比算法在6個數據集上的4種評價指標效果。調節所有對比算法的超參數,記錄其最優效果。對所有算法均運行30次,并在表中以“平均值(標準差)”的形式記錄。表中效果最好的數據用加粗表示,次好的用加粗下劃線表示,再次的用下劃線表示。

表1 Yale數據集對比實驗結果

表2 ORL數據集對比實驗結果

表3 BBCSport數據集對比實驗結果

表4 3sources數據集對比實驗結果

表5 NGs數據集對比實驗結果

表6 Movie數據集對比實驗結果

由表1～6可知,在Yale數據集上,C2MSCN算法在N、A、R、F上比第二名算法分別提升了6.846%、6.337%、10.826 3%和7.735 3%。對比傳統多視角聚類算法RMSC和LMSC,C2MSCN算法在所有數據集上的4個評價指標均優于它們的。在ORL數據集上,C2MSCN算法的N低于CSMSC算法的0.3%;在其他數據集上,C2MSCN算法的4個評價指標上均優于CSMSC算法的。對比近年來的深度多視角子空間聚類算法DMSCN和Ae2-nets。在3sources數據集上,C2MSCN的F優于DMSCN算法的1.5%;在其他數據集上,C2MSCN的4個評價指標均優于DMSCN和Ae2-nets的,這驗證了C2MSCN算法的優越性。對比類似的深度多視角子空間聚類算法DMSC-UDL。在Yale數據集上,本文算法的4個指標均位居第一;在其他數據集上,本文算法與DMSC-UDL不相上下。這是因為有些數據集如BBCSport、3sources等具有明顯的局部結構,挖掘其局部結構會明顯提升聚類效果,所以DMSC-UDL效果更好,而有些數據集如Yale并不具備明顯的局部結構,所以本文算法效果更好。

由表4可知,在3sources數據集上,C2MSCN的A、N、R低于最好算法DMSCN的約10%。這是因為3sources數據集是由BBC、Reuters和Guardian這3家知名新聞網站圍繞6個主題報導的共169篇文章組成。由于不同新聞網站的語言風格大相徑庭,且語言具有很大的發揮空間,有時帶有歧義,導致了即使是同一主題,不同新聞網站報道的文章在文字層面具有很強的屬于新聞網站的獨特色彩,這些不一致信息非但不具有互補性,反而會影響聚類結果。所以,對于同時利用多視角的互補性與一致性信息的算法,如CSMSC、Ae2-nets、C2MSC,過度挖掘多視角間的不一致信息反而會使得聚類效果比僅挖掘多視角間一致性信息的DMSCN算法的效果差。

相比其他多視角聚類算法,C2MSCN算法的優越性主要體現在3個方面:①深度卷積網絡提取非線性數據特征,經過全連接層同時學習共享自表達系數和私有自表達系數,使C2MSCN算法可以在非線性空間中同時探索數據的互補性與一致性信息,在更復雜的子空間關系中充分挖掘了多視角數據的有效信息;②多樣性規范化使算法更充分地挖掘多視角數據間的互補信息;③自監督規范化項利用聚類標簽信息對自表達模型反饋,有效地監督自表達系數的學習過程。

3.2.2 參數敏感度實驗 為了分析不同參數對算法的影響,對所有參數進行了敏感度實驗。圖2～6展示了參數在Yale數據集上的敏感度實驗結果。在研究某一參數時,固定其他參數。每組參數實驗均運行5次。

圖2 λ1敏感度實驗結果

圖3 λ2敏感度實驗結果

圖4 λ3敏感度實驗結果

圖5 λ4敏感度實驗結果

圖6 λ5敏感度實驗結果

λ1～λ5取自{10-4,10-3,10-2,10-1,100,101,102,103}。由于本文算法參數較多,很難在研究單一參數時獲取其他參數的最佳值,在權衡時間與效果后,進行了一定的妥協。在進行參數敏感度實驗時,首先固定其他參數為1,在[10-2,102]內以10倍間隔對參數λ1進行選擇;獲得此時λ1最佳值后固定λ1,在[10-2,102]內以10倍間隔對參數λ2進行選擇;獲得此時λ1和λ2最佳值后固定λ1和λ2,在[10-2,102]內以10倍間隔對參數λ3進行選擇,直到獲得所有參數的妥協最佳值。當獲得所有參數的最佳值后,為測試參數的敏感度,在更大的范圍內如[10-4,103]以10倍間隔對所有參數進行敏感度實驗。實驗結果顯示,在固定其他參數的情況下,當λ1小于10-2時,聚類效果良好且在較小的范圍內波動。同樣,當λ2小于101、λ2小于100、λ5小于10-1時,C2MSCN均能取得良好的聚類效果,且參數具有較廣泛的選擇范圍。這說明C2MSCN的參數的選擇具有一定的魯棒性。圖4表明,選擇合適的λ3對聚類效果具有很大的提升,恰當地挖掘多視角數據間的互補信息是提升多視角聚類效果的關鍵。

3.2.3 收斂性實驗 為驗證本文算法的收斂性,對Yale數據集進行收斂性實驗,結果如圖7所示。可以看出,在200次迭代后,本文算法的聚類效果已達到最優且在小范圍內上下波動。在其他數據集上同樣如此。由此,本文算法的收斂性得到了驗證。

圖7 收斂性實驗結果

3.2.4 消融性實驗 為驗證多樣性規范化和自監督規范化項的有效性,在Yale數據集上對C2MSCN算法進行了消融性實驗研究,結果如表7所示。表中:M1為不帶自監督規范化項和多樣性規范化的算法;M2為只有自監督規范化項的算法;M3為只有多樣性規范化的算法;M4為C2MSCN算法;效果最好的數據用加粗表示。

表7 在Yale數據集上的消融性實驗結果1

由表7可以看出:M2性能超過了M1,說明自監督規范化項對自表達系數矩陣學習的監督有效提升了聚類效果;M3的性能超越了M1,說明多樣性規范化有效地挖掘多視角間的互補信息,提升了聚類效果;M4的性能超過了M1、M2、M3,說明自監督規范化項和多樣性規范化能同時提聚類效果。由此,加入多樣性規范化和自監督規范化項的有效性得到了驗證。

為驗證公有自表達系數和私有自表達系數對聚類效果結果的影響,在Yale數據集上對C2MSCN算法進行了消融性實驗研究,結果如表8所示。表中:N1為只利用式(10)第1項構造相似度矩陣S的算法;N2為只利用式(10)第2項構造相似度矩陣S的算法;N3為C2MSCN算法;效果最好的數據用加粗表示。

表8 在Yale數據集上的消融性實驗結果2

由表8可以看出,N1的性能超過了N2,即僅利用多視角數據的一致性信息對聚類性能的影響超越了僅利用多視角數據的互補性信息,說明在本實驗中多視角數據的一致性信息包含了更多有效的聚類信息;N3的性能超過了N1,說明同時利用多視角數據的互補性與一致性信息能有效地提聚類效果。由此,公有自表達系數和私有自表達系數對結果的影響得到了驗證。

4 結 論

多視角子空間聚類算法的研究中,如何在非線性子空間中同時充分地挖掘多視角數據間的互補性與一致性信息是提升聚類效果的關鍵。針對這個問題,本文提出了一種互補與一致的多視角子空間聚類網絡,用來自監督式地在非線性子空間中同時探索多視角數據的互補性與一致性信息,提升聚類效果。本文的主要結論如下。

(1)提出了一種多視角子空間網絡。該網絡通過深度自編碼器將多視角數據映射到非線性空間,以探索多視角數據的非線性子空間關系。通過規定公共自表達矩陣和私有自表達矩陣,同時探索數據的互補性與一致性信息。利用多樣性規范化充分挖掘多視角數據間的互補信息。添加譜聚類模塊對中間結果聚類獲得聚類標簽信息,并利用自監督規范化項監督自表達系數矩陣的學習。

(2)6個數據集上的實驗結果表明,本文算法的N、A、R、F這4個評價指標在大部分數據集上優于其他算法的,其中在Yale數據集上,比近期提出的CSMSC、DMSCN和Ae2-Nets算法分別提高了8.3%、6.3%和11.7%。

(3)由參數敏感度實驗可以看出,多樣性規范化項參數的穩定性不夠,選擇范圍不夠寬,如何更穩定地挖掘互補信息有待后續研究。