基于深度自編碼的多視圖子空間聚類網絡

郭 圣，仲兆滿，李存華

1.中國礦業大學 計算機科學與技術學院，江蘇 徐州 221000

2.江蘇海洋大學 計算機工程學院，江蘇 連云港 222005

1 引言

子空間聚類是機器學習、計算機視覺和模式識別的基礎課題之一，例如圖像表示、人臉聚類和運動分割[1-2]。子空間聚類的重要性在大量文獻中得以體現，因為它是通過數據分析從子空間推斷數據結構信息的關鍵步驟[3]。子空間聚類的目的是將從多個低維子空間中提取的數據點分割成不同的聚類。

在現實的應用中，樣本中的數據通常都是高維的[4]，因此許多聚類技術也面臨維度災難的挑戰，為了充分處理這些高維的樣本數據，一個合理的方法是檢測并使用這些樣本的底層子空間結構。大量研究表明，這些高維數據的內在維度通常遠小于實際維度[5]。因此，子空間聚類技術近年來受到了廣泛的關注。近年來提出了許多子空間聚類方法，例如稀疏子空間聚類（SSC）[2]、低秩表示（LRR）[1]。為了提高原始SSC 或基于LRR 的方法的魯棒性和表示能力，研究者們還提出許多改進方法，例如結構化稀疏子空間聚類（S3C）[6]、圖正則化低秩表示（LRRGR）[7]和潛在低秩表示（LLRR）[8]等子空間聚類方法。S3C 將每個數據點表達為所有其他數據點的結構化稀疏線性組合，并同時學習相似性和分割性。LRRGR和LLRR利用流行正則化項來保留數據的局部幾何結構，提高原始模型的表示能力和子空間分割精度。雖然在單視圖數據（由一個視圖組成的數據）上這些子空間聚類方法取得了較好的性能，但這些方法具有以下限制。首先一個挑戰性的問題是這些方法采用線性假設，基于這種情況利用凸方法可以很好地解決子空間聚類問題，但是在現實中，數據之間的關系通常是高度非線性的，上述方法可能會降低聚類性能。其次隨著如今對數據信息化的要求越來越高，特定信息和通用信息在數據中共存，僅從單一視圖描述數據已無法得到預期效果。

在當今數據爆炸時代，通常獲得的數據具有多個視角（對事物不同的特征描述），即多視圖數據。相比單視圖數據，從多視圖數據中可獲得豐富的信息。因此多視圖數據的子空間聚類問題成為學者們的研究重點。對于多視圖數據子空間聚類來說需要利用來自多個不同數據特征中所挖掘的綜合信息，即互補性和一致性，如圖1 所示。最近，Cao 等人提出多樣性誘導的多視圖子空間聚類（DIMSC）[9]。此方法從不同的角度探索不同視圖的互補信息，利用希爾伯特-施密特獨立準則（HSIC）從不同的角度學習不同的子空間，可以解決數據相對復雜的依賴性。然而使用HSIC 的缺點是HSIC是一個值感知標準，由于規模問題值感知正則化可能會降低了其性能，而且DIMSC 在兩個分離的階段中執行子空間學習和譜聚類，不能充分地保留公共聚類結構。Wang 等人為了克服上述缺點提出了排他性-一致性正則化多視圖子空間聚類（ECMSC）[10]，在此方法中使用位置感知準則處理元素值大小，并將兩個分離的步驟（即子空間學習和譜聚類）合并到一個優化框架中，利用補充信息的排他性和一個指示器的一致性來統一處理子空間聚類，但是此方法構建的相似性信息量較少而且也缺乏利用不同視圖之間的多樣性，無法揭示不同視圖的子空間結構。Gao 等人為了確保不同視圖之間的一致性提出了多視圖子空間聚類（MVSC）[11]，這種方法對每個視圖執行子空間聚類，采用了一個共同的指標來保證共同的集群結構，強制使不同視圖中的點被分類到同一集群中。但是這個算法忽略了每個視圖的局部結構，僅僅拼接多視圖數據中的特征并執行子空間聚類，無法利用數據的內在特征。樸素多視圖子空間聚類（NaMSC）方法首先使用Hu等人提出的平滑表示聚類（SMR）[12]從每個視圖中學習子空間表示，然后將譜聚類應用到學習表示的框架中，NaMSC 僅直接組合多視圖表示并獨立地學習每個子空間表示，因此無法保證不同視圖的互補性。這些方法雖然取得了不錯的聚類結果，但還是存在上述問題。目前多視圖聚類方法大部分基于淺層聚類模型，因此對于復雜數據結構很難學習魯棒表示。

圖1 多視圖學習示意圖

在深度學習領域中，自編碼器作為另一種流行的復雜數據表示方法，引起了研究者們的關注。Hinton等將自編碼器作為一種降維方法使用在深度定向網絡中，改善了數據局部極小的問題[13]。Vincent P 等將自編碼器應用于圖像的降噪[14]，能夠強迫網絡學習到更加魯棒的不變性特征，并獲得較好的結果。Krizhevsky用自編碼器編碼圖像，在目標分類問題上取得了巨大的成功[15]。自編碼器在其優化發展過程中，被廣泛應用到模式識別、自然語言處理、圖像分類和聚類以及其他領域[16]。為了提高多視圖復雜數據子空間聚類算法的學習效率，本文將子空間學習引入到深度自編碼模型中，提出一種基于深度自編碼的多視圖子空間聚類網絡（DMSCN），該網絡能夠表示多視圖數據中非線性結構，且有效地從多視圖中提取多層子空間。在模型中利用加權稀疏表示，并保證數據的局部性，進而提高了學習效率。最后實驗表明，在常用的多視圖數據集上，提出的模型優于其他先進的多視圖子空間聚類模型。

2 深度子空間聚類網絡

2.1 淺層自編碼器模型

自編碼器是一種無監督的數據維度壓縮和數據特征表達方法[16]。在自編碼器中，通過不斷訓練網絡中的參數，就可以將網絡中的權重初始化到一個比較好的位置，經過這樣的多重訓練可以得到信息的多重表示方式。一般自編碼器的結構如圖2所示，自編碼器的目標函數（1）如下所示：

自編碼器分為淺層自編碼器和深層自編碼器，淺層自編碼器分別有一層編碼器和解碼器，深層自編碼器則有多層編碼器和解碼器。以淺層自編碼器為例：

（1）編碼器部分，其實現了數據的壓縮，對于輸入X：

圖2 淺自編碼器網絡結構

其中，W1是連接輸入層到中間隱層的權重矩陣，p1是編碼器的偏置向量。sJ(?)為輸入層和中間隱層之間的激活函數，一般選取為sigmoid函數，即。

（2）通過解碼器部分將編碼h映射到原始數據維度上，即對數據的復現：

其中，W2是中間隱層到輸出層的權重矩陣，p2是解碼器的偏置向量，g(?)為解碼器激活函數。通常選取為sigmoid函數或恒等函數，恒等函數即g(x)=x。

從式（2）和式（3）可以看出，自編碼器每一層的訓練都是獨立的，通過嘗試重建前一層中的表示來捕獲更抽象的特征。在訓練過程中尋找參數集，重構輸入數據，使得輸出層輸出的數據與輸入層輸入的數據盡可能接近，即輸出數據與輸入數據的誤差盡可能小。這里損失函數可以有兩種形式，（1）平方誤差損失函數，即式（4）。（2）交叉熵（cross-entropy）損失函數，即式（5）。

在訓練中，通過優化平滑函數（通常是歐幾里德范數）來學習編碼器和解碼器，結合式（2）到式（5）可得目標損失函數為：

其中，LS項中Lζ表示交叉熵損失函數LCE或是平方誤差損失函數LMSE。另外ng表示神經網絡的層數，sg和sg+1分別表示第g層和第g+1 層的元素數目，λ為權衡參數。

2.2 深度子空間聚類網絡模型

前面著重介紹了淺層自編碼器模型，在本節中將進一步介紹加入重建關系的自編碼器——深度自編碼器網絡模型。在流形學習中，假設某些屬性對不同的投影空間是不變的，因此可以通過將輸入空間中的特定屬性保留到另一個空間來學習表示。這種表示是尋求不變性，在文獻[17-18]中已表明其有效性：假設數據由N個實值向量Si組成，每一個維度都是從某些潛在的流形中采樣。若有足夠的數據，則期望每個數據點及其鄰近點位于或接近流形的局部線性塊上，可以用線性系數從相鄰的數據點重建每個數據點，進行描述這些塊的局部幾何特征。這里重建誤差用損失函數（7）來衡量：

其中，權重Wij表示第j個數據點對第i個數據點重建的貢獻。使重建誤差最小化的約束權重遵循一個重要的對稱性：對于任何特定的數據點，它們對該數據點及其相鄰點的旋轉、重定線和轉換都是不變的。在本文中重建關系可以認為是不變性的類型。這種關系可以保證數據的全局結構，此網絡中引入一種已證明在傳統子空間聚類中有效的自我表示特性。通過這種方式可以學習所有數據點之間的成對相似性，并產生樣本親和度矩陣和子空間聚類結果。

其中，||·||F表示Frobenius范數，λ為權衡參數。因此可以利用C來構建用于譜聚類的親和度矩陣。

在大多數現有的子空間聚類方法中，每個樣本都被編碼為整個數據集的線性組合。與線性子空間聚類模型不同，深度子空間聚類網絡可以學習多個非線性變換將樣本輸入映射到另一個子空間中，從而可以將獲得的低維表示與非線性表示相結合，同時適應局部和全局子空間結構。特別是該網絡以最小的重建誤差來學習輸入數據的表示，確保數據的固有局部性結構。深度子空間聚類網絡模型構建如下[19]：

其中，R(S)表示編碼器的輸出，||R(S)-R(S)C||表示自我表示項，?表示由自編碼器輸出的數據。在此網絡中將每個數據點作為網絡中的一個節點，并將每一個數據點通過權重與其他點的加權線性組合來近似計算，可以通過一個線性全連接層來表示自我表示項。相比于傳統的自編碼器，深度子空間聚類網絡模型不僅適用于無監督子空間聚類，可將輸入的數據非線性映射到潛在空間，在模型中引入傳統子空間聚類中自我表示特性，表明其關系對于不同的特征空間是不變的，進一步揭示數據的相關性；而且該網絡從深度學習模型的不同層收集視圖的補充信息，使得它能恢復更準確和穩定的聚類結構，以獲得更好的聚類結果。

該網絡算法主要描述為如下過程：

（1）如式（2），X作為輸入數據進行前向反饋運算，根據式（3）得到輸出Y。

（2）根據式（9）得到函數損失值。

（3）進行后向反饋運算，利用隨機子梯度下降法算法優化損失函數。

（4）重復步驟（1）到（4），直至損失函數收斂。通過上述算法步驟可以得出自表示系數矩陣。

3 深度自編碼器的多視圖子空間聚類網絡模型

3.1 問題設置

首先，解釋以下一些符號表達。B表示矩陣，b表示向量，tr(B)表示矩陣B的跡，BT表示矩陣B的轉置矩陣，(B)ij表示矩陣B中第i行j列的元素，bj表示矩陣的第j列向量。

現實中的數據通常為多視圖非線性數據。若采用傳統線性聚類方法針對這類數據進行聚類，既不能有效表示數據非線性結構又不能充分利用多個視圖信息，從而導致聚類效果往往不夠理想。雖然深度子空間聚類網絡能夠表示數據中非線性結構，但是該網絡不能保證所學習的矩陣具有一致性和原始數據的相似性信息，導致性能不佳。為了解決上述問題，本文提出一種基于深度自編碼的多視圖子空間聚類網絡（DMSCN）。

3.2 深度自編碼的多視圖子空間聚類網絡

在本節中將詳細介紹基于深度自編碼的多視圖子空間聚類網絡（DMSCN）。圖3 說明了DMSCN 的基本思想，具體說明為：（1）DMSCN是一種多層非線性網絡模型，具有捕獲數據非線性的能力。（2）DMSCN通過自表達層H(N2)提取數據中的特性進行編碼，保證了數據的全局性。（3）在DMSCN中利用加權稀疏表示，保證數據的局部性，從而實現更高效和準確的數據表示。（4）模型中低維共識子空間能聚合來自所有子空間的聚類信息。圖3 中We,Wd分別表示編碼層和解碼層的權重矩陣。

在DMSCN 中為了執行每一個視圖的N個非線性變換，對每一個視圖采用N+1 層的神經網絡，其中每個第一層表示數據的輸入。第一個N2 隱藏層作為編碼器的輸出用于學習緊湊表示，最后一個N2 層作為編碼器的輸入保證數據的全局性。此外說明一下符號表示，如表示數據集中第v個視圖中輸入的一個數據點，以及式（10）中表示第v個視圖的第n層的輸出。

圖3 DMSCN結構體系

其中，索引層數表示為n=1,2,…,N。dnv表示第v個視圖相應層的神經元數，σ(· )表示使用的激活函數。

為了保證數據全局結構，如2.2 節所述在網絡的編碼層和解碼層之間引入自表示層，通過學習低秩子空間表示來進一步增強聚類結構：

J1中Cv和分別表示第v個視圖的子空間表示和自表示層，N一般為偶數。非負約束Cv≥0 是為了約束其解。通過自表示學習，Cv中的每個元素都反映兩個樣本之間的相似性。為了確保Cv的塊對角線屬性，采用核范數進行約束，這樣可以有效地增強數據相關性并揭示不同視圖中固有的低秩聚類結構。

在大多數子空間聚類中，數據的局部結構很容易被忽略。近年來許多研究[20-21]表明數據局部結構的重要性，雖然一部分方法使用L1 范數的稀疏約束自適應地選取少量樣本進行數據表示，但由于稀疏性并不一定保證了局部性，也不能捕捉到數據固有的局部性結構。為了保證數據局部性，在模型中引入一個距離約束。另外考慮到視圖之間互補性和多樣性，建議學習低維共識子空間F∈?n×s，它可以在不同視圖中交替學習視圖的特征：J2中[χ1,χ2,…,χn]∈ ?m×n表示每個視圖中包含n個樣本的數據矩陣，其中每個樣本表示為一個列向量。正交約束FTF=I避免平凡解，tr(· )表示矩陣的跡操作。

通過組合上述問題形成整體目標函數。對于多視圖子空間聚類建議最小化以下目標函數：

其中，參數λ1,λ2為權衡參數。求解式（14）可以通過不同視圖的低秩子空間來學習共識子空間F，然后將共識子空間作為新的數據表示，然后對其進行聚類分析，得到多視圖子空間聚類結果。

4 優化

在本章中，使用隨機子梯度下降法算法來優化深度自編碼的多視圖子空間聚類網絡。在每次迭代中，固定其他變量只更新一個變量。重寫式（14）為下面形式：

首先根據式（10）中對的定義，使用反向傳播算法更新W(n)和b(n)。

（1）更新Wn和bn

其中，⊙ 叫作 Hadamard 積，σ′(· )表示σ(· )的導數，使用隨機子梯度下降法算法，Wn和bn更新（其中學習率ε=10-3）如下：

然后從式（15）保留其余變量，以及為了使其可分離進行優化引入輔助變量P，得到以下問題：

（2）更新civ

式（21）的增廣拉格朗日函數是：

式（22）采用交替最小化方法解決所有變量，設置偏導數?L(civ,Y1,Y2)?(civ)=0 解決civ并獲得：

其中，G=Y1+D1,U=Y2+D2以及I是單位矩陣。為了解決Y1，設 ?L(civ,Y1,Y2)?(Y1)=0 并獲得：

使用Θτ(X)=UΔτVT，即奇異值閾值算子解決式（25），更新Y2：

（3）更新P

（4）更新F

其中，(LC)v是C第v個視圖的拉普拉斯矩陣。式（30）可以通過特征值分解進行求解，其解是LC的最小s個特征值對應的特征向量集。

算法1深度多視圖子空間聚類網絡

算法1總結了模型的優化過程。在本文的實現中，使用σ(·)=tanh(· )作為激活函數并采用預訓練的方式進行算法優化。先通過預訓練較淺的自編碼器網絡，然后使用預訓練的權重來初始化更深的網絡。必須要指出的是，本文工作側重于子空間聚類。

算法2更新輔助變量和拉格朗日乘子

5 實驗

首先，描述了實驗設置，包括評估指標和比較方法。第二，實驗分析，包括數據集介紹，以及參數設置和網絡層結構對深度自編碼多視圖子空間聚類網絡（DMSCN）的影響。

5.1 實驗設置

在實驗中為了公平，所有方法的參數都選取能使聚類結果達到最好的值，并且對每個數據集都進行10 次實驗，結果取其平均值。使用兩個指標來衡量聚類效果，一種為準確率（ACC）來評判所有方法的聚類性能，正確率：ACC=Naccuracy／Ntotal。其中Naccuracy表示正確樣本數量，Ntotal表示樣本總數。另一種為標準化互信息（NMI），其定義如下：

其中，表示樣本中的第l類。np表示集群Cp的樣本數目，np,l表示第l類和集群Cp交集的樣本數目。可以看出NMI 的取值范圍是從0 到1，NMI 數值越大表示兩個集群的相似度越大。將本文方法與五種先進的多視圖聚類方法進行比較，如 DiMSC[9]、ECMSC[10]、MVSC[11]、NaMSC、SWMC[22]。

5.2 實驗分析

5.2.1 數據集

對三個廣泛使用的數據集如3-Sources 數據、Cornell 數據集、Numerals 數據集，進行深度自編碼的多視圖子空間聚類網絡的實驗評估。本文的所有實驗均在Matlab R2014a 編寫運行，運行計算機處理器是1.80 GHz Intel CoreTMi5-3337U，內存為8 GB。

（1）3-Sources數據集（http：//mlg.ucd.ie/datasets/3sources.html）。Sources中收集三個著名的在線新聞源，如BBC（英國廣播公司）、Reuters（路透社）、The Guardian（衛報）。這個數據集總共收集了948篇新聞文章。

（2）Cornell 數據集（http://www.cs.cmu.edu/afs/cs/project/theo-20/www/data/）。Cornell是網頁數據集WebKB的其中一個子集。其中的每個數據點都由2個視圖：內容和引用來描述。

（3）Numerals 數據集（http：//archive.ics.uci.edu/ml/datasets/Multiple+Features）。 Handwritten Numerals 是來自伊利諾斯大學的手寫數字數據集，這個數據集包含2 000 個對應于數字數據點，這些數字由0 到9 組成，共10類。這三個數據集的基本數據特征總結在表1中。

表1 多視圖數據集的基本數據特征

5.2.2 參數設置

在DMSCN 中有控制參數λ1、λ2以及懲罰參數μ，為了驗證參數對目標函數值準確性的影響，使用準確率作為度量，根據不同的數據集對參數λ1、λ2和μ進行調整，以觀察參數值對準確率的影響。在實驗中，使λ1取值圍為{0.01,0.1,1,10,100} ，對于λ2不同數據集取值不同，以及其中懲罰參數μ=λ2λ1。對于不同的參數，各數據集算法準確率如圖4所示。

從圖4 中可以看到，算法在參數λ1、λ2、μ取不同值得到不同的聚類準確率。因此調整參數λ1、λ2、μ，能得到更好的選擇結果。可見在3-Sources 數據集中λ1=1.0,λ2=10.0,μ=10.0。DMSCN的聚類誤差相對較小。對于 Cornell 數據集λ1=0.1 ，λ2=0.2 ，μ=2.0 ，DMSCN 的聚類精度最高。在Numerals 數據集中λ1=0.1,λ2=30,μ=300，DMSCN的聚類效果最好。

5.2.3 層結構

為聚類網絡嘗試了不同的體系結構，例如，不同的網絡層數和神經元數量，但當增加這些值時，雖然增加了網絡的表示能力，但是它也增加了網絡參數的數量。

為了研究深度自編碼的多視圖子空間聚類網絡（DMSCN）聚類性能是如何隨著層的大小和神經元的數量而變化，構建了一層到四層模型，其中一層模型即包含一層編碼器和一層解碼器，二層模型即包含二層編碼器和二層解碼器，以此類推。每個模型中又含有一個自表達層。神經元的數量在每一個模型中每層步長分別增加20，50，100，150。

不同層結構對于模型的聚類結果影響如圖5所示，從圖5 中可以看出，在3-Sources 數據集和Cornell 數據集中三層模型以及其神經元數量步長為100 時的NMI值最高。在一層和二層模型中，因為層數或神經元數量較少以至于無法捕捉信息的多視點數據。而在四層模型中由于包含很多的參數，導致過多的冗余信息不利于聚類。在Numerals 數據集中二層模型及神經元數量步長為50時NMI值高于其他。Numerals數據集中數據量較多，當增加模型層數和神經元數量時將會導致更多的參數，降低了聚類性能。

綜上所述，在實驗中對于3-Sources數據集和Cornell數據集采用三層模型以及神經元步長為100，即300-200-100-100-200-300。對于Numerals 數據集則采用二層模型及其神經元步長為50，即100-50-50-100。

5.3 實驗結果以及評價

本文算法與相比較的算法均在同一實驗環境下進行，最后提取10 次運行實驗結果的均值評估各算法的性能，各算法在數據集上得出的實驗結果如圖6 所示，三個數據集在DMSCN 中的最終可視化結果如圖7所示。

圖4 不同參數下準確率的直方圖

圖5 不同層結構對聚類性能的影響

圖6 各算法在不同數據集上的結果

圖7 結果可視化

通過圖6可以看出隨著實驗次數的增加，本文算法在數據集上的聚類準確率有些波動，但經過十次實驗得到的平均準確率要比其他多視圖子空間聚類算法高。為了更直觀對比各個算法的準確率和互信息，將各算法的準確率（均值±標準偏差）以及互信息（均值±標準偏差）的統計結果列表。如表2 所示，本文算法在各個數據集上的準確率均為最高，其中比算法DiMSC 的準確率高出7.057 個百分點，比算法ECMS 的準確率高出3.048個百分點，比算法NaMSC的準確率高出12.736個百分點，比算法MVSC的準確率高出9.897個百分點，比算法SWMC的準確率高出8.938個百分點。

表2 準確率統計結果 %

從表3中可以看出，本文算法在各個數據集上互信息平均值最高，其中比算法DiMSC的互信息平均值高出1.889 個百分點，比算法ECMS 的互信息平均值高出0.826 個百分點，比算法NaMSC 的互信息平均值高出4.528 個百分點，比算法MVSC 的互信息平均值高出3.187 個百分點，比算法SWMC 的互信息平均值高出0.832個百分點。

表3 互信息統計結果%

6 結束語

在本文中，基于深度自編碼的多視圖子空間聚類網絡（DMSCN）模型主要用于多視圖子空間聚類，與現有主要依賴深度學習模型的淺層多視圖學習不同，DMSCN 通過利用多個層中所包含的聚類信息進一步提高了聚類性能，并利用多視圖數據之間的差異性和互補性，在不同視圖中交替學習聚類指示矩陣F，捕獲數據的內在聚類結構，以及利用加權稀疏表示來增強子空間聚類，進而可以獲得更全面和多樣化的聚類信息。對幾個數據集進行了實驗，證明該模型的有效性。在未來的工作中將繼續探索、擴展本文的深度模型和優化策略。