基于類間損失和多視圖融合的深度嵌入聚類

郭晴晴, 王衛衛

(西安電子科技大學 數學與統計學院, 西安 710126)

聚類是機器學習領域最基本的無監督學習任務, 其核心思想是基于相似性度量將相似的數據劃分到同一類, 不相似的數據劃分到不同類.近年來, 對聚類的研究已取得了許多成果, 如K-均值聚類(K-means)[1]、譜聚類(SC)[2]、高斯混合聚類(GMM)[3]、非負矩陣分解聚類(NMF)[4]等經典方法, 有效解決了低維數據的聚類問題.但隨著數據維度的增加, 傳統聚類方法面臨如下問題[5]： 1) 高維空間中, 數據點之間的常用距離將趨于相等, 導致基于距離的聚類方法失效；2) 高維數據導致計算復雜代價急劇上升；3) 高維數據常會出現冗余特征且有噪聲, 嚴重影響聚類性能.目前, 解決高維數據聚類的方法主要是對高維數據進行降維或特征變換, 先將原始高維數據映射到低維特征空間, 然后對低維特征采用傳統方法進行聚類.但一些具有高度復雜非線性結構的數據聚類問題仍面臨很大挑戰[6].

由于深度神經網絡具有強大的學習非線性變換的能力, 因此基于深度神經網絡的降維方法在聚類中被廣泛應用[7-12], 目前已有的方法主要分兩類： 一類是兩階段法[9-11], 先利用深度神經網絡提取原數據的低維特征, 然后將低維特征作為傳統聚類方法的輸入, 得到最終聚類結果, 但該方法不能保證提取的低維特征符合所用聚類方法對數據的假設, 聚類性能并非最優；另一類方法是單階段法[7-8,12-13], 為保證提取的低維特征適合所用的聚類方法, 單階段方法在訓練神經網絡時, 將聚類損失和特征提取損失相結合, 即用聚類方法驅動特征提取, 有效改善了特征提取和聚類的匹配度, 顯著提高了聚類性能.例如, 深度嵌入聚類(deep embedding clustering, DEC)[7]將特征提取和聚類兩個階段相結合, 利用深度神經網絡學習原數據的低維特征, 同時利用學習到的低維特征進行聚類.DEC中引入了一種廣泛應用的聚類損失, 即軟分配分布和輔助目標分布的Kullback-Leibler(KL)散度[14].但該方法存在兩個不足： 首先, 它在訓練時舍棄了自動編碼器的解碼器部分和重構損失, 未考慮到微調會扭曲特征空間, 削弱了特征表示的代表性, 從而影響聚類效果；其次, 軟分配分布和輔助目標分布使特征類內盡可能靠近, 忽略了特征的類間關系.針對第一個問題, 改進DEC(IDEC)[8]結合自動編碼器的重構損失和聚類損失保存局部結構, 避免了微調時對特征空間的扭曲；但第二個問題仍然被忽視.此外, 這些方法還存在很大的局限性, 即僅考慮了對單視圖數據的聚類.事實上, 在許多實際聚類任務中, 數據可能來自不同領域或者不同的特征收集器, 這類數據稱為多視圖數據.例如, 對同一事件, 多個新聞機構、多種媒介報道的新聞就是這一事件的多視圖數據；相同語義的多語言形式表示也是多視圖數據.由于多視圖數據的普遍性, 因此研究多視圖數據的聚類具有重要意義和廣泛的應用場景.多視圖數據包括各視圖之間的公共信息和互補信息, 其中公共信息有助于提高對研究對象共性的認識, 而互補信息則能體現多視圖數據的潛在價值.多視圖數據聚類要解決的關鍵問題是如何充分挖掘各視圖之間的公共信息和互補信息, 從而最大程度地提高不同視圖之間類別的一致性, 提高聚類性能.文獻[15-21]提出了多種多視圖聚類方法.深度典型相關分析(DCCA)[15]和深度廣義典型相關分析(DGCCA)[16]將深度神經網絡與典型相關分析(CCA)相結合, 以實現多視圖數據的聯合非線性降維, 然后對低維特征使用傳統聚類方法[1-4]進行聚類, 其優點是DCCA能有效地聯合提取多視圖數據的低維特征, 但特征學習與聚類沒有聯合優化.深度多模態子空間聚類(DMSC)[18]將多視圖融合技術應用到子空間聚類上, 為每個視圖設計一個自動編碼器學習每個視圖的低維特征, 對低維特征進行空間融合, 并提出了幾種基于空間融合的網絡結構和融合函數.這些方法雖然在多視圖聚類中取得了較好的效果, 但特征學習與聚類并沒有聯合優化, 屬于兩階段的訓練方法, 聚類性能并非最優.具有協作訓練的深度嵌入多視圖聚類(DEMVC)[19]是一種單階段的多視圖聚類方法, 首先通過自動編碼器學習多個視圖的特征表示, 然后通過協作訓練促使不同視圖的軟分配分布最終趨于相同, 但協作訓練對各視圖視為相同的重要性, 因此對多視圖不均衡的問題存在缺陷；同時該方法充分利用了DEC的優勢, 并添加重構損失以保存局部結構, 但仍忽略了類間關系.

本文主要考慮多視圖數據聚類.在理想情況下, 對聚類友好的特征表示不僅應保證屬于同一類的數據要盡可能靠近, 而且還要確保不同類的數據之間盡可能遠離.但現有聚類方法僅考慮了特征表示的類內一致性, 而忽略了類間關系.因此最終學習到的特征表示不具有判別性, 從而影響聚類性能.基于此, 本文通過在DEC聚類損失的基礎上引入一個新的類間損失函數, 使通過多視圖特征融合網絡學到的各視圖的公共特征具有類間盡可能遠離, 類內盡可能靠近的特點, 使其更具有判別性, 從而更適合聚類.通過與多視圖特征融合網絡結合, 本文提出一種基于類間損失和多視圖特征融合的深度嵌入聚類方法, 不僅可保證各視圖共享特征表示的類內一致性和類間判別性, 而且還針對DEMVC中協作訓練存在的不足引入一種新的基于全連接層的多視圖特征融合技術, 以提高訓練網絡的泛化能力.在多個常用數據庫上的實驗結果表明, 本文方法聚類性能相對于對比方法有顯著提高.

1 預備知識

1.1 深度嵌入聚類

圖1 DEC網絡框架Fig.1 Framework of DEC network

DEC是一種單視圖的深度聚類方法, 其網絡結構如圖1所示.首先, 使用稀疏自編碼網絡(sparse auto-encoder, SAE)對數據集進行預訓練, 得到特征zi, 執行K-means得到初始聚類中心μj; 然后利用t分布, 計算特征zi和聚類中心μj之間的相似度：

(1)

由于其可視為將樣本i分配給第j類的概率, 因此也稱為軟分配分布.DEC還定義了一個輔助目標分布pij確定樣本所屬的類, 用公式表示為

(2)

DEC進一步優化基于KL散度的聚類損失：

(3)

根據上述聚類損失, 用帶有動量的隨機梯度下降(SGD)[22]法對特征zi和聚類中心μj進行聯合優化.該方法有利于把屬于每一類的數據個數進行平均分配, 使類內盡可能靠近, 從而使數據在特征空間更具有可分性, 但缺點是未考慮到數據的類間關系, 導致聚類效果不穩定.

1.2 深度嵌入多視圖聚類

DEMVC是一種多視圖深度嵌入聚類方法, 可同時優化多視圖的特征表示和聚類分配, 并根據協作訓練對多視圖的互補信息進行有效學習, 最終使不同視圖的軟分配分布趨于相同.其網絡結構如圖2所示.

圖2 DEMVC網絡框架Fig.2 Framework of DEMVC network

(4)

其中γ為非負參數.最后, 通過對上述損失函數進行優化, 微調整個網絡結構達到平衡, 再對各視圖的聚類結果取平均得到最終的聚類結果.協作訓練旨在最大程度地實現所有視圖之間的公共信息, 它將各視圖視為同等重要, 因此無法解決存在多視圖重要性不均衡的問題.而多視圖特征融合方法則利用網絡的靈活性, 將提取的特征合并為一個更具有判別力的特征, 泛化能力更強.

2 方法設計

為改進多視圖特征表示的訓練方式, 并保證學到的各視圖公共特征的類內一致性和類間判別性, 本文提出一種基于類間損失的深度嵌入聚類方法.本文的網絡框架主要由兩部分構成： 多視圖融合模塊和深度嵌入聚類模塊.首先將不同視圖的數據輸入到自動編碼器中, 得到多個視圖的特征表示；然后借助網絡的靈活性, 在編碼器和解碼器之間使用一層全連接網絡, 組合出判別性更強的各視圖的公共表示；最后將公共表示輸入到聚類模塊中, 這里聚類模塊采用DEC中的聚類損失, 并在其原有類內關系的基礎上, 添加類間損失以增強公共表示的判別性.其網絡框架如圖3所示.總的目標函數包括各視圖數據的重構損失和聚類損失兩部分, 用公式表示為

L=Lrec+λ1Lclu,

(5)

其中Lrec和Lclu分別為自編碼網絡的重構損失和聚類損失,λ1為權衡系數.

圖3 本文的網絡框架Fig.3 Framework of proposed network

本文以雙視圖數據集為例, 給定多視圖數據集{x1,x2}, 其中x1,x2∈D分別是第1個視圖和第2個視圖的數據.可令N為每個視圖的樣本數, 則表示xv的第i個樣本(i=1,2,…,N), 且v={1,2}.

2.1 基于全連接層的多視圖融合

為利用不同視圖之間的多樣性, 需將多個視圖的特征表示進行融合.而DEMVC的融合方法基于各視圖的加權融合, 對多視圖不均衡問題存在不足, 因此本文通過引入全連接層對多視圖特征進行融合, 以提高訓練網絡的泛化能力.首先通過自動編碼器對多視圖數據進行訓練, 得到不同視圖的特征表示, 再對各視圖的特征進行拼接后, 按上述方法對得到的特征表示進行融合, 最終得到各視圖的公共表示.

對于每個視圖, 卷積自動編碼器的f(v)將輸入xv進行壓縮得到d維的特征表示zv∈d, 即zv=f(v)(xv)∈d(d

(6)

在得到各視圖的特征表示后, 先將不同視圖的特征進行簡單拼接, 然后經過單層全連接層進行融合, 得到公共表示z=h(z1⊕z2), 其中h(·)是全連接層, ⊕表示矩陣的拼接操作.此時得到的公共表示z包含兩個視圖x1,x2的特征, 可為后續的聚類任務提供更多的信息, 從而達到聚類的目的.

2.2 基于類間損失的深度嵌入聚類

首先考慮一般的深度嵌入聚類損失, 該損失通過軟分配分布和輔助目標分布之間的KL散度進行優化.首先利用K-means對各視圖的公共特征表示zi(zi是特征z的第i個樣本)進行聚類, 得到初始的聚類中心μj, 然后再使用Softmax函數測量特征zi與聚類中心μj之間的相似度sij, 用公式表示為

(7)

其中ε為參數.與式(1)類似,sij也可視為將特征i分配給第j類的概率, 稱為新的軟分配分布.根據深度嵌入聚類方法的損失函數, 軟分配分布所對應的輔助目標分布可定義為

(8)

(9)

與式(3)類似, 最小化KL散度的損失函數L1主要考慮類內置信度高的特征點, 但未考慮類間關系.這里為使不同聚類中心之間的相似度盡可能小, 使用歐氏距離度量不同類中心的相似度, 并定義如下類間損失：

(10)

只有當不同聚類中心之間的距離足夠大時,L2才會盡可能小.因此通過最小化該損失可使不同類中心之間的距離盡可能遠, 從而有助于提高特征的判別性.如圖3右下角橙色虛線框所示, 在損失L2的作用下, 不同類之間的聚類中心彼此遠離, 同時使屬于某一類的特征表示趨于靠近該類的聚類中心, 從而不同類的特征表示互相遠離, 學習到的特征表示更具有判別性.

因此, 結合特征的類內關系和類間關系, 可將聚類損失表示為

Lclu=L1+λ0L2,

(11)

其中λ0為非負參數.

2.3 模型訓練

模型訓練包括兩個階段： 初始化階段和微調階段.首先, 初始化階段對所有視圖的自動編碼器最小化式(6), 然后通過最小化式(5)微調所有視圖的自動編碼器、聚類分配和聚類中心；最后當微調階段結束時, 基于軟分配sij, 分配給xi的標簽ui可由下式計算：

(12)

模型訓練過程如下.

算法1基于類間損失和多視圖融合的深度嵌入聚類優化算法.

輸出： 聚類標簽；

步驟2) 基于多視圖特征融合方法, 將各視圖的特征表示輸入到全連接層得到公共表示zi；

步驟3) 基于K-means聚類算法得到特征的初始聚類中心μj；

步驟4) 基于Adam優化器優化目標函數(5)直至收斂；

步驟5) 基于sij每行最大值的索引進行樣本聚類中心(式(12))獲取標簽.

3 實驗與分析

3.1 實驗數據集

為驗證本文方法的有效性, 采用不同類型的多視圖數據集進行實驗驗證, 選擇MNIST[23],Fashion-MNIST[24]和USPS三個手寫數字數據集, COIL20[25],COIL100[26]兩個物體數據集以及Yale_32[27],ORL_32[28]兩個人臉數據集構造多視圖數據集.這些單視圖數據集的信息列于表1.

表1 單視圖數據集信息

構造多視圖數據集的方法有3種： 1) 對原始數據集進行不同類型的數據增強獲得不同視圖的樣本；2) 使用不同的數據集作為不同的視圖；3) 使用原始數據集的不同部分構造不同的視圖.下面分別介紹本文使用上述方法構造出的9個多視圖數據集.

數據集Nosiy-RotatingMNIST： 該多視圖數據集由第一種構造方法得到, 它使用數據集MNIST生成兩個視圖的數據集.根據DGCCA, 首先以[-π/4,π/4]的角度對圖像隨機旋轉, 將生成的圖像作為第一個視圖的樣本.然后對第一個視圖的每張圖像, 從原始數據集中隨機選取一張具有相同類別的圖像, 在每個像素點上加入從[0,1]均勻采樣的獨立隨機噪聲, 得到對應的第二個視圖的樣本.數據集Nosiy-RotatingCOIL20,Nosiy-RotatingCOIL100,Nosiy-RotatingYale32,Nosiy-RotatingORL32： 這4個多視圖數據集的構造方法與數據集Nosiy-RotatingMNIST的構造方法類似.數據集MNIST-USPS： 該多視圖數據集由第二種構造方法得到, 它將USPS和MNIST分別作為兩個視圖, 并從每個視圖中隨機選擇分布在10個數字上的5 000個樣本.數據集Fashion-10K： 該多視圖數據集由第三種構造方法得到, 由數據集Fashion-MNIST生成, 其中10 000張圖像作為測試集.先將該測試集作為第一個視圖的樣本, 再對每個樣本, 從該集合中隨機選擇一個具有相同標簽的樣本, 以構造第二個或第三個視圖, 每個樣本的不同視圖是同一類別的不同樣本.因此該數據集有雙視圖和三視圖兩個版本, 以在名稱最后添加“_2view”和“_3view”進行區分.數據集MNIST-10K_3view： 該多視圖數據集由數據集MNIST生成, 同理, 將MNIST的測試集作為第一個視圖, 而第二和第三個視圖的構造方法與Fashion-10K的構造方法相同, 后綴“_3view”表示三視圖版本.

3.2 實驗設置

選取兩個常用的聚類評價指標： 聚類準確度(accuracy, ACC)和標準化互信息(normalized mutual information, NMI)[29].這兩個評價指標從兩方面對聚類結果進行評估, 其值越高表明聚類效果越好.ACC表示聚類結果的正確率, 計算公式為

(13)

其中li為第i個數據的真實標簽,ci為模型產生的第i個預測標簽,m(ci)為映射函數, 最佳的映射可使用Hungarian算法[30]求解.NMI計算相同數據的兩個標簽之間相似性的標準化度量, 計算公式為

NMI=I(l;c)/max{H(l),H(c)},

(14)

其中l和c分別表示聚類結果的標簽和真實標簽,I(l;c)表示l和c之間的互信息,H(l)和H(c)分別為l和c的信息熵.

3.3 聚類性能對比

為證明本文方法的有效性, 設置對比實驗分別驗證本文方法在手寫數字數據集、物體和人臉數據集上的有效性.本文方法在物體、人臉數據集和手寫數字數據集上與其他各方法的聚類性能對比結果列于表2和表3.表2列出了雙視圖的物體數據集和人臉數據集用多視圖深度聚類方法的實驗結果, 主要比較了各方法在物體和人臉數據集上的聚類結果, 所有結果均為運行3次取平均得到.表3列出了雙視圖和三視圖的手寫數字數據集用多視圖深度聚類方法的實驗結果, 主要比較了各方法在兩個視圖版本的手寫數字數據集上的聚類結果, 其中*表示精度值摘自文獻[16]和文獻[29].由于K-means聚類中心的影響, 運行結果均為運行3次取平均得到.

表2 不同方法在物體數據集和人臉數據集上的聚類性能對比

表3 不同方法在手寫數據集上的聚類性能對比

由表2和表3可見： 首先, 本文方法的聚類結果在大部分數據集上均優于其他方法；其次, 在數據集的類型上, 手寫數字數據集的聚類結果雖提升較小, 但總體水平高, 而由于物體數據集和人臉數據集的聚類難度偏高, 聚類結果提升相對較大；最后, 在數據集的視圖個數上, 3個視圖數據集的結果均優于兩個視圖數據集的結果.實驗結果表明, 本文方法能有效地從多視圖中提取到更具有判別性的特征, 同時也驗證了該方法在多視圖聚類中的有效性.

3.4 消融實驗

為驗證本文方法各模塊的有效性, 實驗對比多視圖特征融合下的重構損失Lrec和平均融合下的重構損失Lrec及聚類損失Lclu中的L1和L2的影響.數據集Nosiy-Rotating的消融實驗結果列于表4, 其中“√”表示帶有該模塊的方法.由表4可見： 一方面, 當僅使用重構損失Lrec時, 采用多視圖特征融合的本文方法顯然比平均融合的DEMVC方法的聚類性能高；另一方面, 總的損失函數僅有Lrec或L1的ACC值小于0.95, 同時損失函數不包含與包含L2相比, 聚類效果約提升了1%.因此, 聚類精度會隨著損失的逐漸增加而增加, 表明損失函數中的每個損失對最終的聚類性能都很重要.

為進一步驗證類間損失的有效性, 采用t-SNE可視化方法對DEMVC方法的嵌入進行二維降維與可視化.利用Python環境下sklearn工具包中的manifold.TSNE 函數進行降維(降至二維), 并用matplotlib工具包中的pyplot.plot進行繪圖, 實驗結果如圖4所示(不同顏色表示不同的數據聚集).由圖4可見, 在數據集Nosiy-RotatingMNIST上, 與DEMVC方法進行對比, 本文方法使不同類之間的樣本更易區分, 即聚集更明顯且易劃分.

表4 數據集Nosiy-Rotating的消融實驗結果

圖4 數據集Nosiy-Rotating上不同方法的t-SNE對比Fig.4 t-SNE comparison of different methods on Nosiy-Rotating dataset

3.5 收斂性分析

為進一步驗證本文方法的收斂性, 本文可視化隨著迭代次數特征表示的t-SNE圖和隨著迭代次數增加的聚類性能曲線圖分別如圖5和圖6所示.

圖5 數據集Nosiy-Rotating隨著迭代次數增加的t-SNEFig.5 t-SNE increasing with number of iterations on Nosiy-Rotating dataset

由圖5可見, 隨著迭代次數的增加, 類內的數據點逐漸靠近, 不同類的數據點逐漸遠離, 同時不同類的分類邊界更清晰, 當T=100時基本穩定.由圖6可見, 聚類指標ACC和NMI隨著迭代次數的增加趨于穩定.實驗結果驗證了本文方法最終達到收斂, 同時由于數據集較大, 本文方法存在運行時間較長等不足.

圖6 數據集Nosiy-Rotating的聚類性能指標變化曲線Fig.6 Variation curves of clustering performance index on Nosiy-Rotating dataset

綜上所述, 為有效解決實際應用中的多視圖聚類問題, 本文提出了一種基于類間損失和多視圖融合的深度嵌入聚類方法.首先, 通過自動編碼器對多視圖數據進行訓練, 得到不同視圖的特征表示；然后, 利用全連接層對各視圖的特征進行融合, 再根據公共表示得到改進的軟分配分布和輔助目標分布；最后, 基于類間損失和軟分配分布及輔助目標分布之間的KL散度對公共表示和聚類分配進行聯合訓練, 進而得到聚類結果.實驗結果表明, 該方法在多個多視圖數據集上的聚類精度均效果良好.