基于無監督學習視覺特征的深度聚類方法

陳俊芬，趙佳成，翟俊海，李 艷

（1.河北大學數學與信息科學學院河北省機器學習與計算智能重點實驗室,保定 071002；2.北京師范大學珠海分校應用數學學院，珠海 519087）

聚類是廣泛應用于機器學習和數據挖掘領域的無監督學習方法。聚類結果依賴于聚類算法，也依賴于數據的特征表示，尤其是高維復雜數據（圖像、語音和視頻等）的特征表示顯著影響著聚類性能。研究表明，在自動學習圖像數據特征時，深層神經網絡具有更強大的表達特征的能力［1］。2006年，Hinton 提出了深度（堆疊）自編碼器（Autoen?coder，AE），他們在對MNIST 數據集的分類研究中發現，網絡權值的調整主要依賴圖像本身的信息量，而標簽信息量只能微調網絡權值［2］。另外，對數據進行標注需要消耗大量的資源，例如2012 年Hinton 團隊在ImageNet 圖像分類比賽中以極大的優勢獲得了勝利［3］，但是為ImageNet 標注花費了2年多的時間［4］。因此采用無監督學習方法對無標簽圖像自動提取特征具有重要的理論與實際意義。提取特征常用的深度方法有受限玻爾茲曼機［5］、自編碼器［6］、卷積自編碼器［7］和生成式對抗網絡［8］等。自編碼器是一種非線性特征提取方法，它的對稱結構可以進行無監督學習，最終得到高維輸入的低維特征表示。

很多研究結合自編碼器對圖像數據進行聚類，基于自編碼器的圖像聚類分析通常包括兩階段：（1）自編碼器對圖片進行特征提取；（2）聚類算法對特征進行聚類。由文獻［9?10］所提的深度聚類方法的實驗發現，最終的聚類結果與自編碼器的參數學習結果有很大關系，因此提取適合聚類的特征表示是研究的重點。與主成分分析（Principal com?ponent analysis，PCA）的線性特征相比，AE 的非線性特征更具有辨識力，大大提高了聚類性能。盡管在人臉圖像數據上取得了較滿意的聚類結果，但由于AE 網絡的全連接導致網絡參數的計算代價很高，從而限制了AE 網絡的深度。實驗在較小的數據集上進行，例如在MNIST 數據集上隨機選取5 000 個圖片進行實驗。經典自編碼器很難得到圖像的局部細節特征，其特征表示能力有限。為了克服這些不足，進一步提高圖像數據的聚類效果，本文提出一種基于新型卷積編碼器（Convolutional auto ?encoder with an asymmetric structure，AS?CAE）的深度聚類方法，采用非對稱的卷積編碼器學習輸入圖片的特征表示，使用經典K?means 算法對特征進行聚類劃分。該算法的主要內容包括：

（1）設計了一個非對稱卷積編碼器。采用3×3 小卷積核提取局部特征，且編碼器部分多一個全連接層。

（2）采用變步長卷積層替代池化層。第1 個卷積層的卷積步長等于卷積核寬度，隨后卷積層的卷積步長逐步減少。

（3）采用端到端的策略訓練網絡，其中隨機初始化網絡權值替代貪婪的層層預訓練。

（4）通過最小化網絡的重構誤差和全連接的重構誤差學習網絡權值。

1 相關工作

無監督學習出現在各種圖像處理任務中，例如：圖像聚類［9?14］、圖像分類［15?17］、圖像分割［18?19］及目標檢測［20］等。近年來，無監督圖像聚類研究取得了很好的成績。文獻［11］中采用生成對抗網絡為無監督的圖像特征提取帶來新方向。其中，使用大步幅的卷積核替代池化層，刪除全連接層和使用批處理；生成網絡使用ReLU 作為激活函數，而輸出層使用Tanh 函數；判別網絡使用LeakyReLU 函數；最后，使用判別網絡的各層特征進行聚類分析，但其精度卻不及傳統的卷積神經網絡。

相較于深度卷積生成對抗網絡而言，自編碼器和卷積神經網絡在無監督聚類學習中的應用更為廣泛。文獻［12］找到一種解決特征空間學習與聚類判別的聯合方案。基本思路是：第一階段訓練自編碼器進行特征空間的初步學習，然后使用K?means 得到特征空間的K個聚類中心點；第二階段計算所學特征與聚類中心點的相似性分布Q，并構造輔助目標分布P；最后通過最小化二者的KL（P||Q）散度調整網絡參數和改進聚類結果。實驗結果超越了以往的無監督聚類算法。用于聚類分析的無監督深度嵌入方法（Deep embedding method for clustering，DEC）框架如圖1 所示［12］。

圖1 用于聚類分析的無監督深度嵌入方法[12]Fig.1 Unsupervised DEC analysis[12]

聯合特征空間學習與聚類進行統一學習，為無監督聚類提供了新方向。例如，文獻［9］提出了聯合卷積自動編碼器嵌入和相對熵進行深度聚類的方法。文獻［10］提出了全卷積自編碼器的判別增強圖像聚類方法。這兩類方法分別做了不同方向的改進，獲得了比原方法更優的結果。

文獻［14］中用于視覺特征的無監督聚類方法的核心思路是：對卷積神經網絡所學特征進行聚類生成偽標簽，網絡使用偽標簽數據進行監督學習并更新網絡參數，二者交替執行直至收斂。訓練過程通過限制新簇的樣本數、重新選擇簇類中心以及根據偽標簽進行均勻采樣等措施避免聚類的平凡解。

文獻［21］在雜亂數據上使用無監督圖像特征預訓練方法，對聚類與深度相結合的思路進行了優化。在初步聚為m類的基礎上先進行一次4m類別分類，再進行多次k類別分類，這些分類器使用相同的特征提取網絡。循環往復訓練，所訓練出的特征質量要優于其他非監督學習方法。不同于以往的深度聚類研究思路，文獻［22］中提出了另一類無監督圖像分類和分割的不變信息聚類方法：根據圖像經過平移、旋轉等變換所學特征的聚類軟分配結果應保持不變的思路，對卷積神經網絡進行權值更新。卷積神經網絡上的小改動使得聚類結果達到最優。該方法為無監督聚類學習學到更有表達能力的特征提供了新思路。

文獻［9?10，12］中的實驗表明，深度聚類的最終結果很大程度上依賴于卷積自編碼器的初始生成特征的K?means 聚類結果。也就是說，聯合訓練之前網絡生成的特征決定了最終聚類結果的好壞。本文對深度卷積自編碼器網絡結構進行了改進，對卷積方式進行了適當調整，并在原L2 損失函數中添加關于全連接層的正則項。

2 深度聚類方法ASCAE

本文所提深度聚類框架分開執行特征提取和聚類分析，旨在通過改進卷積自編碼器的結構和目標損失函數提升對圖像的特征提取能力，從而最大化聚類分析的收益。

2.1 非對稱特征提取器

為了得到辨識力更強的特征表示，本文提出了一種新穎的網絡結構，如圖2 所示。網絡細節描述如下：編碼器部分由4 個卷積層（CNN?C1～C4）和3個全連接層（Full?D1～D2）組成；解碼器部分包括2個全連接層（Full?D2～D3）和4 個反卷積層（DCNN?T4～T1）。由此，所設計的網絡又稱為“非對稱結構的卷積編碼器”，即ASCAE 網絡。該網絡沒有池化層，C1和T1有25 個卷積核，其余層均為50 個。

圖2 非對稱(上)和對稱(下)的卷積自編碼網絡框架圖Fig.2 Framework of asymmteric(upper)/ symmetric(low?er)convolutional auto-encoder networks

受VGG16 網絡［23］的啟發，除C4層外所有卷積層均采用3×3 的卷積核。C1層的卷積步長S=3代表著滑動窗之間沒有重疊，相當于把輸入圖片分割成多個小片后分別提取特征。這種運算加快了網絡的學習速度，在分辨率高的大數據集上有更明顯的優勢。為了捕捉更豐富的特征信息，C2層上S=2 而C3和C4層上S=1。

考慮到灰度值的極大差異性有助于卷積核獲取關鍵特征，而歸一化會縮小這種差異從而影響最終的特征表示，所以本文不對灰度圖片進行歸一化。另外，ASCAE 網絡采用ReLU 激活函數。

2.2 ASCAE 方法

設圖像數據集為X={x1，x2，…，xN}，圖片xi通過ASCAE 網絡重構為x?i=fθ(xi)，F層和D3層的輸出分別記為bi和gi(0 ≤i

式中θ={θe，θd}為網絡參數。

在最小化網絡的重構誤差過程中，通過減少F層與D3層的差異性來降低ASCAE 網絡中全連接部分的誤差。目標函數變為

式中：λ為平衡參數，由于本文的圖像像素值范圍為[0，255]且未歸一化，后文實驗中λ的取值范圍為[0，40]。

算法1 ASCAE 學習特征表示算法

輸入：數據集X={x1，x2，…，xN}

輸出：F層的特征B={b1，b2，…，bN}

初始化：用服從高斯分布G(0，0.12)的隨機數初始化網絡權值；將D2層的神經元個數設置為k個

迭代過程：最小化目標損失函數J(θ；X；λ)來訓練非對稱卷積自編碼器

通過反向傳播算法迭代更新網絡參數值

停機條件：目標損失不再下降或達到最大迭代次數

師資水平是職業院校通信專業人才培養的關鍵。一些職業院校通信專業的師資缺乏企業經驗，對實際工作過程不熟悉，對行業標準把握不準確，沒有足夠時間到企業工作崗位實踐，對學生以后的就業面向只能停留在理論層面；“雙師型”教師亟待培養，如果無法將崗位群真正需要的技能素養帶進課堂，就無法培養出符合行業、企業真正需要的技術技能型人才。

輸出特征：fθe(X) →B

2.3 對稱特征提取器

為驗證非對稱卷積自編碼網絡的特征表示能力，本文設計了一個對稱卷積自編碼網絡（Convo?lutional auto?encoder with a symmetric structure，SCAE），如圖2 所示。SCAE 網絡不同于ASCAE網絡之處在于前者少了D1層。二者的損失函數相同，都是通過最小化J(θ；X；λ)調整網絡權值直至收斂。

2.4 特征表示的聚類分析

由圖2 可知，輸入層到F層組成一個卷積神經網絡來獲取輸入圖像的局部特征。低層的特征圖通常表示簡單的特征，而高層則表示復雜的特征。隨著網絡層數的增加，特征圖上像素點的感受野變大，所以C4層上1×1 特征圖的感受野是整個圖片，如圖3 所示。C4的一個特征圖對應F層的一個神經元，且連接權值表示輸入的某個局部特征［24］。

圖3 不同層特征圖的感受野對應關系圖Fig.3 Corresponding relation between receptive fields of feature maps in different layers

雖然全連接D2層能對F層的局部特征進行組合，減少特征的位置對分類任務的影響，卻不適用于對位置敏感的圖像分割、聚類等模式任務。因此本文使用F層的特征而未使用D2層的特征完成聚類任務。下文的實驗將驗證F層特征優于D2層。另外，2 個全連接層能更好地解決非線性問題，實驗部分也將驗證ASCAE 網絡的F層特征最優。

3 實驗與分析

本節通過K?means 算法對特征進行聚類分析以驗證ASCAE 網絡提取特征的能力。所有實驗均在數據量較小的7 個圖像數據集（表1）上進行。為了減少隨機初始化對K?means 算法的影響，每組實驗都重復50 次，對最好的聚類性能進行分析，并與文獻［10］提供的聚類性能進行對比。評價聚類性能的數值指標有聚類精度（Accuracy，ACC）和標準互信息（Normalized mutual information，NMI）。ACC 表示聚類結果的正確率。NMI 衡量了樣本標簽的預測分布與真實分布的相關程度。兩個指標值越接近1，說明聚類準確度越高。

表1 7 個圖像數據集的信息描述Table 1 Information description of seven image datasets

實驗環境：IntelCorei5 ? 6300HQ 處理器，NVIDIA 2.0 GB 顯存，8.0 GB 內存；基于開源的Keras 庫搭建ASCAE 網絡。

3.1 COIL?20 數據集

第1 組對比實驗驗證最優參數對SCAE 和ASCAE 網絡性能的影響。若設置D2層的激活函數為Softmax，通過最小化損失函數L(θ；X)得到特征表示，然后使用K?means 算法對F層特征進行聚類，僅得到0.356 的聚類精度，且損失函數不易收斂。此F層特征的二維展示如圖4 所示。可以看出F層特征沒有類簇的形狀分布，依舊混亂交織在一起而無法辨識。

圖4 數據集COIL-20 上SCAE 網絡F 層特征的二維展示Fig.4 2-D visualization of F-layer features of SCAE net?work on dataset COIL-20

為了優化該問題，設置D2層激活函數為Re?LU，最小化目標函數J(θ；X；λ)來訓練SCAE 網絡，使用K?means 算法對F層特征進行聚類，聚類精度達到0.749。此時算法的收斂速度快，損失函數的收斂值更低，圖片的重建度也更好，F層特征的聚類精度更高。

針對同樣的參數設置，通過最小化目標函數J(θ；X；λ)訓練ASCAE 網絡，此時ASCAE 方法的聚類精度提高到0.754。另外，圖5 展示了參數λ的不同取值對聚類性能的影響，其具有先增加后減小的趨勢，在λ=20 時ACC 和NMI 達到了最優。后續實驗中均設置λ=20。圖6 給出了F層特征的二維可視化圖。至此，ASCAE 網絡構建完成。從圖6 可以看到，ASCAE 網絡學習到的特征有了類簇的形狀分布，使得K?means 算法提供了較高的聚類精度，但仍有少量類別的特征辨識力較低，因此混雜在其他類別中。圖7 展示了不同拍攝角度的敞篷跑車，可以發現各個角度的敞篷跑車在大小和外形上有很大的差異，不易聚合成一簇。

圖5 數據集COIL-20 上不同λ 值的ASCAE 聚類性能Fig.5 Clustering performance of ASCAE method with dif?ferent λ on dataset COIL-20

圖6 數據集COIL-20 上ASCAE 網絡的F 層特征的二維展示Fig.6 2-D visualization of F-layer features of ASCAE net?work on dataset COIL-20

圖7 不同拍攝角度的敞篷跑車Fig.7 Roadster with different poses

另外，類別不同、外形相似的數據也很容易發生錯誤聚類，如圖8 所示。圖8（a）中的物體從某個角度看均為長方形，即這些物體的全局特征差異性較小，這可能是導致這些數據的特征在二維平面內相互纏繞的重要原因。圖8（b）中，重建圖片的很多細節未被還原，這種模糊性使得重建圖片間的相似性很大。

圖8 類別不同、外形相似的物品重建前后圖片Fig.8 Images before and after reconstruction of objects with similar shapes and different categories

表2 給出了本文兩種網絡對應的聚類方法與文獻［10］中KMS 算法和DEN 算法在數據集COIL?20 上的聚類性能比較。對比發現，本文的對稱網絡SCAE 提供了不錯的特征表示，使得K?means 的聚類精度高于文獻［10］中的兩種算法，而基于非對稱網絡ASCAE 特征表示的聚類精度最高。由于DEN 算法的目標函數包括局部結構和稀疏性，能擴大輸入圖像和特征表示的互信息，因而聚類結果的NMI 值超越了本文方法，但ACC 并不是很好。由此驗證了本文所提方法的SCAE 和ASCAE 網絡在該數據集上有很好的特征表示能力。

表2 4 種算法在數據集COIL?20 上的聚類性能比較Table 2 Comparison of clustering performances of four algorithms on dataset COIL?20

3.2 手寫數字數據集

本組實驗在手寫數字集MNIST 和USPS 上進行。在這2 個數據集上，SCAE 和ASCAE 方法均是通過最小化目標函數J(θ；X；λ)更新網絡權值，然后使用K?means 算法進行聚類，其與文獻［10］中4 種算法的聚類性能比較如表3 所示。

表3 6 種算法在數據集MNIST 及USPS 上的聚類性能比較Table 3 Comparison of clustering performances of six algorithms on datasets MNIST and USPS

由表3 可知，在MNIST 數據集上，聚類方法ASCAE 比SCAE 學習到了更利于聚類的特征表示，使得K?means 提供了0.918 的最高聚類精度。在USPS 數據集上，ASCAE 較SCAE 具有很大優勢，但均不及深度聚類算法IEC 和DEC，ASCAE落后1.4%～3.8%的聚類精度。

在USPS 數據集上，ASCAE 網絡的F層特征的聚類精度和單個數字的聚類精度如圖9 所示。數字0 和6 的聚類精度最高，達到0.907 和0.91；而數字2，3，5 和9 的聚類精度均小于全部數字的聚類精度0.729。

圖9 數據集USPS 上單個數字和全部數字的聚類精度Fig.9 Comparison of clustering accuracy of all digits and in?dividual digit on dataset USPS

為進一步探究ASCAE 方法在USPS 數據集上聚類性能不高的原因，圖10 中給出了手寫數字2，5 和9 的部分圖片。觀察圖10 可以發現，一些手寫數字本身具有類別不確定性，例如，有些手寫數字2 很像數字3 或5，有些手寫數字5 很像6 或3，有些手寫數字9 跟0 或7 的相似性很高。另外書寫順序的不確定性，例如，從左上到左下書寫的數字5對比從右上到左下書寫的數字5 有很大的形變。這些從根源上就有類別不確定性的圖像，使得學習到的特征很難聚合在一起，給聚類帶來了巨大的挑戰。

圖10 數據集USPS 中手寫數字2，5 和9 的部分圖片Fig.10 Some images of handwritten digits 2, 5 and 9 from dataset USPS

圖11，12 給出了ASCAE 網絡在數據集MNIST 和USPS 的F層特征的二維展示。圖11中區域之間有比較明顯的邊界，但是每個區域都有不同顏色的散點。而圖12 的下部分有2 個子區域的邊界不太明顯，辨識度下降。

圖11 數據集MNIST 上ASCAE 網絡的F 層特征的二維展示Fig.11 2-D visualization of F-layer features of ASCAE net?work on dataset MNIST

圖12 數據集USPS 上ASCAE 網絡的F 層特征的二維展示Fig.12 2-D visualization of F-layer features of ASCAE net?work on dataset USPS

3.3 人臉數據集

本組實驗在4 個人臉數據集（CAS?PEAL?R1，BIO?ID，IMM 和UMISTS）上進行，部分圖片見圖13。 基于ASCAE 和SCAE 方法的聚類結果見表4。

圖13 4 個人臉數據集上的部分圖片Fig.13 Some images of four human face datasets

表4 ASCAE 和SCAE 方法在4 個人臉數據集上的聚類性能Table 4 Clustering performance of ASCAE 和 SCAE methods on four human face datasets

由表4 可知，在數據集CAS?PEAL?R1 和IMM上，聚類方法ASCAE 比SCAE 具有更優的聚類性能。圖像背景簡單，大部分為正臉且光線較亮，特征表示對眼睛、嘴巴和鼻子的形狀有較高的辨識度。在UMIST 上，這2 個方法的聚類性能遠遠小于其他3 個數據集。原因可能是人臉視圖有側面和正面，姿勢變化較大。但在BIO?ID 上，SCAE 方法帶來的的聚類結果優于ASCAE。原因可能是圖像有較復雜的室內背景，ASCAE 網絡的3 個全連接層整合局部特征后，使得特征表示的辨識力反而下降了。

3.4 代價分析

ASCAE 網絡多一個全連接層，其網絡參數增加50×50+50=300 個，即空間存儲量增加不大。以數據集MNIST 為例，訓練次數設為200。兩個網絡學習特征的目標損失和運行時間如表5所示，可以看出ASCAE 的運行時間較長，但目標損失收斂值也較小。

表5 ASCAE 和SCAE 網絡在數據集MNIST 上迭代200次的計算代價Table 5 Computational cost of ASCAE and SCAE net?works iterating 200 times on dataset MNIST

4 結論

由于經典自編碼器的特征表示能力有限，使得基于自編碼器的深度聚類方法在復雜圖像數據集上的聚類性能不高。為此，本文提出了一種新的深度聚類方法ASCAE。本文的深度聚類方法通過改善網絡結構和目標損失函數，提取出更有辨識力的聚類特征來提高聚類性能。實驗結果表明，在7個圖像數據集上尤其是圖片簡單、易區分類別的數據集上，聚類方法ASCAE 更能提取到適合聚類的特征表示。但是對姿態形變較大或類別不確定性較大的數據集，其聚類效果仍有提升空間。