基于多級(jí)結(jié)構(gòu)的深度子空間聚類方法

摘? 要：提出了一種新的深度子空間聚類方法，使用了卷積自編碼器將輸入圖像轉(zhuǎn)換為位于線性子空間上的表示。通過結(jié)合自編碼器提取的低階和高階信息來促進(jìn)特征學(xué)習(xí)過程，在編碼器的不同層級(jí)生成多組自我表示和信息表示。將得到的多級(jí)信息融合得到統(tǒng)一的系數(shù)矩陣并用于后續(xù)的聚類。通過多組實(shí)驗(yàn)驗(yàn)證了上述創(chuàng)新的有效性，在三個(gè)經(jīng)典數(shù)據(jù)集：Coil20，ORL和Extended Yale B上，聚類精度分別達(dá)到95.38%、87.25%以及97.58%。相較于其他主流方法，能有效提高聚類準(zhǔn)確性，并具有較強(qiáng)的魯棒性。

關(guān)鍵詞：子空間聚類;多級(jí)結(jié)構(gòu);自編碼器

中圖分類號(hào)：TP181? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2022）06-0100-04

Deep Subspace Clustering Method Based on the Multi-level Structure

YU Wanrong

（School of Artificial Intelligence and Computer Science， Jiangnan University， Wuxi? 214122， China）

Abstract： A new deep subspace clustering method that uses a convolutional autoencoder to transform an input image into a representation that lies on a linear subspace is proposed. The feature learning process is facilitated by combining low-order and high-order information extracted by the autoencoders， and multiple sets of self-representations and information representations are generated at different levels of the encoder. The obtained multi-level information is fused to obtain a unified coefficient matrix and use it for subsequent clustering. The effectiveness of the above innovations is verified through multiple experiments on three classic datasets， including Coil20， ORL and Extended Yale B. And the clustering accuracies reach 95.38%， 87.25% and 97.58% respectively. Compared with other mainstream methods， this method can effectively improve the clustering accuracy and it has strong robustness.

Keywords： subspace clustering; multi-level structure; autoencoder

0? 引? 言

高維數(shù)據(jù)處理已成為機(jī)器學(xué)習(xí)和模式識(shí)別領(lǐng)域具有代表性的任務(wù)之一。高維數(shù)據(jù)結(jié)構(gòu)的一個(gè)重要特征是其通常近似的存在于低維子空間中，因此恢復(fù)數(shù)據(jù)的低維結(jié)構(gòu)不僅有助于減少算法的計(jì)算費(fèi)用和內(nèi)存需求，而且能夠減少高維噪聲的影響，提推理、學(xué)習(xí)以及識(shí)別等任務(wù)的性能。

當(dāng)所有數(shù)據(jù)點(diǎn)都位于單個(gè)子空間中時(shí)，問題可以被設(shè)置為尋找子空間的基和數(shù)據(jù)點(diǎn)的低維表示。子空間聚類問題基于自表示性質(zhì)，即聚類問題中每一簇可以看成是一個(gè)子空間，將取自于多個(gè)子空間并集的數(shù)據(jù)點(diǎn)劃分到潛在的子空間中。

子空間聚類作為聚類分析的重點(diǎn)和難點(diǎn)，在計(jì)算機(jī)視覺（如動(dòng)態(tài)分割[1]、圖像分割[2]、目標(biāo)跟蹤[3]以及視頻對(duì)象的時(shí)域分割[4]等）、圖像處理（如圖像的表示和壓縮等）等領(lǐng)域也已經(jīng)有了許多成功的應(yīng)用。

盡管自表示性質(zhì)在各類方法中起著關(guān)鍵作用，但可能無法滿足樣本位于非線性子空間的情況，例如，在非均勻照明和不同姿勢下拍攝的人臉圖像[5]。與傳統(tǒng)方法相比，深度子空間聚類方法可以更好地利用樣本點(diǎn)之間的非線性關(guān)系，從而獲得卓越的性能，特別是當(dāng)樣本不一定滿足自表示屬性的復(fù)雜情形下。

在本文中，我們提出了一種新的基于深度聚類的方法，利用卷積自編碼器來解決子空間聚類問題。在編碼器和解碼器的相應(yīng)層之間添加多個(gè)全連接線性層，利用編碼器的多級(jí)特征進(jìn)行聚類。本文也探究了層數(shù)對(duì)于聚類效果的影響。

1? 相關(guān)工作

1.1? 自表示方法

自表示特征反映樣本間的內(nèi)在關(guān)系，被廣泛用于圖像處理、特征選擇和深度學(xué)習(xí)。在現(xiàn)存的子空間聚類方法中，基于自表示模型的方法由于其計(jì)算的有效性以及在實(shí)際應(yīng)用中較好的性能而得到了廣泛關(guān)注。自表示性質(zhì)[6]指的是：取自多元線性子空間{Si}i=1，…，K的數(shù)據(jù)點(diǎn){xi}i=1，…，N可以由同一子空間中的其他數(shù)據(jù)點(diǎn)的線性組合來表示。

假設(shè)數(shù)據(jù)矩陣X=[x1，…，xN]∈?D×N，其中{xi}i=1，…，N，xi可以被表示為：

xi=Xci? （1）21C96A00-9883-4E7B-8B98-EF57E4C72B5F

其中ci∈?N是系數(shù)矢量。將所有數(shù)據(jù)點(diǎn)按列排列在數(shù)據(jù)矩陣X中，則（1）可以寫成：

X=XC? ?（2）

其中C∈?N×N是系數(shù)矩陣。按文獻(xiàn)[6]所述，在子空間相互獨(dú)立的假設(shè)下，通過最小化C的范數(shù)，可以保證C呈區(qū)塊對(duì)角化結(jié)構(gòu)，即當(dāng)且僅當(dāng)xi和xj在同一子空間時(shí)cij的值不為零。這樣就可以將系數(shù)矩陣C用作譜聚類的輸入來構(gòu)建關(guān)聯(lián)矩陣。

為了得到更加合適的C，現(xiàn)存的子空間聚類方法利用了各種正則化，比如稀疏和低秩[7]。

1.2? 深度子空間聚類

最近，深度自編碼器也被用于初始化深度嵌入網(wǎng)絡(luò)以進(jìn)行無監(jiān)督聚類[8]，例如，在自編碼器模型的編碼器部分加入聚類層的深度嵌入聚類（Deep Embedded Clustering， DEC）[9]以及Yazhou Ren等人提出基于深度密度的圖像聚類算法（Deep density-based image clustering， DDC）[10]。

文獻(xiàn)[5]中提出了一種有效的子空間聚類問題深度方法，稱為深度子空間聚類（DSC），它采用深度卷積自編碼器來學(xué)習(xí)潛在表示，并使用一種新穎的自表示層來強(qiáng)制它們分布在線性子空間的并集上。

DSC的目的是訓(xùn)練一個(gè)深度自編碼器，使得它的潛在表示能夠很好地適應(yīng)子空間聚類，因此引入一個(gè)起到自表示作用的新的網(wǎng)絡(luò)層，使網(wǎng)絡(luò)直接學(xué)習(xí)得到關(guān)聯(lián)矩陣。

2? 方法設(shè)計(jì)

{xi}i=1，…，N∈?D是一組取自?D中K個(gè)不同子空間的并集的N個(gè)非線性樣本點(diǎn)。DSC算法[5]介紹了一個(gè)包含L層的卷積自編碼器來挖掘數(shù)據(jù)的潛在表示，并在編碼器和解碼器之間添加一個(gè)全連接層來實(shí)現(xiàn)自表示的功能。

具體來看，用Θ={Θe，C，Θd}表示自編碼器的參數(shù)，Θe和Θd分別表示編碼器和解碼器的參數(shù)，C是新增的全連接層的參數(shù)，被當(dāng)作自表示矩陣。表示編碼器的輸出，即數(shù)據(jù)矩陣X的潛在表示。表示由自編碼器重構(gòu)的數(shù)據(jù)。新的損失函數(shù)定義為：

（6）

文獻(xiàn)[11]使用反向傳播方法和譜聚類算法來找到使得式（6）最小化的解并得到最終的聚類結(jié)果。Θ可以通過反向傳播進(jìn)行更新，使得損失函數(shù)達(dá)到最小值。

該網(wǎng)絡(luò)由三部分組成：編碼器、自表示層和解碼器，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。每個(gè)輸入圖像由編碼器卷積層映射成一個(gè)潛在矢量zi，如圖1中圓點(diǎn)所示。在自表示層，節(jié)點(diǎn)由線性權(quán)重進(jìn)行全連接。然后，潛在矢量通過解碼器反卷積層映射回原始圖像空間。

由公式（6）可以看出，DSC算法只依賴隱性變量進(jìn)行聚類。我們希望同時(shí)利用自編碼器的高階和低階信息，以學(xué)習(xí)更多信息的子空間聚類表示。編碼器的不同級(jí)別的特征，表示為，輸入到全連接層，這些層的輸出被饋送到解碼器層。這樣允許解碼器重用低階信息來產(chǎn)生更準(zhǔn)確地輸入數(shù)據(jù)重建，這反過來又可以提高整體聚類性能。該多級(jí)深度聚類框架，通過構(gòu)建多級(jí)數(shù)據(jù)共享的單個(gè)系數(shù)矩陣來聯(lián)合學(xué)習(xí)各級(jí)的子空間表示，同時(shí)形成稀疏性表示，并利用新建系數(shù)矩陣來融合各個(gè)層級(jí)學(xué)習(xí)到的系數(shù)矩陣，作為譜聚類方法的輸入。損失函數(shù)如下：

（7）

其中Al，l=1，2，…，L，表示自編碼器每一層的自表示層學(xué)習(xí)得到的權(quán)重矩陣，即其系數(shù)矩陣;A表示由各個(gè)層的系數(shù)矩陣整合得到的完整系數(shù)矩陣。

然后通過反向傳播更新網(wǎng)絡(luò)參數(shù)，在得到系數(shù)矩陣C之后，用下列公式建立反映各數(shù)據(jù)點(diǎn)之間相互關(guān)系的關(guān)聯(lián)矩陣：

（8）

在此之后，利用譜聚類恢復(fù)潛在子空間并把樣本聚類到它們對(duì)應(yīng)的子空間中。

3? 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證本文提出的方法的有效性，本文在數(shù)據(jù)集Coil20、ORL以及Extended Yale B上進(jìn)行了大量實(shí)驗(yàn)，與下列方法進(jìn)行了對(duì)比：稀疏子空間聚類（SSC）[12]、Kernel Sparse Subspace Clustering（KSSC）[11]、Efficient Dense Subspace Clustering（EDSC）[12]以及Deep Subspace Clustering（DSC）[5]。

本部分將展示對(duì)比實(shí)驗(yàn)和網(wǎng)絡(luò)層數(shù)探索實(shí)驗(yàn)的結(jié)果。

實(shí)驗(yàn)中所有方法均在CPU為2.90 GHz，內(nèi)存為8 GB，操作系統(tǒng)為64位Windows操作系統(tǒng)，開發(fā)環(huán)境為基于Python語言的Pytorch框架。參照文獻(xiàn)[8]和[5]，batchsize設(shè)置為樣本數(shù)，Adam優(yōu)化器參數(shù)β1和β2分別設(shè)置為0.9和0.999，學(xué)習(xí)率設(shè)置為0.01。

3.1? 對(duì)比實(shí)驗(yàn)

3.1.1? Coil20數(shù)據(jù)集

該數(shù)據(jù)集包含1 440張灰度圖像，涉及20種目標(biāo)，每個(gè)目標(biāo)72張圖像。該數(shù)據(jù)集部分樣本如圖2（a）所示。按照參考文獻(xiàn)[5]，將全部圖像降采樣至大小為32×32。

在Coil20數(shù)據(jù)集上與其他實(shí)驗(yàn)的對(duì)比結(jié)果如表1所示?？梢钥闯?，三層網(wǎng)絡(luò)結(jié)構(gòu)的實(shí)驗(yàn)結(jié)果在所有對(duì)比方法中表現(xiàn)最好，聚類精度為95.38%。

3.1.2? ORL數(shù)據(jù)集

上述數(shù)據(jù)集為物體數(shù)據(jù)集，為了體現(xiàn)方法的普遍性，作者選擇了人臉數(shù)據(jù)集進(jìn)一步實(shí)驗(yàn)。ORL數(shù)據(jù)集由大小為112×92，從40個(gè)人采集到的400張圖片構(gòu)成，每一類包含10張圖。該數(shù)據(jù)集的部分樣本如圖2（b）所示。

在ORL數(shù)據(jù)集上與其他實(shí)驗(yàn)的對(duì)比結(jié)果如表2所示。由表可知，三層網(wǎng)絡(luò)結(jié)構(gòu)的深度子空間聚類方法與其他對(duì)比方法相比表現(xiàn)最好，聚類精度為87.25%。

3.1.3? Extended Yale B數(shù)據(jù)集

Extended Yale B數(shù)據(jù)集包含2 432張采集到的38個(gè)人的正面圖像，每一類包含64張圖片。部分樣本如圖2（c）所示。21C96A00-9883-4E7B-8B98-EF57E4C72B5F

對(duì)于不同類別數(shù)K∈{10，20，30，38}，分別進(jìn)行了多次實(shí)驗(yàn)以測試該方法的魯棒性，按照文獻(xiàn)[5]的實(shí)驗(yàn)方式，首先將各個(gè)類別按1 至38標(biāo)號(hào)，然后取所有連續(xù)的K個(gè)類別進(jìn)行39-K次實(shí)驗(yàn)并取平均值。

在Extended Yale B數(shù)據(jù)集上與其他方法的對(duì)比結(jié)果如表3所示。

該方法在各類實(shí)驗(yàn)中均取得了比其他方法更高的精度，并且可以看出，其他方法的表現(xiàn)隨類別數(shù)K的增加而表現(xiàn)出明顯的下降趨勢，而本文提出的方法則相對(duì)穩(wěn)定。具體來看，三層網(wǎng)絡(luò)結(jié)構(gòu)的深度子空間聚類方法表現(xiàn)最佳，在各組實(shí)驗(yàn)中聚類精度分別達(dá)到98.59%、98.44%、97.66%和97.58%。

3.2? 網(wǎng)絡(luò)層數(shù)探索實(shí)驗(yàn)

為了驗(yàn)證本文提出的多層結(jié)構(gòu)的有效性，對(duì)網(wǎng)絡(luò)層數(shù)的不同設(shè)置進(jìn)行對(duì)比實(shí)驗(yàn)，具體設(shè)置為一層、兩層和三層。對(duì)于三層網(wǎng)絡(luò)，使用公式7所表示的損失函數(shù);對(duì)于兩層網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，使用公式7所表示的損失函數(shù);對(duì)于一層網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，且由于不需要整合系數(shù)矩陣，故采用如下?lián)p失函數(shù)：

（9）

具體來看，以O(shè)RL數(shù)據(jù)集為例，一層網(wǎng)絡(luò)結(jié)構(gòu)的聚類精度為85.5%，兩層網(wǎng)絡(luò)結(jié)構(gòu)的聚類精度為86.25%，三層網(wǎng)絡(luò)結(jié)構(gòu)的聚類精度為87.25%。可見，隨著網(wǎng)絡(luò)層數(shù)的增加，實(shí)驗(yàn)結(jié)果會(huì)有所提高，驗(yàn)證了多層網(wǎng)絡(luò)的有效性。

4? 結(jié)? 論

本文提出了一種新的深度子空間聚類方法，該方法使用卷積自編碼器將輸入圖像轉(zhuǎn)換為位于線性子空間集合上的新的表示。首先在編碼器層和它們相應(yīng)的解碼器層之間插入多個(gè)全連接的線性層，以促進(jìn)學(xué)習(xí)得到更有效的子空間聚類表示。這些連接層通過結(jié)合低級(jí)和高級(jí)信息來促進(jìn)特征學(xué)習(xí)過程，以在編碼器的不同級(jí)別生成多組自表示和信息表示。接著，將得到的多級(jí)信息融合為一個(gè)整體，得到統(tǒng)一的系數(shù)矩陣。本文在聚類方法經(jīng)典的三個(gè)數(shù)據(jù)集分別進(jìn)行了實(shí)驗(yàn)，物體數(shù)據(jù)集Coil20，以及人臉數(shù)據(jù)集ORL和Extended Yale B，實(shí)驗(yàn)驗(yàn)證了多級(jí)系數(shù)矩陣整合方法的有效性和多級(jí)結(jié)構(gòu)的有效性。

參考文獻(xiàn)：

[1] 張紅穎，賀鵬藝，王匯三.基于改進(jìn)SiamFC的實(shí)時(shí)目標(biāo)跟蹤算法[J].激光與光電子學(xué)進(jìn)展，2021，58（6）：308-316.

[2] 黃志標(biāo)，姚宇.基于像素聚類的超聲圖像分割[J].計(jì)算機(jī)應(yīng)用，2017，37（2）：569-573.

[3] 鄒武合，張雷，戴寧.基于關(guān)鍵姿勢的單次學(xué)習(xí)動(dòng)作識(shí)別[J].半導(dǎo)體光電，2015，36（6）：999-1005.

[4] 張愛華，雷小亞，陳曉雷，等.基于細(xì)胞神經(jīng)網(wǎng)絡(luò)的快速手語視頻分割方法[J].計(jì)算機(jī)應(yīng)用，2013，33（2）：503-506.

[5] JI P，ZHANG T，LI H D，et al.Deep Subspace Clustering Networks [C]//31st Conference on Neural Information Processing Systems （NIPS 2017）.Long Beach：CURRAN ASSOCIATES.INC，2017：24-33.

[6] ELHAMIFAR E，VIDAL R. Sparse Subspace Clustering：Algorithm，Theory，and Applications [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（11）：2765-2781.

[7] LIU G，LIN Z，YAN S，et al. Robust Recovery of Subspace Structures by Low-Rank Representation [J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2013，35（1）：171-184.

[8] LU C Y，MIN H，ZHAO Z Q，et al. Robust and Efficient Subspace Segmentation via Least Squares Regression [C]// Proceedings of the European Conference on Computer Vision. Berlin，Germany：Springer，2012，7：347-360.

[9] XIE J，GIRSHICK R，F(xiàn)ARHADI A. Unsupervised Deep Embedding for Clustering Analysis [C]//Proceedings of the 36th International Conference on Machine Learning. Long Beach：JMLR，2016：478-487.

[10] REN Y Z，WANG N，Li M X，XU Z L. Deep Density-based Image Clustering [J].Knowledge-Based Systems，2020（197）：105841.

[11] PATEL V M，VIDAL R. Kernel Sparse Subspace Clustering [C]//Proceedings of the IEEE International Conference on Image Processing. Paris France：IEEE，2014：2849-2853.

[12] JI P，SALZMANN M，LI H D. Efficient Dense Subspace Clustering [C]//Proceedings of the IEEE Winter Conference on Applications of Computer Vision. Steamboat Springs：IEEE，2014：461-468.

作者簡介：郁萬蓉（1997.08—），女，漢族，安徽蚌埠人，碩士研究生在讀，主要研究方向：子空間聚類、模式識(shí)別。

收稿日期：2022-02-0921C96A00-9883-4E7B-8B98-EF57E4C72B5F