注意力機(jī)制和圖卷積神經(jīng)網(wǎng)絡(luò)引導(dǎo)的譜聚類方法

陳容珊，高淑萍，齊小剛

（西安電子科技大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院, 陜西 西安 710071）

聚類是一種通過度量數(shù)據(jù)點(diǎn)之間的相似性對(duì)未標(biāo)記數(shù)據(jù)點(diǎn)進(jìn)行分類的方法。常用的度量數(shù)據(jù)點(diǎn)之間相似性的方法有歐幾里德距離、余弦距離及曼哈頓距離等。經(jīng)典的聚類算法如K-均值聚類[1]、譜聚類[2]、分層聚類[3]等，近年來已廣泛應(yīng)用于各個(gè)領(lǐng)域。然而，經(jīng)典的聚類方法作用于高維數(shù)據(jù)時(shí)性能較差且計(jì)算復(fù)雜度較高[4-5]。受到深度學(xué)習(xí)中一些模型的啟發(fā)，學(xué)者們將深度學(xué)習(xí)與經(jīng)典的聚類算法相結(jié)合提出了深度聚類的概念。

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network,CNNs）作為深度學(xué)習(xí)中一類重要的架構(gòu)，由于其只能作用于傳統(tǒng)的歐幾里德數(shù)據(jù)，且在一般的圖結(jié)構(gòu)中定義局部卷積濾波器和池運(yùn)算符非常困難[6-10]，因此，針對(duì)卷積神經(jīng)網(wǎng)絡(luò)CNNs 的局限性，研究者們提出了圖卷積神經(jīng)網(wǎng)絡(luò)（GCNs)。圖卷積神經(jīng)網(wǎng)絡(luò)(graph neural network, GCNs) 繼承了卷積神經(jīng)網(wǎng)絡(luò)（CNNs）中的池化操作及卷積操作，可以結(jié)合局部特征信息，去除冗余信息[4,11-13]，并且將卷積運(yùn)算擴(kuò)展到更一般的圖結(jié)構(gòu)，可以處理更一般的拓?fù)浣Y(jié)構(gòu)[5,14-17]。鑒于圖卷積神經(jīng)網(wǎng)絡(luò)比卷積神經(jīng)網(wǎng)絡(luò)更強(qiáng)大的優(yōu)勢(shì)，基于圖卷積神經(jīng)網(wǎng)絡(luò)的各類聚類算法成為研究熱點(diǎn)。

經(jīng)典的譜聚類算法的原理是將樣本數(shù)據(jù)映射到與其拓?fù)浣Y(jié)構(gòu)相對(duì)應(yīng)的圖拉普拉斯矩陣的特征空間，通過對(duì)圖拉普拉斯矩陣進(jìn)行特征分解得到相應(yīng)的聚類結(jié)果[18-21]。然而，當(dāng)圖的結(jié)構(gòu)足夠復(fù)雜時(shí)，與圖結(jié)構(gòu)對(duì)應(yīng)的圖拉普拉斯矩陣的維數(shù)會(huì)劇增，進(jìn)行特征分解的代價(jià)過高，不適用于具有復(fù)雜結(jié)構(gòu)的圖數(shù)據(jù)集和大數(shù)據(jù)集的聚類分析，因此，研究者們提出了基于深度學(xué)習(xí)的譜聚類算法并已證明在行為識(shí)別[22-23]、社區(qū)檢測(cè)[24]、圖像處理[25-27]等任務(wù)中體現(xiàn)了良好的性能。有研究者在2020 年提出了基于自編碼器的生物數(shù)據(jù)低秩譜集成聚類算法[28-29]，將深度自動(dòng)編碼器同譜聚類算法結(jié)合應(yīng)用于生物領(lǐng)域[30-31]。2019 年另有研究者提出了基于深度神經(jīng)網(wǎng)絡(luò)的多視圖數(shù)據(jù)光譜聚類[32-33]，利用多個(gè)孿生網(wǎng)絡(luò)（siamese networks）同譜聚類算法結(jié)合并應(yīng)用于多視圖數(shù)據(jù)[34-37]。還有研究者提出了基于圖神經(jīng)網(wǎng)絡(luò)圖池的譜聚類算法，將圖拉普拉斯矩陣特征分解導(dǎo)致的高計(jì)算量問題轉(zhuǎn)化為目標(biāo)函數(shù)的優(yōu)化問題[38]，通過優(yōu)化一個(gè)圖分割問題得到相應(yīng)的聚類結(jié)果，在一定程度上取得了良好的效果[39-40]。然而上述研究成果仍存在局限性，如忽略了節(jié)點(diǎn)之間的關(guān)聯(lián)度信息，使得一些重要性較低的節(jié)點(diǎn)被劃分到同一簇中，導(dǎo)致聚類結(jié)果依然不夠準(zhǔn)確；使用的網(wǎng)絡(luò)太淺，不適用于復(fù)雜的數(shù)據(jù)集；經(jīng)典的圖卷積神經(jīng)網(wǎng)絡(luò)(GCNs)架構(gòu)中涉及的節(jié)點(diǎn)數(shù)量發(fā)生變化時(shí)，需要更新整張圖，導(dǎo)致較高昂的計(jì)算成本和存儲(chǔ)成本[38,41]。

近年來，注意力機(jī)制廣泛應(yīng)用于各類聚類算法中。2021 年提出了基于注意力機(jī)制的深度子空間應(yīng)用于多視圖數(shù)據(jù)的分類，將自注意力機(jī)制引入深度子空間聚類網(wǎng)絡(luò)，通過計(jì)算節(jié)點(diǎn)之間的注意力系數(shù)對(duì)不同的節(jié)點(diǎn)分配不同大小的權(quán)重從而給予不同的關(guān)注[28,33,42]。2021 年提出了具有雙重引導(dǎo)自監(jiān)督的深度注意引導(dǎo)圖聚類，動(dòng)態(tài)融合不同層的多尺度特征從而學(xué)習(xí)更高效的潛在表示[9,40,43]尺度自注意深度聚類方法，利用自注意力機(jī)制融合各模塊生成語義信息的互補(bǔ)特征表示應(yīng)用于具有特征缺失的數(shù)據(jù)[44]。

在前人研究工作的基礎(chǔ)上，本文對(duì)基于圖神經(jīng)網(wǎng)絡(luò)圖池的譜聚類算法進(jìn)行改進(jìn)，提出了一種將注意力機(jī)制與改進(jìn)的圖卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的譜聚類算法(graph attention spectral clustering，GATSC)。該算法首先利用注意力機(jī)制計(jì)算節(jié)點(diǎn)之間的注意力系數(shù)來提高聚類結(jié)果的準(zhǔn)確性；對(duì)傳統(tǒng)的圖卷積神經(jīng)網(wǎng)絡(luò)(GCNs)進(jìn)行改進(jìn)，即在神經(jīng)網(wǎng)絡(luò)的每一層中圍繞每個(gè)節(jié)點(diǎn)選擇一定數(shù)量的鄰居。然后將聚合的鄰居信息與節(jié)點(diǎn)在上一層的表示連接起來，形成節(jié)點(diǎn)在該層的表示，從而降低經(jīng)典的圖神經(jīng)網(wǎng)絡(luò)的存儲(chǔ)成本。通過實(shí)驗(yàn)表明，與其他譜聚類算法相比，本文提出的模型在圖像分類、圖像聚類及圖重構(gòu)中具有顯著優(yōu)勢(shì)。

本文主要貢獻(xiàn)如下：1）本文提出了將注意力機(jī)制與改進(jìn)的GCNs 相結(jié)合的深度譜聚類算法。與現(xiàn)有的方法不同，本文提出的模型在進(jìn)行聚類操作時(shí)需要計(jì)算節(jié)點(diǎn)之間的注意力系數(shù)，通過節(jié)點(diǎn)間的注意力系數(shù)來引導(dǎo)節(jié)點(diǎn)聚類從而提高聚類性能。2）本文模型在進(jìn)行圖重構(gòu)時(shí)，利用注意力機(jī)制和拓?fù)浣Y(jié)構(gòu)信息雙重引導(dǎo)重構(gòu)操作。具體地，將節(jié)點(diǎn)之間的注意力信息和圖的拓?fù)浣Y(jié)構(gòu)信息分別作為權(quán)重添加在損失函數(shù)上，從而不僅在拓?fù)浣Y(jié)構(gòu)上進(jìn)行局部保留，而且考慮節(jié)點(diǎn)之間的關(guān)聯(lián)度，從而使各部分的重構(gòu)邊緣更加清晰。

1 相關(guān)理論知識(shí)

1.1 深度聚類

有研究者在2018 年發(fā)表了一篇關(guān)于深度聚類的綜述，包括深度聚類（deep clustering）被提出的原因、原理及經(jīng)典的一些深度聚類模型[45]。現(xiàn)實(shí)中的大多數(shù)數(shù)據(jù)集往往不具有標(biāo)簽或者存在部分的標(biāo)簽缺失，因此，對(duì)這類數(shù)據(jù)進(jìn)行分類的難度系數(shù)較大。而深度聚類算法利用深度學(xué)習(xí)中的模型將數(shù)據(jù)進(jìn)行降維嵌入至低維的特征空間，然后選擇適當(dāng)?shù)南嗨菩远攘亢瘮?shù)并且制定合理的聚類損失函數(shù)，最終通過訓(xùn)練模型最小化聚類損失從而對(duì)無標(biāo)簽的數(shù)據(jù)進(jìn)行分類。聚類思想見圖1，圖中每一種顏色代表一種數(shù)據(jù)類型。

圖1 理想狀態(tài)下的聚類效果Fig.1 Clustering diagram under ideal condition

1.2 圖卷積神經(jīng)網(wǎng)絡(luò)

由于卷積神經(jīng)網(wǎng)絡(luò)（CNNs）只能作用于歐幾里德域的數(shù)據(jù)，不適用于更一般的圖數(shù)據(jù)，在對(duì)圖數(shù)據(jù)進(jìn)行處理時(shí)效果不佳，因此，有研究者于2019年在ICLR 中發(fā)表了關(guān)于圖卷積神經(jīng)網(wǎng)絡(luò)（GCNs）的文章[46]。GCNs 繼承了卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)，將卷積操作擴(kuò)展到更一般的圖結(jié)構(gòu)中，能夠更好地進(jìn)行圖表示學(xué)習(xí)。具體地講，GCNs 將原始數(shù)據(jù)輸入圖卷積神經(jīng)網(wǎng)絡(luò)后，圖神經(jīng)網(wǎng)絡(luò)利用卷積核聚合一階鄰域內(nèi)所有節(jié)點(diǎn)的特征信息作為中心節(jié)點(diǎn)的潛在特征、利用池化層的池化操作去掉冗余的特征信息，最終學(xué)習(xí)到節(jié)點(diǎn)的高效表示。

1.3 注意力機(jī)制

隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，注意力機(jī)制已成為神經(jīng)網(wǎng)絡(luò)中的一個(gè)重要概念，并在不同領(lǐng)域得到了應(yīng)用和研究。近年來，注意力機(jī)制在語音處理、圖像處理等方面得到了越來越廣泛的應(yīng)用。在許多基于序列的任務(wù)中，注意力機(jī)制已經(jīng)具有極高的準(zhǔn)確性。有研究者在2018 年提出了注意力機(jī)制并結(jié)合圖神經(jīng)網(wǎng)絡(luò)驗(yàn)證了其效果（注意力機(jī)制模型見圖2）[47]。

圖2 注意力機(jī)制模型Fig.2 Attention mechanism model

注意力機(jī)制的核心是計(jì)算不同節(jié)點(diǎn)之間注意力系數(shù)，首先利用卷積操作得到m個(gè)節(jié)點(diǎn)的特征表示，分別記為h1,h2,···,hm，然后利用下式計(jì)算節(jié)點(diǎn)i和節(jié)點(diǎn)j之間的注意力系數(shù)：

式中：a(·):RF′×RF′→R為一個(gè)映射函數(shù)，W是權(quán)重矩陣，表 示節(jié)點(diǎn)i及節(jié)點(diǎn)j之間的關(guān)聯(lián)度，及分別表示節(jié)點(diǎn)i及節(jié)點(diǎn)j進(jìn)行正則化操作后的特征表示， αij利用Softmax 函數(shù)將節(jié)點(diǎn)i及節(jié)點(diǎn)j之間的關(guān)聯(lián)度eij作歸一化處理。

注意力機(jī)制將計(jì)算得到的節(jié)點(diǎn)之間的注意力信息視為權(quán)重，并通過權(quán)重最大的部分來幫助用戶做出決策。然而當(dāng)輸入中不同數(shù)據(jù)點(diǎn)的尺寸不一致時(shí)，往往需要多種類型的卷積塊對(duì)不同尺寸的輸入進(jìn)行處理，當(dāng)卷積塊類型過多時(shí)需要訓(xùn)練大量參數(shù)將導(dǎo)致高昂的計(jì)算成本。注意力機(jī)制不僅充分考慮節(jié)點(diǎn)內(nèi)部的潛在關(guān)系，還能處理具有可變大小的輸入從而極大地降低了計(jì)算成本。當(dāng)注意力機(jī)制被應(yīng)用于計(jì)算一個(gè)序列的表示時(shí),它通常被稱為自注意力（self-attention）或內(nèi)部的關(guān)注, 當(dāng)注意力機(jī)制與遞歸神經(jīng)網(wǎng)絡(luò)(RNN)或其他卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合時(shí)，這種機(jī)制已被證明對(duì)機(jī)器閱讀等任務(wù)很有用[48]

2 本文提出的模型GATSC

現(xiàn)有的深度譜聚類算法存在一定的局限性如：忽略了節(jié)點(diǎn)之間的關(guān)聯(lián)度信息，使得一些重要性較低的節(jié)點(diǎn)被劃分到同一簇中，導(dǎo)致聚類結(jié)果依然不夠準(zhǔn)確；使用的網(wǎng)絡(luò)太淺，不適用于復(fù)雜的數(shù)據(jù)集；經(jīng)典的圖卷積神經(jīng)網(wǎng)絡(luò)(GCNs)架構(gòu)中涉及的節(jié)點(diǎn)數(shù)量發(fā)生變化時(shí)，需要更新整張圖將導(dǎo)致較高昂的計(jì)算成本和存儲(chǔ)成本。因此，本文提出了基于注意力機(jī)制和改進(jìn)的圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)合的譜聚類算法，記為GATSC。該算法與原有的基于圖神經(jīng)網(wǎng)絡(luò)圖池的譜聚類算法（graph neural networks spectral clustering，GNNSC）相比較，降低了迭代過程中的存儲(chǔ)成本，提高聚類準(zhǔn)確性。算法流程見圖3。

圖3 本文提出的模型框架Fig.3 Model of the proposed algorithm

本文基于文獻(xiàn)[39]提出的基于圖神經(jīng)網(wǎng)絡(luò)圖池的譜聚類算法，在原有的模型基礎(chǔ)上增加了注意力機(jī)制，改進(jìn)了聚類損失函數(shù)和重構(gòu)損失函數(shù)。給定一張圖記為G，將G定義為G={V,E}， 其中V表示圖G中所有節(jié)點(diǎn)構(gòu)成的集合，且 |V|=N，V中的每一個(gè)節(jié)點(diǎn)都是一個(gè)F維的向量。E代表圖G中所有 邊 的 集 合。A是 圖G的 鄰 接 矩 陣，A∈RN×N。X是圖G中節(jié)點(diǎn)的特征矩陣，H∈RN×F，H中每一行都是圖G的一個(gè)節(jié)點(diǎn)。

本文提出的模型算法步驟如下：

1)數(shù)據(jù)預(yù)處理。將圖像數(shù)據(jù)進(jìn)行分割，得到各個(gè)節(jié)點(diǎn)的特征信息。

2)學(xué)習(xí)節(jié)點(diǎn)的潛在表示。本文利用改進(jìn)的圖卷積神經(jīng)網(wǎng)絡(luò)，對(duì)于每個(gè)節(jié)點(diǎn)v∈V，聚合節(jié)點(diǎn)v固定數(shù)量的一階鄰居 {u|u∈N(v)}，利用一個(gè)聚合函數(shù)AGGl來進(jìn)行聚合操作，將聚合后的結(jié)果同節(jié)點(diǎn)v在第l-1層 的潛在表示連接后得到節(jié)點(diǎn)v在第l層的潛在表示：

其中u∈N(v)。

需要說明的是， AGGl不是聚合拓?fù)浣Y(jié)構(gòu)意義下的一階鄰居，而是聚合對(duì)中心節(jié)點(diǎn)貢獻(xiàn)大的鄰居節(jié)點(diǎn)，即對(duì)中心節(jié)點(diǎn)重要性高的節(jié)點(diǎn)作為鄰居，其中重要性的大小通過注意力系數(shù)衡量。

3)計(jì)算節(jié)點(diǎn)之間的注意力信息。首先定義節(jié)點(diǎn)i的特征和節(jié)點(diǎn)j的特征的關(guān)聯(lián)度如下：

其中，f是共享Attention 機(jī)制，f:RF×RF→R，W是一個(gè)可訓(xùn)練的權(quán)重矩陣。

為了更好地比較不同節(jié)點(diǎn)特征之間的相關(guān)性，并考慮到每一層的共享Attention 機(jī)制f是被一個(gè)權(quán)重向量參數(shù)W所量化的， β ∈R2F，本文對(duì)關(guān)聯(lián)度作歸一化處理如下。

（a）當(dāng)節(jié)點(diǎn)j屬于節(jié)點(diǎn)i的一階鄰域時(shí)：

（b）當(dāng)節(jié)點(diǎn)j不屬于節(jié)點(diǎn)i的一階鄰域時(shí)：

式中：V是所有節(jié)點(diǎn)特征組成的集合，Vl是節(jié)點(diǎn)l的一階鄰域的特征組成的集合，hi、hj及hk分別為節(jié)點(diǎn)i、 節(jié)點(diǎn)j及節(jié)點(diǎn)k的特征表示，W是權(quán)重矩陣，β是權(quán)重系數(shù)，LeaklyRELU 是激活函數(shù)。

4)利用本文提出的模型進(jìn)行聚類。給出了式（7）的損失函數(shù)，通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到每一次迭代后的最優(yōu)聚類分配結(jié)果。

式中： | |·||F是Frobenius 范數(shù)；U是進(jìn)行軟聚類分配時(shí)的分配矩陣，即uij∈[0,1]，U1K=1N，K為強(qiáng)連通分支的個(gè)數(shù)；為 正則化后的節(jié)點(diǎn)度矩陣；為正則化后的鄰接矩陣，其元素

其 中i≠j。

圖4 給出了模型GATSC 的池化層模型。

圖4 GATSC 的池化層模型Fig.4 Pooling layer model of GATSC

5) 根據(jù)聚類結(jié)果進(jìn)行圖重構(gòu)。利用注意力機(jī)制和拓?fù)湫畔㈦p重引導(dǎo)重構(gòu)操作，既保留了局部信息，又能準(zhǔn)確地勾勒出各部分的邊緣。首先利用每次迭代的聚類分配矩陣對(duì)節(jié)點(diǎn)特征矩陣和鄰接矩陣進(jìn)行迭代操作。每次迭代的鄰接矩陣和節(jié)點(diǎn)特征矩陣計(jì)算如下：

式中：U為軟聚類分配的分配矩陣，H為圖的節(jié)點(diǎn)特征矩陣，為歸一化操作后圖的節(jié)點(diǎn)鄰接矩陣。使用GCNs 的自動(dòng)編碼器進(jìn)行重構(gòu)操作如下：

用兩種方法定義解碼器的重構(gòu)損失，如下所示：

或者

最后將節(jié)點(diǎn)之間的注意力系數(shù)和拓?fù)浣Y(jié)構(gòu)信息分別作為權(quán)重引入式（10）或（11），計(jì)算公式如下：

本段對(duì)提出的模型的計(jì)算復(fù)雜度進(jìn)行分析。本文采用改進(jìn)的GCNs 中的池化層計(jì)算聚類分配矩陣U，其中U∈RK×K。計(jì)算復(fù)雜度來源于聚類損失與正則化損失，由式(7)可知聚類損失主要由聚類分配矩陣松弛后的決策鄰接矩陣構(gòu)成，正則化損失主要由聚類分配矩陣構(gòu)成，因此，主要計(jì)算復(fù)雜度為O(NK(K+N))。由于圖中并非所有節(jié)點(diǎn)都高度相關(guān)，可以設(shè)置一定的閾值，在每一次迭代后，將低于閾值的節(jié)點(diǎn)之間的關(guān)聯(lián)度可視為0，即在模型的每次訓(xùn)練過程中會(huì)丟棄掉一些相關(guān)度不高的節(jié)點(diǎn)之間的邊，從而對(duì)松弛后的節(jié)點(diǎn)鄰接矩陣進(jìn)行降維，最終計(jì)算復(fù)雜度應(yīng)小于O(NK(K+N))。

3 實(shí)驗(yàn)與分析

在本節(jié)中，將本文提出的模型與無注意力引導(dǎo)的深度譜聚類模型GNNSC 進(jìn)行比較。本實(shí)驗(yàn)每個(gè)部分的具體實(shí)現(xiàn)建立在Spectral、Tensorflow、Pytorch 等架構(gòu)上。

3.1 無監(jiān)督聚類實(shí)驗(yàn)及分析

3.1.1 引文網(wǎng)絡(luò)Cora、Citeseer 及Pubmed 上的聚類比較

首先考慮了在3 個(gè)引文網(wǎng)絡(luò)Cora、Citeseer 及Pubmed 上的聚類任務(wù)。這3 個(gè)引文網(wǎng)絡(luò)中的節(jié)點(diǎn)是各類文獻(xiàn)的特征向量構(gòu)成的集合，這些特征向量包含文獻(xiàn)的年份、作者、科目等信息。節(jié)點(diǎn)之間的邊被定義為文獻(xiàn)之間引用或者被引用的關(guān)系，且這種關(guān)系利用二進(jìn)制來表示，0 代表沒有引用關(guān)系，1 代表具有引用關(guān)系。考慮到兩種文獻(xiàn)之間或許沒有直接的引用關(guān)系，但是可能存在間接的引用關(guān)系。本文利用注意力引導(dǎo)聚類可以關(guān)注到多跳節(jié)點(diǎn)之間的相關(guān)性。每個(gè)節(jié)點(diǎn)都被標(biāo)記為文檔類型，對(duì)各個(gè)文檔類型進(jìn)行聚類。利用NMI 及CS 兩種評(píng)價(jià)指標(biāo)來評(píng)估聚類效果，其中表示正則化的互信息，表示完整性得分。

將本文GATSC 與GNNSC、譜聚類（SC）、基于可微分池化操作的深度譜聚類（DiffPool）進(jìn)行對(duì)比（見表1）。由表1 可以看出，本文提出的模型在Cora、Citeseer 及Pubmed 3 個(gè)引文網(wǎng)絡(luò)上的NMI 得分優(yōu)于SC 及DiffPool 兩個(gè)模型，表明本文選取的池化層類型更優(yōu)。而本文提出的模型的NMI 得分優(yōu)于GNNSC 模型表明了注意力機(jī)制的強(qiáng)大性。GNNSC 模型沒有充分考慮節(jié)點(diǎn)之間的注意力信息，僅利用節(jié)點(diǎn)的拓?fù)湫畔ふ覐?qiáng)連通分支，進(jìn)而將節(jié)點(diǎn)進(jìn)行分類。圖5 及圖6 分別給出了本文提出的模型與GNNSC 的NMI 值隨著迭代次數(shù)的變化、三類損失函數(shù)隨著迭代次數(shù)的變化的曲線圖，顯示出本文提出的模型獲得了更加穩(wěn)定的集群性能，且迭代收斂的速度更快。

表1 對(duì)不同的引文網(wǎng)絡(luò)節(jié)點(diǎn)聚類得到的NMI 值和CS 值Table 1 NMI value and CS value obtained by clustering different citation network nodes

圖5 本文提出的模型在Cora 數(shù)據(jù)集上的無監(jiān)督損失及NMI 值Fig.5 Unsupervised loss of proposed model and NMI value on Cora dataset

圖6 GNNSC 在Cora 數(shù)據(jù)集上的無監(jiān)督損失及NMI 值Fig.6 Unsupervised loss of GNNSC and NMI value on Cora dataset

3.1.2 圖像分割聚類比較

將本文提出的模型應(yīng)用于圖像分割任務(wù)。首先對(duì)原圖像進(jìn)行過分割操作，節(jié)點(diǎn)特征由過分割后的圖像的各個(gè)區(qū)域的平均值和不同顏色組成，設(shè)置聚類數(shù)量為4，實(shí)驗(yàn)結(jié)果如圖7 所示。實(shí)驗(yàn)結(jié)果顯示，GNNSC 總體效果良好，但是圖像中各個(gè)邊緣不夠清晰，存在一定的聚類誤差。本文提出的模型中由于節(jié)點(diǎn)之間的相似性不再純粹利用拓?fù)渚嚯x來衡量，因此圖像中每個(gè)部分的邊緣會(huì)被劃分地更清楚，同時(shí)也減少了一定的聚類錯(cuò)誤。

圖7 圖像分割任務(wù)效果Fig.7 Results of image segmentation

3.2 圖重構(gòu)實(shí)驗(yàn)及分析

本文利用注意力機(jī)制計(jì)算節(jié)點(diǎn)之間的注意力系數(shù)，設(shè)計(jì)了基于注意力信息和拓?fù)湫畔㈦p重引導(dǎo)的自動(dòng)編碼器，并通過最小化重構(gòu)損失來重建原始輸入的節(jié)點(diǎn)特征矩陣及原始輸入的鄰接矩陣，保留25%的原始節(jié)點(diǎn)。本文GATSC 及GNNSC圖重構(gòu)結(jié)果比較如圖8。

圖8 環(huán)形圖重構(gòu)效果Fig.8 Results of ring graph reconstruction

由圖8 可以看出，本文提出的模型對(duì)于環(huán)形圖的重構(gòu)效果更優(yōu)。雖然GNNSC 對(duì)于環(huán)形的重構(gòu)較好，但是在環(huán)形的邊緣重構(gòu)效果較差。

本文提出的模型及GNNSC 應(yīng)用于直方圖的重構(gòu)（見圖9）。結(jié)果表明，本文提出的模型對(duì)于直方圖的重構(gòu)效果更優(yōu)。GNNSC 在重構(gòu)直方圖時(shí)，內(nèi)部節(jié)點(diǎn)重構(gòu)較好，但是對(duì)于邊緣的節(jié)點(diǎn)重構(gòu)效果不佳。

圖9 方形圖的重構(gòu)效果Fig.9 Results of grid graph reconstruction

3.3 有監(jiān)督的圖像分類實(shí)驗(yàn)及分析

在本節(jié)實(shí)驗(yàn)中，將本文提出的模型及其他模型應(yīng)用于有監(jiān)督的圖分類任務(wù)進(jìn)行比較分析。本文考慮了WL、Dense、No-pool、Graclus、NDP、DiffPool、Top-K、SAGPool 及GNNSC 9 種模型，采用了Mutagenicity、Proteins、DD、COLLAB 及Reddit-Binary 5 種圖分類數(shù)據(jù)集，測(cè)試了10 種模型的分類精度。對(duì)于數(shù)據(jù)集中沒有特征的圖數(shù)據(jù)，借鑒GNNSC 模型中的實(shí)驗(yàn)，將每個(gè)節(jié)點(diǎn)的度信息和聚類系數(shù)作為節(jié)點(diǎn)的特征，使用十折進(jìn)行訓(xùn)練分割或測(cè)試分割來評(píng)估模型性能，在每個(gè)圖像分割任務(wù)的每次折疊中使用訓(xùn)練集的10%用于驗(yàn)證模型的優(yōu)劣性。使用10%的訓(xùn)練集作為早期停止的驗(yàn)證。為了公平比較實(shí)驗(yàn)結(jié)果，本節(jié)中采用一致的網(wǎng)絡(luò)架構(gòu)。將GATSC 與Graclus、NDP、Top-K、DiffPool 及SAGPool 進(jìn)行分類效果比較時(shí)，只改變了池化層的選擇（結(jié)果見表2）。將WL、Dense、No-pool 與GATSC 模型進(jìn)行對(duì)比，是為了比較有無池化操作是否對(duì)分類效果有影響（結(jié)果見表2）。

表2 無監(jiān)督的圖分類精度Table 2 Unsupervised accuracy of graph classification

表2 給出了10 種模型對(duì)于有監(jiān)督的圖分類任務(wù)的效果。可以看出，與其他方法相比，本文提出的模型在5 種圖分類數(shù)據(jù)集上總能取得良好的結(jié)果。同時(shí)我們也注意到幾個(gè)細(xì)節(jié)，有池化操作的模型不總是優(yōu)于無池化操作的模型，因?yàn)槌鼗僮鬟x擇不當(dāng)可能會(huì)適得其反；除此之外，GNNSC 在Reddit-Binary 數(shù)據(jù)集上也具有極好的分類精度。綜上，本文提出的模型在有監(jiān)督和無監(jiān)督任務(wù)中均具有良好的性能。

4 結(jié)束語

針對(duì)圖卷積神經(jīng)網(wǎng)絡(luò)的譜聚類算法具有局限性，本文提出了基于注意力機(jī)制引導(dǎo)的譜聚類模型GATSC。與無注意力引導(dǎo)的譜聚類模型相比較，本文的模型克服了基于模型的池方法和無模型的拉普拉斯矩陣分解方法的缺點(diǎn)，利用注意力機(jī)制提高了聚類的準(zhǔn)確性、利用改進(jìn)的圖卷積神經(jīng)網(wǎng)絡(luò)降低了存儲(chǔ)成本。與傳統(tǒng)的解碼器重構(gòu)相比較，本文的重構(gòu)模塊降低了重構(gòu)錯(cuò)誤，提高了重構(gòu)準(zhǔn)確性，緩解了原始重構(gòu)效果中邊緣不清晰的缺陷。實(shí)驗(yàn)結(jié)果表明，本文提出的模型在Cora、Citeseer、Pubmed 3 個(gè)引文網(wǎng)絡(luò)聚類、在環(huán)形圖和方形圖上重構(gòu)、在Mutagenicity、Proteins、DD、COLLAB 及Reddit-Binary 5 種圖分類數(shù)據(jù)集上圖分類，均顯示出良好的性能。然而在進(jìn)行有監(jiān)督分類實(shí)驗(yàn)時(shí)，本文提出的模型在Reddit-Binary 數(shù)據(jù)集上表現(xiàn)一般，且不適用于具有多樣性數(shù)據(jù)集的聚類，因此，下一步的工作是對(duì)多樣性數(shù)據(jù)集進(jìn)行深度聚類研究。