一種改進(jìn)的圖卷積網(wǎng)絡(luò)半監(jiān)督節(jié)點(diǎn)分類(lèi)

薛 磊 農(nóng)麗萍 張文輝* 林基明,2 王俊義

1(桂林電子科技大學(xué)信息與通信學(xué)院 廣西 桂林 541004) 2(西安電子科技大學(xué)通信工程學(xué)院 陜西 西安 710071) 3(廣西師范大學(xué)物理科學(xué)與技術(shù)學(xué)院 廣西 桂林 541004)

0 引 言

近年來(lái)，深度學(xué)習(xí)在越來(lái)越多的領(lǐng)域取得了顯著的成績(jī)，特別是在語(yǔ)音識(shí)別[1]、自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)[2]等領(lǐng)域。深度學(xué)習(xí)在歐幾里得數(shù)據(jù)上取得了巨大的成功，但是越來(lái)越多的應(yīng)用需要對(duì)非歐幾里得數(shù)據(jù)如圖或流形進(jìn)行分析。例如，在電子商務(wù)中，一個(gè)基于圖的學(xué)習(xí)系統(tǒng)能夠利用用戶與商品之間的交互做出推薦；在化學(xué)中，需要識(shí)別被建模為圖結(jié)構(gòu)的分子的生物活性以發(fā)現(xiàn)新藥物；在引文網(wǎng)絡(luò)中，論文需要通過(guò)被引用的關(guān)系相互連接，然后通過(guò)挖掘關(guān)系被分成不同的組。挖掘這些圖結(jié)構(gòu)數(shù)據(jù)隱含的信息，成為當(dāng)今學(xué)者研究的熱門(mén)話題。

眾所周知，深度學(xué)習(xí)模型一般需要大量的標(biāo)記數(shù)據(jù)，但標(biāo)記訓(xùn)練數(shù)據(jù)的代價(jià)很大。為了減少用于標(biāo)記訓(xùn)練數(shù)據(jù)的數(shù)據(jù)，半監(jiān)督學(xué)習(xí)開(kāi)始興起，它旨在從每個(gè)類(lèi)只有很少的樣本中學(xué)習(xí)一個(gè)分類(lèi)模型。圖結(jié)構(gòu)數(shù)據(jù)分布不規(guī)則，且每個(gè)節(jié)點(diǎn)有不同數(shù)量的近鄰節(jié)點(diǎn)，一些重要的操作，如卷積適用于規(guī)則結(jié)構(gòu)數(shù)據(jù)(圖片和視頻)，但是不適用于圖結(jié)構(gòu)數(shù)據(jù)。此外，現(xiàn)有的深度學(xué)習(xí)算法假設(shè)數(shù)據(jù)之間是相互獨(dú)立的，但是圖結(jié)構(gòu)數(shù)據(jù)中每個(gè)數(shù)據(jù)節(jié)點(diǎn)都通過(guò)一些引用、交互等依賴關(guān)系與其近鄰節(jié)點(diǎn)相關(guān)聯(lián)。可見(jiàn)圖結(jié)構(gòu)數(shù)據(jù)的復(fù)雜性和標(biāo)記訓(xùn)練數(shù)據(jù)的代價(jià)給現(xiàn)有的深度學(xué)習(xí)算法帶來(lái)了巨大的挑戰(zhàn)。最早嘗試將神經(jīng)網(wǎng)絡(luò)推廣到圖是Gori[3]和Scarselli[4]等，主要通過(guò)迭代的方式，利用循環(huán)神經(jīng)結(jié)構(gòu)傳播近鄰節(jié)點(diǎn)信息，聚合到一個(gè)穩(wěn)定的不動(dòng)點(diǎn)，來(lái)學(xué)習(xí)目標(biāo)節(jié)點(diǎn)的表示。然而這種方法在當(dāng)時(shí)幾乎沒(méi)有引起注意，直到最近才被重新發(fā)現(xiàn)[5-6]。2013年，Bruna等[7]首次將譜圖理論和深度學(xué)習(xí)的思想結(jié)合起來(lái)，提出了圖卷積神經(jīng)網(wǎng)絡(luò)(GCN)的方法，使用了譜域中卷積的定義。該方法雖然具有概念上的重要性，卻帶來(lái)了顯著的計(jì)算缺陷，使得這些方法達(dá)不到真正有用。Defferrard等[8]提出了一種有效的濾波方案，通過(guò)使用K階近似的切比雪夫多項(xiàng)式來(lái)顯式計(jì)算拉普拉斯特征向量，該網(wǎng)絡(luò)訓(xùn)練效率低，并且計(jì)算復(fù)雜度高。Kipf等[9]采用近似一階頻譜圖卷積的方法，直接在圖結(jié)構(gòu)數(shù)據(jù)的模型上進(jìn)行操作，提出一種簡(jiǎn)單高效的傳播模型，能夠處理節(jié)點(diǎn)的半監(jiān)督分類(lèi)問(wèn)題，但是由于模型較淺不能捕獲圖的全局結(jié)構(gòu)信息，也會(huì)遇到卷積核局部性等問(wèn)題。Perozzi等[10]和Grover等[11]以無(wú)監(jiān)督的方式通過(guò)隨機(jī)游走將圖節(jié)點(diǎn)用低維、連續(xù)的向量表示，但無(wú)法利用圖結(jié)構(gòu)數(shù)據(jù)的屬性信息，也不能以端對(duì)端的方式執(zhí)行節(jié)點(diǎn)分類(lèi)任務(wù)。JK-Nets[12]通過(guò)層次聚合機(jī)制來(lái)組合每個(gè)圖卷積網(wǎng)絡(luò)的輸出表示，但是它只能跨圖的邊緣傳播信息，而不能按層次匯總信息，無(wú)法學(xué)習(xí)圖的層次結(jié)構(gòu)。對(duì)此，Ying等[13]提出一個(gè)用于圖嵌入的池化層DiffPool，以通過(guò)可區(qū)分的網(wǎng)絡(luò)來(lái)減小尺寸，由于DiffPool是為圖分類(lèi)任務(wù)而設(shè)計(jì)，因此無(wú)法為圖中的每個(gè)節(jié)點(diǎn)生成嵌入，不能直接應(yīng)用于節(jié)點(diǎn)分類(lèi)任務(wù)。Ioannidis等[14]等借鑒一階頻譜圖卷積的思想，提出在每一層的輸入采用一種遞歸的數(shù)據(jù)饋送，促進(jìn)了圖中的特征擴(kuò)散，但傳播效率不高。Li等[15]采用半監(jiān)督的方式通過(guò)隨機(jī)游走簡(jiǎn)單混合了節(jié)點(diǎn)鄰域的屬性，有效地將標(biāo)簽數(shù)據(jù)傳播到整個(gè)圖上，但學(xué)習(xí)過(guò)程中導(dǎo)致圖結(jié)構(gòu)信息丟失，結(jié)果精確度不高。Jiang等[16]提出圖優(yōu)化神經(jīng)網(wǎng)絡(luò)，將圖優(yōu)化和圖卷積進(jìn)行正則化結(jié)合，通過(guò)學(xué)習(xí)調(diào)整圖結(jié)構(gòu)來(lái)獲得更好的圖嵌入節(jié)點(diǎn)表示，取得了不錯(cuò)的效果。

針對(duì)以上問(wèn)題，本文設(shè)計(jì)了深度池化對(duì)偶圖神經(jīng)網(wǎng)絡(luò)，主要工作概括如下：(1) 在圖卷積神經(jīng)網(wǎng)絡(luò)引入圖池化機(jī)制加深了模型層數(shù)，將結(jié)構(gòu)相似的點(diǎn)聚合為超節(jié)點(diǎn)，擴(kuò)大節(jié)點(diǎn)的接收域；(2) 使用隨機(jī)游走模型獲得節(jié)點(diǎn)全局信息，與GCN進(jìn)行協(xié)同訓(xùn)練，解決了卷積核局部性問(wèn)題，擴(kuò)大了局部特征信息，利用局部信息和全局信息進(jìn)行特征提取；(3) 在公開(kāi)數(shù)據(jù)集Cora、Citeseer、Pubmed上進(jìn)行了實(shí)驗(yàn)，與多種類(lèi)型的算法進(jìn)行對(duì)比，在少量數(shù)據(jù)標(biāo)記時(shí)能更好地將數(shù)據(jù)標(biāo)簽傳播到圖上，從而提取更深層次的特征，提高數(shù)據(jù)集的分類(lèi)精確度。

1 深度池化對(duì)偶圖神經(jīng)網(wǎng)絡(luò)

本文模型主要分為三步：(1) 利用圖的鄰接矩陣和特征輸入構(gòu)建深度池化神經(jīng)網(wǎng)絡(luò)；(2) 構(gòu)建基于隨機(jī)游走的卷積神經(jīng)網(wǎng)絡(luò)；(3) 將二者結(jié)合進(jìn)行協(xié)同訓(xùn)練。

半監(jiān)督學(xué)習(xí)[17]考慮了從標(biāo)記數(shù)據(jù)和無(wú)標(biāo)記數(shù)據(jù)中學(xué)習(xí)的一般問(wèn)題。本文將復(fù)雜網(wǎng)絡(luò)抽象為圖，對(duì)于給定的圖G=(V,E,W)模型，其中：V={vi,i=1,2,…,n}表示頂點(diǎn)集合；E={ei,i=1,2,…,m}表示邊集合，且(vi,vj)∈E表示網(wǎng)絡(luò)中的關(guān)系；W∈RN×N表示圖的鄰接權(quán)重矩陣。對(duì)于每個(gè)圖存在鄰接矩陣A，節(jié)點(diǎn)Aij有連邊時(shí)值為1，否則為0。圖中每一個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)標(biāo)簽，對(duì)于所有節(jié)點(diǎn)N的標(biāo)簽yN∈{0,1,…,k-1}，半監(jiān)督學(xué)習(xí)的目的是預(yù)測(cè)無(wú)標(biāo)記節(jié)點(diǎn)的標(biāo)簽。

1.1 圖卷積神經(jīng)網(wǎng)絡(luò)

圖卷積神經(jīng)網(wǎng)絡(luò)(GCN)在網(wǎng)絡(luò)節(jié)點(diǎn)分類(lèi)任務(wù)中有很好的泛化效果，本文工作是在文獻(xiàn)[9]的基礎(chǔ)上做的。給定輸入特征矩陣X和鄰接矩陣A，GCN的傳播規(guī)則如下：

(1)

1.2 圖池化和細(xì)化

圖的池化就是將結(jié)構(gòu)相似節(jié)點(diǎn)聚合在一起，相當(dāng)于保留局部幾何多尺度結(jié)構(gòu)。圖的細(xì)化目的是為了恢復(fù)節(jié)點(diǎn)的拓?fù)浣Y(jié)構(gòu)，方便進(jìn)行節(jié)點(diǎn)的分類(lèi)。每個(gè)池化層包括圖卷積和圖池化兩個(gè)步驟。首先用式(1)進(jìn)行鄰域信息的聚集來(lái)提取結(jié)構(gòu)特征和屬性特征，再通過(guò)結(jié)構(gòu)等效分組和結(jié)構(gòu)相似分組。

1) 結(jié)構(gòu)等效分組。如果兩個(gè)節(jié)點(diǎn)共享同一組鄰居，則它們?cè)诮Y(jié)構(gòu)上是等效的。然后將這兩個(gè)節(jié)點(diǎn)分配為超節(jié)點(diǎn)。如圖1所示，節(jié)點(diǎn)B和D在結(jié)構(gòu)上是等效的，因此將這兩個(gè)節(jié)點(diǎn)分配為超節(jié)點(diǎn)。對(duì)這些在結(jié)構(gòu)上等效的節(jié)點(diǎn)進(jìn)行標(biāo)記，保留其他未分組沒(méi)有標(biāo)記的節(jié)點(diǎn)，以避免在節(jié)點(diǎn)上重復(fù)進(jìn)行分組操作。

圖1 圖池化操作

2) 結(jié)構(gòu)相似分組。在未標(biāo)記的節(jié)點(diǎn)對(duì)(vj,vk)之間進(jìn)行結(jié)構(gòu)相似性計(jì)算作為歸一化連接權(quán)重s(vj,vk)，計(jì)算公式如下：

(2)

式中：Ajk是節(jié)點(diǎn)對(duì)(vj,vk)的邊權(quán)重；D(·)是節(jié)點(diǎn)的度。在進(jìn)行結(jié)構(gòu)相似分組時(shí)，迭代取出未標(biāo)記的節(jié)點(diǎn)vj，并計(jì)算與其所有未標(biāo)記的鄰居節(jié)點(diǎn)vk的歸一化連接權(quán)重，之后選擇結(jié)構(gòu)相似度最大的鄰居節(jié)點(diǎn)形成一個(gè)新的超級(jí)節(jié)點(diǎn)并標(biāo)記這兩個(gè)節(jié)點(diǎn)。如果一個(gè)節(jié)點(diǎn)未標(biāo)記，而其他所有鄰居節(jié)點(diǎn)都被標(biāo)記，那么它也將被標(biāo)記，并獨(dú)自構(gòu)成一個(gè)超節(jié)點(diǎn)。例如，在圖1中，節(jié)點(diǎn)對(duì)(C，E)具有最大的結(jié)構(gòu)相似性，因此將它們組合在一起以形成一個(gè)超節(jié)點(diǎn)。由于僅節(jié)點(diǎn)A沒(méi)有標(biāo)記，其他鄰居節(jié)點(diǎn)都被標(biāo)記，所以本身構(gòu)成了一個(gè)超節(jié)點(diǎn)。

為了恢復(fù)原有節(jié)點(diǎn)的拓?fù)浣Y(jié)構(gòu)，方便進(jìn)行節(jié)點(diǎn)分類(lèi)，在矩陣Mi中保留了節(jié)點(diǎn)及其對(duì)應(yīng)的超節(jié)點(diǎn)之間的分組關(guān)系。在第i層，分組矩陣Mi中的mjk計(jì)算方式為：

(3)

在圖1中，以節(jié)點(diǎn)B、D為例，由于節(jié)點(diǎn)B、D在超節(jié)點(diǎn)BD中，其對(duì)應(yīng)的m1,1和m3,1值為1。

下一層的池化特征矩陣Hi+1和鄰接矩陣Ai+1計(jì)算為：

(4)

池化圖Gi+1及特征表示矩陣Hi+1將會(huì)作為下一層神經(jīng)網(wǎng)絡(luò)的輸入，圖池化過(guò)程具體步驟如下：

輸入：圖Gi和節(jié)點(diǎn)特征表示Hi。

輸出：池化圖Gi+1和池化節(jié)點(diǎn)特征表示Hi+1。

(1) 根據(jù)式(1)計(jì)算GCN的輸出Gi；

(2) 計(jì)算結(jié)構(gòu)等效分組；

(3) 根據(jù)式(2)進(jìn)行結(jié)構(gòu)相似分組；

(4) 更新節(jié)點(diǎn)權(quán)重和邊權(quán)重；

(5) 根據(jù)式(3)保留超節(jié)點(diǎn)分組關(guān)系；

(6) 根據(jù)式(4)計(jì)算特征矩陣Hi+1和池化圖Gi+1。

3)
圖的細(xì)化層。為了恢復(fù)圖的原始拓?fù)浣Y(jié)構(gòu)進(jìn)一步促進(jìn)節(jié)點(diǎn)分類(lèi)，恢復(fù)與池化層相同數(shù)量的細(xì)化層，然后經(jīng)過(guò)短連接，與圖池化層一樣也分為兩步：節(jié)點(diǎn)的嵌入，恢復(fù)節(jié)點(diǎn)表示。節(jié)點(diǎn)的分層表示主要是通過(guò)GCN，由于在池化過(guò)程中將分組關(guān)系保存在分組矩陣中，因此利用Ml-i恢復(fù)第i層的細(xì)化節(jié)點(diǎn)表示矩陣，恢復(fù)節(jié)點(diǎn)的表示計(jì)算方式如下：

Hi=Ml-i·Gi+Gl-i

(5)

如圖2所示，深度池化神經(jīng)網(wǎng)絡(luò)主要由池化層和細(xì)化層組成。對(duì)于每個(gè)池化層，首先進(jìn)行圖卷積運(yùn)算以學(xué)習(xí)節(jié)點(diǎn)表示；然后，執(zhí)行池化操作以結(jié)構(gòu)相似的節(jié)點(diǎn)聚合為超節(jié)點(diǎn)。池化操作后，每個(gè)超節(jié)點(diǎn)有了更大的接收域，這有利于捕獲節(jié)點(diǎn)信息。在池化層之后，運(yùn)用對(duì)稱圖細(xì)化層以恢復(fù)用于節(jié)點(diǎn)分類(lèi)任務(wù)的原始圖結(jié)構(gòu)，將池化層和細(xì)化層進(jìn)行短連接，最后經(jīng)過(guò)Softmax分類(lèi)器進(jìn)行分類(lèi)。這樣分層模型可以從局部到全局的角度全面捕獲節(jié)點(diǎn)的信息，從而更好地表示節(jié)點(diǎn)。

圖2 深度池化神經(jīng)網(wǎng)絡(luò)

1.3 基于隨機(jī)游走的卷積神經(jīng)網(wǎng)絡(luò)

除了由鄰接矩陣A得到的圖結(jié)構(gòu)信息之外，本文進(jìn)一步計(jì)算正點(diǎn)態(tài)互信息矩陣，得到圖全局相關(guān)信息的潛在表示，該信息矩陣被表示為P∈Rn×n，與鄰接矩陣有相似的結(jié)構(gòu)。首先利用隨機(jī)游走來(lái)計(jì)算頻率矩陣F，在F基礎(chǔ)上計(jì)算P。最后，本文設(shè)計(jì)了基于隨機(jī)游走的卷積神經(jīng)網(wǎng)絡(luò)ConvP。

計(jì)算頻率矩陣的步驟如下：

(1) 輸入鄰接矩陣A，隨機(jī)游走長(zhǎng)度l，采樣次數(shù)w；

(2) 初始化頻率矩陣F；

(3) 記錄每個(gè)節(jié)點(diǎn)xi的鄰居節(jié)點(diǎn)cj；

Although prior investigators had studied about the prognostic value of NLR in malignancy, there was no study about the CRP-to-albumin ratio in PC. The present study showed that both NLR and CRP-to-albumin ratio can be useful and easy biomarkers to predict the response and outcome of PC.

(4) 遍歷每個(gè)節(jié)點(diǎn)依次把遍歷的節(jié)點(diǎn)作為根節(jié)點(diǎn)；

(5) 選取根節(jié)點(diǎn)xi到隨機(jī)游走長(zhǎng)度l的節(jié)點(diǎn)路徑S；

(6) 均勻采樣w次經(jīng)過(guò)路徑S中的節(jié)點(diǎn)對(duì)(xi,cj)；

(7) 計(jì)算頻率矩陣F，即采樣到的節(jié)點(diǎn)對(duì)(xi,cj)，∑Fij=1。

計(jì)算PPMI。在頻率矩陣F中，行向量Fi,:表示F矩陣中的第i行；列向量F:,j表示F矩陣中的第j列。Fi,:對(duì)應(yīng)節(jié)點(diǎn)xi，F(xiàn):,j表示對(duì)應(yīng)節(jié)點(diǎn)的近鄰點(diǎn)cj。Fi,j的值表示xi與cj采樣的頻率，基于F，本文計(jì)算出矩陣P∈Rn×n：

(6)

式中：Pi,j表示節(jié)點(diǎn)xi與cj的估計(jì)概率；Pi,*是節(jié)點(diǎn)xi的估計(jì)概率，P*,j是cj的估計(jì)概率。PPMI主要用來(lái)編碼語(yǔ)義特征信息，已經(jīng)在自然語(yǔ)言處理獲得廣泛的研究，并在相似性任務(wù)[18]上得到很好的效果，可以衡量?jī)蓚€(gè)變量的相關(guān)性，在本文中主要用隨機(jī)游走的方式計(jì)算節(jié)點(diǎn)多跳之間的關(guān)聯(lián)度，能獲取全局特征信息。

PPMI卷積。P卷積和上節(jié)由鄰接矩陣給出的ConvA卷積類(lèi)似，本文給出下面的定義：

(7)

1.4 深度池化和隨機(jī)游走協(xié)同訓(xùn)練

深度池化神經(jīng)網(wǎng)絡(luò)通過(guò)池化操作加深了圖卷積神經(jīng)網(wǎng)絡(luò)模型，將結(jié)構(gòu)相似的節(jié)點(diǎn)聚集在一起形成超節(jié)點(diǎn)，豐富了節(jié)點(diǎn)的信息，而卷積核局部性問(wèn)題則通過(guò)隨機(jī)游走網(wǎng)絡(luò)模型得到解決。為了實(shí)現(xiàn)二者的協(xié)同訓(xùn)練以更好地互補(bǔ)，提出將ConvA和ConvP進(jìn)行集成學(xué)習(xí)。本文使用有標(biāo)簽的數(shù)據(jù)來(lái)訓(xùn)練ConvA，得到監(jiān)督損失L0(ConvA)，通過(guò)訓(xùn)練P來(lái)得到無(wú)監(jiān)督正則化損失Lreg(ConvA,ConvP)。

(8)

算法1描述了本文的對(duì)偶圖卷積網(wǎng)絡(luò)方法的訓(xùn)練過(guò)程，圖3所示為本文對(duì)偶圖遞歸神經(jīng)網(wǎng)絡(luò)框架。損失函數(shù)定義為L(zhǎng)0(ConvA)和Lreg(ConvA,ConvP)的加權(quán)和。本文使用動(dòng)態(tài)權(quán)重函數(shù)λ(t)來(lái)實(shí)現(xiàn)上述聯(lián)合。在訓(xùn)練過(guò)程開(kāi)始時(shí)，損失函數(shù)主要由監(jiān)督項(xiàng)L0支配。在使用ConvA獲得標(biāo)簽上的后驗(yàn)分布后，改變?chǔ)?t)來(lái)同時(shí)考慮ConvP神經(jīng)網(wǎng)絡(luò)，通過(guò)協(xié)同訓(xùn)練來(lái)提高精確度。

算法1深度池化對(duì)偶神經(jīng)網(wǎng)絡(luò)

輸入：特征矩陣X，標(biāo)簽矩陣Y，擴(kuò)散矩陣A和P。

輸出：訓(xùn)練模型，半監(jiān)督分類(lèi)精度。

1.構(gòu)建網(wǎng)絡(luò)時(shí)隨機(jī)初始化W(1)，W(2)，…，W(h)

2.隨機(jī)初始化動(dòng)態(tài)權(quán)重函數(shù)λ(t)

3.foriin range[0,num_of_epochs] do

8.if結(jié)果收斂then

9. break loop

10. end if

11. end for

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)及設(shè)置

為了驗(yàn)證本文方法的有效性，與文獻(xiàn)[9]一樣，本文采用了三個(gè)引文網(wǎng)絡(luò)的數(shù)據(jù)集Cora、Citeseer、Pubmed，其中節(jié)點(diǎn)表示論文，節(jié)點(diǎn)的特征描述該論文的詞袋表示，邊表示論文的引用關(guān)系。表1詳細(xì)描述了三個(gè)數(shù)據(jù)集。

表1 本研究采用的數(shù)據(jù)集統(tǒng)計(jì)信息

實(shí)驗(yàn)采用算法1所示的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，對(duì)于實(shí)驗(yàn)數(shù)據(jù)集的設(shè)置，引文網(wǎng)絡(luò)中每個(gè)文檔都有一類(lèi)標(biāo)簽，每個(gè)數(shù)據(jù)集選用每類(lèi)主題中的20個(gè)標(biāo)簽進(jìn)行訓(xùn)練，隨機(jī)選擇500個(gè)節(jié)點(diǎn)作為驗(yàn)證集，1 000個(gè)節(jié)點(diǎn)作為測(cè)試集。

實(shí)驗(yàn)的硬件環(huán)境為英特爾Xeon E5-2698處理器、16 GB顯存和128 GB運(yùn)行內(nèi)存；軟件環(huán)境為Ubuntu 18.04 X64操作系統(tǒng)、CUDA10、TensorFlow 1.14和Python 3.7。

2.2 準(zhǔn)確性分析

為了驗(yàn)證本文方法的準(zhǔn)確性，本文采用引文網(wǎng)絡(luò)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，超參數(shù)設(shè)置主要有：dropout 0.90，L2正則化的權(quán)重衰減系數(shù)為7×10-4，學(xué)習(xí)率為0.03，隱藏單元數(shù)為32，使用dropout和L2歸一化的目的是防止訓(xùn)練時(shí)過(guò)擬合。三個(gè)引文網(wǎng)絡(luò)數(shù)據(jù)集的池化卷積層數(shù)都為4，最后使用一個(gè)全連接層用于節(jié)點(diǎn)分類(lèi)和預(yù)測(cè)。在訓(xùn)練過(guò)程中，采用Adam優(yōu)化器進(jìn)行優(yōu)化，得到測(cè)試結(jié)果的分類(lèi)精度對(duì)比結(jié)果如表2所示。

表2 引文網(wǎng)絡(luò)數(shù)據(jù)集的分類(lèi)準(zhǔn)確性對(duì)比(%)

實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的關(guān)于隨機(jī)游走的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行協(xié)同訓(xùn)練能夠彌補(bǔ)GCN的不足。傳統(tǒng)的基于隨機(jī)游走算法如DeepWalk和Planetoid，它們的性能相對(duì)較差，原因在于：DeepWalk無(wú)法對(duì)屬性信息進(jìn)行建模；Planetoid[19]在隨機(jī)抽樣過(guò)程中存在圖結(jié)構(gòu)的信息損失；LP[20]采用高斯隨機(jī)場(chǎng)和諧波函數(shù)進(jìn)行半監(jiān)督學(xué)習(xí)，進(jìn)行手工提取特征；GCN采用鄰域聚集方案來(lái)提高性能，它混合了節(jié)點(diǎn)及其鄰近點(diǎn)的特征，由于GCN模型較淺無(wú)法獲取全局信息，導(dǎo)致提取特征有限；GRNN在每一層的傳播增加特征矩陣的輸入，捕獲了多種類(lèi)型的擴(kuò)散，同樣無(wú)法解決GCN的限制。

2.3 訓(xùn)練樣本點(diǎn)數(shù)對(duì)結(jié)果準(zhǔn)確性影響

為了比較對(duì)偶圖遞歸神經(jīng)網(wǎng)絡(luò)與GCN、GRNN、LP網(wǎng)絡(luò)在少量數(shù)據(jù)標(biāo)記的情況下訓(xùn)練結(jié)果準(zhǔn)確度的對(duì)比，在Cora數(shù)據(jù)集上分別取訓(xùn)練標(biāo)記總數(shù)的1%、2%、3%、4%、5%來(lái)進(jìn)行測(cè)試，驗(yàn)證集和測(cè)試集保持不變。由圖4可以明顯地看出在訓(xùn)練標(biāo)記較少的情況下，本文設(shè)計(jì)的網(wǎng)絡(luò)精確度比其他方法精確度更高。這驗(yàn)證了本文網(wǎng)絡(luò)模型在進(jìn)行訓(xùn)練時(shí)能有效地將標(biāo)簽數(shù)據(jù)傳播到整個(gè)圖上,在實(shí)際生活中能大大縮減標(biāo)記成本同時(shí)提高運(yùn)行效率。

2.4 網(wǎng)絡(luò)設(shè)計(jì)分析

深度池化對(duì)偶神經(jīng)網(wǎng)絡(luò)主要是通過(guò)圖池化和隨機(jī)游走協(xié)同訓(xùn)練，來(lái)獲取圖結(jié)構(gòu)數(shù)據(jù)的深層次語(yǔ)義信息，現(xiàn)對(duì)不同的網(wǎng)絡(luò)層數(shù)做對(duì)比，如圖5所示，可以看出框架的有效性。圖中：DPDNN為本文設(shè)計(jì)的深度池化對(duì)偶神經(jīng)網(wǎng)絡(luò)，使用圖卷積和隨機(jī)游走協(xié)同訓(xùn)練；DPDNN-1指去掉所有的粗化操作和細(xì)化操作，并將性能與本文設(shè)計(jì)的性能進(jìn)行對(duì)比，保留了對(duì)稱殘差的連接；DPDNN-2只是增加圖池化進(jìn)行訓(xùn)練，沒(méi)有使用隨機(jī)游走網(wǎng)絡(luò)進(jìn)行協(xié)同訓(xùn)練。除此之外，還對(duì)圖池化層數(shù)進(jìn)行了分析，對(duì)原始框架中的圖池化層數(shù)分別設(shè)置為1、2、3、4、5、6、7、8，得到如圖6所示的分類(lèi)效果，可以看到當(dāng)圖池化層數(shù)為4的時(shí)候，分類(lèi)效果最好。

圖5 網(wǎng)絡(luò)框架對(duì)比

圖6 圖池化層數(shù)分析

3 結(jié) 語(yǔ)

本研究設(shè)計(jì)出深度池化對(duì)偶圖神經(jīng)網(wǎng)絡(luò)，在復(fù)雜網(wǎng)絡(luò)中的節(jié)點(diǎn)分類(lèi)取得了較好的結(jié)果，所提出的框架由池化層和對(duì)稱細(xì)化層組成，將相似的節(jié)點(diǎn)與超節(jié)點(diǎn)進(jìn)行分組可以獲得更大的接收域。此外，通過(guò)隨機(jī)游走的方式得到逐點(diǎn)互信息矩陣進(jìn)行協(xié)同訓(xùn)練，與其他先前的工作相比，能充分地利用局部和全局信息得到更好的分類(lèi)效果。實(shí)驗(yàn)結(jié)果證明了本文方法解決分類(lèi)任務(wù)的有效性，特別是在標(biāo)簽數(shù)據(jù)極為匱乏的情況下能夠取得實(shí)質(zhì)性的收益。未來(lái)工作需要進(jìn)一步提高大規(guī)模數(shù)據(jù)的計(jì)算效率。