圖神經(jīng)網(wǎng)絡(luò)綜述

馬 帥 劉建偉 左 信

(中國石油大學(xué)(北京)信息科學(xué)與工程學(xué)院 北京 102249)

在過去幾年，深度學(xué)習(xí)已經(jīng)在人工智能和機(jī)器學(xué)習(xí)上取得了成功，給社會帶來了巨大的進(jìn)步.深度學(xué)習(xí)的特點是堆積多層的神經(jīng)網(wǎng)絡(luò)層，從而具有更好的學(xué)習(xí)表示能力.卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的飛速發(fā)展更是將深度學(xué)習(xí)帶上了一個新的臺階[1-2].CNN的平移不變性、局部性和組合性使其天然適用于處理像圖像這樣的歐氏結(jié)構(gòu)數(shù)據(jù)的任務(wù)中[3-4]，同時也可以應(yīng)用于機(jī)器學(xué)習(xí)的其他各個領(lǐng)域[5-7].深度學(xué)習(xí)的成功一部分源自于可以從歐氏數(shù)據(jù)中提取出有效的數(shù)據(jù)表示，從而對其進(jìn)行高效的處理.另一個原因則是得益于GPU的快速發(fā)展，使得計算機(jī)具有強(qiáng)大的計算和存儲能力，能夠在大規(guī)模的數(shù)據(jù)集中訓(xùn)練和學(xué)習(xí)深度學(xué)習(xí)模型.這使得深度學(xué)習(xí)在自然語言處理[8]、機(jī)器視覺[9]和推薦系統(tǒng)[10]等領(lǐng)域都表現(xiàn)出了良好的性能.

Fig. 1 Two data structures

但是，現(xiàn)有的神經(jīng)網(wǎng)絡(luò)只能對常規(guī)的歐氏結(jié)構(gòu)數(shù)據(jù)進(jìn)行處理.如圖1(a)歐氏數(shù)據(jù)結(jié)構(gòu)，其特點就是節(jié)點有固定的排列規(guī)則和順序，如2維網(wǎng)格和1維序列.而當(dāng)前越來越多的實際應(yīng)用問題必須要考慮非歐氏數(shù)據(jù)，如圖1(b)非歐氏數(shù)據(jù)結(jié)構(gòu)中節(jié)點沒有固定的排列規(guī)則和順序，這就使得不能直接將傳統(tǒng)的深度學(xué)習(xí)模型遷移到處理非歐氏結(jié)構(gòu)數(shù)據(jù)的任務(wù)中.如若直接將CNN應(yīng)用到其中，由于非歐氏數(shù)據(jù)中心節(jié)點的鄰居節(jié)點數(shù)量和排列順序不固定，不滿足平移不變性，這就很難在非歐氏數(shù)據(jù)中定義卷積核.針對圖神經(jīng)網(wǎng)絡(luò)(graph neural network, GNN)的研究工作，最開始就是在如何固定鄰居節(jié)點數(shù)量以及如何給鄰居節(jié)點排序展開的，比如PATCHY-SAN[11]，LGCN[12]，DCNN[13]方法等.完成上述2項工作之后，非歐氏結(jié)構(gòu)數(shù)據(jù)就轉(zhuǎn)化為歐氏結(jié)構(gòu)數(shù)據(jù)，然后就可以利用CNN處理.圖是具有點和邊的典型非歐氏數(shù)據(jù)，在實際中可以將各種非歐氏數(shù)據(jù)問題抽象為圖結(jié)構(gòu).比如在交通系統(tǒng)中，利用基于圖的學(xué)習(xí)模型可以對路況信息進(jìn)行有效的預(yù)測[14].在計算機(jī)視覺中，將人與物的交互看作一種圖結(jié)構(gòu)，可以對其進(jìn)行有效地識別[15].

近期已有一些學(xué)者對圖神經(jīng)網(wǎng)絡(luò)及其圖卷積神經(jīng)網(wǎng)絡(luò)分支進(jìn)行了綜述[16-19].本文的不同之處在于，首先由于經(jīng)典模型是很多變體模型的基石，所以給出了經(jīng)典模型的理論基礎(chǔ)以及詳細(xì)推理步驟.在1.2節(jié)基于空間方法的圖卷積神經(jīng)網(wǎng)絡(luò)中，多用圖的形式列出模型的實現(xiàn)過程，使模型更加通俗易懂.文獻(xiàn)[16-19]并未對目前廣大學(xué)者熱點討論的問題進(jìn)行總結(jié)，所以在第5節(jié)針對圖神經(jīng)網(wǎng)絡(luò)的討論部分，首次列出了目前研究學(xué)者對GNN的熱點關(guān)注問題，比如其表達(dá)能力、過平滑問題等.然后，在第6節(jié)中總結(jié)了圖神經(jīng)網(wǎng)絡(luò)新框架.同時，針對圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用，在第7節(jié)中較全面地介紹了GNN的應(yīng)用場景.最后，列出了圖神經(jīng)網(wǎng)絡(luò)未來的研究方向.在圖2中列出了本文的主體結(jié)構(gòu).

研究圖神經(jīng)網(wǎng)絡(luò)對推動深度學(xué)習(xí)的發(fā)展以及人類的進(jìn)步具有重大意義.首先，現(xiàn)實中越來越多的問題可以抽象成非歐氏結(jié)構(gòu)數(shù)據(jù)，由于圖數(shù)據(jù)的不規(guī)則性，傳統(tǒng)的深度學(xué)習(xí)模型已經(jīng)不能處理這種數(shù)據(jù)，這就亟需研究設(shè)計一種新的深度神經(jīng)網(wǎng)絡(luò).而GNN所處理的數(shù)據(jù)對象就是具有不規(guī)則結(jié)構(gòu)的圖數(shù)據(jù)，GNN便在這種大背景下應(yīng)運(yùn)而生[20-21].然后，圖數(shù)據(jù)的結(jié)構(gòu)和任務(wù)是十分豐富的.這種豐富的結(jié)構(gòu)和任務(wù)也正是和人們生活中要處理的實際問題相貼合的.比如，圖數(shù)據(jù)有異質(zhì)性以及邊的有向連接特性，這和推薦系統(tǒng)中的場景完全類似.圖數(shù)據(jù)處理任務(wù)中節(jié)點級別、邊級別以及整圖級別也同樣可以應(yīng)用到深度學(xué)習(xí)的各個應(yīng)用場景中.所以，GNN的研究為解決生活中的實際問題找到了一種新的方法和途徑.最后，GNN的應(yīng)用領(lǐng)域是十分廣泛的，能夠處理各種能抽象成圖數(shù)據(jù)的任務(wù).不管是在傳統(tǒng)的自然語言處理領(lǐng)域[22-24]或者圖像領(lǐng)域[25-26]，還是在新興的生化領(lǐng)域[27-28]，GNN都能表現(xiàn)出強(qiáng)大的性能.

Fig. 2 The main structure

現(xiàn)實生活中越來越多的實際處理任務(wù)都可以抽象成圖結(jié)構(gòu)數(shù)據(jù)，應(yīng)用場景是非常多的.圖中包含節(jié)點、邊和整個圖結(jié)構(gòu).GNN的處理任務(wù)也主要從節(jié)點級別、邊級別和整個圖級別出發(fā).在節(jié)點級別可以完成針對節(jié)點的分類，比如在引文數(shù)據(jù)集中，可以完成對相似論文的分類任務(wù)[29].邊級別可以完成鏈路預(yù)測任務(wù)，比如推薦系統(tǒng)中用戶對電影是否感興趣等[30].而圖級別則可以完成對整個圖屬性的預(yù)測，比如在生化預(yù)測任務(wù)中，可以實現(xiàn)對某個分子是否產(chǎn)生變異進(jìn)行預(yù)判[31].針對不同的處理任務(wù)，常用的數(shù)據(jù)集如表1所示：

Table 1 Common Datasets

1 圖卷積神經(jīng)網(wǎng)絡(luò)

CNN已經(jīng)在圖像識別、自然語言處理等多個領(lǐng)域取得了不俗的成績，但其只能高效地處理網(wǎng)格和序列等這樣規(guī)則的歐氏數(shù)據(jù).不能有效地處理像社交多媒體網(wǎng)絡(luò)數(shù)據(jù)、化學(xué)成分結(jié)構(gòu)數(shù)據(jù)、生物蛋白數(shù)據(jù)以及知識圖譜數(shù)據(jù)等圖結(jié)構(gòu)的非歐氏數(shù)據(jù).為此，無數(shù)學(xué)者經(jīng)過不懈努力，成功地將CNN應(yīng)用到圖結(jié)構(gòu)的非歐氏數(shù)據(jù)上，提出了圖卷積神經(jīng)網(wǎng)絡(luò)(graph convolutional network, GCN).GCN是GNN中一個重要分支，現(xiàn)有的大多數(shù)模型基本上都是在此基礎(chǔ)上變化推導(dǎo)而來.下面我們將按照從基于譜方法、空間方法和池化3方面對GCN進(jìn)行總結(jié)和概括.

1.1 基于譜域的圖卷積神經(jīng)網(wǎng)絡(luò)

基于譜域的GCN是利用圖信號理論，以傅里葉變換為橋梁，成功地將CNN遷移到圖上.該方法從譜域出發(fā)，應(yīng)用拉普拉斯矩陣來處理圖這種非歐氏結(jié)構(gòu)數(shù)據(jù)，整個數(shù)學(xué)推導(dǎo)非常巧妙，值得我們學(xué)習(xí)研究.本節(jié)首先介紹譜理論知識，解釋說明怎樣利用圖信號理論將傳統(tǒng)的CNN遷移到圖上，然后列舉了在基于譜域GCN這一小類中的典型模型.

1.1.1 譜理論知識

首先給出歸一化拉普拉斯矩陣L的定義：

(1)

其中,D表示圖G的度矩陣，A表示圖G的鄰接矩陣，In為一個n階的單位陣.

信號f(x)的傅里葉變換及其逆變換為

(2)

f(x)=φ-1(F(w)),

(3)

由卷積定理，任意函數(shù)的傅里葉變換是函數(shù)傅里葉變換的乘積，將其用逆變換的形式表示為

f*g=φ-1(φ(f)·φ(g)).

(4)

然后利用上面得到的圖上傅里葉變換及其逆變換，便可以得到最終圖上的卷積形式：

f*g=U(UTf·UTg)，

(5)

其中,f和g分別表示圖上的信號.我們把UTg寫作gθ，看作一個以θ為參數(shù)的卷積核：

f*g=UgθUTf.

(6)

對于式(6)，可以將其分解開來理解，其中UTf為圖上信號的傅里葉變換，gθUTf為在譜域傅里葉變換之后的卷積，UgθUTf是卷積之后的逆變換，便得到圖上的卷積形式.

1.1.2 模 型

文獻(xiàn)[32]是將CNN泛化到非歐氏空間的論文，稱之為“第1代GCN”，其主要的貢獻(xiàn)是設(shè)計了在不規(guī)則網(wǎng)格上CNN的應(yīng)用.為了更新節(jié)點特征，其定義的第k層輸出為

(7)

其中,j=1,2,…,fk，F(xiàn)k,i,j為卷積核，含有可學(xué)習(xí)的參數(shù)，xk,i為第k層第i個節(jié)點的特征，fk為更新后節(jié)點輸出特征的維度，fk-1為聚集節(jié)點輸入特征的維度，h為非線性激活函數(shù).這樣就輸出了聚集后新的節(jié)點特征，并且完成了降維的操作.同時，加入了一個可學(xué)習(xí)的卷積核.非常巧妙地將傳統(tǒng)的CNN遷移到了圖上，這就不再要求待處理數(shù)據(jù)具有平移不變性.完美地適應(yīng)于圖結(jié)構(gòu)數(shù)據(jù)的節(jié)點無序、鄰居個數(shù)不確定的特性.

該方法雖然在圖上實現(xiàn)了卷積運(yùn)算，利用鄰居節(jié)點特征表征了中心節(jié)點特征，實現(xiàn)了GCN一個質(zhì)的飛躍，為譜域GCN的發(fā)展奠定了基石.但第1代GCN的缺點也是非常明顯的.首先，在更新中心節(jié)點特征時利用上一層的節(jié)點特征不一定是該中心節(jié)點的鄰居節(jié)點.譜域的GCN是基于拉普拉斯矩陣的，沒有利用含有鄰居信息的鄰接矩陣，所以不具有局部性.其次，該方法的計算復(fù)雜度為O(n2)，計算開銷非常大，每次都需要對拉普拉斯矩陣進(jìn)行特征分解.

針對第1代GCN的局限性，文獻(xiàn)[33]利用切比雪夫多項式去近似卷積核，設(shè)計了一種新的卷積核，提出了切比雪夫網(wǎng)絡(luò)(Chebyshev network, ChebNet).ChebNet大大降低了計算復(fù)雜度，提高了計算效率.ChebNet利用迭代K次的切比雪夫多項式Tk(x)對式(4)中的gθ進(jìn)行替換擬合：

(8)

(9)

Fig. 3 The structure of graph convolution[33]

Fig. 4 Pooling process

文獻(xiàn)[33]還提出了一種針對圖信號的快速池化過程，該方法采用了一種二叉樹的方式，包含創(chuàng)建一個平衡的二叉樹和重新排列頂點2個步驟.在池化之后，每個節(jié)點要么有2個子節(jié)點，要么有1個子節(jié)點.將只有1個子節(jié)點的父節(jié)點圖中添加一些輔助節(jié)點，使圖中的每個頂點都有2個子節(jié)點，從而構(gòu)成一個二叉樹.然后將該二叉樹平攤構(gòu)成1維信號，最后對該信號采樣即可表示為一次圖池化過程.圖4為將含有任意排序的8個頂點的圖進(jìn)行池化示例圖，選擇大小為4的算子對其進(jìn)行池化操作可以看作是操作2次大小為2的池化算子.為使圖4中的每個頂點都有2個孩子，從而可以構(gòu)成一個二叉樹.在G0中增加4個輔助節(jié)點，在G1中增加1個輔助節(jié)點.經(jīng)過2次池化可以得到含有3個頂點的G0圖.將該過程中的二叉樹攤平為如圖4右側(cè)1維信號，對其進(jìn)行采樣即表示每一次的池化過程.

第3代GCN[34]考慮將譜域圖卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在實際的半監(jiān)督場景中，比如引文網(wǎng)絡(luò)的圖結(jié)構(gòu)數(shù)據(jù)，一些節(jié)點的標(biāo)簽未知，需要對節(jié)點完成分類的任務(wù).Kipf等人[34]為了使ChebNet有更好的局部連接特性，使用一階的切比雪夫多項式對其進(jìn)行簡化，令K=1，并令λmax=2，則將式(7)簡化為

(10)

其中，j=1,2,…,fk.

在該實際應(yīng)用中，為了進(jìn)一步限制參數(shù)的個數(shù)來解決過擬合問題.最小化每層運(yùn)算復(fù)雜性(例如矩陣乘法)，于是令θ=θ0=-θ1：

(11)

在該半監(jiān)督節(jié)點分類的問題中，引入了一個簡單而靈活的f(X,A)模型，在圖上進(jìn)行有效的消息傳播.在數(shù)據(jù)X和鄰接矩陣A上調(diào)節(jié)模型f(X,A)，這是由于鄰接矩陣A包含數(shù)據(jù)X中不存在的信息，如在引文網(wǎng)絡(luò)中文檔之間的引文鏈接或知識圖中的關(guān)系情況.

(12)

其中,θ為可學(xué)習(xí)參數(shù)，最后通過一個非線性激活函數(shù)就可得到每個標(biāo)簽的預(yù)測結(jié)果.損失函數(shù)采用交叉熵表示，評估預(yù)測結(jié)果為

(13)

其中,yL是所有標(biāo)簽的集合.

為了解決依賴于圖傅里葉變換的GCN計算量大的缺點，Xu等人[35]提出了利用圖小波變換的圖小波神經(jīng)網(wǎng)絡(luò)(graph wavelet neural network, GWNN)，GWNN通過快速算法獲得圖小波變換，而無需采用計算量巨大的矩陣分解，從而大大提高了計算效率.不難看出基于譜域的GCN具有一定的局限性.首先是其網(wǎng)絡(luò)結(jié)構(gòu)不能太大太深，譜域的GCN不適用于大規(guī)模圖數(shù)據(jù)上的建模.由于在前向傳播過程中，需要用到所有節(jié)點的拉普拉斯矩陣.現(xiàn)在實際工業(yè)中面臨的圖結(jié)構(gòu)數(shù)據(jù)基本上都是成千萬上億的節(jié)點，如若用該類方法將所有節(jié)點的拉普拉斯矩陣輸入，是非常不現(xiàn)實的，計算代價非常大甚至根本無法運(yùn)行起來.并且在文獻(xiàn)[34]中僅僅只采用2層神經(jīng)網(wǎng)絡(luò)，當(dāng)增加層數(shù)的時候基于譜域的GCN性能并沒有提高，2層的神經(jīng)網(wǎng)絡(luò)不能發(fā)揮深度學(xué)習(xí)的優(yōu)勢，所以不能構(gòu)建更多的隱層也是該類方法的局限之一.能不能構(gòu)造更大更深的GNN是當(dāng)前學(xué)者研究的熱點問題之一，已有不少文獻(xiàn)對其進(jìn)行了分析研究，我們將會在第5節(jié)的討論部分進(jìn)行詳細(xì)的探討.最后，該類方法不能處理有向圖結(jié)構(gòu)數(shù)據(jù).因為在應(yīng)用譜理論推導(dǎo)時必須保證拉普拉斯矩陣的對稱性才能進(jìn)行譜分解，進(jìn)而完成整個數(shù)學(xué)推導(dǎo)過程.

表2對基于譜域的圖卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了匯總.但從研究趨勢來看，GCN發(fā)展方向較傾向于基于空間域的圖卷積神經(jīng)網(wǎng)絡(luò)，下面將對其進(jìn)行詳細(xì)的介紹.

Table 2 Graph Convolutional Neural Network Models Based on Spectral Domain

1.2 基于空間域的圖卷積神經(jīng)網(wǎng)絡(luò)

基于空間域的圖卷積神經(jīng)網(wǎng)絡(luò)不同于從信號處理理論出發(fā)的譜域圖卷積神經(jīng)網(wǎng)絡(luò)，空間域圖卷積神經(jīng)網(wǎng)絡(luò)是從圖中的節(jié)點出發(fā)，設(shè)計聚集鄰居節(jié)點特征的聚合函數(shù)，采用消息傳播機(jī)制，思考怎樣準(zhǔn)確高效地利用中心節(jié)點的鄰居節(jié)點特征來更新表示中心節(jié)點特征.CNN的本質(zhì)是加權(quán)求和，空間域的圖卷積神經(jīng)網(wǎng)絡(luò)正是從CNN的基本構(gòu)造過程出發(fā)，從求和的角度來完成GNN聚合鄰居節(jié)點的目的.由于圖中的節(jié)點無序且鄰居節(jié)點個數(shù)不確定，所以空間域的圖卷積神經(jīng)網(wǎng)絡(luò)的一種思想的2個步驟是：1)固定鄰居節(jié)點個數(shù)；2)給鄰居節(jié)點排序.如果完成了上述2個步驟，非歐氏結(jié)構(gòu)數(shù)據(jù)就變成了普通的歐氏結(jié)構(gòu)數(shù)據(jù)，自然地傳統(tǒng)的算法也就可以完全遷移到圖上來.其中，步驟1也是便于將GNN應(yīng)用于節(jié)點數(shù)量巨大的圖上.下面我們首先介紹2個典型的空間域圖卷積神經(jīng)網(wǎng)絡(luò)模型，然后總結(jié)了針對其效率低的改進(jìn)模型.

1.2.1 模 型

早在2009年文獻(xiàn)[36]第1次提出了空間域的圖卷積神經(jīng)網(wǎng)絡(luò)——NN4G(neural network for graphs)，但當(dāng)時沒有引起人們的注意.直到2016年文獻(xiàn)[11]提出了一種新的思路來解決如何使CNN能夠高效地處理圖結(jié)構(gòu)數(shù)據(jù)，設(shè)計了對任意的圖卷積神經(jīng)網(wǎng)絡(luò)的方法，作者稱之為PATCHY-SAN(select-assemble-normalize).該方法首先從圖中選擇一個固定長度的節(jié)點序列；然后對序列中的每個節(jié)點，收集固定大小的鄰居集合；最后，對由當(dāng)前節(jié)點及其對應(yīng)的鄰居構(gòu)成的子圖進(jìn)行規(guī)范化.通過以上3個步驟來構(gòu)建卷積，這樣就把原來無序且數(shù)量不定的節(jié)點變成了有序數(shù)量固定的節(jié)點，下面將對每一個步驟進(jìn)行詳細(xì)的介紹，為了方便理解每一步均配有對應(yīng)的圖示說明：

1) 節(jié)點序列選擇.對于輸入的圖，首先定義一個要選擇的中心節(jié)點個數(shù)的w.在節(jié)點序列選擇時主要采用中心化的方法進(jìn)行選取，越和中心節(jié)點關(guān)系密切的節(jié)點越重要，圖5為節(jié)點序列選擇示意圖(w=5).

Fig. 5 Node sequence selection(w=5)

2) 收集每個節(jié)點固定大小的鄰居集合.找到每一個中心節(jié)點的鄰域，構(gòu)建一個候選域.然后再從當(dāng)中選擇感知野中的節(jié)點，找到中心節(jié)點最直接相鄰的節(jié)點，如果數(shù)量不夠再從間接相鄰的節(jié)點中候選，如圖6所示：

Fig. 6 Select at least 4 nodes(including yourself) for each central node

3) 鄰域節(jié)點規(guī)范化.在上一步得到的每一個中心節(jié)點的近鄰節(jié)點個數(shù)N可能和設(shè)定的個數(shù)k不相等.所以，在規(guī)范化的過程中就是要為它們標(biāo)注順序并進(jìn)行選擇，并且按照該順序映射到向量空間當(dāng)中.如果Nk，則需要進(jìn)行排序之后去掉后面的節(jié)點.所以對中心節(jié)點的近鄰節(jié)點進(jìn)行排序是這一步的關(guān)鍵.如圖7所示卷積核為4，要選出4個節(jié)點，并給每個節(jié)點標(biāo)注順序標(biāo)簽的實例圖.

Fig. 7 Neighborhood nodes normalization

Niepert等人[11]定義了數(shù)學(xué)期望值的大小來衡量標(biāo)簽的好壞，以此來給近鄰節(jié)點排序.在總的集合當(dāng)中隨機(jī)抽取出2個圖，計算它們在矢量空間中圖的距離和在圖空間中的距離差異的期望，期望值越小則表明該近鄰節(jié)點越好，排在首位.具體的表示形式為

(14)

其中,l是給標(biāo)簽排序的過程,g是未標(biāo)記的圖的集合,dS是矩陣中的距離函數(shù)，dG是圖空間中的距離函數(shù),Al是標(biāo)簽的鄰接矩陣.

同樣為了給中心節(jié)點的鄰居節(jié)點固定數(shù)量和排序,文獻(xiàn)[12]設(shè)計了一個可學(xué)習(xí)的卷積層，能夠根據(jù)鄰居節(jié)點的排列順序選擇固定數(shù)量的節(jié)點個數(shù)，從而完成圖結(jié)構(gòu)數(shù)據(jù)向歐氏結(jié)構(gòu)數(shù)據(jù)的轉(zhuǎn)化.可學(xué)習(xí)的卷積層包含將圖結(jié)構(gòu)數(shù)據(jù)轉(zhuǎn)化為歐氏結(jié)構(gòu)數(shù)據(jù)和進(jìn)行卷積運(yùn)算2個部分，逐層傳播規(guī)則公式為

(15)

其中,Xl為輸入矩陣，K為預(yù)設(shè)要選擇的鄰居節(jié)點最大個數(shù),g(·)為將圖結(jié)構(gòu)數(shù)據(jù)轉(zhuǎn)換為歐氏結(jié)構(gòu)數(shù)據(jù)的函數(shù).在完成上述映射之后，數(shù)據(jù)結(jié)構(gòu)已經(jīng)變?yōu)槲覀兘?jīng)常處理的標(biāo)準(zhǔn)歐氏數(shù)據(jù)結(jié)構(gòu)，函數(shù)c(·)可選用標(biāo)準(zhǔn)的一階卷積算子，完成聚合節(jié)點特征的操作.這里只介紹函數(shù)g(·)的實現(xiàn)過程，這也是實現(xiàn)空間卷積的核心操作.我們以一個具體的實例來說明函數(shù)g(·)的實現(xiàn)過程，如圖8所示，然后再將其一般化.

Fig. 8 The realization process[12]

Fig. 9 Different classification tasks[13]

不同于對鄰居節(jié)點排序和確定數(shù)量，文獻(xiàn)[13]通過對圖結(jié)構(gòu)輸入中的每個節(jié)點掃描其擴(kuò)散過程來構(gòu)造隱表示，提出了擴(kuò)散卷積神經(jīng)網(wǎng)絡(luò)(diffusion-convolutional neural networks, DCNN).DCNN認(rèn)為封裝圖擴(kuò)散的表示比圖本身可以提供更好的預(yù)測基礎(chǔ)，利用了節(jié)點、邊或者圖的鄰接矩陣來考慮各個處理對象的不同深度鄰居的特征信息，所謂的深度就是中心節(jié)點的不同階鄰居.并探討了在圖結(jié)構(gòu)數(shù)據(jù)上各種分類任務(wù)中的性能，該模型具有精度高、靈活性強(qiáng)和速度快的優(yōu)點.如圖9為不同分類任務(wù)的示意圖，其中Nt表示圖G的節(jié)點個數(shù)，F(xiàn)表示節(jié)點特征維度，H為各個處理對象的不同深度鄰居，Wc為權(quán)重張量,Pt為節(jié)點度的轉(zhuǎn)移概率矩陣，Xt為所有節(jié)點的特征矩陣.DCNN的主要任務(wù)是將圖G作為輸入，輸出分類任務(wù)的類標(biāo)簽預(yù)測值Y或者其概率分布的估計值P(Y|X).將其對應(yīng)于各個層級的分類任務(wù)中，也就是預(yù)測每個圖形中各個節(jié)點的標(biāo)簽，或者每個圖形中各個邊的標(biāo)簽，或者每個圖本身的標(biāo)簽.在圖9中假定不同分類任務(wù)的擴(kuò)散卷積表示為Zt.在圖9(a)中，節(jié)點分類任務(wù)返回一個Nt×H×F的張量.在圖9(c)中，邊分類任務(wù)返回Mt×H×F的矩陣.而圖9(b)圖分類任務(wù)中返回一個H×F的矩陣.

1) 在圖9(a)中，節(jié)點分類任務(wù)表示為

(16)

(17)

(18)

P(Y|X)=softmax(f(Wd⊙Z)).

(19)

2) 通過對上述節(jié)點分類任務(wù)取均值，便可以將DCNN擴(kuò)展到圖分類任務(wù)上，如圖9(b)所示，其數(shù)學(xué)公式形式為

(20)

(21)

Fig. 10 The motivation of method[37]

(22)

在圖10中，u=2η,b=-3，其中η=(1,1)T,很容易觀測到:

(23)

其中,z=q-p∈{-1，0，1}2，結(jié)果可以等價于利用矩陣M將右上角中的元素3提取出來.

將上述過程一般化，則可以定義geo-GCN公式.首先定義每個節(jié)點vi的坐標(biāo)pi∈t.為了更好地進(jìn)行圖表示，將一般化的卷積轉(zhuǎn)換為

(24)

其中,u∈t,b∈是可學(xué)習(xí)參數(shù)，它們是相當(dāng)于對鄰居節(jié)點vi操作的卷積濾波器.類似于傳統(tǒng)的卷積，這個變換可以擴(kuò)展到多重的濾波器.使用U=(u1,u2,…,uk)和b′=(b1,b2,…,bk)來定義k個濾波器，中間的向量表示定義為最后對這些向量應(yīng)用多層感知機(jī)就可以得到將節(jié)點位置信息考慮在內(nèi)的最終結(jié)果.

除了上述經(jīng)典的模型之外，學(xué)者對圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了更一步的研究.比如，Jiang等人[38]針對現(xiàn)有的GCN通常使用固定圖的弊端，提出了一種通過將圖學(xué)習(xí)和圖卷積集成在一個統(tǒng)一的網(wǎng)絡(luò)體系結(jié)構(gòu)中的圖學(xué)習(xí)卷積網(wǎng)絡(luò)(graph learning convolution neural network, GLCN)，用于圖數(shù)據(jù)表示和半監(jiān)督學(xué)習(xí)，在半監(jiān)督學(xué)習(xí)場景下學(xué)習(xí)一種最適合GCN的最優(yōu)圖結(jié)構(gòu).Brockschmidt[39]提出了關(guān)系圖動態(tài)卷積網(wǎng)絡(luò)(relational graph dynamic convolutional networks, RGDCN)和一種新的基于特征的線性調(diào)制模型 GNN-FiLM(GNN type using feature-wise linear modulation)探索利用超參數(shù)網(wǎng)絡(luò)對圖進(jìn)行學(xué)習(xí).Jiang等人[40]提出了一個高斯誘導(dǎo)卷積(Gaussian induced convolution, GIC)框架來對不規(guī)則圖進(jìn)行局部卷積濾波.Zhou等人[41]提出了一種通用弧形結(jié)構(gòu)的高階圖卷積網(wǎng)絡(luò)和自適應(yīng)圖卷積網(wǎng)絡(luò)(high-order and adaptive graph convolutional network, HA-GCN)，其中高階算子為了保障在實現(xiàn)卷積時能夠到達(dá)k跳鄰居，自適應(yīng)濾波模塊根據(jù)局部圖連接和節(jié)點特征動態(tài)調(diào)整卷積運(yùn)算符的權(quán)重.Chami等人[42]提出了一個歸納式雙曲圖卷積神經(jīng)網(wǎng)絡(luò)(hyperbolic graph convolutional neural network, HGCN)，利用GCN的表達(dá)能力和雙曲幾何來學(xué)習(xí)分層的無標(biāo)度圖的歸納節(jié)點表示,來解決GCN在處理雙曲幾何結(jié)構(gòu)時存在難以定義卷積算子和不清楚如何將特征轉(zhuǎn)移為具有適當(dāng)曲率的雙曲線的困難.

同時，Zhang等人[43]提出了通過參數(shù)隨機(jī)圖模型合并不確定圖信息方法的貝葉斯圖卷積神經(jīng)網(wǎng)絡(luò)(Bayesian graph convolutional neural networks, BGCN)，將觀察到的圖視為來自隨機(jī)圖的參數(shù)族的實現(xiàn)，解決了GCN在處理圖結(jié)構(gòu)的相關(guān)不確定性方面存在的問題.Pal等人[44]提出了一種BGCN處理節(jié)點分類任務(wù)的非參數(shù)生成模型，并將其整合到BGCN框架中，同時，作者又在文獻(xiàn)[45]中介紹了基于復(fù)制節(jié)點的選擇生成式模型，同樣將其整合到了BGCN框架中.這種改進(jìn)的最大優(yōu)點在于使用了圖拓?fù)渫茢嘀泄?jié)點特征和訓(xùn)練標(biāo)簽提供的信息，結(jié)果表明該方法在處理節(jié)點分類任務(wù)時也有著不俗的表現(xiàn).

1.2.2 針對計算效率低的改進(jìn)模型

1.2.1節(jié)模型雖然在空間域上實現(xiàn)了將傳統(tǒng)的卷積算子轉(zhuǎn)移到圖結(jié)構(gòu)數(shù)據(jù)上，有效地聚集了鄰居節(jié)點的信息.但當(dāng)利用神經(jīng)網(wǎng)絡(luò)對各個模型進(jìn)行訓(xùn)練時，卻發(fā)現(xiàn)每個模型的訓(xùn)練效率是非常低的.這是由于在每一輪訓(xùn)練中都需要將整個圖的節(jié)點作為輸入，但在實際的處理任務(wù)中，一般需要處理的圖節(jié)點數(shù)量是非常多的，這就需要占用較大的計算資源和內(nèi)存，使1.2.1節(jié)模型無法應(yīng)用于大圖.針對訓(xùn)練效率低的問題，很多學(xué)者進(jìn)行了研究探索.來源于深度模型在處理大圖片時采用隨機(jī)切片的靈感，LGCN[12]提出了一種子圖訓(xùn)練的方法.由于該方法簡單有效，我們以一個實際的具體例子進(jìn)行闡述，如圖11所示：

Fig. 11 Method of subgraph training[12]

在圖11中，我們的目標(biāo)子圖是要包含15個節(jié)點，首先對中心節(jié)點初始化選擇3個節(jié)點，然后對初始化的3個節(jié)點的一階鄰居采用深度第一的搜索方法隨機(jī)選擇5個節(jié)點，完成第1次迭代.在下一次迭代中，在二階鄰居節(jié)點隨機(jī)選擇7個節(jié)點.通過2次迭代便完成了子圖的構(gòu)造，簡單有效地解決了訓(xùn)練效率低的問題.這其中的迭代次數(shù)可以根據(jù)自己需要進(jìn)行配置.

Fig. 12 The overall idea of the GraphSAGE algorithm[46]

同樣，為了使圖卷積神經(jīng)網(wǎng)絡(luò)能夠應(yīng)用于大規(guī)模的圖上，文獻(xiàn)[46]提出了一種針對圖結(jié)構(gòu)數(shù)據(jù)的歸納式的學(xué)習(xí)方法——圖采樣和聚集方法(graph sample and aggregate, GraphSAGE).GraphSAGE不是學(xué)習(xí)某個具體節(jié)點的嵌入表示，而是學(xué)習(xí)用于采樣和聚集鄰居節(jié)點來生成節(jié)點新的嵌入表示的聚合函數(shù).它不像先前直推式的方法針對固定的圖結(jié)構(gòu)，在訓(xùn)練時所有節(jié)點的信息必須事先知道.由于現(xiàn)實中很多圖是不斷變化，一些節(jié)點信息是未知的.所以要對將要出現(xiàn)的看不見的節(jié)點進(jìn)行嵌入，或者是對完全新的子圖進(jìn)行嵌入表示.通過GraphSAGE方法學(xué)習(xí)到的聚合函數(shù)可以應(yīng)用于當(dāng)圖動態(tài)增加節(jié)點的情景，這就使得GraphSAGE能夠應(yīng)用于大規(guī)模的圖結(jié)構(gòu)數(shù)據(jù)上.該方法總共包含3個步驟，如圖12所示：1)采樣鄰居節(jié)點，采樣中心節(jié)點的一階和二階鄰居節(jié)點;2)設(shè)計聚合函數(shù)，利用鄰居節(jié)點來表征中心節(jié)點;3)將聚集的鄰居節(jié)點信息利用多層神經(jīng)網(wǎng)路對中心節(jié)點進(jìn)行預(yù)測.GraphSAGE的核心思想是學(xué)習(xí)聚集鄰居節(jié)點特征的聚合函數(shù)，分別給出了均值聚集、長短時間記憶聚集(long short term memory, LSTM)和池化聚集3個候選聚合函數(shù).

(25)

2) 基于LSTM聚集.該方法比均值聚集有更強(qiáng)大的表達(dá)能力.由于LSTM以順序方式處理輸入數(shù)據(jù)，所以LSTM不是置換不變的.若要使LSTM適應(yīng)圖結(jié)構(gòu)數(shù)據(jù)的無序集合,只需對鄰居節(jié)點進(jìn)行隨機(jī)排列即可.

3) 池化聚集.在這種聚集方法中，每個鄰居的向量都通過全連接的神經(jīng)網(wǎng)絡(luò)獨立反饋.在完成此轉(zhuǎn)換之后，將最大池化聚集應(yīng)用于聚合各個鄰居信息的聚合操作中：

(26)

其中,max代表取各個元素的最大值.

GraphSAGE的采樣體現(xiàn)在上述3個聚合函數(shù)中，它不是聚合中心節(jié)點的所有鄰居節(jié)點，而是首先采樣一定數(shù)量的鄰居節(jié)點再進(jìn)行處理.這樣就把要處理的節(jié)點數(shù)量限制在某個區(qū)間之內(nèi)，不再需要輸入整個圖，從而提高了計算效率.從采樣角度來說，也同樣為GraphSAGE能夠處理大圖提供了保障.

不同于GraphSAGE采樣鄰居節(jié)點的方法，文獻(xiàn)[47]提出了一種針對當(dāng)前節(jié)點所在卷積層的采樣方法，稱之為快速圖卷積網(wǎng)絡(luò)算法(fast learning with graph convolutional networks, FastGCN).FastGCN是一種結(jié)合了重要性采樣的批量訓(xùn)練算法，不僅避免了對測試數(shù)據(jù)的依賴，還為每個批量操作產(chǎn)生了可控的計算消耗.該方法將圖的頂點解釋為某種概率分布下的獨立同分布的樣本，并將損失和每個卷積層作為頂點嵌入函數(shù)的積分.然后，通過定義樣本的損失和樣本梯度的蒙特卡羅近似計算積分，可以進(jìn)一步改變采樣分布，以減小近似方差.

GraphSAGE和FastGCN都是固定采樣節(jié)點個數(shù)進(jìn)行的采樣,文獻(xiàn)[48]提出了一種能適用于擁有眾多節(jié)點大圖的自適應(yīng)采樣方法.該方法通過在自上而下的網(wǎng)絡(luò)中逐層構(gòu)建網(wǎng)絡(luò)，依據(jù)概率的大小對頂層的下層進(jìn)行采樣，其中采樣的鄰域由不同的父節(jié)點共享，并且由于采用固定大小的采樣方法而避免了過度擴(kuò)展.同時該采樣器是自適應(yīng)的，能夠明顯減少采樣方差，從而提高了GCN的計算效率.實驗表明該方法相比于GraphSAGE和FastGCN在計算效率上都有明顯的提升.在逐層采樣中，依據(jù)概率的大小定義了前向傳播的模型：

(27)

(28)

文獻(xiàn)[49]提出了一種針對圖卷積神經(jīng)網(wǎng)絡(luò)的隨機(jī)訓(xùn)練方法.傳統(tǒng)的GCN采用從其鄰居節(jié)點遞歸計算中心節(jié)點的表示方法，導(dǎo)致了感受野大小隨層數(shù)呈指數(shù)增長，致使在計算時占用非常大的內(nèi)存.該方法是一種基于控制變量的算法，允許對任意鄰居大小進(jìn)行采樣，從而控制感受野的大小，減小計算負(fù)擔(dān).文獻(xiàn)[50]提出了一種聚類圖卷積的方法(cluster-graph convolutional network, Cluster-GCN),利用圖的聚類結(jié)構(gòu)，基于高效的圖聚類算法來設(shè)計批次，在計算時只需要將節(jié)點嵌入存儲在當(dāng)前批處理中.在每個步驟中，Cluster-GCN對與圖聚類算法識別的密集子圖相關(guān)聯(lián)的節(jié)點塊進(jìn)行采樣，并將搜索范圍限制在該子圖的鄰域中.這種方法雖然簡單但能夠有效地減小內(nèi)存占用率和計算時間，同時能夠達(dá)到與以前的算法相當(dāng)?shù)臏y試精度.Cluster-GCN還可以在不需要太多時間和內(nèi)存開銷的情況下訓(xùn)練更深層的GCN，從而提高了預(yù)測精度.這樣Cluster-GCN使GNN向做大做深的方向邁進(jìn)了一大步.文獻(xiàn)[51]提出了一種分層的重要性采樣方法(layer-dependent importance sampling, LADIES)來解決傳統(tǒng)GCN方法在計算時帶來的計算時間長和內(nèi)存消耗大的問題.在當(dāng)前層的前一層采樣節(jié)點的基礎(chǔ)上，LADIES選擇中心節(jié)點的鄰域節(jié)點構(gòu)造一個二部圖，并據(jù)此計算重要概率.然后，根據(jù)計算的概率對一定數(shù)量的節(jié)點進(jìn)行抽樣，每層遞歸地進(jìn)行這樣的過程，構(gòu)建整個計算圖.結(jié)果證明，該方法比GraphSAGE占用更小的內(nèi)存，并且還可以得到較FastGCN更小的方差.文獻(xiàn)[52]則提出了一個針對圖自編碼和變分自編碼的通用框架，該方法僅選擇節(jié)點的子集來訓(xùn)練模型，而不是采用整個圖.并且應(yīng)用了簡單有效的消息傳播機(jī)制，從而提高了圖神經(jīng)網(wǎng)絡(luò)的計算速度.

表3對基于空間域的圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了匯總，分別比較了它們的測試數(shù)據(jù)集和應(yīng)用等方面的差異.

Table 3 Graph Convolutional Neural Network Models Based on Spatial Domain

1.3 從池化考慮的圖卷積神經(jīng)網(wǎng)絡(luò)

當(dāng)前針對圖卷積神經(jīng)網(wǎng)絡(luò)的研究大多集中在怎樣使卷積算子更加適應(yīng)于圖結(jié)構(gòu)數(shù)據(jù)上，如何設(shè)計有效的聚合函數(shù)，從而實現(xiàn)對中心節(jié)點特征的有效表示.池化操作在傳統(tǒng)的卷積操作中扮演著重要的角色，所以在圖卷積中的作用也是巨大的，但很多人卻忽視了對圖池化算子的研究.這是由于很難在圖上定義一個統(tǒng)一標(biāo)準(zhǔn)的圖池化算子，具有一定的難度，所以對于圖池化算子的研究遠(yuǎn)遠(yuǎn)落后于其他方面的研究.圖池化算子同樣在設(shè)計深度學(xué)習(xí)結(jié)構(gòu)時扮演著重要的角色，它能夠?qū)W習(xí)出圖的層次結(jié)構(gòu)表示.而當(dāng)需要處理整個圖層面的問題時，圖池化算子又是必須要考慮的.所以也有一些學(xué)者對圖卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中的池化算子進(jìn)行了研究.

Bianchi等人[53]設(shè)計了一種基于minCUT最優(yōu)化利用可微無監(jiān)督損失的池化算子，可以和消息傳播層混合在一起作為一個單獨的神經(jīng)網(wǎng)絡(luò)層，如圖13所示，為在消息傳遞層加入minCUT池化層的深度GNN結(jié)構(gòu).minCUT池化策略通過取多層傳播的均值來計算聚類分配矩陣S∈N×K，把每個節(jié)點特征xi映射為S的第i行，S=softmax(ReLU(XW1)W2)，其中Θpool=W1∈F×H,W2∈H×K是可訓(xùn)練的參數(shù).通過最小化一般特定任務(wù)的損失和無監(jiān)督損失Lu,可以優(yōu)化參數(shù)ΘMP和Θpool.無監(jiān)督損失Lu由Lc和Lo兩部分組成，其中用于估計指定聚類S的Lc稱為切割損失項，正交損失項Lo用于去除產(chǎn)生具有相似大小的聚類簇，避免Lc損失函數(shù)產(chǎn)生的正交解.

(29)

(30)

其中,Xpool∈K×F中的元素是第i組中第j個特征的平均權(quán)重.是對稱矩陣Apool∈K×K的元素，同時也是第i個族和j個族的邊的數(shù)量.由于自循環(huán)會阻礙處在池化層后的消息傳播操作向其鄰接節(jié)點傳播，通過將對角線置0重新計算鄰接矩陣：

(31)

其中,diag(·)返回對角矩陣.

文獻(xiàn)[54]提出了帶結(jié)構(gòu)學(xué)習(xí)的層次圖池化算子(hierarchical graph pooling with structure learning, HGP-SL).HGP-SL是非參數(shù)的，可以充分利用節(jié)點特征和圖形結(jié)構(gòu)信息，并且自適應(yīng)地選擇節(jié)點子集以形成后續(xù)層的誘導(dǎo)子圖.該方法很容易實現(xiàn)，能夠很方便地集成到各種圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中.并且可以將圖池化算子和結(jié)構(gòu)學(xué)習(xí)結(jié)合到一個統(tǒng)一的模塊中，生成圖的層次表示.由于1個節(jié)點的表示可以通過它的鄰域表示來重構(gòu)，這意味著這個節(jié)點可能在池化操作中被刪除而幾乎沒有信息丟失.基于該原因，HGP-SL首先利用曼哈頓距離定義了節(jié)點信息的得分：

(32)

其中,p∈ni表示圖中每個節(jié)點的得分，表示L1范數(shù).在獲得節(jié)點信息得分之后，對圖中的節(jié)點進(jìn)行重新排序.為了逼近圖的信息，然后選擇節(jié)點信息得分相對較大的節(jié)點.這是由于它們可以提供更多的信息，所以在構(gòu)造合集圖時會保留這些節(jié)點.從而完成對圖的池化操作，節(jié)點選擇規(guī)則為:

(33)

(34)

文獻(xiàn)[56]提出了一種可微的圖池化方法(differentiable pooling, DIFFPOOL)，它以端到端的方式學(xué)習(xí)分配矩陣，并且可以把圖的層次結(jié)構(gòu)展示出來.在l層中學(xué)習(xí)到的分配矩陣S(l)∈nl×nl+1含有l(wèi)層節(jié)點被分配聚類到l+1層中的概率：

(35)

其中,X表示特征矩陣.

文獻(xiàn)[57]則針對圖池化算子提出了一種在任意圖中保留豐富信息特征的無參數(shù)池化算子iPool.該算子的特點是復(fù)雜度低并且能夠自適應(yīng)圖結(jié)構(gòu)，從而可以提高GNN在提取網(wǎng)絡(luò)數(shù)據(jù)和層次表示方面的能力.iPool的另一個優(yōu)勢是基于局部運(yùn)算，所以能夠產(chǎn)生同構(gòu)圖下的不變性.注意力機(jī)制在被提出來之后，在深度學(xué)習(xí)的各個領(lǐng)域得到了非常好的應(yīng)用，文獻(xiàn)[58]將自注意力機(jī)制應(yīng)用到圖池化過程中(self-attention graph pooling, SAGPool).SAGPool方法同樣將圖本身的特征信息和圖空間位置結(jié)構(gòu)信息考慮在內(nèi)，利用自注意力機(jī)制決定應(yīng)該取舍的節(jié)點.雖然上述一些方法對未利用圖的結(jié)構(gòu)信息這一缺陷進(jìn)行了改進(jìn)，但圖局部的結(jié)構(gòu)信息仍未被考慮在內(nèi).文獻(xiàn)[59]提出了一種基于圖傅里葉變換的特征池化算子，將局部信息和全局信息考慮在內(nèi)，在池過程中充分利用節(jié)點特征和局部結(jié)構(gòu)，采用合并全局節(jié)點的方法來輸出整個圖表示的方式.并設(shè)計了基于該池化算子的池化層，與傳統(tǒng)的圖卷積層進(jìn)一步結(jié)合，形成了一個用于圖分類的圖卷積神經(jīng)網(wǎng)絡(luò)框架.

為了給讀者一個直觀的認(rèn)識，我們將從池化考慮的圖卷積神經(jīng)網(wǎng)絡(luò)模型總結(jié)歸納于表4中：

Table 4 Graph Convolutional Neural Network Models Considered from Pooling

Fig. 14 The structure of GAT layer

2 基于注意力實現(xiàn)的圖神經(jīng)網(wǎng)絡(luò)

注意力機(jī)制在處理序列任務(wù)已經(jīng)表現(xiàn)出強(qiáng)大的能力[60]，比如在機(jī)器閱讀和學(xué)習(xí)句子表征的任務(wù)中.其強(qiáng)大的優(yōu)勢在于允許可變大小的輸入，然后利用注意力機(jī)制只關(guān)心最重要的部分，最后做出決策處理.一些研究發(fā)現(xiàn)，注意力機(jī)制可以改進(jìn)卷積方法，從而可以構(gòu)建一個強(qiáng)大的模型，在處理一些任務(wù)時能夠取得更好的性能.為此，文獻(xiàn)[61]將注意力機(jī)制引入到了圖神經(jīng)網(wǎng)絡(luò)中對鄰居節(jié)點聚合的過程中，提出了圖注意力網(wǎng)絡(luò)(graph attention networks, GAT).在傳統(tǒng)的GNN框架中，加入了注意力層，從而可以學(xué)習(xí)出各個鄰居節(jié)點的不同權(quán)重，將其區(qū)別對待.進(jìn)而在聚合鄰居節(jié)點的過程中只關(guān)注那些作用比較大的節(jié)點，而忽視一些作用較小的節(jié)點.GAT的核心思想是利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)出各個鄰居節(jié)點的權(quán)重，然后利用不同權(quán)重的鄰居節(jié)點更新出中心節(jié)點的表示，如圖14為GAT層的結(jié)構(gòu)示意圖.圖14(a)表示節(jié)點i和節(jié)點j間權(quán)重的計算，圖14(b)表示某一節(jié)點在其鄰域內(nèi)采用了多頭的注意力機(jī)制來更新自身表示.

節(jié)點j相對于節(jié)點i的注意力因子求解為

(36)

(37)

為了使模型更加穩(wěn)定，作者還應(yīng)用了多頭注意力機(jī)制.把原來只利用一個函數(shù)計算注意力因子改為設(shè)置K個不同的函數(shù)來共同計算注意力因子，每個函數(shù)的結(jié)果都可以得到一組注意力參數(shù)，并且還能為下一層的加權(quán)求和提供一組參數(shù).在各個卷積層中，K個不同注意力機(jī)制互不影響，獨立工作.最后把每個注意力機(jī)制得到的結(jié)果拼接或求均值，即可得到最后的結(jié)果.若同時計算K個不同的注意力機(jī)制，則可得到：

(38)

(39)

文獻(xiàn)[62]同樣將多頭注意力機(jī)制引入到對鄰居節(jié)點的聚合過程中，提出了門控注意力網(wǎng)絡(luò)(gated attention networks, GAAN).但不同于GAT采用求平均或拼接的方式來確定最后的注意力因子.GAAN認(rèn)為采用多頭注意力機(jī)制雖然能夠聚集中心節(jié)點的多個鄰居節(jié)點信息，但并非每頭注意力機(jī)制的貢獻(xiàn)都是相同的，某一頭注意力可能會捕獲到無用的信息.于是GAAN為多頭注意力中的每頭注意力機(jī)制分別賦予了不同的權(quán)重，以此來聚合鄰居節(jié)點信息，完成對中心節(jié)點的更新.因此，GAAN首先計算一個介于0(低重要性)和1(高重要性)之間的附加軟門，為每頭注意力分配不同的權(quán)重.然后結(jié)合多頭注意力聚合器，便可以得到門控注意力聚合器：

(40)

(41)

其中,θm表示將鄰居節(jié)點的特征向量映射到dm維，θg表示拼接好的特征向量映射到第k個門.最后，文獻(xiàn)[62]的作者利用GGAN構(gòu)造了門控遞歸單元，成功應(yīng)用到交通速度預(yù)測問題上.

文獻(xiàn)[63]中提出，盡管GAT在多項任務(wù)中取得了很好的效果，但目前仍缺乏對其判別能力的清晰理解.所以該文作者對利用注意力機(jī)制作為聚合器的圖神經(jīng)網(wǎng)絡(luò)的表示特性進(jìn)行了理論分析，分析了該類圖神經(jīng)網(wǎng)絡(luò)始終無法區(qū)分不同結(jié)構(gòu)的所有情況.結(jié)果表明，現(xiàn)有的基于注意力的聚合器無法在聚合時保留節(jié)點特征向量的多集合的基數(shù)從而限制了它們的判別能力.該文提出的方法對基數(shù)進(jìn)行了修改，并且可以將其應(yīng)用于任何類型的注意力機(jī)制中.Zhang等人[64]則開發(fā)了一種適用于超圖基于注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)——自注意力圖神經(jīng)網(wǎng)絡(luò)(self-attention graph neural networks, SAGNN).SAGNN能夠處理不同類型的超圖，并且可以適用于各種學(xué)習(xí)任務(wù)和具有變量的同構(gòu)和異構(gòu)超圖.該方法能夠改善或匹配超圖學(xué)習(xí)的最新性能，解決了先前方法的缺點，例如無法預(yù)測非k均勻異構(gòu)超圖的超邊.U2GNN[65]模型則通過引入通用的自注意力網(wǎng)絡(luò)提出了一種新穎的圖嵌入模型，它可以學(xué)習(xí)出能夠用于圖分類的低維嵌入向量.在實現(xiàn)時，U2GNN首先利用注意力層進(jìn)行計算，然后進(jìn)行遞歸轉(zhuǎn)換以迭代地記住每次迭代中每個節(jié)點及其鄰居節(jié)點的向量表示的權(quán)重大小，最后輸出的總和即為整個圖的最終嵌入表示.該方法可以解決現(xiàn)有模型中的弱點，以產(chǎn)生合理的節(jié)點嵌入向量.

上述模型都是將注意力機(jī)制應(yīng)用到空間域的圖神經(jīng)網(wǎng)絡(luò)中.為了更好地利用圖的局部和全局結(jié)構(gòu)信息，文獻(xiàn)[66]首次嘗試將注意力機(jī)制從空間域轉(zhuǎn)移到譜域，提出了譜域圖注意力網(wǎng)絡(luò)(spectral graph attention network, SpGAT).在SpGAT中，選擇圖小波作為譜基，并根據(jù)指標(biāo)將其分解為低頻和高頻分量.然后根據(jù)低頻分量和高頻分量構(gòu)造2個不同的卷積核，將注意力機(jī)制應(yīng)用于這2個核上，分別捕捉它們的重要性.通過對低頻分量和高頻分量引入不同的可訓(xùn)練注意力權(quán)重，可以有效地捕捉圖中局部和全局信息，并且相對于空間域的注意力SpGAT大大減少了學(xué)習(xí)參數(shù)，從而提高了GNN的性能.

為了更好地理解注意力機(jī)制在圖神經(jīng)網(wǎng)絡(luò)中的應(yīng)用，以及識別出影響注意力機(jī)制的因素.文獻(xiàn)[67]設(shè)計了一系列實驗和模型對其進(jìn)行了深入研究分析.首先利用圖同構(gòu)網(wǎng)絡(luò)(graph isomorphism network, GIN)模型[68]在數(shù)據(jù)集上進(jìn)行實驗，卻發(fā)現(xiàn)其表現(xiàn)非常差，并且很難學(xué)習(xí)注意力子圖網(wǎng)絡(luò).于是作者將GIN和ChebyNet網(wǎng)絡(luò)結(jié)合在一起提出了ChebyGIN網(wǎng)絡(luò)模型，然后加上注意力因子從而形成注意力模型，并且采用了一種弱監(jiān)督的訓(xùn)練方法來改善模型的性能，將模型分別在顏色計數(shù)和三角形計數(shù)任務(wù)中進(jìn)行實驗.最后得出4個結(jié)論：1)圖神經(jīng)網(wǎng)絡(luò)中注意力機(jī)制對于節(jié)點的注意力主要貢獻(xiàn)是可以推廣到更復(fù)雜或者有噪聲的圖上，這種能力可以將一個無法推廣的模型轉(zhuǎn)換為一個非常健壯的模型;2)影響注意力機(jī)制在GNN中性能的因素有注意力模型的初始化、GNN模型的選擇和注意力機(jī)制及GNN模型的超參數(shù);3)弱監(jiān)督的訓(xùn)練方法可以使注意力機(jī)制在GNN模型中表現(xiàn)出更好的性能;4)注意力機(jī)制可以使GNN對較大且有噪聲的圖更具魯棒性.

我們將上述基于注意力的圖卷積神經(jīng)網(wǎng)絡(luò)模型總結(jié)于表5中：

Table 5 Attention-Based Graph Neural Network Models

3 基于自編碼器實現(xiàn)的圖神經(jīng)網(wǎng)絡(luò)

在無監(jiān)督學(xué)習(xí)任務(wù)中，自編碼器(autoencoder, AE)及其變體扮演者非常重要的角色，它借助于神經(jīng)網(wǎng)絡(luò)模型實現(xiàn)隱表示學(xué)習(xí)，具有強(qiáng)大的數(shù)據(jù)特征提取能力.AE通過編碼器和解碼器實現(xiàn)對輸入數(shù)據(jù)的有效表示學(xué)習(xí)，并且學(xué)習(xí)到的隱表示的維數(shù)可以遠(yuǎn)遠(yuǎn)小于輸入數(shù)據(jù)的維數(shù)，實現(xiàn)降維的目的.AE是目前隱表示學(xué)習(xí)的首選深度學(xué)習(xí)技術(shù)，當(dāng)我們把具有某些聯(lián)系的原始數(shù)據(jù)(X1,X2,…,Xn)輸入到AE中進(jìn)行重構(gòu)學(xué)習(xí)時，可以完成特征提取的任務(wù).自編碼器的應(yīng)用場景是非常廣泛的，經(jīng)常被用于數(shù)據(jù)去噪、圖像重構(gòu)以及異常檢測等任務(wù)中.除此之外，當(dāng)AE被用于生成與訓(xùn)練數(shù)據(jù)類似的數(shù)據(jù)時，稱之為生成式模型.由于AE具有上述優(yōu)點，一些學(xué)者便將AE及其變體模型應(yīng)用到圖神經(jīng)網(wǎng)絡(luò)當(dāng)中來.文獻(xiàn)[69]第1個提出了基于變分自編碼器(variational autoencoder, VAE)的變分圖自編碼器模型(variational graph autoencoder, VGAE)，將VAE應(yīng)用到對圖結(jié)構(gòu)數(shù)據(jù)的處理上.VGAE利用隱變量學(xué)習(xí)出無向圖的可解釋隱表示，使用了圖卷積網(wǎng)絡(luò)編碼器和一個簡單的內(nèi)積解碼器來實現(xiàn)這個模型.在該模型中，其編碼器借助于2層GCN來實現(xiàn)：

(42)

(43)

L=Eq(H|I,A)[logp(A|H)]-KL[q(H|I,A)‖P(H)],

(44)

其中,等式右邊第1項表示交叉熵函數(shù)，第2項表示解碼器生成的圖和輸入圖之間的KL距離.

現(xiàn)有的網(wǎng)絡(luò)嵌入方法大多是通過低維向量空間中的一個點來表示每個節(jié)點.這樣，整個網(wǎng)絡(luò)結(jié)構(gòu)的形成是確定性的.然而，現(xiàn)實中網(wǎng)絡(luò)在形成和演化過程中充滿了不確定性，這就使得這些方法存在一些弊端.針對以上弊端，文獻(xiàn)[70]提出了一種嵌入到Wasserstein空間中的深度變分圖嵌入方法(deep variational network embedding, DVNE).由于高斯分布本質(zhì)上代表了不確定性性質(zhì)，DVNE利用深度變分模型學(xué)習(xí)Wasserstein空間中每個節(jié)點的高斯嵌入，而不再是用一個點向量來表示節(jié)點.這樣可以在保持網(wǎng)絡(luò)結(jié)構(gòu)的前提下，對節(jié)點的不確定性進(jìn)行建模.DVNE方法中利用第二Wasserstein距離(W2)來衡量分布之間的相似性.用一個深度變分模型來最小化模型分布和數(shù)據(jù)分布之間的Wasserstein距離，從而提取出均值向量和方差項之間的內(nèi)在關(guān)系.

在DVNE的實現(xiàn)過程中，2個高斯分布函數(shù)的W2距離定義為

(45)

其中,N(μ,Σ)表示高斯分布.DVNE的損失函數(shù)L由2部分組成：一是保持一階近似L1范數(shù)基于排序的損失；二是保持二階近似L2范數(shù)重構(gòu)損失.

(46)

其中D={(i,j,k)|j∈N(i),k?N(j)}是一個三元組集合，Eij是節(jié)點i和節(jié)點j的W2距離.C是輸入特征，Q是編碼器，C～PC，⊙表示哈達(dá)瑪積，G是解碼器，Z表示隨機(jī)變量.最后通過最小化損失函數(shù)來學(xué)習(xí)模型中的參數(shù).

文獻(xiàn)[71]將AE引入到對頂點的學(xué)習(xí)表示當(dāng)中，提出了一種結(jié)構(gòu)化的深度網(wǎng)絡(luò)嵌入(structural deep network embedding, SDNE)方法.現(xiàn)有的網(wǎng)絡(luò)嵌入方法大多采用淺層模型，無法捕捉高度非線性的網(wǎng)絡(luò)結(jié)構(gòu)，導(dǎo)致網(wǎng)絡(luò)表現(xiàn)不夠好.SDNE方法利用二階近似來捕獲全局網(wǎng)絡(luò)結(jié)構(gòu)，導(dǎo)致網(wǎng)絡(luò)表現(xiàn)不夠好.同時利用一階近似來保持局部網(wǎng)絡(luò)結(jié)構(gòu).最后通過在半監(jiān)督的深度模型聯(lián)合利用一階和二階鄰近度來保持網(wǎng)絡(luò)結(jié)構(gòu)，這樣就能夠有效地捕獲高度非線性網(wǎng)絡(luò)結(jié)構(gòu)并保持全局和局部結(jié)構(gòu).則該模型的損失函數(shù)為

Lmin=L2nd+αL1st+vLreg,

(47)

其中,L2nd為二階近似的損失函數(shù)，L1st為一階近似的損失函數(shù)，Lreg則是為了防止過擬合的正則化項.各個損失函數(shù)的定義為

(48)

規(guī)則等價即位于網(wǎng)絡(luò)不同部分的頂點可能具有相似的角色或位置，在網(wǎng)絡(luò)嵌入的研究中很容易被忽略.文獻(xiàn)[72]則提出了一種深度遞歸網(wǎng)絡(luò)嵌入(deep recursive network embedding, DRNE)來學(xué)習(xí)具有規(guī)則等價性的網(wǎng)絡(luò)嵌入，將節(jié)點的鄰域轉(zhuǎn)化為有序序列，用一個規(guī)范化的LSTM層來表示每個節(jié)點，通過遞歸來聚合它們的鄰居特征，DRNE的損失函數(shù)為

(49)

其中,Xv和Xu表示節(jié)點v和節(jié)點u的嵌入向量表示，Agg是利用LSTM實現(xiàn)的聚合函數(shù).在一個遞歸步驟中，節(jié)點的嵌入表示可以保持其鄰域的局部結(jié)構(gòu).通過迭代更新學(xué)習(xí)到的表示，學(xué)習(xí)到的節(jié)點嵌入向量可以在全局意義上整合它們的結(jié)構(gòu)信息，從而實現(xiàn)規(guī)則等價.在對鄰域節(jié)點序列化時，采用最有效的鄰域排序度量——度的大小——對其進(jìn)行排序.最后加上正則化項作為整個模型的損失函數(shù)來更新參數(shù).圖15為DRNE框架，其中圖步驟1為鄰居節(jié)點采樣;步驟2為按鄰居節(jié)點的度對節(jié)點進(jìn)行排序;步驟3為歸一化LSTM層，將鄰居節(jié)點的嵌入表示聚合到目標(biāo)節(jié)點的嵌入表示中，Xi是節(jié)點i的嵌入向量，LN表示層歸一化;步驟4為正則化器.

文獻(xiàn)[73]將AE應(yīng)用在推薦系統(tǒng)的矩陣補(bǔ)全上，提出了圖卷積矩陣補(bǔ)全方法(graph convolution matrix completion, GC-MC).GC-MC將矩陣補(bǔ)全看作是圖上的一個鏈接預(yù)測問題，設(shè)計了一種基于二部交互圖的可微信息傳遞的圖自編碼框架.其編碼器借助于圖卷積實現(xiàn)，解碼器則利用一個雙線性函數(shù)完成.文獻(xiàn)[74]針對圖數(shù)據(jù)的對抗圖嵌入提出了一個新的框架.為了學(xué)習(xí)魯棒嵌入，提出了對抗正則化圖自動編碼器(adversarially regularized graph autoencoder, ARGA)和對抗正則化變分圖自動編碼器(adversarially regularized variational graph autoencoder, ARVGA)兩種對抗方法.除了上述方法外，基于自編碼器的圖神經(jīng)網(wǎng)絡(luò)還有能夠有效學(xué)習(xí)大規(guī)模圖上節(jié)點嵌入的Graph2Gauss[75]方法.表6對基于自編碼器的圖神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了總結(jié).

Fig. 15 DRNE framework

Table 6 Autoencoder-Based Graph Neural Network Models

4 其他模型

除圖卷積神經(jīng)網(wǎng)絡(luò)、基于注意力和自編碼的圖神經(jīng)網(wǎng)絡(luò)外，還有很多學(xué)者致力于圖神經(jīng)網(wǎng)絡(luò)的發(fā)展，提出了眾多模型.由于圖神經(jīng)網(wǎng)絡(luò)模型具有巨大潛力，在各個方向上都有很大的研究價值.在此，對基于高斯過程、時空領(lǐng)域、Markov模型、交叉領(lǐng)域等多個方向的模型進(jìn)行了總結(jié)概括，供廣大學(xué)者借鑒從而進(jìn)行更深一步的研究，以起到拋磚引玉的作用.

在處理節(jié)點分類任務(wù)時,Qu等人[76]針對半監(jiān)督目標(biāo)分類問題提出了圖Markov神經(jīng)網(wǎng)絡(luò)(graph Markov neural network, GMNN)，GMNN集成了統(tǒng)計關(guān)系學(xué)習(xí)和GNN的優(yōu)點，GMNN使用條件隨機(jī)場對象標(biāo)簽的聯(lián)合分布進(jìn)行建模，使用變分最大期望算法進(jìn)行有效訓(xùn)練.圖16所示為GMNN框架，其中實線和虛線正方形分別是已標(biāo)記和未標(biāo)記的對象，黑色/白色正方形是屬性，直方圖是對象的標(biāo)簽分布，實心圓圈是對象表示.GMNN通過在E步和M步之間交替進(jìn)行訓(xùn)練.針對半監(jiān)督學(xué)習(xí)問題，Ng等人[77]提出了一種通過使用經(jīng)驗核均值嵌入分布回歸構(gòu)建的基于高斯過程的貝葉斯方法.特別是在標(biāo)簽稀缺的主動學(xué)習(xí)實驗中，該模型不需要驗證數(shù)據(jù)集就可以盡早停止以防止過擬合.在機(jī)器學(xué)習(xí)中，時空領(lǐng)域的學(xué)習(xí)仍然是一個具有挑戰(zhàn)性的問題.文獻(xiàn)[78]提出了一種適用于捕獲在不斷變化場景中不同實體的局部特征和復(fù)雜高層交互的循環(huán)時空圖神經(jīng)網(wǎng)絡(luò)(recurrent space-time graph, RSTG).RSTG的實現(xiàn)通過計算從特定位置提取的要素并在每個時刻進(jìn)行縮放來考慮局部信息，再通過迭代在空間域的信息傳遞整合大范圍的時間和空間信息.Ouyang等人[79]針對現(xiàn)有的GNN在交叉領(lǐng)域信息傳播遇到的挑戰(zhàn)提出了一種新的變種模型深度多圖嵌入(deep multi-graph embedding, DMGE)模型用于交叉領(lǐng)域的表示學(xué)習(xí).

Fig. 16 GMNN framework[76]

Zhang等人[80]針對GNN在對圖結(jié)構(gòu)進(jìn)行處理時，大多是考慮成對的依賴關(guān)系的弊端，提出了能夠捕獲更高階的依賴關(guān)系的因子圖神經(jīng)網(wǎng)絡(luò)(factor graph neural network, FGNN)模型.Chen等人[81]提出了可以捕獲對話框中的對話流的GraphFlow模型，該模型是為了解決在處理對話式閱讀理解問題時，現(xiàn)有的方法不能有效捕獲對話歷史這一缺陷.Cao等人[82]提出的多頻道圖神經(jīng)網(wǎng)絡(luò)(multi-channel graph neural network, MuGNN)是用于解決在實體校準(zhǔn)時受限于結(jié)構(gòu)異質(zhì)性的問題.文獻(xiàn)[83]提出二分圖神經(jīng)網(wǎng)絡(luò)(bipartite graph neural network, BGNN)用來處理特殊的二分圖結(jié)構(gòu).Verma等人[84]針對GCN中卷積運(yùn)算會帶來信息損失這一缺陷，提出了能夠在局部節(jié)點池中捕獲更多信息的圖膠囊網(wǎng)絡(luò)(graph capsule network, GCAPS-CNN)模型，而不是通過聚合(標(biāo)準(zhǔn)GCN模型中使用的圖卷積運(yùn)算)捕獲信息.Du等人[85]提出了通過梯度下降訓(xùn)練的無限寬的多層GNN，并且享有GNN的全部表達(dá)能力的圖神經(jīng)正切核(graph neural tangent kernels, GNTKs).Xu等人[86]認(rèn)為現(xiàn)在圖上表示學(xué)習(xí)方法采用的鄰居聚合方式是一種不完美的策略，于是該文作者探索了一種新的架構(gòu)——跳躍知識網(wǎng)絡(luò)，靈活地為每個節(jié)點利用不同的鄰居范圍來實現(xiàn)更好的結(jié)構(gòu)表示.Su等人[87]提出了一種用于圖生成的概率自回歸模型——圖變分循環(huán)神經(jīng)網(wǎng)絡(luò)(graph variational recurrent neural network, GraphVRNN).該模型通過對圖數(shù)據(jù)的隱變量進(jìn)行建模，從而可以捕獲圖結(jié)構(gòu)基礎(chǔ)節(jié)點屬性的聯(lián)合分布.Sato等人[88]提出了第1個具有理論保障的GNN恒定時間近似算法，分析鄰居采樣以獲得針對GraphSAGE和GCN的恒定時間近似算法.Carr等人[89]介紹了可以對任意圖數(shù)據(jù)進(jìn)行操作，以稀疏上下文點為特征，并輸出目標(biāo)點分布的圖神經(jīng)過程(graph neural processes, GNP).

5 針對圖神經(jīng)網(wǎng)絡(luò)的討論分析

雖然圖神經(jīng)網(wǎng)絡(luò)近幾年發(fā)展迅猛，各種模型層出不窮.但圖神經(jīng)網(wǎng)絡(luò)也同樣存在一些局限性，對其理論研究不足，為此一些學(xué)者便從整體宏觀的角度對圖神經(jīng)網(wǎng)絡(luò)進(jìn)行了分析討論.到目前為止，對GNN的評價還只是經(jīng)驗上的，文獻(xiàn)[90]便從理論的角度研究了圖神經(jīng)網(wǎng)絡(luò)，將其與1維Weisfeiler-Leman圖同構(gòu)啟發(fā)式方法(1-dimensional Weisfeiler-Leman, 1-WL)聯(lián)系起來.證明了圖神經(jīng)網(wǎng)絡(luò)在區(qū)分非同構(gòu)(子)圖方面具有與1-WL相同的表現(xiàn)力，則圖神經(jīng)網(wǎng)絡(luò)在處理任務(wù)上和1-WL存在著相同的缺點.為此，作者提出了一個可以考慮多尺度上的高階圖結(jié)構(gòu)的廣義圖神經(jīng)網(wǎng)絡(luò).文獻(xiàn)[91]也同樣證明了圖神經(jīng)網(wǎng)絡(luò)的表達(dá)力上限是WL測試結(jié)果.并提出了將殘差/稠密連接和擴(kuò)張卷積應(yīng)用于GCN體系結(jié)構(gòu)上，從而成功地訓(xùn)練出一個56層的GCN網(wǎng)絡(luò).并將其應(yīng)用到點云語義分割的流形任務(wù)中，在S3DIS數(shù)據(jù)集上實現(xiàn)近4%的性能提升，證明了該深層GCN的有效性.上述方法雖然用檢測圖同構(gòu)的方法證明圖神經(jīng)網(wǎng)絡(luò)在識別圖中節(jié)點的能力上限，但并沒有解決節(jié)點分類器是布爾類型時的情況.文獻(xiàn)[92]則從該角度研究了圖神經(jīng)網(wǎng)絡(luò)的邏輯表達(dá)能力.圖神經(jīng)網(wǎng)絡(luò)在處理非歐氏數(shù)據(jù)時已經(jīng)表現(xiàn)出了強(qiáng)大的能力，但目前的模型大多都局限于非常淺的模型，圖神經(jīng)網(wǎng)絡(luò)能不能做深一直是一個研究的熱點.文獻(xiàn)[93]則對GCN處理半監(jiān)督分類任務(wù)進(jìn)行了深入研究，證明了GCN其實是拉普拉斯平滑的特殊形式.詳細(xì)說明了中心節(jié)點的特征更新是靠不斷聚合鄰居節(jié)點特征實現(xiàn)的，這就使得相鄰節(jié)點的相似性增強(qiáng)，從而使分類能力大大增強(qiáng).但如果堆積多層GCN，則輸出特征可能過度平滑，使來自不同簇的頂點可能變得不可區(qū)分，從而不能完成分類任務(wù).為了解決上述問題，文獻(xiàn)[93]作者提出了聯(lián)合訓(xùn)練和自訓(xùn)練的方法.文獻(xiàn)[94]同樣對當(dāng)堆積更多的層數(shù)時，GCN在處理分類任務(wù)時，其性能不會提高進(jìn)行了理論分析.通過(增廣的)正規(guī)化拉普拉斯的譜分布，將圖神經(jīng)網(wǎng)絡(luò)的漸近行為與圖的拓?fù)湫畔⒙?lián)系起來.從而證明了如果GCN的權(quán)重滿足由圖譜確定的條件，則當(dāng)層大小變?yōu)闊o窮大時，GCN的輸出除了用于判別節(jié)點的節(jié)點度和連接分量外，不攜帶任何信息.為此作者為圖神經(jīng)網(wǎng)絡(luò)的權(quán)值規(guī)范化提供了一個原則性的指導(dǎo)，提出的權(quán)值縮放方法提高了GCN在真實數(shù)據(jù)中的性能.文獻(xiàn)[95]發(fā)現(xiàn)圖神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)圖的節(jié)點距方面有很大的限制，如果不認(rèn)真設(shè)計模型，即使有多層和非線性激活函數(shù)，GCN在學(xué)習(xí)圖的節(jié)點距時仍會發(fā)生嚴(yán)重的故障.為此采用了模塊化的GCN設(shè)計，使用不同的傳播規(guī)則和剩余連接，可以顯著提高GCN的性能.最后發(fā)現(xiàn)深度在對圖的節(jié)點距學(xué)習(xí)過程中比寬度影響更大，較深的GCN更能學(xué)習(xí)高階圖的節(jié)點距.文獻(xiàn)[96]用數(shù)學(xué)知識證明節(jié)點嵌入和結(jié)構(gòu)圖表示的關(guān)系.最后利用不變量理論和因果關(guān)系提出了一個統(tǒng)一的理論框架.通過大量的數(shù)學(xué)推導(dǎo)，證明了結(jié)構(gòu)表示與節(jié)點嵌入之間的關(guān)系類似于分布及其樣本之間的關(guān)系，所有可以由節(jié)點嵌入執(zhí)行的任務(wù)也可以由結(jié)構(gòu)表示執(zhí)行，反之亦然.文獻(xiàn)[97]則研究了圖神經(jīng)網(wǎng)絡(luò)在信息傳遞框架下的表達(dá)能力.發(fā)現(xiàn)當(dāng)圖神經(jīng)網(wǎng)絡(luò)中的寬度和深度受到限制時，其表達(dá)能力也會進(jìn)一步受到限制.圖神經(jīng)網(wǎng)絡(luò)中的寬度和深度大小設(shè)計，應(yīng)適配于輸入圖的大小，并且圖神經(jīng)網(wǎng)絡(luò)可以計算其輸入上的任何函數(shù).

6 框 架

第1～5節(jié)介紹了圖神經(jīng)網(wǎng)絡(luò)模型及其變種，不難看出圖神經(jīng)網(wǎng)絡(luò)模型眾多，所以一些學(xué)者試圖將各種圖神經(jīng)網(wǎng)絡(luò)模型統(tǒng)一到一個標(biāo)準(zhǔn)的框架中.文獻(xiàn)[98]提出了消息傳播神經(jīng)網(wǎng)絡(luò)(message passing neural networks, MPNNs)的通用框架，概括基于空間的圖神經(jīng)網(wǎng)絡(luò)的一般形式.文獻(xiàn)[99]提出了統(tǒng)一的基于自注意力機(jī)制圖神經(jīng)網(wǎng)絡(luò)框架，并且提出了能夠捕獲深度神經(jīng)網(wǎng)絡(luò)中大范圍依賴關(guān)系的非局部神經(jīng)網(wǎng)絡(luò)(non-local neural network, NLNN)方法.文獻(xiàn)[100]提出了可以將各種圖神經(jīng)網(wǎng)絡(luò)模型推廣統(tǒng)一的圖網(wǎng)絡(luò)(graph network, GN).文獻(xiàn)[101]則提出了能夠?qū)W習(xí)局部、平穩(wěn)和組合的特定任務(wù)特征的混合模型網(wǎng)絡(luò)(mixture model networks, MoNet)統(tǒng)一框架.

6.1 消息傳播神經(jīng)網(wǎng)絡(luò)

文獻(xiàn)[98]提出了GNN的一種通用框架，概括了基于空間的GNN一般形式，取名為消息傳播神經(jīng)網(wǎng)絡(luò).這個框架抽象出GNN的一些共性，把基于空間的GNN看作是一個消息傳播過程，信息可以沿著邊從一個節(jié)點傳遞到另一個節(jié)點.并且舉例說明將門圖神經(jīng)網(wǎng)絡(luò)、交互式神經(jīng)網(wǎng)絡(luò)、分子圖神經(jīng)網(wǎng)絡(luò)、深度張量神經(jīng)網(wǎng)絡(luò)和基于拉普拉斯矩陣方法的神經(jīng)網(wǎng)絡(luò)等8個典型的GNN模型一般化到其提出的MPNN框架中.

(50)

如果只是在圖上做節(jié)點層面的任務(wù)，只需要完成上面的2個步驟就可以實現(xiàn).由于文獻(xiàn)[98]的作者提出的MPNN是一個通用的GNN框架，作者還必須考慮處理整個圖的任務(wù).所以作者還歸納了讀出函數(shù)，在讀出階段利用讀出函數(shù)R，以得到的各個更新后的節(jié)點狀態(tài)為輸入，計算出整個圖的特征向量：

(51)

當(dāng)前基于圖結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)都可以歸納成包含消息函數(shù)Mt、更新函數(shù)Ut和讀出函數(shù)R的設(shè)計形式.當(dāng)然，讀出函數(shù)R的有無根據(jù)實際的處理任務(wù)取舍.不同GNN只是對MPNN框架中的函數(shù)Mt，Ut，R進(jìn)行了不同的配置和更改.為了說明該框架的通用性，對8個典型的GNN模型進(jìn)行了詳細(xì)分析.分別討論了各個模型的函數(shù)Mt，Ut，R.在深度張量神經(jīng)網(wǎng)絡(luò)中，對以上3個函數(shù)的配置為：

(52)

6.2 非局部神經(jīng)網(wǎng)絡(luò)

文獻(xiàn)[99]提出了一種可以捕獲深度神經(jīng)網(wǎng)絡(luò)中大范圍依賴關(guān)系的非局部神經(jīng)網(wǎng)絡(luò).NLNN最初的應(yīng)用領(lǐng)域是在計算機(jī)視覺當(dāng)中，受啟發(fā)于非局部均值濾波方法[102].NLNN可以對所有位置的特征加權(quán)計算，聚合更多的信息，可以應(yīng)用于時間和空間上，所以它可以被看作是不同自注意力機(jī)制方法的統(tǒng)一.在很多處理任務(wù)中，都需要捕獲大范圍依賴關(guān)系.比如，在時序任務(wù)中，RNN操作是一種主要的捕獲大范圍依賴關(guān)系手段.而在CNN中則是通過堆疊多個卷積模塊來形成大感受野.目前的卷積和循環(huán)算子都是在空間和時間上的局部操作，大范圍依賴關(guān)系捕獲是通過重復(fù)堆疊和反向傳播得到，這些方法存在很多不足之處.和傳統(tǒng)的方法相比，NLNN具有3個優(yōu)點：1)與卷積運(yùn)算和遞歸運(yùn)算相比，非局部運(yùn)算通過計算任意2個位置之間的交互直接捕獲長依賴;2)即使神經(jīng)網(wǎng)絡(luò)的層數(shù)不多也能達(dá)到最佳效果;3)非局部運(yùn)算支持可變的輸入大小，并且可以輕松地與其他運(yùn)算相結(jié)合.下面我們將會介紹NLNN的通用公式以及具體實現(xiàn)的實例.

受啟發(fā)于非局部均值濾波方法，通用的NLNN一般化公式為

(53)

其中,x是輸入信號，i是輸出特征圖的某一位置索引，j是該圖中所有可能位置的索引，函數(shù)f用于計算i和其他位置的相關(guān)性，函數(shù)g是進(jìn)行信息變換的一元輸入函數(shù)，C是一個歸一化函數(shù)，保證變換前后整體信息不變.

由于式(53)中的函數(shù)g和f都是一般化的通式，在具體的神經(jīng)網(wǎng)絡(luò)中，需要給予具體的函數(shù)形式實現(xiàn).因為線性嵌入的一元輸出函數(shù)g比較簡單，故可以采用卷積形式實現(xiàn)g(xi)=Wgxi，其中Wg是一個可學(xué)習(xí)的參數(shù)矩陣.接下來討論函數(shù)f的不同實現(xiàn)形式.

從非均值濾波和雙邊濾波的角度看，首先利用高斯函數(shù)實現(xiàn)f：

(54)

在嵌入的向量空間中，有高斯濾波的變種：

f(xi,xj)=exp(θ(xi)Tφ(xj)),

(55)

(56)

對應(yīng)文獻(xiàn)[103]中自注意力機(jī)制的表達(dá)式.

函數(shù)f還可以考慮點乘相似度實現(xiàn)：

f(xi,xj)=θ(xi)TΦ(xj),

(57)

其中,C(x)=N，N為輸入x的數(shù)量.利用連接運(yùn)算同樣也可以實現(xiàn)：

(58)

其中,[,]表示連接運(yùn)算，Wf為將連接向量轉(zhuǎn)化為標(biāo)量的權(quán)重向量，C(x)=N.

最后，為了使其具有更好的靈活性，能夠任意地插入到現(xiàn)有的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，將式(53)的非局部運(yùn)算變成了一個非局部模塊：

Zi=Wzyi+xi,

(59)

其中,yi已在式(53)中給出，“+xi”表示殘差連接.如圖17為一個非局部模塊實例，圖17中特征圖以其張量的形狀顯示，例如，對于1 024個通道，T×H×W×1024.“?”表示矩陣的倍增，“⊕”表示元素求和.對每行執(zhí)行softmax運(yùn)算.矩形方框表示1×1×1卷積，此處顯示的是嵌入向量的高斯變換，瓶頸為512個通道.可以通過去除θ和φ來完成原始向量的高斯變換，并且可以通過將softmax替換為1/N來實現(xiàn)點積變換.

Fig. 17 Non-local module instance[99]

6.3 圖網(wǎng)絡(luò)

文獻(xiàn)[100]從組合泛化入手，探討了如何在深度學(xué)習(xí)結(jié)構(gòu)中使用關(guān)系歸納偏置，促進(jìn)對實體、關(guān)系，以及對組成它們的規(guī)則進(jìn)行學(xué)習(xí).并且提出了一種具有強(qiáng)相關(guān)性歸納偏AI框架——圖網(wǎng)絡(luò)(GN)，GN泛化并擴(kuò)展了各提到的MPNN和NLNN方法.之所以取名叫圖網(wǎng)絡(luò)是因為除了利用神經(jīng)網(wǎng)絡(luò)的方法實現(xiàn)它之外還可以利用其他方法實現(xiàn).我們首先給出了圖的定義，然后介紹了GN中的核心單元GN塊的內(nèi)部結(jié)構(gòu)以及其計算步驟，最后說明了設(shè)計GN結(jié)構(gòu)的基本原則.

1) 圖的定義.在該GN框架中，一個圖被定義為一個三元組G=(u,V,E).其中，u表示一個全局屬性；V={Vi}i=1:Nv是節(jié)點集合，其中每個Vi表示節(jié)點的屬性；E={(ek,rk,sk)}k=1:Ne是邊的集合，其中每個ek表示邊的屬性，rk是接收節(jié)點，sk是發(fā)送節(jié)點.

2) GN塊.每個GN塊包含3個針對節(jié)點、邊和全局屬性的更新函數(shù)φ和3個從邊到節(jié)點、從邊到全局屬性和從節(jié)點到全局屬性的聚合函數(shù)ρ：

(60)

3) GN塊的計算步驟.當(dāng)GN塊的輸入為圖G時，計算從邊開始，然后到節(jié)點層面，最后到全局級別.總共包含6個步驟，但這個執(zhí)行順序不是固定不變的，可以改變函數(shù)的順序.同樣，每一個步驟也不是必需的，根據(jù)自己實際處理的任務(wù)進(jìn)行取舍：

(61)

(62)

⑥φu作用于每個圖，計算全局屬性的一次更新u′.

4) 設(shè)計原則.GN塊包含靈活的表示、可配置的GN塊內(nèi)部結(jié)構(gòu)和可組合的多個GN塊結(jié)構(gòu).

① 靈活的表示.該靈活性主要體現(xiàn)在屬性和圖結(jié)構(gòu)本身的表示上.GN塊的全局屬性、節(jié)點屬性和邊屬性可以使用任意的表示格式.在深度學(xué)習(xí)實現(xiàn)中，實值向量和張量是最常見的.同時還可以使用其他結(jié)構(gòu)數(shù)據(jù)，如序列、集合，甚至圖.GN塊的輸出也可以根據(jù)任務(wù)的需求進(jìn)行定制：比如文獻(xiàn)[104]聚焦于邊作為輸出，文獻(xiàn)[105]聚焦于節(jié)點輸出，文獻(xiàn)[106]聚焦于整個圖的輸出.至于圖結(jié)構(gòu)本身的靈活性表示，定義輸入數(shù)據(jù)表示為圖時，通常有2種情況：首先，有些已經(jīng)顯式地指定了實體和關(guān)系，就輸入顯式地指定了關(guān)系結(jié)構(gòu)；其次，有些數(shù)據(jù)表示中，關(guān)系結(jié)構(gòu)并不明確，必須經(jīng)過推斷或假設(shè).

② 可配置的GN塊內(nèi)部結(jié)構(gòu).GN塊中的結(jié)構(gòu)和功能可以以不同的方式進(jìn)行配置，可以靈活配置將哪些信息作為其函數(shù)的輸入，以及如何產(chǎn)生輸出邊、節(jié)點和全局更新等.通過這樣不同的配置，就可以得到不同的GNN模型.比如文獻(xiàn)[107]使用全連接的GN塊，它們的聚合函數(shù)采用神經(jīng)網(wǎng)絡(luò)實現(xiàn)，更新函數(shù)則利用逐元素求和的方法實現(xiàn).

③ 可組合的多個GN塊結(jié)構(gòu).圖網(wǎng)絡(luò)可以通過GN塊來構(gòu)造復(fù)雜的模型結(jié)構(gòu)，一個GN塊的輸出可以作為另一個GN塊的輸入，組成大的GN塊.任意數(shù)量的GN塊也可以相互組合.其中最常見的結(jié)構(gòu)設(shè)計就是編碼-解碼和基于循環(huán)的配置.其他的一些技術(shù)例如跳躍連接、LSTM和門控循環(huán)單元等也可以被應(yīng)用于GN組合結(jié)構(gòu)的構(gòu)造中.

6.4 混合模型網(wǎng)絡(luò)

6.1～6.3節(jié)所述的3個框架在文獻(xiàn)[16]同樣也有總結(jié)概括，除此之外，Monti等人[101]還提出了混合模型網(wǎng)絡(luò)(MoNet)的統(tǒng)一框架，將圖卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)推廣到圖和流形等非歐幾里德域結(jié)構(gòu)數(shù)據(jù)上，該框架并能夠?qū)W習(xí)局部、平穩(wěn)和組合的特定任務(wù)特征.MoNet遵循空間域方法的一般原理，將卷積類操作作為模板與圖或流形上的局部內(nèi)在“圖小塊”匹配.其創(chuàng)新之處在于提取圖小塊的方法：以前的方法使用固定圖小塊，MoNet使用參數(shù)構(gòu)造.文獻(xiàn)[101]中表明GCNN[108]，ACNN[109]，GCN[34]，DCNN[13]等各種處理非歐氏結(jié)構(gòu)數(shù)據(jù)的方法都可以看作是MoNet的特殊實例.文中定義了流型上圖小塊算子的一般形式為

(63)

(64)

該過程的構(gòu)造關(guān)鍵是偽坐標(biāo)u和加權(quán)函數(shù)w(u)的選擇.在流形和圖上的一些典型的神經(jīng)網(wǎng)絡(luò)都可以看作是對其進(jìn)行的特定設(shè)置.GCNN，ACNN則可以看作在流形上的局部極坐標(biāo)上使用高斯核，GCN可以解釋為在由圖頂點的度數(shù)給定的偽坐標(biāo)上應(yīng)用三角形核.作者在加權(quán)函數(shù)選擇方面考慮了一個具有可學(xué)習(xí)參數(shù)的參數(shù)核：

(65)

其中，Σj是d×d和d×1的協(xié)方差矩陣，μj是高斯核的平均向量.最后從圖像、圖形3維形狀分析的角度對所提出的方法在標(biāo)準(zhǔn)任務(wù)上進(jìn)行了測試，結(jié)果表明該方法始終優(yōu)于先前提出的非歐氏深度學(xué)習(xí)方法.

7 圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用

由于非歐氏結(jié)構(gòu)數(shù)據(jù)出現(xiàn)在越來越多的實際場景中，所以將GNN應(yīng)用到傳統(tǒng)機(jī)器學(xué)習(xí)場景中，會帶來不小的驚喜.比如將其應(yīng)用到自然語言處理上可以解決跨句的多元關(guān)系語義提取，在推薦系統(tǒng)方面可以有效地完成矩陣補(bǔ)全問題.本節(jié)將從自然語言處理、計算機(jī)視覺、推薦系統(tǒng)、預(yù)測問題等領(lǐng)域?qū)NN的應(yīng)用進(jìn)行詳細(xì)闡述.

7.1 在自然語言處理方面的應(yīng)用

長期以來，人們一直認(rèn)為語義表示對于強(qiáng)制意義保留和提高機(jī)器翻譯方法的泛化性能很有用.Marcheggiani等人[22]第1個將有關(guān)源語句的謂詞參數(shù)結(jié)構(gòu)的信息(即語義角色表示)整合到基于標(biāo)準(zhǔn)的注意力神經(jīng)機(jī)器翻譯模型中，填補(bǔ)了這一方面的空白.該模型主要包括編碼-譯碼模型和利用圖卷積網(wǎng)絡(luò)將語義偏差注入句子的編碼器.實驗結(jié)果表明該模型表現(xiàn)良好.先前大多數(shù)自然語言處理多采用的是基于語法的方法，依靠于線性啟發(fā)法或者標(biāo)準(zhǔn)的遞歸網(wǎng)絡(luò)，還有樹變換器和超邊替換語法.Beck等人[23]提出了一個圖到序列的神經(jīng)網(wǎng)絡(luò)模型，利用編碼器-解碼器架構(gòu)，采用基于門控圖神經(jīng)網(wǎng)絡(luò)的編碼器，可以在不丟失信息的情況下整合完整的圖結(jié)構(gòu).同時為了解決小規(guī)模標(biāo)簽詞匯表的問題，引入了圖轉(zhuǎn)換，將邊更改為其他的節(jié)點.這樣既確保了邊具有特定于圖的隱向量，同時也解決了參數(shù)爆炸問題.

Fig. 18 The general structure of LSTMs

傳統(tǒng)的關(guān)系抽取主要關(guān)注在一個句子中的二分類相關(guān)性問題，這種方法并不適應(yīng)于多個句子和多元關(guān)系.最近，自然語言處理研究學(xué)者對在高值域提取跨語句的n元關(guān)系問題產(chǎn)生了很大的興趣.為此，Peng等人[24]提出了基于圖長短期記憶網(wǎng)絡(luò)的通用關(guān)系提取框架，其可以輕松擴(kuò)展到跨語句n元關(guān)系提取.該模型的整體結(jié)構(gòu)如圖18所示，主要包括輸入層，圖中輸入層是輸入文本的詞嵌入向量；接下來是圖LSTM層，圖LSTM層學(xué)習(xí)每個單詞的上下文表示；對于所討論的實體，它們的上下文表示被連接起來并成為關(guān)系分類器的輸入；最后關(guān)系分類器利用這種表示產(chǎn)生最終的預(yù)測結(jié)果.

Fig. 19 The structure of SGR[26]

傳統(tǒng)的社交媒體定位常常依賴于IP地址和GPS信息等，但這些信息不僅有噪聲并且是很難拿到的.Rahimi等人[110]利用用戶地理位置的公共信息，采用GCN將用戶文本和網(wǎng)絡(luò)結(jié)構(gòu)信息整合，達(dá)到獲取更加準(zhǔn)確的社交媒體位置定位的目的.在文中主要采用了GCN并配上“highway gates”機(jī)制來進(jìn)行信息過濾，提取出有明確的地理位置信息的監(jiān)督樣本.Sahu等人[111]在句間關(guān)系提取方面也提出了一個基于圖的新模型，該圖以單詞為節(jié)點，而單詞之間的多個句子間和句子依存關(guān)系作為邊來構(gòu)造，以捕獲局部和非局部依賴性信息.從而改善了現(xiàn)有方法在處理句間關(guān)系提取時沒有完全利用局部和非局部特性，以及語法和語義的依賴關(guān)系.Zhu等人[112]同樣也在關(guān)系推理和關(guān)系提取方面做了一些研究.在許多自然語言處理任務(wù)(例如關(guān)系提取)中，多跳關(guān)系推理是必不可少的，GNN是進(jìn)行多跳關(guān)系推理的最有效方法之一.作者提出了根據(jù)自然語言句子生成圖神經(jīng)網(wǎng)絡(luò)參數(shù)的方法(graph neural networks with generated parameters, GP-GNN)，從而使GNN能夠處理非結(jié)構(gòu)化文本輸入上的關(guān)系推理.在GP-GNN中通過將自然語言編碼為參數(shù)并執(zhí)行層與層之間的傳播來解決關(guān)系消息傳遞任務(wù).在自然語言處理中，可以通過識別句子的語法和語義來預(yù)測句中事件的事實性(event factuality prediction, EFP)，它用來評估句子中提到的事件發(fā)生程度的概率大小.在先前的一些工作中，只是簡單地組合了句子語意和語法信息，沒有深入去探索和了解二者的關(guān)系和協(xié)調(diào)性.Veyseh等人[113]提出了一種基于GCN能夠整合語義和語法結(jié)構(gòu)的新方法.在該方法中包含親和度矩陣，以量化單詞之間的連接強(qiáng)度，從而促進(jìn)了語法和語義信息的集成.該語義親和度矩陣?yán)瞄L短期記憶網(wǎng)絡(luò)生成，然后將其與依賴樹的語法親和度矩陣線性集成，生成EFP中GCN豐富的親和度矩陣.

7.2 在計算機(jī)視覺方面的應(yīng)用

圖神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺中也有著巨大的應(yīng)用潛力.Simonovsky等人[25]發(fā)現(xiàn)當(dāng)前的圖卷積神經(jīng)網(wǎng)絡(luò)未利用邊緣標(biāo)簽，會導(dǎo)致局部鄰域的視圖過于同質(zhì).為此引入了邊緣條件卷積(edge-conditioned convolution, ECC)，這是一種在空間域中對圖信號執(zhí)行的操作，其中濾波器權(quán)重取決于邊緣標(biāo)簽，并針對每個特定輸入樣本動態(tài)生成.對原始點云數(shù)據(jù)進(jìn)行構(gòu)圖和采樣之后，并將ECC成功應(yīng)用到點云上.

Qi等人[15]為了能夠?qū)崿F(xiàn)檢測和識別圖像和視頻中的人與物交互作用(human-object interactions, HOI)的目的，提出了圖解析神經(jīng)網(wǎng)絡(luò)(graph parsing neural network, GPNN)，它是以端到端的方式推斷解析圖.可以實現(xiàn)對空間、時間(視頻)等人與物交互的檢測和識別.首先檢測出所有的人和物，以人和物作為節(jié)點，任意2個節(jié)點之間都有邊，表示人與物交互關(guān)系，構(gòu)造一個全連接圖.HOI主要面臨的問題是如何預(yù)測出人與物之間的關(guān)系，預(yù)測關(guān)系其實就是預(yù)測出一個動作.然后通過不斷地迭代優(yōu)化，更新節(jié)點和邊的特征.相當(dāng)于不斷學(xué)習(xí)人與物之間的關(guān)系，最后迭代至收斂后給每個節(jié)點預(yù)測一個動作，得到HOI關(guān)系.在GPNN的實現(xiàn)過程中借助于圖神經(jīng)網(wǎng)絡(luò)框架中的連接函數(shù)、消息函數(shù)、更新函數(shù)和讀出函數(shù)完成.

Liang等人[26]為了探索如何利用外部人類知識為網(wǎng)絡(luò)賦予全局語義推理能力，提出了一個新的符號圖推理層(symbolic graph reasoning, SGR)并且為了能夠和局部卷積配合使用.如圖19所示為SGR的整體結(jié)構(gòu)圖，每個SGR層由原始的局部到語義投票模塊、圖推理模塊和雙語義到局部映射模塊這3個模塊構(gòu)成.其中，在局部到語義投票模塊中，每個符號節(jié)點的個性化可視化證據(jù)可以通過從所有局部表示形式進(jìn)行投票得出.圖推理模塊被實例化為在該圖上傳播信息以用于所有符號節(jié)點的等距特征的演化.最后，對局部語義的雙重對偶學(xué)習(xí)了進(jìn)化的符號節(jié)點與局部特征.圖19中，每個符號節(jié)點都通過局部到語義的投票模塊從所有局部特征接收投票，然后通過語義到局部的映射模塊將其演變后的特征印后推理推回到每個位置.為簡單起見，在知識圖中省略了更多的邊和符號節(jié)點.SGR層可以添加到任何卷積層之間，并將不同的先驗映射實例化.

從人體骨架來識別人的動作是計算機(jī)視覺中的一個重要研究領(lǐng)域，文獻(xiàn)[114]提出了時空圖卷積網(wǎng)絡(luò)ST-GCN，這是第1個將圖神經(jīng)網(wǎng)絡(luò)用于動態(tài)骨骼建模任務(wù)中的文獻(xiàn)，對人的行為動作進(jìn)行識別.該模型可以自動從數(shù)據(jù)中學(xué)習(xí)空間和時間模式，將人體關(guān)節(jié)看作圖中的節(jié)點.而圖中的邊則是由骨骼中關(guān)節(jié)自然連接的空間邊和在連續(xù)時間步驟中連接相同關(guān)節(jié)的時間邊2種邊類型構(gòu)成.同時，ST-GCN能夠在動態(tài)骨骼序列中捕獲動態(tài)信息，這對于RGB模態(tài)是很必要的.在2個具有挑戰(zhàn)性的公開數(shù)據(jù)集上的實驗結(jié)果顯示，該模型優(yōu)于先前的骨骼識別模型.ST-GCN還為解決其他類似的任務(wù)開辟了新的研究方向.文獻(xiàn)[115]發(fā)現(xiàn)現(xiàn)有的方法丟失了隱式的聯(lián)合關(guān)系，于是提出了一個自動設(shè)計的基于骨架動作識別圖卷積神經(jīng)網(wǎng)絡(luò).該網(wǎng)絡(luò)充分挖掘節(jié)點間的時空相關(guān)性，并通過提供多個動態(tài)圖模塊來豐富搜索空間.最后還提出了一種有效的取樣與記憶進(jìn)化策略，以尋找該任務(wù)的最佳架構(gòu).文獻(xiàn)[116]對計算機(jī)視覺中的定位進(jìn)行了研究.提出了一種語言引導(dǎo)的圖表示方法，能夠?qū)Χ陶Z和視覺對象的全局上下文進(jìn)行編碼，并提出了一種全局優(yōu)化的圖匹配策略.作者還開發(fā)了一個模塊化的圖神經(jīng)網(wǎng)絡(luò)來實現(xiàn)基于圖的視覺定位，以及一個2階段的學(xué)習(xí)策略來共同訓(xùn)練整個模型.圖像或視頻始終包含多個對象或動作，多標(biāo)簽識別技術(shù)在計算機(jī)視覺中得到了急速的發(fā)展.文獻(xiàn)[117]對傳統(tǒng)的利用圖卷積的多標(biāo)簽識別框架進(jìn)行了改進(jìn)，提出了一種標(biāo)簽圖疊加框架.首先，將統(tǒng)計信息生成的標(biāo)簽圖疊加到由標(biāo)簽的知識先驗構(gòu)造的圖中，建立標(biāo)簽相關(guān)性模型，然后對最終的疊加圖進(jìn)行多層圖卷積，實現(xiàn)標(biāo)簽嵌入抽象，從而使識別性能大大提高.文獻(xiàn)[118]則針對現(xiàn)有的目標(biāo)檢測方法對每個數(shù)據(jù)集分別進(jìn)行處理，只適合于特定的領(lǐng)域，如果不進(jìn)行大量的再訓(xùn)練，則無法適應(yīng)其他領(lǐng)域.提出了一種新的通用對象檢測器，它結(jié)合了圖遷移學(xué)習(xí)，在多個數(shù)據(jù)集上傳播相關(guān)的語義信息，以達(dá)到語義一致性.大量實驗表明，該方法在多目標(biāo)檢測基準(zhǔn)上取得了最新的結(jié)果.識別特定菜肴圖像的成分是自動膳食評估的核心.由于在食品加工過程中，配料的外觀呈現(xiàn)出巨大的視覺變化，需要采集不同烹調(diào)和切割方法下的訓(xùn)練樣本進(jìn)行魯棒識別，但獲得足夠的完全帶標(biāo)簽的訓(xùn)練數(shù)據(jù)并不容易.文獻(xiàn)[119]則將多關(guān)系圖卷積神經(jīng)網(wǎng)絡(luò)引入進(jìn)來，為零樣本和小樣本處理菜肴成分識別提供了依據(jù).

7.3 在推薦系統(tǒng)方面的應(yīng)用

推薦系統(tǒng)一般包含監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)兩大類模型，在無監(jiān)督學(xué)習(xí)中推薦系統(tǒng)的目標(biāo)就是矩陣補(bǔ)全，以此來對用戶進(jìn)行更好的推薦.荷蘭阿姆斯特丹大學(xué)的Berg等人[73]基于user-item的二分圖，提出了一種圖卷積矩陣補(bǔ)全(GC-MC)和圖自編碼框架，其中觀測到的評分用連接邊來表示，最終的預(yù)測評分就相當(dāng)于預(yù)測在這個user-item二分圖中的連接邊.把矩陣補(bǔ)全視為在圖上的鏈路預(yù)測任務(wù)，以此來解決推薦系統(tǒng)中的評分預(yù)測問題.此外，Monti等人[120]使用圖神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)合的方式實現(xiàn)了推薦系統(tǒng)中矩陣的補(bǔ)全.

圖神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)上雖然表現(xiàn)很好，但把這些算法應(yīng)用到數(shù)百億的用戶上仍然很困難.為此，Ying等人[121]提出了一種在Pinterest上的大規(guī)模深度推薦引擎，開發(fā)了一種高效的圖卷積算法PinSage，該算法融合了隨機(jī)游走和圖卷積，生成頂點的表示，并整合了頂點信息和圖結(jié)構(gòu).同時作者還介紹了PinSage相較于傳統(tǒng)圖卷積網(wǎng)絡(luò)的優(yōu)勢以及一些新的訓(xùn)練技術(shù)：1)通過對節(jié)點周圍的鄰域進(jìn)行采樣并從該采樣的鄰域動態(tài)構(gòu)造計算圖來執(zhí)行高效的局部卷積；2)開發(fā)了一種生產(chǎn)者-消費者體系結(jié)構(gòu)，用于構(gòu)建小批次訓(xùn)練，以確保在模型訓(xùn)練期間最大限度地利用GPU；3)設(shè)計了一個分發(fā)經(jīng)過訓(xùn)練的模型策略以生成數(shù)十億個節(jié)點的MapReduce管道；4)使用短隨機(jī)游走技術(shù)對計算圖進(jìn)行采樣；5)基于隨機(jī)游走相似性衡量結(jié)點特征重要性;6)設(shè)計了新的訓(xùn)練方法，在訓(xùn)練過程中給予難以訓(xùn)練的實例更高的抽樣機(jī)會.最后，PinSage算法利用Pinterest上的75億樣本進(jìn)行訓(xùn)練，生成了相比其他深度學(xué)習(xí)和基于圖的方法更高質(zhì)量的推薦結(jié)果，為新一代基于圖卷積結(jié)構(gòu)的大規(guī)模推薦系統(tǒng)奠定了基礎(chǔ).

Fig. 20 The structure of PinSage model[121]

知識圖譜(knowledge graph, KG)能夠捕獲結(jié)構(gòu)化信息以及實體之間的關(guān)系，提供很好的信息描述方法.將其應(yīng)用到推薦系統(tǒng)中，可以大大提高推薦系統(tǒng)的性能.但是，該領(lǐng)域中的現(xiàn)有方法大多依賴人工特征選取過程.為了解決這個弊端，Wang等人[122]提出了帶有標(biāo)簽平滑度正則化的知識感知圖神經(jīng)網(wǎng)絡(luò)(knowledge-aware graph neural networks with label smoothness regularization, KGNN-LS).KGNN-LS通過使用用戶特定的關(guān)系評分功能并聚合具有不同權(quán)重的鄰居信息，將GNN體系結(jié)構(gòu)應(yīng)用于KG上.該方法首先通過應(yīng)用可訓(xùn)練的函數(shù)計算特定用戶的嵌入，該函數(shù)可以為給定的用戶標(biāo)識出帶有重要性的知識圖關(guān)系.這樣，就可以將知識圖轉(zhuǎn)換為特定用戶的加權(quán)圖，然后將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于計算個性化的嵌入表示.為了提供更好的歸納偏置，需要依靠標(biāo)簽平滑度假設(shè).該假設(shè)假定知識圖中的相鄰節(jié)點可能具有相似的用戶相關(guān)標(biāo)簽/分?jǐn)?shù).基于會話的個性化推薦問題旨在根據(jù)用戶的連續(xù)行為來預(yù)測用戶的下次點擊.現(xiàn)有的基于會話的推薦方法僅將用戶的所有會話視為單個序列，而忽略了會話之間的關(guān)系.帶有注意力機(jī)制的個性化圖神經(jīng)網(wǎng)絡(luò)(personalizing graph neural networks with attention mechanism, A-PGNN)為了解決現(xiàn)有的基于會話的個性化推薦問題[123].在A-PGNN中主要包括2個組件：1)個性化圖神經(jīng)網(wǎng)絡(luò)，用于捕獲用戶會話序列中的復(fù)雜轉(zhuǎn)換.與傳統(tǒng)的GNN模型相比，它還考慮了用戶在序列中的角色.2)變換模型中的點生成注意力機(jī)制，它利用機(jī)器翻譯中的注意力機(jī)制來顯式地模擬歷史會話對當(dāng)前會話的影響.這2部分使以用戶特定的方式學(xué)習(xí)項目和會話之間的多級過渡關(guān)系成為可能.文獻(xiàn)[30]則提出了一種與評級相關(guān)的局部圖模式方法，稱之為基于圖的歸納矩陣補(bǔ)全(inductive graph-based matrix completion, IGMC).它是一個不使用邊信息，并且不依賴于用戶/項目內(nèi)容的歸納矩陣完成模型.實驗表明，一個從MovieLens數(shù)據(jù)集訓(xùn)練出來的模型可以直接用于預(yù)測豆瓣電影的收視率，其性能出奇的好.一些學(xué)者也同樣將圖卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在基于協(xié)同過濾的推薦系統(tǒng)中，但是圖卷積神經(jīng)網(wǎng)絡(luò)存在過平滑效應(yīng)，大多數(shù)基于GCN的模型無法進(jìn)行較深層的建模.文獻(xiàn)[124]提出了一種基于用戶交互建模的殘差網(wǎng)絡(luò)結(jié)構(gòu)，解決了在稀疏用戶交互數(shù)據(jù)圖中進(jìn)行卷積運(yùn)算的過平滑問題.

7.4 在預(yù)測問題方面的應(yīng)用

由于GNN的結(jié)構(gòu)和化學(xué)分子結(jié)構(gòu)類似，所以在分子預(yù)測問題上有著廣泛的應(yīng)用.在文獻(xiàn)[125]中，作者針對目前分子預(yù)測方法不能隨網(wǎng)絡(luò)的復(fù)雜性很好地擴(kuò)展問題，提出了一個可以附加到GNN上以提高模型表示能力的輔助模塊，但又不會妨礙原始的GNN架構(gòu)，該輔助模塊可以連接到各種生化應(yīng)用中常用的GNN中.借助該輔助架構(gòu)，在實踐中應(yīng)用的許多GNN性能得到了更一致的改善，并且在流形的分子圖數(shù)據(jù)集上實現(xiàn)了最先進(jìn)的性能.分子的幾何形狀(也稱構(gòu)象)是分子最重要的特征之一，傳統(tǒng)的構(gòu)象生成方法將人工設(shè)計的分子力場能量函數(shù)減至最小，而該分子力場能量函數(shù)與自然界中觀察到的分子的真實能量函數(shù)沒有很好地關(guān)聯(lián).Mansimov等人[126]提出了一個條件深度生成圖神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過直接學(xué)習(xí)在給定分子圖的情況下生成分子構(gòu)象，從數(shù)據(jù)中學(xué)習(xí)能量函數(shù).生成彼此不太相似的構(gòu)象來保持幾何多樣性，并且計算速度也很快.機(jī)器學(xué)習(xí)通常用于虛擬篩選中，來預(yù)測發(fā)現(xiàn)對目標(biāo)蛋白質(zhì)具有藥理活性的化合物.編制模塊是GCN的一種形式，它可以關(guān)注單原子特征和成對的原子特征，但是原子間距離的相關(guān)性是不確定的.于是，Ohue等人[127]對編制模塊進(jìn)行了3點改進(jìn)：1)修改圖上環(huán)原子之間的距離，使圖上的距離更接近坐標(biāo)距離;2)根據(jù)特征的卷積層中圖上的距離大小，使用不同的權(quán)重矩陣;3)再將特征轉(zhuǎn)換為原子特征時，使用了距離的加權(quán)和.結(jié)果表明，改進(jìn)后的編制模塊比改進(jìn)前的性能要好很多.此外，Capela等人[31]提出了一種基于GNN的多任務(wù)預(yù)測方法，用于預(yù)測分子的屬性.同樣，針對分子屬性預(yù)測問題，Shindo等人[128]提出了一種簡單而強(qiáng)大的GNN模型，引入具有門控功能的遞歸神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了對分子屬性的有效預(yù)測.

隨著機(jī)器學(xué)習(xí)的興起，人們對使用機(jī)器學(xué)習(xí)準(zhǔn)確預(yù)測金融市場走勢產(chǎn)生了越來越大的興趣.盡管人工智能在金融領(lǐng)域取得了一些成就，但當(dāng)前許多方法僅限于使用技術(shù)分析來捕獲每個股價的歷史趨勢，只能依靠某些實驗裝置以獲得良好的預(yù)測結(jié)果.Matsunaga等人[129]研究了金融市場預(yù)測和GNN交叉領(lǐng)域的工作效率問題，認(rèn)為GNN有潛力通過將公司知識圖直接納入到預(yù)測模型來模擬投資者的決策方式.在其研究中主要使用滾動窗口分析法在不同市場和更長的時間范圍內(nèi)測試該方法的有效性.

社交平臺領(lǐng)域中預(yù)測在線內(nèi)容的流行度是一項很重要的任務(wù)，如何捕捉級聯(lián)效應(yīng)是準(zhǔn)確預(yù)測未來受歡迎程度并解決此問題的關(guān)鍵之一.受到圖神經(jīng)網(wǎng)絡(luò)成功應(yīng)用于各種非歐氏結(jié)構(gòu)數(shù)據(jù)上的啟發(fā)，Cao等人[130]研究了沿著網(wǎng)絡(luò)結(jié)構(gòu)的關(guān)鍵級聯(lián)效應(yīng).作者通過2個耦合的GNN對級聯(lián)效應(yīng)中的2個關(guān)鍵組件進(jìn)行建模，即節(jié)點激活狀態(tài)和影響范圍之間的迭代相互作用.一個GNN通過用戶的激活狀態(tài)對人際影響進(jìn)行建模.另一個GNN通過來自鄰居的人際關(guān)系影響來模擬用戶的激活狀態(tài).GNN中鄰居聚合的迭代更新機(jī)制，有效地捕獲了沿基礎(chǔ)網(wǎng)絡(luò)的級聯(lián)效應(yīng).結(jié)果表明，該方法大大優(yōu)于最新的一些預(yù)測方法.

GNN在疾病預(yù)測方面也扮演著重要的角色.Li等人[27]將圖結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)(graph-structured recurrent neural network, GSRNN)應(yīng)用到了流行疾病預(yù)測上.為了提高模型效率，作者通過變換后的L1范數(shù)稀疏網(wǎng)絡(luò)權(quán)重，但不會降低預(yù)測精度.疾病基因預(yù)測是指預(yù)測基因和疾病之間的關(guān)聯(lián)，其有可能通過對各種疾病的候選基因進(jìn)行優(yōu)先排序來有效優(yōu)化早期治療的開發(fā)流程.Singh等人[28]將變分圖自動編碼器應(yīng)用到疾病基因預(yù)測問題中.于此同時，作者還提出了一種擴(kuò)展方法——受約束的圖自編碼器，用于異構(gòu)圖中2個不同節(jié)點類型之間的連接預(yù)測問題.

7.5 其他領(lǐng)域的應(yīng)用

Luceri等人[131]利用基于圖神經(jīng)網(wǎng)絡(luò)架構(gòu)，解決了僅考慮在線社交網(wǎng)絡(luò)中其他社交聯(lián)系人的可用信息來推斷用戶當(dāng)前位置的問題.該方法依靠小部分可用信息就可以將近50%的Tweets定位到1km以下的精度.隨著智能設(shè)備的普及，通過傳感器收集的數(shù)據(jù)量也在增加.生命日志是一種大數(shù)據(jù)，用于分析從各種智能設(shè)備收集的個人日常生活中的行為模式.Shin等人[132]提出了一種定義帶有結(jié)點和邊的圖結(jié)構(gòu)并從生成的生活日志圖中提取日常行為模式的方法.在圖像去噪方面，Valsesia等人[133]提出了一種含有圖卷積層的神經(jīng)網(wǎng)絡(luò)，以利用局部和非局部相似性.圖卷積層在特征空間中動態(tài)構(gòu)造鄰域，以檢測由隱層產(chǎn)生的特征圖中的潛在相關(guān)性.實驗結(jié)果表明，該結(jié)構(gòu)在處理去噪任務(wù)方面優(yōu)于經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò).Guo等人[134]提出了一種用于圖像理解的基于多線索的圖神經(jīng)網(wǎng)絡(luò).與傳統(tǒng)的特征和決策融合方法相比，該方法忽略了特征可以交換信息這一事實，所提出的GNN能夠在從不同模型中提取的特征之間傳遞信息.Zhong等人[135]發(fā)現(xiàn)現(xiàn)有的許多基于腦電信號的情緒識別研究都沒有利用腦電信號的拓?fù)浣Y(jié)構(gòu)，于是提出了用于基于腦電信號的情緒識別正則化圖神經(jīng)網(wǎng)絡(luò)(regularized graph neural network, RGNN)，該網(wǎng)絡(luò)得到了生物學(xué)支持并捕獲了本地和全局通道間關(guān)系，實現(xiàn)了對情緒的有效識別.Jin等人[136]將GNN應(yīng)用到分子優(yōu)化方面，他們將分子優(yōu)化視為圖到圖的翻譯問題，目的是學(xué)習(xí)到根據(jù)可用的成對分子語料庫從一個分子圖映射到具有更好性能的另一個分子圖.為此對圖到圖的神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，提出了連接樹編碼器-解碼器，可對具有神經(jīng)注意力的分子圖進(jìn)行解碼.并且還提出了一種新的對抗訓(xùn)練方法，將連接樹編碼器-解碼器與對抗訓(xùn)練相結(jié)合.在最后的實驗結(jié)果中表明該模型具有非常好的效果.在對輿情事件演化趨勢評估任務(wù)中，且訓(xùn)練樣本含有少量標(biāo)簽的情況下.秦濤等人[137]利用圖卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建了一個輿情演化趨勢評估模型，為社交網(wǎng)絡(luò)中的輿情管控提供了一個強(qiáng)有力的決策支撐算法.

8 未來研究展望

GNN雖然起步較晚，但由于其強(qiáng)大的性能，已經(jīng)取得了不俗的表現(xiàn)，并且也在例如計算機(jī)視覺和推薦系統(tǒng)等實際應(yīng)用中發(fā)揮著巨大的作用.不難發(fā)現(xiàn)，GNN確實更符合當(dāng)前實際應(yīng)用的發(fā)展趨勢，所以在近幾年才會得到越來越多人的關(guān)注.但是，GNN畢竟起步較晚，還沒有時間積累，研究的深度和領(lǐng)域還不夠?qū)拸V.目前來看，它依然面臨著許多亟待解決的問題，本節(jié)總結(jié)了GNN以后的研究趨勢.

1) 動態(tài)圖.目前，GNN處理的圖結(jié)構(gòu)基本上都是靜態(tài)圖，涉及動態(tài)圖結(jié)構(gòu)的模型較少[138-139]，處理動態(tài)圖對GNN來說是一個不小的挑戰(zhàn).靜態(tài)圖的圖結(jié)構(gòu)是靜態(tài)不變的，而動態(tài)圖的頂點和邊是隨機(jī)變化的，甚至?xí)В⑶矣袝r還沒有任何規(guī)律可循.目前針對GNN處理動態(tài)圖結(jié)構(gòu)的研究還是比較少的，還不夠成熟.如果GNN能夠成功應(yīng)用于動態(tài)圖結(jié)構(gòu)上，相信這會使GNN的應(yīng)用領(lǐng)域更加寬廣.將GNN模型成功地推廣到動態(tài)圖模型是一個熱點研究方向.

2) 異質(zhì)圖.同質(zhì)圖是指節(jié)點和邊只有一種類型，這種數(shù)據(jù)處理起來較容易.而異質(zhì)圖則是指節(jié)點和邊的類型不只一種，同一個節(jié)點和不同的節(jié)點連接會表現(xiàn)出不同的屬性，同一條邊和不同的節(jié)點連接也會表現(xiàn)出不同的關(guān)系，這種異質(zhì)圖結(jié)構(gòu)處理起來就相對復(fù)雜.但異質(zhì)圖卻是和實際問題最為貼切的場景，比如在社交網(wǎng)絡(luò)中，同一個人在不同的社交圈中可能扮演著父親、老師等不同的角色.對于異質(zhì)圖的研究還處在剛起步的階段[140-141]，模型方法還不夠完善.所以，處理異質(zhì)圖也是將來研究的一個熱點.

3) 構(gòu)建更深的圖神經(jīng)網(wǎng)絡(luò)模型.深度學(xué)習(xí)的強(qiáng)大優(yōu)勢在于能夠形成多層的不同抽象層次的隱表示，從而才能表現(xiàn)出優(yōu)于淺層機(jī)器學(xué)習(xí)的強(qiáng)大優(yōu)勢.但對于圖深度學(xué)習(xí)來說，現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)模型大多還是只限于淺層的結(jié)構(gòu).通過實驗發(fā)現(xiàn)，當(dāng)構(gòu)造多層的神經(jīng)網(wǎng)絡(luò)時，實驗結(jié)果反而變差.這是由過平滑現(xiàn)象造成的，GNN的本質(zhì)是通過聚合鄰居節(jié)點信息來表征中心節(jié)點.當(dāng)構(gòu)造多層的神經(jīng)網(wǎng)絡(luò)之后，中心節(jié)點和鄰居節(jié)點的差異就會變得微乎其微，從而會導(dǎo)致分類結(jié)果變差.如何解決過平滑現(xiàn)象，使圖神經(jīng)網(wǎng)絡(luò)能夠應(yīng)用于更多層的結(jié)構(gòu)，從而發(fā)揮出深度學(xué)習(xí)的強(qiáng)大優(yōu)勢.雖然已有文獻(xiàn)對其進(jìn)行了討論[91]，但構(gòu)建更深的圖神經(jīng)網(wǎng)絡(luò)模型仍是值得深入研究的問題.

4) 將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用到大圖上.隨著互聯(lián)網(wǎng)的普及，圖神經(jīng)網(wǎng)絡(luò)處理的數(shù)據(jù)也變得越來越大，致使圖中的節(jié)點數(shù)量變得巨大，這就給圖神經(jīng)網(wǎng)絡(luò)的計算帶來了不小的挑戰(zhàn).雖然一些學(xué)者對該問題進(jìn)行了研究改進(jìn)[142]，但針對將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用到大圖上的研究同樣是將來研究的熱點問題，在這方面，引入摘要數(shù)據(jù)結(jié)構(gòu)，構(gòu)造局部圖數(shù)據(jù)，并能適當(dāng)?shù)厝诤暇植繄D結(jié)構(gòu)，形成整體圖神經(jīng)網(wǎng)絡(luò)的表示是可能的思路.

5) 探索圖中更多有用的信息.在當(dāng)前諸多學(xué)者對于圖神經(jīng)網(wǎng)絡(luò)模型的研究中，僅僅利用了圖中節(jié)點之間有無連接這一拓?fù)浣Y(jié)構(gòu)信息.但是，圖是一個非常復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，里面還有很多有用的信息未被人們發(fā)現(xiàn)利用.比如，圖中節(jié)點的位置信息.中心節(jié)點的同階鄰居節(jié)點處于不同位置，距離中心節(jié)點的遠(yuǎn)近不同應(yīng)該會對中心節(jié)點產(chǎn)生的影響程度不同.如果能夠探索出圖中更多的有用信息，必會將圖神經(jīng)網(wǎng)絡(luò)的性能提升一個層次，這是一個非常值得探討的問題.

6) 設(shè)計圖神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)理論保障體系.任何神經(jīng)網(wǎng)絡(luò)模型必須有強(qiáng)大的數(shù)學(xué)理論支撐才能發(fā)展得更快，走得更遠(yuǎn).現(xiàn)在對于圖神經(jīng)網(wǎng)絡(luò)模型的設(shè)計，大多還只是依靠研究者的經(jīng)驗和基于機(jī)理邏輯設(shè)計出來的，并且對于圖神經(jīng)網(wǎng)絡(luò)模型的性能分析僅僅是從實驗結(jié)果中得來，并沒有從數(shù)學(xué)理論層面給出一個合理的解釋.目前，該領(lǐng)域已有一些研究[90-91]，但為圖神經(jīng)網(wǎng)絡(luò)設(shè)計出強(qiáng)大的數(shù)學(xué)理論，指導(dǎo)圖神經(jīng)網(wǎng)絡(luò)的構(gòu)造、學(xué)習(xí)和推理過程.能夠給出圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)結(jié)果正確性的數(shù)學(xué)理論保障，仍是未來發(fā)展的一個重要方向.

7) 圖神經(jīng)網(wǎng)絡(luò)的工業(yè)落地.當(dāng)前對于圖神經(jīng)網(wǎng)絡(luò)的研究大多還只是停留在理論層面，首先設(shè)計出模型，然后在公開數(shù)據(jù)集上進(jìn)行測試驗證，鮮有把工業(yè)的實際情況考慮在內(nèi).雖然圖神經(jīng)網(wǎng)絡(luò)在工業(yè)上已有一小部分的實際應(yīng)用，但還遠(yuǎn)沒有達(dá)到大規(guī)模應(yīng)用的程度.任何研究只有真正地在工業(yè)界落地，才能發(fā)揮它的應(yīng)用價值，反之也會促進(jìn)其進(jìn)一步的研究發(fā)展.盡快將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用到實際的工業(yè)場景中，是一個亟需解決的問題.

9 總 結(jié)

GNN作為近幾年火熱的神經(jīng)網(wǎng)絡(luò)，受到越來越多人的關(guān)注研究.由于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)只能處理結(jié)構(gòu)化的數(shù)據(jù)，面對非歐幾里德數(shù)據(jù)就顯得無能無力.GNN依靠其強(qiáng)大的點和邊來對非歐幾里德數(shù)據(jù)建模，高效地解決了在實際應(yīng)用中遇到的圖結(jié)構(gòu)數(shù)據(jù)問題.和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，GNN對輸入節(jié)點的順序沒有要求，并且在各個頂點之間的邊中存儲著相鄰頂點的依賴關(guān)系，通過對中心節(jié)點的鄰居節(jié)點加權(quán)求和來更新中心節(jié)點的隱狀態(tài).同時，GNN對圖結(jié)構(gòu)也沒有要求，可以是環(huán)形圖，也可以是有向圖或者無向圖.通過閱讀近幾年來大部分有關(guān)GNN模型和應(yīng)用的文章，本文對GNN進(jìn)行了系統(tǒng)的綜述，闡述了GNN的各類模型以及一些典型的應(yīng)用.

本文對GNN的研究現(xiàn)狀進(jìn)行了深入的綜述和分析討論，并對GNN的未來研究趨勢進(jìn)行了展望和總結(jié).在第1節(jié)中，首先詳細(xì)介紹了GNN模型的一個重要分支圖卷積神經(jīng)網(wǎng)絡(luò)，分別從基于譜域、空間域以及池化進(jìn)行了闡述，詳細(xì)說明了ChebNet，GCN，PATCHY-SAN，LGCN等模型.在第2，3節(jié)中，介紹了GAT，SAGNN，SpGAT等基于注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)和DVNE，SDNE，DRNE等基于自編碼器的圖神經(jīng)網(wǎng)絡(luò).第4節(jié)則補(bǔ)充了一些基于其他方法實現(xiàn)的圖神經(jīng)網(wǎng)絡(luò).第5節(jié)總結(jié)了一些學(xué)者針對圖神經(jīng)網(wǎng)絡(luò)的平滑性、表現(xiàn)能力、到底能做多深等問題的分析討論.第6，7節(jié)則概括了圖神經(jīng)網(wǎng)絡(luò)的4個框架以及在自然語言處理、計算機(jī)視覺、推薦系統(tǒng)、預(yù)測問題等領(lǐng)域的應(yīng)用.最后描述了GNN未來的研究趨勢.

GNN是一個功能非常強(qiáng)大的神經(jīng)網(wǎng)絡(luò)，能夠應(yīng)用在相較于一般數(shù)據(jù)更加復(fù)雜的圖結(jié)構(gòu)數(shù)據(jù)上.綜上所述，各種實現(xiàn)GNN的模型已經(jīng)很豐富并且得到了迅速的發(fā)展，并且在各個領(lǐng)域得到了很好的應(yīng)用.雖然有些模型存在自身的缺陷和局限性，但隨著更多科研人員的學(xué)習(xí)研究，相信這些缺陷在不久的將來會得到解決.可以預(yù)見，GNN一定能使人工智能的發(fā)展邁向一個新的臺階.

作者貢獻(xiàn)聲明：馬帥收集參考文獻(xiàn)，負(fù)責(zé)實際調(diào)查研究，構(gòu)思論文架構(gòu)，負(fù)責(zé)論文撰寫；劉建偉提出寫作命題，收集參考文獻(xiàn)，指導(dǎo)論文撰寫，提供基金支持；左信負(fù)責(zé)研究項目管理，參與論文監(jiān)管.