圖神經網絡綜述

王健宗，孔令煒，黃章成，肖 京

（平安科技（深圳）有限公司聯邦學習技術部，廣東深圳 518063）

0 概述

近年來，深度學習技術逐漸成為人工智能領域的研究熱點和主流發展方向，主要應用于高維特征規則分布的非歐幾里德數據處理中，并且在圖像處理、語音識別和語義理解［1］等領域取得了顯著成果。圖的概念起源于18 世紀著名的柯尼斯堡七橋問題，到20 世紀中期擬陣理論、超圖理論和極圖理論等研究蓬勃發展，使得圖論［2］在電子計算誕生前已成為重要的數學研究領域。作為一種關系型數據結構，圖在深度學習中的應用在近年來受到越來越多的關注，圖的演進歷程被分為數學起源、計算應用和神經網絡延伸3 個階段。隨著計算機的出現和機器計算時代的到來和發展，圖作為一種能夠有效且抽象地表達信息和數據中的實體以及實體之間關系的重要數據結構得到了廣泛應用，圖數據庫有效解決了傳統的關系型數據結構面對大量復雜數據存在的建模缺陷多、計算速度慢等問題，圖數據庫也成為熱門的研究方向。圖結構［3］可以將結構化數據點通過邊的形式，依照數據間的關系將不同類型和結構的數據節點相連接，因此被廣泛地應用在數據存儲、檢索以及計算中。基于圖結構數據，知識圖譜［4-7］可以通過點和邊的語義關系精確地描述現實世界中實體之間的關聯關系，包括知識抽取、知識推理、知識圖譜可視化等研究方向。圖計算具有數據規模量大、局部性低、計算性能高等特性，圖計算算法［8-9］主要分為路徑搜索算法、中心性算法、社群發現算法3 類，其在關系復雜的大規模數據上具有時效性強和準確度高的性能表現，并且在社交網絡、團體反欺詐和用戶推薦等領域具有重要的應用。

圖神經網絡的研究主要集中于相鄰節點信息的傳播與聚合。2013 年，BRUNA 等人提出的基于圖論的圖神經網絡［10］和DEFFERRARD 等人提出的頻域圖卷積神經網絡［11］受到了業界的廣泛關注。2018年，BATTAGLIA 等人［12］在關系歸納偏置和深度學習技術的基礎上，提出面向關系推理的圖網絡概念，以期將深度學習的端到端學習方式與圖結構的關系歸納推理理論相結合，解決深度學習無法處理的關系推理問題。2019 年，ZHANG 等人［13］從半監督和無監督角度對基于圖結構的深度學習技術進行綜述，ZHOU 等人［14］從傳播規則和網絡結構等角度分析圖神經網絡模型及其應用，WU 等人［15］對比了時域和空間域的圖卷神經網絡結構。針對圖神經網絡存在的其他問題，研究人員給出了很多解決方案，隨著對圖神經網絡領域更加深入的研究與探索，人工智能領域的版圖將得到更大擴展。本文分析并比較6 種圖神經網絡結構的優劣，重點討論基于不同信息聚合方式的圖神經網絡結構及5 種圖神經網絡的研究領域，并對未來的發展方向進行展望。

1 圖結構

1.1 圖結構定義

圖神經網絡處理的數據是在歐氏空間內特征表示為不規則網絡的圖結構數據，基本的圖結構定義為：

其中，圖G由數據節點集合vi∈V、連接節點集合eij=(vi,vj)∈E組成，其映射到高維特征空間fG→f*所得到的鄰接矩陣表示為AN×N。

1.2 圖結構分類

對于圖的構成而言，可以從空間和時間兩個角度出發進行分析。從空間角度，圖結構的變化可以通過節點和邊進行區分，如邊異構的有向圖、權重圖、邊信息圖及節點異構圖。從時間角度，引入節點在時序變化中的差異形成時空圖結構。5 種典型的圖結構示例如圖1 所示，不同圖結構的結構特征、圖模型和應用場景如表1 所示，具體描述如下：

1）有向圖是指在圖結構中連接節點之間的邊包含指向性關系，即節點之間的關聯就包含了方向的傳遞性關系，對于圖神經網絡而言，這種傳遞關系和基于深度學習的神經網絡神經元中信號傳遞的結構近似，有向圖的輸入是各個節點所對應的參數。針對單向圖的處理方式，MATHIAS 等人［16］提出適用于單向圖的無監督節點標簽判斷方式。對于有向圖中可能存在的雙向關系，KAMPFFMEYER 等人［17］提出通過雙向權重對應的雙向鄰接矩陣表示雙向關系的模型ADGPM，利用知識圖譜解決零樣本學習問題，實現對神經網絡傳遞更多的信息。

2）權重圖是指圖結構中的邊包含權重信息，可以有效地描述節點之間相互作用的可靠程度，定量表示關系的連接程度。對于權重圖的處理，DUAN 等人［18］通過對動態權重有向圖進行歸一化處理，利用節點之間的關聯關系權重動態實現信息挖掘。

3）邊信息圖是指對于存在不同結構邊的圖結構，節點之間的關聯關系可以包含權重、方向以及異構的關系，如在一個復雜的社交網絡圖中，節點之間的關聯關系既可以是單向的關注關系，也可以是雙向的朋友關系。對于包含復雜邊信息的圖結構而言，復雜的關聯關系不能直接通過簡單的權重約束來表示，BECK 等人［19］提出一種將原始圖轉換成二分圖的模型G2S，在處理自然語言處理任務時，將每一個詞節點之間的關聯關系采用獨立編碼方式，大幅提升了語義理解效率。

4）節點異構圖是指在圖G中的節點屬于多個不同類型的圖結構，這種圖結構通常根據異構節點類型對節點進行向量表示，也可以通過獨熱編碼等編碼方式實現節點的向量表示。ZHANG 等人［20］提出一種通過元路徑對異構圖結構的文本進行編碼的方法，該方法根據異構節點類型對鄰居節點進行分組，適用于節點分類［21］、文本向量化表示以及相似度搜索等任務。

5）時空圖是一種屬性圖結構，其特點是高維特征空間f*中的特征矩陣X會隨時間變化，本文將其定義為G*=(V，E，A，X)。圖結構隨著時間序列的引入，可以有效處理包含動態和時序關系類型的任務，YAN 等人［22］提出一種基于時空圖卷積神經網絡的骨架運動檢測方法，YOU 等人［23］基于視頻標簽節點之間鄰接關系的相似度，提出一種利用多標簽視頻分類的圖神經網絡方法。

圖1 5 種典型的圖結構示例圖Fig.1 Example graphs of five typical graph structures

表1 5 種典型的圖結構對比Table 1 Comparison of five typical graph structures

2 圖神經網絡

圖神經網絡對于非歐幾里德數據在深度學習中的應用具有重要作用，尤其是利用圖結構在傳統貝葉斯因果網絡上可解釋的特點，對于定義深度神經網絡關系可推理、因果可解釋的問題有較大的研究意義，因此如何利用深度學習技術對圖結構的數據進行分析和推理引起了學者們的廣泛關注。本文對現有的圖神經網絡結構進行總結與歸納，給出一個通用的圖神經網絡結構，如圖2 所示，將圖神經網絡推理過程通過圖節點預表示、圖節點采樣、子圖提取、子圖特征融合、圖神經網絡的生成和訓練子過程進行表示，具體步驟如下：

1）圖節點預表示：通過圖嵌入方式對圖中每一個節點進行嵌入表示。

2）圖節點采樣：對圖中每個節點或存在的節點對的正負樣本進行采樣。

3）子圖提取：提取圖中每一個節點的鄰節點構建n階子圖，其中n表示第n層的鄰節點，從而形成通用的子圖結構。

4）子圖特征融合：對每一個輸入神經網絡的子圖進行局部或全局的特征提取。

5）圖神經網絡生成和訓練：定義網絡層數和輸入輸出參數，并對圖數據進行網絡訓練。

圖2 圖神經網絡通用結構Fig.2 General structure of graph neural networks

本文將從頻域和空間域角度研究圖卷積網絡（Graph Convolutional Network，GCN），對比多種圖卷積神經網絡［21］的發展歷程，介紹門控圖神經網絡［24］、圖注意力網絡［25］、圖自動編碼器網絡［26］、空圖神經網絡［27］和圖嵌入網絡［28］的模型結構和實現方式，并從聚合方式、網絡結構和應用優勢的角度對比分析上述圖神經網絡模型的差異。

2.1 圖卷積神經網絡

深度學習技術的流行與卷積神經網絡的廣泛應用密不可分，圖卷積神經網絡從特征空間來看可以分為頻域和空間域兩類。圖卷積神經網絡將原始圖結構的數據G=(V，E)映射到一個新的特征空間fG→f*。以單層前向傳播圖卷積神經網絡為例，第i層神經網絡的特征用ωi表示，在計算圖結構中的每一個節點vi時，每一層神經網絡的輸出Hl+1都可以通過非線性函數f(?， ?)表示為Hl+1=f(Hl，A)，其中A為特征鄰接矩陣。通過非線性激活函數ReLU=σ(?)實現圖卷積神經網絡結構，其分層傳播規則如下：

2.1.1 基于頻域的圖卷積神經網絡

頻域的圖卷積神經網絡基于圖信號處理［29］，將圖神經網絡的卷積層定義為一個濾波器，即通過濾波器去除噪聲信號從而得到輸入信號的分類結果。在實際應用中只能用于處理無向且邊上無信息的圖結構。將輸入信號的圖定義為可特征分解的拉普拉斯矩陣，進行歸一化和特征分解后可以表示為通用結構UAUT，對角矩陣A由特征值λi按序排列組成。BRUNA 等人［10］提出頻域圖卷積神經網絡，并定義卷積層函數。假設頻域圖卷積神經網絡為圖信號處理中的濾波器，特征分解需要至少O(n3)的計算復雜度和O(n2)的存儲空間，當輸入圖數據為稀疏矩陣時，可以通過隨機特征分解等方法在保證精度的情況下將時間復雜度降至O(n2r+r3)，其中r為近似矩陣的秩，遠小于n。

HENAFF 等人［30］提出基于插值內核的圖卷積神經網絡。在頻域卷積神經網絡的基礎上構建無監督和有監督推理預測方案，從圖神經網絡通用結構中可以看出，圖節點預表示可以根據數據預測相似性矩陣，該方法也適用于大規模圖像和文本分類等問題中。

DEFFERRARD 等人［11］提出基于切比雪夫多項式的頻域卷積濾波器ChebNet，其中切比雪夫多項式是由特征值對角矩陣的項所組成，通過將切比雪夫展開式Ti(x)替換原始GCN 中通用頻域卷積濾波器gθ的特征分解部分，從而有效避免特征分解的計算部分，將計算復雜度從O(n3)降低至O(LE)，其中，E為輸入圖G中邊的數量，L為多項式階數且與圖的大小成正比。一階切比雪夫圖卷積神經網絡［27］則是利用一階切比雪夫展開更好地提升了網絡的計算效率。針對包含復雜屬性的節點異構圖，可以通過圖卷積神經網絡來實現節點的聚類。為提升屬性圖的信息提取性能和模型效果，ZHANG 等人［31］提出AGC 自適應圖卷積方法，利用高階圖卷積獲取全局聚類結構來定義k階圖卷積，從而實現對于復雜異質圖的處理。

2.1.2 基于空間域的圖卷積神經網絡

與深度學習中卷積神經網絡對圖像的像素點進行卷積運算類似，基于空間的圖卷積神經網絡通過計算中心單一節點與鄰節點之間的卷積來表示鄰節點間信息的傳遞和聚合，從而生成新的特征域節點表示。SCARSELLI 等人［32］提出一種利用基于相同圖卷積結構的循環函數，遞歸地實現空間圖卷積神經網絡的收斂方法，該方法可以支持節點和邊上分別包含特定屬性的異構圖，是契合傳統卷積神經網絡基本思想的方法。DAI 等人［33］提出隨機穩態圖神經網絡迭代算法SSE，對于每個擁有不同數量鄰節點的節點，在每次卷積迭代過程中利用雙向權重矩陣W1、W2更新節點的特征表示。

隨機穩態圖神經網絡不支持邊上包含的信息，通過兩個權重函數分別對全部的節點集合v∈VN和包含信息的節點集合v∈VM進行卷積處理，從而使得圖卷積神經網絡的迭代效率得到提升。圖結構數據中的節點存在極多的關系導致參數數量過多，在此情況下，引入基礎分解和塊對角分解兩種方式可以有效解決過擬合問題。關系圖卷積神經網絡可以應用于以節點為中心的實體分類問題和以邊為中心的鏈接預測問題中。

ATWOOD 等人［34］提出基于圖結構的深度卷積神經網絡（Deep Convolutional Neural Network，DCNN），通過卷積傳播方式擴散性地掃描圖結構中的每一個頂點，替代了一般圖卷積神經網絡基于矩陣特征的卷積形式，DCNN 的參數是由搜索深度而不是節點在圖結構中的位置決定，可以用于節點、邊以及圖結構等多種分類任務，但由于計算轉移概率的時間復雜度較高，并且不適用于大規模的圖結構數據，因此ZHUANG 等人［35］在傳播和鄰接矩陣兩種卷積結構的基礎上提出一種雙路圖卷積神經網絡，將半監督圖卷積［29］和轉移概率的正逐點互信息（Positive Pointwise Mutual Information，PPMI）矩陣作為卷積運算鄰接矩陣來更好地提升模型的信息抽取效果［36-37］。

表2 從頻域和空間域角度對圖卷積神經網絡進行分析對比，其中，√表示具備可擴展性，×表示不具備可擴展性。頻域圖卷積神經網絡主要依賴頻域矩陣的特征分解，對比網絡包括Spectral Network［26］、ChebNet［29］、1stChebNet［20］、AGCN［38］和AGC［31］，而空間域圖卷積神經網絡主要借助鄰節點特征信息的聚合來定義圖數據上的卷積運算，對比網絡包括GNN［32］、DCNN［34］、MGCN［39］、SSE［33］、DGCN［35］、PinSage［40］、MPNN［37］、GraphSage［36］和Fast-GCN［41］。同時，關于圖卷積神經網絡優化方式的研究也有很多，針對高階圖卷積在空間域圖卷積中性能較差的問題，引入稀疏鄰域來替代頻域圖卷積的MixHop［42］。

表2 圖卷積神經網絡對比Table 2 Comparison of graph convolutional neural networks

2.2 門控圖神經網絡

目前，基于門控機制的遞歸神經網絡的研究也得到學者們的廣泛關注，例如基于門控循環單元（Gated Recurrent Unit，GRU）的門控圖神經網絡（Gated Graph Neural Network，GGNN）［43］通過GRU 控制網絡傳播過程中固定步數的迭代循環來實現GGNN 結構，利用節點來建立鄰節點之間的聚合信息，然后基于循環門控單元實現遞歸過程中每個節點隱藏狀態的更新。

TAI 等人［44］提出基于子節點的樹狀長短時記憶網絡（Tree-LSTM）用于處理圖神經網絡中的語義表示問題。門控圖神經網絡除了基于門控循環單元和LSTM 的基礎模型外還有很多變種，例如：YOU 等人［45］利用分層循環遞歸網絡分別生成新的節點和節點對應的邊，從而將圖遞歸神經網絡應用于圖生成問題；PENG 等人［46］提出利用不同的權重矩陣來表示不同標簽的圖長短時神經網絡結構；MA 等人［47］將時間感知LSTM 與圖神經網絡相結合，利用LSTM來更新兩個關聯節點和對應的鄰居節點的表示，提出動態圖神經網絡，更好地解決傳播效應問題。

2.3 圖注意力網絡

對于圖神經網絡中的注意力機制，借助于注意力模塊取代一般圖卷積神經網絡中的卷積激活器，在不同方法中結合門控信息來提升注意力機制感受域的權重參數，達到更好的推理和應用性能。

圖卷積神經網絡實現了對圖結構數據的節點分類，而注意力機制目前在自然語言處理領域有著非常好的效果和表現。對于圖注意力機制［25，48］而言，鄰居節點的特征累加求和過程與圖卷積神經網絡完全不同，通過全局注意力機制替代卷積分層傳遞的固化操作，可以有效選擇在圖結構中更為重要的節點、子圖、模型、路徑分配更大的注意力權重［48］。

圖注意力網絡中的注意力權重被表示為，對于第l層網絡而言，定義節點為=Wlhi，其中，hi是注意力模型中的節點向量，Wl表示為一個可變化的線性變換參數，那么節點間的注意力分數就會根據注意力權重的不同進行迭代。與圖卷積神經網絡的分層傳播規則不同，圖注意力網絡將原有的常數參數替換為表示鄰節點權重的注意力參數。

ZHANG等人［49］提出一種通過卷積子網絡來控制分配權重的自我注意力機制，利用循環門控單元解決流量速度預測問題。LEE等人［50］提出結合LSTM與注意力機制的圖節點分類方法。ABU-EL-HAIJA等人［42］提出一種注意力游走方法，將圖注意力機制應用于節點嵌入中。

在現實世界中信息在被表示成節點和邊構成的拓撲結構時通常是異構的，廣義上被定義為異構信息網絡（Heterogeneous Information Network，HIN）［51］，而現階段的圖神經網絡多數聚焦于同構圖的處理分析，對于節點異構和邊異構的圖結構而言，巨大的信息量和復雜的網絡結構帶來了更大的挑戰和研究價值。WANG 等人［52］提出一種基于注意力機制的異構圖注意力網絡，將節點和邊的異構性表達為不同類型的語義信息，通過節點層的注意力來判斷相同屬性鄰節點的重要性，同時利用語義層的注意力選擇有意義的元路徑，節點層利用注意力來表示不同節點的重要性。圖注意力網絡的研究還集中于圖像語義推理、上下文推理等方面。具體地，YANG 等人［53］在處理利用自然語言來表示圖像中的描述對象問題時，通過抽取圖像中對象之間的語義關系建立關聯圖結構，借助動態圖注意力網絡（DGA）來實現更好的語義推理能力。

2.4 圖自動編碼器網絡

自動編碼器是深度神經網絡中常用的一種無監督學習方式，對于圖結構數據而言，自動編碼器可以有效處理節點表示問題。最早的圖自動編碼器是由TIAN 等人［26］于2014 年提出的稀疏自動編碼器（SAE），通過將圖結構的鄰接矩陣表示為原始節點特征，利用自動編碼器將其轉化為低維的節點表示。稀疏自動編碼問題被轉化為反向傳播的最優解問題，即最小化原始傳輸矩陣和重建矩陣之間的最優解問題。在結構深度網絡嵌入方法［54-55］中，將損失函數表達為鄰接矩陣的形式，證明了兩個具有相似鄰節點的節點有相似的潛在特征表示，并且結構深度網絡嵌入方法引入類似拉普拉斯特征映射來替代目標函數。變分圖自動編碼器（VGAE）［56］將卷積神經網絡應用于圖自動編碼器結構，對于非概率變體的圖自動編碼器，定義由隨機隱藏變量zi組成的矩陣Z，那么編碼器可以表示為Z=GCN(X，A)。結合結構深度網絡嵌入的方法，ZHU 等人［57］提出利用高斯分布進行節點表示的方法，并選擇EM 距離作為目標損失函數，能夠有效地反映距離信息特征。

2.5 時空圖神經網絡

時空圖神經網絡作為一種引入了時間序列特征的屬性圖網絡，可以同時獲取圖結構中時間和空間域的特征信息，每一個節點的特征都會隨著時間的變化而變化。本文主要討論在空間域采用圖卷積來提取空間特征依賴的時空圖神經網絡結構，主要分為傳統卷積網絡、門控循環網絡和圖卷積網絡3 種時域特征獲取方法。圖3 給出了圖卷積神經網絡、圖自動編碼器網絡（以變分圖卷積自動編碼器為例）和時空圖神經網絡（以1D-CNN+GCN 結構為例）的網絡結構對比，3 種網絡結構的構建基礎均為圖卷積計算單元，其中，φ為矩陣Z和ZT之間的元素距離，MLP 全連接表示多層感知機全連接神經網絡。

圖3 圖卷積神經網絡、圖自動編碼器網絡和時空圖神經網絡結構對比Fig.3 Structure comparison of graph convolutional neural network，graph autoencoder network and spatiotemporal graph neural network

YU 等人［58］在實時交通預測問題中，利用時空圖的特性解決交通流的高度非線性和復雜性問題，提出一種時空圖神經網絡，采用一維卷積神經網絡（1D-CNN）沿時間序列X[i，：，：]∈?T×N×D傳播聚合時域特征，其中，T為時間步長，N為節點數量，D為節點向量維度。同時圖卷積神經網絡作為每個時間點上的空間信息聚合器，構成如圖3（c）所示的時空圖神經網絡結構。HUANG 等人［27］提出擴散遞歸卷積神經網絡，采用門控圖神經網絡中的門控遞歸單元獲取時域依賴性。為結合循環單元GRU 獲取的時間序列異步信息及圖卷積神經網絡捕獲的空間鄰節點信息，SIMONYAN 等人［59］設計一種改進的擴散卷積門控遞歸單元（DCGRU）結構來更好地提升時空特征的依賴性。

YAN 等人［60］將事件流擴展為圖結構中的邊信息，通過圖卷積神經網絡模型同時提取時域和空間域中的信息特征，將運動過程中人體抽象的骨節作為節點進行檢測，并且其延續了文獻［29］的定義，將分層傳播規則延伸為時空圖神經網絡的輸入和輸出，從而基于邊信息的提取實現時域和空間域信息的提取和學習。

2.6 圖嵌入網絡

圖結構中的每一個節點和邊對于深度神經網絡而言都是不規則的抽象數據，而通過圖嵌入方法對節點和邊賦予數值張量，能將圖結構類比于深度神經網絡所處理的圖像數據，賦予的數值就如同圖像中像素數量和像素對應的值。在實現圖嵌入網絡的算法中，最基礎的算法就是深度隨機游走算法［61］，其將語言模型的語義理解任務經過文本分詞后得到的詞視為圖結構中的節點，而連接節點的邊則通過隨機游走實現。每一次隨機游走所連接的節點形成的路徑就是由單詞所構成的隨機句子，這樣的隨機圖結構網絡可以通過N維矩陣的形式進行表示。在深度隨機游走網絡中，隨機游走長度通常是需要人為確定的超參數，為解決這一問題，ABU-EL-HAIJA 等人［62］基于深度學習理念，提出基于反向傳播的可學習超參數，并引入基于轉移矩陣冪級數的圖注意力網絡結構，通過對上層目標函數的分析來優化超參數的選擇，從而實現超參數的可學習性。

現階段的空間圖卷積神經網絡受限于網絡復雜度和節點表示效果，一般只能用于處理同構圖［15］，而直接將異構關系抽象為同構圖后會損失較多的特征信息。對于屬性多元異構網絡嵌入，CHEN 等人［63］提出的HGR 模型有效提取了視頻文本匹配任務中圖數據的全局和局部特征，并且適用于抽象場景圖。

表3 從圖結構和性能優劣勢角度，對7 種圖神經網絡進行了分析和對比。

表3 圖神經網絡結構對比Table 3 Structure comparison of graph neural networks

3 圖神經網絡研究領域

3.1 圖生成和圖對抗

圖生成的目標是基于一組可觀察圖來生成圖，其中的很多網絡均為領域特定，例如：在分子圖生成方面，一些研究將分子圖的表征建模為字符串［64-65］；在自然語言處理方面，生成語義圖或知識圖通常需要一個給定的句子［66-67］。最近，研究人員提出了一些通用方法，例如將圖生成過程看成節點或邊的形成［68］，使用生成對抗網絡實現生物分子圖的訓練［69］和基于隨機游走的圖生成網絡［70］。

圖對抗網絡的研究主要集中于圖網絡的可靠性和安全性方面，盡管圖神經網絡模型取得了一定的研究進展，但通常缺乏可解釋性和穩健性，尤其是通過領域特征的聚合方式進行網絡構建時需要利用節點敏感信息，因此存在被攻擊的風險［71-72］。

3.2 圖強化學習

在圖強化學習中，學習控制問題通常采用馬爾科夫決策過程（Markov Decision Process，MDP）［73］估計長期回報問題。根據圖中節點所表述的決策狀態，利用轉移概率矩陣表示相似性矩陣。通過使用可學習的表示來實現線性逼近值函數，其近似值函數為狀態圖上第一個拉普拉斯特征映射的線性組合。

DONNAT等人［74］提出的方法基于以節點為中心的譜圖小波的擴散來學習節點表示。MADJIHEUREM等人［75］在表示策略迭代（Representation Policy Iteration，RPI）［76］階段使用原始數據集構建無向加權圖。利用有限數量的樣本構造圖結構，其派生的原始值函數不一定能夠反映基礎狀態空間，但可以通過函數來測量圖函數的全局平滑度。當來自平滑函數的值vi、vj駐留在兩個連接良好的節點上時，則預期它們之間的距離較小，即圖函數具有較高的平滑度。

3.3 圖遷移學習

遷移學習是運用已有知識對相關領域問題進行求解的一種機器學習方法。BOSCAINI 等人［77］提出的局部SCNN 模型方法可以提取可變形狀的屬性。BRUNA 等人［10］提出的圖卷積結構是廣義SCNN 模型圖遷移學習框架的關鍵組成部分，其借鑒傅里葉變換思想將網格域中的CNN 應用于圖結構域。

LEE 等人［78］提出的圖遷移學習方法由5 個步驟組成，前3 個步驟根據輸入生成圖，并從圖結構中識別結構特征，后2 個步驟是基于特征學習和圖相似性應用遷移學習進行分類和推薦等任務的推理。PAN 等人［79］指出在遷移學習環境中的域由特征空間和概率分布組成，對于給定域可以通過任務來表示具有標簽的空間和訓練數據預測函數。在兩個圖域相似的情況下，在遷移圖中學習到的內在幾何信息可以通過快速建立遷移學習模型，并利用來自異構數據集的圖譜特征，大幅提升學習效率。

3.4 神經任務圖

任務圖［80］通過表示任務的組成與時序來有效執行任務。神經任務圖網絡［81］將任務圖與神經網絡相結合，能夠更加高效地調度與學習任務。通過視覺模擬學習方法，神經任務圖網絡將組合任務引入中間任務的表示和策略中，在照片渲染的模擬環境和現實世界的視頻數據集中，神經任務圖的表現比非結構化表示方法以及人工設計的分層結構化表示方法效果更好。神經任務圖顯著提高了復雜任務的運行效率，通過神經任務圖的組合實現從原始視頻數據到復雜任務的仿真，并在神經任務圖訓練過程中利用節點的嵌入表示解決動作模擬任務中缺少訓練數據的問題。

3.5 圖零樣本學習

圖神經網絡在零樣本學習的圖像和視頻分類任務中具有廣泛應用，通過借助圖結構中節點之間的強關聯性，可以有效泛化樣本缺乏情況下需要生成預測新類別的問題。基于知識圖的零樣本學習是利用現有知識庫或者知識圖譜中結構化的關系信息，在未知任何樣本數據的情況下進行推理學習解決樣本分類的問題。

WANG 等人［82］提出基于圖卷積神經網絡的零樣本圖像分類方法，通過圖卷積處理未知權重信息的知識圖。對于圖神經網絡而言，在解決零樣本學習問題的過程中，當知識傳播層數較高時會降低處理效率。LEE 等人［83］提出同時預測多個未知標簽的零樣本學習方法，有效地解決了多樣本分類問題。

表4 對圖神經網絡的研究領域進行簡要的概述和總結。

表4 圖神經網絡的研究領域總結Table 4 Summary of research fields of graph neural networks

4 圖神經網絡應用方向

圖神經網絡在不同任務和所處的時間、空間或頻域中均具有廣泛應用，主要分為文本處理、圖像處理、圖系統、動作檢測4 個應用方向。

4.1 圖神經網絡在文本處理中的應用

對于文本向量化表示而言，圖神經網絡可以對句子和詞級別的文本進行處理，文獻［25］通過密集圖傳播模塊來實現距離較遠的文本節點的關聯關系表示。文獻［61-62］則通過圖嵌入的方式來實現節點的向量化表示，用于文本詞向量和句向量的推理。

在文本分類領域，文獻［84］利用基于雙向圖長短時記憶網絡，實現了每個文本詞向量的雙向狀態表示，從而達到了更好的文本分類效果。文獻［85］通過遞歸正則化的方式，更有效地獲取非連續語義和長距離語義。

圖神經網絡也可以應用于文本的序列標注。對于文本圖結構的詞節點而言，每個節點的序列生成可以通過圖生成網絡的方式來實現，文獻［83］通過節點對象強化的圖生成網絡OR-GAN 進行序列生成。文獻［86］利用圖長短時記憶網絡對句法信息中文本節點間的關聯關系進行建模，得到每個詞節點的潛在特征用于序列標注。

關系推理［87］是指從復雜的語義信息中推理出文字節點之間的關聯關系。文獻［19］通過關系圖卷積R-GCN 來完成文本實體間關系的抽取和屬性分類。文獻［46］利用圖長短時記憶網絡構建文本序列中跨多個句子時的N元關系，通過上下文中文本實體之間的關系進行任務推理。

4.2 圖神經網絡在圖像處理中的應用

在圖像分類的任務中，零樣本和少樣本學習的任務通常需要借助知識圖譜的先驗知識來提升識別效果。圖神經網絡有效提升了知識圖譜的推理效率。文獻［17］通過深度圖傳播方法將異構圖結構用于知識推理，利用中間節點的特征信息來優化知識的稀疏度。文獻［85］借助圖神經網絡將少樣本學習的任務轉化為可以端到端訓練的監督學習任務。

4.3 圖神經網絡在圖系統中的應用

對于推薦系統而言，用戶與項目的關系可以構成二部圖，用戶與用戶之間可以構成社交網絡，項目與項目則可以構建知識圖譜和異構圖，通過圖神經網絡可以為用戶進行商品推薦。文獻［78］利用基于上下文的圖自注意力網絡實現了高效的會話推薦。

如何構建和提升知識圖譜的應用效果一直是圖領域備受關注的研究方向。文獻［21］利用知識圖譜實現了基于知識遷移的圖小樣本學習方法。文獻［82-83］均通過知識圖譜的推理來實現和完成圖零樣本學習任務。文獻［88］介紹了如何挖掘知識圖譜以實現大規模企業級應用。

作為生物學的研究領域，分子的構成是天然的圖結構。文獻［20］利用端到端的圖卷積網絡實現了圓形指紋的分子特征提取方法。文獻［39］進一步將圖卷積方法應用于生物分子圖領域。文獻［69］提出基于圖生成網絡的分子圖生成方法，可以有效模擬化學分子的合成。

4.4 圖神經網絡在動作檢測中的應用

通過視頻序列來實現任務預測是時序圖領域的重要應用方向之一。文獻［77］提出基于共軛任務圖結構的策略生成方法，實現了基于給定的演示視頻推理完成未知的任務。文獻［89］提出視覺空間注意力機制的圖卷積方法來完成視覺理解任務中人與對象交互定位HOI 的任務。文獻［22］通過時空圖神經網絡實現了基于骨節運動的動作檢測。

表5 對圖神經網絡的應用方向進行簡要的概述和總結。

表5 圖神經網絡的應用方向總結Table 5 Summary of application directions of graph neural networks

5 未來發展與展望

隨著圖神經網絡研究和應用的不斷深入，其發展方向主要包括網絡結構優化、理論可解釋性強化及數據結構豐富化，具體內容為：

1）與傳統深度學習相比，圖神經網絡的研究和應用方向有較大的拓展空間，由于其對于知識圖譜、推薦系統等大規模系統性應用具備遷移性、可強化性等特點，并且對于動態任務具有泛化能力，因此能夠將圖神經網絡與深度學習實現有效關聯，更高效地利用圖結構數據。

2）深度神經網絡結構的本質是對數據不斷提取高維的抽象特征，將圖神經網絡結構的關聯性特征與傳統貝葉斯因果關系網絡相結合，以期實現對深度學習神經網絡結構的可解釋性證明。

3）現階段有關圖神經網絡結構的研究多數受限于關系型結構在高維空間中的特征可解釋性，而對于提升圖神經網絡深度的研究較少，深度學習的巨大成功得益于其深層的網絡結構能提取更高維度的特征信息。圖神經網絡在結構上對特征信息進行抽象概括的同時，需要探索加深網絡結構的方式，以增強其對于高維特征信息的提取能力，進一步提高網絡性能。

4）擴大圖神經網絡的感受野能有效提升圖神經網絡的推理性能。神經元感受野可使網絡輸出的特征值更好地歸納局部和全局特征，從而實現更快的學習收斂速度和更好的網絡預測效果。

5）在網絡節點中引入更多的數據類型，突破通過節點先驗信息決定圖神經網絡的最終學習效果。將定性、離散或概率型數據以圖的形式引入到圖神經網絡中，增強圖網絡模型對真實數據分布的刻畫能力。

6）提升圖神經網絡的動態性和異質性，對于具有復雜圖結構的異質圖和結合時序性的動態圖具有更豐富的應用場景。

6 結束語

本文回顧圖神經網絡的發展歷程，分析并比較基于不同信息聚合方式的圖神經網絡結構，討論圖神經網絡與深度學習技術相結合的研究領域，并對圖神經網絡的應用方向進行闡述。后續將從圖神經網絡結構的深度和復雜度、異質圖的高效分析與處理以及利用節點和邊信息的傳遞實現圖神經網絡的可解釋性等方面做進一步探索，以期優化圖神經網絡的數據結構、提升算法性能及增強理論可解釋性。