基于對比學習的全局增強動態異質圖神經網絡

焦鵬飛 劉 歡 呂 樂 高夢州 張紀林 劉 棟

1 （杭州電子科技大學網絡空間安全學院 杭州 310018）

2 （杭州電子科技大學計算機學院 杭州 310018）

3 （河南師范大學計算機與信息工程學院 河南新鄉 453007）

4 （數據安全治理浙江省工程研究中心 杭州 310018）（pjiao@hdu.edu.cn）

網絡（network）或圖（graph）具有對實體及實體之間關系的通用建模能力，被廣泛應用于描述現實世界網絡，如社交網絡、互聯網和交通網絡等[1-5].為了捕獲圖數據中豐富的結構信息和語義信息，圖表示學習（ graph representation learning）近年來引起了廣泛的研究熱忱，并在許多領域展現出其顯著的性能優勢[6]，如生物信息、智能交通、推薦系統等[7-9].盡管取得了諸多重要成就，目前大部分圖表示學習研究集中于單一節點類型的靜態同構圖（homogeneous static graph）.然而，現實世界中廣泛存在著包含多種類型的動態演化實體及其交互關系的復雜系統.如圖1所示，學術網絡中包含“作者”（A）、“論文”（P）、“會議”（V）3種類型的節點和“撰寫/被撰寫”“發表/被發表”等類型的動態交互關系，通過靜態同構圖結構難以對其進行良好建模.而動態異質圖（heterogeneous temporal graph, HTG）由于包含動態演化的多種類型的實體及其交互關系，可以自然地對此類包含多節點和邊類型的動態復雜系統進行建模[10].

Fig.1 Academic network heterogeneous temporal graph圖1 學術網絡動態異質圖

另一方面，當前針對動態異質圖的表示學習方法主要采用半監督學習（semi-supervised learning）范式[11]，即結合無標簽拓撲結構和標簽信息來指導學習.這類方法通過良好學習輸入圖數據和監督信號之間的映射關系，在特定任務上通常有著較高的準確率.然而，高質量標簽數據通常昂貴而稀缺，需要耗費大量的人力資源和領域知識[12-13].同時，在動態異質圖數據中往往僅包含單一節點類型的靜態標簽數據，例如，學術網絡異質圖中通常僅包含“作者”節點的“研究領域”作為標簽信息，并且此類靜態標簽無法反映網絡隨時間變化的動態性.因此，對于異質語義信息豐富的動態異質圖數據，難以通過這類標簽數據作為監督信息得到異質圖中所有類型節點的動態表示.此外，在半監督學習范式下學習得到的節點表示往往還存在泛化性較差的問題.

針對半監督學習的問題，自監督學習（selfsupervised learning）范式提出通過從數據中產生監督信號來指導學習過程，在計算機視覺、自然語言處理等領域取得了顯著成就[14-15].其中，對比學習（contrastive learning）是自監督學習的一類經典方法，其通過構造正負樣本對并最大化正樣本對之間的一致性完成自監督學習[13].盡管對比學習比自監督學習取得了明顯的性能提升，但目前的相關研究仍主要集中于同質圖數據，對動態異質圖中包含的復雜的異質性和動態性信息進行自監督學習存在2點挑戰：

1）在異質性方面.如何自適應地捕獲不同動態異質圖中包含的異質性信息是挑戰之一[11,16-17].對于動態異質圖每個快照的異質性信息的挖掘質量將影響最終的動態表示質量.對于單快照的異質圖，基于元路徑（meta-path）的方法是目前常用的異質語義信息挖掘方式[16,11]，然而該類方法得到的表示質量嚴重依賴于元路徑的設計，并且往往只能得到單一節點類型的語義相關性.此外，設計能夠有效反映語義信息的元路徑需要異質圖數據的專家經驗，對于異質拓撲較復雜的圖數據的元路徑設計存在一定困難.

2）在動態性方面.如何從大量的歷史快照中捕獲有價值的歷史信息，從而支撐動態預測性任務是另一項挑戰[18-20].真實世界中復雜系統往往存在隨時間動態變化的特性，因此對其建模得到的異質圖數據隨時間而不斷發生演化.如圖1所示，隨著學術網絡中作者撰寫和發表論文的增長，動態異質圖數據不斷新增邊，并且這種動態演化呈現出類型相關的規律性.從動態異質圖的歷史演化中捕獲這種快照間的演化關系對于動態性預測任務至關重要.

因此，本文設計了一種基于對比學習的全局增強動態異質圖神經網絡，其能夠自適應地捕獲動態異質圖數據中存在的豐富異質性，是動態性信息的自監督方法.具體地，為了建模網絡的異質性，本文在每個時間快照內通過層次注意力機制聚合每個節點及其鄰域的節點特征，即空域消息傳遞，從而得到在當前時間快照中的局部拓撲表示；為了更好地融合歷史信息，在時間維度上通過注意力機制聚合時間窗內的局部表示來捕獲多時間快照網絡的動態性特征；為了避免節點表示過度關注低階結構，通過對比學習策略完成時序性局部表示和全局表示的互信息最大化，從而使得節點包含更多的全局性信息；使用一個簡單的解碼器通過節點表示來生成未來時刻的異質拓撲結構，并與真實的拓撲結構計算重構誤差，完成模型的優化.

為了驗證模型有效性，本文在3個真實世界動態異質圖數據集上進行了多項實驗.實驗結果表明，相比于基線模型，本文提出的模型在動態鏈路預測實驗中的AUC指標上得到了平均3.95%的性能提升.總結而言，本文的貢獻有3點：

1）研究了現有表示學習無法綜合處理動態性和異質性的問題，提出了一個基于對比學習的動態異質圖表示學習方法.

2）基于對比學習及層次注意力實現了全局增強動態異質圖神經網絡模型，其包含擾動圖生成、動態異質圖編碼和生成-對比聯合優化3個模塊.

3）在3個數據集上進行了全面的實驗來驗證模型的有效性，實驗結果表明本文提出的動態異質圖表示方法在動態鏈路預測任務上相比于基線模型有了明顯的性能提升.

1 相關工作

圖表示學習旨在學習一個能夠將離散的圖數據映射為低維嵌入表示的映射函數，使得低維嵌入表示能夠良好地反映圖數據包含的拓撲結構、原始特征和語義信息[6].本節介紹基于圖神經網絡的方法和基于對比學習的圖對比學習方法.

1.1 圖神經網絡

圖神經網絡通過將圖表示學習與深度神經網絡方法相結合，近年來在許多領域展現出了卓越的性能，成為圖數據表示與挖掘的主要方式[6,21-23].根據圖數據中是否存在多種節點和邊類型，可以將現有的表示學習方法分為面向包含單一節點和邊類型的同質圖神經網絡和面向多類型的異質圖神經網絡.

在同質圖表示學習方面，GCN[24]提出通過譜圖卷積的一階近似在圖結構數據上進行高效逐層傳播從而完成圖數據的半監督學習.為了進一步提升表達能力，VGAE[25]提出通過將GCN編碼器[24]與變分自編碼器[26]相結合完成圖數據的無監督學習.另一方面，GraphSAGE[27]在圖結構中采樣指定數目的鄰域節點進行消息傳遞并通過多種方式的聚合操作完成圖數據的歸納式學習.為了使模型關注于最相關的鄰域節點，GAT[28]通過注意力機制計算不同鄰居的注意力系數來為不同節點分配不同的重要性.在動態圖方面，EvolveGCN[29]通過使用循環神經網絡來建模不同時間快照下的GCN模型參數.此外，DySAT[30]提出在每個快照上通過在結構自注意力機制得到的節點表示的基礎上，利用時序自注意力機制進行時間維度的節點聚合.然而，此類同質圖神經網絡假設圖結構中節點和邊類型均為單一類型，因此無法有效處理類型豐富的異質圖數據.

在異質圖表示學習方面，metapath2vec[31]提出通過基于元路徑指導的隨機游走來采樣節點的異質上下文信息，并通過skip-gram[32]模型進行節點嵌入的學習.為了更好地利用知識圖譜異質圖中多類型關系的輸入特征，R-GCN[33]通過對不同類型的鄰域節點使用不同的權重矩陣進行圖卷積聚合.為了能夠對異質圖數據中不同鄰域的節點分配不同的注意力權重，HAN[34]提出通過元路徑將異質圖轉化為多個元路徑圖并通過節點級注意力機制進行鄰域聚合，并通過語義級注意力機制聚合不同元路徑表示從而得到最終表示.為了同時考慮不同邊類型的重要程度，HGT[35]提出為不同節點類型和邊類型分別計算注意力權重并進行異質注意力聚合.為了處理包含動態信息的異質圖數據，DHNE[36]通過元路徑指導的時序隨機游走來采樣時域和空域上下文信息并通過skip-gram[32]模型來學習節點嵌入.類似地，THINE[37]同樣通過時序隨機游走序列來采樣動態異質鄰域序列，并通過Hawkes過程和注意力機制聚合隨機游走序列得到節點表示.DyHNE[10]通過對不同元路徑圖的一階和二階近似和加權求和來捕獲結構和語義信息，并通過擾動更新的方式捕獲動態變化.HTGNN[38]提出通過層次注意力機制來捕獲每個時間快照和不同時間的節點表示.目前，異質圖神經網絡的研究主要關注于靜態的異質圖數據，這些方法無法從歷史演化過程中捕獲動態性信息.此外，基于元路徑的方法如HAN[34]、DHNE[10]等，其有效性較依賴于關于圖數據的專家經驗和人工設計[16]，并且此類方法通常只得到單一類型的節點表示，無法完成涉及多類型節點的下游任務.

1.2 圖對比學習

圖對比學習方法主要關注于不依賴人工標注信息的數據增強策略和代理任務的設計[12-13].根據圖數據的類型，這里將對比學習方法分為針對同構圖數據的方法和針對異質圖數據的方法.

針對同構圖的方法中，GraphCL[39]通過4種圖增強方式得到原始圖的2個增強視圖，并分別計算2個視圖的圖表示，最終通過最大化相同原始圖表示之間的互信息進行對比學習.DGI[40]提出通過特征擾動得到負圖，并通過以無監督的方式最大化原始圖的局部拓撲表示和全圖總結表示之間的互信息得到能夠反映圖結構信息的節點表示.類似地，MVGRL[41]通過圖數據增強得到原始圖的2個視角，通過最大化圖2視圖之間的互信息完成對比學習.

Fig.2 Overall structure of the globally enhanced heterogeneous temporal graph neural networks based on contrastive learning圖2 基于對比學習的全局增強動態異質圖神經網絡整體結構

盡管上述針對同構圖的方法通過自監督學習取得了較高的準確率，但這些方法只能處理節點和邊類型單一的同構圖數據，無法建模異質圖數據中存在的豐富結構和語義信息.

針對異質圖的對比學習，HDGI[42]提出通過元路徑圖以及2層注意力機制來得到節點表示，并采用與DGI[40]類似的對比策略完成局部表示與全局特征的互信息最大化.此外，HeCo[43]提出了一種異質圖的網絡模式與元路徑圖雙視角的對比機制，并最大化2個視角下共有元路徑數較多的樣本之間的互信息完成對比學習.

上述針對異質圖的對比學習方法盡管取得了明顯的性能提升，然而它們均通過元路徑圖建模異質性，其有效性依賴于元路徑的設計，在缺乏關于異質圖數據的專家經驗或面對較復雜的異質圖數據時此類方法的性能優勢較為有限.此外，此類方法均只建模元路徑中較關鍵的某單一節點類型，因此無法完整指導圖神經網絡模型學習異質圖中所有類型的節點表示.

2 定 義

該節闡釋了本文所涉及的基本概念定義，本文所使用的符號表示及其含義如表1所示.

Table 1 Notations and Their Meanings表1 符號表示及其含義

定義1.異質圖.異質圖定義為包含多種節點和邊類型的圖G={V,E,X}，其中V和E分別為該異質圖中所包含的節點集合和邊集合，X∈R|V|×D為節點特征矩陣，D為 初始特征向量維度.此外，通過映射函數?(v):V→A和 ψ(e):E→R可以將節點v∈V和邊e∈E映射為其所屬節點類型集合A和 邊類型集合R，并且節點和邊類型集合滿足|A|+|R|＞2.

本文通過“首節點-邊-尾節點”三元組的類型進行邊類型描述，如對于邊e=(i,j)，其三元組邊類型為r=〈?(i),ψ(i,j),?(j)〉，以三元組邊類型r連接的鄰域節點集表示為.

定義2.動態異質圖.動態異質圖定義為一系列隨時間動態演化的異質圖快照序列G={G(1),G(2),…,G(T)}，其中T為時間窗大小，即動態異質圖所包含的時間快照個數，動態演化包含節點和邊隨時間動態增加與刪除.

對于電子器件工作散熱導致的熱應力,分兩步進行分析。先計算由于器件工作產熱導致的瞬態熱傳導問題。設每個器件功率1 W,產熱熱源均勻分布在IC中心的芯片中。在整體灌裝結構的外邊界上設置對流換熱邊界條件,即熱流密度正比于邊界與周圍環境的溫度差,對流換熱系數取為200 W/(m2·K)。環境溫度與初始溫度均為20 ℃。計算結束條件為各部分溫度都達到穩態,實際模擬中各個單元溫度變化率不超過10-3℃/s時即可認為達到穩態。接下來將計算得到的溫度場導入準靜態分析步進行熱應力計算,得到結構在每一時刻的熱應力分布。

定義3.動態異質圖表示學習.動態異質圖表示學習的目標是學習一個將動態異質圖映射至低維表示的非線性映射函數f:G→H，其中H∈R|V|×d(d?D)為節點的低維表示矩陣，d為表示向量維度，并且該節點表示能夠捕獲動態異質圖G中包含的拓撲結構、語義信息以及時序依賴信息，從而能夠用于完成時序預測式的下游任務.

3 動態異質圖表示方法

為了解決現有方法在建模動態異質圖時面臨的問題，本文提出基于對比學習的全局增強動態異質圖表示方法，方法總體結構如圖2所示.本節首先概述模型的總體流程，然后分別詳述模型的3個主要模塊：擾動圖生成、動態異質圖編碼和生成-對比聯合優化.

3.1 概 述

本文提出的動態異質圖表示方法總體結構采用自動編碼-解碼架構.1）對于輸入的動態異質圖G=，擾動圖生成模塊根據輸入的動態異質圖快照生成其擾動圖.2）對于原始動態異質圖G 及其對應的擾動圖，分別通過L層動態異質圖編碼模塊對二者進行編碼表示，從而得到原始圖和擾動圖的動態異質局部節點表示矩陣H和.3）使用異質圖readout 函數g對原始圖的局部表示H池化得到關于原始動態異質圖G 的全局表示向量hg.然后通過互信息最大化對比學習策略，即訓練概率判別函數D完成局部表示和全局表示hg之間的互信息最大化，完成對動態異質圖表示的全局增強.4）將原始圖的動態節點局部表示矩陣H輸入異質圖解碼器從而生成未來時刻的異質圖拓撲結構并完成預測任務.為了對模型參數進行優化，本文將生成圖重構誤差最小化與對比學習互信息最大化作為目標函數進行自監督聯合優化.

3.2 擾動圖生成

本節將描述采用的對比學習中擾動圖負樣本的生成策略.為了使得從動態異質圖數據中學習到的節點表示不僅能夠捕獲低階的成對拓撲結構，還能包含更多的空域和時域的全局性信息，此處采用了特征擾動的方式得到結構與特征無關的負樣本圖.具體地，對于動態異質圖的每個圖快照G(t)={V(t),E(t),X(t)}，1≤t≤T，對其特征矩陣X(t)進行類內特征擾動：

對每個異質圖快照進行式（1）的類內特征擾動后可以得到擾動動態異質圖為擾動后的特征矩陣.為了將分布在不同特征空間的節點投影至同一隱藏空間便于后續運算，此處對不同類型的節點特征分別進行投影：

其中W?(i)∈Rd×D和b?(i)∈Rd分別為關于節點類型?(i)的可訓練特征轉換投影矩陣和偏置矩陣；σ(·)為非線性激活函數，如ReLU.

3.3 動態異質圖編碼

動態異質圖編碼模塊用于將投影后的節點特征與空域異質拓撲結構和空域時序依賴信息相融合，從而得到包含拓撲結構、語義信息和時序依賴關系的動態異質圖表示.具體地，對于輸入的動態異質圖及其投影后的特征矩陣，本文首先通過空域內的雙層注意力消息傳遞分別得到各快照內的節點表示，然后通過時域注意力機制聚合不同快照間的節點信息.通過動態異質圖編碼，可以有效融合在T個快照的空域一階鄰域特征信息，堆疊多層后即可自適應地捕獲包含高階鄰域的動態性表示.

該模塊用于捕獲動態異質圖快照內部的結構信息和語義信息.由于異質圖快照中節點間通常以異質的三元組邊類型相連，即通過多種類型的邊與多種類型的鄰域節點連接，因此其包含的語義信息存在明顯的差異.此外，盡管通過相同三元組邊類型連接，同一類型的不同節點對于目標節點也存在不同重要性.因此，對于異質圖快照的目標節點，本文以三元組邊類型作為劃分，通過三元組組內和三元組組間雙層注意力機制捕獲結構和語義信息.

組內注意力機制旨在通過注意力機制為相同三元組連接模式的不同節點分配不同的注意力權重，并通過消息傳遞機制將鄰居節點的特征傳遞至目標節點.具體地，對于與目標節點i通過某三元組邊類型r相連的鄰域節點集Nir，通過組內注意力機制對其聚合為：

其中，ar∈R2d為關于三元組r的可學習的轉換矩陣；σ(·)為非線性激活函數LeakyReLU.

得到目標節點i關于所有三元組邊類型鄰域的節點表示后，為了區分來自不同三元組邊類型的節點表示的重要性，此處通過三元組邊類型的組間注意力機制進行聚合：

其中r∈R為異質圖包含的三元組邊類型集合，βi,r為目標節點i關于三元組邊類型r的注意力權重系數，其計算公式為：

其中，cr∈Rd為關于三元組邊類型r的可學習的轉換向量；WR∈Rd×d和bR∈Rd為所有三元組共享的轉移矩陣和偏移向量；R為所有三元組邊類型構成的集合；σ(·)為非線性激活函數tanh.

在每個時間快照上通過三元組內和組間的雙層注意力消息傳遞，可以自適應地捕獲快照內部包含的拓撲結構和語義信息.

3.3.2 時域消息傳遞

該模塊用于捕獲動態異質圖快照間的時序依賴信息.在動態異質圖的快照間，由于動態性會導致拓撲結構的不斷演化.這種快照間的演化關系蘊含著某些時序上的依賴信息，為了區分不同快照之間的不同重要性程度從而更好捕獲這種時序依賴關系，本文采用時序自注意力機制并進行時域上的消息傳遞.

與循環神經網絡依時間推移順序處理時序數據的方式不同，時序注意力機制可以對動態異質圖多個時間快照進行并行處理.為了在并行運算中保持快照之間的時間次序，首先為每個節點在不同快照上得到的表示添加時序位置信息：

其中，WT∈Rd×d和bT∈Rd為快照間共享的轉移矩陣和偏移向量；為添加時序位置編碼后的第t個時序快照得到的節點表示向量；p(t)∈Rd為時序位置編碼向量，其第k位的計算公式為：

在為節點表示添加時序位置信息后，為了區分不同時序快照得到的節點表示的重要性程度，此處使用時間維度注意力機制完成跨快照的消息傳遞與聚合：

其中，WQ∈Rd×d和WK∈Rd×d均為時域共享的查詢向量和鍵值向量轉移矩陣.

3.3.3 自適應時空編碼

通過空域和時域消息傳遞，可以得到目標節點i在T個快照中的一階鄰域信息.為得到多階鄰域的語義信息，可以通過堆疊L層空域及時域消息傳遞過程.為了防止圖神經網絡堆疊過多而產生的過平滑等問題，此處采用門控殘差連接機制得到當前層的輸出表示.具體地，通過一個可訓練的更新閾值δ?(i)自適應地控制關于該層所得候選表示的更新程度：

其中，δ?(i)為關于類型?(i)的更新程度的可學習變量；為目標節點i的通過空域和時域消息傳遞得到的候選表示；W?(i)∈Rd×d為關于上一層輸入的節點表示的轉移矩陣.在進行下一層空域-時域消息傳遞時，目標節點i將當前層得到的輸出特征作為輸入特征，從而自適應地捕獲空域-時域語義信息.

最終，經過L層空域-時域消息傳遞后通過對所有歷史快照編碼進行求和：

其中，hi∈Rd為目標節點i關于輸入動態異質圖G=的動態嵌入表示，由所有節點得到的表示矩陣記為H.對于擾動圖，本文使用共享的動態異質圖編碼器進行同樣的建模過程，其對應的得到的節點表示矩陣記為.

3.4 生成-對比聯合優化

本節將對動態異質圖編碼模塊的生成-對比聯合優化策略進行描述.為了自監督地訓練動態異質圖編碼模塊，使得其得到的所有類型的節點表示具有動態預測能力，本文通過一個異質圖編碼器將節點表示向量生成為未來時刻的異質拓撲結構.具體地，對于節點對(i,j)，通過其節點對表示計算邊概率為：

其中，MLP(·)為根據節點對表示向量計算對應邊是否存在多層感知機模型函數；‖代表拼接運算；σ(·)為計算邊存在概率的非線性激活函數sigmoid.進而，通過動態異質圖編碼器得到的表示矩陣預測未來時刻拓撲結構的目標函數為：

其中，Q表示負采樣中負樣本數相比于正樣本數的倍數，Pn為負采樣分布.

此外，由于動態異質圖編碼得到的節點表示僅通過未來時刻的拓撲結構進行自監督訓練，這樣會導致節點表示易于過多關注低階的成對關系.因此，為了引入全局的高階信息來增強節點的動態異質表示向量，本文通過對比學習的方式進行局部和全局表示的互信息最大化.

首先，為了得到關于動態異質圖的空域和時域的全局表示，本文通過readout函數由動態異質編碼部分得到的節點表示hi得到全局表示hg：

其中，V(T)代表第T個時間快照下的節點所構成的集合，hi表示學習得到的節點i的向量表示.

為了實現動態異質圖局部表示和全局表示互信息最大化，本文引入了一個判別器D(·,·)，通過判別局部表示和全局表示是否來自于同一動態異構圖作為代理任務完成互信息的最大化.具體地，對于原始動態異質圖和擾動圖得到的表示向量與全局表示向量的判別目標函數為：

最終，通過聯合生成損失和對比損失得到整體目標函數為：

其中，λ為超參數，其用來平衡生成損失和對比損失，關于其取值選擇見本文4.4節實驗分析部分.

3.5 復雜度分析

本文提出模型的時間效率較高，其時間開銷主要由空域、時域消息傳遞及損失函數計算產生，其中不同時間快照下的空域消息傳遞過程可以通過并行計算進行優化.具體地，各部分中特征投影部分的復雜度為O(|V|Dd)，組內注意力機制部分復雜度為O(|E|d)，組間注意力機制部分復雜度為O(|R|d)，時域注意力機制部分復雜度為O(|V|Td)，重構損失復雜度為O(|E|d)，對比損失復雜度為O(|V|d).總體而言，模型時間復雜度為O(|V|Dd+|V|Td+|E|d)，與圖數據中節點數目和邊數目呈線性關系，時間效率較高.

4 實 驗

4.1 數據集

為了驗證所提模型的有效性，本文采用了3個真實世界數據集進行實驗，關于數據集快照數、平均節點數等統計信息如表2所示.

Table 2 Statistics on Three Real-world Datasets表2 3個真實世界數據集的統計信息

下面分別介紹本文實驗中使用的3個數據集：

1）Yelp是一個商家評價平臺，本文將用戶、商家和評級建模為3種類型的節點并按照評價時間構造了9個動態異質圖快照.

2）DBLP是一個記錄計算機科學期刊、會議論文等內容的引文平臺，本文將作者、論文和會議3類節點及其關系構造異質圖并按照時間劃分為了12個異質圖快照.

3）AMiner是一個學術搜索引擎，與DBLP類似，將作者、論文和會議3類節點按照論文發表時間劃分為了12個異質圖快照.

本文使用了8個基線模型來進行對比.其中包含4個同構圖神經網絡模型VGAE，GAT，DGI和EvolveGCN，以及4個異質圖神經網絡模型metapath2vec，R-GCN，HGT和HTGNN.為了得到多類型節點的輸入特征，本文通過異質圖嵌入方法metapath2vec學習異質網絡嵌入表示并作為初始化特征.對于基線模型中的靜態模型，本文將用于訓練的動態異質圖的多個快照合并至同一圖結構中，以此取消其動態特性.對于同質圖模型，實驗中忽視了動態異構圖中的節點及邊類型，使其成為僅包含單一節點和邊類型的同質圖數據，以此取消其異質性.

4.2 實現細節及參數設置

對于動態鏈路預測及動態新鏈路預測任務，本文使用了同樣的實驗設置完成實驗.為適應基線模型對于輸入數據的要求，對于同質圖神經網絡基線模型，如VGAE，GAT，DGI等，實驗中直接去除了圖數據中的節點類型及邊類型信息；對于靜態模型，如GAT，metapath2vec，R-GCN等，實驗中模擬靜態圖的建模方式，將所有時刻的邊數據合并成為一張圖完成訓練.對于metapath2vec模型，單點隨機游走次數設為40，隨機游走步長度設為60，對于學術網絡數據集DBLP和AMiner采用{APVPA, PVAVP, VAPAV}作為元路徑，對于Yelp數據集采用{BSUSB, SUBUS,UBSBU}作為元路徑.為了公平地對比模型性能，本文提出模型和基線模型的表示向量維度均設置為32.其余參數在實驗中均遵循了各方法所報告的最佳配置.

本文模型的動態異質圖編碼層數L在3個數據集中均設置為2.對于模型注意力機制，本文在3個數據集中設置隨機丟棄率Dropout為0.2，注意力頭數均設置為4.在式（14）中，目標函數中的負采樣倍數Q設置為5.為了優化目標函數，本文使用Adam優化器進行模型參數的優化，初始學習率和權重衰減系數分別設置為5E-3和5E-4.為了防止模型訓練過擬合，本文設置初始訓練輪數為1 000，并根據訓練集損失值的變化情況采用訓練早停策略防止模型退化及過擬合.

本文實驗環境的操作系統為Ubuntu 20.04.3 LTS，服務器處理器為Intel?Xeon?Silver 4210R CPU @2.40 GHz，本文實驗使用NVIDIA GeForce RTX 3 090 GPUs顯卡進行訓練，其CUDA版本為11.6.本文采用深度學習框架PyTorch 1.12.0和深度圖框架 Deep Graph Library (DGL) 0.8.2實現模型并完成實驗.

4.3 動態鏈路預測

在動態鏈路預測實驗中，本文首先通過提出的模型對動態異質圖得到的編碼表示來預測時刻T+1的異質圖拓撲結構，從而評估模型對異質性和動態性信息的建模能力.在實驗中，我們將每個數據集的后3個時間快照作為測試集并報告其平均結果，其余快照作為訓練集優化模型參數.

此外，為了進一步探究模型的動態預測能力，本文還評估了模型對于新增鏈路的預測性能，其中新增鏈路指存在于時刻T+1且不存在于輸入圖數據中的邊集合.本文重復進行了5次動態鏈路預測和新鏈路預測實驗，本文模型和基線模型得到的AUC和AP指標的均值和標準差結果如表3和表4所示.通過實驗分析，可以得到4點結果：

Table 3 AUC and AP Scores of the Dynamic Link Prediction Task表3 動態鏈路預測任務的AUC和AP分數%

Table 4 AUC and AP Scores of the Dynamic New Link Prediction Task表4 動態新鏈路預測任務的AUC和AP分數%

1）VGAE，GAT和DGI等面向同構圖的方法由于無法對數據中的異質性建模，無法更好地捕獲異質圖中的結構和語義信息，因此其結果普遍劣于異質圖方法.由于引入了鄰域注意力機制，GAT在2種鏈路預測任務的大部分數據集中均有明顯的性能提升.

2）R-GCN和HGT等異質圖方法通過建模異質性信息，性能優于大部分同構圖模型.通過引入元路徑信息，metapath2vec方法較于VGAE等同構圖方法在Yelp數據集性能有所提升，然而在DBLP和AMiner數據集中性能不佳，這表示異質信息對于建模異質圖十分重要，并且不同數據集中元路徑對性能影響較大，需要根據圖數據進行良好設計.

3）由于對圖數據中的動態性進行建模，Evolve-GCN在新鏈路預測中相比較于未考慮動態性的DGI和VGAE模型有部分性能提升.由于同時考慮了動態性和異質性，HTGNN在大部分實驗中的結果優于其余基線模型.

4）本文提出的方法通過動態異質圖編碼模塊良好捕獲了動態異質圖數據中的動態結構和語義信息，相比于GAT等同構圖模型有明顯的性能提升.此外，不同于HTGNN僅關注成對的節點關系，本文模型通過動態局部和全局的互信息最大化，在節點表示中引入了動態全局性信息，在3個數據集中均有明顯的性能提升.

4.4 參數敏感性分析

本節對于模型的主要參數進行敏感性分析，其中包括動態異質圖神經網絡層數L、表示向量的向量維度d、損失函數平衡系數λ以及時間窗大小T.參數敏感性實驗結果如圖3～5所示.通過實驗分析可以得到4點結果：

Fig.3 Parameters sensitivity analysis on DBLP dataset圖3 DBLP數據集參數敏感性分析

1） 圖神經網絡層數L.通過堆疊多層空域和時域消息傳遞圖神經網絡可以捕獲多階鄰域的信息，本文對模型在堆疊1～5層圖神經網絡時的性能進行實驗.結果表明，堆疊多層時3個數據集均在一定程度上提升了模型性能.然而，堆積的層數過多對模型性能提升不明顯（如圖3所示），甚至性能有所下降（如圖4和圖5所示），本文認為這是由于過平滑現象所導致的性能下降.為觀察式（11）中門控殘差機制對模型性能的影響，本文進行了單獨的消融實驗，如圖6所示，在L= 2時，門控殘差機制在3個數據集上的實驗結果均優于消融后的結果，并且門控殘差機制還使得結果方差減小，提升了模型穩定性.

Fig.4 Parameters sensitivity analysis on Yelp dataset圖4 Yelp數據集參數敏感性分析

Fig.5 Parameters sensitivity analysis on AMiner dataset圖5 AMiner數據集參數敏感性分析

Fig.6 Ablation study on gated residual connection圖6 門控殘差連接消融實驗

2） 表示向量維度d.表示向量維度的大小影響了模型的復雜度以及表示向量的信息量，為探索本文模型在不同表示向量維度下的性能，本文實驗測試了模型在d= 4, 8, 16, 32, 64的性能.如圖3～5所示，隨著表示維度的增大，模型性能大體呈現上升趨勢，這是由于模型可學習參數規模增大而導致的性能上升.然而當維度過高時，模型性能出現一定程度的降低，這或許是由于模型過擬合導致表示向量中包含了更多噪聲.總體而言，本文模型在不同數據集下性能均保持平穩表明可以使用較少的參數捕獲豐富的全局增強的動態性和異質性信息.

3） 平衡系數λ.平衡系數用于表示網絡重構目標及對比學習目標占模型總體目標的權重，由實驗結果可知，對于不同的數據集，最佳的平衡系數λ的取值不盡相同，在Yelp數據集中當λ=0.7時效果最佳，而在DBLP和AMiner數據集中λ = 0.6，0.9時較為穩定.

4） 時間窗大小T.較大的時間窗可以引入較多的輸入信息，本文為探究模型在不同輸入信息量下的模型性能，實驗測試了模型在不同時間窗大小下的預測表現.由結果可知，由于引入了更多的異質性及動態性信息，模型性能大體上隨著時間窗的增大，均呈現一定的上升趨勢.然而，如在Yelp數據集中的結果所示，過大的時間窗導致了一定的性能下降，我們認為這是由于歷史信息中包含噪聲所致.大體上，本文模型可以通過較少的時間窗數量取得較穩定的結果，這體現了對動態性和異質性的有效建模能力.

4.5 消融實驗

本節驗證模型主要模塊的有效性，對模型中的生成重構損失函數和對比損失函數分別進行消融，其中生成重構損失消融后的結果表示為“w/o Gen”，對比損失函數消融后的結果表示為“w/o Con”，完整模型的結果表示為“本文模型”，結果如圖7所示.

Fig.7 Ablation study on Yelp dataset圖7 Yelp數據集消融實驗

通過實驗結果可以看出，生成重構損失通過異質拓撲結構監督各個類型節點的表示向量，對比損失增強節點的局部表示使其包含全局性信息，去除生成損失函數LG或是對比損失函數LC均會導致性能的下降，符合前文有關生成式和對比式自監督聯合學習可以有效增強節點表示的假設.

5 結 論

本文提出了一個基于對比學習的全局增強動態異質圖神經網絡模型.該模型由擾動圖生成、動態異質圖編碼和生成-對比聯合優化3個模塊組成，在生成擾動圖后通過編碼器對原始圖和擾動圖分別進行動態異質注意力消息傳遞，并結合未來時刻的低階拓撲結構信息和動態異質全局表示的高階信息進行圖表示學習.為了驗證模型的有效性，本文在3個真實世界數據集上進行2類動態鏈路預測實驗，實驗結果表明本文模型對動態性預測任務具有明顯性能優勢.

作者貢獻聲明：焦鵬飛提出了模型與思路，以及負責論文修改；劉歡提出了算法和實驗方案，以及參與論文撰寫；呂樂參與了實驗結果分析；高夢州撰寫論文部分內容；張紀林指導實驗并修改論文；劉棟提出指導意見并修改論文.