基于自適應差異化圖卷積的圖注意力網絡表示學習算法

摘" 要： 為解決傳統圖卷積網絡在處理節點間復雜關系時存在的局限性，提出一種基于自適應差異化圖卷積的圖注意力網絡表示學習算法。采用差異化圖卷積網絡，依據每個節點自身特征和鄰居信息進行差異化采樣，捕捉節點間的復雜關系；再結合二階段關鍵相鄰采樣方式優先挖掘重要節點并保留隨機性，完成關鍵鄰居節點的采樣；然后結合圖注意力網絡，通過局部關注和自適應學習權重分配將關鍵鄰居節點特征聚合到自身節點上，增強節點的特征表示；最后經網絡訓練，進一步增強網絡表示學習能力。實驗結果表明，所提出的算法優化了節點聚合程度和邊界清晰度，提高了節點分類的準確性和可視化效果，并且通過關注二階鄰居和使用雙頭注意力，在網絡表示學習上也展現出了優越性能。

關鍵詞： 網絡表示學習； 圖卷積網絡； 自適應差異化機制； 節點采樣； 特征聚合； 網絡訓練； 圖注意力網絡

中圖分類號： TN912?34； TP391" " " " " " " " " "文獻標識碼： A" " " " " " " " " " " 文章編號： 1004?373X（2025）02?0051?04

Graph attention network representation learning algorithm based on adaptive differentiation graph convolution

WU Yulan1， SHU Jianwen2

（1. School of Science and Technology， Nanchang Hangkong University， Jiujiang 332020， China; 2. Nanchang Hangkong University， Nanchang 330063， China）

Abstract： In order to solve the limitation of traditional graph convolution network in dealing with complex relationships between nodes， a graph attention network representation learning algorithm based on adaptive differentiation graph convolution network is proposed. The differentiation graph convolution network is used to conduct differential sampling according to each node's own characteristics and neighbor information， so as to capture the complex relationships between nodes. The two?stage key neighbor sampling method is used to mine important nodes first and retain randomness to complete the sampling of key neighbor nodes. In combination with graph attention network， the key neighbor node features are aggregated to their own nodes by means of local attention and adaptive learning weight distribution， so as to enhance the node feature representation. After training the network， the learning ability of network representation is enhanced further. The experimental results show that the proposed algorithm can optimize the degree of node aggregation and boundary clarity， and improve the accuracy and visualization of node classification. The algorithm also shows superior performance in network representation learning by paying attention to second?order neighbors and using double attention.

Keywords： network representation learning; graph convolution network; adaptive differentiation mechanism; node sampling; feature aggregation; network training; graph attention network

網絡表示學習可以確保學習節點獲取其低維向量描述[1]，確保相似節點在向量空間內的距離最小化。通過學習節點表示[2]可以更好地理解圖的內在結構和模式，從而為相關任務提供有力的支持。圖數據在各個領域的應用越來越廣泛，如社交網絡、推薦系統、生物信息學等，這些領域中的圖數據通常具有復雜的結構和豐富的信息，如何有效地表示和處理這些圖數據成為一個亟待解決的問題。

網絡表示學習作為一種新型的圖數據學習方法，越來越受到研究者的關注，如文獻[3]提出一種網絡表示學習算法，該方法基于結構平衡理論和高階互信息，通過網絡中的正負關系生成負圖，獲取隱含的高階互信息，并利用節點局部嵌入、網絡全局結構和節點特征之間的高階互信息，得到網絡特性的節點表示；但是該方法需要進行反轉操作和挖掘高階互信息，時間復雜度很高。文獻[4]提出一種雙視角的網絡表示學習算法，該方法分別在邊與節點下完成不同的采樣結果，再對其采樣結果進行融合并訓練，實現節點和邊的表示學習；但是該方法無法完全捕捉到網絡中的復雜結構和模式，需要進行進一步的改進和優化。文獻[5]提出一種基于社區折疊策略的網絡表示學習算法，利用社區折疊策略，將目標網絡的每個社區視為一個折疊單元，使用網絡表示學習算法分別學習折疊網絡和目標網絡上節點的向量表示，最后將這些向量表示拼接起來，形成最終的節點表示；然而，該方法對節點向量較為敏感，存在一定的弊端。文獻[1]提出一種融合社區結構信息的網絡表示學習算法，通過借鑒模塊度思想，融合鄰近性信息和節點的屬性信息，完成網絡表示學習；但是，該方法面臨著數據稀疏性的挑戰。傳統的圖數據處理方法往往只關注節點的標簽或屬性，忽略了節點間的復雜關系和差異性。然而，在許多實際應用中，節點間的關系對于理解圖的模式和規律至關重要。自適應差異化機制能夠根據節點的特征和鄰居信息動態調整節點的表示，通過自適應差異化機制能夠更好地捕捉節點間的復雜關系和差異性。本文將自適應差異化圖卷積的圖注意力應用于網絡表示學習算法，能夠提高節點表示的準確性和穩定性，更全面地理解圖的模式和規律，為圖數據的學習和處理提供新的思路和方法。

1" 圖注意力網絡表示學習算法

1.1" 基于自適應差異化圖卷積的鄰居節點采樣

在差異化圖卷積網絡[6]中，每個節點根據其自身的特征和鄰居節點的信息進行差異化采樣，不同節點具有不同的鄰居采樣策略，能夠更好地捕捉各節點間的復雜關系和差異性。為了優化此過程，并充分考慮到鄰居之間的差異，將結合優先采樣與隨機采樣形成一種二階段關鍵相鄰采樣方式，融合圖的結構特征，使節點能夠更全面地表示其狀態和屬性，提高節點表示的準確性和穩定性。二階段關鍵相鄰采樣方式中的優先采樣階段是對節點的鄰居差異性進行挖掘，優先對具有高重要性的節點進行采樣，同時為了防止采樣方式存在較大的偏差，需結合隨機采樣階段使采樣過程保留隨機性。

將節點[u]的全部相鄰節點按照重要程度進行排序并采樣，相鄰節點的重要程度則是根據節點特征向量間的余弦相似度衡量，公式表達如下：

[Pcos（i，j）=xi?xjxi?xj]" " " " （1）

式中：[xi]和[xj]表示節點[i]和節點[j]的特征向量；[·]表示向量的模。由于節點的單向鄰居優先級低于雙向鄰居，需分別求出節點[ui]與[Nuniu]和[Nbiu]的相似性，進行排序并合并后得到相似性序列，公式表達為：

[Pcos（u）=" " " "Pcos（u，v1），…，Pcos（u，vm），Pcos（u，vm+1），…，Pcos（u，vn）]" " （2）

式中：[Pcos（u，v1）]到[Pcos（u，vm）]和[Pcos（u，vm+1）]到[Pcos（u，vn）]為降序排列。將節點按照優先級順序加入優先采樣序列[SampleList（u）]，如果鄰居節點的數量少于采樣數量，需一直重復該過程，直到采樣數量符合要求為止；再通過隨機采樣方法按照一定的概率對鄰居節點進行采樣，形成采樣序列[SampleList（r）]。最后合并優先采樣序列和隨機采樣序列，完成鄰居節點的采樣，公式為：

[S（ur）=SampleListpri（u）?SampleListrand（r）]" "（3）

1.2" 基于圖注意力網絡的差異化特征聚合

基于1.1節獲取了鄰居節點的信息后，將其特征聚合到自身節點上，使節點能夠更全面地表示特征屬性。然而針對一階鄰居采樣存在一定的局限性，為了進一步提高節點表示的準確性和穩定性，將通過節點的一階鄰居和二階鄰居共同完成其特征聚合。獲取節點一階鄰居[N1（u）]后，再利用該鄰居節點通過1.1節的鄰居節點采樣方法獲取二階鄰居節點[N2（u）]，則有：

[N1（u）=Pcos（i，j）·Pcos（u）·Sur]" " （4）

[N2（u）=SampleList（vi），" vi∈N1（u）]" " " "（5）

在傳統的圖卷積神經網絡[7]中，從二階鄰居到一階鄰居，最終到中心節點，完成特征聚合，這種層次化聚合方式會導致信息損失。因此，為了避免信息損失，將[N1（u）]和[N2（u）]合并，提升二階鄰居節點信息的利用率，更有效地利用和傳遞外層節點的特征信息。節點[u]的鄰居序列[N（u）]可表示為：

[N（u）=N1（u）?N2（u）] （6）

圖注意力網絡（Graph Attention Network， GAT）是在圖卷積網絡中引入注意力機制[8]，為了調整節點特征，需要通過GAT聚合節點及關鍵鄰居節點的特征。通過關注局部鄰居節點，避免全局計算，從而提高算法的泛化能力；同時，通過注意力機制設置鄰居節點的學習權重，該權重可體現鄰居節點的重要度，從而能夠更好地理解和表示圖的內在結構和模式。

依據注意力權重，GAT會放大和縮小重要性高以及低的鄰居節點特征，通過自適應地調整特征聚合方式，獲取更新后的節點特征表示[H]，計算公式為：

[H=σ·Nu]" （7）

式中[σ]表示權重系數。通過雙頭圖注意力機制和均值描述節點特征，獲取網絡節點的特征矩陣，計算公式為：

[Xu=GAT·Fu·Au·H]" （8）

式中：[Fu]表示[u]特征矩陣；[Au]為[u]相鄰節點矩陣；[GAT]表示均值組合方式的雙頭圖注意力網絡。

GAT為了提取更豐富、更具代表性的特征表示[9]，將特征向量[h=h1，h2，…，hN，hu∈RF]進行線性變換后轉換為高級特征，學習節點特征之間的關聯，從而更好地理解圖的內在結構和模式，再采用注意力機制確定節點間的信息交互。根據節點間的關系自適應地調整注意力權重，從而更準確地捕獲重要信息。為了增強其非線性表達能力，注意力機制引入了非線性激活函數，學習復雜的特征表示，從而更好地處理圖數據中的非線性關系。通過歸一化處理，GAT進一步調整注意力權重，確保它們在合理的范圍內，提高網絡的穩定性和可解釋性，使得注意力權重更具代表性，實現了對圖數據的深入理解和有效特征提取。[αuj]公式為：

[αuj=aT·W·Nuαuj] （9）

式中：[aT∈R2F']表示權值向量；[W]表示節點均可使用矩陣；[Nu]表示鄰居節點集；[αuj]表示歸一化的節點[u]和其相鄰節點[j]的權重。

1.3" 網絡訓練

為了訓練網絡，將通過有監督的網絡表示學習方法構建節點分類能力的目標函數。在1.2節實現節點特征的聚合后，獲取了節點特征矩陣[Xu]，將[Xu]輸入到1.1節的圖卷積網絡中，完成不同類別節點的分類，公式表達為：

[Xnode=ω（D·A·Xnode·Wc）]" " " " "（10）

式中：[ω]表示激活函數（非線性）；[A]表示鄰居節點特征矩陣；[D]表示[A]的對角矩陣；[Wc]表示可以學習的參數矩陣；[Xnode]表示節點類別數量。以全部節點的交叉熵損失最小為目標進行訓練，實現節點分類的準確性，從而提升網絡表示學習能力，訓練公式表達為：

[k=Xnode·Ylc·Xnodelc·αuj]" " " " " （11）

式中：[Ylc]表示第[l]個節點類型的真實性以及節點類型集；[Xnodelc]表示第[l]個節點的圖卷積層輸出的第c個類別。

2" 實驗分析

為了驗證本文方法的有效性，進行實驗分析。實驗數據集是兩個引文網絡Cora和ACM、一個社交網絡BlogCatalog，詳細情況如表1所示。數據集中的文檔用節點表示，文檔之間的聯系用邊表示。每個數據集中選取600個節點用于測試，在其中選取300個節點用于驗證，不同類別中含有20個節點。通過Adam優化器對本文算法的圖卷積神經網絡進行優化，以實現節點交叉熵損失最小。設置訓練次數不高于1 000次，數據集Cora、ACM和BlogCatalog的學習率分別為0.003、0.005和0.007，設置權重分別為0.002、0.01和0.002，迭代次數為5次，當測試的數據集節點交叉熵損失在連續80個節點上均不降低時，完成訓練，并對3個數據集進行10次測試后取平均值。

節點可視化是圖數據領域的一個重要任務，目的是將圖中的節點在低維空間中進行表示，以便更好地理解節點的屬性和關系。分別在數據集Cora、ACM和BlogCatalog的各類別上隨機抽取3個節點進行可視化展示。同時，為了確保展示結果的準確性，采取多次實驗并取平均準確率的方法進行測試，驗證結果見圖1。

圖1中每一個圖形都表示一個節點，橫、縱坐標軸均表示節點在空間中的兩個維度值，節點的形狀表示節點的類別，通過各節點的形狀可以直觀地分辨出不同類別的節點。由圖可知：針對3個數據集，本文算法確保了可視化空間中各類節點能夠達到最佳的聚合程度；同時，不同類別之間的邊界清晰度也得到了優化，使得不同類別的節點能夠明確區分開來，提高節點分類的準確性和可視化效果的可讀性，能夠更好地理解數據集的結構和模式。分析本文算法中圖卷積網絡的k取值不同時，本文算法對3種數據集的分類準確率情況，結果見表2。

從表2中3個數據集上得出的結果可以清晰地看出，當[k]值從1增加到2時，網絡在節點分類任務上的準確率有所提升。然而，隨著[k]值繼續增加，節點分類的準確率開始逐漸下降。這主要是因為當[k]值過大時，網絡會受到大量不相關鄰居的影響，導致無法有效地學習到每個節點的合適表示。本文算法特別關注二階鄰居，可實現網絡節點的有效分類。

為了進一步驗證本文算法的網絡表示學習性能，通過設置不同注意力頭的數量，分別在數據集Cora、ACM和BlogCatalog上進行實驗，注意力頭的數量需要與每個注意力頭輸出的特征表示維度相乘，以保持維度相同。不同數量注意力頭時分類準確率如表3所示。

由表3可知，在數據集Cora、ACM和BlogCatalog上，均使用雙頭注意力時的節點分類準確率較高，與只使用單個注意力頭和多個注意力頭相比，雙頭注意力機制確實能夠提升網絡的分類準確率。說明通過本文算法能夠更好地捕捉節點之間的復雜模式和關系，從而提取更豐富、更有針對性的特征表示。

3" 結" 論

本文結合自適應差異化圖卷積和圖注意力網絡，有效地解決了傳統圖卷積網絡在處理節點間復雜關系時的局限性。通過差異化采樣和關鍵相鄰節點挖掘，增強了節點特征表示，提高了節點分類的準確性和可視化效果。本文方法關注二階鄰居和使用雙頭注意力，進一步驗證了該方法的優越性能，為解決復雜圖數據問題提供了更多且有效的工具。

注：本文通訊作者為舒建文。

參考文獻

[1] 劉彥北，劉金新，耿磊，等.一種融合社區結構信息的網絡表示學習算法[J].天津工業大學學報，2022，41（2）：53?59.

[2] 王巖，任浩，王喆.動態連續時間網絡表示學習[J].計算機工程與應用，2022，58（12）：163?169.

[3] 郁湧，錢天宇，高悅，等.基于結構平衡理論和高階互信息的符號網絡表示學習算法[J].電子科技大學學報，2023，52（5）：780?788.

[4] 倪琦瑄，張霞，卜湛.基于雙視角的耦合網絡表示學習算法[J].計算機系統應用，2021，30（9）：247?255.

[5] CHEN D， NIE M， YAN J， et al. Network representation learning algorithm based on community folding [J]. Journal of internet technology， 2022， 23（2）： 415?423.

[6] 劉鵬飛，李偉彤.基于時空自適應圖卷積網絡的跌倒檢測算法[J].電子測量技術，2023，46（3）：150?156.

[7] 劉寬，奚小冰，周明東.基于自適應多尺度圖卷積網絡的骨架動作識別[J].計算機工程，2023，49（10）：264?271.

[8] 李績鵬，陳穎，王東振.融合雙注意力與深度神經網絡的遙感圖像配準[J].計算機仿真，2022，39（7）：42?47.

[9] 康世澤，吉立新，張建朋.一種基于圖注意力網絡的異質信息網絡表示學習框架[J].電子與信息學報，2021，43（4）：915?922.

[10] 凌雨婷.面向多任務的網絡表示學習方法研究與應用[D].濟南：山東師范大學，2023.

[11] 吳正昊，曾國蓀.基于自適應差異化圖卷積的社交網絡新增惡意用戶檢測[J].計算機應用研究，2023，40（9）：2820?2825.

[12] 劉冬帥.基于多關系圖注意力網絡的知識表示學習[D].大連：大連海事大學，2023.

[13] 劉錦濤，謝穎華.基于圖注意力網絡表示學習的協同過濾推薦算法[J].計算機系統應用，2022，31（4）：273?280.