基于注意力機制的圖學習方法研究

摘要：深度學習已經在許多領域取得成功，人們在這一領域投入了大量的研究工作，極大地推動了圖學習方法的發展。根據現有圖神經網絡模型的特點，首先描述了一種通用的圖學習框架，以系統的方式對其進行全面概述，包括消息傳遞、特征聚合以及節點更新三個部分。然后，以該框架為基礎引入圖注意力機制，并改進消息傳遞方法，解決注意力機制對空間結構學習的不足。最后，我們簡要概述了該框架的應用，以期為圖學習方法的研究提供指引。

關鍵詞：圖學習；深度學習；注意力機制；消息傳遞

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2024）22-0035-03

開放科學（資源服務）標識碼（OSID）

0 引言

現實世界場景中存在著各種各樣的圖數據，例如社交網絡、引文數據和知識圖表等。利用機器學習方法分析這些數據可以為如何利用隱藏在圖中的信息提供見解。因此，有效的圖學習方法可以更深入地了解數據背后的內容，從而有利于許多有用的應用，如文本分類[1]、特品推薦[2]、交通流預測[3]等。然而，圖數據從非歐空間中生成，將數據表示為對象之間具有復雜關系和相互依賴性的拓撲結構，使圖學習方法的計算和空間成本都很高，對現有的機器學習算法提出了重大挑戰。雖然深度學習在自然語言翻譯、生成和解碼復雜音頻信號以及從真實世界的圖像和視頻中推斷信息方面取得了顯著成功，但處理圖上信息表達的方法仍處于起步階段，部分深度卷積神經網絡已被證明能有效處理圖片、文本數據，卷積核的規則矩型結構卻使其在處理非歐結構的圖數據時受到限制，只能通過人為設計來修補已有缺陷。最近，注意力機制在深度學習領域受到關注，部分模型在圖中引入該機制可以不受結構變化的影響，為圖學習方法指明了一個方向，但該方法忽視了結構變化，學習不到完整的圖信息。

針對以上非歐結構的圖數據的特點，我們的目標是探索一個有效的圖學習方法，能適應圖的不同連接方式和依賴關系，并從圖中學習到節點特征和結構信息。為此，本文描述了一種在圖上進行監督學習的通用框架，總結了現有圖神經網絡模型之間的共性，并根據該框架的局限性提出了新的改進，指導我們對圖學習方法的研究。

1 相關研究

在深度學習領域中，當面對圖這種非歐幾何結構的應用時，由于傳統的卷積核無法適用于鄰居節點變化的特點，可以通過將圖的結構轉換為矩陣形式，使其可以適應卷積神經網絡的訓練，但轉換后的數據會一定程度損失部分信息，直到為圖而專門設計的圖神經網絡的出現[4]。圖神經網絡可以分別從頻域和空間域兩個角度建模圖數據，使該模型可以直接處理非歐結構的數據而不丟失數據間包含的相關性依賴。頻域上的建模利用了圖譜理論[5]，在頻域對圖進行操作時，將空間上vcnxZ82TdGdb1rFIVymcbLaYBpOKbsKw7z2hM1UFtBI=的節點特征進行傅里葉變換，并在頻域中設計了圖上的卷積公式，該卷積運算消除了對數據格式的限制，且不需要對矩陣進行特征分解，使計算速度得到提升。空間域上的建模主要通過引入鄰接矩陣來考慮圖上的一階局部近似[6]，只考慮一階節點降低了網絡參數數量，采用堆疊的多個層來獲得類似卷積神經網絡中從局部到全局的效果，這一改變使得圖神經網絡開始得到研究人員的重視。劉欣瑜等人[7]在自然語言處理任務中，基于圖神經網絡和外部知識建立了自然語言推理模型，補充了語義圖空間特征，進一步提高模型推理能力。由于圖神經網絡可以融合圖結構和圖特征進行學習，陳佳樂等人[8]分析了基于圖神經網絡的異常檢測方法，提升了對非歐式空間數據進行異常檢測的效果。

圖卷積神經網絡受到大量關注的同時，注意力機制作為自然語言處理任務中的核心技術之一也開始得到廣泛運用[9]，采用注意力機制的模型借鑒了人類視覺注意力原理，獲得需要重點關注的目標區域，也就是一般所說的注意力焦點，對焦點區域投入更多注意力可以獲取更多目標的細節信息。深度學習中注意力機制允許模型專注于與任務最相關的部分，以此輔助做出決策。張小婉等人[10]考慮知識圖譜推薦中不同實體對于用戶的重要性不同，結合圖神經網絡與注意力機制提出了一種知識圖譜推薦系統，該系統利用注意力機制區分了鄰居節點的重要性。然而，大多數涉及注意力機制的模型，無法對不同的節點位置進行區分，也無法捕捉節點的結構信息[11]，自然語言翻譯中，會在注意力系數計算時加入位置編碼來表示單詞的順序，而圖中節點的順序沒有統一的表示，導致其注意力機制的計算范圍只限于一階鄰域。

因此本文研究注意力機制與圖學習方法的結合，從而有效利用圖神經網絡與注意力機制的各自優勢。圖神經網絡的出現主要是用來解決傳統卷積核不能處理非歐結構數據的缺陷，捕獲實體以及它們之間的關系，從而學習空間特征。注意力機制允許模型為圖中的節點分配權重，以突出顯示任務相關信息最多的節點。

2 圖學習基本框架

多種與圖相關的神經網絡可以歸納為一種消息傳遞神經網絡（Message Passing Neural Network，MPNN） 框架。在節點分類任務上，該框架的架構如圖1所示。

該框架描述了在圖上對節點類別進行預測的過程，包括了消息傳遞、特征聚合、節點更新三個階段。需要預測的節點A，首先找到鄰居節點B、C、D、E，將它們的特征信息傳遞到一起進行聚合，最后與A的特征信息一起生成更新后的目標節點。其中，圖可以表示為G = （V， E），[V]是圖中的節點集，[E]表示邊的集合，矩陣[X∈RN×d]表示節點的特征矩陣。分類任務可表示為，在給定圖的輸入特征矩陣X時，通過MPNN將輸入轉換為輸出的過程。

2.1 消息傳遞

MPNN可以看作一種通用的框架，描述了當前大部分圖神經網絡的基本結構。圖神經網絡能夠學習圖中節點的特征，一般認為，相互連接的節點具有相似的特征。模型利用某種方式尋找某中心節點鄰域內相互連接的鄰居節點，并將它們視為相似節點，通過相似節點上具有的特征或屬性來表達中心節點特征，這種尋找鄰域內相似節點的過程稱為消息的傳遞。

節點[vi]的鄰居表示為[Ni]，其集合定義為通過邊與[vi]相連的節點[vj]的集合，記為[Ni={vj：eij∈E}]。圖2展示了節點A的鄰居在進行消息傳遞的具體過程，消息傳遞獲取到中心節點的鄰居節點特征，經過函數[f]進行特征轉換并將轉換后的特征傳遞給中心節點，[f]一般是神經網絡或者某個線性變換。該過程會重復地應用于圖中所有節點，以達到整個圖上節點的消息傳遞過程。

2.2 特征聚合

在圖節點分類任務中，MPNN框架遵循上述消息傳遞原則來獲取鄰居節點特征，然后通過聚合函數生成新的特征表示，聚合函數在選擇上要求具有排列不變性，即鄰居節點的排列方式對結果沒有影響，可以取鄰居節點的平均值聚合，如公式（1） 所示：

[mi=σ（W×MEAN（Xj），j∈Ni）] （1）

式中：[σ]為激活函數，W為參數矩陣，MEAN為平均聚合函數。也可以取MAX最大池化聚合，如公式（2） 所示：

[mi=MAX（σ（W×Xj+b），j∈Ni）] （2）

或者直接用神經網絡聚合，如LSTM。與其他聚合方式相比，LSTM具有更大的特征表達能力，但不是排列不變的。LSTM會以順序的方式處理輸入信息，因此需要簡單地將鄰居節點隨機排列后再進行輸入，以使得LSTM適應于對無序數據集的操作。

2.3 節點更新

MPNN框架的最后一步利用聚合函數輸出的新節點特征生成最終的目標節點特征。在該步驟中，中心節點不僅要利用聚合后的特征，還要利用中心節點本身的特征。通過將中心節點的特征與聚合函數輸出的特征相結合來實現，結合的方法可以是拼接操作，如公式（3）所示：

[hi=σ（W×（xi||mi））] （3）

式中，||為特征的拼接，由于圖神經網絡可以是多層的，因此MPNN框架的消息傳遞、聚合和更新步驟也可以形成多層，重復以上3個步驟，以達到增強特征表達能力的作用。

3 基于注意力機制的圖模型

注意力機制的優點是能夠專注于輸入信息中重要的部分，且已被證明可用于機器翻譯、自然語言處理等任務中，其效果優于傳統的卷積神經網絡。本節將討論在遵循MPNN框架原則下，設計基于注意力機制的圖模型。

3.1 消息擴散

在MPNN的消息傳遞步驟，典型的圖模型普遍只采集節點的一階鄰居節點，即在一個有限的鄰域范圍內傳遞信息。為了選擇一個節點的鄰居，設置一個定值，每次選擇鄰居的時候就是從周圍的一階鄰居中均勻地采樣固定個數的節點。這種局部的鄰域限制了消息傳遞的能力，且圖神經網絡不僅學習節點特征，還應學習圖上的空間特征，表現為節點之間的連接方式，即拓撲結構。圖上這種特殊結構為圖增加了更多的信息，需要在消息傳遞步驟進行捕獲。

為了解決以上問題，需要在更大的鄰域內進行消息的擴散，并且這種擴散能捕捉圖的拓撲結構，而不僅僅是節點上的特征。我們可以采用多階的鄰接矩陣，其反映了圖的高階結構信息，使注意力機制應用到更遠的鄰居。同時，也可以采用基于隨機游走的策略來對消息進行擴散[12]。如圖3所示，該策略通過隨機游走采樣形成跟自然語言中的語料庫一樣的節點序列集，然后再利用注意力模型進行節點特征嵌入，為了獲得高階節點信息，可以將寬度優先搜索和深度優先搜索同時引入隨機游走序列的生成過程中，不僅刻畫了相對局部的結構，也包含了更高階節點間的結構信息，使結構相似的頂點具有相似的特征表示。例如，在給定節點u的情況下，設定固定長度L的隨機游走。設[ci]表示游走中的第i個節點，從[co=u]開始。第[ci]個節點的概率分布按照公式（4）生成：

[P（ci|ci-1）=πijz，if（i，j）∈E0，otherwise] （4）

式中：[πij]為節點[vi]和[vj]之間的轉移概率，[z]為歸一化常數。設置擴散策略的方法是基于圖上邊的權重[Wij]對下一個節點進行采樣，即[πij=Wij]（在無權圖的情況下權重為1） 。這種游走的擴散策略能獲取更大鄰域內的節點，且轉移基于邊的權重，反映了節點與邊之間的結構關系。

3.2 圖注意力

經過圖上的消息擴散后，我們可以聚合到更多的鄰居節點，而在圖卷積網絡中，節點的鄰居由鄰接矩陣確定，這是一種預先設定的靜態鄰域結構。然而，鄰居節點的影響可能會變化，應該在訓練中學習比預先設定更多的信息。圖注意力網絡是一種基于空間的網絡，在聚合鄰居節點信息時，注意力機制自適應地計算鄰居節點的權重。圖注意力的計算定義為公式（5）：

[h'i=σ（j∈NiαijWhj）] （5）

式中，[α]為注意力系數，按公式（6） 、公式（7） 計算：

[eij=a（Whi，Whj）] （6）

[αij=softmax（eij）=exp（eij）k∈Niexp（eik）] （7）

式中，[αij]為[vi]相對于[vj]的注意力系數，通過神經網絡[a]擬合得到，[hi]為節點[vi]的節點特征，由上一個消息傳遞模塊輸出，通過與參數矩陣[W]相乘進行線性變換后，再由神經網絡[a]計算相關性，最后利用Softmax函數得到注意力系數的得分。

3.3 應用

圖神經網絡在不同的任務和領域中有著廣泛的應用。盡管每一類都經過專門優化，但都遵循以上 MPNN 框架，經過本文的改進，更是在一般領域有更多的應用。其中之一是計算機視覺。作為一般的通用框架，不僅能處理傳統上的圖像識別，在場景圖生成、圖分割、動作識別和許多其他方向上都可以捕捉圖結構。另外，基于圖的推薦系統以項目和用戶為節點，具有項目與用戶以及用戶之間的關系，基于圖的推薦系統能夠利用此關系產生高質量的推薦，尤其是注意力機制能對項目及用戶的重要性進行評分。而在交通流預測中，采用基于圖的方法和時空神經網絡能方便地建模道路上的節點關系以及時間序列特征，有助于智能交通系統有效利用資源。

4 結論

在本文中，通過探索圖學習方法的改進，在 MPNN 通用學習框架的基礎上，分析了消息傳遞中捕捉更大鄰域范圍和圖上結構信息的方法。我們提出了多階鄰接矩陣和隨機游走的擴散方式來改進消息傳遞，并分析了在該框架中集成注意力機制的方法，使改進后的框架能同時處理結構和特征信息。最后，給出了圖神經網絡在不同領域中的應用，根據不同任務所屬的領域進行了介紹。

參考文獻：

[1] 楊春霞，馬文文，徐奔，等.融合標簽信息的分層圖注意力網絡文本分類模型[J].計算機工程與科學，2023，45（11）：2018-2026.

[2] 張秋玲，王瀅溪，王建芳，等.基于雙向注意力的圖神經推薦算法研究[J].河南理工大學學報（自然科學版），2024，43（1）：149-156.

[3] 周安眾，謝丁峰.基于圖注意力機制的交通流預測模型[J].軟件工程，2023，26（8）：48-52，62.

[4] 趙港，王千閣，姚烽，等.大規模圖神經網絡系統綜述[J].軟件學報，2022，33（1）：150-170.

[5] 仝宗和，袁立寧，王洋.圖卷積神經網絡理論與應用[J].信息技術與信息化，2020（2）：187-192.

[6] 陳可佳，楊澤宇，劉崢，等.基于鄰域選擇策略的圖卷積網絡模型[J].計算機應用，2019，39（12）：3415-3419.

[7] 劉欣瑜，劉瑞芳，石航，等.基于圖神經網絡和語義知識的自然語言推理任務研究[J].中文信息學報，2021，35（6）：122-130.

[8] 陳佳樂，陳旭，景永俊，等.圖神經網絡在異常檢測中的應用綜述[J/OL].計算機工程與應用，2024：1-20 [2024-04-23].http：//kns.cnki.net/kcms/detail/11.2127.TP.20240113.1222.004.html.

[9] 王匆匆，張仰森，黃改娟.基于注意力機制與端到端的中文文本糾錯方法[J].計算機應用與軟件，2022，39（6）：141-147.

[10] 張小婉，鄧秋軍，柳先輝.結合圖注意力機制的知識圖譜推薦算法[J].計算機科學，2023， 50（S2）：464-470.

[11] ZHOU A Z，LI Y F.Structural attention network for graph[J].Applied Intelligence，2021，51（8）：6255-6264.

[12] 李文舉，姬倩倩，沙利業，等.基于圖游走和圖注意力的點云分類與分割[J].鄭州大學學報（工學版），2024，45（2）：33-41.

【通聯編輯：唐一東】