超圖神經網絡綜述

林晶晶 冶忠林 趙海興 李卓然

1 （青海師范大學計算機學院 西寧 810008）

2 （藏語智能信息處理及應用國家重點實驗室（青海師范大學） 西寧 810008）

3 （西寧城市職業技術學院信息工程系 西寧 810003）

（ljj_mail@126.com）

卷積神經網絡[1]（convolutional neural network，CNN）、循環神經網絡[2]（recurrent neural network， RNN）等傳統的深度學習模型在圖像、音頻等任務中取得較好的效果，這取決于它們被具有平移不變性和局部連通性的歐氏數據來表示.CNN 的核心思想局部連接、參數共享、池化采樣和多層使用[3]，降低了網絡模型的復雜度，減少了權值的數量，卻未減弱其表達能力.RNN 擁有處理可變長度的序列數據的能力，能夠挖掘數據中的時序信息和語義信息. 長短期記憶[4]（long short-term memory，LSTM）是一種采用門控機制改進的RNN，而門控遞歸單元[5]（gated recurrent unit，GRU）是LSTM 的變體，只包含重置門和更新門，簡化了LSTM 的架構. 盡管這些傳統的深度學習方法能夠有效地提取歐氏數據的特征，但許多實際應用場景中還存在一種用圖結構表示的非歐氏數據，如社交網絡、交通網絡、知識圖譜和蛋白質網絡等[6-8]. 因此，研究者對深度學習方法在圖數據上的擴展越來越感興趣.

近年來，受CNN 和RNN 的啟發，研究者們創新性地設計了用于處理圖數據的深度學習方法，統稱為圖神經網絡（graph neural networks，GNNs）. 由于GNNs具有豐富的表達能力、靈活的建模能力和端到端的訓練能力，被廣泛地應用于圖分析領域，突破性地優化和提高了節點分類[9-11]、預測[12-13]、視覺分析[14]和自然語言處理[15-16]等任務的性能. 在文獻[17] 中將GNNs 分為循環圖神經網絡、卷積圖神經網絡、圖自動編碼器和時空圖神經網絡. 其中，卷積圖神經網絡也可稱為圖卷積神經網絡（graph convolution networks，GCNs）是最流行和發展最快的圖神經網絡之一. 與CNN 相比，GCNs 需要在圖上設計卷積操作來刻畫節點的鄰域結構. 依據卷積操作定義方式的不同，GCNs分為譜域方法和空域方法. 譜域方法通過卷積定理在譜域定義卷積操作； 空域方法通過聚合函數匯集每個頂點及其鄰域節點的方式定義卷積操作.

在現實世界的網絡中，雖然圖可以很好地刻畫對象間的成對關系，但是對象間還存在大量比成對關系更加復雜的非成對關系. 如果簡單地用圖表示對象間的復雜高階關系，可能會導致信息丟失或信息冗余. 例如，多位作者撰寫了一篇文章，每位作者視為頂點，若這幾位作者中的任何2 位都非必要直接聯系[18]，用圖直接將他們兩兩連接，會產生信息冗余，無法恰當地描述出多人撰寫文章的合著關系，使得展示的信息不準確. 超圖由頂點集和超邊集組成，每條超邊可以連接多個頂點而非僅2 個頂點. 故超圖擁有描述頂點間復雜高階關系的能力，可用于建模具有高階相互作用的復雜網絡和系統. 因此，若用一條超邊連接多位合著者，能夠更加簡潔和準確地刻畫出多位作者的合著關系.

近3 年來，受GNNs 和超圖建模優勢的啟發，研究者們開始關注如何將GNNs 擴展到超圖，設計出基于超圖的神經網絡，改善具體應用的性能.2019 年，Feng 等人[19]提出第1 個超圖神經網絡 （hypergraph neural networks，HGNN），將GCNs 的譜方法很自然地擴展到超圖上，并設計了超圖卷積操作. 同年，Yadati等人[20]設計HyperGCN 實現在超圖上處理半監督分類問題. 隨后，陸續出現的大量超圖神經網絡模型被充分運地用到計算機視覺[21-22]、推薦系統[23-24]、生物化學[25-26]等領域并取得顯著的成績. 超圖神經網絡已逐漸成為一個新的研究熱點. 目前，對于上文中提到的CNN、GNNs 和GCNs，存在多篇經典的綜述性文獻對它們進行全面的歸納和總結. 例如，文獻[17]提供了一種劃分GNNs 的策略，總結了GNNs 的數據集、開源代碼和模型評估等. 在文獻[27]中詳細地介紹了GNNs 模型及其變體，從結構場景、非結構場景和其他場景詳細地概括了GNNs 的應用；同時探討了4個開放性問題. 文獻[28]系統地總結了CNN 的發展史、網絡結構、訓練方法及應用場景等. 文獻[6]全面梳理了GCNs 的譜域方法和空域方法、最新進展、相關應用和發展趨勢. 除此之外，還有大量的文獻[29?31]從非歐空間、具體應用領域等方面總結和展望了GNNs.

Gao 等人[32]詳細介紹了超圖學習方法，但關于超圖神經網絡的分類方法、模型分析和應用領域等方面的探討和總結仍為空白. 因此，系統地綜述現有超圖神經網絡模型十分必要，有助于推動超圖神經網絡今后在更多的領域中發展和應用. 本文全面地梳理了超圖神經網絡近3 年的發展歷程、代表性模型及其未來研究方向. 根據設計模型采用的方法不同，將超圖神經網絡分為超圖卷積神經網絡、超圖循環神經網絡和超圖生成對抗網絡3 類，并根據實現卷積的方法細分超圖卷積神經網絡. 重點闡述了每類中的代表性模型，并做分析和比較. 同時討論了超圖神經網絡未來的研究工作.

1 研究歷程

在過去的幾年里，GNNs 作為一種強大且實用的工具，推動深度學習在圖數據上快速發展. 大量研究表明GNNs 在計算機視覺[33-35]、自然語言處理[36-37]、交通網絡[38-40]、推薦系統[41-43]、生物化學[44-46]、知識圖譜[47-49]等各領域獲得成功.GNNs 主要處理圖數據，但現實網絡中還存在超越二元的關系，若用圖簡單地表示，會丟失對象之間潛在的高階關系. 超圖[50]是一種建模復雜關系的靈活工具，其包含頂點集和超邊集，利用每條超邊連接多個頂點表示潛在的高階關系. 本質上，每條超邊是頂點的子集，即一條超邊連接多個頂點，而非只連接2 個頂點. 因此，超圖作為圖的一種推廣，可以刻畫出更加豐富的信息，充分地挖掘圖中頂點之間潛在的高階交互.

在過去3 年中，超圖神經網絡吸引了很多研究者探究如何在超圖上設計神經網絡，以及如何將其應用于各個領域. 借鑒GNNs 中的卷積運算、注意力機制、生成對抗等技術，超圖神經網絡迅速發展. 研究者們在超圖上開發出超圖卷積、超圖注意力和超圖生成對抗網絡等，相繼地涌現出大量的超圖神經網絡模型.圖1 詳細地展示了從2019—2022 年初超圖神經網絡模型發展進程的時序情況，橫軸表示時間（以年為間隔），縱軸表示模型，著重列出了每個模型的簡稱和作者信息.

Fig. 1 The sequential development of hypergraph neural network model圖1 超圖神經網絡模型的發展時序

從圖1 中可以清晰地看出超圖神經網絡模型的數量逐年遞增，研究重心也發生了變化，具體如下所述. 首先，超圖神經網絡建模的超圖結構從無向超圖擴展到有向超圖，以及從靜態超圖結構拓展到動態超圖結構. 分別設計出有向超圖神經網絡，如有向超圖卷積網絡 （directed hypergraph convolutional networks，DHGCN）[62]和有向超圖神經網絡（directed hypergraph neural network，DHN）[104]；以及動態超圖神經網絡,如DHGNNa（dynamic hypergraph neural network）[52]、自適應超圖神經網絡（adaptive hypergraph neural network，AdaHGNN）[71]和自適應超圖卷積網絡（adaptive hypergraph convolutional network，AHGCN）[94]. 其次，超圖神經網絡的消息傳遞方式從單純的超圖卷積轉變到引入注意力機制、循環神經網絡和生成對抗網絡，再通過組合它們，設計出基于注意力機制的超圖神經網絡， 如Hyper-SAGN[25]、 超圖注意力網絡HANs[60]和HyperGAT[75]；超圖卷積循環神經網絡（hypergraph convolutional recurrent neural network，HGCRNN）[66]；超圖生成對抗網絡 （hypergraph generative adversarial network，HGGAN）[101]和多模態表示學習與對抗超圖融合（multimodal representation learning and adversarial hypergraph fusion，MRL-AHF）[102]框架. 再次，超圖神經網絡的維度從單通道超圖卷積升級到多通道，設計出雙通道和多通道超圖神經網絡，如雙通道超圖協同濾波（dual channel hypergraph collaborative filtering，DHCF）[67]、雙通道超圖卷積網絡 （dual channel hypergraph convolutional network，DHCN）[62]和多通道超圖卷積網絡 （multi-channel hypergraph convolutional network, MHCN）[83]. 最后，超圖神經網絡的應用從最初的引文網絡分類任務拓展到推薦系統、自然語言處理、股票和交通預測等任務，設計出多種適用于各領域下游任務的超圖神經網絡，如信號超圖卷積網絡 （signed hypergraph convolutional network，SHCN）[24]、2HR-DR[62]、時空超圖卷積網絡（spatio-temporal hypergraph convolution network，STHGCN）[76]和地理-語義-時間超圖卷積網絡（geographic-semantic-temporal hypergraph convolutional network，GST-HCN）[55].

2 定 義

本節給出了涉及的定義及常見符號的含義，有助于理解本文中的公式. 下面依次給出符號描述，以及圖、超圖和有向超圖的定義.

2.1 符號定義

本文中用到的符號及其含義如表1 所示.

Table 1 The Symbol Description表1 符號描述

2.2 圖

G=(VG,EG,WG)是一個圖，其中VG是頂點的集合，EG是邊的集合.|VG|=NG和|EG|=MG，NG∈R，MG∈R分別表示圖中頂點和邊的數目. 若令和是G中的頂點，則eij=(,)∈EG代表G中連接和的一條邊.WG是邊的權重矩陣. 圖的鄰接矩陣A∈RNG×NG定義為

其 中aij表示A中的元素，i,j=1,2,…,NG.

2.3 超 圖

G=(VG,EG,WG)代表一個超圖，VG是頂點集，EG是超邊集. G包含|VG|=NG個頂點和|EG|=MG條超邊. 若令是頂點，則超邊其中1 ≤me≤NG，1 ≤ne≤NG.WG表示超邊的權重矩陣.

通常情況下，超圖用關聯矩陣HG∈RNG×MG表示，定義為

其中hij是HG的元素，i=1,2,…,NG，j=1,2,…,MG.

若∈VG，節點的度指包含的超邊的數目，記為

若∈EG，超邊的度指超邊中包含的頂點的數目，記為

DVG和DEG分別表示頂點和超邊的度矩陣. 有關超圖的詳細說明可參見文獻[50].

事實上，圖是超圖的一個特例，當超圖中的每條超邊只包含2 個頂點時，超圖就退化為一個普通圖.如圖2（a）是一個普通圖，每條邊連接2 個頂點；圖2（b）是一個超圖，每條超邊連接3 個或4 個頂點. 當圖2（b）中的每條超邊只連接2 個頂點時，超圖就退化為一個圖，即圖2（c）（d）.

Fig. 2 Hypergraph and graph圖2 超圖和圖

2.4 有向超圖

GD=(VGD,EGD,WGD)代表有向超圖，VGD是頂點集，EGD是超弧集，WGD表示超弧的權重矩陣.|VGD|=NGD和|EGD|=MGD分別表示頂點和超弧的數目.每條超弧，其中表示超弧的弧頭，∈VGD表示超弧的弧尾. 且關于有向超圖的其他描述可參見文獻[50，57].

3 超圖神經網絡模型

在本節中，梳理出一種超圖神經網絡的分類，依據設計模型采用的方法不同，將現有超圖神經網絡模型劃分為超圖卷積神經網絡、超圖循環神經網絡和超圖生成對抗網絡. 進一步將超圖卷積神經網絡細分為3 類，詳細地介紹每類中的代表性模型.

3.1 超圖卷積神經網絡

超圖卷積神經網絡本質上是將GCNs 顯式或隱式地擴展得到超圖上，又或者引入注意力機制，設計出適用于超圖上的卷積操作. 根據設計卷積算子的策略不同，將超圖卷積神經網絡進一步細分為基于譜域的超圖卷積神經網絡、基于普通圖的超圖神經網絡和基于注意力機制的超圖神經網絡.

3.1.1 基于譜域的超圖卷積神經網絡

基于譜域的超圖卷積神經網絡是利用圖信號和超圖譜理論，巧妙地借助傅里葉變換和小波變換，將GCNs 隱式地擴展到超圖上. 本節根據超圖結構是否有向、是否動態將基于譜域的超圖卷積神經網絡細分為無向超圖神經網絡、有向超圖神經網絡和動態超圖神經網絡.

首先回顧一下譜域的GCN[114]，可以幫助讀者更好地理解基于譜域的超圖卷積神經網絡的演化.Spectral CNN[115]最早利用卷積定理在圖上設計譜卷積算子，但它的計算復雜度高. 為解決這一問題，ChebyNet（ChebyShev network）[116]采用K階切比雪夫多項式近似卷積核，此時圖卷積算子僅依賴于頂點的K階鄰居. Kipf 等人[114]繼續簡化參數，提出只考慮1 階鄰居的GCN，提升了圖上半監督學習的性能. GCN 的卷積層定義為：

其中H(l)和H(l+1)分別是第l和l+1層頂點的隱層表示，是參數矩陣.

3.1.1.1 無向超圖神經網絡

通常情況下超圖都是無向超圖，即超邊不具有方向性，本節主要介紹以無向超圖為拓撲結構的超圖的神經網絡模型.

1）HGNN

利用超圖建模數據間的高階關系，充分地考慮了對象間的高階關系和多模態特性. 為更好地理解HGNN 定義的卷積，首先要理解超圖的拉普拉斯矩陣. Zhou 等人[117]定義了超圖拉普拉斯矩陣，其特征分解為其中 Λ是特征值的對角矩陣，UG是特征向量矩陣. 依據超圖的拉普拉斯矩陣的定義，將GCN 類比到超圖上，設計出超圖卷積算子.

對于超圖上的信號x，首先將x經過傅里葉變換從空域轉換到譜域，再在譜域上執行卷積操作，然后利用傅里葉逆變換將卷積結果從譜域轉換到空域.因此，通過傅里葉變換和逆變換，信號x與濾波器g的譜卷積可定義為

其中g(Λ)是傅里葉系數的函數.

由于傅里葉變換及其逆變換的計算成本高，采用截斷切比雪夫多項式作為其近似多項式，譜卷積被重新定義為

其中Tk(y)=2yT(k?1)(y)?T(k?2)(y)代表切比雪夫多項式的遞歸形式，Tk()是變量為拉普拉斯算子的截斷切比雪夫多項式.

若令K=1 且λGmax=2，降低階數和減少計算的譜卷積定義為

其中 Θ0和 Θ1是參數. 若用式（10）中的 Θ表示 Θ0和Θ1來進一步約束參數數量：

則式（10）代入式（9）得到1 階卷積為

最終，采用矩陣形式表示HGNN 的超圖卷積層定義為

其中和分別是第l和l+1層頂點的隱層表示.若令則式（12）可重寫為

從式（6）（13）可以發現GCN 和HGNN 的卷積計算形式很相似，都是矩陣相乘，只是兩者描述數據關系所使用的建模工具不同，分別是圖和超圖，用SG和PG表示. 與傳統的超圖學習方法相比，HGNN 未使用超圖拉普拉斯矩陣的逆運算，節約了計算成本.

2）行歸一化超圖卷積層

文獻[118]給出另一種超圖卷積的形式，即行歸一化超圖卷積層，定義為

3）MultiHGNN

Huang 等人[93]提出多超圖神經網絡 （multi-hypergraph neural network，MultiHGNN）學習具有多模態特性的數據，用超圖建模每種模態，分別在每個超圖上執行卷積操作，采用均值方法生成頂點的最終表示；而HGNN 在拼接所有模態對應的超圖后，執行卷積操作得到頂點的最終表示.HGNN 與MultiHGNN 的具體框架比較如圖3 所示.

Fig. 3 Comparison of HGNN and MultiHGNN圖3 HGNN 與MultiHGNN 的比較

4）HplapGCN

Ma 等人[119]將超圖拉普拉斯LG推廣到超圖p-拉普拉斯LpG. 鑒于超圖p-拉普拉斯能夠保存超圖概率分布的幾何特性，Fu 等人[54]專門為超圖p-拉普拉斯設計了超圖p-拉普拉斯圖卷積網絡 （hypergraph p-Laplacian graph convolutional network，HpLapGCN）.HpLapGCN 的卷積層定義為

5）HWNN

為避免耗時的拉普拉斯分解，Sun 等人[72]采用多項式近似的小波變換代替傅里葉變換，設計出適用于異構超圖的超圖小波神經網絡（hypergraph wavelet neural network，HWNN）. 用小波變換替換式（7）中的傅里葉變換，可得到基于小波變換的超圖卷積定義：

根據Stone-Weierstrass 定理[120]得到小波變換及其逆變換的近似多項式和其中LG是的1 階多項式. 這2 個近似多項式避免了HGNN 中的拉普拉斯分解操作. 將它們代入式（16）后，基于小波變換的超圖卷積定義為

最終的HWNN 的卷積層定義為

其中是特征投影矩陣，是濾波器.HGNN 中的傅里葉變換和HWNN 中的小波變換的詳細描述如表2 所示.

Table 2 Fourier Transform and Wavelet Transform表2 傅里葉變換和小波變換

6） HGWNN

HGWNN[22]是另一種引用小波的超圖小波神經網絡，直接采用截斷切比雪夫多項式近似小波系數.它的卷積層定義為

除此之外，HNHN[61]是一種對頂點和超邊加入非線性激活函數和歸一化操作的超圖卷積網絡. 超圖卷積過程包含歸一化節點、更新超邊、歸一化超邊和更新節點4 個階段. 雙超圖卷積網絡（dual hypergraph convolutional network，DualHGCN）[85]通過2 個同構超圖建模多重二分網絡，根據二分網絡的特性設計消息內和消息間的傳遞策略，促進信息共享.Wu等人[106]提出用于屬性圖學習的雙視圖超圖神經網絡（dual-view hypergraph neural network，DHGNNb），采用屬性超圖和結構超圖，分別表示頂點的屬性和拓撲結構；再送入共享超邊卷積層、特定超邊卷積層和注意力層，生成頂點的最終表示.

從上述可知，無向超圖卷積神經網絡都是以譜理論為基礎，通過傅里葉變換或小波變換實現超圖卷積，同時也可加入非線性變換、歸一化操作、無監督等增強學習能力.

3.1.1.2 有向超圖神經網絡

有向超圖是一種特殊的超圖，有向超邊攜帶重要的方向信息，本節主要介紹以有向超圖為拓撲結構的神經網絡模型.

1）基于有向超圖拉普拉斯的超圖神經網絡

Tran 等人[57]提出基于有向超圖拉普拉斯算子的有向超圖神經網絡，應用于有向超圖的半監督學習.首先用D和表示有向超圖

有向超圖拉普拉斯算子LGD定義為

基于此，有向超圖卷積層被定義為

其中表示超弧的頭度矩陣，表示頂點的尾度矩陣，S是對角矩陣，表示第l層可學習的參數矩陣，和是第l和l+1層頂點的隱層表示.

2） DHGCN

在超圖卷積運算中融入方向信息，DHGCN 的卷積層定義為

3）DHConv

有向超圖卷積（directed hypergraph convolution，DHConv）[112]包含頂點聚合和有向超邊聚合2 個階段.DHConv 中有向超圖的關聯矩陣∈定義為

4） DHN

其中是超邊在第l層的隱層表示，是有向超圖對應的無向超圖的關聯矩陣，和分別是第l和l+1層頂點的隱層表示，表示可學習的參數矩陣，[·,·]代表拼接運算. 從式（27）可以看出，當DHN更新頂點的特征表示時，考慮到頂點表示、有向超邊表示和無向超圖結構.

從上述可知，有向超圖神經網絡模型中的超邊都帶方向信息. 其中，DHN 將有向超圖轉換為有向圖，卷積操作中融入了無向超圖的結構. 而其他3 種有向超圖神經網絡都定義了含有方向信息的有向超圖關聯矩陣，但各自具體的定義方式不同.

3.1.1.3 動態超圖神經網絡

在無向超圖和有向超圖神經網絡中，建模數據的超圖結構都是靜態的，超圖結構沒有隨著頂點特征的更新而動態調整，這會影響模型性能. 為了動態地構建和更新超圖結構，學者們設計出動態超圖神經網絡模型.

1） DHGNNa

最初始構造的超圖可能不適合表示最終的數據結構，Jiang 等人[52]提出一種動態超圖神經網絡DHGNNa，包含動態超圖構建（dynamic hypergraph construction，DHG）和超圖卷積（hypergraph convolution，HGC）2 個模塊. 其中，HGC 模塊由頂點卷積VertexConv 和超邊卷積HyperedgeConv 組成. VertexConv 聚合超邊e包含的所有頂點特征，生成超邊特征xe=VertexConv(XGu)；HyperedgeConv 引入注意力機制聚合包含頂點u的超邊特征，生成u的新特征xu=HyperedgeConv(xe). 然后根據更新后的頂點特征重新構建超圖，堆疊多層DHG 和HGC 實現動態地構建超圖.

2） AdaHGNN

AdaHGNN 通過關聯矩陣自動學習，構造自適應超圖，進而學習高階語義關系. 在構造超圖的過程中，超邊被定義為頂點之間的一種抽象關系，可在訓練階段自動地學習.HGA表示自適應超圖的關聯矩陣，AdaHGNN 的超圖卷積層定義為

3） AHGCN

AHGCN 采用自適應超邊的構造方法生成基于位置的超圖Gloc和基于內容的超圖Gcon，并引入批量歸一化[121]和殘差連接加速和穩定訓練，AHGCN 的超圖卷積層定義為

其中BN(·)是批量歸一化，和是第l和l+1層頂點的隱層表示，和代表可學習的參數，HG由Gloc和Gcon組成.

從上可知，本節提到的超圖神經網絡通過不同的方式動態地優化超圖的建模過程. 其中，DHGNNa利用更新后的頂點特征構建新的超圖，AdaHGNN 在訓練階段自動地學習頂點間的抽象關系，AHGCN 用一種自適應超邊的構造方法生成超圖. 除此之外，半動態超圖神經網絡（semi-dynamic hypergraph neural network，SD-HNN）[64]通過構建靜態超圖和動態超圖捕獲人體運動學.Zhang 等人[97]設計一個可以自適應優化超圖結構的超圖拉普拉斯適配器 （hypergraph laplacian adaptor，HERALD），動態地更新超圖結構. 基于張量的動態超圖學習（tensor-based dynamic hyperg raph learning，t-DHL）[32]采用張量表示建模超圖結構，在學習的過程中動態地更新超圖結構.

3.1.2 基于普通圖的超圖神經網絡

在介紹本節內容之前，需要明確本節涉及的普通圖的含義，具體可參見2.2 節中圖的定義，每條邊僅連接2 個頂點. 本節介紹基于普通圖的超圖神經網絡，顯示地將圖卷積網絡擴展到超圖上. 它們具有共同的特點，即首先采用特定的方法將超圖轉換成普通圖，然后在這個普通圖上執行圖卷積神經網絡.

1） HyperGCN

HyperGCN 是一種對超圖運用圖卷積網絡進行訓練的方法. 超圖譜理論[122-123]可以將超圖轉換為一個帶權普通圖. 具體地，選取每條超邊中信號特征最大的2 個頂點，形成一條邊來表示該超邊，超邊中的其他頂點被刪除，將導致信息的丟失. 因此，HyperGCN引入由刪除的頂點組成的中介，將中介中的每個頂點與代表超邊選取的2 個頂點相連接，使用Chan 等人[124]的方法定義超圖拉普拉斯. HyperGCN 本質是用帶權的普通圖代替超圖，每條超邊退化為帶權重的邊，然后在帶權重的普通圖上執行圖卷積操作即可.

2） LHCN

線超圖卷積網絡 （line hypergraph convolution network，LHCN）[56]首次引入超圖的線圖這一概念，超圖的線圖是一個普通圖. 首先將超圖G映射到一個加權帶屬性的線圖L(G)，其次對線圖L(G)執行圖卷積操作，超圖的線圖的卷積定義為

3） HAIN

LHCN 需要顯式地計算線圖，計算成本高，超圖注意力同構網絡 （hypergraph attention isomorphism network，HAIN）[79]用一種隱式的方式生成線圖來解決此問題. 超圖G 被隱式地生成線圖表示融入超圖結構的鄰接矩陣. 由于線圖中的頂點代表的是超圖中的超邊，HAIN 采用自注意力機制學習線圖中頂點的權重，衡量了不同超邊對頂點的重要性. 受圖同構網絡（graph isomorphism network，GIN）[125]的啟發，HAIN 每層定義為

4） HI-GCN

超圖誘導圖卷積網絡（hypergraph induced graph convolutional network，HI-GCN）[77]將超圖結構植入到圖卷積運算中來更新頂點嵌入.HI-GCN 的卷積層定義為

其中DGc是Gc的度矩陣，Gc是超圖通過團擴張生成的普通圖，WGc是超邊權重矩陣，是可學習權重矩陣，和是第l和l+1層頂點的隱層表示.HI-GCN 有效包含了圖和超圖的信息.

從上述4 個模型可知，基于普通圖的超圖神經網絡的共同點是采用一定的策略先將超圖轉化為普通圖，然后以圖或者超圖作為拓撲結構開發模型. 與上述4 個模型類似，神經超鏈接預測器（neural hyperlink predictor， NHP）[26]采用無向超圖和有向超圖建模數據，利用團擴張將2 種超圖轉化為普通圖后實現超圖鏈路預測.Hou 等人[78]提出將加權有向超圖轉換為加權超邊圖，而加權超邊圖就是一個普通圖. 除此之外，文獻[59]提出一種超圖轉換為普通圖的方法，線擴張 （line expansion，LE），將超圖中的頂點-超邊對作為普通圖中的一個頂點，稱之為線頂點，如果線頂點（頂點-超邊對）之間有公共的頂點或超邊，連接這2個線頂點形成一條邊，依次執行，最終得到與之對應的普通圖.

3.1.3 基于注意力機制的超圖神經網絡

注意力機制常用于圖神經網絡中權衡頂點和邊的重要性，取得顯著成效. 同樣，超圖神經網絡也可引入注意力機制來體現頂點和超邊等的重要性. 本節對現有的超圖神經網絡以注意力機制為關鍵技術的模型進行歸納和總結，具體如下所述.

1） Hyper-SAGNN

Hyper-SAGNN 是一種用于超圖學習的框架，能夠處理同構和異構超圖、一致和非一致超圖，并利用學習到的節點嵌入預測非一致異構超圖中的超邊.Hyper-SAGNN 包含靜態嵌入模塊、動態嵌入模塊和預測模塊，在動態嵌入模塊中引入多頭注意力機制生成動態嵌入.

2） HANs

HANs 調整輸入的多種模態之間的信息層次，將它們整合到同一信息層次. 采用符號圖定義不同的模態之間的公共語義空間，在語義空間中構建共同注意力映射以獲取不同模態的聯合表示.

3） HyperGAT

HyperGAT 設計雙注意力機制學習有鑒別力的表示，用于歸納式文本分類和降低計算成本.HyperGAT 層定義為

其中和是第l+1層的頂點vi和超邊ei的表示.超邊聚合函數HyperedgeAGG(·)將包含頂點的所有超邊的特征聚合到該頂點，并通過超邊級注意力機制為每條超邊分配權重以表明每條超邊對該頂點的貢獻度；節點聚合函數VertexAGG(·)將超邊中所有頂點的特征聚合到該超邊，并通過頂點級注意力機制為每個頂點分配權重以表明每個頂點對于超邊的貢獻度.

4） HGATs

與HyperGAT 類似，超圖注意力網絡（hypergraph attention networks，HGATs）[21]也是基于雙注意力機制的超圖注意力網絡，包含注意力頂點聚合和注意力超邊聚合，在聚合特征的過程中引入注意力機制為頂點和超邊分配不同的權重.

5） SAHDL

稀疏注意超圖正則化字典學習（sparse attention hypergraph regularized dictionary learning，SAHDL）[73]算法設計出一種新的稀疏注意力機制為每個頂點分配重要性權重，并將權重值融入到構建超圖的過程中. 引入稀疏注意力的超圖關聯矩陣HSA定義為

其中eSA代表一條超邊，dis(·)表示計算2 點之間的距離，表示頂點i的注意力權重值，可通過公式計算得到.aSA是權重向量，PK表示從K個最近鄰居中選取的樣本的特征， τ是控制稀疏性的超參數.

6） STHAN-SR

時空超圖注意力網絡（spatiotemporal hypergraph attention network，STHAN-SR）[82]利用超圖注意力巧妙地將時間霍克斯注意力與空間超圖卷積相結合，捕捉時空相關性.表示引入注意力機制的超圖關聯矩陣，STHAN-SR 的超圖卷積層定義為

它采用多頭注意力機制確保訓練穩定.

7） HGTAN

超圖三注意力網絡（hypergraph tri-attention network，HGTAN）[100]設計了超邊內、超邊間和超圖間3 個注意力模塊，考慮頂點、超邊和超圖的重要性. 其中，超邊內注意力和超邊間注意力與HyperGAT 和HGATs類似，但HGTAN 中采用超圖間注意力模塊，權衡不同超圖的重要性.

從上述可知，該類超圖神經網絡模型的共同之處是利用注意力機制突顯頂點、超邊或超圖在消息聚合過程中各自的重要性. 除此之外，有向超圖注意力網絡（directed hypergraph attention network，DHAT）[112]結合3.1.1.2 節中介紹的DHConv 和注意力機制挖掘數據間的潛在關系.Sun 等人[126]提出一種基于多級超邊蒸餾策略的超圖神經網絡，采用節點級、超邊級和語義級注意力學習和更新頂點表示.

3.2 超圖循環神經網絡

本節重點介紹引入RNN 構建超圖神經網絡模型，RNN 主要用于捕獲時間特性.

1）HGC-RNN

HGC-RNN 是一種能夠預測結構化時間序列傳感器網絡數據的模型. 它使用超圖卷積提取數據的結構特征，同時采用RNN 結構提取數據序列中的時間依賴性. 隨時間演化的HGC-RNN 層定義為

其中FRNN是循環神經網絡，如GRU.FHGC1和FHGC2是用于更新頂點表示的超圖卷積操作.

2） 基于卷積、注意力和GRU 的超圖神經網絡

Xia 等人[127]開發了一種基于時間的超圖神經網絡，集成了超圖卷積、GRU 和注意力機制，有效地學習超圖中異構數據之間的高階相關性.

上述2 種超圖神經網絡有效地組合RNN 與超圖卷積. 與它們不同的是3.1.3 節中的HGTAN 結合RNN 和超圖注意力機制，使用GRU 從時間序列數據中捕捉頂點的時間動態性，再將其送入HGTAN 更新節點的表示. 1）和2）都充分地考慮了數據間的時間特性和拓撲結構.

3.3 超圖生成對抗網絡

受生成對抗網絡的啟發，研究者引入生成對抗網絡設計出超圖神經網絡模型，本節詳細地介紹這類網絡.

1） HGGAN

HGGAN 提出用交互式超邊神經元模塊（interactive hyperedge neurons module，IHEN）作為生成器捕獲數據間的復雜關系；鑒別器是MLP.IHEN 的定義為：

2） MRL-AHF

MRL-AHF 利用多模態間的互補和多模態內的交互，提升表示學習能力和多模態融合性能. 潛在表示分別送入編碼器EA 和EB 得到表示和，且生成的2 個超圖用關聯矩陣HEA和HEB表示. 通過對抗訓練策略實現超圖融合，得到頂點的特征.

其中DVEA和DVEB分別是HEA和HEB的頂點度矩陣，DEEA和DEEB分別是HEA和HEB的超邊度矩陣，ΘEB是權重矩陣.

從上述可知，HGGAN 和MRL-AHF 巧妙地在生成對抗網絡中融入超圖結構，提升了模型學習表示的能力.

3.4 其他模型

文獻[128] 通過低秩濾波器設計高效的超圖卷積. 非線性超圖擴散 （nonlinear hypergraph diffusion，HyperND）[87]沿著超圖結構傳播特征和標簽. 受雙曲圖卷積神經網絡[129]的啟發，Li 等人[103]提出一種帶有預訓練階段的雙曲超圖表示學習方法（hyperbolic hypergraph representation learning method for sequential recommenddation，H2SeqRec）有效地緩解超圖的稀疏性和長尾數據分布問題，通過雙曲空間超圖神經網絡學習動態嵌入. DHT（dual hypergraph transformation）[96]是一種邊表示學習框架. Srinivasan 等人[130]設計了一種用于學習頂點、超邊和完全超圖表示的超圖神經網絡. 受GCNII[131]的啟發，殘差增強多超圖神經網絡（residual enhanced multihypergraph neural network，ResMultiHGNN）[93]緩解加深HGNN 引起的過平滑等問題. Lin 等人[113]使用采樣超邊等方式設計出一種深層超圖神經網絡（deep gypergraph neural network，DeepHGNN）. 深度超邊 （deep hyperedges，DHE）[132]利用上下文和集合成員對超圖進行轉導和歸納式學習. G-MPNN[70]統一不同結構的消息傳遞神經網絡（message passing neural network，MPNN）[133]，對多關系有序超圖有強大的歸納能力. UniGNN[95]是一種將經典的GNNs，如GCN，GAT（graph attention network）等推廣到超圖上的統一框架. HyperSAGE[74]受GraphSAGE（graph sample and aggregate） [134]的啟發，設計出一種歸納式超圖學習框架. HyperGene[92]是一種基于GNNs 的超圖預訓練框架. NetVec[86]是一個能夠提高運行速度，用于解決大型超圖的多層超圖嵌入框架.AllSet [99]將傳播規則描述為2 個多集函數的組合，并將多集函數的學習問題與超圖神經網絡聯系起來.

4 應 用

現實生活中很多數據間的交互關系可以很自然地用超圖表示，雖然超圖神經網絡的發展歷程較短，但它已經被廣泛地應用到不同領域的任務中并取得成功. 本節詳細地介紹超圖神經網絡在各領域中的實際應用.

4.1 社交網絡

4.1.1 引文網絡分類

在引文網絡中，超圖可用于建模論文的引用關系和論文的合著關系. 引文網絡分類任務屬于節點級任務，常用的數據集有Cora，DBLP，Pubmed，Citeseer，具體描述如表3 所示. HGNN， HyperGCN， DHGNNa，HyperSAGE， LHCN， iHGAN[80]，HNHN ，HyperND 等都可用于引文網絡分類. 表4 列舉了應用于引文網絡分類的超圖神經網絡模型及其采用的數據集和評價指標.

Table 3 Common Datasets of Citation Network表3 引文網絡常用數據集

Table 4 Hypergraph Neural Network Models, Datasets and Evaluations Applied for Citation Network Classification表4 應用于引文網絡分類的超圖神經網絡模型、數據集和評價指標

對于半監督節點分類任務，表5 羅列了3 種超圖神經網絡模型與經典的GCN 在Cora 上的比較，實驗中的訓練集和測試集數目分別為140 和1 000.其中DHGNNa和iHGAN 的準確度分別比GCN 提升了1%和1.4%，展現了超圖神經網絡的有效性.

Table 5 Experimental Results of Different Models on Cora Dataset表5 不同模型在Cora 數據集上的實驗結果%

4.1.2 情感識別

多超圖神經網絡（multi-hypergraph neural network，MHGNNa）[51]利用生理信號識別人類情緒，每種類型的生理信號建模為一個超圖，超圖中的頂點是一個受試對象和刺激物的二元組，超邊代表受試者之間的相關性. 若存在多種生理信號，則采用多個超圖建模. 每個超圖上執行卷積后融合多個超圖卷積的輸出結果，得到頂點的最終表示. 文獻[53]中提出一種利用生理信號識別情緒的邊加權超圖神經網絡，在訓練的過程中同時學習超邊權重和濾波器參數.

4.2 推薦系統

序列超圖增強下一項推薦（sequential hypergraphs to enhance next-item recommendation，HyperRec）[23]是一種端到端的框架，該框架利用序列超圖描述項目之間的短期相關性，結合超圖卷積層生成有效的項目動態嵌入. H2SeqRec 在雙曲空間中設計超圖卷積，從年度、季度和月度多個時間維度學習項目的嵌入.DHCF 是雙通道協同過濾框架，它采用分治策略學習用戶和項目的不同表示. 用戶間和項目間的高階相關性建模為用戶超圖和項目超圖，并利用超圖卷積學習用戶和項目的表示. 雙通道的設置使得在集成用戶和項目一起推薦的同時，又保持各自的屬性.SHCN 是基于用戶評論的信號超圖卷積網絡，設計了符號超邊卷積操作，通過自定義的鄰域聚合策略有效地傳遞用戶偏好，改進特征感知的推薦性能.

DHCN, SHARE[90], HGNNA[110]是基于會話推薦的超圖神經網絡模型. DHCN 是結合超圖和超圖線圖設計的雙通道超圖卷積網絡，其中超圖卷積負責捕獲項目級的高階關系，超圖的線圖卷積負責學習會話級關系. S2-DHCN 是加入了自監督學習的DHCN變體. SHARE 用一個超圖表示每個會話，項目是超圖中的頂點，超邊連接一個上下文窗口中所有的項目.引入超圖注意力機制來衡量項目對會話的重要性和會話對項目的影響. HGNNA 是基于超圖神經網絡和注意力機制的推薦模型. HGNNA 首先利用超圖神經網絡學習項目間的關聯，然后引入自注意力機制聚合會話信息，最后通過圖注意機制挖掘出會話間的相關性.

STAMP（short-term attention/memory priority）[135]和SR-GNN（session-based recommendation with graph neural networks）[136]是2 個先進的基線模型，分別通過引入注意力機制和GNNs 來增強基于會話的推薦.表6 記錄了基于會話推薦常用的數據集YooChoose和Diginetica. 從表7 中可以看出，超圖神經網絡模型SHARE，DHCN， S2-DHCN 優于SR-GNN，在Yoochoose 1/4 上平均倒數排名（mean reciprocal ranking，MRR）的MRR@K 值分別提升了0.22%，4.83 %，8.24%；在Diginetica 上MRR@K 值分別提升了0.46%，12.99%，13.35%. 而HGNNA 的性能也優于STAMP，證明了超圖神經網絡模型在該任務中的成效顯著.

Table 6 Common Datasets of Session-Based Recommendation表6 基于會話推薦的常用數據集

Table 7 Results of Different Models for Session-Based Recommendation（MRR@K）表7 基于會話推薦不同模型的結果（MRR@K） %

MHCN，HASRE[109]，SHGCN[111]都是用于社會推薦的超圖神經網絡模型.MHCN 是多通道超圖卷積網絡，它利用多通道，如社交通道、聯合通道和購買通道分別編碼用戶的高階關系，在超圖卷積網絡的訓練中引入自監督學習增強推薦性能. HASRE 是基于超圖注意力網絡的社會推薦算法，超圖建模用戶之間的高階關系，引入圖注意力機制為用戶的好友分配合適的權重，反映出好友對用戶的不同影響.SHGCN 主要解決非同質社會推薦問題，利用超圖表示復雜的三元社交關系（用戶-用戶-項目），設計超圖卷積網絡學習社會影響和用戶偏好.

LightGCN[137]是一個非常具有競爭力的基線模型，它對GCN 的內部結構進行了調整，大多數情況下在社會推薦任務中表現出最好或次優的性能. LastFM，Douban，Yelp 是常用于社會推薦的數據集，詳情如表8 所示. 表9 記錄了LightGCN 與超圖神經網絡模型DHCF，MHCN，HASRE 的比較，實驗結果引用自HASRE，故這里的訓練集、驗證集和測試集的占比與HASRE 一樣，分別為80%，10%，10%. 除了DHCF，其他3 個超圖神經網絡模型的性能都優于LightGCN.其中，HASRE 在3 個數據集中均表現出最佳的效果，展現了超圖神經網絡模型在社會推薦任務中具有顯著的效果.

Table 8 Common Datasets of Social Recommendation表8 社會推薦的常用數據集

Table 9 Results of Different Models for Social Recommendation表9 社會推薦不同模型的結果%

群體推薦的分層超圖學習框架HHGR[107]分別在用戶級和組級超圖上設計超圖卷積網絡，捕獲用戶之間的組內和組間的交互. HyperTeNet[108]用于實現任務中的個性化列表延續任務，構建3 一致超圖，采用Hyper-SAGNN 學習用戶、項目和列表之間的三元關系. Liu 等人[89]設計的知識感知超圖神經網絡（knowledge-aware hypergraph neural network，KHNN），從知識圖譜學習用戶、項目和實體之間的高階關系. 表10介紹了應用于推薦的超圖神經網絡模型及其采用的數據集和評價指標.

Table 10 Hypergraph Neural Network Models, Datasets and Evaluation Applied for Recommendation System表10 應用于推薦系統的超圖神經網絡模型、數據集和評價指標

4.3 計算機視覺

4.3.1 圖像任務

Wadhwa 等人[138]提出一種基于超圖卷積的圖像補全技術，從輸入的數據中學習超圖結構. 超圖卷積中代表超圖結構的關聯矩陣包含每個頂點對超邊的貢獻信息，由空間特征的互相關計算貢獻權重. HGCNN（hypergraph convolutional neural networks）[63]是解決3D 人臉反欺騙問題的超圖卷積神經網絡. 每張人臉構建一個超圖，利用超圖卷積學習深度特征和紋理特征，將它們拼接起來作為用于分類的最終表示. 譜-空間超圖卷積神經網絡（spectral-spatial hypergraph convolutional neural network，S2HCN）[105]是用于高光譜圖像分類的超圖卷積神經網絡，首先從高光譜圖像中挖掘譜特征和空間特征，然后分別基于這2 個特征構建超圖，并將這些超圖融合為一個超圖，最后將超圖和初始高光譜圖像作為超圖卷積的輸入. 多粒度超圖（multi-granular hypergraph，MGH）學習框架[98]能夠同時運用時間和空間線索完成視頻身份識別，故超圖神經網絡可用于探索視頻序列中的多粒度時空線索之間的高階相關性.

HI-GCN 和AdaHGNN 用于多標簽圖像分類任務.HI-GCN 采用數據驅動的方式為標簽構建一個自適應超圖，再利用超圖誘導圖卷積網絡更新標簽嵌入. AdaHGNN 用自動學習關聯矩陣的方法來構造自適應超圖，利用超圖神經網絡學習多標簽之間的高階語義關系. HI-GCN 和AdaHGNN 構建的超圖中，每個標簽作為一個頂點，但定義超邊的方法不同. Dang等人[139]設計一種用于解決帶噪聲的標簽學習問題的超圖神經網絡.

4.3.2 視覺對象抽取

Zheng 等人[140]為視覺事件推理任務設計了一種多模態模型，稱為超圖增強圖推理. 該模型通過有效地集成圖卷積、超圖卷積和自注意力機制，提升模型的視覺推理和視覺敘述能力. 超圖構建采用KNN 算法，其中頂點代表視覺特征和文本特征，超圖卷積操作與HGNN 類似.

4.3.3 視覺問答

多模式學習的主要任務是處理來自多個不同來源的信息，視覺問答（VQA）是一種典型的多模式學習任務，它的任務目標是回答關于圖像場景的文本問題，需要處理包括圖像和文本的信息.HANs 是用于多模態學習的超圖注意力網絡.

4.3.4 行為識別

Hyper-GNN[84]是基于骨骼的動作識別的超圖神經網絡，通過三流超圖神經網絡動態地融合關節流、骨骼流和運動流3 種特征，并充分地利用它們之間的互補性和多樣性. SD-HNN 通過半動態超圖神經網絡從2D 姿勢重新估計人體的3D 姿勢，用超圖建模人體，使用靜態超圖和動態超圖分別表示關節之間的局部和全局運動約束，有效地刻畫了人體關節之間的復雜運動學關系.

4.3.5 視覺對象分類

視覺對象分類任務中，每個對象作為頂點，采用KNN 算法生成超邊，運用HGNN 和HGATs 實現對象識別任務. HGNN 完全依賴超圖結構，沒有突顯出頂點和超邊的重要性；HGATs 不依賴于超圖結構，對頂點和超邊賦予不同的重要性，可以用于歸納學習. 對于多模態數據，MultiHGNN 拼接（采用均值）的是卷積結果，而HGNN 拼接的是超圖結構. HGWNN 是引入小波變換設計的超圖小波神經網絡，采用最遠點采樣（FPS）算法和球查詢方法構建超圖. 多尺度超圖神經網絡（multi-scale hypergraph neural network，MHGNNb）[91]的超圖卷積操作與HGNN 類似，但它融合了每層超圖卷積的頂點特征；而HGNN 僅使用最后一層特征，未考慮每一層的頂點特征信息，顯得信息比較單一. DeepHGNN 是一種加深HGNN 的超圖神經網絡.

NTU 和ModelNet40 是超圖神經網絡常用于視覺對象分類的數據集，具體細節如表11 所示. 表12 記錄了6 個超圖神經網絡與GCN 在2 個數據集上的實驗結果，可以觀察到超圖神經網絡模型在NTU 上的分類準確率都高于84%，比GCN 至少提高了8%， 其中HGWNN 和ResMultiHGNN 分類準確率分別提高了15%和16%. 同樣地，超圖神經網絡模型在Model-Net40 上的分類準確率也都優于GCN，充分地展現出超圖神經網絡在這類任務中的優勢. 表13 總結了應用于計算機視覺的超圖神經網絡模型及其采用的數據集和評價指標.

Table 11 Common Datasets of Visual Object Classification表11 視覺對象分類常用數據集

Table 12 Results of Different Models for Visual Object Classification （Accuracy）表12 視覺對象分類不同模型的結果（Accuracy）%

Table 13 Hypergraph Neural Network Models, Datasets and Evaluations Applied for Computer Vision表13 應用于計算機視覺的超圖神經網絡模型、數據集和評價

4.4 自然語言處理

4.4.1 文本分類

HyperGAT 是針對文本分類任務設計的基于雙注意力機制的超圖注意力網絡，使用文檔級超圖建模每個文本文檔，頂點表示文檔中的單詞，存在順序超邊和語義超邊. 采用頂點級和邊級注意力學習高階關系和有判別力的表示. 該模型適用于歸納式訓練.

4.4.2 生物事件抽取

生物醫學事件抽取是涉及生物醫學概念的一項抽取任務，需要從生物醫學的上下文本中提取有用的基本信息. Zhao 等人[141]提出一個用于解決該任務的端到端的文檔2 級聯合框架，通過堆疊 HANN 層，有效地建模生物醫學文檔中局部和全局上下文之間的相互關聯.

4.4.3 知識圖譜

DHGCN 是在超圖卷積操作中融入方向信息的有向超圖卷積網絡，它很自然地將超圖卷積擴展到有向超圖，提出基于有向超圖卷積網絡的多跳知識庫問答模型2HR-DR. 受CompGCN [142]和遞歸超圖的啟發，Yadati 等人[143]引入遞歸超圖建模知識庫，提出遞歸超圖網絡（recursive hypergraph network， Rec-HyperNet），用于知識庫問答任務. Han 等人[144]提出基于文本增強知識圖譜的開放領域問答模型，利用文本語義信息增強實體表示和文本結構補充知識庫中的關系. 其中每個文本視為一條超邊，用于連接該文本中的實體，然后對文本超邊形成的超圖執行超圖卷積，更新實體信息. Fatemi 等人[65]提出HSimplE和HypE 直接對知識超圖進行鏈路預測.

知識庫問答是自然語言處理中的一種任務，常用的傳統模型有KV-MemNet（key- value memory network）[145]和 GraftNet（graphs of relations among facts and text networks）[146]，前者將知識庫事實以鍵-值的結構存儲；后者用文本信息和實體一起構建圖，并將 GCN應用于推理. 常用數據集MetaQA 和WebQuestionsSP的描述如表14 所示. 雖然傳統模型有各自的優勢，但從表15 可以看出超圖神經網絡模型2HR-DR 和RecHyperNet 的性能更優. 特別地，RecHyperNet 在2個數據集上比GraftNet 分別提升了2.1 個百分點和1.6 個百分點，表明超圖神經網絡模型的可行性和有效性. 實驗結果來自RecHyperNet 中的實驗，故具有可比性. 表16 總結了應用于自然語言處理的超圖神經網絡模型及其采用的數據集和評價指標.

Table 14 Common Datasets of Knowledge Base Question Answering表14 知識庫問答常用數據集

Table 15 Results of Different Models for Knowledge Base Question Answering（Hits@1）表15 知識庫問答不同模型的結果（Hits@1）%

Table 16 Hypergraph Neural NetWork Models, Datasets and Evaluations Applied for Natural Language Processing表16 應用于自然語言處理的超圖神經網絡模型、數據集和評價指標

4.5 股票預測

時空超圖卷積網絡STHGCN、時空超圖注意力網絡STHAN-SR 和超圖三注意力網絡HGTAN 都是用于預測股票趨勢的模型. 具體地，STHGCN 用超圖表示股票間的產業關系，設計時空超圖卷積學習股票價格的時間演化和股票之間的關系. STHAN- SR將股票預測任務刻畫為一個學習排序問題，結合超圖卷積和時間霍克斯注意機制探索股票之間的空間復雜關系和時間依賴性. HGTAN 引入分層注意力機制，設計超邊內、超邊間和超圖間的注意力分別衡量頂點、超邊和超圖在股票間信息傳遞中的重要性，從而挖掘出股票運動的潛在關系. 表17 記錄了應用于預測股票趨勢的超圖神經網絡模型及其采用的數據集和評價指標.

Table 17 Hypergraph Neural Network Models, Datasets and Evaluation Applied for Stock Trend Prediction表17 應用于預測股票趨勢的超圖神經網絡模型、數據集和評價指標

4.6 化學和醫療

Hyper-SAGNN 能夠學習有效的細胞嵌入，有助于理解高階基因組的細胞間變化. NHP 采用有向超圖和無向超圖建?；瘜W反應網絡，2 個變體NHP-D（有向）和NHP-U（無向）用于化學反應預測，通過團擴張將超圖轉化為普通圖后實現超圖鏈路預測. Hou等人[78]用加權有向超圖建模細胞之間的多對多關系，將加權有向超圖轉換為超邊圖，并在超邊圖上運用MCL （Markov cluster algorithm）[147]和Louvain[148]社區檢測算法.

HGGAN 是用于分析阿爾茨海默病的超圖生成對抗網絡. MRL-AHF 是用于診斷阿爾茨海默病的框架，由多模態表示學習和對抗性超圖融合組成.HUNet（hypergraph U-Net）[68]利用超圖結構學習數據樣本的嵌入和高階關系，應用于腦圖的嵌入和分類.Banka 等人[69]設計超圖自編碼器學習大腦區域間的高階關系，實現腦狀態分類. Madine 等人[149]設計了診斷自閉癥譜系障礙的超圖神經網絡，提出用無監督多核學習增強超圖神經網絡的學習能力. 表18 描述了應用于生化醫療領域的超圖神經網絡模型及其采用的數據集和評價指標.

4.7 交通機械

地理-語義-時間超圖卷積網絡GST-HCN 用于預測交通流，利用地理-時間圖卷積和語義-時間超圖卷積聯合學習地理、語義和時間的高階相關性. 動態時空超圖圖卷積網絡（dynamic spatio-temporal hypergraph graph convolution network，DSTHGCN）[88]用于預測地鐵客流，超圖建模軌道交通數據，充分地考慮了地鐵的拓撲結構和乘客出行方式的多樣化，設計超圖卷積和時間卷積學習頂點的時空特征，進而提高預測性能. 鑒于有向超圖可以同時刻畫空間信息和有向關系， DHAT 采用了有向超圖建模道路網絡，基于有向超圖設計有向超圖卷積挖掘交通序列之間的空間關系，并結合注意力機制實現有效的交通預測. 表19描述了應用于交通預測的超圖神經網絡模型及其采用的數據集和評價指標.

Table 19 Hypergraph Neural Network Models, Datasets and Evaluation Applied for Traffic Forecast表19 應用于交通預測的超圖神經網絡模型、數據集和評價指標

化學機械拋光（chemical mechanical planarization，CMP）是半導體行業中的一種關鍵工藝，其表面平整度在很大程度上影響制造質量. 材料去除率（material removal rate, MRR）在這個過程處于重要的地位. Xia等人[127]開發了一種基于時間的超圖卷積網絡，用于預測CMP 過程中的MRR，通過超圖卷積、超圖注意力和GRU 學習異構數據之間的相關性.

5 未來研究方向

近3 年，在圖神經網絡的成功和超圖建模的優勢的推動下，超圖神經網絡快速發展并取得顯著的成果，但由于超圖神經網絡的研究還處于新起階段，因此存在需要迫切解決的問題，并可將其作為進一步研究的方向.

5.1 超圖建模方法

采用圖建模數據在設計圖神經網絡時扮演著重要的角色，與構建圖神經網絡一樣，構建超圖在設計超圖神經網絡模型的過程中也具有重要的地位，會直接影響模型性能. 現有的超圖神經網絡利用超圖建模數據間的高階復雜關系，構建超圖的常用方法有基于距離、基于表示、基于屬性和基于網絡的方法[32].然而，這些方法所構建出的超圖結構是靜態的，在學習的過程中沒有隨著頂點表示的更新而動態調整.雖然DHGNNa和AHGCN 等模型中已經考慮動態地構造超圖，但是都有各自的局限性. 如在加入新數據時需要重新訓練等問題. 現有的適用于超圖神經網絡的超圖構造方法的研究工作比較少，故對于如何構造切實有助于從結構上提升模型性能的超圖十分必要.

5.2 深層超圖神經網絡

圖神經網絡關于深層模型的探索已取得令人鼓舞的成果，如JK-Nets（jumping knowledge networks）[150]，DropEdge[151]，GCNII 等. 盡管近3 年來超圖神經網絡在各個領域都有廣泛的應用，但它們大多是淺層模型. 在不犧牲性能的前提下，關于深層模型的研究很少， 如ResMultiHGNN，DeepHGNN，UniGNN， 其中ResMultiHGNN 和UniGCN 引入GCNII 中的方法，將其直接地從圖結構推廣到超圖上. DeepHGNN 提出用采樣超邊等方式加深網絡，但局限于加深的模型有限，并未提出一個超圖神經網絡通用的深層框架.因此，在加深的過程中是否會遇到與加深GNNs 時相同的問題，如過擬合、過平滑等；是否會出現GNNs中未遇到的其他問題；通過什么技術可以有效地緩解出現的問題都需要在將來加以解決和研究.

5.3 超圖神經網絡的理論

現有的超圖神經網絡模型大多數是顯式或隱式地推廣圖神經網絡模型到超圖建模的數據上. 圖和超圖刻畫和表示數據相關性不同，但現有探討超圖神經網絡模型的文獻中涉及模型理論研究的很少.這些文獻的重點是在具體任務中提升模型性能，少有從理論的角度解釋模型. 超圖除了擁有靈活的建模能力外，還具有其他屬性和性質，因此，如何使用這些屬性和性質構建更好的超圖神經網絡，如何將超圖理論作為工具探究和解釋模型也是值得研究的工作.

5.4 超圖神經網絡的深度應用

現實生活中存在很多關系復雜的網絡，雖然現有超圖神經網絡的應用涉及社交網絡、推薦系統、計算機視覺、自然語言處理、金融、生物化學和交通預測等，但在具體的領域中涉及的任務較少且單一，如金融領域僅考慮了股票趨勢預測的任務. 因此，研究如何將超圖神經網絡深度地應用于各個領域也十分有意義.

6 總 結

從2019 年Feng 等人[19]首次提出的超圖神經網絡HGNN，到DHGCN，DHGNNa，HWNN，HyperGAT，HGC-RNN，HGGAN, MHCN 等不同模型. 這些模型不斷豐富和完善超圖神經網絡家族. 雖然超圖神經網絡發展的時間短、起步晚，但它借助可以挖掘數據間的潛在高階關系吸引越來越多的研究者從事這方面的探索和鉆研. 他們主要的工作是優化和改進模型算法、超圖結構，推動超圖神經網絡應用于各個領域并取得不俗的表現. 因此，通過閱讀大量文獻，本文全面地回顧和綜述了超圖神經網絡模型的研究歷程.

本文概括和分析了近3 年出現的超圖神經網絡模型和框架，將超圖神經網絡分為超圖卷積神經網絡、超圖循環神經網絡和超圖生成對抗網絡3 類. 在第3 節中詳細地介紹了這3 類中代表性的模型算法并做比較. 第4 節中歸納了超圖神經網絡在社交網絡、推薦系統、計算機視覺和自然語言處理等領域的應用，并列舉了所采用的數據集和評價指標. 通過第5節探討了存在于超圖神經網絡中一些需要解決的關鍵研究問題.

總之，超圖神經網絡作為一種新興的研究方向，由于其發展歷程較短，現有的模型存在自身的不足和局限性，有待改進和提升的空間很大. 因此，其具有豐富的可研究內容. 未來，隨著更多研究者的加入，這些問題會得到不斷改善和解決，同時會開發出更多優秀的模型來擴充超圖神經網絡體系，拓展其應用的廣度和深度.

作者貢獻聲明：林晶晶收集和分析相關參考文獻，負責論文撰寫和校對；冶忠林、趙海興提出指導意見并修改論文；李卓然收集和整理相關文獻.