基于模糊超圖神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)分類方法

熊婉悅 徐峰 黃宇廷 韓星宇 范自柱

收稿日期：2023-10-24

基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（61991401）；衢州市科技計(jì)劃項(xiàng)目（2023K265）

文章編號(hào)：1005-0523（2024）03-0119-08

摘要：【目的】超圖神經(jīng)網(wǎng)絡(luò)（HGNN）具有學(xué)習(xí)類間唯一性和類內(nèi)共性的能力，可以顯著提高學(xué)習(xí)性能。但是，傳統(tǒng)HGNN方法缺乏決定低維數(shù)據(jù)節(jié)點(diǎn)間如何進(jìn)行連接交互的強(qiáng)關(guān)系歸納。針對(duì)此問(wèn)題，提出一種基于模糊理論的模糊HGNN（FHGNN）節(jié)點(diǎn)分類算法，根據(jù)數(shù)據(jù)節(jié)點(diǎn)的特征信息構(gòu)建超圖結(jié)構(gòu)，加強(qiáng)了圖的節(jié)點(diǎn)信息對(duì)節(jié)點(diǎn)連接的影響。【方法】FHGNN首先采用了一個(gè)邊聚焦的圖神經(jīng)網(wǎng)絡(luò)（GNN），通過(guò)邊標(biāo)簽的迭代更新進(jìn)行邊預(yù)測(cè)。并根據(jù)邊預(yù)測(cè)的輸出設(shè)計(jì)模糊隸屬度函數(shù)，以實(shí)現(xiàn)更精確的節(jié)點(diǎn)間連接關(guān)系表示。最后通過(guò)得到的關(guān)系表示構(gòu)造超圖，并再次對(duì)節(jié)點(diǎn)進(jìn)行分類訓(xùn)練得到結(jié)果。在FHGNN中使用了邊標(biāo)簽損失函數(shù)和節(jié)點(diǎn)標(biāo)簽損失函數(shù)并分別對(duì)其參數(shù)進(jìn)行訓(xùn)練學(xué)習(xí)。【結(jié)果】實(shí)驗(yàn)結(jié)果表明，所提的FHGNN方法更能夠適應(yīng)小規(guī)模低維數(shù)據(jù)，并在節(jié)點(diǎn)分類任務(wù)上取得好的效果。【結(jié)論】對(duì)于不同數(shù)據(jù)集的分類任務(wù)，F(xiàn)HGNN可以更有效學(xué)習(xí)節(jié)點(diǎn)的相關(guān)特征信息，提高學(xué)習(xí)的效果。

關(guān)鍵詞：超圖；超圖神經(jīng)網(wǎng)絡(luò)；模糊系統(tǒng)；節(jié)點(diǎn)分類

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)志碼：A

本文引用格式：熊婉悅，徐峰，黃宇廷，等.基于模糊超圖神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)分類方法[J]. 華東交通大學(xué)學(xué)報(bào)，2024，41（3）：119-126.

Node Classification Method Based on Fuzzy

Hypergraph Neural Network

Xiong Wanyue， Xu Feng， Huang Yuting， Han Xingyu， Fan Zizhu

（School of Science， East China Jiaotong University， Nanchang 330013， China）

Abstract： 【Objective】Hypergraph neural networks （HGNN） have the ability to learn inter-class uniqueness and intra-class commonality， which can significantly improve learning performance. However， traditional HGNN methods are in lack of the strong relational induction which determines the way how low-dimensional data nodes interact with each other. In order to solve this problem， a fuzzy HGNN（FHGNN） classification algorithm based on fuzzy theory is proposed， and hypergraph structure is constructed according to the characteristic information of data nodes. 【Method】FHGNN first adopts an edge-focused GNN to make edge prediction through iterative updates of edge labels. The fuzzy membership function is designed according to the output of edge prediction to achieve a more accurate representation of the connection relationship between nodes. Finally， the hypergraph is constructed by the relation representation. Then the nodes are classified again and the result is obtained. The edge label loss function and node label loss function are used in FHGNN and their parameters are trained and learned respectively. 【Result】Experimental results prove the proposed FHGNN method is more suitable for small-scale data with low node information dimension， and performs well in node classification tasks.【Conclusion】For classification tasks of different data sets， FHGNN can learn the relevant feature information of nodes more effectively and improve the learning effect.

Key words：? hypergraph; hypergraph neural network; fuzzy system; node classification

Citation format： XIONG W Y， XU F， HUANG Y T， et al. Node classification method based on fuzzy hypergraph neural network[J]. Journal of East China Jiaotong University， 2024， 41（3）： 119-126.

【研究意義】近年來(lái)，圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）在數(shù)據(jù)處理的優(yōu)秀性能受到機(jī)器學(xué)習(xí)領(lǐng)域的廣泛關(guān)注。組成GNN的普通圖結(jié)構(gòu)只允許對(duì)象進(jìn)行成對(duì)的交互，而在許多現(xiàn)實(shí)應(yīng)用中，對(duì)象之間的交互會(huì)超越成對(duì)交互，涉及高階關(guān)系。例如，在大腦的連接網(wǎng)絡(luò)中，多個(gè)大腦區(qū)域通常以神經(jīng)系統(tǒng)的方式一起工作，以完成某些功能任務(wù)。為了真實(shí)地描述這種連接，普通圖結(jié)構(gòu)中的兩兩建模是不夠的，必須要在大腦區(qū)域之間合并高階的交互信息。因而引入的超圖結(jié)構(gòu)表明了多個(gè)區(qū)域之間的相關(guān)性。超圖中的每個(gè)頂點(diǎn)代表一個(gè)大腦區(qū)域，每個(gè)超邊則代表多個(gè)大腦區(qū)域之間的相互作用。普通圖中多個(gè)對(duì)象的成對(duì)關(guān)系和高階關(guān)系之間存在著明顯的區(qū)別，而普通圖結(jié)構(gòu)的容量有限，它們只能描述成對(duì)的關(guān)系。與普通圖相比，在處理真實(shí)數(shù)據(jù)時(shí)，超圖在表示多個(gè)對(duì)象之間的高階關(guān)系方面具有顯著優(yōu)勢(shì)。例如，在多智能體（multi-agent）軌跡預(yù)測(cè)[1]過(guò)程中，采用多尺度超圖構(gòu)建的超圖神經(jīng)網(wǎng)絡(luò)可以提取不同尺度的節(jié)點(diǎn)組之間的交互，相比以往只能單獨(dú)描述成對(duì)交互的基于普通圖的方法，超圖表現(xiàn)得更詳細(xì)直觀。因而基于超圖構(gòu)建的超圖神經(jīng)網(wǎng)絡(luò)（hypergraph neural network，HGNN）也被廣泛應(yīng)用于各種數(shù)據(jù)處理任務(wù)中，如節(jié)點(diǎn)分類[2]、鏈接預(yù)測(cè)、社區(qū)檢測(cè)、多標(biāo)簽分類、3D對(duì)象分類[3]、點(diǎn)云匹配和聚類。

【關(guān)鍵問(wèn)題】基于圖的學(xué)習(xí)方法的主要任務(wù)之一是尋找樣本之間相似性質(zhì)。但“相似”是一個(gè)模糊的概念，它并沒(méi)有明確的定義。為了解決此問(wèn)題引入了模糊理論，提出模糊超圖神經(jīng)網(wǎng)絡(luò)（Fuzzy HGNN，F(xiàn)HGNN）模型。模糊理論能夠很好地處理有關(guān)模糊、主觀性和不精確判斷的問(wèn)題，從而FHGNN利用模糊理論使得相似節(jié)點(diǎn)樣本有更好的連接關(guān)系表示。與以往的HGNN方法不同，F(xiàn)HGNN提供了一個(gè)計(jì)算邊信息的過(guò)程，而不是采用以往的k近鄰方法構(gòu)圖。該模型將節(jié)點(diǎn)之間的邊關(guān)系構(gòu)造視為一個(gè)模糊問(wèn)題，計(jì)算每條邊元素的隸屬度，由邊預(yù)測(cè)來(lái)生成HGNN中的邊特征值。這里的隸屬度是一種更合理的模糊關(guān)系表示，可以為不同的學(xué)習(xí)應(yīng)用提供更合適的樣本節(jié)點(diǎn)間連接方式。

【研究進(jìn)展】本文提出的FHGNN由一個(gè)側(cè)重于節(jié)點(diǎn)的HGNN和一個(gè)側(cè)重于邊的GNN組成。首先，構(gòu)造一個(gè)全連接的完全普通圖結(jié)構(gòu)，通過(guò)一個(gè)GNN來(lái)執(zhí)行節(jié)點(diǎn)鏈接關(guān)系即邊的預(yù)測(cè)并計(jì)算損失。然后根據(jù)損失函數(shù)更新后的邊信息和設(shè)計(jì)的隸屬度函數(shù)構(gòu)造超邊。這些超邊就將原本完全普通圖更新為新的超圖結(jié)構(gòu)。最后再次使用節(jié)點(diǎn)信息通過(guò)HGNN進(jìn)行節(jié)點(diǎn)分類。

【創(chuàng)新特色】總結(jié)FHGNN方法的優(yōu)點(diǎn)有：為超圖神經(jīng)網(wǎng)絡(luò)提供了一個(gè)邊預(yù)測(cè)過(guò)程，以獲得有用的節(jié)點(diǎn)連接信息表示；通過(guò)模糊理論中的隸屬度函數(shù)來(lái)生成更合理的超邊連接；邊信息更新和節(jié)點(diǎn)信息更新使用的不同損失函數(shù)可以提高對(duì)不同任務(wù)的泛化能力。

1 相關(guān)研究背景

1.1 超圖

超圖結(jié)構(gòu)已經(jīng)被用于許多機(jī)器學(xué)習(xí)任務(wù)中，對(duì)數(shù)據(jù)之間的高階相關(guān)性進(jìn)行建模。超圖（hypergraph）是離散數(shù)學(xué)中的一個(gè)重要概念，是圖的推廣。因此，超圖的許多概念的定義，與圖的定義有關(guān)。超圖可表示為H=（X， E），即一個(gè)超頂點(diǎn)集和一個(gè)超邊集，圖1所示為超圖。超頂點(diǎn)集X是一個(gè)有限集，而超邊表示頂點(diǎn)集的子集，E為超邊的集合。

傳統(tǒng)的圖論問(wèn)題是最早期超圖研究的焦點(diǎn)。在之后超圖理論快速發(fā)展，一些更為廣泛的應(yīng)用性問(wèn)題才在超圖上被有針對(duì)性地加以研究，并在近些年成為研究熱點(diǎn)。超圖學(xué)習(xí)最早應(yīng)用于視頻對(duì)象分割和對(duì)圖像關(guān)系進(jìn)行建模。之后為了進(jìn)一步改進(jìn)超圖結(jié)構(gòu)，超邊權(quán)重作為一個(gè)對(duì)數(shù)據(jù)相關(guān)性建模有很大影響的因素，引起了超圖研究的關(guān)注。

1.2 超圖神經(jīng)網(wǎng)絡(luò)

超圖應(yīng)用于同時(shí)建立多個(gè)節(jié)點(diǎn)的語(yǔ)義關(guān)系，并連接非線性的高階關(guān)聯(lián)。圖結(jié)構(gòu)數(shù)據(jù)的爆炸式增長(zhǎng)，使得超圖神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于社交網(wǎng)絡(luò)分析、圖像處理、生物反應(yīng)解析等領(lǐng)域。超圖的表示理論也在近些年快速發(fā)展。Feng等[3]提出了超圖神經(jīng)網(wǎng)絡(luò)框架，設(shè)計(jì)了一種超邊卷積操作來(lái)處理超圖表示學(xué)習(xí)，實(shí)現(xiàn)了超圖結(jié)構(gòu)信息和節(jié)點(diǎn)特征信息更好的融合。Jiang等[4]設(shè)計(jì)的DHGNN模型利用聚類方法提取超圖的隱藏關(guān)系，并根據(jù)局部和全局特征建立和更新拓?fù)浣Y(jié)構(gòu)。對(duì)于噪聲的過(guò)濾，Yadati等[5]提出的Hyper-GCN模型可以過(guò)濾采樣過(guò)程中可能存在的數(shù)據(jù)噪聲。Yang等[6]提出了一種新的超圖展開(kāi)方法LE（line expansion），更多地保留了超圖的原始結(jié)構(gòu)，解決了信息丟失的問(wèn)題。

1.3 模糊理論

模糊理論可以處理與模糊、主觀性和不精確判斷的相關(guān)問(wèn)題，它可以量化現(xiàn)有數(shù)據(jù)的各個(gè)方面在決策時(shí)的傾向。有許多的概念都是不能清晰定義的，比如“年輕”的概念，因?yàn)樵凇澳贻p”和“不年輕”之間沒(méi)有一個(gè)確定的邊界。模糊理論中的模糊集合就是由這些待考察的模糊對(duì)象和反映他們關(guān)系的模糊概念組成。模糊理論對(duì)模糊集合進(jìn)行運(yùn)算，它通過(guò)建立合適的隸屬度函數(shù)，來(lái)對(duì)模糊對(duì)象進(jìn)行分析。隸屬度函數(shù)衡量了模糊對(duì)象中的元素對(duì)模糊集合的隸屬度。FHGNN方法則將圖節(jié)點(diǎn)之間的關(guān)系看作一個(gè)模糊概念，通過(guò)一個(gè)隸屬度函數(shù)，將圖節(jié)點(diǎn)之間的關(guān)系映射到一個(gè)單位區(qū)間[0，1]，并利用隸屬度函數(shù)為強(qiáng)相似的節(jié)點(diǎn)組間連接超邊。

2 模糊超圖神經(jīng)網(wǎng)絡(luò)

如圖2所示，F(xiàn)HGNN模型主要由兩個(gè)部分組成：關(guān)系編碼器φ和分類器[θ]。其中關(guān)系編碼器為GNN，分類器為HGNN。關(guān)系編碼器利用節(jié)點(diǎn)特征進(jìn)行節(jié)點(diǎn)間連接關(guān)系的計(jì)算，輸出節(jié)點(diǎn)連接關(guān)系表示的預(yù)測(cè)，然后利用隸屬函數(shù)得到的連接關(guān)系表示構(gòu)建超邊。最后將節(jié)點(diǎn)信息通過(guò)新的超圖結(jié)構(gòu)進(jìn)行HGNN節(jié)點(diǎn)分類。FHGNN在關(guān)系編碼器的輸出使得構(gòu)建的超圖在相似節(jié)點(diǎn)有更強(qiáng)的連接。

在FHGNN中，每個(gè)樣本用一個(gè)節(jié)點(diǎn)表示，這些樣本之間的連接關(guān)系用超邊表示。將[G=（v，ε;t）]定義為對(duì)任務(wù)T學(xué)習(xí)得到的圖。[V=vii=1：t]是節(jié)點(diǎn)集（個(gè)數(shù)為[t]），其中[vi]是節(jié)點(diǎn)的特征。[E=eiji，j=1：t]是邊的集合，其中[eij]是邊的特征。設(shè)[X=xii=1：t]，[x∈Rn]，為所有樣本t的特征，而[Y=yii=1：t]為樣本的類別標(biāo)簽。邊預(yù)測(cè)的值[Y=yiji，j=1：t]定義為

[yij=0，if yi=yj1，if yi≠yj] （1）

2.1 關(guān)系編碼器

關(guān)系編碼器基于一個(gè)GNN來(lái)計(jì)算每個(gè)節(jié)點(diǎn)間的連接程度。在GNN計(jì)算過(guò)程中，節(jié)點(diǎn)信息通過(guò)圖傳播，節(jié)點(diǎn)和邊可以根據(jù)圖結(jié)構(gòu)聚合他們的鄰居信息，并通過(guò)鄰居得到其他節(jié)點(diǎn)間的連接關(guān)系。因此，兩個(gè)節(jié)點(diǎn)的連接關(guān)系計(jì)算并不僅僅依賴于節(jié)點(diǎn)本身，還依賴于圖中其他節(jié)點(diǎn)的連接信息。

關(guān)系編碼器輸入的是節(jié)點(diǎn)的初始特征向量。在第L層關(guān)系編碼器中，連接關(guān)系特征首先通過(guò)更新函數(shù)[fle]進(jìn)行更新，輸入為兩個(gè)不同節(jié)點(diǎn)的特征[2]

[el+1ij=flevli，vlji，j=1：t]???????? （2）

然后通過(guò)節(jié)點(diǎn)更新函數(shù)[flv]來(lái)更新節(jié)點(diǎn)特征[2]

[vl+1i=flvjel-1ijvl-1jjel-1ijvl-1i]??????? （3）

式中：||為連接操作。關(guān)系編碼器φ將通過(guò)在任務(wù)T結(jié)束時(shí)損失L進(jìn)行優(yōu)化[2]

[Lφ=1ei，j=1：tleeL1ij，yij;φ]????? （4）

式中：[L1]為關(guān)系編碼器中的層數(shù)。通過(guò)將關(guān)系編碼器的更新函數(shù)最后輸出的節(jié)點(diǎn)關(guān)系表示值設(shè)置為一個(gè)一維向量，使得每層的更新可以使用相同的關(guān)系編碼器。

2.2 隸屬度函數(shù)構(gòu)建超邊

通過(guò)模糊理論將節(jié)點(diǎn)之間的模糊連接關(guān)系轉(zhuǎn)化成可計(jì)算的隸屬度函數(shù)。用隸屬度函數(shù)?來(lái)推斷關(guān)系編碼器預(yù)測(cè)的節(jié)點(diǎn)連接關(guān)系。隸屬度函數(shù)由FHGNN中的邊集合層的輸出來(lái)定義

[μeij=1，if eij≥α0，if eij<α] （5）

即對(duì)于任意點(diǎn)[vi]構(gòu)建超邊[Ei]，如果[eij<αj≠i]，那么[Ei]這條超邊就會(huì)包括[vj]，其中[i=1：t，][0<α<1]，超邊[Ei=vi，vj1，vj2，…]。通過(guò)隸屬度函數(shù)[μ]來(lái)處理的節(jié)點(diǎn)連接關(guān)系，使得形成的超邊會(huì)傾向鏈接有相似特征信息的節(jié)點(diǎn)。

2.3 HGNN分類器

通過(guò)隸屬度函數(shù)構(gòu)建超圖，得到用于HGNN分類器中超圖的鄰接矩陣H。然后根據(jù)矩陣H來(lái)聚合鄰域信息更新節(jié)點(diǎn)的特征向量。其中，關(guān)系編碼器和分類器中的節(jié)點(diǎn)更新函數(shù)具有不同的參數(shù)。然后，將超邊集連接起來(lái)，生成超圖相鄰矩陣H，將超圖相鄰矩陣H和節(jié)點(diǎn)特征輸入HGNN。然后利用公式建立一個(gè)超邊卷積層[3]

[Xl+1=σD-1/2vHWD-1eHTD-1/2vXlΘl]?? （6）

式中：[Xl=RN×C]為l層超圖的節(jié)點(diǎn)特征矩陣；[X0=X]，[X∈RN×C1]為超圖節(jié)點(diǎn)的初始特征矩陣，具有N個(gè)節(jié)點(diǎn)和[C1]維特征；[σ]為非線性激活函數(shù)；W初始化為一個(gè)單位矩陣；[Θ∈RC1×C2]為需要訓(xùn)練學(xué)習(xí)的參數(shù)，將超圖的節(jié)點(diǎn)信息通過(guò)濾波器[Θ]提取有用特征。經(jīng)過(guò)卷積得到[Y∈RN×C2]來(lái)用于分類。

最后為每個(gè)任務(wù)T優(yōu)化HGNN分類器θ，使用以下?lián)p失函數(shù)優(yōu)化分類器模型

[Lθ=i=1：tlθvL2i，yi;θ]??????? （7）

式中：[lθ]為交叉熵?fù)p失；[L2]為HGNN分類器中的層數(shù)。更新后的[θ]將會(huì)更適合于當(dāng)前的任務(wù)T。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

為驗(yàn)證模型的總體性能，用UCI官網(wǎng)下載的幾個(gè)常用分類數(shù)據(jù)集在模型上進(jìn)行實(shí)驗(yàn)。表1顯示了實(shí)驗(yàn)所用到的數(shù)據(jù)集。

1） 超圖數(shù)據(jù)集。Zoo數(shù)據(jù)集的每個(gè)樣本包含17個(gè)布爾類型的屬性。超邊是由所有具有相同分類特征值的節(jié)點(diǎn)創(chuàng)建的。NTU2012是來(lái)自計(jì)算機(jī)視覺(jué)/圖形學(xué)領(lǐng)域的數(shù)據(jù)。實(shí)驗(yàn)從原始論文[3]中復(fù)制相同的設(shè)置，包括超圖的結(jié)構(gòu)，并使用80%的數(shù)據(jù)作為訓(xùn)練，剩下的20%被分成驗(yàn)證和測(cè)試。

2） 表格數(shù)據(jù)集。Wine Quality數(shù)據(jù)集是來(lái)自葡萄牙北部的葡萄酒樣本。分類目標(biāo)是基于物理和化學(xué)測(cè)試來(lái)模擬葡萄酒的質(zhì)量，通過(guò)輸入基于物理化學(xué)試驗(yàn)的11個(gè)變量類型分類葡萄酒質(zhì)量得分。

Cardiotocography數(shù)據(jù)集是 由產(chǎn)科專家分類的心電圖。首先通過(guò)自動(dòng)處理2 126張?zhí)盒碾妶D（ctg），并測(cè)量各自的診斷特征，包括測(cè)量的胎兒心率（FHR）和子宮收縮（UC）特征；再由3位產(chǎn)科專家進(jìn)行分類，并為每個(gè)專家分配共識(shí)的分類標(biāo)簽，分類針對(duì)形態(tài)模式（A，B，C，…）分為10類。

Image Segmentation數(shù)據(jù)集由從7張戶外圖片中隨機(jī)抽取的樣本組成，通過(guò)手工分割圖片為3×3的像素區(qū)域，即實(shí)驗(yàn)的樣本實(shí)例。

Vehicle Silhouettes數(shù)據(jù)集是一些二維輪廓信息，根據(jù)二維圖像中的三維對(duì)象的形狀特征提取。目的是通過(guò)訓(xùn)練從一組輪廓中提取的特征，將給定的輪廓?jiǎng)澐譃?種類型的車輛。

Mice Protein Expression數(shù)據(jù)集由被修飾過(guò)的77種蛋白質(zhì)數(shù)據(jù)組成，這些具有檢測(cè)信號(hào)的蛋白質(zhì)在小鼠皮層的核部分產(chǎn)生。對(duì)照組小鼠38只，唐氏綜合征三體小鼠34只，共72只。在實(shí)驗(yàn)中，對(duì)每個(gè)樣品小鼠的蛋白質(zhì)進(jìn)行了15次測(cè)量。因此，對(duì)于對(duì)照小鼠有38×15個(gè)測(cè)量值，對(duì)于三染色體小鼠有34×15個(gè)測(cè)量值。每次測(cè)量都是一個(gè)獨(dú)立的樣本。根據(jù)小鼠的基因型、行為和治療等特征區(qū)分為八類小鼠。實(shí)驗(yàn)?zāi)康募锤鶕?jù)小鼠的蛋白質(zhì)亞群識(shí)別小鼠的類別。

Arrhythmia數(shù)據(jù)庫(kù)的每個(gè)樣本節(jié)點(diǎn)包含279個(gè)屬性，其中206個(gè)為線性值，其余為標(biāo)稱值，目的是區(qū)分心律是否失常，并將其分類為16類。01類是正常心電圖，02～15類是不同類型的心律失常，16類是其他未分類的心律失常。

3.2 實(shí)驗(yàn)設(shè)置

FHGNN架構(gòu)包括關(guān)系編碼器[φ]和分類器[θ]。關(guān)系編碼器[φ]包括邊更新函數(shù)和節(jié)點(diǎn)更新函數(shù)，是一個(gè)聚焦于邊的圖神經(jīng)網(wǎng)絡(luò)。通過(guò)一個(gè)全連接層批量歸一化和一個(gè)Sigmoid激活函數(shù)來(lái)更新節(jié)點(diǎn)關(guān)系即邊信息。節(jié)點(diǎn)更新函數(shù)是由一個(gè)全連接層批量歸一化和一個(gè)LeakyReLU激活函數(shù)構(gòu)成。分類器[θ]是一個(gè)聚焦于節(jié)點(diǎn)的HGNN過(guò)程，它直接使用通過(guò)隸屬度函數(shù)得到的超邊，與關(guān)系編碼器[φ]相比，沒(méi)有再對(duì)邊信息進(jìn)行更新。HGNN模型很淺（2層或3層），如果模型層數(shù)很深，輸出特征就會(huì)過(guò)度平滑，來(lái)自不同集群的節(jié)點(diǎn)可能會(huì)變得無(wú)法區(qū)分。實(shí)驗(yàn)中關(guān)系編碼器的層數(shù)[L1=1]，HGNN分類器層數(shù)[L2=2]。

首先將FHGNN模型與一些超圖神經(jīng)網(wǎng)絡(luò)和圖神經(jīng)網(wǎng)絡(luò)模型進(jìn)行節(jié)點(diǎn)分類的對(duì)比。其中超圖神經(jīng)網(wǎng)絡(luò)選取了Feng等提出的HGNN（hypergraph neural networks）[3]和他們?cè)?023年改進(jìn)的HGNN+[7]，Yang等的LE（line expansion hypergraph）[6]和Jiang 等的DHGNN（Dynamic HGNN）[4]。使用了超圖數(shù)據(jù)集和表格數(shù)據(jù)在節(jié)點(diǎn)分類上進(jìn)行對(duì)比。對(duì)于未提供邊信息的表格數(shù)據(jù)，它們的超圖結(jié)構(gòu)通過(guò)k鄰階方法獲得。

用來(lái)與FHGNN模型比較的普通圖神經(jīng)網(wǎng)絡(luò)選取了GCN[8]和GAT[9]，并根據(jù)不同的圖神經(jīng)網(wǎng)絡(luò)采樣方法，選取了基于層級(jí)采樣的FastGCN[10]、ASGCN和LADIES[11]，基于子圖集采樣的GraphSAINT[12]，HC-GNN[13]和DNGNN[14]進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)集中的表格數(shù)據(jù)均使用k鄰階方法構(gòu)邊建立圖結(jié)構(gòu)。通過(guò)將FHGNN與兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)（HGNN[3]和FGCN）分別進(jìn)行了分類實(shí)驗(yàn)對(duì)比，證明FHGNN方法的有效性。為了證明關(guān)系編碼器的有效性，將k臨界方法形成的超邊HGNN模型和通過(guò)邊聚合計(jì)算形成的超邊模型進(jìn)行對(duì)比。同時(shí)，通過(guò)FGCN模型來(lái)驗(yàn)證模糊隸屬度函數(shù)構(gòu)建超圖過(guò)程的重要性。FGCN將通過(guò)隸屬度函數(shù)得到超圖結(jié)構(gòu)改成普通圖結(jié)構(gòu)，并用GCN進(jìn)行分類。

3.3 實(shí)驗(yàn)結(jié)果及分析

3.3.1 與其他圖神經(jīng)網(wǎng)絡(luò)對(duì)比結(jié)果

表2所示為FHGNN分別與其他超圖神經(jīng)網(wǎng)絡(luò)和圖神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比的結(jié)果。FHGNN在各個(gè)數(shù)據(jù)集分類的準(zhǔn)確率顯著優(yōu)于其他神經(jīng)網(wǎng)絡(luò)。對(duì)于超圖數(shù)據(jù)集Zoo和NTU2012，F(xiàn)HGNN分別有97.2%和78.8%準(zhǔn)確率的較好表現(xiàn)。實(shí)驗(yàn)中將超圖數(shù)據(jù)集的超邊拆分成普通邊用于實(shí)驗(yàn)中的圖神經(jīng)網(wǎng)絡(luò)。對(duì)于其他6個(gè)表格數(shù)據(jù)集FHGNN的分類準(zhǔn)確率也有很大提升，其中Mice Protein Expression數(shù)據(jù)集提升效果最好，只有Arrhythmia的結(jié)果沒(méi)有達(dá)到最優(yōu)，但相比其他大部分的分類結(jié)果，F(xiàn)HGNN仍具有較好表現(xiàn)。

FHGNN通過(guò)歸納節(jié)點(diǎn)之間的聯(lián)系強(qiáng)弱，顯著提高了學(xué)習(xí)性能。但是由于FHGNN第一步對(duì)邊進(jìn)行聚合時(shí)需要占用大量?jī)?nèi)存，對(duì)于大規(guī)模數(shù)據(jù)網(wǎng)絡(luò)，F(xiàn)HGNN并不能很好處理。同時(shí)實(shí)驗(yàn)結(jié)果表明FHGNN能更好的聚合同類別節(jié)點(diǎn)的信息，顯著提高分類的準(zhǔn)確率。相比于高維數(shù)據(jù)集，那些提供節(jié)點(diǎn)信息很少的低維小數(shù)據(jù)集，比如Mice Protein Expression和Cardiotocography，更能讓FHGNN發(fā)揮優(yōu)勢(shì)。

3.3.2 消融實(shí)驗(yàn)結(jié)果

FHGNN與傳統(tǒng)GNN方法的區(qū)別主要在于兩個(gè)方面：關(guān)系編碼器和隸屬度函數(shù)構(gòu)造超圖。表3顯示了這兩部分分別對(duì)結(jié)果的影響。HGNN模型和FHGNN模型對(duì)比顯示了關(guān)系編碼器對(duì)分類結(jié)果的影響。FHGNN有約17%的改進(jìn)，這表明通過(guò)關(guān)系編碼器可以將節(jié)點(diǎn)關(guān)系表示映射到一個(gè)更合理的分布。同時(shí)實(shí)驗(yàn)結(jié)果顯示超圖結(jié)構(gòu)的FHGNN比普通圖結(jié)構(gòu)的FGCN模型多出約6.7%。因?yàn)槌瑘D結(jié)構(gòu)能夠傳達(dá)數(shù)據(jù)之間復(fù)雜的高階相關(guān)性，與普通圖結(jié)構(gòu)的方法相比，可以更好地表示出數(shù)據(jù)之間的底層關(guān)系。圖3所示為模型FGCN和FHGNN的分類結(jié)果折線圖對(duì)比。從折線圖可以看出，兩個(gè)模型的結(jié)果在Vehicle Silhouettes和Mice Protein Expression數(shù)據(jù)集上的差距更大。可能的原因是這些數(shù)據(jù)集的節(jié)點(diǎn)維度低攜帶的特征信息較少，更不容易分類。同時(shí)Vehicle Sihouettes數(shù)據(jù)的樣本數(shù)較少，用于訓(xùn)練的數(shù)據(jù)信息就比較少。對(duì)比表明FHGNN中邊聚合過(guò)程可以更準(zhǔn)確地學(xué)習(xí)到相同類別之間的關(guān)系，抓住樣本之間的聯(lián)系，從而使隸屬度功能更有效。

4 結(jié)論

本文提出一種具有強(qiáng)關(guān)系歸納的模糊超圖神經(jīng)網(wǎng)絡(luò)FHGNN模型，用于處理低維數(shù)據(jù)集的分類問(wèn)題。

1） FHGNN是在傳統(tǒng)HGNN中加入了模糊理論，由隸屬度函數(shù)從具有模糊關(guān)系的節(jié)點(diǎn)集合中生成合理的超圖結(jié)構(gòu)。對(duì)于不同數(shù)據(jù)集的分類任務(wù)，F(xiàn)HGNN可以更有效學(xué)習(xí)節(jié)點(diǎn)的相關(guān)特征信息，確保了學(xué)習(xí)任務(wù)的高效。

2） 選取多個(gè)數(shù)據(jù)集在圖神經(jīng)網(wǎng)絡(luò)和超圖神經(jīng)網(wǎng)絡(luò)上分別進(jìn)行測(cè)試，并進(jìn)行了消融實(shí)驗(yàn)，結(jié)果表明FHGNN在分類任務(wù)上取得了更好的效果。

3） FHGNN模型算法可以應(yīng)用于數(shù)據(jù)的預(yù)測(cè)分類任務(wù)。但在實(shí)際應(yīng)用中，大規(guī)模圖面臨計(jì)算效率低下、內(nèi)存占用大等挑戰(zhàn)。未來(lái)工作會(huì)嘗試改進(jìn)模型，以支持大規(guī)模的圖處理。

參考文獻(xiàn)：

[1]?? XU C， LI M， NI Z， et al. Groupnet： Multiscale hypergraph neural networks for trajectory prediction with relational reasoning[C]//New Orleans： Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2022.

[2]?? WEI T， HOU J， FENG R. Fuzzy graph neural network for few-shot learning[C]//Glasgow： 2020 International Joint Conference on Neural Networks （IJCNN）， 2020.

[3]?? FENG Y， YOU H， ZHANG Z，et al. Hypergraph neural networks[J]. Proceedings of the AAAI Conference on Artificial Intelligence， 2019，33（1）： 3558-3565.

[4]?? JIANG J， WEI Y， FENG Y，et al. Dynamic hypergraph neural networks[C]//Macao： Proceedings of the 28th International Joint Conference on Artificial Intelligence， 2019.

[5]?? YADATI N， NIMISHAKWVI M， YADAV P， et al. HyperGCN： A new method of training graph convolutional networks on hypergraphs[J].Advances in Neural Information Processing Systems， 2019， 32： 1511-1522.

[6] ??YANG C， WANG R， YAO S， et al. Semi-supervised hypergraph node classification on hypergraph line expansion[J]. Association for Computing Machinery， 2022： 2352-2361.

[7]?? GAO Y， FENG Y， JI S， et al. HGNN+： General hypergraph neural networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023（3）： 3181-3199.

[8]?? KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks[C]//Toulon： 5th International Conference on Learning Representations（ICLR），2017.

[9]?? VELIKOVI P， CUCURULL G， CASANOVA A， et al. Graph attention networks[C]// Vancouver： 6th International Conference on Learning Representations（ICLR），2018.

[10] CHEN J， MA T， XIAO C. FastGCN： Fast learning with graph convolutional networks via importance sampling[C]//Vancouver： 6th International Conference on Learning Representations（ICLR），2018.

[11] ZOU D， HU Z， WANG Y，et al. Layer-dependent importance sampling for training deep and large graph convolutional networks[C]//Vancouver： 33rd Conference on Neural Information Processing Systems（NeurIPS）， 2019.

[12] ZENG H， ZHOU H， SRIVASTAVA A， et al. GraphSAINT： Graph sampling based inductive learning method[C]//Addis Ababa： Eighth International Conference on Learning Representations（ICLR），2020.

[13] ZHONG Z Q， LI C T， PANG J. Hierarchical message-passing graph neural networks[J].Data Mining and Knowledge Discovery， 2023，37： 381-408.

[14] MAURY S K， LIU X， MURATA T. Feature selection： Key to enhance node classification with graph neural networks[J]. CAAI Transactions on Intelligence Technology， 2023， 8：14-28.

第一作者：熊婉悅（1999—），女，碩士研究生，研究方向?yàn)槿斯ぶ悄堋⑸疃葘W(xué)習(xí)。E-mail：531818418@qq.com。

通信作者：范自柱（1975—），男，博士，教授，博士生導(dǎo)師，研究方向?yàn)槟Ｊ阶R(shí)別、機(jī)器學(xué)習(xí)。E-mail：zzfan3@163.com。