基于加權元學習的節點分類算法

萬聰 王英

摘要： 受注意力機制和直推式學習方法的啟發，提出一種基于加權元學習的節點分類算法. 首先利用歐氏距離計算元學習子任務間數據分布的差異； 然后利用子圖的鄰接矩陣計算捕獲子任務間數據點的結構差異； 最后將二者轉化為權重對元訓練階段更新元學習器過程進行加權，構建優化的元學習模型，解決了經典元學習算法在元訓練階段所有元訓練子任務的損失是等權重更新元學習器參數的問題. 該算法在數據集Citeseer和Cora上的實驗結果優于其他經典算法，證明了該算法在少樣本節點分類任務上的有效性.

關鍵詞： 元學習； 注意力機制； 節點分類； 直推式學習

中圖分類號： TP39? 文獻標志碼： A? 文章編號： 1671-5489（2023）02-0331-07

Node Classification Algorithm Based on Weighted Meta-Learning

WAN Cong，WANG Ying

（College of Computer Science and Technology，Jilin University，Changchun 130012，China）

Abstract： Inspired by attention mechanism and transductive learning method，we proposed a node classification algorithm based on weighted m

eta-learning. Firstly，Euclidean distance was used to calculate the difference of data distribution between subtasks in meta-learning. Secondly，

adjacency matrices of subgraph was used? to calculate and capture structural difference of data points? between subtasks. Finally，the captured information above

between subtasks were converted into weights? to weight the process of updating the? meta-learner in the meta-training procedure，and? an optimized m

eta-learning model was constructed to solve the problem that the loss of all meta-training subtasks in meta-training procedure of classical meta-learning alg

orithms was equal-weight to update the parameters of meta-learners. The experimental results of this algorithm on Citeseer and Cora datasets are superior to other classical algori

thms，which demonstrates the effectiveness of the algorithm on few-shot node classification task.

Keywords： meta-learning; attention mechanism; node classification; transductive learning

收稿日期： 2022-02-28.

第一作者簡介：? 萬 聰（1997—），男，漢族，碩士研究生，從事元學習的研究，E-mail： 954011235@qq.com.

通信作者簡介： 王 英（1982—），女，漢族，博士，教授，從事人工智能的研究，E-mail： wangying2010@jlu.edu.cn.

基金項目： 國家自然科學基金（批準號： 61872161）、 吉林省科技發展規劃項目（批準號： 2018101328JC）和吉林省發展與改革項目（批準號： 2019C053-8）.

隨著計算機算力和新算法的快速增加，尤其是對大數據的挖掘，使圖深度學習得到了迅速發展. 但用戶保護隱私意識的提升使數據變得有限，從而導致圖深度學習面臨兩個問題： 1） 訓練數據過少，模型的性能會急劇下降，并出現過擬合問題； 2） 人為標記大量數據費時費力. 通過元學習利用先驗知識解決模型的過擬合問題，是解決少樣本問題的有效方法，已廣泛應用于圖像分類［1-4］和語音識別［5-6］等領域.

目前主流的元學習方法是以MAML（model-agnostic meta-learning）［7］、 Reptile［8］、 FOMAML（first-order MAML）［9］為代表的經典算法，其中Meta-GNN（graph neural network，GNN）［10］和G-Meta（graph meta learning via local subgraphs）［11］是使用MAML完成節點分類任務的算法. 這類經典算法在面對幾個少樣本數據任務時，會先在大數據集的相關任務上進行預訓練，然后進行微調［12-13］以適應這幾個少樣本數據的任務. 對應到元學習過程的描述中，在大數據集的相關任務上進行預訓練的過程即是在元訓練子任務上的元訓練階段，幾個少樣本數據任務即是元測試子任務. 上述經典算法在解決少樣本數據任務的過擬合問題時取得了優異的成績，但在上述算法的元訓練階段，多個元訓練子任務的損失是等權重更新元學習器的參數，即多個元訓練子任務通過元學習器傳遞給元測試子任務的信息是等權重的. 而在通常情況下，某個元訓練子任務與元測試子任務越相關，則它傳遞給元測試子任務的信息越重要，因此上述經典算法仍有提升空間.

為解決上述問題，本文先利用歐氏距離［14］計算元學習子任務間樣本特征的相似程度，捕獲子任務間數據分布的差異程度，然后使用樣本鄰接矩陣計算子任務間樣本子圖結構的相似程度，捕獲子任務間樣本結構的差異程度，最后將這兩種子任務間的信息轉化為權重，融入元訓練階段，優化經典元學習算法. 實驗結果表明，基于加權元學習的節點分類算法效果更好，分類更精確.

3 實驗結果與分析

為驗證本文方法的有效性，在經典的引文網絡數據集Citeseer和Cora上完成少樣本節點分類任務，進行不同元學習方法及不同基本節點分類模型之間的對比實驗，并分析各項實驗結果.

3.1 數據集

CiteSeer和Cora引文網絡是由論文及其之間關系構成的網絡，這些關系包括引用關系、 共同作者等. 表1列出了原始數據集CiteSeer和Cora的信息，包括本文實驗過程中數據劃分的元訓練和元測試數據集的標簽數.

3.2 實驗結果

本文實驗采用少樣本學習［23］、 經典元學習節點分類算法Meta-GNN和加權元學習這3種算法進行性能對比. 為保證公平性和一般性，在每種算法下均使用了GCN（graph convolutional network），SGC（simple GCN），GAT（graph attention network），GraphSAGE等多種基本節點分類模型進行對比實驗. 其中，少樣本學習和經典元學習節點分類算法Meta-GNN的實驗結果作為基線實驗結果，由Meta-GNN［10］的公開代碼及數據集環境復現得到. 3種算法在數據集上多種節點分類模型的精確度對比結果列于表2. 加權元學習算法對不同節點分類模型的精確度對比列于表3. 由表2可見，Meta-GNN算法相對于少樣本學習算法的節點分類模型效果有提升. 在所有數據集上加權元學習算法中所有節點分類模型的效果都優于其他算法，在節點分類任務上性能更好. 由表3可見，加權元學習算法下，在所有節點分類模型中GAT模型的效果最好.

3.3 分離實驗

為驗證子任務間數據分布差異dist和子圖結構差異struc的有效性進行分離實驗. 實驗結果如表4、 圖3和圖4所示. 其中WML-struc只使用struc計算權重； WML-dist只使用dist； 加權元學習二者均使用； MAML等權重，二者均不使用. 圖3和圖4中均使用GAT節點分類模型. 由表4及圖3和圖4可見，在所有的數據集上，MAML，WML-struc，WML-dist，WML的收斂精確度依次遞增，表明dist和struc均能提升經典元學習算法的性能. 由于Citeseer和Cora都是一張圖，數據劃分后子圖間結構差異較小，因此在本文實驗中WML-dist比WML-struc效果好并不能證明dist比struc更重要.

綜上所述，受注意力機制和直推式學習方法的啟發，本文提出了一種基于加權元學習的節點分類方法，通過計算元學習子任務間數據分布差異和數據點的結構差異等子任務間信息，并轉化為信息權重優化經典元學習元訓練階段的外循環更新過程，解決了經典元學習算法在元訓練階段外循環更新過程中等權重更新元學習器的問題.

參考文獻

［1］ CHENG G，LI R M，LANG C B，et al. Task-Wise Attenti

on Guided Part Complementary Learning for Few-Shot Image Classification ［J］. Science China Information Sciences，2021，64（2）： 1-14.

［2］ LI X X，SUN Z，XUE J H，et al. A Concise Review of Recent Few-Shot Meta-Learning Methods ［J］. Neurocomputing，2021，456： 463-468.

［3］ 胡娟，楊厚群，杜欣然，等. 小樣本學習在高分遙感影像分類與識別中的應用 ［J］. 重慶郵電大學學報（自然科學版），2022，34（3）： 410-422.

（HU J，YANG H Q，DU X R，et al. Application of Small Sample Learning in Classification and Recognition of High Resolution Remote Sensing Images ［J］. Journal of Chongqing

University of Posts and Telecommunications （Natural Science Edition），2022，34（3）： 410-422.）

［4］ 黃彭奇子，段曉君，黃文偉，等. 基于元學習的小樣本圖像非對稱缺陷檢測方法 ［J］. 吉林大學學報（工學版），2023，53（1）： 234-240.

（HUANG P Q Z，DUAN X J，HUANG W W，et al.? A Method of Detecting Unsymmetrical Defects in Small Sample Images Based on Meta-Learning ［J］.? Journal of Jilin University

（Engineering and Technology Edition），2023，53（1）： 234-240.）

［5］ HSU J Y，CHEN Y J，LEE H. Meta Learning for End-to-End Low-Resource Speech Re

cognition ［C］//2020 IEEE International Conference on Acoustics，Speech and Signal Processing （ICASSP）. Piscataway，NJ： IEEE，2020： 7844-7848.

［6］ WANG D S，YU J W，WU X X，et al. Improved End-to-End Dysarthric Speech Recognition via Meta-Learning Based Model Reinitialization

［C］//2021 12th International Symposium on Chinese Spoken Language Processing （ISCSLP）. Piscataway，NJ： IEEE，2021： 1-5.

［7］ FINN C，ABBEEL P，LEVINE S. Model-Agnostic Meta-Le

arning for Fast Adaptation of Deep Networks ［C］//International Conference on Machine Learning. ［S.l.］： PMLR，2017： 1126-1135.

［8］ NICHOL A，SCHULMAN J. Reptile： A Scalable Metalearni

ng Algorithm ［EB/OL］. （2018-05-08）［2021-12-01］. https：//arxiv.org/abs/1803.02999v1.

［9］ NICHOL A，ACHIAM J，SCHULMAN J. On First-Order Meta

-Learning Algorithms ［EB/OL］. （2018-05-08）［2021-12-15］. https：//arxiv.org/abs/1803.02999.

［10］ ZHOU F，CAO C T，ZHANG K P，et al. Meta-Gnn： On Few-Shot Node Classification in Graph Meta-Learning ［C］//Proceedings of the 28th ACM

International Conference on Information and Knowledge Management. New York： ACM，2019： 2357-2360.

［11］ HUANG K，ZITNIK M. Graph Meta Learning via Local Sub

graphs ［J］. Advances in Neural Information Processing Systems，2020，33： 5862-5874.

［12］ CHUA K，LEI Q，LEE J D. How Fine-Tuning Allows for

Effective Meta-Learning ［J］. Advances in Neural Information Processing Systems，2021，34： 8871-8884.

［13］ SHEN Z Q，LIU Z C，QIN J，et al. Partial Is Better Than All： Revisiting Fine-Tuning Strategy for Few-Shot Learning ［C］//Proceedings o

f the AAAI Conference on Artificial Intelligence. Palo Alto： AAAI，2021： 9594-9602.

［14］ MORIN L，GILORMINI P，DERRIEN K. Generalized Euclid

ean Distances for Elasticity Tensors ［J］. Journal of Elasticity，2020，138（2）： 221-232.

［15］ PIAO Y，LEE S，LEE D，et al. Sparse Structure Learn

ing via Graph Neural Networks for Inductive Document Classification ［C］//Proceed

ings of the AAAI Conference on Artificial Intelligence. Palo Alto： AAAI，2022： 11165-11173.

［16］ DING K Z，LI J D，AGARWAL N，et al. Inductive Anomaly Det

ection on Attributed Networks ［C］//Proceedings of the Twenty-Ninth Internatio

nal Conference on International Joint Conferences on Artificial Intelligence. New York： ACM，2021： 1288-1294.

［17］ MAO Y Y，WANG N，ZHOU W G，et al. Joint Inductive and Tra

nsductive Learning for Video Object Segmentation ［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE，2021： 9670-9679.

［18］ TAN Z，WANG S，DING K，et al. Transductive Linear Pro

bing： A Novel Framework for Few-Shot Node Classification ［EB/OL］. （2022-11-11）［2022-12-01］. https：//arxiv.org/abs/2212.05606.

［19］ SHARMA K K，SEAL A. Spectral Embedded Generalized Mea

n Based k-Nearest Neighbors Clustering with S-Distance ［J］. Expert Systems with Applications，2021，169： 114326-1-114326-10.

［20］ DONG Y X，MA X J，FU T L. Electrical Load Forecasti

ng： A Deep Learning Approach Based on K-Nearest Neighbors ［J］. Applied Soft Computing，2021，99： 106900-1-106900-15.

［21］ KURANI A，DOSHI P，VAKHARIA A，et al. A Comprehensi

ve Comparative Study of Artificial Neural Network （ANN） and Support Vector Machines （SVM） on Stock Forecasting ［J］. Annals of Data Science，2023，10： 183-208.

［22］ ZOU Y，WU H J，GUO X Y，et al. MK-FSVM-SVDD： A Mu

ltiple Kernel-Based Fuzzy SVM Model for Predicting DNA-Binding Proteins via Support

Vector Data Description ［J］. Current Bioinformatics，2021，16（2）： 274-283.

［23］ WANG Y Q，YAO Q M，KWOK J T，et al. Generalizing fr

om a Few Examples： A Survey on Few-Shot Learning ［J］. ACM Computing Surveys （Csur），2020，53（3）： 1-34.

（責任編輯： 韓 嘯）