淺淡數學對神經網絡的影響

詹悅 陳志峰

◆摘? 要：最初的簡單神經網絡模型處理序列化數據，對于矩陣形式的數據，不能有效處理，因此，學者們提出卷積神經網絡處理規則的矩陣數據。近年來，不規則的圖數據受到極大關注，圖神經網絡取代了傳統的圖數據預處理階段，是一種精度更高的圖表示學習框架。雖然神經網絡是一種不易解釋的黑匣模型，但仍需要一定的數學支撐。本文以數學在機器學習中的應用為出發點，淺談數學在機器學習中發揮的重要作用，并通過實驗驗證激活函數對圖神經網絡模型的影響。

◆關鍵詞：數學;機器學習;圖神經網絡

機器學習是一門交叉學科，本文以其中的圖神經網絡（GNN）為主，簡要介紹數學在機器學習中的作用。本文結構如下，第一部分簡要介紹數學與機器學習的基礎知識，并說明數學在機器學習中起到的重要作用，第二部分是實驗，第三部分是結論，最后是參考文獻。

1基礎知識

1.1相關定義

激活函數是為了讓神經網絡模型可以理解和學習復雜的非線性的關系，不同的激活函數對模型有著不同的影響，但激活函數對神經網絡模型是重要的，不可缺少的。

1.2數學與機器學習

本節以數學在機器學習中的應用為出發點，探討數學在機器學習中發揮的作用，主要以激活函數在圖神經網絡模型中發揮的作用為例進行說明。GNN是目前處理圖數據最有效的模型，實現了端對端的架構，跳過一定會損失信息的圖預處理階段，利用神經網絡強大的擬合能力學習圖數據的豐富結構信息。GNN目前誕生了諸多變體，本文旨在探討激活函數對GNN的重要性，說明即使是一些簡單的數學函數在機器學習中也發揮著作用。

2實驗

本節主要通過實驗驗證激活函數對圖神經網絡模型的重要性，驗證說明激活函數是圖神經網絡必不可少的一部分。實驗數據集為論文引用圖Cora和Citeseer，均是公開的機器學習基準數據集，主要用于節點分類任務，Cora數據集包含2708個節點，10556條邊，節點共有7類，訓練集、驗證集和測試集大小分別為140、500和1000，批大小為70。Citeseer數據集包含3327個節點，9228條邊，節點共有6類，訓練集、驗證集和測試集大小分別為120、500和1000，批大小為60。模型訓練學習率為0.005，為了防止過擬合采用的dropout值為0.6，保證以上參數一致，分別驗證帶有和不帶有激活函數的模型。

3結論

本文簡要介紹了機器學習的發展，尤其是圖神經網絡的發展，通過對圖神經網絡模型激活函數的理解，說明了激活函數對圖神經網絡的重要性，并通過簡單的實驗驗證了這一結果。未來我們希望研究更復雜的損失函數，損失函數用到了均方誤差、交叉熵等數學知識，通過研究損失函數對模型的重要性說明數學在機器學習中起著重要作用，進而說明數學與機器學習的關系。

參考文獻

[1]周志華.機器學習：=Machine learning[M].清華大學出版社，2016.

[2]林艷.人王智能的符號主義綱領及其困境[J].求索，2019（06）：186-193.

[3]李道義.統計學和機器學習[J].數碼世界，2018（11）.

[4]Goodfellow I ，Bengio Y ， Courville A . Deep Learning[M]. The MIT Press， 2016.

[5]The Graph Neural Network Model[J]. IEEE Transactions on Neural Networks， 2009，20（01）：61.

[6]Bruna J， Zaremba W， Szlam A， et al.Spectral networks and locally connected networks on graphs[J].arXiv preprint arXiv：1312.6203， 2013.

[7]Semi-Supervised Classification with Graph Convolutional Networks，ICLR，2017.

[8]Representation Learning on Graphs with Jumping Knowledge Networks，Proceedings of the 35 th International Conference on Machine Learning.

[9]How Powerful are Graph Neural Networks？ In Proceedings of the 7th International Conference on Learning Representations，ICLR 2019， New Orleans， LA， USA， May 6–9， 2019.

[10]Graph Attention Network.In Proceedings of the 6th International Conference on Learning Representations，ICLR，2018.

[11]Heterogeneous Graph Neural Network[C]// the 25th ACM SIGKDD International Conference. ACM， 2019.