基于化學(xué)環(huán)境自適應(yīng)學(xué)習(xí)的摻雜石墨氮化碳納米片光學(xué)帶隙預(yù)測

陳宸，張繼勇，侯佳

（1.杭州電子科技大學(xué)，杭州 310037；2.杭州電子科技大學(xué)麗水研究院，麗水 323060）

1 引言

目前，各種新型的疾病陸續(xù)出現(xiàn)，例如幾年前出現(xiàn)的大規(guī)模新冠病毒肺炎。這些情況需要的是新型的特效藥，但藥物研發(fā)成本極高始終讓制藥行業(yè)面臨許多挑戰(zhàn)和困難。

主要的挑戰(zhàn)有以下兩點(diǎn)，第一，新藥研發(fā)的時(shí)間成本很高，一種新藥物的研發(fā)基本都超過了十年；第二，新藥研發(fā)所需要的經(jīng)濟(jì)成本投入也很高，其平均投入的成本高達(dá)25億美元，這主要是因?yàn)樗幬镄枰谂R床實(shí)驗(yàn)下才能測驗(yàn)，成功率和回報(bào)率很低。在此過程中，1/3 的時(shí)間和金錢都投在了藥物發(fā)現(xiàn)的早期階段。因此，縮減藥物發(fā)現(xiàn)的時(shí)間以及擴(kuò)大藥物數(shù)據(jù)庫成了必要的環(huán)節(jié)之一。開發(fā)出有效的自動(dòng)化技術(shù)，在廣闊而離散的化學(xué)空間中快速發(fā)現(xiàn)可能的、多樣化的候選分子，對(duì)制藥行業(yè)來說很有吸引力。

石墨氮化碳（g-C3N4）[1]自1834 年由Berzelius 和Liebig[2]發(fā)現(xiàn)后不斷地發(fā)展，已經(jīng)在能源、環(huán)境、電子和生物醫(yī)學(xué)等多個(gè)領(lǐng)域得到廣泛應(yīng)用。2009年Wang等[3]發(fā)現(xiàn)并證實(shí)了g-C3N4非凡的光催化性能，因?yàn)槭嫉?.7eⅤ帶隙結(jié)構(gòu)使其對(duì)可見光敏感[4]，所以可以利用太陽光能將水分解成氫氣和氧氣，極大提升了水分解的效率。不僅在水分解方面，研究人員在CO2 還原、有機(jī)廢水處理等方面也進(jìn)行了深入研究[5-9]。改進(jìn)光催化活性、提高穩(wěn)定性和理解光催化機(jī)理是當(dāng)前研究的焦點(diǎn)。

圖結(jié)構(gòu)數(shù)據(jù)因其特殊的結(jié)構(gòu)，廣泛存在于各個(gè)領(lǐng)域，例如社交網(wǎng)絡(luò)、生物信息學(xué)、化學(xué)分子分析等。圖神經(jīng)網(wǎng)絡(luò)（GNNs，Graph Neural Networks）作為專門處理圖結(jié)構(gòu)數(shù)據(jù)的深度學(xué)習(xí)模型，其早在2005年便擁有了雛形，這個(gè)時(shí)期的方法都是基于手工涉及的特征和規(guī)則，直到2016 年圖卷積網(wǎng)絡(luò)（GCN，Graph Convolutional Network）[10]的問世。圖神經(jīng)網(wǎng)絡(luò)另一個(gè)重要的基石便是消息傳遞神經(jīng)網(wǎng)絡(luò)（MPNN，Message Passing Neural Network）[11]。 MPNN 的概念最早由Justin Gilmer等人在2017年提出，是一種用于量子化學(xué)問題的消息傳遞框架。圖卷積網(wǎng)絡(luò)和消息傳遞神經(jīng)網(wǎng)絡(luò)是專門設(shè)計(jì)用于學(xué)習(xí)圖表示以進(jìn)行下游預(yù)測任務(wù)（包括分類和回歸）的流行深度學(xué)習(xí)模型。GCN 已在分子動(dòng)力學(xué)[12]和醫(yī)學(xué)疾病[13,14]的數(shù)據(jù)分析中得到廣泛應(yīng)用，而MPNN 推廣了多類空間GCN 以學(xué)習(xí)分子特征[15-17]，并在分子性質(zhì)預(yù)測中展現(xiàn)了良好的結(jié)果[18-22]。這兩種方法都依賴于從節(jié)點(diǎn)及其鄰居那里聚合信息以生成節(jié)點(diǎn)表示。在MPNN中，消息通過消息函數(shù)在相鄰節(jié)點(diǎn)之間傳遞，然后通過頂點(diǎn)函數(shù)更新節(jié)點(diǎn)嵌入，最終通過從圖中節(jié)點(diǎn)嵌入中讀取函數(shù)生成分子特征表示。

圖神經(jīng)網(wǎng)絡(luò)與底層化學(xué)鍵拓?fù)浣Y(jié)構(gòu)的概念相似性促使了廣泛應(yīng)用GNNs來預(yù)測量子力學(xué)性質(zhì)。例如，在晶體圖卷積神經(jīng)網(wǎng)絡(luò)（CGCNN，Crystal Graph Convolutional Neural Network）[23]的研究中，成功地預(yù)測了46744個(gè)晶體的八個(gè)物理性質(zhì)，如能隙和費(fèi)米能級(jí)。圖同構(gòu)網(wǎng)絡(luò)（GIN，Graph Isomorphism Network）[24]被設(shè)計(jì)用于離散特征空間，以在實(shí)際應(yīng)用中區(qū)分同構(gòu)圖結(jié)構(gòu)。最近，神經(jīng)等變?cè)娱g勢（NequIP，Neural Equivariant Interatomic Potentials）[25]的開發(fā)使其能夠以密度泛函理論的準(zhǔn)確度進(jìn)行分子動(dòng)力學(xué)模擬，同時(shí)僅需其計(jì)算成本的一小部分。

除了上述幾種針對(duì)量子力學(xué)領(lǐng)域的圖神經(jīng)網(wǎng)絡(luò)外，經(jīng)典圖論中還有GraphSAGE（Graph Sample and Aggregation）[26]、GAT（Graph Attention Network）[27]等圖神經(jīng)網(wǎng)絡(luò)模型。2017 年Hamilton 等[26]提出了GraphSAGE，其核心在于通過采樣每個(gè)節(jié)點(diǎn)的局部鄰域信息構(gòu)成子圖，并將這些子圖通過聚合的方式來捕捉節(jié)點(diǎn)的信息和全圖結(jié)構(gòu)信息。GAT 由Ⅴeli?kovi?等[27]在2018 年提出，其核心在于引入了注意力機(jī)制，簡單來說就是通過計(jì)算每個(gè)節(jié)點(diǎn)與其鄰居之間的的注意力權(quán)重來判斷節(jié)點(diǎn)的重要性，以此來動(dòng)態(tài)地分配節(jié)點(diǎn)權(quán)重，使模型可以更靈活地捕捉節(jié)點(diǎn)之間的復(fù)雜關(guān)系，提高了模型的表達(dá)能力。主鄰域聚合（PNA，Principal Neighbourhood Aggregation）[28]引入了不同的縮放器，用于控制中心節(jié)點(diǎn)的聚合消息的權(quán)重。Deepergcn[29]提出了一個(gè)由連續(xù)變量參數(shù)化的廣義聚合函數(shù)。通過學(xué)習(xí)變量，廣義聚合函數(shù)可以被視為Mean和Max 的組合。這兩種方法都是使用了多種聚合器進(jìn)行消息的聚合，當(dāng)前擁有良好的效果。如圖1所示，不同分子結(jié)構(gòu)分別在四種聚合器情況下的差異，這就可能出現(xiàn)在使用Mean聚合器時(shí)兩個(gè)分子結(jié)構(gòu)擁有幾乎相同的結(jié)構(gòu)，但使用別的聚合器時(shí)卻差異巨大，為了解決這個(gè)問題，本文提出了基于化學(xué)環(huán)境的圖神經(jīng)網(wǎng)絡(luò)，本文的模型相比于其他模型擁有良好的效果，原因就是這些分子的性質(zhì)在很大程度上依賴于局部原子間的相互作用，也就是分子本身的結(jié)構(gòu)特征，而本文模型可以更好地捕捉分子結(jié)構(gòu)的信息。

圖1 單一聚合器問題討論

2 化學(xué)環(huán)境圖神經(jīng)網(wǎng)絡(luò)

基于化學(xué)環(huán)境的圖神經(jīng)網(wǎng)絡(luò)為了用于預(yù)測g-C3N4納米片及其摻雜變體光學(xué)帶隙的整體框架如圖2所示。該模型將分子結(jié)構(gòu)作為輸入，并預(yù)測分子的重要屬性之一光學(xué)帶隙。首先將分子結(jié)構(gòu)視為一張圖，原子被解釋為圖中的節(jié)點(diǎn)，化學(xué)鍵被解釋為邊，使用G(V,E)來表示。邊緣特征首先通過邊緣編碼器進(jìn)行線性轉(zhuǎn)換，使其具有與節(jié)點(diǎn)特征向量相同的大小。一系列隱藏層被利用來聚合來自相鄰節(jié)點(diǎn)的信息，以提取潛在的節(jié)點(diǎn)嵌入，而這里的隱藏層就是CEAL（Chemical Environment Adaptive Learning）層，顧名思義就是化學(xué)環(huán)境自適應(yīng)學(xué)習(xí)層，也是本文提出模型的核心。由最后一個(gè)CEAL 層提取的節(jié)點(diǎn)嵌入被發(fā)送到一個(gè)讀出層，以形成圖級(jí)表示，其中的讀出層擁有多種選擇，本文中選擇了求和池化層(Add Pooling)。最后，圖表示被用來預(yù)測g-C3N4 及其摻雜變體的光學(xué)帶隙。

圖2 基于化學(xué)環(huán)境的圖神經(jīng)網(wǎng)絡(luò)模型整體結(jié)構(gòu)

2.1 自適應(yīng)聚合機(jī)制

為了有效地學(xué)習(xí)原子相互作用的表示，我們將可學(xué)習(xí)的權(quán)重應(yīng)用于聚合器。這種方法允許根據(jù)模型的學(xué)習(xí)效果來自適應(yīng)分配聚合器的權(quán)重，并使模型能夠捕捉原子相互作用的變化，從而改進(jìn)了分子性質(zhì)預(yù)測的效果。這些權(quán)重在訓(xùn)練過程中自適應(yīng)地學(xué)習(xí)，以確定基于原子的局部化學(xué)環(huán)境的最佳聚合函數(shù)組合。通過為有限的聚合器集合分配可學(xué)習(xí)的權(quán)重，并制定它們的任意線性組合來實(shí)現(xiàn)這一點(diǎn)，寫成公式如下：

其中i和j表示中心節(jié)點(diǎn)和鄰居節(jié)點(diǎn)表示在第k層時(shí)中心節(jié)點(diǎn)接收到的消息是在第（k-1）行時(shí)的節(jié)點(diǎn)特征，⊕A是多個(gè)聚合器的組合是在第k層時(shí)可學(xué)習(xí)的聚合器權(quán)重。經(jīng)過多次迭代后的最終聚合消息和中心節(jié)點(diǎn)的特征共同輸入到中，更新中心節(jié)點(diǎn)嵌入的公式如下所示：

2.2 聚合器

表格1 中展示了所有本文所涉及的聚合器，上文中提到的⊕A就是聚合器的排列組合，也就是A ={}Sum,Meɑn,Mɑx,Min,Std, 其中包含了多樣化的聚合函數(shù)，不僅是只有展示的五個(gè)聚合器，以此來提取原子化學(xué)環(huán)境的各種特征。候選函數(shù)集包含具有足夠多樣性的聚合函數(shù)，希望在將來能夠加入更多的聚合器，以擴(kuò)展搜索空間并且提高模型性能。

除了這些常用的聚合器外，模型支持加入更多聚合器來提升消息的掌握程度，由于不同的聚合器擁有不同的效果，因此希望加入更多的聚合器來加入更多的處理消息方式。例如歸一化矩陣聚合器，也就是Skewu(X k)和Kuru(X k)聚合器，這是一種基于n值的歸一化表示，其中當(dāng)n= 3時(shí)表示偏度，n= 4時(shí)表示峰度。這通常通過計(jì)算歸一化的三階矩來衡量，偏度為正表示分布右偏，為負(fù)表示左偏，為零表示對(duì)稱；峰度通常通過計(jì)算歸一化的四階矩來衡量，峰度的不同值表示分布尾部形狀的不同特征，如尖峭或平坦。這些歸一化矩聚合函數(shù)的引入旨在通過考慮更高階的統(tǒng)計(jì)信息來捕捉節(jié)點(diǎn)鄰域的更復(fù)雜特征。偏度和峰度聚合器的表達(dá)如下所示：

一組聚合器（下表1中有詳細(xì)說明）被利用來收集節(jié)點(diǎn)的化學(xué)環(huán)境的各個(gè)方面的屬性，如同圖3中所展示的，均值聚合器Mean可以捕獲分子屬性中的電子密度屬性，通常用來描述原子、分子或晶體中電子的分布情況，對(duì)理解化學(xué)鍵和分子結(jié)構(gòu)等方面非常重要；最大值聚合器Max可以獲得分子屬性中的電負(fù)性屬性，是描述一個(gè)原子在化學(xué)鍵中吸引和保留電子的能力的物理性質(zhì)，通常用來衡量一個(gè)元素或原子對(duì)共價(jià)鍵中電子的相對(duì)親和力，常用于解釋分子和化合物的性質(zhì)，特別是在預(yù)測共價(jià)鍵的性質(zhì)和極性方面起到關(guān)鍵作用；標(biāo)準(zhǔn)差聚合器Std可以收集到來自鄰居的電極性，通常用來描述電場中的正負(fù)電荷分布或電路中的正負(fù)電極，涉及到正電荷和負(fù)電荷之間的相互作用和分布；偏度聚合器Skew可以通過計(jì)算偏度獲得鄰居的電四極矩，是描述電荷分布不對(duì)稱性的物理量，是電多極矩中的第二項(xiàng)，表示電荷分布在三維空間中的非均勻性，與電偶極矩和電單極矩一同描述了物體的電性質(zhì)，在描述分子或原子的電場分布時(shí)有重要作用。

表1 節(jié)點(diǎn)u在第k層的相應(yīng)聚合消息表達(dá)

圖3 CEAL層的架構(gòu)示意圖

3 實(shí)驗(yàn)結(jié)果分析

3.1 數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境

首先介紹核心數(shù)據(jù)集石墨氮化碳g-C3N4，數(shù)據(jù)集擁有g(shù)-C3N4本身以及8個(gè)摻雜變體，總共擁有大約110000個(gè)分子，每個(gè)分子由126個(gè)碳、氮等原子組成，形成所需要的大規(guī)模晶體狀分子。該數(shù)據(jù)的所有分子都通過AIMD在1納秒內(nèi)捕捉其軌跡，其中所包含的信息擁有空間坐標(biāo)、原子類型和角動(dòng)量通道上的電子數(shù)量等，而AIMD均使用開源CP2K[30]軟件進(jìn)行，該軟件采用Goedecker-Teter-Hutter（GTH）贗勢方法[31]、Heyd-Scuseria-Ernzerhof（HSE06）交換相關(guān)泛函[32]和極化價(jià)-雙-ζ（PⅤDZ）基組[33]。通過選擇的HSE06范圍分離的混合泛函得到了優(yōu)化的未摻雜g-C3N4納米片，驗(yàn)證得到其計(jì)算帶隙為2.78電子伏特。此外，對(duì)選擇的每個(gè)原子構(gòu)型，還計(jì)算了其角動(dòng)量分辨的Mulliken電荷[34]，因?yàn)檫@與決定帶隙的電子分布直接相關(guān)。因此，原子坐標(biāo)和角動(dòng)量分辨的Mulliken電荷被用作我們的機(jī)器學(xué)習(xí)模型的輸入數(shù)據(jù)，以預(yù)測未摻雜和摻雜的g-C3N4納米片的帶隙；其次是QM9數(shù)據(jù)集，其中報(bào)告計(jì)算了由CHONF組成的13萬有機(jī)小分子，其數(shù)據(jù)來自于GDB(Gaussian Database)，包含關(guān)于每個(gè)分子的許多屬性，包括電子結(jié)構(gòu)屬性(HOMO、LUMO能級(jí)等)、熱力學(xué)性質(zhì)(能量、熵、自由能等)等，本文選擇了一部分經(jīng)典的分子作為研究對(duì)象；最后是FePt數(shù)據(jù)集，其是通過OLCF Constellation提供的FePt合金數(shù)據(jù)集，其化學(xué)屬性包括總焓、原子電荷轉(zhuǎn)移和原子磁矩等，每個(gè)原子樣本都具有2 × 2 × 4的體心立方結(jié)構(gòu)的超晶胞，該數(shù)據(jù)集是使用一種局部自洽多重散射（DFT，Density Functional Theory）應(yīng)用程序計(jì)算得到。無摻雜g-C3N4納米片及其八種摻雜變體的光學(xué)帶隙數(shù)據(jù)集擁有大約110,000個(gè)原子，都是通過AIMD 模擬獲得的。這些數(shù)據(jù)集包括了未摻雜的也就是原始的g-C3N4，而摻雜變體的命名在上文中描述過，例如C1P等，也就是將圖4中C1的原子替換成P原子，剩余的數(shù)據(jù)集也是相同的命名方法。

圖4 g-C3N4分子結(jié)構(gòu)圖

3.2 對(duì)比試驗(yàn)分析

為了展示基于化學(xué)環(huán)境的圖神經(jīng)網(wǎng)絡(luò)在準(zhǔn)確預(yù)測具有多樣分類結(jié)構(gòu)的分子的光學(xué)帶隙方面的優(yōu)越能力，模型使用了包含g-C3N4 及其八種摻雜變體的所有九個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練。本文測試了一系列經(jīng)典圖論和本文模型進(jìn)行比較，結(jié)果如圖5所示，可以發(fā)現(xiàn)本文模型在預(yù)測的準(zhǔn)確度上有明顯的提升，平均絕對(duì)誤差達(dá)到了0.031 eⅤ，并且在每個(gè)模型上進(jìn)行了五次的實(shí)驗(yàn)，模型的波動(dòng)也明顯較小，擁有更好的穩(wěn)定性。

此外，如圖6所示，模型對(duì)光學(xué)帶隙的預(yù)測結(jié)果點(diǎn)更加集中在對(duì)角線上，表明本文模型在預(yù)測準(zhǔn)確性上優(yōu)于其他經(jīng)典圖論中的GNN 模型。所有這些結(jié)果都充分肯定了本文模型準(zhǔn)確地從原子的化學(xué)環(huán)境中提取信息的顯著能力，以將分子結(jié)構(gòu)映射到光學(xué)帶隙。重要的是，這種有效提取局部化學(xué)環(huán)境信息的能力將使得能夠準(zhǔn)確預(yù)測任何受原子相互作用影響的其他分子性質(zhì)，加速了對(duì)具有所需功能的新材料的實(shí)驗(yàn)發(fā)現(xiàn)。實(shí)驗(yàn)結(jié)果表明，所提出的基于化學(xué)環(huán)境的圖神經(jīng)網(wǎng)絡(luò)模型在光學(xué)帶隙預(yù)測的平均絕對(duì)誤差方面表現(xiàn)出了一致的優(yōu)越性能。如表2 所示，本文定量測試了g-C3N4的九個(gè)單獨(dú)數(shù)據(jù)集在整體模型上的效果，可以發(fā)現(xiàn)不論是哪種形式的摻雜變體，基于化學(xué)環(huán)境的圖神經(jīng)網(wǎng)絡(luò)都擁有良好的效果，平均絕對(duì)誤差都保持在0.03 eⅤ上下波動(dòng)，說明模型在預(yù)測大部分分子的光學(xué)帶隙時(shí)擁有良好的準(zhǔn)確率和極小的誤差。

表2 g-C3N4的九個(gè)單獨(dú)數(shù)據(jù)集在整體模型上的效果

圖6 各個(gè)圖神經(jīng)網(wǎng)絡(luò)的散點(diǎn)圖結(jié)果

4 結(jié)論

本文針對(duì)使用單一聚合器的問題進(jìn)行討論，提出了基于化學(xué)環(huán)境的圖神經(jīng)網(wǎng)絡(luò)并利用自適應(yīng)聚合機(jī)制從原子的化學(xué)環(huán)境中提取深層見解，解決了單一聚合的局限性。實(shí)驗(yàn)結(jié)果表明，所提出的模型可以顯著提高石墨氮化碳納米片及其摻雜變體的光學(xué)帶隙預(yù)測能力，其在各項(xiàng)指標(biāo)上都優(yōu)于其他方法。此外，分子性質(zhì)預(yù)測的目的是從分子化合物的分子結(jié)構(gòu)來預(yù)測其各種物理和化學(xué)性質(zhì)。這項(xiàng)任務(wù)對(duì)藥物發(fā)現(xiàn)、材料設(shè)計(jì)和環(huán)境風(fēng)險(xiǎn)評(píng)估至關(guān)重要，因?yàn)樗梢陨钊肓私饣衔锏男再|(zhì)，而不需要昂貴和耗時(shí)的實(shí)驗(yàn)測量。