潘嘉誠,董一鴻,陳華輝
(寧波大學信息科學與工程學院,浙江寧波 315211)
自閉癥譜系障礙(Autistic Spectrum Disorder,ASD)是一種會導致言語困難、社會互動和溝通障礙、重復行為和運動能力延遲的神經系統發展障礙疾病。目前,臨床主要根據醫師主觀經驗判斷以及相關量表測量進行自閉癥診斷,不可避免地存在漏診或者誤診的情況。截至目前還有很多包括自閉癥在內的腦部疾病發病緣由尚不清楚,這也促使了科研人員對于探索生物神經系統的基礎連接展開研究,從而合理解釋人類大腦結構和功能的變化與腦部疾病的關系。
為了實現這一目標,腦神經科學專家利用神經成像技術加強人們對神經機制的理解,更好地描述神經元之間產生的內源性活動。在現有的醫學模式中,基于功能性磁共振成像(functional Magnetic Resonance Imaging,fMRI)的使用較為廣泛,從神經科學和神經成像的角度來看,功能性磁共振成像能夠以非侵入性的方式解碼人類大腦皮層的感知和語義信息,功能性腦成像通過測量血液流動和新陳代謝,以可視化方式激活特定大腦區域。現代腦科學研究表明,許多大腦高級認知功能的實現依賴的是不同腦區之間的協同合作,不僅僅依靠于某個具體的腦區。若把不同的腦區連接起來,則能構成一個非常復雜龐大的大腦連接網絡。通過這種方式,fMRI 可以揭示大腦網絡中可導致神經功能障礙的新模式,因此被廣泛用于腦組織和精神障礙研究。
隨著人工智能和深度學習(Deep Learning,DL)技術應用于醫學領域,極大彌補了臨床醫師主觀判斷的不足,在成像識別、智能診斷等任務中取得了重要進展。深度學習相比于傳統機器學習效果有所提升,但不能較好地推廣至非歐氏數據類型。由于圖數據的結構與腦網絡的拓撲結構非常相似,因此圖神經網絡(Graph Neural Network,GNN)被提出用于解決該問題。得益于圖的強大表達能力,圖卷積網絡將歐氏數據的卷積運算推廣到非歐氏圖數據,基于圖(graph)的輔助診斷方法在生物醫學領域得到了廣泛應用。
本文對圖神經網絡在自閉癥神經成像診斷中的應用進行分析,將圖神經網絡在自閉癥輔助診斷中的建模方法歸納為基于人群圖和基于個體圖兩類,對兩類框架處理流程進行概括,并在兩類框架下對具體診斷方法做進一步分析和總結,最后對腦神經科學領域的輔助診斷面臨的挑戰和未來的研究方向進行展望。
圖是一種數據結構,常見的圖結構由節點和邊構成,節點包含了實體信息,邊包含實體間的關系信息。圖神經網絡擴展了卷積神經網絡的數據表示和分類能力,將規則歐氏域上的信號(如圖像和音頻信號)擴展為非歐氏域上的不規則圖結構數據,是深度學習在圖結構數據上的具體應用。近年來,隨著GNN 能處理結構更加復雜的圖結構數據,逐漸成為研究熱點。
在一個圖結構中,每一個節點由它自身的特征及其相連的節點特征來定義該節點。GNN 的目標是學習每個節點v的表示hv,每個節點的表示由該節點的特征xv、與該節點連接的邊的特征xco[v]、該節點的鄰居表示hne[v]及其鄰居節點的特征xne[v]計算得到:

對于關注節點的任務,可直接利用hv的表示完成特定任務;對于關注整個圖的任務,可通過將所有節點的表示做池化或其他方法獲得一個全局的表示信息,然后完成相應的任務。GNN 按更新方式可以分為以下4 類:
1)圖卷積網絡(Graph Convolutional Network,GCN)[1]。GCN 是目前最重要的圖神經網絡,圖卷積網絡中使用可學習濾波器聚合鄰域節點的特征。GCN 按更新方式可分為基于譜域和基于空間域,其中基于譜域的GCN 在圖信號處理中應用廣泛,而基于空間域的GCN 通過模擬傳統卷積神經網絡在圖像上的卷積操作,根據節點的空間關系定義圖卷積。
2)圖注意力網絡(Graph Attention Network,GAT)。GAT 將注意力機制引入基于空間域的圖神經網絡,解決了圖卷積神經網絡存在的問題。文獻[2]采用Attention 機制,可為不同節點分配不同權重,在訓練時依賴成對的相鄰節點,而不依賴具體的網絡結構,適用于inductive 任務。
3)深度圖神經網絡。隨著GNN 感受野隨著網絡深度的增加呈指數級增大,深度圖神經網絡在信息傳遞過程中會引入大量噪聲,節點在聚合操作后容易出現過平滑問題。因此,文獻[3]通過跳躍連接,使得每個節點可以靈活地利用不同的鄰域范圍,自適應選擇聚合鄰域信息的范圍來得到節點的表示。
4)門控圖神經網絡。圖神經網絡還可以通過更復雜的方法來控制信息傳播,如利用門控循環單元(Gated Recurrent Unit,GRU)[4]、長短期記憶(Long Short-Term Memory,LSTM)網絡[5]的門控方式來傳遞圖信息,以減少GNN 中的計算限制,改善信息在圖結構中的長時傳播,但此類CNN 運行固定數量的訓練步驟,無法保證收斂。文獻[6]將函數f變換為壓縮映射,并在傳播步驟中使用GRU,緩解了GNN的局限性。
隨著神經成像技術的發展,fMRI、結構性磁共振成像(structural Magnetic Resonance Imaging,sMRI)、正電子發射型計算機斷層顯像(Positron Emission Computed Tomography,PET)等復雜腦成像數據為運用圖神經網絡進行腦疾病診斷提供了可能,人腦的活動模式可以用腦網絡的功能/結構連接來描述,因此,首要的任務是進行腦成像的腦網絡模型構建。如圖1 所示,腦網絡的建模有基于人群圖和基于個體圖2 種方式:

圖1 基于GNN 模型的腦網絡主要建模方式Fig.1 Main modeling approaches for brain networks based on GNN models
1)基于個體圖的建模方式。在該方式中,節點代表大腦解剖區域,邊表示形態、功能或結構連接,定義為這些區域的時間序列之間的相關性。每個圖僅代表一個被試腦區,每個被試腦區之間的聯系以靜止狀態功能連接(Resting State Functional Connectivity,RSFC)圖的形式出現,需要通過圖比較、測量和學習來進一步分析。
2)基于人群圖的建模方式。在該方式中,每個節點代表一個特定受試者的腦圖,邊被確定為受試者成像學特征或者表型特征(年齡、性別、慣用手等)之間的相似性。
文獻[7-8]基于個體圖的建模方式通過將每一個患者的腦成像視為一個腦圖進行模型學習,然后通過圖比較度量做進一步分析。首先,將預處理后的fMRI 數據通過腦圖譜模板(如Harvard Oxford)劃分為模板相應數目腦區,其中每一個感興趣區域(Region of Interest,ROI)表示為一個節點。其次,計算腦區平均時間序列,使用z-score 進行標準化。然后,計算兩個腦區之間的皮爾遜相關系數。最后,利用Fisher z 變換提高方差的一致性,最終表示為靜息狀態功能連接圖。個體圖在GNN 上的應用框架如圖2 所示。個體圖中每一個節點代表一個相應的感興趣區域,RSFC 圖表示為腦區之間的潛在相關性,根據選取的GNN 模型進行一系列卷積、池化操作后可以得到最終的一個低維向量。該向量可以用于疾病預測以及解釋一些與疾病相關的生物標志物和腦區關聯的問題。

圖2 個體圖在GNN 上的應用框架Fig.2 Application framework of individual graph on GNN
個體圖側重于考慮ROI 之間的成對關系,而忽略了被試之間的關聯,基于人群圖的建模方式通過構建人群圖建立圖模型,是由整個被試構成的結構,圖中每一個節點代表一個被試,從成像數據中提取的特征向量作為每個節點的特征,邊代表了被試之間的關系。有些學者除了應用腦成像數據外,還利用受試的性別、年齡、受教育程度等表型信息進行輔助疾病預測,人群圖在GNN 上的應用框架如圖3 所示。首先根據數據預處理后得到的成像數據和表型數據構建人群圖,其中每一個被試表示為一個節點,成像信息作為節點的特征,邊的構造依據不同被試的表型信息以及成像數據特征的相似度,代表節點之間的關系,然后選取相應的圖神經網絡來處理構造的人群圖,最后通過卷積方式聚合鄰居信息進行半監督的節點分類任務,最終得到未知節點的預測值。

圖3 人群圖在GNN 上的應用框架Fig.3 Application framework of population graphs on GNN
隨著圖神經網絡在疾病分類任務中的廣泛應用,為進一步提高分類準確率,需要充分利用復雜的多模態數據,提取其中隱藏的特有的有效信息,這些數據通常是非歐幾里得數據,難以通過傳統深度學習方法進行處理,因此可以通過圖神經網絡利用成像學和非成像學信息進行神經疾病預測。
隨著腦成像技術的快速發展,靜息態功能性磁共振成像(resting-state functional Magnetic Resonance Imaging,rs-fMRI)下的腦網絡分析方法受到廣泛關注。目前,大量研究分析了自閉癥患者與正常人靜息狀態下的腦網絡差異,表明利用神經成像學異常作為ASD 診斷的生物標志物是可行的。文獻[9]使用人工智能算法來分析fMRI 數據,是將神經成像異常作為ASD 診斷的生物標志物工作的關鍵。文獻[10]利用種子點法和模板法分別獲得了14 名自閉癥患者和14 名正常人的默認模式網絡,使用logistic 回歸分類器進行分類,準確率為96.3%。這些研究雖然有很好的分類結果,但都是基于小樣本數據,應用前景有限。文獻[11]以多種方式構建了面向被試的連接器,并比較了不同預處理步驟對分類結果的影響,最后利用SVM 分類算法實現了67%的分類精度。
深度學習分類方法可以利用不同層次的非線性層從輸入數據中自動發現鑒別力強的表征,在近幾年得到廣泛應用。用于ASD 診斷的深度學習方法可以分為基于自動編碼器(Auto Encoder,AE)、基于卷積和基于循環神經網絡(Recurrent Neural Network,RNN)3 類。基于AE 的深度學習分類方法能夠學習高分辨和低維特征表示,但經常丟棄數據空間結構。
文獻[12]提出一種新的volumetric 卷積神經網絡(Convolutional Neural Network,CNN)框架,該框架利用全分辨率的rs-fMRI 數據的三維空間結構,適用于非線性預測模型。與基于卷積及專注于嵌入MRI 的空間信息的模型不同,文獻[13]基于RNN 并利用來自fMRI 時間序列數據的特征時間模式,能得到更加多元精細的特征。
盡管傳統自閉癥輔助診斷取得了不錯的效果,但現有的深度學習方法在腦連接體分析方面遇到了挑戰。例如,CNN 在圖像特征學習中應用較普遍,但因為典型圖像的局部鄰域結構被用于歐氏空間的卷積和池化操作,然而由于腦網絡圖的歐氏結構不規則,因此很難從腦網絡圖中有效提取代表性特征。由于圖數據的結構與腦網絡的拓撲結構非常相似,因此將圖神經網絡很自然地應用于腦疾病領域,由于與傳統CNN 處理方法相比大幅降低了計算復雜度,基于GNN 的方法逐漸成為主流。本節首先介紹了開源自閉癥譜系障礙數據集(ABIDE),接著分別從兩種不同的腦網絡建模方法入手對GNN 在自閉癥輔助診斷上的應用進行整理歸納,最后對所有方法進行概括。
開源自閉癥譜系障礙數據集[14]共享計劃涉及20 個掃描站點。ABIDE 收錄了2 000 多個自閉癥兒童和正常發育兒童的結構和fMRI 掃描,并分為ABIDE-I 和ABIDE-II 兩個版本。由于不同站點使用的數據采集設備、參數、診斷協議或評估協議不同,因此ABIDE 是一個高度異構的數據集。為了保證方法的可比性,據統計目前在ASD 疾病的研究中,多數使用包含17 個站點871 名受試者的ABIDE-I 數據集,這些數據是根據3 位專家的視覺檢查結果進行篩選的,重點考慮了數據不完全的大腦覆蓋、嚴重的頭部運動、偽影和其他掃描偽影。ABIDE-I 預處理后的fMRI 圖像數據可以從PCP(Preprocessed Connectomes Project)下載[15],采用的預處理方法遵從CPAC[16]。在過去,對于這些疾病的預測多數依賴于特定的成像特征,rs-fMRI 和任務功能性MRI 是將人群劃分為ASD 或健康控制(Health Control,HC)組的主要方式。隨著圖卷積神經網絡的發展,研究人員開始將注意力轉向使用圖卷積神經網絡對其進行預測。根據構圖方法的不同,ASD 預測主要分為基于人群圖和基于個體圖。
人群圖已被證明是有效的腦疾病分類圖,文獻[17]提出將GCN 應用于基于人群圖的腦疾病診斷任務,提取被試的MRI 成像數據特征作為節點特征,被試之間的潛在聯系用輔助的表型數據中的性別和獲取站點來定義,表示為邊的權重,在ABIDE數據集得到69.5%的平均準確率。文獻[18]在文獻[17]的基礎上進行拓展,將譜圖卷積的概念應用于基于人群圖的診斷,結果表明GCN 使用更加精確的圖結構可以提高分類精度,最后得到的準確率達到70.4%。但是實驗未考慮將其推廣到新的站點會導致性能下降的問題,而且被試之間類別數量不平衡問題也需要做進一步研究。文獻[19]在文獻[17]的基礎上改進了GCN,通過設計具有不同內核大小的過濾器來構建模型架構,能夠在卷積過程中捕獲圖內和圖間的結構異質性,但是存在數據方差增大時模型對于感受野的大小變得敏感的缺陷。
由于圖數據中的噪聲會影響GNN 模型的訓練和預測效果,因此文獻[20]將置信學習方法引入圖卷積網絡模型,以對帶有標簽噪聲的圖數據中的節點進行分類。實驗結果表明,在人工注入標簽噪聲情況下該方法依舊取得了67.63%的準確率,但在真實世界噪聲下的效果還有待驗證。
一些具有優異效果的自閉癥分類模型訓練時往往需要訓練大量樣本以獲得相應參數,該過程通常耗費大量時間。文獻[21]研究了一種更簡單的線性模型進行基于人群圖的疾病預測,利用簡化圖卷積的概念,極大地提高了訓練速度。
盡管圖神經網絡在基于人群圖建模的疾病診斷領域得到應用,但是沒有系統的方法來定義構建的人群圖,導致預測模型不具備魯棒性。為了解決該問題,文獻[22]通過從初始總體圖生成多個隨機圖來降低初始圖構造步驟的敏感性,為每個隨機圖訓練一個G-CNN 并融合預測結果。由于單獨的預測模型表現為弱學習者,因此可以通過聚合以產生優異的分類性能。雖然這種方法降低了模型對圖構造選擇的敏感性,但并沒有選出最優的輸入圖。
為了探索人群圖對于模型分類精度的影響,文獻[23]提出一種基于人群圖的多模型集成方法,使用圖像和表型特征的不同組合構建人群圖,利用神經網絡架構來組合多個基于圖的模型進行預測。這項工作的一個潛在延伸是使模型根據表型數據特征,自動選擇關聯信息進行邊的構造。
文獻[24]利用自編碼器構建具有部分標記節點和變分邊的自適應人群圖,然后提出具有邊dropout的圖卷積網絡進行學習,最后得到每個被試的預測值,但這種編碼器不能自動選擇最有利于分類的表型數據。
文獻[25]認為之前的工作忽略了非成像數據中很多的有用信息,并且表型數據的合理選取有助于構建人群圖進行預測任務,因此提出一種編碼器,其能自動選擇對最終結果有積極影響的表型測度構建人群圖。文獻[26]提出一種模態-注意多模態融合方法,通過利用各模態之間的相關性和互補性來整合各模態的特征,并且利用一種新的自適應圖學習方法來捕獲潛在的圖結構。該方法可以與預測模型進行共同優化,從而揭示樣本之間的內在聯系。
近幾年,多數方法在關注被試之間的關聯關系的同時,忽略了個體級別腦網絡拓撲結構的信息。文獻[27]提出一種層次GCN 框架,在考慮網絡拓撲信息和被試之間關聯的同時學習圖特征嵌入,從層次的角度進行圖嵌入學習,同時考慮個體大腦網絡的結構和在人群圖中的相關性,可以捕捉到最基本的嵌入特征,提高疾病診斷的分類性能。
文獻[28]認為已有的診斷模型受位點間測量異質性和個體間表型差異的影響,研究方法也僅關注于異常的腦功能連接,忽略了區域活動的影響,因此提出一種新的成像特征提取方法,該方法可以學習整個大腦網絡關于功能連接和區域活動的個性化低維度表示,隨后將稀疏特征向量嵌入人群圖進一步重新校準表型信息下提取特征的分布。
由于GCN 中的過平滑問題,因此目前的研究成果均基于淺層GCN。文獻[29]通過使用DeepGCN改進分類結果。在DeepGCN 模型中引入ResNet 單元和DropEdge 策略,避免了梯度消失、過度擬合和過度平滑問題,達到73.7%的分類精度。
在建立臨床診斷的預測模型時,泛化和可解釋性是很重要的。為了解釋大腦區域的相關性和被試之間的相關性,以及找到相應的Biomarkers,文獻[30]提出一種圖中圖數據結構,它由兩類圖組成,即內部大腦連接圖和外部人群圖來探索一些更深層的關系,但是實驗結果表明內部大腦連接圖起到的特征提取作用并不明顯,以致于分類精度不高。
文獻[31]提出一種包含層次GCN 和遷移學習的稀疏大腦網絡集成框架,該框架允許GCN 捕獲被試和腦網絡之間的內在相關性,在考慮網絡拓撲信息和被試關聯的情況下學習網絡特征嵌入以改進模型的疾病診斷能力。這項工作是首次嘗試在兩個相關的疾病領域進行遷移學習,以揭示兩種疾病之間的相關性。
文獻[32]通過減少非成像元數據的使用,提出一種完全基于成像數據的疾病診斷方法,其中來自結構和功能性磁共振成像數據的信息被融合以構造圖的邊和節點,利用神經科學信息的時間度量(如振幅低頻波動和熵)結合3D 圖像中每個體素的時間活動來表示每一個被試。
利用rs-fMRI 進行動態網絡分析可以深入了解人類大腦的基本動態特征,從而為腦疾病的自動識別提供有效的解決方案。不同于人群圖依靠被試之間的相似性構造鄰接圖,學習相似被試的鄰接信息從而更新自身信息實現節點分類,基于個體圖的方法在個體級別上對被試進行研究,利用整個腦圖進行目標疾病預測,其中腦圖中的節點表示為基于腦圖譜分割后的感興趣區域(ROI),節點之間的邊表示為ROI 之間相同時間序列下的血氧水平依賴(Blood Oxygenation Level Dependent,BOLD)或者體素的相似性,表示為一個特定的功能連接矩陣,最后構建一個帶標簽的腦圖。
一些基于個體圖的GNN 模型通過學習腦圖來預測腦部疾病。文獻[33]使用基于圖論的復雜網絡分析來表征大腦連接網絡的全局和區域拓撲結構,使用拓撲度量和GCN 來創建有助于分類任務的新的圖相關特征。由于目前尚不清楚不同非歐氏結構的腦功能網絡(Functional Brain Network,FBN)在多大程度上影響基于GNN 的疾病分類表現,并且是較為早期的工作,因此模型缺少可解釋性,不能通過模型發現引起病因的生物標志物。文獻[34]提出一種GNN 方法來學習不同被試和功能連接圖之間的相似性(距離)度量。文獻[35]基于文獻[34]的研究工作,在有監督的環境下使用孿生圖卷積神經網絡(siamese GCN,s-GCN)學習圖的相似性度量用于分類和流形學習,并對之前用于異構數據的全局損失函數進行修改。
已有研究通常較少關注每個大腦的rs-fMRI 時間序列中全局網絡結構隨時間的演化,并將基于網絡的特征提取和分類器訓練視為兩個獨立的任務。針對這些問題,文獻[8]提出一種基于rs-fMRI 時間序列數據的時間動態學習(Time-Dynamic Learning,TDL)方法,通過該方法將網絡特征提取和分類器訓練整合到統一的框架中,與已有研究相比,TDL 模型不僅可以明確地模擬全局腦網絡隨時間變化的連接模式,而且還可以捕獲每個ROI上的獨特特征,但是實驗腦區ROI 劃分策略單一,局限于AAL(Anatomical Automatic Labeling)腦圖譜模板。
由于現有基于圖的嵌入方法不能很好地建模節點子集之間的高階交互,文獻[36]將U-Net 體系結構推廣到超圖,利用超圖的結構學習多對多節點嵌入高階特征聚合規則,通過改進局部特征聚合和保留數據中的高階關系,學習數據樣本的低維嵌入,同時捕捉它們的高階關系。
在利用全連接層進行空間特征提取時往往會忽略了大腦的功能組織,由于過度擬合,因此很難訓練出具有良好泛化能力的全連通模型。文獻[37]提出一種用于功能磁共振成像分析的基于連通性的圖卷積網絡(cGCN)結構。該方法并不是從傳統的歐幾里得的鄰域中提取空間特征,而是允許模型從大腦連接組的鄰域中提取有效特征,這與大腦的功能組織是一致的。實驗結果表明,cGCN 可以有效地捕捉功能性連接特征,但存在的局限性是未考慮腦功能連接的顯著可變性,只是靜態更新,未來可以利用多模態成像學數據提高分類效果。
傳統研究通常利用一個特定的模板將大腦劃分為多個感興趣區域來構建功能連接,這可能會將分析限制在由模板確定的單一空間尺度(即固定圖)中。文獻[38]提出一種多尺度三重圖卷積網絡用于rs-fMRI 數據的腦功能連接分析,不僅考慮受試之間潛在的高階(三聯)關聯,而且考慮數據的空間尺度。
基于個體圖級別的圖神經網絡模型不僅可以用來預測疾病,還可以用來解釋大腦某些區域與特定神經系統疾病的關系,這一直是神經成像學研究的重點,即識別出與發病相關的顯著區域。文獻[7]提出一個可解釋的GNN 框架和一個新的正則化池化層來突出ROI,以便根據池化層計算的節點分數推斷哪些ROI 對識別特定疾病很重要,以此確定與疾病相關的神經腦生物標記物,但是實驗所使用的數據量較少,不能達到更具普遍性的預測效果。
文獻[39]提出一種基于皮爾遜相關的空間約束表示(PSCR)方法,用于估計FBN 結構,并將其轉化為腦圖,然后送入圖注意力網絡(GAT)進行ASD 診斷,結果也證明了PSCR 方法的優越性,但實驗未考慮消除異構站點數據間的可變性,皮爾遜相關和空間約束逐個估計每個被試,忽略了組信息。
為更加深入理解某些大腦區域與特定神經障礙或認知刺激的關系,文獻[40]基于功能性磁共振成像構建加權圖,設計一種新的腦ROI 感知圖卷積層,其中ROI 選擇池化層結合多個正則化項來進行合理的ROI 選擇,不僅具有靈活性,可以保留個體或群體級別模式,而且突出了顯著的ROI(圖中的節點),以便推斷哪些ROI 對預測更重要。
根據上文總結的26 項關于ASD 分類的研究,按照構圖方法的不同,ASD 疾病診斷主要可以分為基于人群圖和基于個體圖,兩種方法的總結與歸納如表1 和表2 所示。兩種方法各有優劣勢,其中基于個體圖的方法在評價指標的數值上普遍低于基于群體圖的方法,但基于個體圖的方法可以更有利于解釋以及尋找神經系統疾病引起的大腦紊亂改變的生物標志物。盡管這些研究使用了相同的數據集,但所使用的子集數量差異很大,樣本數量從115 到2 100不等。其中基于人群圖的方法準確率最低為67.63%,最高為98.4%,基于個體圖的方法準確率最低為62.9%,最高為80%。可以看出,目前在ABIDE上的實驗絕大部分局限于單一的fMRI 成像數據,臨床研究表明,使用多模態技術可以有效提高ASD 診斷的準確性,由于在ABIDE 數據集中,并沒有給出大量被試的擴散張量成像(Diffusion Tensor Imaging,DTI)模態,因此通過DTI 數據結合GNN 模型診斷ASD 的研究效果是有限的。多模態數據集的使用可以促進GNN 模型更好地進行ASD 診斷的研究。

表1 GNN 基于人群圖實現的ASD 診斷方法總結Table 1 Summary of GNN’s population graph-based approaches to ASD diagnosis

表2 GNN 基于個體圖實現的ASD 診斷方法總結Table 2 Summary of GNN’s individual graph-based approaches to ASD diagnosis
由于圖神經網絡在自閉癥腦部疾病診斷上的優異表現,近幾年引起了廣泛關注,腦神經科學專家開展了大量研究工作。雖然這些工作在自閉癥分類任務中取得了一定的成果,但仍存在著一些限制和挑戰,未來仍有很多問題需做進一步探究。
在疾病研究中,由于患者的隱私以及設備、檢測成本的高昂,限制了可供研究的疾病的數據量。傳統GNN 模型需要大量的數據學習,模型性能往往取決于數據的數量和質量。高噪聲的小樣本可能會導致過擬合和特征學習效果差,使模型在小數據集上準確率降低。因此,如何通過少量帶標簽的數據訓練獲得性能較好的GNN 模型,從而實現分類預測任務是亟需解決的問題。為此,合理使用數據增強技術及小樣本學習(Few-Shot Learning,FSL)、遷移學習等深度學習方法能在一定程度上緩解數據樣本量不足的問題,使模型在非常有限的數據中尋求更好的泛化性能。
數據增強技術已被用于推廣機器學習模型,傳統方法普遍使用生成對抗網絡(Generative Adversarial Network,GAN)。但基于GAN 的方法存在許多問題:1)GAN 生成數據是從數據分布的角度進行,生成的是一個和真實數據分布相似的數據分布,當真實數據較少時,該分布情況大概率也是不理想的;2)GAN 網絡需要足夠的數據來支持網絡訓練收斂,在數據量較少的情況下,難以達到較好的平衡。近年來,基于度量的方法在圖數據增強中得到了較好的應用,這類工作可以很好地解決傳統數據增強方法的不足。例如:GAUG[41]基于給定的圖拓撲結構訓練邊緣預測器,在給定的圖結構中促進類內邊和減少類間邊,度量函數可以通過下游任務的訓練進行迭代更新;AdaEdge[42]根據GNN 的分類結果迭代地向圖形拓撲添加或刪除邊,并在更新的圖上訓練GNN 分類器,以克服過度平滑問題;IDGL[43]基于學習到的節點嵌入更新圖形拓撲,以增強下游模型的魯棒性。在未來可以通過創建新的鄰接矩陣和屬性矩陣對,并自適應地選擇一些有效的鄰接矩陣和屬性矩陣作為GNN 模型的新特征輸入。
小樣本學習可以使模型擁有從少量樣本中學習的能力,小樣本學習模型大致可以分為:基于模型、基于度量和基于優化3 類。基于模型的方法旨在通過模型結構的設計快速在少量樣本上更新參數,直接建立輸入值和預測值的映射函數。基于度量的方法通過度量查詢集中的樣本和支持集中樣本的距離,借助最近鄰的思想完成分類,這種非參數化的方法可以克服小樣本學習中分類器參數訓練不夠從而導致的過擬合問題。基于優化的方法認為普通的梯度下降方法難以在小樣本場景下擬合,多種超參數的選取無法保證收斂的速度,而基于優化方法不局限于參數的規模和模型架構,可使模型的初始化參數在一步或幾步迭代后最大化在新任務上的精度來實現小樣本分類。受到計算機視覺領域的啟發,文獻[44]提出小樣本學習來解碼大腦活動,處理神經成像數據的問題,結果表明基于小樣本學習的方法在解決神經成像的數據問題上是有前景的。值得一提的是,小樣本學習在目前基于腦圖的工作中仍然是被忽視的,因此,未來可考慮FSL 在腦神經科學研究中的應用。
當數據量有限且先驗知識充足時,遷移學習可以利用特定數據預訓練一個模型用于一個完全不同的新數據。在遷移學習中,盡可能多的知識從舊模型轉移到新模型。知識的類型取決于數據的類型和問題。使用遷移學習的主要優點是可以減少訓練時間和所需的數據量,從而提高性能。雖然遷移學習可以有效彌補訓練數據不足的缺點,但自然圖像和醫學圖像在性質上仍然存在差異,如果假設源模型直接建立在相關疾病的大腦網絡上(如阿爾茲海默癥與ASD 之間的遷移[31]),則考慮樣本相關性的網絡嵌入學習可以推廣到不同任務之間,從而使遷移學習可以實現更強大的目標模型。文獻[31,45]實驗結果表明大腦的動態功能特征在不同的大腦區域和認知區域之間是可以轉移的,甚至在不同的掃描序列之間也是可以轉移的,從而證明了遷移學習在神經成像中具有潛在的作用。
目前,無法獲得MRI 和其他模態大量的神經成像數據集是腦疾病預測任務面臨的嚴峻挑戰。臨床研究表明,使用多模態技術可以有效提高腦疾病診斷的準確性[46]。在ABIDE 數據集中,大量被試的擴散張量成像(DTI)并沒有給出。因此,通過DTI 數據結合GNN 模型診斷ASD 的研究是有限的。另一個挑戰是,像彌散加權成像(Diffusion Weighted Image,DWI)和灌注加權成像(Perfusion Weighted Imaging,PWI)這樣的神經成像方式尚未被提出。在基于群體級別腦疾病分類的研究中,基因信息可以用于人群圖的構建,表示為被試之間的關系,鄰接矩陣的準確性側面反映了多模態信息結合的完整性,對于圖神經網絡模型的性能至關重要。未來多模態數據集構建以及合理融合可以促進GNN 模型更好地進行ASD 診斷研究。
目前,在基于圖神經網絡的疾病預測研究中,多數采用基于同構圖的方法,當圖中包含不同類型節點和連接時,需要整合由異構結構組成的多類型節點和邊的信息,異構性和豐富的語義信息給圖神經網絡設計帶來了巨大的挑戰。傳統基于GNN 的腦網絡模型通常假設腦網絡是一個節點和邊類型單一的同構圖。然而,大量研究表明人類大腦的異質性,特別是存在于兩個半球之間。同質腦網絡不足以模擬復雜的腦狀態,然而目前很少有研究嘗試將異構GNN 應用到腦網絡分類任務上。異構圖的構建通過不同類型的元路徑將被試或者特征整合到一個異構的大腦網絡中,每種元路徑對應于感興趣區域或者被試之間的特定關系,從而構造出一個包含多種不同類型邊的異構圖,最終利用GNN 模型得到最后的嵌入來預測被試的類別標簽,未來將對異構圖神經網絡在疾病預測上的應用做進一步研究。
Transformer 技術是近幾年應用于計算機視覺中較為熱門的技術,使用全Attention 的結構代替了LSTM,拋棄了之前傳統的encoder-decoder 模型必須結合CNN 或者RNN 的固有模式。在減少計算量和提高并行效率的同時還取得了更好的結果。自Transformer 模型提出以來,眾多衍生模型也相繼在各領域占據一定的位置,文獻[47]將graph 與Transformer 相結合,不僅可以產生新的網絡結構(新的元路徑),學習得到的元路徑(meta-path)也具有一定的可解釋性,并且可以端到端自動學習網絡的表示。文獻[48]提到,GTN 層從候選鄰接矩陣Α中通過卷積得到鄰接矩陣Α1和Α2,該過程可以看作是將注意力機制應用到原始鄰接矩陣上,分配不同的注意力系數,最終通過加權求和得到一個新的鄰接矩陣。在未來的研究中可將該類模型用于腦疾病的診斷。
對比人群圖與個體圖的研究結果可以看出,盡管基于群體圖的模型取得了不錯的效果,但它們存在一個共同的局限性是難以用神經科學的方式解釋分類結果,這將限制其在實際臨床中的使用,盡管有一些方法可以將GNN 模型可視化,但仍需進一步深入研究。現有主流模型對于可解釋性的研究通常采用文獻[49]中提出的由特定腦功能單元定義的網絡和ROIs 關聯可以通過專門設計的生物標志物檢測池化和相應的正則化參數來指導模型的節點聚集過程,以提高模型學習性能和驅動更多可解釋的生物標志物。文獻[7]提出一個基于GAT 的架構來預測識別疾病的最具鑒別力的ROI、池化層和正則化損失項,以緩和由網絡生成的節點池化分布。在文獻[40]中,一些先驗的神經科學知識被整合到圖模型訓練中,以改進圖分類以及模型的可解釋性。此外,在目前研究中未充分探討已確認的部分腦功能障礙(例如ADHD)對于致病病因學的貢獻,無法發掘疾病與腦區之間的潛在聯系。為了解這種聯系,需要啟動一個更大的與任務相關的神經成像分析[50]。未來將對在腦圖分類任務中基于GNN 模型的可解釋學習進行更深入的研究。
由于腦部疾病的復雜性,臨床依靠神經成像數據結合深度學習方法來輔助腦部疾病診斷存在很多不足,而近年來圖神經網絡在腦部疾病診斷上的應用正逐漸克服這些問題。本文介紹了圖神經網絡的定義,系統回顧了圖神經網絡在自閉癥腦部疾病神經成像診斷中的應用,并對最新研究進行全面分析總結,按照腦網絡建模方法歸納為基于人群圖和基于個體圖兩種,得出圖神經網絡為腦部疾病的診斷和預測提供了新的手段并大幅提高了診斷精度的結論,最后提出目前基于圖神經網絡進行自閉癥疾病預測仍存在小樣本數據增強、多模態數據集構建、異構網絡建模、模型可解釋性加強等挑戰。圖神經網絡在基于神經成像的自閉癥診斷中的應用仍需研究人員進行更加系統深入的探索,以推動圖神經網絡模型從基礎研究到實際應用的轉化。