面向阿爾茨海默癥輔助診斷的多尺度域適應網絡

蔡鴻順，張瓊敏，龍穎

（重慶理工大學 計算機科學與工程學院, 重慶 400054）

阿爾茨海默癥（Alzheimer disease，AD）是一種起病隱匿、進行性發展的神經系統退行性疾病。2021 年中國阿爾茨海默病報告[1]顯示，目前中國AD 的發病率、患病率和死亡率每年仍在不斷增長，給社會和居民帶來了巨大的經濟負擔。輕度認知功能障礙（mild cognitive impairment，MCI）是發生在AD 前期的一種綜合癥[2]，盡早發現MCI和AD 患者，并進行有效的干預治療，對于預防或延緩阿爾茨海默癥的發生具有重要意義。結構磁共振影像（structural magnetic resonance imaging,sMRI）技術能夠顯示腦組織的形態學變化，如AD導致的海馬體萎縮[3]等，這使得基于sMRI 進行AD 的輔助診斷成為了可能。

隨著人工智能的發展，深度學習技術在圖像領域取得了突破性成績[4]，越來越多的研究人員將深度學習應用于阿爾茨海默癥[5]和輕度認知障礙[6]的識別。然而使用深度學習方法構建模型時，我們通常使用有標簽的數據進行有監督學習，并且需要保證訓練數據和測試數據滿足獨立同分布。如果訓練數據和測試數據特征分布不一致，訓練好的分類器在測試集上會出現顯著的性能下降現象。在現實場景中，MRI 數據由于個體差異，且在采集時受不同掃描儀、掃描方案以及采集環境等因素影響，數據之間會出現異質性，無法保證得到的數據滿足獨立同分布，出現特征分布不一致，這就是MRI數據普遍存在的“域偏移”現象[7]。

對于神經成像，特別是對MRI 數據的分析，構建域不可知的模型尤為重要，因為數據采集和標注成本昂貴，且往往只是局限于固定的醫院或機構用于研究，無法廣泛傳播[8]。因此如何解決域偏移問題也就成了增強深度學習模型的泛化能力和知識復用的關鍵。由于領域自適應技術（domain adaptation，DA）[9]能夠使得在源域中獲取的知識在目標域上也能得到良好的泛化，實現領域不變知識的跨域遷移和復用，越來越多的研究人員利用領域自適應方法來應對醫學圖像分析中的域偏移任務[10]。

基于對抗學習的域適應過程是特征提取器和域判別器的博弈過程，由于其能夠有效對齊源域和目標域分布，出現了很多基于對抗域適應的醫學圖像分析方法。Javanmardi 等[11]提出了一種基于領域對抗神經網絡（domain-adversarial training of neural networks，DANN）的眼部血管分割模型，通過協同訓練U-Net 模型和域判別器有效改善了分割效果。Yang 等[12]提出了一種具有對抗學習思想的無監督領域自適應網絡模型，用于肺氣腫紋理的圖像分類，同時在真實數據和合成數據上訓練，獲得了較為理想的效果。Panfilov 等[13]研究了對抗域適應的深度學習技術對于膝關節組織分割的影響，發現對抗域適應技術能夠有效緩解在有限數據情形下分割模型泛化性不足，尤其是在分辨率和對比度不同的數據上模型性能下降的問題。Yang 等[14]基于Faster R-CNN 提出了一種對抗域適應網絡架構用于OCT 眼部數據的病變檢測，除了進行全局的特征對齊，還結合了感興趣區域（region of interest, ROI）局部特征實現聯合特征對齊，并在域判別器中加入一個非參數自適應特征范數，以增強判別器在目標域的魯棒性。

基于距離度量等統計準則的方法在醫學圖像分析領域也具有廣泛的應用。Gao 等[15]提出了一種無監督分類方法用于功能MRI 數據的大腦活動分類，主要使用中心距差異度量（central moment discrepancy，CMD）來對齊兩個域分布的高階矩，實現在目標域的有效泛化。Wu 等[16]提出了一種基于分布特征函數的新距離度量方法，用于跨域圖像的切片，在CT-MRI 跨模態分割和多序列心臟MRI 分割兩個任務上都具有良好的性能表現。

針對阿爾茨海默癥磁共振影像數據的域偏移問題，本文提出了一種基于對抗學習和距離度量的多尺度域適應網絡模型用于AD 的輔助診斷。技術路線可概括為：首先基于sMRI 數據的特點，在三維卷積神經網絡中設計了基于空洞卷積的多尺度特征融合模塊，結合空間注意力和注意力一致性損失加強特征提取和語義信息共享。然后，為增強模型在目標域上的分類性能，使用基于DANN的對抗訓練方式進行特征對齊，和現有方法不同的是，本文使用兩個域判別器協同訓練，并加入權重差異損失緩解只有一個域判別器的過擬合現象。最后，為增強特征對齊和緩解對抗訓練的不穩定等問題，引入最大密度差異（maximum density divergence，MDD）距離度量減小域間散度和增大類內密度。

1 多尺度域適應網絡模型

1.1 總體網絡架構

本文使用阿爾茨海默癥的sMRI 數據，基于領域自適應中的距離度量和對抗學習思想，提出了一種端到端的多尺度域適應網絡架構，如圖1所示，主要分為3 個部分：多尺度特征提取模塊、對抗域適應模塊和MDD 距離度量模塊。

圖1 多尺度域適應網絡架構圖Fig.1 Multi-scale domain adaptation network architecture diagram

1.2 多尺度特征提取模塊

針對sMRI 的三維數據特性，本文采用三維卷積神經網絡作為骨干網絡，并加入可訓練的空間注意力模塊自動識別與病癥相關的大腦區域。骨干網絡包含9 個3×3×3 卷積層，并在第2、4、6、8、9 層卷積層之后加入最大池化操作，來增大感受野和避免過擬合。為實現在MRI 特征圖中反映不同區域的權重大小，使用空間注意力[17]模塊，對三維卷積神經網絡第一層的結果分別進行全局最大池化和全局平均池化，將池化結果基于通道拼接融合，并通過單通道卷積加強非線性特性，從而得到空間注意力特征圖。注意力特征圖A的計算如下：

式中：Mmax和Mavg分別表示全局最大池化和全局平均池化的結果，f3×3×3表示卷積核為3×3×3 的卷積操作， σ表示sigmoid 激活函數。

針對深度網絡在高層特征圖上容易損失大量有用信息的問題，本文在骨干網絡的第二次和第三次下采樣后設計空洞空間金字塔（atrousspatial pyramidpooling,ASPP）[18]模塊。將第4 個和第6 個卷積層的輸出特征圖作為ASPP 的輸入，分別進行3 次空洞率不同的空洞卷積，進而可得到3 個不同尺度的特征信息，對3 個多尺度特征信息進行融合并使用單通道卷積加強非線性特性。最終對第4 層和第6 層的多尺度特征信息全局進行平均池化，和三維特征提取骨干網絡的最后一層特征圖融合，得到MRI 數據的多尺度融合特征信息。

本文對源域和目標域使用相同的特征提取網絡，且共享權重。為加強注意力特征圖的一致性，在多尺度特征提取模塊中設計加入注意力一致性損失。假設源域的注意力特征圖為AS，目標域的注意力特征圖為AT，計算兩個注意力特征圖的均方差作為注意力一致性損失 Latt：

式中：N表示源域和目標域的batch 大?。籇、W、H分別表示特征圖的長、寬和高。

源域數據和目標域數據經過多尺度特征提取網絡，分別得到了源域數據特征和目標域數據特征，將源域數據特征輸入源域分類器得到源域數據的預測標簽，使用得到的預測標簽和真實標簽計算源域數據的分類交叉熵損失：

式中：xi為源域樣本，yxi為對應源域樣本的真實標簽，NS為 源域樣本總數，C為類別總數，Gf為多尺度特征提取器，Gy為源域分類器。

1.3 對抗域適應模塊

受生成對抗網絡[19]的啟發，現有的對抗域適應方法主要包含兩個部分：特征提取器和域判別器。域判別器用于區分數據是來自源域還是目標域，特征提取器試圖通過提取域不變特征來混淆域判別器，兩者進行對抗訓練，若兩者達到平衡狀態，則認為實現了特征對齊。本文提出了一種基于DANN[20]引入協同訓練（co-training）的對抗域適應方法。域判別器遵循DANN 中的設計范式，加入梯度反轉層（gradient reversal layer, GRL），實現在反向傳播過程中梯度取反。

與DANN 不同的是，本文使用兩個域判別器協同訓練，實現源域和目標域的特征分布對齊，兩個域判別器為Gd1和Gd2，兩者對抗損失分別為

式中： Ld1和 Ld2使用交叉熵損失函數作為域判別損失；di為樣本xi的域標簽，源域樣本的域標簽為0，目標域樣本的域標簽為1；Ds和Dt分別為源域和目標域的域標簽集合；NS和NT分別為源域和目標域的樣本總數。

為了有效實現兩個域判別器的協同訓練和權重參數差異化，這里設計了權重差異損失 Lwd，計算兩個域判別器權重的余弦距離：

式中：WD1和WD2表示域判別器Gd1和Gd2的權重參數，此時對抗域適應模塊的對抗損失為

其中 λ為平衡超參數。相較于一個域判別器，協同訓練兩個不同的域判別器能夠有效緩解少樣本數據下的過擬合問題。對兩個域判別器的權重差異化，也能使域判別器學習到互補的特征信息。

1.4 MDD 距離度量模塊

對抗域適應主要的優化目標：1）分類器在源域上的錯誤率盡量??；2）在特征空間中將源域和目標域的邊緣分布對齊。雖然對抗域適應能夠較好地解決域偏移問題，但域判別器只做域間的二分類判斷，并沒有充分考慮源域和目標域中存在的類別特征信息，在實現整體特征對齊時可能會產生不同類別分布的錯誤匹配[21]，從而導致負遷移。

在本文網絡模型中，MDD 損失函數為

式中：nb為 源域和目標域數據的batch 大小，ms和mt分別為每個batch 中源域和目標域的樣本個數。

最終多尺度域適應網絡的損失函數為

式中： Lcls為 源域的交叉熵分類損失， Latt為注意力一致性損失， LMDD為MDD 距離度量損失， LAdv為對抗域適應損失， α 、β 和ω 分別為平衡超參數。

2 實驗結果與分析

2.1 阿爾茨海默癥數據集

本文使用的sMRI 數據來源于（Alzheimer’s disease neuroimaging initiative，ADNI）數據庫（adni.loni.usc.edu）。ADNI 由美國國家老年研究所、國家生物醫學成像與生物工程研究所、美國食品藥品管理局、私營醫藥企業和非營利組織于2003 年啟動，主要目的是測試MRI、PET、其他生物標志物和相關診斷信息結合能否應用于阿爾茨海默病及其早期階段的病程進展研究。本文使用的sMRI影像數據有3 類：1）阿爾茨海默病類（Alzheimer’s disease, AD）；2）認知正常類（cognitively normal, CN）；3）輕度認知障礙類（mild cognitive impairment,MCI）。

磁共振影像數據在掃描時會由于設備的不同得到質量不同的成像數據，其中磁場強度是對圖像質量影響較大的因素之一。ADNI 數據庫中sMRI成像磁場強度主要有3 T 和1.5 T 兩種。高場強磁共振3 T 相比1.5 T 具有更多的優勢，比如空間分辨率更高，信噪比更高，圖像增強效果更好，但同時3 T 對各種場強依賴性偽影敏感。由此可知，3 T 和1.5 T 的sMRI 的數據存在較為顯著的域偏移現象。本文實驗根據磁場強度將sMRI 數據分為源域和目標域，其中3 T 數據為源域，1.5 T數據為目標域。數據詳細信息如表1 所示。

表1 數據統計信息表Table 1 Data statistics table 人

2.2 數據預處理和數據增強

使用SPM 和FSL 軟件對sMRI 數據進行預處理，包括AC-PC 校正、顱骨剝離和線性配準，配準模板使用Colin27。預處理流程如圖2 所示。

在小學科學的教學課堂，教師往往以自己為中心，忽視了學生的主體地位，使學生被動接受知識，限制了學生思維，學生沒有完全參與到科學教學中，達不到預期的教學效果。同時教師還忽略了師生間的互動，學生沒有將知識的掌握程度及時反饋給教師，影響了教學效果?，F在很多教師受傳統教學觀念的影響，只重視學生的分數，沒有將小學科學中的現象和實驗詳細的為學生講解，讓原本充滿趣味性的教學內容變得枯燥無趣，降低了學生的學習熱情。小學是接受教育的最初階段，對學生未來的學習生活有很大的影響。但由于教師教學方法的不科學，沒有充分引導學生進行自主思考，阻礙了學生創新思維的發展。

圖2 MRI 數據預處理流程Fig.2 MRI data preprocessing process

本文使用896 個T1 加權的sMRI 影像進行分類實驗，將預處理之后的數據尺寸裁剪為150×180×150，圖像分辨率為1 mm×1 mm×1 mm。為模擬現實情況下采集sMRI 數據時因掃描和成像方式等導致的鏡像化現狀，同時防止分類器在源域上過擬合，在源域的數據中隨機選取部分數據進行上下翻轉或左右翻轉，目標域數據不做翻轉。翻轉效果如圖3 所示。

圖3 MRI 數據增強圖Fig.3 MRI data augmentation

2.3 實驗環境及性能評價指標

模型使用的深度學習框架為PyTorch1.7.1，操作系統為Ubuntu18.04，處理器為Intel(R) Xeon(R)Gold 5218 CPU @ 2.30 GHz，深度學習模型的訓練采用GPU 加速，GPU 型號為Tesla V100。

本文使用分類準確率A（Accuracy，ACC）、SEN靈敏度（Sensitivity，SEN）、特異度SPE（Specificity，SPE）和受試者工作特征曲線下面積（Area under curve，AUC）作為模型性能評估標準。將真陽性、真陰性、假陽性和假陰性分別定義為TP、TN、FP和FN，相關評價指標定義如下：

2.4 模型和訓練參數設置

本文的特征提取骨干網絡包含9 層三維卷積，卷積核大小均為3×3×3，輸入通道為1，輸出通道分別為8、8、16、16、32、32、64、64、128，每層卷積后面均加入了BatchNorm 層和ReLU 激活函數，為增大感受野和避免過擬合，在第2、4、6、8、9 層后加入了最大池化層。選取第4 層卷積和第6 層的卷積結果作為ASPP 模塊的輸入，對其均使用空洞率為2、4、6 的空洞卷積，將3 次空洞卷積的結果拼接融合，并進行單通道卷積，得到ASPP模塊的輸出，為最終獲取多尺度的特征信息，將兩個ASPP 的輸出進行平均池化，并和最后一層的卷積結果進行拼接融合，作為最終分類器的輸入。分類器由三層全連接構成，神經元個數分別設置為256、128 和2。兩個域判別器同樣均由三層全連接構成，神經元個數分別設置為256、128和2。

對本文提出的多尺度域適應網絡模型訓練時，采用Adam[23]梯度下降法進行參數的迭代更新， batch size 設置為8，使用帶warmup 的余弦退火學習率衰減策略，學習率初始值設置為0.001，最大值設置為0.01，warmup 的epoch 值設置為15，整個訓練過程共120 個epoch。為防止過擬合，在分類器中設置Dropout 為0.5， λ 、 α 、 β 和ω 4 個平衡超參數分別為0.9、0.1、0.2 和0.1。

2.5 對比實驗結果

為驗證提出方法相較于有監督學習和其他領域自適應方法在阿爾茨海默癥sMRI 數據上分類任務的有效性，本文在相同的sMRI 預處理數據上進行對比實驗。進行對比的有監督學習方法為3DResNet50[24]，選擇的無監督域適應方法包括：DANN[20]、動態對抗自適應網絡（dynamic adversarial adaptation network，DAAN）[25]、條件域對抗網絡（conditional domain adversarial networks，CDAN）[26]、注意力引導的深度域適應算法（attention-guided deep domain adaptation，AD2A）[27]和對抗緊密匹配算法（adversarial tight match，ATM）[22]。進行對比實驗時，3DResNet50 在源域上進行監督學習后在目標域上進行分類識別，比較的域適應方法均采取本文設計的多尺度特征提取網絡，采取相同的模型參數和訓練策略，最終取損失最小的模型在目標域上進行分類識別，AD 和CN 分類任務的詳細實驗結果如表2 所示。

表2 AD 和CN 分類任務對比實驗結果Table 2 AD vs.CN task comparison experimental results

從表2 發現，本文方法在AD 和CN 的分類任務上達到了90.8%的準確率，相比于3DResNet50的78.3%的分類準確率提高了12.5%。在所比較的無監督域適應方法中，本文方法的ACC、SPE和AUC 指標均達到了最好，SEN 指標和最好的ATM 方法相近。

表3 給出了AD 和MCI 的分類識別結果。由于MCI 是AD 的前期發展階段，在腦結構的病變上具有相似的全局和局部特征，相比于AD 和CN的識別更困難。本文方法在該任務上的4 項指標均超過了3DResNet50，和無監督域適應方法比較，ACC、SEN 和AUC 指標均達到了最好，SPE指標只小于DAAN，但和其相比，本文方法在SEN和SPE 兩項指標上取得了更好的平衡。

表3 AD 和MCI 分類任務對比實驗結果Table 3 AD vs.MCI task comparison experimental results

表4 給出了MCI 和CN 的分類識別結果。MCI作為過渡期狀態，有些病例可能后期轉換為AD，有些可能保持穩定，這導致MCI 組樣本存在高度異質性，因此相較于AD 和CN 的識別更困難。本文方法在該任務上取得了78.8%的準確率，SPE指標和AUC 指標也達到了最好，雖然SEN 指標低于CDAN，但本文方法依然在SEN 和SPE 上取得了更好的平衡。

表4 MCI 和CN 分類任務對比實驗結果Table 4 MCI vs.CN task comparison experimental results

綜合3 個分類任務的對比實驗結果，所比較域適應方法的各項評價指標均超過了3DResNet50，表明利用領域自適應技術對sMRI 數據進行特征對齊可以有效提高在目標域上的性能。和DANN、AD2A 只使用一個域判別器進行對抗學習方法相比，本文在3 個分類任務中ACC、SEN、SPE 和AUC評價指標均有提升，表明利用兩個域判別器協同訓練可以有效提升模型性能；和DAAN 和CDAN等只使用對抗學習的方法比較，本文方法將距離度量和對抗學習進行結合，在3 個分類任務中的ACC 和AUC 均有一定程度的提升，表明MDD 距離度量在增強特征對齊和緩解對抗學習訓練不穩定等問題上起到了明顯作用；和ATM等使用距離度量和對抗方法結合的方法比較，本文方法在3 個分類任務中的4 個評價指標普遍有所提升，表明使用注意力一致性損失進行源域和目標域語義共享可以增強模型在目標域上的預測性能。

3 結果討論

3.1 消融實驗

為了驗證本文方法每個模塊的有效性，我們使用3 種途徑進行消融實驗：

1）只使用多尺度特征提取模塊（3DCNN）進行特征對齊，模型達到收斂后直接在目標域上使用分類器進行預測；2）在1）的基礎上加入對抗域適應模塊（+Adv）；3）在2）的基礎上加入MDD 距離度量模塊（+MDD）。表5 給出了3 種模型分別在不同分類任務上的結果。

表5 消融實驗結果Table 5 Ablation experiment results

由表5 可見，3DCNN 在3 個分類任務上普遍取得了較為不錯的分類結果，表明本文提出的多尺度特征提取模塊的有效性。以該實驗結果為基線，基線實驗中加入對抗域適應模塊后，3 個分類任務上ACC、SPE 和AUC 的結果均取得了小范圍提升，表明本文提出的對抗域適應模塊能夠完成對存在域偏移的sMRI 數據完成特征對齊，有助于提取域不變特征，SEN 在AD vs.MCI 的分類任務上表現不太穩定，表明了對抗訓練還是存在不穩定性以及AD 和MCI 分類任務存在一定難度。在此基礎上再加入MDD 距離度量模塊后，3 個分類任務上結果普遍再次提升，特別是在AD vs.MCI 分類任務上提升明顯，表明MDD 在減小域間散度和增大類內密度，增強特征分布對齊上發揮了明顯優勢。

3.2 參數分析

損失 函 數 中 α 、 β 和 ω在平衡注意力一致性損失、MDD 距離度量損失和對抗域適應損失方面發揮著重要的作用。為了研究它們對于本文提出方法的影響，我們在[0, 0.01, 0.02, 0.05, 0.1, 0.2,0.5, 1]范圍內改變其值，并對比最終模型在目標域上的AUC 指標變化。具體實驗為在3 T 為源域，1.5 T 為目標域的設置下，探究不同的 α 、 β和ω值在AD vs.CN 任務上的實驗結果。為探究每個損失函數對于模型的增益效果，一個損失函數權重在變化時，其余兩個權重參數值設置為0。從圖4 可以發現，當 α ∈[0.1,0.5]， β ∈[0.2,0.5]和ω ∈[0.1,0.2]時，對應的損失函數能夠為模型帶來較好的增益效果。同時，當3 個損失的權重均為0 時，AUC 指標表現最差，表明加入的注意力一致性損失、MDD 距離度量損失和對抗域適應損失均有利于源域和目標域的特征對齊，增強模型在目標域的泛化性能。

圖4 參數消融分析Fig.4 Ablation analysis of parameters

3.3 特征分布可視化

為直觀說明本文方法的有效性，使用t-SNE[28]算法分別對3DResNet50 和本文方法提取的特征進行降維和可視化，如圖5 所示。選取源域和目標域中AD 和CN 的584 個數據，圖5(a)為3DResNet50模型在源域數據上有監督學習訓練后，使用訓練后的模型對源域和目標域提取的特征降維可視化，圖5(b)為使用本文方法訓練得到的模型對源域數據和目標域數據進行特征對齊后的特征降維可視化?？梢园l現，兩種方法下源域AD 和源域CN的特征都能夠很明顯地區分開，但3DResNet50在目標域上卻存在一定程度的特征混淆，這也是導致其最終分類效果次優的原因；而本文方法因為在特征提取的同時，使用對抗學習和距離度量，進行了邊緣特征對齊和條件分布對齊，使得目標域和源域中相同類別數據的特征分布變得更加緊湊，因此最終網絡模型能夠在目標域上取得優異的分類識別效果。

圖5 數據特征分布可視化Fig.5 Data feature distribution visualization

4 結束語

本文針對sMRI 數據存在的域偏移問題，提出了一種面向阿爾茨海默癥識別的多尺度域適應網絡模型。模型主要分為3 個部分：多尺度特征提取模塊、對抗域適應模塊和MDD 距離度量模塊。多尺度特征提取模塊中三維卷積神經網絡能夠對sMRI 數據進行有效的特征提取，空間注意力和注意力一致性損失實現了病變區域定位和語義信息共享，基于空洞空間金字塔的多尺度融合模塊能夠獲取不同尺度的特征信息；相較于普遍使用一個域判別器的領域自適應方法，本文的對抗域適應模塊利用兩個域判別器的協同訓練實現了數據的邊緣特征分布對齊，同時緩解了少樣本情形下單個域判別器的過擬合問題；MDD 距離度量模塊通過最小化域間差異和最大化域內密度達到增強特征對齊目標的同時，改善了對抗學習訓練不穩定等問題。實驗結果表明，本文方法在ADNI 數據上的分類準確率等各項評價指標優于傳統的監督學習方法和所比較的經典以及最新的無監督領域自適應方法，消融實驗、參數分析實驗和特征分布可視化實驗為模型的有效性提供了有力支持。