基于注意力殘差網絡的跨模態醫學圖像配準

李文舉，孔德卿，曹國剛，戴翠霞

(1.上海應用技術大學計算機科學與信息工程學院，上海 201418；2.上海應用技術大學理學院，上海 201418)

1 引言

2D-3D醫學圖像配準在基于影像的手術導航、圖像引導放射治療等多個領域應用廣泛，發揮著至關重要的作用。二維圖像(例如X-Ray圖像)成像時間短，滿足手術的實時性要求，因此在術中被廣泛使用；三維圖像(例如CT、MRI等)成像時間較長，掃描操作難以實時進行，但可以獲取病灶更準確的結構信息，一般在術前獲得[1]。因此，需要應用2D-3D醫學圖像配準方法，在術中融合兩種不同維度的數據，即時得到更多病灶信息來輔助醫生治療，從而減小手術創傷，提高手術效率和成功率[2]。

傳統2D-3D醫學圖像配準方法主要分為：基于特征和基于灰度的方法。其中，基于灰度的方法利用圖像的灰度值進行配準，無需進行分割等處理操作，可實現自動配準且精度較高，因而成為2D-3D醫學剛性配準的主流方法[3]。為了統一空間維度，基于灰度的配準方法通常將三維圖像生成多幅二維的數字重建放射影像(Digital Reconstructed Radiograph，DRR)，把2D-3D配準轉化為2D-2D配準問題。進而，使用相似性測度函數衡量DRR圖像和X-Ray圖像的配準效果，若沒有達到設定值，則使用優化算法來調整配準參數。整個配準過程不斷循環迭代，直至得到最優的參數，則完成配準。

盡管傳統配準方法已基本滿足需求，但仍然存在一些問題亟待解決，例如動態生成DRR圖像涉及大量的運算，耗費過多時間，難以滿足醫學圖像配準的實時性要求。劉坤等[4]提出了一種基于Bresenham直線改進的光線投射法，相比原來的方法，速度提高了6～7倍，大大提高了圖像配準的效率。另外，傳統優化算法在解決多極值問題上，存在局部最優現象。差異進化算法、遺傳算法、粒子群算法等智能優化算法的提出[5]，一定程度上改善了局部極值問題。雖然如此，傳統方法存在的局限性沒有得到根本改善，配準問題仍需進一步優化。

隨著深度學習方法的研究熱潮，一些學者將其應用在醫學圖像配準中，目前已經取得了卓越的成果[6]，代表性的如Balakrishnan等[7]提出一種預測可形變圖像的配準框架VoxelMorph。由于DRR圖像可以提供真實標簽，在2D-3D醫學圖像配準領域大多采用監督學習的方法。Miao等[8]提出利用卷積神經網絡(Convolutional Neural Network，CNN)構建回歸器，直接預測配準所需的變換參數。實驗結果表明，該方法滿足高精度和實時性要求，然而在網絡架構的設計上，選取較淺層的網絡，難以處理結構復雜的圖像。Gao等[9]提出投影空間變換模塊(Projective Spatial Transformers，ProST)生成DRR圖像，實現端到端的配準模型。但該方法位移參數誤差較大，達到7mm左右，難以滿足配準的精度要求，需進一步優化網絡結構。

為了解決傳統配準方法的局限性，并利用深度學習方法自動提取圖像特征的優勢，提出一種融合注意力機制與殘差網絡的跨模態醫學圖像配準方法。不同于傳統方法的循環迭代過程，本文方法利用深度殘差網絡自動提取圖像特征，直接預測配準變換參數，顯著提高配準效率。在殘差塊中引入混合域的注意力機制，提高配準模型的抗干擾能力，使模型更易于處理復雜圖像。另外，考慮到配準變換參數具有不同的特點，設計分組回歸提高配準精度。

2 配準方法

2.1 X-Ray圖像和CT圖像配準

本文方法將配準視為一個回歸問題，利用配準網絡自動提取圖像特征，直接預測配準變換參數。X-Ray圖像和CT圖像的配準框架如圖1所示。在術前，首先獲取患者的三維CT圖像，使用Siddon光線追蹤法生成大量DRR圖像；接著，將圖像執行重采樣和歸一化操作，作為訓練數據集輸入配準網絡；然后，利用損失函數不斷縮小預測值和真實值之間的誤差，進行反向傳播；最后，若損失函數持續收斂，則結束模型訓練，并使用測試集評估模型。在術中，將患者同一部位的二維X-Ray輸入配準模型，經過一次前向傳播，即可直接預測配準變換參數，顯著提高配準效率。

圖1 X-Ray圖像和CT圖像配準框架

本文方法適用于2D-3D醫學圖像剛性配準，涉及6個變換參數，包括3個位移參數x、y、z和3個角度參數θ、α、β。變換參數引起的圖像變化效果如圖2所示，其中位移參數x、y和角度參數θ的效果近似2D剛體變換，位移參數z引起圖像的細微縮放，角度參數α、β引起圖像的復雜形狀變化。

圖2 配準變換參數示意圖

2.2 配準網絡

ResNet(Residual Neural Network)[10]由He等人在2016年提出，通過殘差學習的思想，有效地避免了隨著網絡層數加深而出現的梯度消失和梯度爆炸問題。對于殘差單元的學習如下所示

xl+1=f(yl)

yl=h(xl)+F(xl，ωl)

(1)

其中，xl和xl+1分別表示第l個殘差單元的輸入和輸出，h(xl)=xl表示恒等映射(Identity)，F(xl，ωl)表示通過卷積層學習到的殘差特征，f(·)是激活函數。基于(1)式，進一步求得淺層l到深層L的學習特征為

(2)

通過上式可知，殘差結構利用恒等映射來結合淺層網絡的特征，有助于網絡內的信息流動，一定程度上緩解了梯度消失問題。本文方法利用殘差結構的優點，在配準網絡中使用ResNet34作為特征提取部分，并融入注意力機制模塊CBAM(Convolutional Block Attention Module)[11]，同時根據配準參數的特點設計分組回歸的方式，分別輸出位移參數和角度參數。

配準網絡的結構如圖3所示，輸入為固定大小的256×256的灰度圖像。首先，經過一個卷積核大小為7、步長為2的卷積層，并跟著一個最大池化層(Max-Pooling layer)；接著，是由融合注意力機制的殘差卷積塊(Attention Block，A-Block)堆積而成的四個階段卷積，其中A-Block的數量分別為[3， 4， 6， 3]，具體結構如圖3虛線框內所示，每個卷積層后都跟著批歸一化層(Batch Normalization，BN)來加快訓練速度，通過線性整流單元(Rectified Linear Unit，ReLU)增加網絡對特征圖的學習能力，并引入CBAM模塊提高網絡對重要特征的關注度；然后，由于恒等映射要求輸入和輸出的維度一致，加入一個卷積核大小為1、步長為1的卷積層來調整通道數，如圖3虛弧線所示；最后，是由全局平均池化層(Global Average Pooling layer，GAP)[12]和全連接層(Fully Connected layer，FC)組成的回歸部分。考慮到變換參數的特點，設計分組回歸的方式，分別輸出位移參數和角度參數。另外，考慮到位移參數z只引起圖像的細微縮放，較難預測，因此將位移參數z單獨分為一組，以提高配準精度。

圖3 配準網絡結構

2.3 注意力機制

在真實臨床數據中，圖像存在軟組織等背景噪聲干擾，為了提高模型的抗干擾能力，本文將注意力機制引入配準網絡中。視覺注意力機制大致可分為三類：空間域、通道域以及結合兩者的混合域。空間域方法將圖片中的空間域信息做對應的空間變換，從而能將關鍵的信息提取出來。通道域方法類似于給每個通道上的信號都增加一個權重，來代表該通道與關鍵信息的相關度，權重越大，則相關度越高，典型的如SeNet[13]。混合域方法同時關注通道注意力和空間注意力，結合兩者的優勢。

本文使用混合域的注意力機制模塊CBAM，分別經過通道注意力和空間注意力，結構如圖4所示。對于學習到的殘差特征，首先經過GAP層和全局最大池化層(Global Max-Pooling layer，GMP)；接著是由兩個連續的1×1卷積層組成的共享網絡，將卷積層的輸出合并，使用sigmoid激活；通過乘法逐通道加權，便可得到通道注意力特征圖。將上述特征圖分別在通道維度上執行平均池化和最大池化，將得到的2個特征圖執行連接(concatenate)操作，經過一個7×7卷積層后，使用sigmoid激活，即可得到空間注意力特征圖。最后，將通道注意力特征圖與空間注意力特征圖相乘，便可得到經過雙重注意力調整的特征圖。CBAM是一個輕量級的通用模塊，將其集成到網絡中，增加少量訓練參數的同時，使網絡更關注重要特征并抑制不必要的特征，從而提高配準精度。

圖4 融合CBAM注意力機制的殘差塊

3 實驗

實驗環境：采用Windows10操作系統，CPU為Intel Core四核i5-9300H，顯卡為NVIDIA GeForce GTX 1660Ti。開發軟件包括PyCharm Professional 2019.2和Microsoft Visual Studio 2019，采用深度學習框架Pytorch 1.6。

3.1 數據集

數據集使用由蘇州醫工所提供的2D-3D醫學圖像配準數據集[14]，其中三維CT圖像尺寸為512×512×344，二維X-Ray圖像尺寸為2673×3037。監督學習需要大量帶標簽的數據集，因此本文使用帶有真實變換參數的模擬X線圖像(即DRR圖像)，避免了繁瑣的手工標記。從理論角度出發，利用三維CT圖像可以生成無數張DRR圖像，考慮到臨床實際應用，給定參數范圍如表1所示，所有參數在范圍內滿足均勻分布取值。具體而言，本文使用sidden光線追蹤法，在參數范圍內生成3萬張DRR圖像作為數據集，選取70%作為訓練集，30%作為測試集。另外，為了評價模型的配準效果，需要使用X-Ray圖像，原始的3張X-Ray圖像數量較少，測試結果不具備代表性。因此，使用數據擴增技術，在(-8， 8°)范圍內，將圖像每隔0.5度旋轉一次，擴展到99張X-Ray圖像作為額外的測試集。需要注意的是，DRR圖像和X-Ray圖像經過裁剪和重采樣到256×256的尺寸大小，便于模型更高效地計算。

表1 變換參數分布

3.2 訓練

訓練階段的損失函數是SmoothL1Loss，定義如下

(3)

其中，n是訓練樣本的數量，yi是第i個訓練樣本的標簽(ground truth)，ω是要學習的權重，f(xi;ω)是第i個訓練樣本的預測值。從上式可知，當預測值和真實值差別較小的時候，損失函數相當于均方誤差(L2 Loss)；而當差別較大的時候，相當于絕對值誤差(L1 Loss)的平移。實際上，SmoothL1Loss結合了L1 Loss和L2 Loss的優點，從而避免了L1損失函數收斂速度慢，L2損失函數對異常值敏感、離群點梯度爆炸等問題。

權重ω使用Adam優化器學習，初始學習率設為3×10-4，學習率使用固定步長衰減，每隔10個epoch降為原來的1/10，公式如下

(4)

訓練時的參數設置如上所述，將3.1節中生成的3萬張DRR圖像輸入模型訓練，隨著數據的增加，模型的loss值逐漸降低，但當數據超過2萬張時，模型的loss值趨于平穩。因此，劃分70%(21000張)作為訓練集，30%(9000張)作為測試集，使模型的精度與效率互相均衡。當損失函數收斂(損失函數的差小于1×10-4)或達到Epoch的最大迭代次數時，則結束模型訓練。整個訓練時長約為2.5個小時，共計25個Epoch，過程如圖5所示。

圖5 模型訓練、測試圖

3.3 評價指標

由于DRR圖像具有真實變換參數，本文使用6個變換參數的平均絕對誤差(Mean Absolute Error，MAE)和均方根誤差(Root Mean Squard Error，RMSE)來評價模型擬合參數的能力，公式如下所示

(6)

另外，使用的X-Ray圖像沒有真實標簽，因此選取配準中常用的測度函數歸一化互信息(Normalized Mutual Information，NMI)和歸一化互相關(Normalized Correlation Coefficient，NCC)[15]，來驗證圖像的配準效果，測度值越大代表配準效果越佳。同時，選取結構相似性(Structural Similarity，SSIM)來綜合考量配準效果，SSIM指標值越高，則證明算法的配準能力越高。

3.4 實驗結果與分析

3.4.1 性能分析

為了評估注意力機制模塊對配準模型的影響，設計對比實驗如下：

1)無注意力：使用原始的ResNet34作為配準網絡；

2)SeNet：使用ResNet34作為配準網絡，并引入通道域的注意力機制SeNet；

3)CBAM：使用ResNet34作為配準網絡，并引入混合域的注意力機制CBAM。

對比實驗使用9000張DRR圖像作為測試集，分別求得6個配準參數的MAE和RMSE，用來評估配準模型擬合參數的能力，實驗結果如表2所示。首先，與無注意力機制網絡相比，融合SeNet的配準網絡減少15%的位移參數誤差、6%的角度參數誤差。接著，比較通道域的注意力機制SeNet和混合域的注意力機制CBAM，分析發現CBAM在6個變換參數上的誤差均小于SeNet，證明引入混合域的注意力機制會使得配準網絡擬合參數能力更佳。

表2 注意力機制模塊對比

然后比較配準模型的回歸方式，分析分組回歸對配準精度的影響，設計對比實驗如下：

1)無分支：不進行分組，將6個變換參數通過同一個FC層輸出；

2)雙分支：將位移參數x、y、z和角度參數θ、α、β分成兩組；

3)三分支：將位移參數x、y，位移參數z，角度參數θ、α、β分成三組。

對比實驗使用9000張DRR圖像作為測試集，分別求得6個配準參數的MAE和RMSE，用來評估配準模型擬合參數的能力，實驗結果如表3所示。通過分析發現，將配準參數分組回歸后，參數誤差會有小幅下降，這歸因于預測的變換參數具有相似的特性，便于網絡學習。

表3 回歸方式對比

3.4.2 與其方法對比

首先，選取常見的網絡如GoogLeNet[16]、ResNet和DenseNet[17]作對比。其中，GoogLeNet選取Inception V1版；ResNet由基于BasicBlock的殘差塊組成，包含34層網絡結構；DenseNet由基于Bottleneck的密集連接塊組成，包含121層網絡結構。另外，選取Xie等[18]在2017年提出的配準網絡作為對比。實驗使用9000張DRR圖像作為測試集，各網絡的實驗參數設置和本文方法保持一致，結果如表4所示，分別求得6個配準參數的MAE和RMSE。實驗結果表明，本文方法在6個配準參數上的誤差均小于其方法，擬合參數能力較佳。

表4 不同網絡的擬合參數能力對比

最后，為了測試X-Ray圖像的配準效果，使用99張X-Ray圖像作為測試集，選取傳統的2D-3D配準算法作為對比實驗，其中相似性測度函數選取NCC和NMI，優化算法使用Powell法，當測度值在兩次迭代的差小于1×10-3時停止迭代。實驗結果如表5所示，分別求得NCC、NMI和SSIM的平均值和標準差，測度值越大代表配準效果越佳。根據結果可知，本文方法在三個測度函數均優于這兩種傳統算法，且配準時間僅需40ms，遠遠小于傳統算法，顯著提高配準效率。

表5 配準方法對比

4 結束語

本文提出一種融合注意力機制與殘差網絡的跨模態醫學圖像配準方法，直接預測六個配準變換參數。實驗證明，引入混合域的注意力機制，使提取的圖像特征更有效；利用分組回歸的方式，結合變換參數的特點來實現預測，從而提高配準精度。提出的方法滿足臨床配準的精度需求，與傳統方法相比，術中無需循環迭代的過程，大大縮短配準所需時間，達到40ms，做到實時配準。同時本文仍存在一些不足之處，如未考慮器官的形變情況，下一步計劃研究非剛性配準方法，預測圖像的形變問題。