跨模態跨尺度跨維度的PET/CT圖像的Transformer分割模型

周 濤 黨 培 陸惠玲 侯森寶 彭彩月 師宏斌

①(北方民族大學計算機科學與工程學院 銀川 750021)

②(寧夏醫科大學理學院 銀川 750004)

③(北方民族大學圖像圖形智能處理國家民委重點實驗室 銀川 750021)

④(寧夏醫科大學總醫院泌尿外科 銀川 750004)

1 引言

隨著醫學影像設備的發展，多模態醫學圖像成為醫學圖像分析的研究熱點[1]。正電子發射計算機斷層顯像(Posit ron Em ission Tom og raphy/Com puted Tomography,PET/CT)圖像是重要的多模態圖像之一，結合了正電子發射型計算機斷層顯像(PET)圖像對腫瘤檢測的高靈敏度和電子計算機斷層掃描(CT)圖像的解剖信息，能夠充分利用不同類型的醫學圖像對病灶信息描述的冗余性和互補性。

目前的多模態圖像分割方法大多基于圖像分析任務的知識融合來自每個模態的信息。Fu等人[2]引入一個基于深度學習的框架，使用多模態空間注意模塊自動學習強調與腫瘤相關的空間區域進而分割出病灶區域。周濤等人[3]提出一種跨模態的多編碼混合注意力U型網絡(Multi-Encoder Attention UNet,MEAU-Net)，該網絡設計多編碼器解決單模態醫學圖像病灶提取能力不足的問題。Kumar等人[4]用一種新的監督卷積神經網絡量化每個模態特征在不同空間位置的相對重要性。上述表明，結合多模態圖像可以獲得更豐富的疾病信息。同時，多尺度信息能夠結合高分辨率特征和高語義特征，實現對不同尺度目標的有效學習[5]。因此，針對目標對象多尺度問題，胡敏等人[6]提出一種基于改進U型神經網絡的圖像分割模型(A ttention U-Net p lus,AUNet+)，該網絡針對腦出血CT圖像病灶部位多尺度的問題，提出殘差8度卷積塊融合不同層次的特征信息，提高對目標區域的特征提取能力。W ang等人[7]提出一種多尺度密集跳躍連接網絡模型，該模型利用多尺度特征信息，有效地解決由于左心室邊緣信息模糊和心臟區域收縮末期分割精度低而導致分割困難的問題。Zhou等人[8]提出利用密集連通性捕捉了多尺度上下文信息進行語義分割提高分割精度。

如何綜合使用多模態醫學圖像，從不同角度提取多模態醫學圖像信息，避免不同醫學圖像的缺點同時又能獲得更豐富的疾病信息，以及如何充分提取跨尺度上下文信息是肺部腫瘤醫學圖像分割需要解決的關鍵難題。針對上述問題，本文提出跨模態跨尺度跨維度的PET/CT圖像的T ransformer分割模型，主要貢獻是：(1)在編碼器設計PET/CT主干分支和PET,CT輔助分支提取多模態圖像信息；(2)在跳躍連接設計跨模態跨維度注意力模塊(Cross-m odal and Cross-d im ension A tten tion Module,C2AM)，從模態和維度的角度提取跨模態圖像各維度的有效信息；(3)在瓶頸層提出跨尺度T ransform er模塊(C ross-sca le T ransfo rm er M odule,CTM)，自適應學習編碼器的淺層的空間信息和深層的語義信息從而學習到更多的上下文信息，并從中獲取跨尺度全局信息；(4)在解碼器構造多尺度自適應解碼特征融合模塊(Multi-scale Adaptive Decoding Feature fusion M odule,MA-DFM)，聚合并充分利用解碼路徑得到精細程度不同的多尺度特征圖，有效抑制上采樣中引入的噪聲。

2 模型整體流程

本文跨模態跨尺度跨維度的PET/CT圖像的T ransform er分割模型如圖1所示，在編碼器部分采用主輔網絡思想，使用PET/CT圖像(如圖1所示加深顏色M區域)為主干網絡輸入，PET和CT圖像為輔助網絡輸入；在瓶頸層部分設計跨尺度T ransform er模塊，利用多尺度自適應編碼特征融合模塊(M u lti-scale Adap tive Encoding Feature fusion M odu le,M A-EFM)自適應地融合編碼器前4層信息，并利用T ransform er編解碼模塊，實現全局上下文語義信息的建模；在跳躍連接部分將3種模態圖像拼接傳入C2AM，從模態和維度的角度捕獲跨模態圖像各維的有效信息，綜合表達病變組織器官的解剖信息和功能信息，從而指導肺部腫瘤組織分割的過程；在解碼器部分利用MA-DFM融合解碼器各個階段特征圖，有效抑制上采樣中引入的噪聲。

從臨床醫學角度講，多模態圖像綜合表達病變組織器官的解剖和功能信息，緩解單種模態醫學圖像病灶信息缺失的問題。因此本文使用跨模態跨維度的注意力機制捕獲不同模態不同維度的空間語義信息。同時，U型網絡(U-shaped Network,U-Net)編解碼不同階段的特征圖具有不同的空間信息和語義信息，為了充分學習多尺度的上下文信息，本文在U-Net編碼器和解碼器使用多尺度特征融合的思想并調節相應的上下采樣策略，實現對不同尺度特征圖的充分利用。

2.1 跨模態跨維度注意力模塊

本文提出跨模態跨維度注意力模塊如圖2(a)所示，將3種模態特征圖拼接為Fconcat；通過轉置運算將Fconcat轉換為分別以Channel,Height,W eigh為第1維度的特征圖，記為FC,FH,FW并對每個維度的特征圖使用空間注意力機制捕獲不同維度的語義信息。例如在特征圖FC上進行最大池化和平均池化得到FCMax和FCAvg，拼接兩種池化的特征圖后進行卷積和sigmoid操作并與FC相乘，得到Channel維度空間信息的特征圖α∈R3C×H×W。同理可以得到Height和W eigh維度空間信息特征圖β ∈R H×3C×W和γ ∈R W×H×3C，如式(1)—式(3)所示。對β,γ進行轉置運算使其與Fconcat尺寸一致后進行平均運算得到FAvg有效融合不同維度的空間信息，如式(4)所示；最后將FAvg與Fconcat拼接并卷積輸出，捕獲多模態背景下不同維度的語義信息

圖2 跨模態跨尺度跨維度模塊

2.2 跨尺度Transformer模塊

跨尺度T ransformer模塊用于自適應學習編碼器前4層多尺度特征圖的語義信息和空間信息并提取跨尺度全局信息。該模塊主要包含兩個步驟：第1步，通過多尺度自適應編碼特征融合模塊提取多尺度上下文信息；第2步，利用T ransformer編解碼模塊捕獲跨尺度全局信息。

2.2.1多尺度自適應編碼特征融合模塊

本文使用多尺度自適應編碼器特征融合模塊學習對其他層次上的特征進行空間過濾，保留有用的信息組合。如圖2(b)所示，該模塊主要包含兩個部分：編碼器多尺度處理單元(Encoder M u lti-scale Processing Unit,EMP Unit)和自適應融合模塊。

編碼器多尺度處理單元：EMP Unit中黃色代表3×3卷積，紅色代表下采樣。該模塊用于調節不同尺度特征圖的下采樣策略，使其與瓶頸層同尺寸。

2.2.2 Transformer模塊

缺乏多尺度上下文信息會降低分割性能。受文獻[10]啟發本文設計了一個T ransform er編解碼模塊，建模全局上下文語義信息。該模塊由T ransform er編碼模塊(T ransform er Encoding M odu le,TEM)和T ransform er解碼模塊(T ransform er Decoding Module,TDM)組成，具體如圖2(d)所示。

TEM：T ransform er編碼模塊Query分支的輸入為MA-EFM模塊得到的多尺度自適應特征圖FE,Key和Value分支的輸入為具有高層語義信息的瓶頸層特征圖FE5，利用高層語義信息指導提取跨尺度全局信息。首先，3個1×1卷積分別將FE映射為QE，將FE5映射為KE和VE并將QE和KE的通道壓縮到C/8，即QE,KE∈RB,C/8,H,W,VE∈R B,C,H,W。為了使特征的自我注意操作對位置敏感，本文采用可學習參數分別從垂直和水平方向對特征位置進行編碼得到PE并利用PE對QE進行編碼得到 EP。然后，將QE和KE相乘計算相似度矩陣，在高級語義信息的引導下獲得跨尺度全局空間信息相關權值。并將其結果與 EP相加，通過softmax獲得注意權重EAtt。將其E Att與VE相乘，得到具有強全局語義的跨尺度全局特征信息FEAtt。最后，FEAtt與FE5進行元素級相加，得到跨尺度全局特征映射FEM。具體如式(7)—式(11)所示

TDM：與TEM類似，T ransform er解碼模塊Query分支的輸入為具有高層語義信息的U-Net編碼器瓶頸層特征圖FE5,Key和Value分支輸入為跨尺度全局特征映射FEM，在FEM的引導下，進一步提取特征圖FE5中包含的強語義位置自相關信息。分別將FE5映射為QD,FEM映射為KD和VD。壓縮QD和KD的信道使得QD,KD∈R B,C/8,H,W,VD∈R B,C,H,W。采用可學習參數分別從垂直和水平方向對特征位置進行編碼得到PD∈R B,C/8,H,W利用PD對QD進行編碼得到 DP；然后，計算QD和KD之間的相似度矩陣并將其與 DP相加，通過softmax獲得注意權重DAtt。并將其結果和VD相乘，得到具有強語義位置信息的空間特征信息FDAtt；最后，FDAtt與FE5進行元素級相加，得到最終的跨尺度強語義全局特征圖FDM。具體如式(12)—式(16)所示

2.3 多尺度自適應解碼特征融合模塊

本文使用一種多尺度自適應解碼器特征融合模塊，旨在自適應聚合解碼階段不同尺度的特征圖，并通過串并聯的空間和通道注意力機制使模型關注感興趣區域。該模塊主要包含3個部分，如圖2(c)所示：解碼器多尺度處理單元(Decoder Multi-scale Processing Unit,DMP Unit)、自適應融合、串并聯的空間和通道注意力機制。

DMP Unit用于調節統一U-Net解碼器各層特征圖尺寸為(50×50)，然后再融合，本文相應地修改了上采樣策略，具體如式(17)所示

其中φi為U-Net解碼器第i層 的特征圖，φ′i為DMP Unit輸出特征圖，DMP Unit模塊，通過卷積調節特征圖通道數，通過上采樣調節尺寸。

受文獻[9]啟發，在解碼器部分構造了一個自適應融合規則，具體如式(18)所示

其中，D Wi是融合系數，代表解碼器不同層特征圖的權重，其值之和為1并通過訓練得到。以λDWi為控制參數，利用softmax函數分別定義D Wi，如式(19)所示。并通過標準反向傳播學習。最后利用串并聯的空間和通道注意力機制進一步關注病灶區域得到最終的輸出O utput如式(20)所示

3 實驗結果與分析

3.1 數據集及預處理

數據集從寧夏某三甲醫院核醫學科收集，并進行預處理，從3個模態截取有較強區分能力的子圖作為感興趣區域(Region O f Interest,ROI)歸一化為50×50。最終采用預處理后3種模態圖像各2 025張作為訓練集，各405張作為測試集。

3.2 評價指標

本文使用的評價指標為準確率(A ccu racy,Acc)、召回率(Recall)、戴斯相似系數(Dice sim ilariy coefficient,Dice)、體積重疊誤差(Volum etric overlap error,Voe)、相對體積差異(Relative volume difference,Rvd)和平均交并比(Mean intersection over union,M iou)，為了方便顯示各項指標的性能，本文所使用的Voe和Rvd評價指標結果為1減去模型測試值。公式定義如表1所示。其中，病灶區域被正確分割的定義為真陽性(T rue Positive,TP)，正常組織區域被正確分割定義為真陰性(T rue Negative,TN)，正常組織區域被分割為病灶區域定義為假陽性(False Positive,FP)，病灶區域分割為正常區域定義為假陰性(False Negative,FN)。P表示模型預測的目標像素，G表示標簽值(Ground truth)中的目標像素。

表1 評價指標

3.3 實驗

本文模型基于Pytorch實現，實驗室硬件環境服務器Intel(R)Xeon(R)Gold 6154 CPU，內存256 GB，顯卡NV ID IA T ITAN V,py thon3.7,PyTorch1.7.0,CUDA版本為11.1.106。本文采用了Adam優化器，訓練周期為120，學習率為0.0001，批處理大小為8。采用2元交叉熵損失函數反映模型預測值與實際值之間的差距。

實驗思路：通過3組實驗來說明本文所提模型的先進性，第1組實驗證明跨模態圖像對分割結果的影響；第2組實驗與一些先進的分割網絡進行比較；第3組實驗證明跨模態跨維度跨尺度的有效性。

3.3.1跨模態相關性實驗

本次實驗通過3個實驗來驗證跨模態網絡的優勢。U-Net[11]網絡，輸入圖像為PET/CT圖像；Y-Net[12]網絡，輸入圖像為CT與PET/CT兩種模態圖像；本文所提出的模型，輸入3種模態圖像，主干網絡為PET/CT模態圖像，輔助網絡為PET和CT模態圖像。不同網絡分割結果如表2所示，圖3為跨模態相關性實驗的雷達圖和可視化分割結果圖，其中，圖3(b)第3列為CT灰度圖，在灰度圖中能清晰地看出不同病灶區域的灰度變化。通過表2可以清楚地看出，Y-Net各項評價指標高于U-Net。而本文模型各項評價指標高于Y-Net，同樣在圖3(a)中，本文所提模型各項評價指數的坐標軸覆蓋范圍最大，證明了多模態醫學圖像有效緩解單種模態醫學圖像分割時病灶特征提取能力不足等問題；從圖3(b)可以看出，U-Net僅使用單種模態圖像，在分割不規則病灶時效果不如其他兩種網絡，例如第1行、第4行顯示出的效果；Y-Net雖然相較于U-Net具有豐富的病灶信息，但病灶信息仍然不足，對于肺部病灶尺度形狀大小不一與正常組織粘連等復雜的問題，分割處理時存在明顯的缺陷，如第2行；而本文提出的模型，能夠在模態、維度和尺度方面進行信息的互補，各項評價指標均得到了一定程度的提升，針對復雜的病灶有很好的分割效果。

表2 跨模態相關性實驗分割結果(%)

圖3 跨模態相關性實驗的雷達圖和可視化分割結果圖

3.3.2不同分割網絡對比實驗

本次實驗通過與6個不同先進分割網絡對比實驗驗證本文所提模型的先進性，實驗結果如表3所示。從圖4(b)可以看出UNet++[13]第4行、第5行的病灶組織出現了腫瘤病灶斷裂的狀況，第1行和第2行不規則病灶區域分割效果欠佳；SegNet[14]沒有出現病灶區域分割斷裂的問題但對于不規則病灶分割結果明顯欠佳；在第4行中，A ttention UNet[15]和擠壓激勵和殘差UNet[16](Squeeze-and-Excitation Residual UNet,SEResUNet)在正常組織與病灶間均不同程度地出現了分割白點；多尺度T ransformer全局注意網絡[9](M u lti-scale T ransform er G lobal A ttention Network,M sTGANet)有效解決病灶區域與正常組織粘連等問題。MEAU-Net[3]使用3種模態圖像，但由于其不具有跨尺度上下文信息，第1行和第2行沒有區分正常組織。通過圖4(b)與表3中不同方法的對比，可以看出本文所提模型分割效果好，各項指數也高于其他網絡。證明本文所提模型的可行性和先進性。

表3 不同分割網絡對比實驗分割結果(%)

3.3.3跨模態跨尺度跨維度實驗

本組實驗共設計了8個實驗驗證跨模態跨維度和跨尺度方法的有效性。在本組實驗中使用3模態輸入稱為多模態UNet(Multi-modal UNet,MUNet)，在瓶頸層僅使用PET/CT，跳躍連接處將3種網絡拼接傳入；C2代表在MUNet中加入C2AM，T代表在MUNet中加入CTM，D代表在MUNet中加入MA-DFM；最后的本文行為本文所提完整模型。從圖5(b)可以清晰看出加入CTM后，可以捕獲跨尺度上下文信息，有效解決正常組織粘連的問題，證明CTM模塊的有效性。C2AM模塊能夠提取跨模態圖像不同維度的有效互補信息，從表4可以看出在MA-DFM模塊和跨尺度T ransformer基礎上添加C2AM模塊相較于未加C2AM模塊的分割結果評價指標明顯提高，證明了C2AM有效性。但僅僅使用C2AM模塊由于缺乏跨尺度上下文信息效果不佳，從圖5(b)可以添加C2AM模塊模型的分割效果明顯改善。同時對比表4的實驗結果表明MA-DFM模塊能夠有效地提高分割結果。盡管在主輔網絡的基礎上添加各個模塊評價指標并不是依次逐漸提高，但最終所提出的模型合理地使用各個模塊，評價指標和分割效果均為最優，對于肺部腫瘤與正常組織粘連、不同尺度的病灶以及復雜的病灶邊緣都能有效分割。

表4 跨模跨尺度跨維度實驗分割結果(%)

圖5 跨模態跨尺度跨維度實驗的雷達圖和可視化分割結果圖

4 結論

本文充分考慮多模態醫學圖像的特點。提出跨模態跨尺度跨維度的PET/CT圖像的T ransform er分割模型。通過跨模態相關性實驗證明本文提出的模型在跨模態方面的有效性；通過不同分割網絡的對比實驗中證明本文所提出模型的先進性；通過跨模態跨尺度跨維度實驗證明各個模塊的合理性。結果表明所提模型對于肺部病灶分割的Acc,Recall,D ice,Voe,Rvd和M iou分別為97.99%,94.29%,95.32%,92.74%,92.95%和90.14%，對于復雜的病灶分割，具有較高的精度和相對較低的冗余度。