基于深度學習的直腸癌圖像配準技術研究進展

摘要：圖像配準在直腸癌診斷、手術引導及放射性治療等診療場景中具有重要的應用價值。傳統的醫學圖像配準方法非常耗時，不能滿足臨床實時性的需求。基于深度學習的配準技術，以其計算速率快、適用范圍廣引起廣泛關注。文章首先從兩類深度學習的圖像配準方法進行分析，并對直腸癌圖像配準進行闡述；然后，對深度學習圖像配準以及直腸癌醫學配準的4個挑戰進行討論；最后，展望未來的研究方向。

關鍵詞：直腸癌，醫學圖像配準，深度學習

doi：10.3969/J.ISSN.1672-7274.2023.06.054

中圖分類號：R 318，TP 18，TP 391.41" " " "文獻標志碼：A" " " " " "文章編碼：1672-7274（2023）06-0-03

Abstract： Image registration has important application value in rectal cancer diagnosis， surgical guidance and radiotherapy. Traditional medical image registration methods are time-consuming and can not meet the needs of clinical real-time. The registration technology based on deep learning has attracted widespread attention due to its fast computing speed and wide applicability. Firstly， this paper analyzes two kinds of image registration methods of deep learning， and expounds image registration of rectal cancer; Then， four challenges of deep learning image registration and rectal cancer medical registration are discussed; Finally， prospects for future research directions.

Key words： rectal cancer; medical image registration; deep learning

根據世界衛生組織的統計，2020年全球約有732 210個新病例和339 022個死亡病例由直腸癌引起[1]。在我國，2011年至2020年間，結直腸癌（包括直腸癌與結腸癌）發病率增長了126%，年增長率為9.5%。直腸癌約占結直腸惡性腫瘤的三分之一[2，3]。近年來，應用深度學習是一個非常有前景的方法，可以改善直腸癌治療中依靠T2w（核磁共振MRI的T2加權圖像）和DWI（核磁共振MRI的DWI加權圖像）來描述治療反應的不足[4]。

與傳統的配準方法相比，基于深度學習的醫學圖像配準具有很大的優勢和潛力[5-7]。如圖1所示，基于深度學習的醫學圖像配準方法主要分為三類。第一類是深度迭代配準結合傳統配準[8]，基本思想是在傳統的配準方法中嵌入一個神經網絡來提取特征或學習相似性度量，然后將它們組合在一起，屬于深度學習的早期階段。第二類是有監督和弱監督學習[9-13]，在訓練學習網絡時，需要相應的標簽來訓練樣本，圖像的插值是利用形變場完成的，然后得到配準圖像。第三類是無監督學習[14-17]，與監督學習不同的是，無監督學習只輸入圖像訓練配準網絡來獲得形變場。

本文主要闡述基于深度學習的直腸癌圖像配準領域發展現狀和挑戰，并對直腸癌配準領域的發展趨勢進行總結。

1" 基于深度學習的直腸癌圖像配準

相比較腦部等其他部位，專門研究基于深度學習的直腸圖像配準文獻稀少，遠少于10%，如圖2所示[18]。直腸圖像配準可以和腹部其他器官一起研究，如前列腺、骨盆、宮頸癌等。本文以深度學習、直腸癌、前列腺、骨盆、宮頸癌和腹部等為關鍵字，通過在谷歌學術和中國知網等數據庫的檢索，對近年來基于深度學習的直腸癌醫學圖像配準研究做一個總結。

圖2 基于深度學習的醫學圖像配準研究部位分布

如引言所介紹，基于深度學習的醫學圖像配準大致可以分三類：第一類是深度迭代；第二類是監督學習；第三類是無監督學習。本文主要從第二類和第三類方法來介紹基于深度學習的直腸癌圖像配準。

1.1 監督學習配準

Jin等人[10]設計了兩個多層連接的連體子網絡，可以同時進行腫瘤分割和變形預測。這篇文獻中訓練和驗證使用的都是亞洲直腸癌患者的數據集，在預測病理完全反應（pCR）方面取得了很高的準確性，對手術切除有至關重要的作用。Wichtmann等人[11]在Jin的基礎上，把數據集擴展到歐洲四個醫療中心的數據集（Frankfurt、Regensburg、Würzburg、Mannheim），體現了深度學習在跨中心、多學科的參與中的成功應用。

Yao等[12]提出了一個快速圖像引導放射治療的監督網絡，包括粗配準和精細配準。在粗配準階段，使用監督CNN對CT圖像和CBCT圖像配準。在精細配準階段，使用基于強度的配準。這是一種深度學習與傳統相結合的方法，兼顧了配準速度和精度。雖然這篇文獻研究的是癌癥病人的頭部、腹部、胸腔和盆腔，但由于部分直腸癌患者會有癌細胞擴散的情況，所以此篇文獻有重要研究意義。

Salehi等人[13]了研究宮頸癌病人的圖像配準，一起研究了宮頸、膀胱和直腸（合稱高危器官）。一個卷積神經網絡DIRNet被用作近距離治療中的分期變形模型，并以二進制掩碼的形式用于直腸等CT圖像。這篇文獻研究了直腸不同充盈狀態下的配準，以及由此引起的局部變形。

表1展示了相關文獻的模態、文獻和所用模型。Salehi等人[13]使用的是單模態的CT圖像，其他三篇文獻均使用了多模態圖像，所有文獻均使用全監督配準。

1.2 無監督學習配準

聯合圖像配準和分割一直是醫學圖像研究的一個活躍領域。Elmahdy等人[14]針對直腸分割和配準，使用GAN在圖像配準之前檢測和修復直腸氣袋。框架由一個3D端到端生成器網絡組成，該網絡以無監督方式估計浮動圖像和參考圖像之間的變形矢量場（DVF），并將該DVF應用于浮動圖像及其分割。網絡在后續CT掃描圖像上進訓練和評估，用于圖像引導放射治療。

在對直腸癌腫瘤部位化療評估時，研究直腸配準模型是非常有必要的。Ho等人[15]目標定位直腸體積配準，提出了一個針對直腸的無監督配準模型，可以用來診斷直腸癌的分期，對腫瘤的傳播和治療有重要價值。

Cao等人[16]提出了一個3D補丁醫學圖像配準的配準網絡，可以有效預測多模非剛性配準醫學圖像。配準分別在CT和MRI圖像上計算相似度損失，完整地使用了兩種模態的圖像信息，適用于單模和多模配準。

Fan等人[17]提出一個通用的對抗學習框架，通過連接一個U-net生成器和一個CNN判別器來實現配準單模和多模三維圖像。這個學習框架使用無監督配準，既不需要任何形變場，也不需要預先定義相似度量，避免了監督配準中對標注信息的依賴，更加契合實際應用場景。

Elmahdy等人[14]使用的是單模態的CT圖像，Chi等人[15]討論了單模和多模MRI圖像配準，其他兩篇文獻均使用了多模態圖像，如表2所示。

和監督模型相比較，無監督配準模型不需要任何標注信息，精度也更好，但對相似度損失和正則化損失要求更高。

2" 挑戰與對策

通過對深度學習在直腸癌醫學圖像配準中的應用研究，發現了一些挑戰，主要表現為以下幾個方面。

（1）黑箱問題。深度學習在醫學圖像配準領域取得巨大成功，但其算法背后的理論解釋仍處于探索階段，例如，學什么？如何學？學樣本，還是學內在知識？學會了所有知識，還是有遺忘？這一系列對模型學習機制的理解問題，被稱為深度學習理論的“黑箱”問題。Lei等人總結了深度學習算法的學習機制：學習內在知識和記住訓練樣本，但要遺忘一些知識[19]。雷娜等[20]提出用最優傳輸理論解釋深度學習算法的本質：在數據流形上的概率測度空間中優化，學習數據流形的結構和概率分布，是未來深度學習理論研究和計算的重要方向。

（2）數據稀缺性。由于涉及醫學倫理，關于直腸癌公開數據集很少，本文涉及的所有文獻使用的均是自有數據集。各種訓練集和測試集缺乏統一的指標，配準方法的效果無法絕對衡量。通過研究發現，部分前列腺[14，21]、腹部[12]和宮頸癌等[13]的數據集可以用來研究直腸圖像配準。雖然這種遷移學習可以緩解直腸數據稀缺性，但對于醫學診斷的嚴謹性有直接影響。

（3）可解釋性。現有的深度學習配準方法均基于數據驅動，配準模型如何輔助腸鏡醫生做出臨床診斷是一項迫在眉睫的臨床需求。未來，如何將領域專家知識和深度配準模型相結合，有效加強模型的醫學可解釋性，并改善配準的準確性，具有極大的研究價值。

（4）可擴展性。目前，專門研究基于深度學習的直腸癌圖像配準方法較少，尤其是使用弱監督方法的文獻幾乎沒有。將配準研究較多的特定器官，如大腦和肺的配準模型遷移到其他器官，模型可能出現嚴重退化。對于前列腺、宮頸的配準方法，如何提升現有算法，擴展到直腸或者直腸癌醫學圖像配準，對臨床診斷和研究有深遠意義。

3" 結束語

本文總結了基于深度學習的直腸癌圖像配準的方法：深度迭代、監督和無監督。每類方法都各有利弊，未來更多的研究將集中在模型背后的數學理論研究，以深入推動直腸癌圖像配準技術在臨床診斷中的應用。

參考文獻

[1] Bray F， Ferlay J， Soerjomataram I， et al. GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries[J]. Ca Cancer J Clin， 2018， 68（6）： 394-424.

[2] Erdmann F， Spix C， Katalinic A， et al. Krebs in Deutschland für 2017/2018[J]. 2021.

[3] Siegel R L， Miller K D， Goding Sauer A， et al. Colorectal cancer statistics， 2020[J]. CA： a cancer journal for clinicians， 2020， 70（3）： 145-164.

[4] Koh D M. Using deep learning for MRI to identify responders to chemoradiotherapy in rectal cancer[J]. Radiology， 2020， 296（1）： 65-66.

[5] Balakrishnan G， Zhao A， Sabuncu M R， et al. Voxelmorph： a learning framework for deformable medical image registration[J]. IEEE transactions on medical imaging， 2019， 38（8）： 1788-1800.

[6] Boveiri H R， Khayami R， Javidan R， et al. Medical image registration using deep neural networks： a comprehensive review[J]. Computers amp; Electrical Engineering， 2020， 87： 106767.

[7] Fu Y， Lei Y， Wang T， et al. Deep learning in medical image registration： a review[J]. Physics in Medicine amp; Biology， 2020， 65（20）： 20TR01.

[8] Liao R， Miao S， de Tournemire P， et al. An artificial agent for robust image registration[C]//Proceedings of the AAAI conference on artificial intelligence. 2017.

[9] Yang X， Kwitt R， Styner M， et al. Quicksilver： Fast predictive image registration–a deep learning approach[J]. NeuroImage， 2017， 158： 378-396.

[10] Jin C， Yu H， Ke J， et al. Predicting treatment response from longitudinal images using multi-task deep learning[J]. Nature communications， 2021， 12（1）： 1851.

[11] Wichtmann B D， Albert S， Zhao W， et al. Are We There Yet？ The Value of Deep Learning in a Multicenter Setting for Response Prediction of Locally Advanced Rectal Cancer to Neoadjuvant Chemoradiotherapy[J]. Diagnostics， 2022， 12（7）： 1601.

[12] Yao Z， Feng H， Song Y， et al. A supervised network for fast image-guided radiotherapy （IGRT） registration[J]. Journal of medical systems， 2019， 43： 1-8.

[13] Salehi M， Vafaei Sadr A， Mahdavi S R， et al. Deep Learning-based Non-rigid Image Registration for High-dose Rate Brachytherapy in Inter-fraction Cervical Cancer[J]. Journal of Digital Imaging， 2022： 1-14.

[14] Elmahdy M S， Wolterink J M， Sokooti H， et al. Adversarial optimization for joint registration and segmentation in prostate CT radiotherapy[C]//Medical Image Computing and Computer Assisted Intervention–MICCAI 2019： 22nd International Conference， Shenzhen， China， October 13–17， 2019， Proceedings， Part VI 22. Springer International Publishing， 2019： 366-374.

[15] Ho C J， Duong S T M， Wang Y， et al. An Unsupervised Learning Approach to 3D Rectal MRI Volume Registration[J]. IEEE Access， 2022， 10： 87650-87660.

[16] Cao X， Yang J， Wang L， et al. Deep learning based inter-modality image registration supervised by intra-modality similarity[C]//Machine Learning in Medical Imaging： 9th International Workshop， MLMI 2018， Held in Conjunction with MICCAI 2018， Granada， Spain， September 16， 2018， Proceedings 9. Springer International Publishing， 2018： 55-63.

[17] Fan J， Cao X， Wang Q， et al. Adversarial learning for mono-or multi-modal registration[J]. Medical image analysis， 2019， 58： 101545.

[18] Xiao H， Teng X， Liu C， et al. A review of deep learning-based three-dimensional medical image registration methods[J]. Quantitative Imaging in Medicine and Surgery， 2021， 11（12）： 4895.

[19] Lei N， An D， Guo Y， et al. A geometric understanding of deep learning[J]. Engineering， 2020， 6（3）： 361-374.

[20] 雷娜，顧險峰．最優傳輸理論與計算[M]．北京：高等教育出版社，2021.

[21] Hammers J， Pirozzi S， Narayanasamy G， et al. Evaluation of the dose delivery consistency and its dependence on imaging modality and deformable image registration algorithm in prostate cancer patients[J]. Journal of Medical and Biological Engineering， 2022：1-13.