基于深度學習的多模態醫學圖像融合方法研究進展

薛湛琦，王遠軍

上海理工大學醫學影像工程研究所，上海200093

前言

隨著計算機和成像技術的發展，醫學圖像成為輔助醫生診斷與治療的重要工具。由于成像機制不同，不同成像設備得到的單一模態圖像攜帶著可以互相補充的信息。多模態醫學圖像融合技術可以將這些信息結合到一起獲得一幅同時包括功能信息與結構信息的融合圖像，由此幫助醫療工作者準確快速地診斷和治療疾病［1］。圖像融合的內容包括圖像分解與重建、圖像融合規則和圖像質量評價。其中決定融合效果的關鍵在于圖像分解過程中特征的提取和特征權重的測量與分配，而針對融合后的圖像建立統一的客觀評價指標也是一項具有挑戰性的工作［2］。

圖像融合中常用的方法包括拉普拉斯金字塔［3］、離散小波變換［4］、非下采樣輪廓波變換［5］、稀疏表示［6］等，這些方法都廣泛應用于醫學圖像融合，但也存在許多缺陷。例如就多尺度分解方法而言，其中一個問題就是難以確定分解級數，級數太小無法獲得足夠的空間信息，太大則會導致圖像融合時對噪聲和誤配準過于敏感。不同模態的圖像在分解后的融合過程中可以通過機器學習的方法對特征的權重進行分配［7］。

目前圖像融合技術仍然不夠成熟，在實際中面臨的融合問題需要根據實際應用具體分析采用何種融合方法。近年來，隨著深度學習的發展，基于深度學習的圖像處理方法在計算機視覺領域取得了巨大的成功。……