一種多模態醫學圖像數據融合方法與應用

高峰1，李梅，仇振釗

1.中山大學附屬口腔醫院 信息科，廣東廣州 510060；2.廣州納斯威爾信息技術有限公司，廣東 廣州 510663

一種多模態醫學圖像數據融合方法與應用

高峰1，李梅2，仇振釗2

1.中山大學附屬口腔醫院 信息科，廣東廣州 510060；2.廣州納斯威爾信息技術有限公司，廣東 廣州 510663

本文提出一種基于人工智能的圖像融合算法，通過軟件來替代硬件設備實現醫學圖像融合配準功能。該算法可以對不同的掃描圖像進行空間坐標對齊，以解決多模態融合配準問題，并且有效地提高配準速度。這種算法可應用在腦腫瘤MR-PET圖像的融合診斷中。

醫學圖像；圖像融合；MR-PET；CT

人類腦部成像方式主要有計算機斷層掃描（CT），正電子發射成像（PET）和核磁共振成像（MRI）[1]。PET被廣泛地用于腫瘤診斷，但是，由于PET的分辨率有限，通常還需要加入CT或者MRI的掃描來完善對病灶的定位以及指導治療，因而需要圖像融合用于診斷。與傳統的可視化技術相比，雙模態3D繪制可以同時用兩種不同的顏色來顯示兩種模態圖，更形象地表現出人體的器官組織，診斷效果更為出色。因此，雙模態融合圖的配準問題尤為重要。本文提出一種基于人工智能圖像融合算法，通過軟件來替代硬件設備實現融合配準功能。該算法可以對不同的掃描進行空間坐標對齊，以解決多模態融合配準問題，并且有效地提高配準速度。這種算法主要應用在MR-PET的腦腫瘤融合診斷中。

1 多種模態圖像及圖像融合

人體掃描成像方式有CT、PET、MRI，見圖1。

圖1 多種模態圖像(a) CT， (b) PET， (c) MRI

PET與CT或MRI融合診斷，圖像融合后同時具有兩者的功能，不僅是二者功能的簡單疊加，由于PET與CT優勢互補，可以達到1+1＞2的效果。PET可以顯示病例病灶特征，更容易發現病灶，CT可以精確定位病灶，顯示病灶結構變化，二者融合可以提高診斷的準確性。對此，供應商也開發出了PET-CT同源機。從PET-CT同源機中獲得的圖像和使用我們的軟件后所生成的PET-CT融合圖像，見圖2。

與其他醫學成像技術，如CT或者X射線相比，MRI是多參數、多序列圖像，具有良好的軟組織解剖分辨率，能很容易地區分出大腦、肌肉、心臟及腫瘤等軟組織，同時也能進行功能成像。但是，磁共振（MR）在定量觀察分子示蹤方面有限制，敏感性不強。以判斷口腔鱗癌為例，回顧分析2001年～2010年醫院患者術前術后PET或PETCT、CT或MRI檢查，PET或PET-CT在敏感性、特異性及準確率中分別比CT或MRI高12.34%、2.42%、19.23%。因此對PET-MR融合設備的研制提出了需求，并且有非常廣闊的應用前景。盡管MR-PET同源機已經設計出來，并且已經在等待美國食品藥品管理局（FDA）的認證，但對于許多醫院來講，市場價格偏高，并不是所有的醫院都能投入使用，因此軟件融合成為一個趨勢。從PET-CT同源機、MR機獲得的圖像，以及使用我們軟件解決方案的融合圖像，見圖3。顯而易見的是，圖3中的MR圖比圖2中的CT圖具有更好的細節度。

圖2 多種模態圖像 (a) CT， (b) PET-CT， (c) PET (a和c是標準的PETCT同源機獲得的圖像，b是使用我們的軟件融合得到的圖像)。

圖3 多種模態圖像 (a) MR，(b) PET-MR，(c) PET (a是西門子MR機獲得的圖像，c是CPS的PET-CT同源機獲得的圖像，b是使用我們的軟件自動融合后得到的圖像)。

在醫療領域中，可視化診斷越來越熱門。3D渲染能大大提高對各種疾病的診斷效果，醫生不必只憑經驗由多幅二維圖像去估計病灶的形狀及大小，“構思”病灶與周圍組織的幾何關系，通過3D渲染可以將人體器官以三維的形式“真實”地顯示出來，從而獲得傳統手段無法得到的結構信息。可視化技術已應用于多種診斷醫學、輻射治療規劃等技術中，是科學計算機可視化中的一個重要領域，也是醫學圖像處理的難點和熱點。與傳統的可視化技術[2]相比，雙模態繪制可以同時用兩種不同的顏色來顯示兩種模態圖像，更形象地表現出人體的器官組織。PET-CT雙模態融合圖像的3D渲染圖，見圖4； PET-MR雙模態融合圖像3D渲染圖，見圖5。

圖4 PET-CT圖像渲染（左：三視圖，右：我們的軟件利用虛擬平面切割技術進行體積光線投射）

圖5 PET-MR圖像渲染（左：三視圖，右：我們的軟件利用虛擬平面切割技術進行體積光線投射）

智能算法可以優化并解決PET-MR的融合問題，利用軟件可使不同的掃描圖像自動融合為同一空間坐標下的圖像。所以，軟件需要具有以下功能以滿足臨床要求：① 自動從兩個系列的切片圖中重建數據；② 自動和手動配準；③ 在可視化基礎上進行圖像融合；④ 具有臨床使用的各種圖像處理工具。

2 關鍵問題與解決方案

圖像融合算法的第一步是配準[3]。配準后，對所涉及到的需要顯示的數據進行融合[4]。然而，不同的成像設備所拍攝到的圖像的分辨率、大小、層數、空間位置可能會有所不同，特別是這些三維圖像是由一系列的2D圖像組成的。因此，需要解決的關鍵問題是自動化多模態圖像配準。

通過將圖像標記為模板圖和浮動圖，線性配準問題可以被描述為尋找一個仿射變換矩陣，從而最大限度地找到浮動圖和模板圖之間相似的地方[5]。三維配準的過程，見圖6。

圖6 圖像三維配準過程

這類問題通常可分為兩個子問題。

（1）定義一個成本函數來測量兩個圖像之間的相似性，定義為f（X，AY）, 其中 f（X，AY）是成本函數，X是模板圖，Y是浮動圖，A是三維仿射變換矩陣。

（2）找到一個最優方法，以得到在給定區域中成本函數的最大點。

在數學中，剛性或者仿射三維變換A可以用一個4×4的常數矩陣表示，其中y=（y1，y2，y3）T、x=（x1，x2，x3）T分別從模板圖和浮動圖中獲取得到。

變換矩陣可進一步分為平移、旋轉、縮放和傾斜，表示為式(2)。

其中：

因為一個仿射變換可以用12個系數p=（t a s g）T表示，優化后表示為

顯然，傳統的歐幾里德距離不能恰當地描述兩種模式之間的相似性。基于信息理論， f（X，AY）通常從一些統計測度，如交互信息和其他散度中得到。因此，函數空間變成復雜的目標函數，導致這個問題變得非線性[6-8]。

對于一個給定的域，像這種優化計算沒有分解方法。可行的辦法就是枚舉可能的解決方案，直到到達峰值。要解決這類問題，通常會產生啟發式算法，即遺傳算法（GA），粒子群優化（PSO）[9]和蟻群算法(ACO)[10]。因此，它可作為工程優化領域人工智能的直接應用。

我們以PSO為例子，與利用生物學進化的競爭特點（適者生存）的GA相反，PSO利用的是像魚群、鳥群以及昆蟲群聚等合作和社會環境影響的特點。從現在被稱為蜂群的種群擴散開始，個人作為粒子，往往移動搜索空間，最終確定其中最低的地區聚集。Ackeley功能（2D）的粒子組成的搜索過程，見圖7，箭頭表示粒子的速度。

圖7 粒子組成的搜索過程

如果要應用到我們研究的問題上，基本的PSO算法必須增強以提高效率，突變和交叉的遺傳算法要加入到PSO中。在這種混合的PSO中，當粒子的位置更新之后，每對粒子有概率被選擇交叉。對于每一對粒子交叉之后產生的新粒子會取代父母，以保持粒子群總數規模不變。此外，突變之后粒子速度會更新。要指出的是，為了提高交叉的效率，聚類的方法如K-means算法，會涉及到粒子分組。

3 圖像標配實驗結果

選取一些臨床數據進行測試。選取5組PET-CT或PET-MR圖像，然后使用我們的軟件進行配準，記錄每一個病檔配準所需時間。配準信息，見表1，其中，配準效果中，左圖為融合圖原圖，即配準前；右圖為使用我們的軟件進行配準后的效果。可以看出，由于機器不同、掃描時間不同、切片精度、大小不同等原因，在原始的融合圖中，兩種模態圖并不能完全重合。用我們的軟件進行配準后，圖像的重合度明顯提高，兩種模態圖基本重合，配準效果顯著。另外，從第三列運行時間可以看出，配準的時間范圍是35～45 s左右，執行速度較快，配準等待時間短。

4 結束語

本文以PET-CT、PET-MR圖像融合為背景，使用新的配準方法，可以提高配準的效果及效率。從實驗的結果可以看出，與現有的配準算法相比，這種新的配準算法執行速度更快，配準效果更好，更加有利于提高診斷效率，減少時間成本，提高診斷正確率，具有更高的臨床應用價值。

表1 5組臨床病例信息與配準結果

在未來的工作中，我們會加入圖形處理器對配準進行再加速，在不降低配準準確度的情況下，進一步降低配準時間，以達到配準時間在30s以內的效果，提高診斷效率。

[1] Digital imaging and communications in medicine (DICOM) part 1:introduction and overview[EB/OL](2006-12-11)[2011-11-01]．http://medical．nema．org/Dicom/2011/11_01pu．pdf．

[2] 伍煉,朱玉云,史小平,等．基于MITK的醫學影像三維可視化研究[J]．北京生物醫學工程, 2008,(5):531-533．

[3] 楊安榮,林財興,李紅強．用于醫學影像配準的快速框架[J]．計算機應用,2010,(3):632-634．

[4] Caner G,Tekalp AM,Sharma G,et al．Local image registration:an adaptive filtering framework[J]．SPIE,2005,(5674):159-169．

[5] 呂煊．基于角點特征和最大互信息的多模醫學圖像配準[D]．濟南:山東師范大學, 2008．

[6] 齊晶晶,黃彩霞．基于多小波變換域特征的多模態醫學圖像融合[J]．電腦知識與技術,2007,(18):1709-1711．

[7] 郝利國,劉志鵬．醫學影像圖像融合技術研究[J]．齊齊哈爾醫學院學報, 2010,(1):74-76．

[8] 胡永祥．基于互信息的多模態醫學圖像非剛性配準研究[D]．長沙:中南大學, 2012．

[9] 于澤．腦CT圖像配準中自適應粒子群算法的應用研究[D]．大連:大連海事大學, 2010．

[10] 康曉東,何丕廉,劉玉潔,等．基于蟻群算法的醫學圖像分割研究[J]．計算機應用研究, 2008,(9):2853-2855．

[11]秦維昌．雙源雙能量CT成像的技術進展[J]．中國醫療設備, 2012,27(3):61-62．

Algorithm and Application of Multimodality Medical Image Fusion

GAO Feng1, LI Mei2, QIU Zhen-zhao2
1. Department of Information, Stomatology Hospital, Sun Yat-sen University, Guangzhou Guangdong 510060, China; 2. Guangzhou NasSoft Information Technology Ltd., Guangzhou Guangdong 510663, China

This paper proposes an algorithm based on artifcial intelligence by replacing hardware with software to solve the multimodality fusion. This algorithm aligns different scans into common spatial coordinates to solve multimodality fusion and improve registration speed, and has been used in MR-PET diagnosis fusion of mouth cancers.

medical imaging; imaging fusion; MR-PET; CT

TP391.41

A

10.3969/j.issn.1674-1633.2013.05.062

1674-1633(2013)05-0164-04

2012-10-31

2013-03-22

作者郵箱：zdkqyygf@163．com