形變醫學圖像配準方法設計與仿真

劉云翔,陳 劍,張強博

(上海應用技術大學計算機科學與信息工程學院,上海 201418)

1 引言

如今在醫學領域中圖像配準[1]得到了廣泛應用,大多醫學圖像[2]在處理中都會經過圖像配準過程,它可以對不同圖像進行拼接及融合,從融合的圖像中找尋到更加豐富的數據信息,以此幫助醫生解決疑難雜癥。在臨床手術中,臨床醫生都會依據配準的圖像中取得更加詳盡的病變信息,例如2D圖像X光進行圖像融合后能夠更好地追蹤到手術器械與人體組織相對應的空間位置信息,這無疑給人類帶來巨大的貢獻。因此為了提升圖像配準在醫學領域的應用效果,需要對形變醫學圖像配準方法進行進一步研究。

曹國剛[3]等人提出基于改進頭腦風暴優化算法的醫學圖像匹配方法,該方法預先對需要匹配的圖像進行分解,再采用IBSO算法對分辨率較低的圖像進行全局配準,而分辨率較高的圖像則是利用搜索法進行配準,將兩種算法結合,并對醫學圖像進行配準實驗測試,以此驗證了結合后的算法對圖像配準的精度更高,該方法的分解效果存有誤差,存在圖像配準效果差的問題。陳向前[4]等人提出基于深度學習的2D/3D醫學圖像配準方法,該方法采用普通的2D/3D配準方法對圖像進行配準時,發現該方法對圖像的灰度匹配依賴性過高,導致配準的時間長,針對這一不足對其進行改進,利用深度學習的卷積神經網絡訓練醫學圖像數據,從中取得醫學圖像特征,并對醫學圖像中的各個參數進行預測,以此實現配準,該方法的訓練結果不夠完善,存在圖像配準時間長的問題。張家崗[5]等人提出基于深度卷積特征光流的形變醫學圖像配準算法,該方法首先利用卷積神經網絡對醫學圖像中的特征進行提取,并根據圖像與圖像間的差異性,利用特征差異獲取圖像光流場數據,使圖像光流場與實際形變醫學圖像更加相似,以此提升了形變醫學圖像配準精度,實現圖像配準方法,該方法的特征提取效果存有欠缺,存在特征點的獲取結果與實際結果相差較多的問題。

為了解決上述方法中存在的問題,提出基于角點檢測與SIFT的形變醫學圖像配準方法。

2 基于角點檢測與SIFT的圖像特征提取

2.1 醫學圖像特征點提取

為了提升醫學診斷效果,采用角點檢測與SIFT相結合的方法對中藥醫學圖像特征進行提取。

1)尺度空間極值點檢測

在尺度空間中,各個尺度的搜索可以在尺度空間內獲取[6,7],這時的尺度空間表示為:L(x,y,σ)。通常情況下,中醫藥學圖像的尺度空間定義為

L(x,y,σ)=G(x,y,σ)?I(x,y)

(1)

式中,?描述的是卷積運算,I(x,y)描述的是中醫藥學輸入圖像,G(x,y,σ)描述的是二維高斯函數。

G(x,y,σ)也可定義為

(2)

式中,σ描述的是尺度因子,(x,y)描述的是空間坐標點,w描述的是權值。

由于中藥醫學圖像的L(x,y,σ)主要由I(x,y)與σ相互卷積而成,所以卷積后的圖像需要利用高斯金字塔進行表示。

對高斯金字塔中的中藥醫學圖像設定完成后,需要檢測高斯金字塔中的極值點,將其用作初始特征點,便于后續對中醫藥學圖像的配準,極值點[10,11]的檢測流程如下所示:

①首先對中藥醫學圖像進行卷積操作,從中產生與中藥醫學圖像相對應的尺度空間,即G(x,y,σ)。

②利用高斯金字塔對G(x,y,σ)進行表示,并對高斯金字塔中的鄰近層次進行相減操作,以此形成差分高斯金字塔。

③對同一層次的2.5*2.5鄰域與鄰近2.5*2.5鄰域進行檢測,主要檢測鄰域中的極值點。

通過上述流程完成中藥醫學圖像極值點的檢測,將檢測結果用作初始特征點,并把初始特征點中具有高灰度差異的交點作為最終關鍵點[12]。

2)Harris角點生成

角點特征容易受到醫學圖像像素、紋理等信息的影響,導致不能完整地反映出角點特征,因此為了避免這種問題的發生,利用向量對圖像特征點的方向特征進行描述,具體表現如下:

①找一個2.5*2.5的鄰域窗口,該窗口的主要中心為Harris角點,采用直方圖[13]對鄰域窗口中的中醫藥學圖像像素梯度方向進行計算,以此獲取梯度大小及梯度方向等信息。

②直接對中醫藥學圖像像素點進行生成,從而形成梯度方向直方圖,并對圖像特征點的正方向進行計算。設置直方圖中的梯度范圍在0°～360°之間,將該范圍劃分成36段,其中每一段表示為10°。那么這時梯度中的加權函數wn就可以定義為:

wn=G(kx,ky,3/2σ)

(3)

③直接在直方圖中選取累加值最大的梯度方向點,共選取三個,它們也被稱作方向特征,主要用來反映角點特征。

通過極值點檢測與Harris角點特征的生成,可以得到基于角點檢測與SIFT方法的中醫藥學圖像特征點提取流程,表示如下:

①基于尺度空間極值點檢測流程之后,需要對每個初始特征點所對應的Harris角點算子進行計算,并對計算結果進行排序。

②將Harris角點算子計算結果中的前z個點用作最終特征點。

③對z個特征點的方向進行描述,以此完成對中醫藥學圖像特征點的提取。

3 基于深度學習的形變醫學圖像配準方法

深度學習的卷積神經網絡可以更好地對中藥醫學圖像進行配準,因此,構建一個深度學習的卷積神經網絡模型,該模型的具體流程如圖1所示。

圖1 卷積神經網絡模型配準流程

圖2 醫學圖像

卷積神經網絡[14]模型會根據角點檢測與SIFT方法提取的中醫藥學圖像特征對醫學圖像進行預測,以此獲取圖像中的各個參數。該模型相當于一個專家系統,對圖像各項參數獲取后會依據患者的具體病癥,直接輸出與其對應的藥方,在實現形變醫學圖像配準的同時還可以達到藥方輸出的效果,具體表現如下所示:

把角點檢測與SIFT方法提取的中醫藥學圖像特征輸入到卷積神經網絡模型中,對形變醫學圖像進行配準時,需要對提取的特征進行訓練,同時還要對不同的損失函數進行優化,以此降低圖像之間的差異,提升最終匹配效果。

1)損失函數

(4)

對中藥醫學圖像進行配準時,共有兩種匹配方式。第一種是對正確的中醫藥學圖像進行匹配,而第二種是對非正確的中醫藥學圖像進行匹配。所以在醫學圖像特征匹配網絡中,特征匹配的損失函數用Ldescriptor進行表示,其方程表達式定義如下

(5)

式中,DISpositive描述的是正確的中醫藥學圖像匹配差異,DISnegative描述的是非正確的中醫藥學圖像匹配差異,E描述的是圖像到中心點的歐氏距離。

根據式(4)、式(5)可以得知,當非正確中醫藥學圖像匹配期間的歐式距離E小于設定閾值,就需要對中醫藥學圖像進行掩模。

2)形變醫學圖像配準

將基于角點檢測與SIFT結合方法提取到的中藥醫學圖像特征輸入到構建的模型中,可以有效提升形變醫學圖像的配準精度,同時也能夠優化圖像特征提取及配準效果。

當一個待配準的中藥醫學圖像輸入到模型中時,根據提取的特征點對像素點為30×30的中藥醫學圖像進行裁剪,這時把該圖像的輸入特征匹配點對裁剪后的圖像進行匹配。利用損失函數對特征點進行訓練,以此實現對Ldetector與Ldescriptor的優化,從而降低中醫藥學圖像的錯誤匹配率,完成形變醫學圖像的配準。

4 實驗與分析

為了驗證基于角點檢測與SIFT的形變醫學圖像配準方法的整體有效性,需要對該方法進行對比測試。采用基于角點檢測與SIFT的形變醫學圖像配準方法(方法1)、基于改進頭腦風暴優化算法的醫學圖像配準方法(方法2)和基于深度學習的2D/3D醫學圖像配準研究方法(方法3)進行對比測試。

1)選取一張大小相等的醫學圖像,對其進行尺度、旋轉、平移等變換后,采用方法1、方法2和方法3分別對該圖像的特征點進行獲取,根據獲取結果與實際值進行對比,以此驗證該方法的圖像配準效果。

分析圖3中的數據發現,三種方法在各個時間段內所獲取的特征點都有所不同。但整個測試期間,方法1與實際值的特征點始終保持一致,而其余兩種方法特征點上下浮動較大,與實際值相差較遠,由此可見方法1的特征點與實際值相同,驗證了方法1的醫學圖像配準效果最優。

圖3 特征點與實際特征點的對比測試

2)采用方法1、方法2和方法3對醫學圖像進行配準,將配準結果與實際配準結果進行比較,配準結果與實際結果越相近,說明該方法的配準結果準確率越高,反之則越低,測試結果如圖4所示。

圖4 配準結果測試

根據圖4可知,方法1的匹配結果與實際匹配結果相同,表明方法1的配準精度最高。而方法2進行配準時,有一處位置圖像沒有配準成功,說明方法2的配準效果較差,而方法3進行配準時,與實際圖像相比,方法3的圖像配準位置有三處沒有配準成功,說明三種方法中方法3的配準效果最差、配準準確率最低。

綜上所述,方法1的配準效果與實際結果更為相似,這是因為方法1提取了醫學圖像特征點,以此提升了方法1的配準效果,同時提高了方法1的配準準確率。

3)基于上述實驗,采用方法1、方法2和方法3分別對形變醫學圖像的配準時間進行測試,測試結果如圖5所示。

圖5 配準時間測試

分析圖5中的數據發現,對圖像進行配準時,方法1、方法2與方法3的初始時間均不相同,可明顯發現,方法1的初始配準時間要低于其余兩種方法,而后上升速度運動軌跡較慢,配準時間持續低于方法2和方法3,表明方法1的配準時間最短,配準速度最快。

5 結束語

針對形變醫學圖像配準方法存在的問題,提出基于角點檢測與SIFT的形變醫學圖像配準方法。該方法采用角點檢測與SIFT結合的方法提取醫學圖像特征點,通過構建深度學習的卷積神經網絡模型對中藥醫學圖像進行配準,實現形變醫學圖像配準方法。該方法在醫學圖像配準方法中占據著重要地位,為今后的醫學圖像配準方法奠定了重要基礎。