基于邊緣保留分解和改進(jìn)稀疏表示的醫(yī)學(xué)圖像融合

裴春陽，樊寬剛，馬 政

（江西理工大學(xué)電氣工程與自動(dòng)化學(xué)院，江西贛州 341000）

0 引言

由于醫(yī)學(xué)成像技術(shù)的進(jìn)步，多模態(tài)醫(yī)學(xué)圖像逐漸在臨床研究和病灶分析中發(fā)揮重要作用。但是，單個(gè)成像模態(tài)的醫(yī)學(xué)圖像只能反映有限的組織信息，例如，計(jì)算機(jī)斷層掃描成像（Computed Tomography，CT）能夠較清晰地可視化人體的骨骼結(jié)構(gòu)，而核磁共振成像（Magnetic Resonance Imaging，MRI）對(duì)軟組織和神經(jīng)血管結(jié)構(gòu)的顯示效果較好。在醫(yī)學(xué)成像中，CT和MRI圖像的融合可以生成一種結(jié)合骨骼結(jié)構(gòu)和軟組織信息的復(fù)合圖像，醫(yī)學(xué)專家在分析病情時(shí)無須單獨(dú)觀察單個(gè)醫(yī)學(xué)圖像，極大地增加了病灶分析的便利性，從而有利于臨床診斷和治療［1］。

目前，研究者根據(jù)不同的源圖像類型提出了許多融合算法。其中，基于變換域的算法因其在提取源圖像的顯著信息方面的優(yōu)異性能受到更廣泛的關(guān)注。典型的基于變換域的圖像融合方法包括基于離散小波變換（Discrete Wavelet Transform，DWT）［2-4］、非下采樣輪廓波變換（Non-Subsampled Contourlet Transform，NSCT）［5-6］、非下采樣剪切波變換（Non-Subsampled Shearlet Transform，NSST）［7-9］等。對(duì)于此類基于變換域的方法，每一種變換域有優(yōu)點(diǎn)和局限性，所以，變換域的選擇通常要考慮輸入圖像的類型。再者，執(zhí)行逆變換操作的過程通常伴隨著細(xì)節(jié)信息的丟失［10］，造成融合圖像質(zhì)量下降，比如空間不連續(xù)、塊效應(yīng)等。

為了進(jìn)一步提高融合性能，文獻(xiàn)［11］中提出了基于稀疏表示（Sparse Representation，SR）的融合方法。該方法首先根據(jù)一個(gè)訓(xùn)練好的過完備字典把參與融合的源圖像稀疏地表征為稀疏系數(shù)，然后引入對(duì)應(yīng)的活躍度測(cè)量和融合規(guī)則來選擇這些稀疏系數(shù)，最終將選擇后的稀疏系數(shù)重構(gòu)得到融合圖像。在基于稀疏表示的融合方法中，過完備字典的構(gòu)建通常對(duì)融合性能有較大影響。雖然固定的字典模型（比如離散余弦變換（Discrete Cosine Transform，DCT）字典）能夠使算法有較高的執(zhí)行效率；但是此類字典模型缺乏對(duì)源圖像的適應(yīng)性，導(dǎo)致源圖像的顯著細(xì)節(jié)易被平滑掉，造成融合圖像質(zhì)量下降。為此，文獻(xiàn)［12］中提出了一種基于聯(lián)合字典的稀疏表示（Sparse Representation-based Joint Dictionary，SR-JD）融合方法，利用從源圖像截取的圖像塊作為聯(lián)合字典的訓(xùn)練數(shù)據(jù)，得到一種自適應(yīng)聯(lián)合字典；然而，該方法在稀疏表示階段計(jì)算復(fù)雜度較高。文獻(xiàn)［13］中提出了一種基于聯(lián)合塊聚類的字典學(xué)習(xí)（Joint Patch Clustering-based Dictionary learning，JPCD）方法，通過結(jié)構(gòu)相似性對(duì)圖像塊進(jìn)行聚類；利用該方法訓(xùn)練的字典能夠表征大部分源圖像特征，但是生成的融合圖像仍然存在細(xì)節(jié)損失的問題。文獻(xiàn)［14］中提出了一種采用卷積稀疏表示（Convolutional Sparse Representation，CSR）的融合方法，相比傳統(tǒng)的稀疏表示方法有更好的魯棒性。關(guān)于更多稀疏表示的融合方法可以參考文獻(xiàn)［15-16］。

空間域融合方法的快速發(fā)展使得邊緣保留濾波器逐漸在計(jì)算機(jī)視覺領(lǐng)域受到關(guān)注，也逐漸被研究者們引入圖像融合領(lǐng)域。文獻(xiàn)［17］中提出了一種基于雙邊濾波的融合方法，并引入了一種利用邊緣保留濾波器對(duì)源圖像進(jìn)行空間加權(quán)的方式得到融合圖像。該方法簡(jiǎn)潔有效，計(jì)算效率方面有明顯優(yōu)勢(shì)，融合圖像的質(zhì)量也較高。隨后，文獻(xiàn)［18］中通過均值濾波和減法器將源圖像進(jìn)行二尺度分解，利用引導(dǎo)濾波優(yōu)化的加權(quán)平均策略得到融合圖像，源圖像中顯著的邊緣特征得到了保留，但是對(duì)比度存在一定程度的缺失。近幾年來，利用邊緣保留濾波器進(jìn)行邊緣保留分解的方法逐漸被引入圖像融合領(lǐng)域，這類方法通常使用邊緣保留濾波器進(jìn)行多尺度分解，然后引入可區(qū)分性的融合策略來提取不同分解尺度的子圖像特征。文獻(xiàn)［19］中利用加權(quán)最小二乘濾波器對(duì)紅外和可見光圖像進(jìn)行多尺度邊緣保留分解，然后針對(duì)每個(gè)尺度引入了不同的融合策略，最后進(jìn)行多尺度重構(gòu)得到融合圖像，由于每個(gè)尺度都能完全表征部分源圖像信息，所以融合過程避免了細(xì)節(jié)損失。然而，針對(duì)醫(yī)學(xué)源圖像，圖像能量存在部分丟失，對(duì)比度偏低，無法取得高質(zhì)量的融合圖像。因此，邊緣保留分解策略在多模態(tài)醫(yī)學(xué)圖像融合中存在較多限制。在這一類融合方法中，由于邊緣保留濾波器的特性，分解得到的不同尺度的子圖像通常包含源圖像不同特性的信息，簡(jiǎn)單的融合策略并不能準(zhǔn)確地識(shí)別和提取這些信息。

基于以上考慮，本文結(jié)合邊緣保留濾波器和稀疏表示各自的優(yōu)點(diǎn)，提出了一種邊緣保留分解和稀疏表示的醫(yī)學(xué)圖像融合框架。常用的邊緣保留濾波器有雙邊濾波器、最小加權(quán)二乘濾波器以及引導(dǎo)濾波器，對(duì)于噪聲圖像，引導(dǎo)濾波器具有較好的魯棒性，而醫(yī)學(xué)圖像本身有較多無意義的噪聲性紋理細(xì)節(jié)，尤其是磁共振圖像中骨骼區(qū)域，因此本文選擇引導(dǎo)濾波器對(duì)源圖像進(jìn)行多尺度分解。該融合框架的優(yōu)點(diǎn)主要包括以下方面：

1）本文提出了一種二尺度融合方法，通過引導(dǎo)濾波器對(duì)源圖像進(jìn)行多尺度邊緣保留分解，得到對(duì)應(yīng)的平滑層和一系列細(xì)節(jié)層。由于引導(dǎo)濾波的特性，分解得到的平滑層保留了源圖像大部分結(jié)構(gòu)性的輪廓特征，細(xì)節(jié)層保留了少部分源圖像的輪廓亮度以及紋理細(xì)節(jié)，該分解方式有效地提高了融合圖像的邊緣保持度。為了維持不同尺度的空間一致性，引入兩種不同的融合策略分別融合平滑層和細(xì)節(jié)層。其中，平滑層采用改進(jìn)的稀疏表示策略進(jìn)行融合，細(xì)節(jié)層的融合則采用自適應(yīng)加權(quán)的局部區(qū)域能量的融合規(guī)則。

2）為了增強(qiáng)方法對(duì)平滑層的稀疏表示能力，在字典學(xué)習(xí)階段，本文提出了一種基于圖像塊篩選的策略來構(gòu)建過完備字典的訓(xùn)練數(shù)據(jù)集。在這個(gè)方法中，利用從源圖像分解的圖像塊的復(fù)合空間頻率決定是否選擇該圖像塊，然后利用K 奇異值分解（K-Singular Value Decomposition，K-SVD）算法［20］訓(xùn)練出子字典后構(gòu)成聯(lián)合字典。該方法得到的過完備字典能夠精確地表征源圖像的特征。此外，在稀疏編碼階段，本文引入了一種加權(quán)范數(shù)規(guī)則作為稀疏系數(shù)的活躍度度量方法，該方法增加了系數(shù)選擇的靈活性和準(zhǔn)確性，避免了由于活躍度度量的單一性導(dǎo)致的空間不連續(xù)問題。

1 相關(guān)理論

1.1 引導(dǎo)濾波模型

在引導(dǎo)濾波模型中，假設(shè)是在一個(gè)以k為中心的局部窗口ωk中，引導(dǎo)濾波器在某一像素點(diǎn)i的輸出O是輸入的引導(dǎo)圖像I在該像素點(diǎn)的一個(gè)線性組合：

其中：Ii代表引導(dǎo)圖像在i點(diǎn)的像素值；ak和bk是定義于局部窗口內(nèi)的線性參數(shù)，它們可以通過估計(jì)最小化輸入和輸出的差值來估計(jì)。

其中：ε表示一個(gè)決定引導(dǎo)濾波器平滑程度的正則化參數(shù)；Pi代表輸入圖像在點(diǎn)i的像素值；線性參數(shù)ak和bk可以直接通過線性回歸來計(jì)算。

其中：μk和δk分別是引導(dǎo)圖像在局部窗口ωk中的平均值和方差；|ω|代表局部窗口中像素點(diǎn)的數(shù)量；定義為輸入圖像在局部窗口ωk中的平均值。然后，可以通過式（1）獲得濾波后的圖像。顯然，包含像素點(diǎn)i的局部窗口不只有一個(gè)，換句話說，在不同的局部窗口計(jì)算線性參數(shù)時(shí)，其取值會(huì)有所不同，因此濾波輸出也會(huì)改變。針對(duì)這個(gè)問題，一個(gè)折中的方法是對(duì)所有可能的線性參數(shù)取平均值，這樣就可以得到濾波器的輸出：

從區(qū)域分類的角度的出發(fā)點(diǎn)考慮，對(duì)于圖像的平坦區(qū)域來說，根據(jù)式（3）、（4），此時(shí)ak趨近于零，而bk趨近于，此時(shí)引導(dǎo)濾波器只起到一個(gè)全局模糊的作用；在梯度較高的區(qū)域，ak取值較大，輸出和輸入呈現(xiàn)出一種線性關(guān)系，滿足?O=a?I，因此，輸入圖像中絕大多數(shù)顯著的邊緣信息可以保留到濾波圖像內(nèi)。

1.2 稀疏表示和字典學(xué)習(xí)理論

稀疏表示理論在信號(hào)處理和圖像處理中具有十分優(yōu)異的表現(xiàn)，可以將圖像或信號(hào)利用一個(gè)過完備字典表示為稀疏系數(shù)。在稀疏表示理論中，假設(shè)y∈Rn是一個(gè)輸入信號(hào)，可以被表示為：

其中：矩陣D∈Rn×K(n＜K)是一個(gè)包含K個(gè)原子的過完備字典；信號(hào)y的稀疏表示就是用過完備字典尋找一個(gè)最稀疏的解α∈RK。由于字典是冗余的，解α并不唯一，但是可以通過求解以下優(yōu)化問題來估計(jì)：

學(xué)習(xí)一個(gè)過完備字典是稀疏表示理論中另外一個(gè)重要部分，假設(shè)Y∈Rn×N是一組包含N個(gè)n維信號(hào)，求解包含多個(gè)原子的字典的方法可以表示為：

2 本文方法

2.1 多模態(tài)醫(yī)學(xué)圖像融合算法框架

基于前面介紹的引導(dǎo)濾波模型和稀疏表示理論，本文提出多模態(tài)醫(yī)學(xué)圖像融合方法框架如圖1所示。

圖1 多模態(tài)醫(yī)學(xué)圖像融合方法框架Fig.1 Framework of multimodal medical image fusion method

假設(shè)參與融合的源圖像已經(jīng)進(jìn)行了配準(zhǔn)，算法的具體實(shí)現(xiàn)步驟如下：

1）首先對(duì)參與融合的源圖像進(jìn)行多尺度邊緣保留分解，得到相應(yīng)的平滑層和一系列細(xì)節(jié)層；

2）利用稀疏表示策略來融合源圖像的平滑層；

3）源圖像的細(xì)節(jié)層則采用基于區(qū)域能量最大的融合策略實(shí)現(xiàn)融合；

4）最后，將融合后的平滑層和細(xì)節(jié)層進(jìn)行重構(gòu)得到最終融合圖像。

2.2 多尺度邊緣保留分解

多尺度邊緣保留分解的目的是獲得包含源圖像大多數(shù)結(jié)構(gòu)特征的平滑層以及一系列包含少數(shù)紋理信息的細(xì)節(jié)層，利用引導(dǎo)濾波器和減法器分解源圖像，獲得濾波圖像1，將源圖像和濾波圖像1 做差，得到的差異圖像作為細(xì)節(jié)層1，第一次分解過程完成；再一次利用引導(dǎo)濾波器平滑濾波圖像1 得到濾波圖像2，將濾波圖像1 和濾波圖像2 做差，得到細(xì)節(jié)層2；重復(fù)以上步驟直到分解層數(shù)達(dá)到設(shè)定值，分解層級(jí)為n的分解過程可以表示為：

其中：Ih表示輸入的第h個(gè)源圖像，Sh表示第h個(gè)源圖像分解得到的平滑層，表示第h個(gè)源圖像分解得到的第n個(gè)細(xì)節(jié)層。特別地，由于引導(dǎo)濾波器的邊緣特性，平滑層保留了源圖像中大多數(shù)邊緣特征，而大部分紋理特征則包含在細(xì)節(jié)層中。

2.3 改進(jìn)稀疏表示的圖像融合策略

源圖像經(jīng)過多尺度邊緣保留分解后，圖像的大部分結(jié)構(gòu)信息保留在平滑層中，因而針對(duì)平滑層選擇合適的融合策略將很大程度上影響融合性能的好壞。傳統(tǒng)的基于變換域的算法中，對(duì)于低頻子帶圖像的融合，采取的做法大多是基于像素取平均值的方式，對(duì)醫(yī)學(xué)圖像的融合來說，這種簡(jiǎn)單的方式會(huì)在降低對(duì)比度的同時(shí)模糊源圖像的顯著特征，所產(chǎn)生的融合圖像視覺效果較差，不利于臨床診斷和病灶分析。稀疏表示融合算法作為一種優(yōu)于傳統(tǒng)基于變換域的方法，能夠在提取顯著特征的同時(shí)保留圖像能量，因此，本文采用改進(jìn)的稀疏表示的融合方法去融合圖像的平滑層，該方法包含兩部分，分別是：聯(lián)合字典的構(gòu)建和稀疏編碼系數(shù)的融合。

2.3.1 聯(lián)合字典的構(gòu)建

在基于稀疏表示的融合算法中，字典構(gòu)造是對(duì)融合性能有決定性影響的因素。一般來說，利用源圖像截取出來的圖像塊作為過完備字典的訓(xùn)練數(shù)據(jù)，這樣訓(xùn)練出來的字典模型能夠更有效地提高字典對(duì)源圖像表征能力和靈活性，從而能夠自適應(yīng)地表示圖像特征。然而，絕大多數(shù)醫(yī)學(xué)圖像僅包含有限的特征信息，尤其是計(jì)算機(jī)斷層掃描成像，大部分從源圖像截取的圖像塊包含大量冗余信息，導(dǎo)致在稀疏編碼時(shí)產(chǎn)生無意義的特征表示。換句話說，局部且重疊的圖像塊具有不穩(wěn)定的結(jié)構(gòu)，不能直接用于訓(xùn)練字典的數(shù)據(jù)集。為了排除信息量不足的圖像塊，只保留包含較多信息量的圖像塊，本文利用復(fù)合空間頻率來篩選從源圖像分離出來的圖像塊，進(jìn)而用篩選出來的圖像塊構(gòu)建過完備字典的數(shù)據(jù)集，較好地解決了以上問題。

圖像A的復(fù)合空間頻率MSFA的定義如下：

其中：RFA和CFA分別是水平和垂直空間頻率；PFA和SFA分別是主對(duì)角線和副對(duì)角線空間頻率。這樣，源圖像中的四個(gè)方向的邊緣強(qiáng)度可以用復(fù)合空間頻率的來表示。

對(duì)于圖像的平滑層，尤其是分解層數(shù)較多時(shí)，將其視為一種經(jīng)過多次濾波的空間模糊圖像較為合理。相應(yīng)地，字典的構(gòu)建也應(yīng)當(dāng)充分考慮到平滑層的空間退化特性。假設(shè)參與融合的源圖像為CT 圖像和MRI 圖像，過完備字典構(gòu)建如圖2 所示，具體的構(gòu)建過程如下：

圖2 聯(lián)合模糊字典構(gòu)建示意圖Fig.2 Schematic diagram of joint fuzzy dictionary construction

1）首先利用濾波窗口大小為7× 7，標(biāo)準(zhǔn)差為15的高斯低通濾波器對(duì)參與融合的源圖像進(jìn)行平滑操作，獲得相應(yīng)的空間模糊圖像CT_Blur和MRI_Blur。

2）計(jì)算模糊圖像的復(fù)合空間頻率得到MSFc和MSFm。

6）將上述兩個(gè)子字典合并為一個(gè)聯(lián)合字典D。

2.3.2 稀疏表示系數(shù)的融合

在稀疏編碼階段，怎樣計(jì)算稀疏表示系數(shù)的活躍度水平是另一個(gè)必須要考慮的問題，一般來說，稀疏系數(shù)的?0范數(shù)可以表達(dá)圖像塊細(xì)節(jié)信息的集中程度，而稀疏系數(shù)的?2范數(shù)反映圖像塊攜帶細(xì)節(jié)信息的多少。僅僅使用單一的活躍度水平的計(jì)算方法無法達(dá)到靈活地選擇稀疏表示系數(shù)的目的。針對(duì)以上問題，文獻(xiàn)［22］中提出一種加權(quán)多范數(shù)作為圖像塊的活躍度度量方法，并利用權(quán)重圖的方式融合多曝光圖像。為此，本文引入一種加權(quán)多范數(shù)的活躍度水平計(jì)算方法以達(dá)到上述目的。稀疏系數(shù)的融合階段主要包括以下步驟：

1）與構(gòu)建聯(lián)合字典步驟相似，首先利用滑動(dòng)窗口技術(shù)按照步長(zhǎng)為1 個(gè)像素將每個(gè)源圖像分解成大小為8× 8 的圖像塊，將每個(gè)圖像塊轉(zhuǎn)換成大小為64×1的列向量。

3）根據(jù)第2）步的算得到的稀疏系數(shù)，基于加權(quán)多范數(shù)的活躍度計(jì)算方法如下：

4）對(duì)第3）步求得的活躍度水平結(jié)果，選擇稀疏系數(shù)如下：

5）將按照以上方法選擇的稀疏系數(shù)進(jìn)行重構(gòu)得到融合的列向量：

6）重復(fù)以上步驟，待所有的圖像塊被處理完畢后，每個(gè)融合的列向量重組成為8× 8的融合的圖像塊，最后將所有的融合的圖像塊放到提取時(shí)的像素位置，得到融合的平滑層SF。

2.3.3 自適應(yīng)加權(quán)的區(qū)域能量融合策略

細(xì)節(jié)層包含大量的紋理信息，而圖像經(jīng)過多尺度邊緣保留分解后得到的細(xì)節(jié)層，可以看作圖像經(jīng)過多尺度變換之后得到的高頻系數(shù)，而對(duì)于高頻系數(shù)的融合，常規(guī)做法是直接對(duì)像素取最大，這種處理方式執(zhí)行效率較高，但是忽略了局部區(qū)域里像素的相關(guān)性，勢(shì)必會(huì)使圖像局部空間不連續(xù)，導(dǎo)致融合結(jié)果并不理想；而對(duì)像素取平均的策略會(huì)平滑掉部分紋理特征。與以上兩種常規(guī)的融合規(guī)則相比，基于局部區(qū)域能量的融合方法充分考慮了局部區(qū)域之間的相關(guān)性，細(xì)節(jié)層具有的紋理特征能夠得到充分體現(xiàn)，使得融合效果整體進(jìn)一步提升。具體實(shí)現(xiàn)過程如下：

其中：w定義為一個(gè)大小為m×n的局部區(qū)域；G(x，y)定義為局部區(qū)域內(nèi)w的高斯分布分別表示兩幅源圖像的第j個(gè)細(xì)節(jié)層在位置(x，y)處的像素值。

2）基于以上得到細(xì)節(jié)層的區(qū)域能量，計(jì)算細(xì)節(jié)層對(duì)應(yīng)局部區(qū)域的匹配度如下：

顯然，匹配度矩陣M內(nèi)的值都在0～1，匹配度取值越大說明源圖像對(duì)應(yīng)細(xì)節(jié)層的相關(guān)程度越高。

3）設(shè)置匹配閾值T，基于計(jì)算得到的匹配度，進(jìn)一步比較匹配度和匹配閾值的大小，若在位置(x，y)的匹配度M(x，y) ＜T，表明對(duì)應(yīng)細(xì)節(jié)層的區(qū)域能量距離較遠(yuǎn)，直接通過區(qū)域能量來決定是否選擇該像素點(diǎn)，具體可以表示為：

若匹配度M(x，y) ＞T，表明對(duì)應(yīng)細(xì)節(jié)層的區(qū)域能量接近，則選取一種自適應(yīng)加權(quán)策略，具體可以表示為：

其中：Wmin和Wmax是根據(jù)匹配度和匹配閾值計(jì)算得到的自適應(yīng)權(quán)重。

4）根據(jù)以上步驟，對(duì)每個(gè)細(xì)節(jié)層內(nèi)遍歷所有的像素點(diǎn)，可以得到融合的細(xì)節(jié)層。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為了驗(yàn)證本文所提出的多模態(tài)醫(yī)學(xué)圖像融合方法框架的性能，從取自哈佛大學(xué)醫(yī)學(xué)院公開的全腦病變圖像［23］選取了三組不同成像設(shè)備的腦部醫(yī)學(xué)圖像進(jìn)行分析和對(duì)比，包括CT-MRI圖像對(duì)，MRt1-MRt2圖像對(duì)（磁共振T1加權(quán)像和T2加權(quán)像）和SPECT（單光子發(fā)射計(jì)算機(jī)斷層成像）-MRI 圖像對(duì)。圖像大小均為256×256。

3.2 用于對(duì)比實(shí)驗(yàn)的融合方法及參數(shù)設(shè)置

本次實(shí)驗(yàn)加入了四種典型的圖像融合方法進(jìn)行對(duì)比，分別是DWT、NSCT、SR-JD、JPCD 和CSR。其中，DWT 和NSCT是兩種典型的基于多尺度變換的融合，其融合策略都采用常用的低頻稀系數(shù)加權(quán)平均、高頻系數(shù)取大的方式；SR-JD 是一種利用聯(lián)合字典學(xué)習(xí)和多范數(shù)活躍度測(cè)量方法的稀疏表示融合方法；JPCD 是一種利用聚類的策略進(jìn)行字典學(xué)習(xí)的稀疏表示融合方法；CSR 則是利用一種卷積稀疏模型來實(shí)現(xiàn)多模態(tài)圖像融合。各方法的參數(shù)設(shè)置如表1所示。

表1 不同融合方法的參數(shù)設(shè)置Tab.1 Parameter setting of different fusion methods

3.3 實(shí)驗(yàn)結(jié)果對(duì)比和分析

為了驗(yàn)證不同方法的融合性能，本文采用主觀視覺分析和客觀評(píng)價(jià)兩種方式對(duì)三種不同成像模態(tài)的醫(yī)學(xué)圖像進(jìn)行對(duì)比和分析。特別地，為了更清晰地呈現(xiàn)不同融合結(jié)果的差別，所有融合圖像的一個(gè)相同區(qū)域作為一個(gè)參考區(qū)域被放大并置于圖像的左下角。

對(duì)于CT-MRI圖像融合，判斷融合圖像的好壞一般取決于是否能提取源圖像中足夠多的骨骼特征和軟組織信息。CTMRI 圖像對(duì)的融合結(jié)果如圖4 所示，從圖像本身及放大區(qū)域可以清楚地看到：DWT 方法的融合結(jié)果存在較嚴(yán)重的塊效應(yīng)問題；NSCT 和CSR 方法的融合圖像失去了較多的圖像能量，導(dǎo)致融合結(jié)果整體較暗，對(duì)比度偏低，尤其是骨骼中央的腦部組織區(qū)域；JPCD 方法能夠?qū)T 圖像的大多數(shù)骨骼特征提取到融合圖像中，但是沒能完整地保留MRI 圖像中的軟組織特征；SR-JD 方法整體上較為完整地保留了源圖像絕大多數(shù)細(xì)節(jié)信息，但從放大的骨骼區(qū)域可以看出，它的融合結(jié)果較本文方法的融合結(jié)果存在一定程度的細(xì)節(jié)丟失，顯著特征沒有得到完整地保留；本文方法在提取圖像能量方面性能優(yōu)異，同時(shí)也完整地提取了源圖像中重要的顯著特征，可以判斷出在CT-MRI圖像對(duì)的融合中，本文方法較其他方法在視覺效果上有明顯優(yōu)勢(shì)。

圖3 不同融合方法在CT-MRI圖像對(duì)上的融合結(jié)果Fig.3 Fusion results of CT-MRI image pair by different fusion methods

圖4 不同融合方法在MRt1-MRt2圖像對(duì)上的融合結(jié)果Fig.4 Fusion results of MRt1-MRt2 image pair by different fusion methods

MRt1圖像對(duì)于生物體的解剖信息有較好的成像效果，骨骼、固定的軟組織（如脂肪、腦組織）等都可以清晰地體現(xiàn)出來；與MRt1圖像相比，MRt2圖像能夠?qū)Υ嬖诹鲃?dòng)性的機(jī)體組織（比如血管）提供更好的成像效果。MRt1-MRt2圖像對(duì)的融合結(jié)果如圖5 所示，通過融合結(jié)果的對(duì)比可以看出：DWT、NSCT和CSR方法的融合結(jié)果無法提取足夠的圖像能量，導(dǎo)致融合結(jié)果對(duì)比度偏低；SR-JD 方法雖然能夠較完整地提取源圖像的顯著特征，然而，相比參與融合的MRt1 源圖像，SR-JD方法在放大區(qū)域引入了部分MRt2 源圖像的無意義的特征信息，導(dǎo)致了視覺偽影的出現(xiàn)，這也說明SR-JD 方法無法準(zhǔn)確地識(shí)別源圖像中有意義的顯著特征；JPCD 方法在提取圖像能量方面較為優(yōu)異，但它的融合圖像失去了大部分紋理特征，這對(duì)醫(yī)學(xué)圖像來說是不合適的；本文方法提取了源圖像絕大多數(shù)局部特征，紋理特征也得到了很好的保留，相比SR-JD 方法，偽影問題得到了很大程度上的改善，對(duì)比度也有明顯的提升，相比其他方法在MRt1-MRt2的融合上具有更好的視覺效果。

圖5 不同融合方法在SPECT-MRI圖像對(duì)上的融合結(jié)果Fig.5 Fusion results of SPECT-MRI image pair by different fusion methods

SPECT（Single-Photon Emission Computed Tomography）是一種新穎的醫(yī)學(xué)成像方式，它能清晰地呈現(xiàn)出生物體內(nèi)的代謝信息，進(jìn)而反映機(jī)體的生命代謝活動(dòng)是否出現(xiàn)異常，從而達(dá)到醫(yī)學(xué)診斷的目的。圖6展示了SPECT 和MRI源圖像及其融合結(jié)果，從放大區(qū)域可以觀察到：DWT、JPCD和CSR方法的融合結(jié)果雖然能夠比較完整地保留了大部分結(jié)構(gòu)和功能特征，但是在對(duì)比度上存在嚴(yán)重不足；NSCT 方法存在亮度低的缺點(diǎn)，同時(shí)引入了部分偽影；SR-JD 方法較完整地保留了源圖像的結(jié)構(gòu)和功能信息，但是融合結(jié)果仍然存在偽影；本文方法的融合圖像不僅較清晰地體現(xiàn)了MRI 圖像的結(jié)構(gòu)和紋理信息，消除了大部分視覺偽影，而且能夠保留大部分圖像能量，融合結(jié)果有較高的對(duì)比度。

從上述結(jié)果可以看出，本文方法在三種不同成像模態(tài)醫(yī)學(xué)圖像融合上都有更好的視覺效果。

為了進(jìn)一步分析方法的融合性能，本文選取了四個(gè)重要的評(píng)價(jià)指標(biāo)，分別是信息熵（EN）、空間頻率（Spatial Frequency，SF）、標(biāo)準(zhǔn)差（Standard Deviation，SD）和邊緣信息評(píng)價(jià)因子。EN 用于衡量輸入圖像的信息量大小，數(shù)值越大，輸入圖像所包含的圖像信息越豐富，其定義如下：

其中，l是灰度等級(jí)，p(l)代表灰度等級(jí)l出現(xiàn)的概率。

SF 主要用于計(jì)算圖像函數(shù)在單位長(zhǎng)度上的變化次數(shù)，用來衡量圖像細(xì)節(jié)的豐富程度。一般來說平坦區(qū)域的空間頻率較小，而像素的取值起伏較大或者存在邊緣特征較多的區(qū)域空間頻率較大.對(duì)于圖像B，其空間頻率定義如下：

其中：

其中：B(i，j)為融合圖像在點(diǎn)(i，j)的像素值。

SD主要用于衡量輸入圖像整體的對(duì)比度，對(duì)于圖像B，其標(biāo)準(zhǔn)差定義如下：

其中μ是融合圖像的平均值。

邊緣信息評(píng)價(jià)因子［24］是一個(gè)被研究者廣泛應(yīng)用的評(píng)價(jià)指標(biāo)，用于衡量融合圖像對(duì)源圖像的邊緣信息的保持程度，其定義如下：

進(jìn)一步利用上述客觀指標(biāo)來評(píng)價(jià)融合性能，對(duì)于三種不同模態(tài)的醫(yī)學(xué)圖像，表2 展示了本文方法和用于對(duì)比實(shí)驗(yàn)的其他方法的客觀評(píng)價(jià)結(jié)果。由第一組CT-MRI 圖像對(duì)的融合結(jié)果可以觀察到，本文方法雖然在空間頻率指標(biāo)SF 上的表現(xiàn)不是最優(yōu)，但是在信息量指標(biāo)EN、對(duì)比度指標(biāo)SD 以及邊緣保真度指標(biāo)QAB/F上均優(yōu)于其他方法。另外，DWT方法在空間頻率指標(biāo)SF 上有最好的表現(xiàn)，其他融合客觀指標(biāo)較差。SR-JD方法也具有良好的融合性能，但是其融合圖像仍然存在一定的細(xì)節(jié)丟失。與SR-JD 方法相比，本文方法在邊緣保真度指標(biāo)QAB/F和對(duì)比度指標(biāo)SD 上有顯著優(yōu)勢(shì)，表明本文方法在邊緣特征保留和圖像能量提取方面有更優(yōu)異的性能，因而有更好的融合效果。

表2 不同方法融合圖像對(duì)的客觀評(píng)價(jià)對(duì)比Tab.2 Comparison of objective evaluation of different algorithms when fusing image pairs

由MRt1-MRt2 圖像對(duì)融合結(jié)果的客觀指標(biāo)對(duì)比可以看到，本文方法在指標(biāo)空間頻率指標(biāo)SF、對(duì)比度指標(biāo)SD 和邊緣保真度指標(biāo)QAB/F上均是第一，表明本文方法保留圖像邊緣特征和對(duì)比度方面有顯著優(yōu)勢(shì)。JPCD 方法僅在信息量指標(biāo)EN有最好的表現(xiàn)，然而在其他客觀指標(biāo)上沒有顯著的優(yōu)勢(shì)，尤其是邊緣保真度指標(biāo)QAB/F，這也印證了JPCD方法的融合圖像存在大面積紋理丟失的事實(shí)。

由SPECT-MRI 圖像對(duì)融合指標(biāo)對(duì)比可以看到，本文方法在信息量指標(biāo)EN、對(duì)比度指標(biāo)SD 以及邊緣保真度指標(biāo)QAB/F上均是最優(yōu)，在SF 上有一定不足。綜上所述，本文方法在保留邊緣特征和保持對(duì)比度方面有顯著的優(yōu)勢(shì)，相比以上五個(gè)典型的融合方法具有更好的融合性能。

3.4 參數(shù)對(duì)融合性能的影響

本文方法包含較多參數(shù)，相比其他參數(shù)，多尺度邊緣保留分解層級(jí)對(duì)融合性能有顯著影響。本小節(jié)用于實(shí)驗(yàn)的三組多模態(tài)醫(yī)學(xué)圖像同樣作為測(cè)試融合性能變化的測(cè)試圖像，四個(gè)融合結(jié)果的客觀指標(biāo)EN、SF、SD和QAB/F用于評(píng)價(jià)分解層級(jí)對(duì)融合性能的影響。分解層級(jí)對(duì)客觀指標(biāo)的影響如圖7 所示：當(dāng)分解層級(jí)為3 時(shí)，三組融合結(jié)果中EN、SF 和QAB/F都取得了最大值；在分解層級(jí)為4時(shí)，只有對(duì)比度指標(biāo)SD在MRt1-MRt2以及SPECT-MRI 兩種融合問題上略微增加，但是整體增加幅度不大，而且在CT-MRI融合問題上出現(xiàn)了下降。基于以上考慮，分解層級(jí)設(shè)置為3較為合理。

3.5 計(jì)算效率分析

本節(jié)主要介紹不同方法的計(jì)算效率。本文采取的實(shí)驗(yàn)環(huán)境為Intel Core i7-8750H CPU（2.20 GHz），8 GB 內(nèi)存，64 位Windows 10 操作系統(tǒng)，Matlab 2014b 編程。表3 列出了不同方法在三種成像模態(tài)的醫(yī)學(xué)圖像的平均消耗時(shí)間。可以看到，DWT 和NSCT 方法相對(duì)其他方法耗時(shí)更短，具備更高的執(zhí)行效率，然而它們的融合圖像對(duì)比度偏低；JPCD 方法由于采用聚類字典學(xué)習(xí)因而計(jì)算復(fù)雜度較高；本文方法以及其他基于稀疏表示的融合方法計(jì)算復(fù)雜度較高。簡(jiǎn)單來說，本文方法在具備較高融合性能，但是在計(jì)算效率方面存在一定不足。

表3 不同融合方法的平均運(yùn)行耗 單位：sTab.3 Average running time consumptions of different fusion methods unit：s

4 結(jié)語

本文提出了一種基于多尺度邊緣保留分解和稀疏表示的多模態(tài)醫(yī)學(xué)圖像融合方法。該方法首先利用引導(dǎo)濾波器將源圖像分解為平滑層和一組細(xì)節(jié)層，然后利用改進(jìn)的稀疏表示算法融合圖像的平滑層，利用自適應(yīng)局部區(qū)域能量的方法融合細(xì)節(jié)層。同時(shí)為了提高對(duì)平滑層的稀疏表示性能，本文針對(duì)平滑層的特點(diǎn)設(shè)計(jì)了一種基于圖像塊篩選的字典構(gòu)建方法，并利用一種加權(quán)范數(shù)的方式來選擇稀疏系數(shù)。其次利用區(qū)域能量的方法融合細(xì)節(jié)層，最后將融合的平滑層和細(xì)節(jié)層重構(gòu)為目標(biāo)圖像。在公開的多模態(tài)醫(yī)學(xué)圖像上的實(shí)驗(yàn)結(jié)果表明，本文方法能夠有效地保持源圖像的結(jié)構(gòu)信息，提高了融合圖像的對(duì)比度，很大程度上解決了融合圖像容易出現(xiàn)的偽影問題。相比其他的融合方法，本文方法在視覺效果和客觀評(píng)價(jià)上都取得了最好的效果。但是，同其他基于稀疏表示的融合方法一樣，存在運(yùn)行耗時(shí)較長(zhǎng)的問題。為了提高融合性能同時(shí)降低算法的計(jì)算復(fù)雜度，利用K-SVD 或者其他有效的字典學(xué)習(xí)算法針對(duì)醫(yī)學(xué)圖像訓(xùn)練一種具備較強(qiáng)魯棒性的全局字典，或者利用判別字典學(xué)習(xí)的方法訓(xùn)練一種能夠表征源圖像細(xì)節(jié)和紋理過完備字典可以作為未來的研究?jī)?nèi)容。