基于拉普拉斯金字塔和CNN的醫(yī)學(xué)圖像融合算法

吳 帆，高 媛，秦品樂，王麗芳

中北大學(xué) 大數(shù)據(jù)學(xué)院，太原 030051

1 引言

隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，醫(yī)學(xué)成像技術(shù)已經(jīng)成為各種臨床應(yīng)用中的重要組成部分，獲取醫(yī)學(xué)影像有X射線、計(jì)算機(jī)斷層掃描（Computed Tomography，CT）、磁共振（Magnetic Resonance，MR）、正電子發(fā)射斷層掃描（Positron-emission Tomography，PET）等多種方式。由于成像機(jī)制的不同，具有不同模態(tài)的醫(yī)學(xué)圖像呈現(xiàn)不同類別的器官/組織信息，醫(yī)生根據(jù)實(shí)際情況選擇不同成像方式。多模態(tài)醫(yī)學(xué)圖像融合的目的在于，將包含不同補(bǔ)充信息的不同模態(tài)的源圖像組合生成可視化的合成圖像，幫助醫(yī)生更好地做出診斷和決策[1]。

早期以取平均、HIS變換、高通濾波器、主分量分析等為圖像融合的主流方法，只在一個(gè)層上對(duì)圖像進(jìn)行分解處理和融合操作[2]。到20世紀(jì)80年代中期，由于金字塔分解具有多方向提取圖像特征的特性，基于金字塔分解的圖像融合方法開始發(fā)展并應(yīng)用[3]。20世紀(jì)90年代開始，小波變換以多分辨率的特點(diǎn)為圖像融合提供了新的工具，使圖像融合技術(shù)得到進(jìn)一步發(fā)展[4]。近年來，多模態(tài)醫(yī)學(xué)圖像融合的研究主要集中于基于多尺度變換理論的圖像融合方法[5]，如基于形態(tài)金字塔的方法、基于離散小波變換的方法、基于雙樹復(fù)小波變換的方法和基于非子采樣輪廓線變換的方法。基于多尺度變換的方法一般為分解、融合和重構(gòu)的三步框架[6]，基本原理是在選定的變換域中通過分解系數(shù)來測(cè)量源圖像的活動(dòng)水平。其次，還有基于獨(dú)立分量分析和稀疏表示等的融合方法，其通常采用滑塊進(jìn)行近似探索，尋找計(jì)算活動(dòng)水平的有效特征域，將圖像轉(zhuǎn)換成單一尺度的特征域。但這些方法都需要依賴先驗(yàn)知識(shí)選取活動(dòng)水平，實(shí)驗(yàn)結(jié)果在很大程度上受到人為因素的影響。

此外權(quán)重圖構(gòu)造的研究也是影響融合效果的關(guān)鍵。在傳統(tǒng)的融合方法中，權(quán)重圖一般通過活動(dòng)水平測(cè)量和權(quán)重分配兩個(gè)步驟來實(shí)現(xiàn)，為了提高融合性能，在文獻(xiàn)[7-10]中提出了許多復(fù)雜的分解方法和精細(xì)的權(quán)重分配策略，但其依然是依據(jù)先驗(yàn)知識(shí)對(duì)兩個(gè)步驟進(jìn)行優(yōu)化組合，大大限制了算法的性能。而深度學(xué)習(xí)通過網(wǎng)絡(luò)學(xué)習(xí)參數(shù)，能將活動(dòng)水平測(cè)量和權(quán)重分配以最好的方式在圖像融合中，并因其強(qiáng)大的特征提取能力已成功應(yīng)用于車牌識(shí)別、面部識(shí)別、行為識(shí)別、圖像分類和語音識(shí)別等領(lǐng)域[11]。Liu等人訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）聯(lián)合生成活動(dòng)水平測(cè)量和融合規(guī)則，應(yīng)用于紅外和可見光圖像[12]，證明了基于CNN的算法可以提供比傳統(tǒng)的基于空間域變換的算法具有更好的性能。Zhong等人在多模態(tài)圖像融合中提出了一種基于CNN的聯(lián)合圖像融合和超分辨率方法[13]；Liu等人介紹了用于圖像融合的卷積稀疏表示[14]，反卷積網(wǎng)絡(luò)構(gòu)建層的層次結(jié)構(gòu)，每個(gè)層由編碼器和解碼器組成；在遙感圖像融合中，Giuseppe等人提出了一種有效的三層結(jié)構(gòu)來解決泛銳化問題[15]，通過添加非線性指數(shù)來增強(qiáng)輸入，以促進(jìn)融合性能。但CNN直接應(yīng)用于醫(yī)學(xué)圖像融合中，存在偽影影響實(shí)驗(yàn)結(jié)果，不符合人類視覺感知效果，且利用經(jīng)驗(yàn)對(duì)濾波器參數(shù)進(jìn)行初始化，很難保證訓(xùn)練的網(wǎng)絡(luò)具有良好的訓(xùn)練效果。

本文提出了一種基于金字塔和卷積神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像融合方法。通過更有利于人類視覺感知的金字塔的多尺度分解[16]來提高融合效果，同時(shí)引用支持向量機(jī)的思想對(duì)CNN網(wǎng)絡(luò)進(jìn)行改進(jìn)，使其不依賴于經(jīng)驗(yàn)初始化參數(shù)，有效地提取圖像特征，得到更適合的權(quán)重圖，并去掉傳統(tǒng)CNN網(wǎng)絡(luò)中的池化層/采樣層以減少圖像信息的損失。

2 相關(guān)工作

2.1 拉普拉斯金字塔

拉普拉斯金字塔（Laplacian Pyramid，LP）是一種多尺度、多分辨率的圖像處理方法，可以將圖像的邊緣和紋理等特征按照不同的尺度分解到不同分辨率的塔層上，再將多幅源圖像的對(duì)應(yīng)塔層分別進(jìn)行融合，得到融合后的金字塔以后，再重構(gòu)得到最終融合圖像。LP在多尺度上融合不同模態(tài)的醫(yī)學(xué)圖像領(lǐng)域已有廣泛應(yīng)用，但其存在偽影的問題，Paris等人提出了具有簡單、靈活特點(diǎn)的區(qū)域拉普拉斯金字塔（Local Laplacian Pyramid，LLP）來克服這一問題。

LLP是基于LP的邊緣感知濾波器，濾波器的輸出O為重構(gòu)圖像，Si為每層圖像，v為原始圖像拉普拉斯金字塔分解得到的系數(shù)，I′(v)為由其得到的新系數(shù)，collapse()為重構(gòu)算子。

對(duì)于每個(gè)系數(shù)I(v)=(x,y,i)，通過點(diǎn)映射函數(shù)生成一個(gè)新的系數(shù)I′(v)：

其中，x,y分別代表水平和垂直方向的像素坐標(biāo)；i代表金字塔的水平參數(shù)，v是位置(x,y)的像素值；g是從高斯金字塔得到的圖像值；LLP有三個(gè)自由參數(shù)：（1）強(qiáng)度閾值σr作為區(qū)分邊緣信息和細(xì)節(jié)信息的邊界；（2）細(xì)節(jié)因子α控制細(xì)節(jié)增強(qiáng)量(0≤α≤1)；（3）測(cè)距因子β控制范圍的縮小(0≤β≤1)或擴(kuò)大(β>1)。

2.2 卷積神經(jīng)網(wǎng)路

CNN是一個(gè)典型的深度學(xué)習(xí)模型，與普遍神經(jīng)網(wǎng)絡(luò)相同具有多層感知結(jié)構(gòu)學(xué)習(xí)具有不同抽象層次的信號(hào)/圖像數(shù)據(jù)的各層特征表示[17]，是一種可訓(xùn)練的前饋網(wǎng)絡(luò)，每層包含一定數(shù)量的特征映射。特征圖中的每個(gè)單元稱為神經(jīng)元。通過對(duì)神經(jīng)元進(jìn)行線性卷積、非線性函數(shù)激活應(yīng)用于神經(jīng)和空間池化等操作連接不同層的特征圖[18]。

局部感知、權(quán)值共享和池化是CNN的三大核心思想[19]，使CNN可以在一定程度上獲得平移不變性和縮放不變性。在多層感知機(jī)中，一般情況下隱藏節(jié)點(diǎn)與圖像的各個(gè)像素點(diǎn)進(jìn)行全連接，但其在卷積神經(jīng)網(wǎng)絡(luò)中，僅將隱藏節(jié)點(diǎn)與圖像中足夠小的局部像素點(diǎn)進(jìn)行連接，該操作很大程度上減少了需要訓(xùn)練的參數(shù)。不同的圖像或者相同圖像的不同位置之間進(jìn)行權(quán)值共享，可以減少卷積核的數(shù)量，避免卷積核的重復(fù)，從而進(jìn)一步減少參數(shù)。源圖像在經(jīng)過卷積操作之后通過下采樣操作縮小圖像尺寸的過程叫做池化，該操作可以減少過擬合發(fā)生的概率，降低了特征圖的維度，達(dá)到減少計(jì)算量，提升計(jì)算速率的目的。

2.3 支持向量機(jī)

在機(jī)器學(xué)習(xí)領(lǐng)域，支持向量機(jī)（Support Vector Machine，SVM）是一個(gè)有監(jiān)督的學(xué)習(xí)模型，通常用來進(jìn)行模式識(shí)別、分類，以及回歸分析。支持向量機(jī)旨在通過有限樣本信息尋求模型的復(fù)雜性和學(xué)習(xí)能力之間的最優(yōu)解，獲得最好的應(yīng)用能力[20]。凸優(yōu)化問題可以很好地表示SVM學(xué)習(xí)問題，采用現(xiàn)有的有效算法發(fā)現(xiàn)目標(biāo)函數(shù)的全局最小值。

SVM模型中所有分類點(diǎn)在各自類別的支持向量兩邊，即所有點(diǎn)到超平面的距離大于一定的距離。用數(shù)學(xué)式子表示為：

其中，yi(WTxi+b)=γ'(i)≥γ'(i=1,2,…,N)。一般都取函數(shù)間隔γ'為1，這樣優(yōu)化函數(shù)定義為：

3 改進(jìn)的醫(yī)學(xué)圖像融合策略

3.1 融合過程

本文提出的醫(yī)學(xué)圖像融合算法原理圖如圖1所示。該算法可以概括為以下四個(gè)步驟：

（1）基于改進(jìn)的CNN權(quán)重圖的生成

將源圖像A和B分別輸入到改進(jìn)的CNN卷積網(wǎng)絡(luò)中，如2.2節(jié)所示，生成權(quán)重圖W。

圖1 醫(yī)學(xué)圖像融合過程

（2）金字塔分解

采用金字塔的多尺度分解圖像的方法，使融合在每個(gè)分解水平進(jìn)行，將每個(gè)源圖像通過區(qū)域拉普拉斯金字塔進(jìn)行分解。L{A}l和L{B}l分別表示A金字塔和B金字塔的第l層分解，同樣將權(quán)重圖W輸入?yún)^(qū)域拉普拉斯金字塔得到第l層分解L{W }l。取為最高分解層數(shù)，其中H×W為源圖像大小，表示floor函數(shù)。

（3）系數(shù)融合

對(duì)于每一個(gè)l的分解層，計(jì)算L{A}l和L{B}l的區(qū)域能量圖[17]。

其值范圍為[1，?1]，接近1表示相似性高。設(shè)置一個(gè)閾值t，如果Ml(x,y)≥t，采用公式（9）的融合規(guī)則：

如果Ml(x,y)

（4）拉普拉斯金字塔重建

對(duì)L{F}l進(jìn)行區(qū)域拉普拉斯金字塔重構(gòu)得到融合圖像F。

3.2 改進(jìn)的CNN模型

對(duì)卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行改進(jìn)，首先，采用經(jīng)驗(yàn)風(fēng)險(xiǎn)最小作為神經(jīng)網(wǎng)絡(luò)的評(píng)價(jià)指標(biāo)很難保證訓(xùn)練出的網(wǎng)絡(luò)具有良好的泛化性，將基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的評(píng)價(jià)指標(biāo)替換為基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化。其次，傳統(tǒng)CNN的殘差通過梯度下降法[21]向后傳播，交替使用多個(gè)卷積和最大池化層，對(duì)提取的特征進(jìn)行分類，得到基于輸入的概率分布，改進(jìn)的CNN模型中降維是通過步長為2的標(biāo)準(zhǔn)卷積層來實(shí)現(xiàn)。

Rd為輸入，y為輸出，d為維度，令x∈Rd(y∈R)，W 為權(quán)值，b為偏置，?(x):為對(duì)x通過卷積操作C后，通過隱層神經(jīng)元轉(zhuǎn)為函數(shù)映射，q為變換后的維度[22]。當(dāng)目標(biāo)函數(shù)可以定義為：

基于深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的思想，假設(shè)輸出等于輸入，與SVM中權(quán)值求解的思想類似，估計(jì)函數(shù)為：

利用迭代算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，首先，對(duì)于一個(gè)固定的C，求解為：

若Q=A(I-1BT)為N×N的矩陣，如果通過對(duì)應(yīng)的輸入向量在映射鄰域中心中的支持值來估計(jì)像素點(diǎn)(x,y)的支持值，用矩陣Q的中心行向量得到的支持值濾波器對(duì)圖像進(jìn)行卷積，可獲得全部圖像的支持值C。

CNN中最大池操作的公式：

ψ表示每個(gè)卷積層獲得的輸入圖像的特征圖，是大小為W×H×G的三維陣列，其中H和W為高、寬，G為通道數(shù)，最大池化層的大小為k(k=2)和步長為r。當(dāng)g(h,w,i,j,u)=(r?i+h,r?j+w,u)是S在一定步長下到ψ的函數(shù)映射。當(dāng)r>k時(shí)，最大池層不重疊；通常CNN模型取k=3和r=2最大池化層存在重疊。類似最大池化操作的公式得出標(biāo)準(zhǔn)卷積層的公式：

θ是核權(quán)值，i,j和u代表在尺度u上的像素的坐標(biāo)(i,j)。一般使用ReLU作為激活函數(shù)用(f?)表示，f(x)=max(x,0)，o∈[1,M]是卷積層輸出特征的數(shù)量，該操作依賴于與前一層特征圖中反饋的元素。對(duì)比公式（17）、（18）可知，當(dāng)θh,w,u,o=1且u=o=0 時(shí)，(f?)等價(jià)于p范式。在傳統(tǒng)CNN模型中最大池的主要作用于特征圖的維度和在一定程度上保持特征尺度不變性。基于以上公式得出的結(jié)論，具有相對(duì)應(yīng)的核和步長的標(biāo)準(zhǔn)卷積層可以學(xué)習(xí)最大池化操作并將其替換[23-25]。

改進(jìn)的CNN模型不依賴于學(xué)習(xí)過程中的經(jīng)驗(yàn)風(fēng)險(xiǎn)，可以自適應(yīng)地學(xué)習(xí)各個(gè)分解層次的最優(yōu)濾波器，有效地從圖像的各個(gè)層次提取細(xì)節(jié)，同時(shí)標(biāo)準(zhǔn)卷積層的應(yīng)用避免了采用池化層導(dǎo)致的信息丟失問題。改進(jìn)的CNN模型結(jié)構(gòu)如圖2所示。

圖2 改進(jìn)的CNN模型結(jié)構(gòu)

（1）根據(jù)公式（13）～（16），得到矩陣 Q 的中心行向量；構(gòu)造核權(quán)值，得到濾波器。

（2）將兩個(gè)源圖像輸入改進(jìn)的CNN模型，輸入圖像經(jīng)過卷積操作和濾波器得到輸出圖像。

（3）改進(jìn)的CNN模型在第一層通過3×3的濾波器輸出特征圖維數(shù)為64，第二層卷積層通過3×3的濾波器輸出特征圖維數(shù)為128，這兩個(gè)卷積層的步長設(shè)為1；設(shè)置第三層卷積的濾波器大小為3×3，步長為2，得到特征圖維數(shù)為256；第四層將維數(shù)為256的特征圖輸入，通過3×3的濾波器得到得到特征圖維數(shù)為256。

（4）將特征圖輸入到全連接層，輸出最終結(jié)果。

4 仿真實(shí)驗(yàn)與結(jié)果分析

本文實(shí)驗(yàn)使用的是美國哈佛醫(yī)學(xué)院（Harvard Medical School）的數(shù)據(jù)集（http：//www.med.harvard.edu/AANLIB/home.html），全腦圖譜由Keith A.Johnson和J.Alex Becker創(chuàng)建，提供正常腦和一些常見疾病的腦部圖像。實(shí)驗(yàn)環(huán)境由硬件環(huán)境和軟件環(huán)境構(gòu)成，硬件環(huán)境為測(cè)試實(shí)驗(yàn)所用的Intel Xeon服務(wù)器，搭載2塊NVIDIA Tesla M40的GPU，每塊顯存12 GB，共24 GB；軟件環(huán)境為64位Ubnutu 14.04.05 LTS操作系統(tǒng)，Tensorflow V1.2，CUDA Toolkit 8.0，Python 3.5。

4.1 融合效果

選取腦膜瘤、腦梗、腦中風(fēng)三種類型的CT和MR圖像對(duì)本文算法進(jìn)行融合仿真實(shí)驗(yàn)。如圖3所示。

將本章算法與NSCT-PCNN算法[26]、文獻(xiàn)[27]算法、文獻(xiàn)[28]算法、文獻(xiàn)[29]算法與本文算法相比較。NSCTPCNN算法利用NSST對(duì)源圖像進(jìn)行多尺度、多方向分解，低頻子帶系數(shù)采用基于區(qū)域特征加權(quán)的方式進(jìn)行融合；高頻內(nèi)層子帶系數(shù)采用PCNN求出區(qū)域點(diǎn)火特性，與平均梯度加權(quán)進(jìn)行選擇，高頻外層子帶系數(shù)采用區(qū)域絕對(duì)值取得[26]。文獻(xiàn)[27]算法是把提升小波變換和PCNN相結(jié)合進(jìn)行圖像融合，該算法高頻部分使用自適應(yīng)PCNN方法，低頻使用區(qū)域能量算法。文獻(xiàn)[28]算法是基于曲面小波變換算法，首先，使用surfacelet轉(zhuǎn)換分解源圖像；然后，有效地結(jié)合低頻和高頻系數(shù)；最后，逆變換生成融合圖像。文獻(xiàn)[29]中高頻部分采用CS來減少計(jì)算復(fù)雜度，低頻采用自適應(yīng)PCNN方法，并選取了SDS特征作為外部激勵(lì)，對(duì)應(yīng)神經(jīng)元處的連接強(qiáng)度采用SDG特征。

第一組腦膜瘤實(shí)驗(yàn)中，NSCT-PCNN算法沒有很好地保存MR源圖像中的細(xì)節(jié)信息，存在一些偽影，文獻(xiàn)[27]算法亮度太高造成了信息丟失，文獻(xiàn)[28]算法視覺效果相對(duì)好一些，但是存在同樣的問題。對(duì)比而言，文獻(xiàn)[29]算法和本文算法的融合結(jié)果相對(duì)較好，有較好的清晰度，但本文算法針對(duì)MR源圖像中軟組織的信息保存度上更為突出，融合效果最好。

第二組腦梗實(shí)驗(yàn)中，NSCT-PCNN算法處理的圖像整體較暗，并且細(xì)節(jié)信息表現(xiàn)不明顯，視覺效果明顯不好，軟組織信息難以確定，文獻(xiàn)[27]算法中融合效果不錯(cuò)，但圖像中間部分的細(xì)節(jié)表現(xiàn)力不強(qiáng)，文獻(xiàn)[28]算法中對(duì)比度較差，同時(shí)丟失了骨骼信息，文獻(xiàn)[29]算法的視覺效果相對(duì)穩(wěn)定，骨骼清晰，但與本文算法對(duì)比，對(duì)比度不夠，圖像中信息豐富程度略有遜色。

第三組腦中風(fēng)實(shí)驗(yàn)中，從視覺效果上看，NSCTPCNN算法中圖像紋理細(xì)節(jié)信息不清晰，圖像整體模糊，文獻(xiàn)[27]算法得到的圖像邊緣出現(xiàn)偽影，信息丟失嚴(yán)重，文獻(xiàn)[28]算法得到的圖像具有較好的亮度，但是圖像整體輪廓丟失嚴(yán)重，文獻(xiàn)[29]算法的圖像包含紋理信息豐富，符合人類的視覺感知，本文算法融合圖像視覺效果較好，圖像清晰。

圖3 融合效果對(duì)比圖

4.2 評(píng)價(jià)指標(biāo)

為了更加全面地評(píng)價(jià)融合結(jié)果，本文采用了互信息（Mutual Information，MI）、信息熵（Information Entropy，IE）、結(jié)構(gòu)相似性（Strructural Similarity，SSIM）、空間頻率（Space Frequency，SF）和平均梯度（Average Grads，AG）五項(xiàng)指標(biāo)進(jìn)行評(píng)價(jià)，指標(biāo)的值與融合效果呈正相關(guān)。

由表1中客觀指標(biāo)可得，MI用于表示信息之間的關(guān)系，是圖像隨機(jī)變量統(tǒng)計(jì)相關(guān)性的測(cè)量，值越大代表圖像的相關(guān)性越高，在腦膜瘤、腦梗、腦中風(fēng)三組實(shí)驗(yàn)中本文算法均達(dá)到最優(yōu)，分別達(dá)到23%、4.3%、20.5%的提升。IE表示圖像中包含的信息平均量，融合的目的在于使圖像包含更多的信息，本文算法在腦膜瘤實(shí)驗(yàn)中，IE數(shù)值僅次于文獻(xiàn)[28]算法，在腦梗和腦中風(fēng)實(shí)驗(yàn)中均達(dá)到最優(yōu)，且平均提升22.2%和13.6%。SSIM分別從亮度、對(duì)比度、結(jié)構(gòu)三方面度量圖像的相似性，值越大表示圖像中結(jié)構(gòu)信息越相似，在三組實(shí)驗(yàn)中本文算法對(duì)比NSCT-PCNN算法、文獻(xiàn)[27]、文獻(xiàn)[28]和文獻(xiàn)[29]算法平均提升5.6%、18.4%、19.7%。SF反應(yīng)圖像灰度的變化率，圖像中不同圖像成分具有不同的空間頻率，SF越高，圖像的亮暗變化、短距離突變更明顯，本文算法在三組實(shí)驗(yàn)中都僅次于文獻(xiàn)[27]算法，但結(jié)合主觀評(píng)價(jià)可知文獻(xiàn)[27]算法邊緣亮度均較強(qiáng)，導(dǎo)致了邊緣細(xì)節(jié)信息不明顯的問題，不符合人類視覺感知，同時(shí)相對(duì)于其他算法，本文算法也略有提升。AG反映圖像微小細(xì)節(jié)變化的速率，其變化率的大小可以表征圖像的清晰度，其在三組實(shí)驗(yàn)中數(shù)值均達(dá)到最優(yōu)，反映了本文算法的融合圖像在對(duì)紋理信息和細(xì)節(jié)信息的清晰保存上具有絕對(duì)的優(yōu)勢(shì)。總體而言，在客觀指標(biāo)上，說明了本文算法性能最優(yōu)，不僅包含的信息量最多，較好地保留了融合圖像的細(xì)節(jié)部分，而且對(duì)邊緣信息的損失較少，客觀評(píng)價(jià)與視覺觀察結(jié)果相符，為精確的病灶定位及手術(shù)治療提供有利的影像依據(jù)。

為驗(yàn)證本文算法的準(zhǔn)確性，對(duì)改進(jìn)CNN訓(xùn)練過程中函數(shù)損失的實(shí)驗(yàn)數(shù)據(jù)如圖4所示。

表1 實(shí)驗(yàn)的客觀指標(biāo)

圖4 本文算法損失

從圖4可知，從曲線的整體來看，隨著迭代次數(shù)的增加，迭代次數(shù)低于50 000次時(shí)呈急劇下降趨勢(shì)，迭代次數(shù)高于50 000次之后逐漸趨于平緩并達(dá)到一個(gè)相對(duì)穩(wěn)定的數(shù)值，通過綜合權(quán)衡損失，確定本文實(shí)驗(yàn)的最終迭代次數(shù)為150 000次。

5 結(jié)語

本文算法通過將金字塔與改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)合起來，為了達(dá)到人眼視覺感知的良好效果采用了多尺度處理和自適應(yīng)選擇融合方式的圖像融合技術(shù)，克服融合結(jié)果存在偽影的問題；通過卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，減輕了人工設(shè)計(jì)活動(dòng)水平測(cè)量和權(quán)重分配對(duì)實(shí)驗(yàn)結(jié)果的影響。實(shí)驗(yàn)結(jié)果表明，該算法在主觀評(píng)價(jià)和客觀評(píng)價(jià)方面均獲得高質(zhì)量的結(jié)果，接下來將算法更好地應(yīng)用于其他領(lǐng)域還需要更好的探索和驗(yàn)證。