基于孿生卷積神經(jīng)網(wǎng)絡的圖像融合①

楊 雪,鄭婷婷,戴 陽

(長安大學 信息工程學院,西安 710064)

1 引言

圖像融合是將在同一場景下的不同聚焦的兩幅或者多幅圖像的信息進行冗余互補,從而形成一張具有完整信息的圖像.圖像融合在許多領域都具有廣泛的應用,例如在醫(yī)學醫(yī)療方面和遙感圖像的融合等方面.現(xiàn)如今,存在的圖像融合方法有很多種,其中比較常用的方法是基于分辨率分解的圖像融合,基于分辨率分解的方法又有多種,例如基于圖像金字塔分解[1,2]的方法、基于小波變換[3]的方法、基于相位一致性和方向?qū)Ρ榷鹊姆亲硬蓸虞喞€變換的融合方法[4]、基于稀疏表示的同時進行正交匹配跟蹤的融合[5]方法等等,但是上述的方法中的一些方法對采集的圖像有很大的要求,這就意味著對采集圖像的傳感器有著很大的負擔,而且有些方法在計算上很復雜.基于以上不足,本文提出來了一種基于孿生卷積神經(jīng)網(wǎng)絡的圖像融合方法.

卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)[6–8]是人工神經(jīng)網(wǎng)絡和深度學習這兩者的完美結(jié)合,其通過反向傳播算法[9]來訓練其中的權(quán)值,進而實現(xiàn)我們所想要的結(jié)果.卷積神經(jīng)網(wǎng)絡有很多優(yōu)點,例如,有比較好的容錯性能、自適應性能、比較好的自學能力等等.由于卷積神經(jīng)網(wǎng)絡以上的優(yōu)點,將原來傳統(tǒng)的卷積神經(jīng)網(wǎng)絡改進為孿生卷積神經(jīng)網(wǎng)絡,孿生卷積神經(jīng)網(wǎng)絡在實質(zhì)上就是一個雙通道的卷積神經(jīng)網(wǎng)絡,并且為了計算簡單,本文算法將其中的一個卷積層換成了殘差網(wǎng)絡層.

2 Siamese 網(wǎng)絡

“Siamese”網(wǎng)絡是Bromley J、Guyon I 等在1993年在第一次提出來的[10].又在2005年由Chopra S、Hadse R 等[11]進行了補充,在其文章中用孿生網(wǎng)絡進行了人臉相似性判別,將Siamese 網(wǎng)絡分成兩部分,前半部分用于特征提取,將兩張圖片輸入進網(wǎng)絡中輸出兩個特征向量,后半部分用構(gòu)造的特征向量進行距離度量,計算輸入圖像的相似度以判別人臉的相似性.后又由Zagoruyko S 和Komodakis N 在文獻[12]中以Siamese 網(wǎng)絡為原始基礎進行了改進,首次將空間金字塔池化(Spatial Pyramid Pooling,SPP)和Siamese 網(wǎng)絡進行了結(jié)合[13].

Siamese 網(wǎng)絡可以理解成是一種衡量相似性的算法,當要分類的類別很多但是每一個類別所對應的樣本數(shù)目很少的時候可以用于分類.Siamese 網(wǎng)絡在近年來多應用于人臉識別以及相似度檢測.本文所提的方法是基于Siamese 網(wǎng)絡進行特征的提取從而生成一個特征向量.Siamese 網(wǎng)絡有兩個分支,并且兩個分支的權(quán)重和結(jié)構(gòu)是一樣的.Siamese 網(wǎng)絡具體的結(jié)構(gòu)如圖1所示,將原圖片X1、X2送入到系統(tǒng)當中,判斷X1和X2是否是同一圖片,W是系統(tǒng)共享的學習參數(shù),GW{X1}和GW{X2}是生成低維空間中的X1和X2的兩點映射,這樣就可以通過計算GW{X1}和GW{X2}兩者之間的距離來判斷X1和X2是否是同一張圖片了.

圖1 Siamese 原始網(wǎng)絡結(jié)構(gòu)圖

3 本文所用網(wǎng)絡

3.1 本文所用的孿生卷積神經(jīng)網(wǎng)絡

本文所采用的Siamese 網(wǎng)絡是文獻[12]中提及網(wǎng)絡模型的改進版,本文網(wǎng)絡用了兩個完全相同的卷積神經(jīng)網(wǎng)絡,其中這兩個網(wǎng)絡是權(quán)值共享.

圖2給出的是圖像融合算法的前一部分特征提取的網(wǎng)絡圖,這是一個Siamese CNN[14]網(wǎng)絡圖,其中左右兩邊的兩個部分在結(jié)構(gòu)上是完全一樣的,并且共享相同的參數(shù),即權(quán)重和偏置.

圖2 本文所使用的Siamese 網(wǎng)絡結(jié)構(gòu)圖

本文網(wǎng)絡是由兩個卷積層,兩個池化層,一個殘差塊以及一個全連接層組成的.在本文中我們將原本孿生網(wǎng)絡中的一個卷積層換成了殘差網(wǎng)絡[15,16],所用的殘差網(wǎng)絡的結(jié)構(gòu)如圖3所示.輸入的patch 為16×16,即卷積層和池化層的通道數(shù)都是16(即卷積模板為16 種),其卷積核的大小為3×3,池化窗口尺寸為2×2,卷積方式為零填充(zero padding),卷積層的激活函數(shù)為Relu,并且子CNN 輸出的是256 維特征向量,每個池化層包括跨信道歸一單元.首先將輸入的patch 的空間大小調(diào)整為16×16,然后對網(wǎng)絡進行訓練以最大損失函數(shù)為優(yōu)化目標(損失函數(shù)如式(1),采用隨機梯度下降(Stochastic Gradient Descent,SGD)[17]的方法使其最大損失函數(shù)最小化;第二步將拼接完成的512 個特征圖直接連接在二維向量上面;最后,將連接生成的這個二維向量作為輸入,輸出給一個雙向的Softmax 層,其中Softmax 可以用于分類,輸出的是類別的概率分布,網(wǎng)絡在Softmax 層生成了兩類的概率分布,這兩個類別分別對應的是歸一化之后的權(quán)重分配的結(jié)果.由于本文的網(wǎng)絡是具有全連接的,所以輸入和輸出的數(shù)據(jù)都是固定尺寸的,其模型配置如表1所示.

其中,i≠j,Xi和Xj為兩個子CNN 的最后一層獲得的兩個256 維特征向量,M是一個正的半有限矩陣(M∈R256×256).

圖3 殘差網(wǎng)絡結(jié)構(gòu)圖

表1 模型配置

我們首先將全連通層轉(zhuǎn)換為包含兩個大小為3×3×512 的核的等效卷積層,轉(zhuǎn)換后,網(wǎng)絡可以將任意大小的原圖像作為一個整體進行處理,生成一個密集的預測圖,其中每個預測(一個二維向量)包含對應位置的patch 對的相對清晰信息.由于每個預測中只有兩個維度,并且它們的和被標準化為1,因此輸出可以簡化為第一個(或第二個)patch 的權(quán)重.最后,為了得到與原圖像大小相同的權(quán)值圖,我們將該值賦值為patch 位置內(nèi)所有像素的權(quán)值,并對重疊的像素進行平均,最后得到最終的權(quán)重圖.

3.2 融合過程

整個的圖像融合過程可以分為兩個部分,第一個部分用孿生卷積神經(jīng)網(wǎng)絡進行圖片信息的提取得到一個權(quán)重圖,這一部分的詳細描述在3.1 章節(jié);第二部分是利用金字塔分解后再融合,具體融合過程如圖4所示,先將第一部分得到的權(quán)重圖W經(jīng)過高斯金字塔變換得到G{W},再將兩張待融合圖片A和B進行拉普拉斯變換分別得到L{A}和L{B},再將得到的G{W}和L{A}、L{B}分別進行融合,得到L{C}和L{D},再將L{C}和L{D}進行融合得到L{F},最中將L{F}進行拉普拉斯反變換得到最終的融合圖像F.

圖4 融合過程圖

對于每一個分解層,需要計算其L{A}l和L{B}l的局部能量:

其中,L{A}l和L{B}l分別表示了第l層拉普拉斯金字塔圖像,ElA(x,y)、ElB(x,y)分別表示了第l層,中心位置為(x,y)的A圖和B圖的局部區(qū)域能量,下同.

融合模式測定中的相似度測量可以表示為式(3):

其范圍為[–1,1],若測量相似度為1,則說明兩者具有高度相似性.t表示了融合模式測定中的閾值,若Sl(x,y)≥t,則在加權(quán)平均融合時使用式(4):

如果Sl(x,y)

最后,對L{F}l進行拉普拉斯反變換得到最終融合圖像F.

4 實驗結(jié)果

為了驗證本文方法的有效性,使用3 組圖像對網(wǎng)絡模型的性能進行測試.這3 組圖像分為3 類,第1 類是醫(yī)學圖像組合(如圖5所示),包括一張計算機斷層掃描(CT)圖像和一張核磁共振圖像(MRI);第2 類是風景圖片(如圖6所示),包括兩張不同焦點的兩張豹子的圖片;第3 類是花草圖像(如圖7所示),包含了兩張不同焦點的花草圖像.本文所有的實驗均在Lenovo CORE i5 Bth Gen 下的Matlab 2016A 的版本下完成.

在實驗中,為更好測試本文方法的可實用性,選用兩種現(xiàn)存圖像融合方法和本文圖像融合方法進行比較,且比較了原始Siamese CNN 網(wǎng)絡結(jié)構(gòu)的結(jié)果和改進后Siamese CNN 網(wǎng)絡的結(jié)果.現(xiàn)存兩種圖像融合方法分別是基于導向濾波(Guided Filtering,GF)[18]的圖像融合方法、基于小波變換(Wavelet Transform,WT)[19]的圖像融合方法.僅從醫(yī)學圖像的融合結(jié)果分析,可明顯看出來本文方法具有更高的對比性,基于小波變換方法的圖像看起來存在很多噪聲,從視覺效果上來說不如本文方法.3 種類型圖片融合結(jié)果如圖8至圖10所示.

圖5 醫(yī)學圖像

圖6 風景不同對焦圖像

圖7 花草不同對焦圖像

圖8 醫(yī)學圖像融合結(jié)果

由于本文實驗圖像是沒有參考圖像的,為了能夠更加客觀的表示對比的方法和本論文的方法,選取了幾個客觀的無參考圖像情況下的圖像融合評價標準.第一個是互信息(MI),互信息作為信息論中的一個很重要的概念,可以用來度量兩個變量之間的相關性程度,在評價融合時可以表示融合之后的圖像包含原始圖像的信息總量,這個值越大,就表示融合之后的圖像包含的原始圖像的信息越多,融合效果越好,在本文的實驗中互信息的結(jié)果是融合圖像分別和兩個待融合圖像的互信息之和;第二個是平均梯度(AG),AG 描述了融合之后圖像的清晰度;第三個是邊緣強度(ES),ES 描述了融合之后圖片的邊緣信息,ES 越大就說明邊緣信息越多.最后給出了所有的方法在CPU 上的運行時間以作參考.對比結(jié)果如表2所示.

圖9 風景圖像融合結(jié)果

圖10 花草圖像融合結(jié)果

表2 對比說明

從表2中可見,本文所用方法融合之后的圖像的互信息和平均梯度的數(shù)值都要大于用小波變換和導向濾波的數(shù)值,那就說明本文所提方法在融合之后的圖像包含原圖像的信息度上和清晰度上都要優(yōu)于小波變換和導向濾波的圖像融合.但是在邊緣信息的包含量上,在風景和花草這兩類上面,本文所提的方法略遜于小波變換和導向濾波.但是單就視覺效果上來說,本文方法所得到的融合圖像在視覺效果上要比其他兩種辦法好.與原始的網(wǎng)絡結(jié)構(gòu)相對比,在包含原圖片的信息、融合圖片的清晰度、和融合圖片的邊緣信息上與改進之后的實驗結(jié)果相差不大,但是在運行時間上卻是大大的加快了,說明改進之后的方法在時效性上更好.綜上所述,本文所提出的方法是具有一定的實用性的.

5 結(jié)論

本文提出了一種基于改進的卷積神經(jīng)網(wǎng)絡的像素級的圖像融合方法,將原本孿生神經(jīng)網(wǎng)絡中的一個卷積層換成了殘差塊,比原本的算法更為簡略,并且實驗所用的時間更短,實現(xiàn)了像素級的圖像融合.首先,用孿生卷積神經(jīng)網(wǎng)絡進行了圖像的特征提取;然后,用圖像金字塔對多尺度特征進行融合;最后,與現(xiàn)存的傳統(tǒng)的兩種圖像融合的方法進行了比較;側(cè)面印證了本文方法的可實施性和可取之處.但是本文所提方法融合之后的圖像的邊緣信息包含量不如基于小波變換的圖像融合,在這一點上有待改進.