基于注意力機(jī)制的多尺度特征融合圖像去雨方法

0 引言

雨紋會嚴(yán)重影響圖像拍攝質(zhì)量,含有雨紋的圖像往往存在圖像模糊、圖像對比度和能見度降低、目標(biāo)遮擋等問題,嚴(yán)重阻礙諸如目標(biāo)檢測、目標(biāo)跟蹤和圖像識別等計(jì)算機(jī)視覺任務(wù)的執(zhí)行．因此,圖像雨紋的去除研究近年來在計(jì)算機(jī)視覺領(lǐng)域引起了極大的關(guān)注．現(xiàn)有的圖像去雨算法包括視頻去雨算法和單幅圖像去雨算法．視頻去雨算法可通過連續(xù)圖像幀進(jìn)行雨紋的檢測與去除,而單幅圖像去雨算法缺乏時(shí)序信息,所以單幅圖像去雨更具有挑戰(zhàn)性．

現(xiàn)有的基于單幅圖像的去雨算法可以分為基于圖像先驗(yàn)的算法和基于深度學(xué)習(xí)的算法．Kang等[1]利用雙邊濾波將圖像分解為高頻部分和低頻部分并在高頻部分中應(yīng)用字典學(xué)習(xí)去除雨紋．Li等[2]使用高斯混合模型作為先驗(yàn),將雨紋層從背景圖像中分離出來．由于雨紋分布密度不均、形狀大小不一,所以基于圖像先驗(yàn)的算法無法有效捕捉并去除雨紋．近年來,由于卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域取得成功,研究人員提出許多基于CNN的圖像去雨方法．Fu等[3]提出一種DerainNet網(wǎng)絡(luò),利用濾波器將圖像分解成高頻層與低頻層并將高頻層送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練,隨后對網(wǎng)絡(luò)輸出和低頻層進(jìn)行圖像增強(qiáng)并將其融合得到最終的去雨圖像．Ren等[4]提出一種漸進(jìn)式去雨網(wǎng)絡(luò)PReNet,每階段由殘差網(wǎng)絡(luò)與循環(huán)層構(gòu)成,階段的結(jié)果與原始雨圖的拼接作為下一階段的輸入．Fu等[5]設(shè)計(jì)出一種基于輕量級金字塔去雨網(wǎng)絡(luò)LPNet,該網(wǎng)絡(luò)引入拉普拉斯金字塔結(jié)合遞歸殘差結(jié)構(gòu)實(shí)現(xiàn)圖像去雨．Wang等[6]提出一種基于深度跨尺度融合結(jié)構(gòu)的單幅圖像去雨網(wǎng)絡(luò)DCSFN,通過跨尺度方式融合不同的子網(wǎng)并使用內(nèi)尺度連接方式實(shí)現(xiàn)雨紋去除．Yi等[7]提出一種使用殘差通道先驗(yàn)引導(dǎo)的去雨網(wǎng)絡(luò)SPDNet,并通過迭代制導(dǎo)的方式直接生成清晰的無雨圖像．

雖然基于深度學(xué)習(xí)方法的去雨性能方面有了顯著改進(jìn),但部分網(wǎng)絡(luò)通過增加深度或者利用多分支結(jié)構(gòu)來增強(qiáng)網(wǎng)絡(luò)性能,使得結(jié)構(gòu)過于復(fù)雜并導(dǎo)致網(wǎng)絡(luò)難以訓(xùn)練．現(xiàn)有方法并未充分利用多尺度信息,對像素以及通道信息也沒有有效利用,去雨后的圖像存在局部細(xì)節(jié)模糊現(xiàn)象且不能很好地保留圖像的紋理結(jié)構(gòu)．有鑒于此,本文利用全局特征融合結(jié)構(gòu)可以有效融合不同層次特征的特點(diǎn),提出一種基于注意力機(jī)制的多尺度特征融合圖像去雨網(wǎng)絡(luò)(Multi-scale Feature Fusion Attention Network,MFFAN)．本文的主要工作如下:

1)提出一種端到端的結(jié)合注意力機(jī)制的多尺度特征融合去雨網(wǎng)絡(luò),通過雙層特征融合結(jié)構(gòu)加強(qiáng)網(wǎng)絡(luò)各層間的信息流動(dòng)與特征復(fù)用,在有效避免淺層特征丟失的同時(shí)為去雨圖像提供更多的細(xì)節(jié)信息．全局特征融合注意力模塊進(jìn)一步提高了去雨圖像質(zhì)量,且整體網(wǎng)絡(luò)易于訓(xùn)練．

2)為了充分利用多尺度信息,設(shè)計(jì)出多尺度注意力殘差模塊(Multi-scale Attention Residual Block,MARB)．首先利用不同擴(kuò)張卷積提取不同尺度的特征信息,再通過通道分離—卷積—拼接的方式增強(qiáng)網(wǎng)絡(luò)的特征提取能力,最后坐標(biāo)注意力(Coordinate Attention,CA)[8]通過位置信息對通道關(guān)系和長期依賴性進(jìn)行編碼,提高網(wǎng)絡(luò)對于重點(diǎn)特征的關(guān)注．

3)使用均方誤差以及結(jié)構(gòu)相似度作為聯(lián)合損失函數(shù)約束網(wǎng)絡(luò)．在仿真和真實(shí)雨像數(shù)據(jù)集上進(jìn)行評估,所提算法有著較好的去雨紋效果且保留較多的圖像細(xì)節(jié)信息．

1 相關(guān)工作

1.1 殘差網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域已經(jīng)取得巨大成功,學(xué)者們提出許多經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)如LeNet、AlexNet、VGGNet等．通過增加網(wǎng)絡(luò)的寬度和深度可以提高網(wǎng)絡(luò)的性能,但是一味地增加深度會導(dǎo)致梯度彌散/爆炸以及網(wǎng)絡(luò)退化問題．因此,He等[9]提出一種殘差網(wǎng)絡(luò),并在ImageNet比賽中獲得分類和識別任務(wù)的冠軍．殘差網(wǎng)絡(luò)由多個(gè)殘差塊堆疊而成,在殘差塊中使用一種跳躍連接,有效緩解了深度神經(jīng)網(wǎng)絡(luò)中增加深度所帶來的問題．

H(x)=h(x)+F(x),

(1)

其中,x為殘差塊輸入,F(x)為恒等映射輸出,F(x)為殘差映射．前向傳播時(shí),輸入信號可以從任意低層直接傳播到高層,有效解決網(wǎng)絡(luò)退化問題;反向傳播時(shí),信號可以不經(jīng)過中間權(quán)重層直接到達(dá)低層,有效緩解梯度彌散的問題．

1.2 注意力機(jī)制

人類可以高效地在復(fù)雜場景中找到重要區(qū)域．受此啟發(fā),注意力機(jī)制被引入到計(jì)算機(jī)視覺中,目的是模仿人類視覺系統(tǒng)．注意力機(jī)制在圖像分類、目標(biāo)檢測、語義分割等視覺任務(wù)中進(jìn)一步提升了網(wǎng)絡(luò)的性能．康健等[10]設(shè)計(jì)出PFA-LinkNet,利用通道注意力機(jī)制對編碼階段的特征圖各通道間的相互關(guān)系進(jìn)行建模來增強(qiáng)網(wǎng)絡(luò)提取水體特征的能力．胡序洋等[11]提出一種車道線檢測方法LaneSegNet,使用一種混合注意力網(wǎng)絡(luò),將空間與通道注意力相結(jié)合來獲取豐富的車道線特征,增強(qiáng)網(wǎng)絡(luò)的性能．張凱等[12]提出一種用于射頻指紋識別的注意力殘差卷積神經(jīng)網(wǎng)絡(luò),通過注意力機(jī)制,提高網(wǎng)絡(luò)對于指紋圖像中有效信息的關(guān)注．

2 本文方法

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文算法MFFAN的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,網(wǎng)絡(luò)的整體架構(gòu)包括5個(gè)部分:淺層特征提取模塊(Shallow Feature Extraction Block,SFEB)、多個(gè)串聯(lián)的多尺度注意力殘差組模塊(Multi-scale Attention Residual Group Bock,MARGB)、局部特征融合模塊(Local Feature Fusion Block,LFFB)、全局特征融合注意力模塊(Global Feature Fusion Attention Block,GFFAB)和圖像重建模塊(Image Reconstruction Block,IRB)．其中每個(gè)多尺度注意力殘差組由2個(gè)多尺度注意力殘差模塊和局部特征融合模塊組成,定義輸入圖像為xinput．

圖1 MFFAN網(wǎng)絡(luò)框架Fig.1 Network framework of the proposed MFFAN

淺層特征提取模塊(SFEB)由一層卷積核大小為3的卷積層構(gòu)成,對輸入圖像進(jìn)行淺層特征提取．

S=Conv3×3(xinput),

(2)

其中,Convi×i表示卷積核大小為i的卷積,S代表淺層提取模塊的輸出．

多個(gè)多尺度注意力殘差組模塊(MARGB)可表示為

(3)

全局特征融合模塊(GFFAB)可表示為

G=fg([M1,M2,M3,…,Mn]),

(4)

其中,fg表示GFFAB,[]表示通道拼接操作,G表示特征融合注意力模塊的輸出．

局部特征融合模塊(LFFB)僅使用通道拼接以及1×1卷積進(jìn)行融合．最后使用卷積大小為3的卷積核進(jìn)行圖像重建,網(wǎng)絡(luò)的最終輸出可表示為

Y=X-Conv3×3(G),

(5)

其中,Y表示網(wǎng)絡(luò)的最終輸出圖像．

2.2 多尺度注意力殘差模塊

在圖像去雨任務(wù)中,空間上下文信息對捕捉和去除雨紋十分重要.雨紋的形狀和密度都是多樣的,使用普通的殘差塊無法很好地提取到整個(gè)圖像的雨紋特征．因此,本文使用多尺度注意力殘差模塊提取雨紋特征,利用多尺度特征提取模塊(Multi-scale Feature Extraction Block,MFEB)代替殘差塊中串聯(lián)的2個(gè)3×3卷積,并使用坐標(biāo)注意力進(jìn)一步細(xì)化提取特征,具體結(jié)構(gòu)如圖2所示．

圖2 多尺度注意力殘差模塊Fig.2 Multi-scale attention residual block

對于模塊輸入n首先使用2個(gè)大小為3,擴(kuò)張因子分別為1、2的擴(kuò)張卷積來提取感受野尺度為3×3和5×5的特征信息,并使用LeakyReLu激活函數(shù)φ．隨后將不同尺度的特征進(jìn)行拼接,使用1×1的卷積進(jìn)行通道降維．

k=Conv1×1[φ(Conv3×3,1(n)),φ(Conv3×3,2(n))],

(6)

其中,Convi×i,j表示卷積核大小為i,擴(kuò)張系數(shù)為j的擴(kuò)張卷積．

為了實(shí)現(xiàn)在細(xì)粒度層面提取雨紋的多尺度特征,在通道維度使用多級分割卷積拼接方式對雨紋特征k進(jìn)行提取．首先將k分割成4個(gè)具有同等的通道數(shù)的特征k1,k2,k3,k4．第1組特征圖k1經(jīng)過卷積核大小為3的卷積,輸出特征為o1．將o1在通道維度對半分割成o1,1和o1,2,并將o1,2與下一組特征k2進(jìn)行通道拼接后送入卷積核大小為3的卷積中．這樣操作重復(fù)3次,使得拼接后的特征得到充分復(fù)用．在前面分組中的特征所經(jīng)歷卷積次數(shù)較少,其感受野也較小,這能夠幫助網(wǎng)絡(luò)有效關(guān)注細(xì)節(jié)信息．相反,后面分組中含有的特征經(jīng)歷的卷積次數(shù)較多,其感受野也就較大,能夠幫助網(wǎng)絡(luò)關(guān)注全局信息．

(7)

最終,將輸出特征圖o1,1,o2,1,…,o4沿通道維度進(jìn)行拼接,再使用1×1卷積降低通道維度:

y=Conv1×1([o1,1,o2,1,…,o4])．

(8)

接著使用坐標(biāo)注意力進(jìn)一步加強(qiáng)網(wǎng)絡(luò)性能．坐標(biāo)注意力首先使用尺寸為(H,1)和(1,W)的池化核沿著輸入特征圖y的水平坐標(biāo)及垂直坐標(biāo)對每個(gè)通道使用全局平均池化．因此,高度為h的第c個(gè)通道的輸出以及寬度為w的第c個(gè)通道的輸出可以表示為

(9)

(10)

之后將zh與zw在通道維度上進(jìn)行拼接,并使用一個(gè)共享的1×1卷積進(jìn)行通道降維,緊接著對其使用H-swish非線性激活函數(shù)δ,得到中間特征t:

t=δ(Conv1×1(zh,zw))．

(11)

將t沿著空間分割成2個(gè)獨(dú)立分量th和tw,并使用2個(gè)1×1的卷積將2個(gè)獨(dú)立分量轉(zhuǎn)換到與輸入特征y具有相同的通道數(shù)的分量,再使用Sigmoid激活函數(shù),可表示為

mh=σ(Conv1×1(th)),

(12)

mw=σ(Conv1×1(tw)),

(13)

mh和mw分別表示2個(gè)坐標(biāo)軸上坐標(biāo)的注意力權(quán)重,σ表示Sigmoid激活函數(shù)．坐標(biāo)注意力的輸出可以表示為

(14)

uc(i,j)表示輸出特征圖中坐標(biāo)為(i,j)、通道維度為c的分量．

最終,整體模塊的輸出M可表示為

M=n+u．

(15)

2.3 全局特征融合注意力模塊

簡單相加或拼接操作無法很好地融合不同層次的特征．為了加強(qiáng)特征融合的效果,本文使用一種像素注意力為圖像中的每個(gè)像素賦予不同的權(quán)重,使得網(wǎng)絡(luò)對于雨紋區(qū)域的關(guān)注度更高．像素注意力[13]應(yīng)用于圖像去霧領(lǐng)域用以解決霧特征在不同像素區(qū)域分布不均的問題．首先對不同層次的特征進(jìn)行通道拼接,并使用一個(gè)1×1的卷積進(jìn)行通道降維,最后送入到像素注意力中,模塊整體結(jié)構(gòu)如圖3所示.

圖3 全局特征融合注意力模塊Fig.3 Global feature fusion attention block

全局特征融合注意力模塊(GFFAB)可表示為

g=Conv1×1[M1,M2,…,Mi],

(16)

PA=σ(Conv1×1(φ(Conv1×1(g)))),

(17)

G=PA?g,

(18)

其中,g表示聚合的全局特征,φ表示ReLu激活函數(shù),PA表示像素注意力模塊輸出,G表示整體模塊輸出．

2.4 損失函數(shù)

均方誤差(Mean Square Error,MSE)作為損失函數(shù)被廣泛用于圖像去雨任務(wù),但會造成重建圖像中的高頻紋理過度平滑甚至模糊．結(jié)構(gòu)相似度(Structural Similarity,SSIM)損失作為衡量2幅圖像之間結(jié)構(gòu)相似性的重要指標(biāo),可以使去雨后的圖像更符合人類的視覺感官．為了更好地訓(xùn)練網(wǎng)絡(luò),將SSIM損失和MSE損失結(jié)合形成一種混合損失函數(shù)．

(19)

LSSIM=1-SSIM(h(x),I),

(20)

其中,x是網(wǎng)絡(luò)輸入圖像,h(x)是網(wǎng)絡(luò)輸出圖像,I是無雨標(biāo)簽圖像．

通過組合LMSE和LSSIM,最終的混合損失函數(shù)可以表示為

L=LMSE+rLSSIM,

(21)

其中,r作為平衡MSE損失與SSIM損失之間的超參數(shù)．實(shí)驗(yàn)時(shí),將輸入圖像首先進(jìn)行歸一化處理再送入網(wǎng)絡(luò),使得MSE損失與SSIM損失的范圍均在[0,1]之間．根據(jù)文獻(xiàn)[14],將r設(shè)置為0.2,在圖像保持像素級相似性的同時(shí)保持全局結(jié)構(gòu),獲得與原圖更接近的去雨圖像．

3 實(shí)驗(yàn)與結(jié)果

3.1 數(shù)據(jù)集與訓(xùn)練配置

利用Rain100L、Rain100H以及Rain12數(shù)據(jù)集來對MFFAN進(jìn)行訓(xùn)練和測試．Rain100L是小雨數(shù)據(jù)集,由一種類型的雨帶的合成圖像構(gòu)成,包含200對訓(xùn)練圖像和100對測試圖像．Rain100H是大雨數(shù)據(jù)集,含有5種雨紋方向,包括1 800對訓(xùn)練圖像以及100對測試圖像．Rain12數(shù)據(jù)集由于數(shù)量較少被作為測試集,將Rain100L作為訓(xùn)練集進(jìn)行訓(xùn)練．真實(shí)世界的雨圖可以有效評估算法的泛化性能．

實(shí)驗(yàn)時(shí),將每張圖像隨機(jī)裁成大小100×100的圖像塊進(jìn)行訓(xùn)練．使用Adam優(yōu)化器進(jìn)行模型參數(shù)的優(yōu)化,初始學(xué)習(xí)率為0.001,訓(xùn)練迭代次數(shù)設(shè)置為100,在第30、50、80次迭代時(shí),學(xué)習(xí)率乘以0.2進(jìn)行衰減,一個(gè)批次大小設(shè)置為16,卷積核通道數(shù)設(shè)置為32．實(shí)驗(yàn)在一臺裝有Linux系統(tǒng),顯卡型號為NVIDIA Tesla T4,Python3.7版本,pytorch1.2.0版本的服務(wù)器上完成．

3.2 仿真雨像實(shí)驗(yàn)與分析

將所提算法在仿真數(shù)據(jù)集上與JORDER[15]、DRN[16]、PReNet[4]、ReHEN[17]、LPNet[5]和BRN[18]進(jìn)行對比．圖4為本文方法與其他現(xiàn)有方法的去雨圖像．表1為各方法在仿真數(shù)據(jù)集上測試的PSNR(Peak Signal To Noise Ratio,峰值信噪比)、SSIM均值,均在Ycrcb空間取Y通道分量進(jìn)行計(jì)算．在Rain100H、Rain100L數(shù)據(jù)集上,本文方法獲得了最好的結(jié)果,PSNR較次優(yōu)值分別提高0.26 dB和0.45 dB,SSIM分別提高0.5%和0.3%,在Rain12數(shù)據(jù)集上也獲得了較高的評價(jià)指標(biāo)值．

表1 不同算法在仿真雨天數(shù)據(jù)集上PSNR、SSIM對比

圖4 仿真雨天圖像多種算法去雨效果對比Fig.4 Comparison of rain removal results by various algorithms on simulated rain images

Rain100H由于雨線密集因此更加具有挑戰(zhàn)性．從中選取2張圖像進(jìn)行效果評價(jià),如圖4所示:JORDER去除了大部分雨線,但是仍有雨線殘留(如上圖水草部分,下圖天空部分),同時(shí)細(xì)節(jié)恢復(fù)不佳;DRN有效去除了雨線,但是放大區(qū)域內(nèi)顏色信息沒有有效恢復(fù)(如上圖魚眼部分,下圖建筑部分);PReNet在放大區(qū)域內(nèi)仍有輕微雨線殘留且部分區(qū)域模糊不清(如下圖放大區(qū)域墻壁部分);ReHEN在雨線密集部分處理效果較差(如上圖魚嘴部分),并存在部分細(xì)節(jié)信息丟失現(xiàn)象(如下圖建筑玻璃部分);LPNet去雨效果并不是很好,且紋理十分模糊;BRN過分去除雨紋,導(dǎo)致圖像中的白色紋理部分被去除(如上圖魚身部分),同時(shí)色彩信息恢復(fù)較差(如下圖放大區(qū)域建筑墻壁部分);MFFAN圖像中的雨紋去除較為徹底同時(shí)能夠保留較多的結(jié)構(gòu)紋理,整體圖像與相對應(yīng)的圖像結(jié)構(gòu)更相似．

JORDER利用擴(kuò)張卷積獲得多尺度特征,但忽略了對細(xì)粒度層面多尺度特征的有效利用;PReNet、DRN和BRN利用相似的遞歸結(jié)構(gòu)去除雨紋但卻沒有充分利用通道信息;ReHEN通過SENet為不同的通道賦予不同的權(quán)重,提高了去雨的效率但缺乏對于像素信息的利用;LPNet利用多分支結(jié)構(gòu)獲得不同尺度的圖像,去雨速度較快但是效果并不理想．相比之下,MFFAN總體網(wǎng)絡(luò)深度并不深,只有一條主分支避免多分支結(jié)構(gòu)帶來的運(yùn)算成本的提高．MFFAN網(wǎng)絡(luò)利用多尺度注意力殘差模塊獲得多尺度特征,通過坐標(biāo)注意力和像素注意力充分利用通道維度和像素維度的信息．簡單的雙層特征融合結(jié)構(gòu)加強(qiáng)網(wǎng)絡(luò)各層間流動(dòng),且為深度特征提供更多的細(xì)節(jié)．因此,在3種合成數(shù)據(jù)集上,MFFAN能夠更有效地處理各種形狀的雨紋,同時(shí)保留圖像的細(xì)節(jié)紋理和色彩信息．

3.3 真實(shí)雨像實(shí)驗(yàn)與分析

圖5為MFFAN與JORDER、DRN、PreNet、ReHEN、LPNet和BRN在真實(shí)雨天圖像上進(jìn)行去雨后的結(jié)果．JORDER無法徹底去除雨紋在圖(第1行第2列)中放大區(qū)域內(nèi)仍有雨紋殘留,DRN和BRN有效去除大部分雨紋,但在圖(第1行第3列、第2行第3列)左上方區(qū)域內(nèi)產(chǎn)生模糊．PReNet在圖(第1行第4列)中放大區(qū)域內(nèi)仍有些許雨紋殘留,同時(shí)左上方區(qū)域細(xì)節(jié)恢復(fù)效果不佳．REHEN無法去除大尺度雨紋,2幅圖中放大區(qū)域內(nèi)仍存在雨紋．LPNet去雨后的圖像較為平滑,背景紋理細(xì)節(jié)模糊．而MFFAN展現(xiàn)了較好的泛化性能,去雨后的圖像有著很好的視覺效果．

圖5 真實(shí)雨天圖像多種算法去雨效果對比Fig.5 Comparison of rain removal results by various algorithms on real rain images

由于真實(shí)世界中的雨像缺乏相應(yīng)的無雨清晰圖像,本文僅從定性方面對現(xiàn)有去雨方法及本文方法進(jìn)行去雨效果的評估．從分析的結(jié)果來看,相較于其他現(xiàn)有的方法,本文所提的MFFAN可以更有效地處理真實(shí)環(huán)境中的雨紋,獲得更符合人類視覺感官的去雨圖像．

3.4 消融實(shí)驗(yàn)與分析

為了驗(yàn)證所提算法的合理性,在同一環(huán)境相同配置下進(jìn)行消融實(shí)驗(yàn)．表2展示了不同數(shù)量的殘差組數(shù)N在Rain100L數(shù)據(jù)集上的PSNR、SSIM值．

表2 不同數(shù)量的殘差組在Rain100L上PSNR、SSIM對比

由表2可以看出,當(dāng)多尺度注意力殘差組的數(shù)量設(shè)置為5時(shí)獲得了最高的PSNR,但是此時(shí)的SSIM值相較于N=4時(shí)卻沒有得到增長．這是由于網(wǎng)絡(luò)深度達(dá)到一定的閾值時(shí),其性能并不能得到有效改善．因此,從運(yùn)算成本以及去雨性能兩方面進(jìn)行綜合考慮,將網(wǎng)絡(luò)中殘差組數(shù)量N設(shè)置為4．

為了驗(yàn)證本文所提模塊的有效性,對不同模塊的組合進(jìn)行消融實(shí)驗(yàn)．如表3所示:組合1使用2個(gè)串聯(lián)的3×3卷積代替多尺度特征提取模塊并且在模塊間進(jìn)行直連作為基準(zhǔn)模型;組合2在多尺度注意力殘差模塊中使用多尺度特征提取模塊;組合3在每兩個(gè)多尺度注意力殘差模塊間添加局部特征融合;組合4在圖像重建前添加全局特征融合注意力模塊;組合5將全局特征融合注意力模塊中的像素注意力去除;組合6即本文所提方法．

表3 不同組合模塊在Rain100L上PSNR、SSIM對比

從表3中可以明顯地看出本文所提網(wǎng)絡(luò)獲得了最高的PSNR和SSIM值．基準(zhǔn)模型在增加多尺度特征提取模塊后,有效幫助網(wǎng)絡(luò)提取豐富的雨紋特征．全局特征與局部特征融合增強(qiáng)了網(wǎng)絡(luò)內(nèi)部的信息流動(dòng)性,評價(jià)指標(biāo)得到提高,在多尺度殘差注意力模塊中添加坐標(biāo)注意力及在全局特征融合中增加像素注意力即本文所提方法,增強(qiáng)網(wǎng)絡(luò)的特征提取能力并且得到最高的指標(biāo),表明各模塊是缺一不可的．

最后在同等環(huán)境下驗(yàn)證不同損失函數(shù)對去雨效果的影響,結(jié)果如表4所示．

表4 不同損失函數(shù)在Rain100L上PSNR、SSIM對比

在表4中,可以看到MSE和SSIM的聯(lián)合損失函數(shù)的PSNR比單一損失函數(shù)MSE和SSIM分別高出0.4 dB和0.07 dB,SSIM則分別高出0.29%和0.06%．兩種指標(biāo)的提高有效表明了混合損失函數(shù)可以獲得更好的去雨效果．

消融實(shí)驗(yàn)從殘差組數(shù)量N,網(wǎng)絡(luò)中不同模塊的組合以及損失函數(shù)三方面來對網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)分析,將殘差組數(shù)量N設(shè)置為4,使得網(wǎng)絡(luò)在適當(dāng)?shù)纳疃葧r(shí)獲得高效的去雨性能,可以避免網(wǎng)絡(luò)深度過深時(shí),性能卻并沒有得到提高的問題．本文所提的各模塊組合獲得了最高的評價(jià)指標(biāo),說明缺少任意模塊都會造成去雨性能的下降,其中多尺度特征提取模塊、坐標(biāo)注意力和像素注意力是本文網(wǎng)絡(luò)重要的組成模塊．最后本文所用的混合損失函數(shù)相較于單一的損失函數(shù)MSE和SSIM,在Rain100L上取得了最佳的評價(jià)指標(biāo),表明使用混合損失函數(shù)可以獲得更好的雨紋處理效果且保留較多的圖像細(xì)節(jié)信息．

4 結(jié)論

本文提出一種基于注意力機(jī)制的多尺度特征融合圖像去雨算法(MFFAN),該算法利用雙層特征融合結(jié)構(gòu)將淺層特征進(jìn)行融合作為后續(xù)模塊的輸入用以充分復(fù)用特征,使網(wǎng)絡(luò)關(guān)注局部細(xì)節(jié)信息的同時(shí)關(guān)注全局信息．多尺度注意力殘差模塊充分利用了不同尺度的特征信息,進(jìn)一步提高網(wǎng)絡(luò)提取雨紋特征的能力．全局特征融合注意力增強(qiáng)網(wǎng)絡(luò)對于雨水區(qū)域和紋理細(xì)節(jié)的學(xué)習(xí)．采用混合損失函數(shù)可以獲得更好的圖像去雨效果．所提算法在Rain100L、Rain100H、Rain12及真實(shí)雨像數(shù)據(jù)集中獲得較高的PSNR和SSIM值,在有效去除雨紋的同時(shí)很好地保留和恢復(fù)圖像的細(xì)節(jié)紋理與色彩信息,泛化性能較好．如何在更加惡劣的天氣情況下有效恢復(fù)圖像以及如何加強(qiáng)模型在真實(shí)雨像下的泛化性能將是以后需要改進(jìn)和解決的問題．