基于自適應(yīng)級(jí)聯(lián)的注意力網(wǎng)絡(luò)的超分辨率重建

陳一鳴 周登文

單圖像超分辨率(Single image super-resolution,SISR)[1]技術(shù)是一個(gè)經(jīng)典的計(jì)算機(jī)視覺(jué)任務(wù),旨在從一個(gè)低分辨率(Low-resolution,LR)圖像生成對(duì)應(yīng)的高分辨率(High-resolution,HR)圖像,在醫(yī)學(xué)成像、監(jiān)控和遙感等領(lǐng)域有十分廣泛的應(yīng)用.SISR 是一個(gè)病態(tài)的逆問(wèn)題,要重建逼真的HR 圖像非常困難,因?yàn)橐粋€(gè)LR 圖像可與多個(gè)HR 圖像對(duì)應(yīng),需要假定的先驗(yàn)知識(shí),正則化原HR 圖像解[2].

近年來(lái),深度學(xué)習(xí)[3]技術(shù)顯著改進(jìn)了SISR 性能,并主導(dǎo)了當(dāng)前SISR 技術(shù)的研究.Dong 等[4]提出了第1 個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的SISR 算法稱為超分辨率卷積神經(jīng)網(wǎng)絡(luò)(Super-resolution convolutional neural network,SRCNN).SRCNN 只有3個(gè)卷積層,感受野較小.之后的SISR 方法的一個(gè)趨勢(shì)是:逐步加深網(wǎng)絡(luò),從而獲得更強(qiáng)的LR-HR 映射能力,同時(shí)擁有更大的感受野,能夠融入更多的背景信息,改進(jìn)了SISR 性能[5].然而加深網(wǎng)絡(luò)也會(huì)帶來(lái)一些問(wèn)題:更大的網(wǎng)絡(luò)(更深或更寬),會(huì)有更多的參數(shù),需要更大的內(nèi)存和更強(qiáng)的計(jì)算力,這阻礙了在資源受限的設(shè)備,如移動(dòng)設(shè)備上的實(shí)際應(yīng)用.當(dāng)前已有一些引人注意的基于輕量級(jí)網(wǎng)絡(luò)的SISR方法被提出.Kim 等[6]提出的深度遞歸卷積網(wǎng)絡(luò)(Deeply-recursive convolutional network,DRCN)方法,使用深度遞歸的方法,在卷積層之間共享參數(shù),在加深網(wǎng)絡(luò)的同時(shí),盡可能不增加網(wǎng)絡(luò)參數(shù)量.Tai 等[7]提出的深度遞歸殘差網(wǎng)絡(luò) (Deep recursive residual network,DRRN),也使用了深度遞歸的方法.與DRCN 的區(qū)別在于DRRN 在殘差塊之間共享參數(shù),不僅顯著地減少了參數(shù)量,而且性能也顯著更好.Tai 等[8]也提出了深度持續(xù)記憶網(wǎng)絡(luò)(Deep persistent memory network,MemNet)方法,使用記憶模塊,并多次遞歸,既能控制參數(shù)量,也能更好地利用多層特征信息.Ahn 等[9]提出的級(jí)聯(lián)殘差網(wǎng)絡(luò)(Cascading residual network,CARN)方法,使用級(jí)聯(lián)殘差的形式,重用不同層次的信息.Li 等[5]提出的輕量級(jí)超分辨率反饋網(wǎng)絡(luò) (Lightweight super-resolution feedback network,SRFBN-S)方法,使用循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),共享隱藏層的參數(shù),并多次利用各個(gè)隱藏層的輸出,從而改進(jìn)了網(wǎng)絡(luò)性能.

本文提出了一個(gè)新的輕量級(jí)SISR 模型,稱為自適應(yīng)級(jí)聯(lián)的注意力網(wǎng)絡(luò)(Adaptive cascading attention network,ACAN).與當(dāng)前類似的尖端SISR 方法相比,ACAN 有更好的性能和參數(shù)量平衡.的主要貢獻(xiàn)包括:1)提出了自適應(yīng)級(jí)聯(lián)的殘差(Adaptive cascading residual,ACR)連接.殘差塊之間的連接權(quán)重,是在訓(xùn)練中學(xué)習(xí)的,能夠自適應(yīng)結(jié)合不同層次的特征信息,以利于特征重用.2)提出了局部像素級(jí)注意力(Local pixel-wise attention,LPA)模塊.其對(duì)輸入特征的每一個(gè)特征通道的空間位置賦予不同的權(quán)重,以關(guān)注更重要的特征信息,更好地重建高頻信息.3)提出了多尺度全局自適應(yīng)重建(Multi-scale global adaptive reconstruction,MGAR)模塊,不同尺寸的卷積核處理不同層次的特征信息,并自適應(yīng)地組合處理結(jié)果,以產(chǎn)生更好的重建圖像.

1 相關(guān)工作

1.1 注意力機(jī)制

注意力機(jī)制在計(jì)算機(jī)視覺(jué)領(lǐng)域中已經(jīng)引起了越來(lái)越多的關(guān)注[10-12].在圖像分類問(wèn)題中,Wang 等[11]設(shè)計(jì)了軟掩模支路,同時(shí)探索特征在空間維度和通道維度上的關(guān)系.Hu 等[12]提出了輕量級(jí)的擠壓和激勵(lì)(Squeeze-and-excitation,SE)模塊,在網(wǎng)絡(luò)訓(xùn)練過(guò)程中探索特征通道之間的內(nèi)在聯(lián)系.在圖像理解問(wèn)題中,Li 等[13]提出了引導(dǎo)的注意推理網(wǎng)絡(luò),網(wǎng)絡(luò)預(yù)測(cè)結(jié)果能夠聚焦于感興趣的區(qū)域.Liu 等[14]首次將注意力機(jī)制引入到SISR中,提出了全局的注意力產(chǎn)生網(wǎng)絡(luò),能夠定位輸出特征的高頻信息,以改進(jìn)SISR 性能.Zhang 等[15]提出的殘差通道注意力網(wǎng)絡(luò) 方法,使用通道注意力機(jī)制,能夠選擇攜帶信息豐富的特征通道.本文主要受Wang 等[11]和Liu 等[14]的啟發(fā),提出了局部像素級(jí)注意力模塊.在像素級(jí)別上定位高頻信息豐富的區(qū)域,以更好地利用特征.

1.2 上采樣層

上采樣層是SISR 重建中很重要的一個(gè)組成部分.早期基于深度學(xué)習(xí)的SISR 方法[4,8,16],一般先將LR 圖像,用雙三次插值到目標(biāo)HR 圖像的尺寸,再輸入到網(wǎng)絡(luò)模型.這有助于減輕學(xué)習(xí)難度,但大大增加了網(wǎng)絡(luò)的計(jì)算量與參數(shù)量[17].目前常用的重建方法是直接輸入原始的LR 圖像[18-19],再將網(wǎng)絡(luò)模型的輸出上采樣得到重建的HR 圖像.文獻(xiàn)[18]和文獻(xiàn)[20]使用轉(zhuǎn)置的卷積作為上采樣層,文獻(xiàn)[15]和文獻(xiàn)[19]使用亞像素卷積進(jìn)行上采樣.這些單尺度上采樣能緩解預(yù)上采樣的弊端,但是,其同樣存在難以充分利用網(wǎng)絡(luò)模型產(chǎn)生的豐富的特征信息的問(wèn)題.本文提出了一種多尺度全局自適應(yīng)的上采樣方式:針對(duì)不同的層次特征使用不同尺寸的卷積核,多尺度地利用網(wǎng)絡(luò)模型產(chǎn)生的特征信息,并能夠根據(jù)自適應(yīng)參數(shù),自適應(yīng)選擇不同層次特征的結(jié)合方式,以改進(jìn)超分辨率的重建效果.

2 方法

本文ACAN 網(wǎng)絡(luò)模型主要包括:淺層特征提取模塊(Shallow features extract block,SFEB)、非線性映射模塊(Non-linear mapping block,NLMB)、多尺度全局自適應(yīng)重建模塊和全局殘差連接,如圖1 所示.SFEB 是一個(gè)3×3 卷積層,提取輸入LR 圖像的淺層特征,并將提取的特征輸入到NLMB 模塊.本文使用的所有大小的卷積層的尾部都伴隨著激活層,并且使用PReLU 作為所有激活層的激活函數(shù),后文不再詳細(xì)說(shuō)明.受SRFBN[5]的啟發(fā),本文在NLMB中采用類似結(jié)構(gòu),并在層次特征提取模塊(Hierarchical features extract block,HFEB)之間參數(shù)共享,以減少參數(shù)量.NLMB是HFEB 的多次遞歸,在SFEB 的基礎(chǔ)上進(jìn)一步進(jìn)行深層特征的提取.HFEB 由2 個(gè)3×3 的卷積層和一個(gè)提取及掩模(Extract-and-mask,EM)模塊組成.由于本文設(shè)計(jì)的ACR 連接,第1 個(gè)HFEB 的輸入僅為SFEB 的輸出,之后遞歸的每一次,HFEB的輸入都包含兩個(gè)部分:1)上一層HFEB 的輸出;2)前面所有HFEB的輸出與對(duì)應(yīng)的自適應(yīng)參數(shù)相乘后的和,并直接輸入到當(dāng)前HFEB 的EM 模塊中.MGAR 模塊則接收NLMB 所有輸出重建殘差圖像;最后,全局殘差連接產(chǎn)生雙三次插值的LR圖像,與殘差圖像相加之后即為重建的HR 圖像.由于文獻(xiàn)[21]已經(jīng)指出L2 函數(shù)作為損失函數(shù)所謂缺點(diǎn),所以本文使用L1 損失函數(shù),如下式所示:

圖1 自適應(yīng)級(jí)聯(lián)的注意力網(wǎng)絡(luò)架構(gòu)(ACAN)Fig.1 Adaptive cascading attention network architecture (ACAN)

第2.1～2.3 節(jié)詳細(xì)介紹HFEB、EM 模塊和MGAR模塊.

2.1 層次特征提取模塊(HFEB)

HFEB 的重要特征是:每個(gè)HFEB 的輸入來(lái)源不同.由于信息在流動(dòng)過(guò)程中會(huì)不斷損耗,因此希望使用跳躍連接解決這個(gè)問(wèn)題.為了有效地進(jìn)行特征重用,同時(shí)考慮參數(shù)量的問(wèn)題,最終搭建了自適應(yīng)級(jí)聯(lián)殘差(ACR)連接,如圖1 所示.ACR 連接結(jié)構(gòu)上類似于級(jí)聯(lián)連接,但本質(zhì)上仍為殘差連接,并通過(guò)自適應(yīng)參數(shù)控制信息流動(dòng).由圖1 可知,由于ACR 連接,除第1 個(gè)HFEB 的輸入只接收SFEB的輸出外,之后的每個(gè)HFEB 的輸入都包括兩個(gè)部分:1)上一層HFEB 的輸出;2)前面所有HFEB的輸出與對(duì)應(yīng)的自適應(yīng)參數(shù)相乘后的和.

在第t個(gè)HFEB 中,第1 部分輸入(即第t－1個(gè)HFEB 的輸出),先經(jīng)過(guò)兩個(gè)3×3 的卷積層,然后將輸出乘上對(duì)應(yīng)的自適應(yīng)參數(shù),并與第2 部分輸入相加,再輸入到其中的EM 模塊進(jìn)行高頻信息的定位與提取.第t個(gè)HFEB 的表達(dá)式如下:

式中,fHFEB表示HFEB,分別為第t個(gè)HFEB 的第1 部分輸入和第2 部分輸入,為第t個(gè)HFEB 的輸出.

2.2 提取及掩模(EM)模塊

在每個(gè)HFEB 中,使用EM 模塊選擇和提取高頻特征信息.EM 模塊主要由特征預(yù)處理單元、特征提取模塊和局部像素級(jí)注意力模塊3 個(gè)部分組成,如圖2 所示.

圖2 提取及掩膜模塊Fig.2 The extract and mask block

如前所述,第t個(gè)EM 模塊的輸入來(lái)自兩部分:1)當(dāng)前HFEB 中,經(jīng)過(guò)兩個(gè)3×3 卷積層的輸出,乘上對(duì)應(yīng)的自適應(yīng)參數(shù)αt后的積;2)前面所有HFEB 的輸出與對(duì)應(yīng)的自適應(yīng)參數(shù)相乘后的和.二者之和為當(dāng)前EM 模塊的輸入.EM 模塊的輸入可表示如下:

為了緩解梯度消失的問(wèn)題,在EM 模塊外增加了局部殘差連接.第t個(gè)HFEB 中EM 模塊的輸出可表示如下:

下面詳細(xì)介紹EM 模塊的各個(gè)組成部分.

2.2.1 特征預(yù)處理單元

為了初步選擇信息更豐富的特征,先在EM 模塊中,使用類似于Hu 等[12]提出的SE 模塊,進(jìn)行通道級(jí)的特征選擇.為了加權(quán)各個(gè)特征通道,將SE 模塊中的Sigmoid 門(mén)函數(shù)替換成Softmax 門(mén)函數(shù).同時(shí)為了減少因Softmax 門(mén)函數(shù)引起的信息損失,增加了局部殘差連接.修改的SE 模塊,可表示如下:

式中,fSE*表示修改后的SE 模塊,Isum_in和ISE*是EM 模塊的輸入和輸出.

2.2.2 特征提取模塊

修改后的SE 模塊的輸出ISE*,輸入至特征提取模塊,進(jìn)行高頻信息的提取,如圖3 所示.

圖3 特征提取模塊Fig.3 Feature extracting block

Haris 等[22]已經(jīng)證明了使用遞歸的上下采樣進(jìn)行特征提取的有效性.因此,也使用這種采樣方式進(jìn)行特征提取.輸入特征ISE*,先通過(guò)4×4 的轉(zhuǎn)置卷積層上采樣得到,然后,經(jīng)過(guò)6×6 的卷積層下采樣得到,如下所示:

特征提取模塊中,使用的兩次轉(zhuǎn)置卷積和兩次卷積,都使用了參數(shù)共享.特征提取模塊fup_down可表示如下:

2.2.3 局部像素級(jí)注意(LPA)模塊

由于通道注意力機(jī)制只按通道攜帶的信息量多少進(jìn)行選擇,對(duì)于高頻信息的定位可能不夠準(zhǔn)確.受Wang 等[11]和Liu 等[14]的啟發(fā),提出局部像素級(jí)注意(LPA)模塊,進(jìn)行像素級(jí)的高頻信息定位.LPA模塊如圖4 所示,為了減小參數(shù)量,各卷積層的參數(shù)都是共享的.

圖4 局部像素級(jí)注意力模塊Fig.4 Local pixel-wise attention block

在壓縮階段,使用了2 個(gè)連續(xù)的3×3 卷積層-最大池化操作.最大池化下采樣有助于擴(kuò)大感受野和定位高頻特征信息區(qū)域.壓縮階段可表示如下:

ISE*和Iexp分別是LPA 模塊的輸入特征和壓縮階段的輸出特征.W0是卷積層的參數(shù)(省略偏差以簡(jiǎn)化符號(hào)),f↓表示最大池化的下采樣.

在擴(kuò)張階段,設(shè)置與壓縮階段對(duì)稱的2 個(gè)連續(xù)的上采樣-3×3 卷積層,并使用雙三次插值作為上采樣方式.考慮到下采樣會(huì)造成部分信息丟失,在擴(kuò)張階段和壓縮階段的對(duì)應(yīng)位置處建立了跳躍連接,并且引入了可學(xué)習(xí)的自適應(yīng)參數(shù)α,調(diào)節(jié)從壓縮階段連接到擴(kuò)張階段的特征信息.擴(kuò)張階段如下所示:

式中,Iext和Imask分別是擴(kuò)張階段的輸入(即壓縮階段的輸出Iexp再經(jīng)過(guò)3×3 的卷積層之后的輸出)和擴(kuò)張階段的輸出,Imask同時(shí)也是LPA 模塊的輸出.I1和I2分別是壓縮階段第1 次和第2 次卷積層的輸出,α1和α2是自適應(yīng)參數(shù).f↑是雙三次插值上采樣.

2.3 多尺度全局自適應(yīng)重建(MGAR)模塊

文獻(xiàn)[4-9]大多是單尺度的重建,受MSRN[21]的啟發(fā),提出了多尺度重建的MGAR 模塊,可以利用NLMB 中提取的層次特征,進(jìn)一步改進(jìn)SISR 重建性能.MGAR 模塊與MSRN 中MSRB的區(qū)別在于:MGAR 模塊是一個(gè)SISR 重建模塊,多尺度利用之前的層次特征,重建殘差圖像;MSRB 是一個(gè)特征提取模塊,僅處理前一個(gè)MSRB 輸出的特征.

MGAR 模塊如圖5 所示.由于NLMB 中低層HFEB 的感受野較小,故在MGAR 模塊中使用較大的卷積核與之對(duì)應(yīng),然后,逐漸減少卷積核的大小.考慮到參數(shù)量的約束,選取最大的卷積核尺寸為9,最小的卷積核尺寸為3.假定NLMB 中有T個(gè)HFEB,第t(1≤T≤8)個(gè)HFEB 的輸出在MGAR 模塊中對(duì)應(yīng)的卷積核的尺寸計(jì)算為:

圖5 多尺度全局自適應(yīng)重建模塊Fig.5 Multi-scale global adaptive reconstruction block

當(dāng)T＞8 時(shí),由于此時(shí)網(wǎng)絡(luò)已經(jīng)有足夠的深度,所以設(shè)置MGAR 模塊中前8 層的卷積核大小與T=8時(shí)相同,之后的卷積核大小均設(shè)置為3.

MGAR 模塊的每一個(gè)輸入,與對(duì)應(yīng)卷積核卷積后,再與一個(gè)可學(xué)習(xí)的自適應(yīng)參數(shù)相乘,作為當(dāng)前支路的輸出.各個(gè)分支的和,經(jīng)過(guò)亞像素卷積[19]上采樣之后,作為MGAR 模塊的最終輸出.對(duì)輸入的LR 圖像進(jìn)行雙三次上采樣后,與MGAR 模塊的輸出求和,得到重構(gòu)的HR 圖像,用公式表示如下:

式中,ISR是輸出的HR 圖像,ILR是輸入的LR 圖像,fMGAR和fup分別表示MGAR 模塊和雙三次插值的上采樣.

3 實(shí)驗(yàn)細(xì)節(jié)

3.1 設(shè)置

本文實(shí)驗(yàn)保持與之前的研究文獻(xiàn)設(shè)置相同.訓(xùn)練圖像:DIV2k 數(shù)據(jù)集[23]中800 張高質(zhì)量圖像;測(cè)試圖像:共同使用的Set5[24],Set14[25]、Urban100[26]、B100[27]和Manga109[28]測(cè)試集;驗(yàn)證圖像:DIV2k 數(shù)據(jù)集中第801～810 張高質(zhì)量圖像;訓(xùn)練圖像增擴(kuò):進(jìn)行90、180、270 度旋轉(zhuǎn)、水平翻轉(zhuǎn)和隨機(jī)裁剪.訓(xùn)練階段:在RGB 顏色空間上進(jìn)行訓(xùn)練,并且使用梯度裁剪策略穩(wěn)定訓(xùn)練過(guò)程.測(cè)試階段:所有彩色圖像均轉(zhuǎn)換到Y(jié)CrCb 顏色空間,在亮度通道Y 上進(jìn)行測(cè)試.每一個(gè)最小批訓(xùn)練輸入:16 個(gè)48×48 的圖像.使用Adam 優(yōu)化器[29]訓(xùn)練網(wǎng)絡(luò),其中設(shè)置β1=0.9,β2=0.999,?=10-8.初始學(xué)習(xí)率e=10-4,每經(jīng)過(guò)200 個(gè)回合,學(xué)習(xí)率e衰減一半.使用NVIDIA GeForce RTX 2080Ti GPU (11GB 內(nèi)存)和PyTorch 框架構(gòu)建網(wǎng)絡(luò).

在NLMB 中,每個(gè)HFEB 的第1 個(gè)卷積層,輸出通道數(shù)為128,其余卷積層的輸出通道數(shù)均為64.ACR 連接中,所有自適應(yīng)參數(shù)的初始值為0.2.在MGAR 模塊中,所有的自適應(yīng)參數(shù)初始化為 1/n,n是NLMB 中HFEB 的個(gè)數(shù),并且每個(gè)卷積層的輸入通道數(shù)為64,輸出通道數(shù)為 3×r×r,此處的r代表放大因子.除網(wǎng)絡(luò)模型深度對(duì)圖像重建的影響的對(duì)比實(shí)驗(yàn)外,在其他所有實(shí)驗(yàn)中均設(shè)置n=8 個(gè)HFEB.使用測(cè)試圖像進(jìn)行客觀定量比較,使用驗(yàn)證圖像選擇模型參數(shù)及相關(guān)結(jié)構(gòu).

3.2 模型分析

3.2.1 MGAR 模塊中卷積核尺寸的選擇

在MGAR 模塊中,選擇卷積核尺寸為9、7、5、3 的排列順序,具體參見(jiàn)第2.3 節(jié).下面分析不同排列順序?qū)χ亟ńY(jié)果的影響,MGAR 模塊結(jié)構(gòu)見(jiàn)圖5.MGAR 模塊的輸入來(lái)自NLMB 的HFEB,淺層HFEB 的感受野較小,使用較大的卷積核,以提取更加全局的背景信息;深層HFEB 的感受野較大,使用較小的卷積核,防止提取不相關(guān)的背景信.在MGAR 模塊中,每個(gè)卷積層的輸出特征如圖6 所示.淺層HFEB 輸出的特征包含更多連續(xù)的高頻信息,深層HFEB 輸出的特征包含更多分散的高頻信息.不同層次特征信息互補(bǔ),可以增強(qiáng)HR圖像的重建效果.

圖6 非線性映射模塊中每個(gè)HFEB 輸出特征的可視化結(jié)果Fig.6 Visual results of each HFEB's output feature in non-linear mapping

下面設(shè)置4 組對(duì)比實(shí)驗(yàn),進(jìn)一步量化卷積核的排列順序?qū)χ亟ńY(jié)果的影響.4 組實(shí)驗(yàn)使用的卷積核尺寸分別是:第1 組為9、7、5、3;第2 組為3、5、7、9;第3 組均為3;第4 組均為9.實(shí)驗(yàn)結(jié)果如表1所示,由于第1 組實(shí)驗(yàn)合理設(shè)置了卷積核的尺寸,因此獲得最好的重建效果.

表1 不同卷積核的排列順序?qū)χ亟ㄐЧ挠绊慣able 1 Effect of convolution kernels with different order on reconstruction performance

3.2.2 不同層次特征對(duì)重建結(jié)果的影響

為分析NLMB 中不同層次特征對(duì)重建結(jié)果的影響,依次移除MGAR 模塊中不同大小的卷積層,計(jì)算重建HR 圖像的峰值信噪比(Peak signal-tonoise ratio,PSNR).計(jì)算結(jié)果如表2 所示,與越小卷積核對(duì)應(yīng)的HFEB 產(chǎn)生的層次特征對(duì)重建結(jié)果影響更大,即更深層的HFEB 產(chǎn)生的層次特征,對(duì)重建結(jié)果的影響更大.

表2 不同層次特征對(duì)重建效果的影響Table 2 Impact of different hierarchical features on reconstruction performance

3.2.3 MGAR 模塊的優(yōu)勢(shì)

下面分析MGAR 模塊相比于普通單尺度重建模塊的優(yōu)勢(shì).由于使用了類似深度反向投影網(wǎng)絡(luò)(Deep back-projection networks,DBPN)[22]方法的采樣方式,所以在DBPN 上進(jìn)行實(shí)驗(yàn),并且用MGAR模塊替換原有的單尺度重建模塊.在DBPN 中設(shè)置T=6,假定原始DBPN 方法稱為O-DBPN;用MGAR 模塊替換后的DBPN 方法稱為M-DBPN.重建結(jié)果如表3 所示,使用了MGAR 模塊的DBPN方法,比原始DBPN 方法的重建性能更好.

表3 原始DBPN (O-DBPN)和使用MGAR 模塊的DBPN (M-DBPN)的客觀效果比較Table 3 Objective comparison between original DBPN(O-DBPN)and DBPN (M-DBPN)using MGAR module

3.2.4 LPA 模塊的設(shè)計(jì)考慮

LPA 模塊中未包含Sigmoid 門(mén)函數(shù).為了解Sigmoid 門(mén)函數(shù)的作用,進(jìn)行了LPA 模塊末尾包含和不包含Sigmoid 門(mén)函數(shù)2 種情形實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果如表4 所示,帶有Sigmoid 門(mén)函數(shù)的LPA模塊性能要低一些.

表4 Sigmoid 門(mén)函數(shù)的有無(wú)對(duì)LPA 模塊性能的影響Table 4 Influence of Sigmoid gate function to LPA block

LPA 模塊另一個(gè)考慮的因素是:壓縮階段和擴(kuò)張階段對(duì)應(yīng)位置的跳躍連接方式,具體參見(jiàn)第2.2.3 節(jié).本文設(shè)計(jì)了3 個(gè)對(duì)比實(shí)驗(yàn):實(shí)驗(yàn)1 是直接使用殘差連接;實(shí)驗(yàn)2 是去掉殘差連接;實(shí)驗(yàn)3 是帶有自適應(yīng)參數(shù)的殘差連接. 實(shí)驗(yàn)結(jié)果如表5 所示,實(shí)驗(yàn)2比實(shí)驗(yàn)1 效果好一些,實(shí)驗(yàn)3 效果最好.說(shuō)明直接引入壓縮階段的特征確實(shí)會(huì)影響LPA 模塊對(duì)高頻信息的定位,并且加入自適應(yīng)參數(shù)能夠很好地緩解這個(gè)問(wèn)題.

表5 不同殘差的連接方式對(duì)重建效果的影響Table 5 Effect of different residual connection methods on reconstruction performance

3.2.5 LPA 模塊對(duì)重建結(jié)果的影響

為驗(yàn)證LPA 模塊對(duì)重建效果的影響,進(jìn)行以下兩種情形的對(duì)比試驗(yàn):在HFEB 的EM 模塊中,包含和不包含LPA 模塊.實(shí)驗(yàn)結(jié)果如表6 所示,可以看出有LPA 模塊效果更好.說(shuō)明LPA 模塊確實(shí)對(duì)重建效果有幫助.

表6 使用和未使用LPA 模塊的客觀效果比較Table 6 Comparison of objective effects of ACAN with and without LPA module

3.2.6 ACR 連接對(duì)重建結(jié)果的影響

ACR 連接參見(jiàn)圖1(a).為了觀察ACR 連接的有效性,分別在NLMB 中使用ACR 連接、殘差連接和級(jí)聯(lián)連接進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表7所示.

從表7 可以看出,殘差連接優(yōu)于級(jí)聯(lián)連接,ACR連接效果最好.由此可見(jiàn),使用自適應(yīng)的級(jí)聯(lián)殘差能更有利地進(jìn)行特征重用,改進(jìn)了SISR 的重建性能.

表7 NLMB 使用3 種不同連接方式對(duì)重建效果的影響Table 7 Impact of using three different connection methods on NLMB on reconstruction performance

3.3 網(wǎng)絡(luò)模型深度選擇

為了探索NLMB 中HFEB 的個(gè)數(shù)(表示為T(mén)),對(duì)于重建性能的影響.設(shè)置了4 組對(duì)比實(shí)驗(yàn):在放大因子為2 的情況下,T=1,3,6,8,對(duì)應(yīng)的訓(xùn)練曲線及測(cè)試曲線如圖7 和圖8 所示.可以看出,HFEB的多次級(jí)聯(lián)有利于提高重建效果.

圖7 包含不同個(gè)數(shù)的HFEB 的ACAN 在驗(yàn)證集上的性能比較Fig.7 Performance comparison of ACAN on validation set with different numbers of HFEB

圖8 包含不同個(gè)數(shù)的HFEB 的ACAN 在Set5 測(cè)試集上的性能比較Fig.8 Performance comparison of ACAN on Set5 testing set with different number of HFEB

為了進(jìn)一步精確T的選擇,在放大因子為2 的情況下設(shè)置T=6,7,8,9 進(jìn)行對(duì)比實(shí)驗(yàn).由表8可以看出,T=8 是合理的選擇.

表8 不同網(wǎng)絡(luò)模型深度對(duì)重建性能的影響Table 8 Impact of different network depths on reconstruction performance

3.4 與當(dāng)前先進(jìn)的方法比較

本文ACAN 方法與高分辨率圖像 (High resol-ution,HR)、雙三次插值 (Bicubic interpolation,Bicubic)、SRCNN、LapSRN、SRFBN-S、CARN、FSRCNN、VDSR 和SRMDNF 9 個(gè)方法進(jìn)行主觀效果比較.

1)客觀定量結(jié)果.本文ACAN 方法與SRCNN[4]、快速超分辨率卷積神經(jīng)網(wǎng)絡(luò)(Fast superresolution convolutional neural networks,FSRCNN)[18]、極深卷積神經(jīng)網(wǎng)絡(luò)(Very deep convolutional networks,VDSR)[16]、DRCN[6]、拉普拉斯金字塔超分辨率網(wǎng)絡(luò)(Laplacian pyramid super-resolution network,LapSRN)[30]、DRRN[7]、MemNet[8]、用于多重?zé)o噪衰減的超分辨率網(wǎng)絡(luò)(Super-resolu-tion network for multiple noise-free degradations,SRMDNF)[31]、CARN[9]和SRFBN-S[5]10 個(gè)當(dāng)前類似的先進(jìn)方法進(jìn)行比較,同時(shí)采用自組方法[32],進(jìn)一步提高ACAN 的性能(稱為ACAN+).采用共同的客觀度量標(biāo)準(zhǔn):平均峰值信噪比(PSNR)和結(jié)構(gòu)相似性(Structural similarity index,SSIM)[33],計(jì)算結(jié)果如表9 所示.最好結(jié)果與次好結(jié)果分別用加粗和下劃線標(biāo)出.ACAN+的平均PSNR 和SSIM度量顯著優(yōu)于其他方法,包括之前最好的方法CARN,而在×2 情況下參數(shù)量大約只有其一半.即使未使用自組方法,本文ACAN 方法也優(yōu)于其他所有的方法.本文方法性能提升的原因主要有:ACR 連接、LPA 模塊和MGAR 模塊發(fā)揮了作用.LPA 模塊能夠更加精準(zhǔn)地選擇高頻特征信息,MGAR 模塊能夠充分利用多尺度的特征信息,ACR 連接更有效地進(jìn)行特征重用,這些因素導(dǎo)致了本文ACAN 方法性能的顯著提高.

表9 各種SISR 方法的平均PSNR 值與SSIM 值Table 9 Average PSNR/SSIM of various SISR methods

2)主觀效果比較:如圖9 所示:第1 組圖是Urban 100 數(shù)據(jù)集中的image 024 在 ×4 下的比較結(jié)果;第2 組圖是Urban 100 數(shù)據(jù)集中的image 061 在 ×4 下的比較結(jié)果;第3 組圖是Urban 100數(shù)據(jù)集中的img 092 在 ×4 下的比較結(jié)果.ACAN方法顯著優(yōu)于其他方法.以Urban 100 中的img 061 圖像為例,在放大因子為4 的情況下,對(duì)于圖中玻璃上難以恢復(fù)的網(wǎng)格細(xì)節(jié),SRFBN-S、CARN和SRMDNF 方法都遭遇了嚴(yán)重的失真,SRCNN方法的重建圖像遭遇到嚴(yán)重模糊.而ACANCAN幾乎完美地恢復(fù)了原HR 圖像中紋理和網(wǎng)格信息.在放大因子為4 的情況下,另外兩個(gè)圖像的結(jié)果也與img 061 圖像的結(jié)果類似.本文方法之所以能夠更好地重建紋理和網(wǎng)格信息,主要得益于ACR 連接、LPA 模塊和MGAR 模塊.ACR連接能夠有效地重用特征;LPA 模塊能夠準(zhǔn)確定位特征中的高頻信息;MGAR 模塊能夠利用多尺度層次特征.因此,能夠更好地恢復(fù)規(guī)則的形狀和結(jié)構(gòu)[34].由于Urban 100 數(shù)據(jù)集中,包含較多建筑物的規(guī)則結(jié)構(gòu)[22],本文方法性能提升顯著.如何進(jìn)一步提升不規(guī)則的形狀和結(jié)構(gòu)重建效果,仍是有待研究和解決的問(wèn)題.

圖9 視覺(jué)比較結(jié)果Fig.9 Visual comparison of images

4 結(jié)束語(yǔ)

本文提出了一個(gè)新的輕量級(jí)單圖像超分辨率方法,使用自適應(yīng)級(jí)聯(lián)的注意力網(wǎng)絡(luò)(ACAN)能夠高質(zhì)量重建超分辨率圖像.本文的局部像素級(jí)注意力(LPA)模塊,通過(guò)對(duì)輸入特征進(jìn)行像素級(jí)的高頻信息定位,加強(qiáng)了特征流動(dòng)過(guò)程中對(duì)高頻特征信息的選擇能力;本文的多尺度全局自適應(yīng)重建(MGAR)模塊,使用不同尺寸的卷積核,能夠自適應(yīng)地選擇和組合多尺度的特征信息;本文的自適應(yīng)級(jí)聯(lián)殘差(ACR)連接,能夠自適應(yīng)地組合不同層次特征.充分的實(shí)驗(yàn)結(jié)果也驗(yàn)證了ACAN 方法的良好性能.