基于遞歸金字塔的多任務(wù)輕量化圖像超分辨率算法

(重慶理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,重慶 400054)

1 本文方法

1.1 整體網(wǎng)絡(luò)結(jié)構(gòu)

我們提出的遞歸金字塔多任務(wù)網(wǎng)絡(luò)(Recursive Pyramid Multitasking Networks,RPMN)可以在單個(gè)網(wǎng)絡(luò)中端到端地解決多個(gè)倍數(shù)的放大任務(wù),是一個(gè)的輕量化多任務(wù)網(wǎng)絡(luò)。如圖1所示,本文算法RPMN 由三個(gè)部分組成,分別是淺層特征提取模塊,遞歸金字塔,重構(gòu)模塊。

圖1 算法流程Fig.1 Algorithm flow

1.2 遞歸金字塔模塊

為解決超分辨率網(wǎng)絡(luò)層數(shù)需求大和網(wǎng)絡(luò)單任務(wù)的問題,我們構(gòu)建一個(gè)輕量化遞歸多任務(wù)網(wǎng)絡(luò),其中最重要的模塊便是我們?cè)O(shè)計(jì)的遞歸金子塔模塊。

我們整體網(wǎng)絡(luò)結(jié)構(gòu)受遞歸網(wǎng)絡(luò)[1]的啟發(fā),設(shè)計(jì)了遞歸金字塔模塊。整體的設(shè)計(jì)思想是:將一個(gè)2n的放大任務(wù)分解為n 個(gè)2 倍放大任務(wù),將2 倍放大任務(wù)以相同的參數(shù)建模,使用遞歸結(jié)構(gòu)的形式在每一次的遞歸中完成,n 次遞歸便能完成2n倍數(shù)的超分任務(wù)。

基于上述的設(shè)計(jì)思想,我們?cè)O(shè)計(jì)了輕量化多任務(wù)的遞歸金字塔模塊。如圖2所示。

圖2 遞歸金字塔模塊Fig.2 Recursive Pyramid Module

圖2 是我們算法的2 層遞歸金字塔。該網(wǎng)絡(luò)結(jié)構(gòu)受到DRCN和多任務(wù)學(xué)習(xí)的啟發(fā),綠色框中的部分采用作為迭代的結(jié)構(gòu)整體,所有卷積和反卷積(粉紅部分)共享卷積,與DRCN相比做了以下3點(diǎn)改進(jìn):(1)獨(dú)立的重建卷積解決單網(wǎng)絡(luò)多任務(wù)的問題;(2)在端到端網(wǎng)絡(luò)里同時(shí)訓(xùn)練多個(gè)任務(wù),各任務(wù)間正向促進(jìn);(3)使用了LAFM替換了普通的卷積堆疊,充分地輕量化網(wǎng)絡(luò),提高特征提取能力。網(wǎng)絡(luò)的各級(jí)特征圖呈現(xiàn)出金字塔的形狀,故將網(wǎng)絡(luò)稱為遞歸金字塔。

1.3 局部自適應(yīng)融合模塊

算法中非映射主體是遞歸金字塔,遞歸金字塔主要由多個(gè)局部自適應(yīng)融合模塊構(gòu)成(Local adaptive fusion module,LAFM),LAFM設(shè)計(jì)如下圖3所示。

我們首先定義xn-1和xn為第n個(gè)LAFM的輸入和輸出特征圖。LAFM的公式化表示為式(1):

為解決特征提取效率問題,本文設(shè)計(jì)的LAFM模塊便是針對(duì)此問題設(shè)計(jì)的輕量化高效特征提取模塊。LFAM由多個(gè)密集連接注意力模塊(Densely connect attention modules,DCAM)構(gòu)成,其輕量程度取決于DCAM。DCAM主要由密集連接[2]與通道注意力機(jī)制[3]構(gòu)成,如圖4所示。

將每4 個(gè)卷積看為一個(gè)整體,4 個(gè)卷積間采用密集連接,每一個(gè)卷積的輸入會(huì)將之前所有卷積的輸出特征復(fù)用,在訓(xùn)練階段的反向傳播使第N層的權(quán)重不僅與第N-1層相關(guān),還能調(diào)整第N 層以后的所有權(quán)值。通道注意力則是更加關(guān)注于特征中的高頻信息,提高特征提取質(zhì)量。

LAFM 在DCAM 的基礎(chǔ)上考慮了DCAM 模塊間的特征融合,從而提高特征表征能力。主要有以下兩個(gè)方面的改進(jìn):(1)添加少量分支權(quán)重分配參數(shù)λ,用于自適應(yīng)分配各DCAM輸出特征的融合權(quán)重。(2)采用1×1卷積可以融合各DCAM 的信息。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)與評(píng)價(jià)指標(biāo)

數(shù)據(jù)集:DIV2K是2017年Ntire圖像超分辨率挑戰(zhàn)賽的公開數(shù)據(jù)集,共計(jì)1000張2k分辨率的高質(zhì)量圖像,我們將DIV2K的前800訓(xùn)練集。我們使用的測(cè)試集是公開的4個(gè)數(shù)據(jù)集:Set5、Set14、B100、Urban100。

圖3 局部自適應(yīng)融合模塊Fig.3 Adaptive fusion module

圖4 DCAM 模塊細(xì)節(jié)Fig.4 DCAM module details

圖5 ×4 超分任務(wù)的可視化對(duì)比Fig.5 ×4 Visual comparison of super-resolution tasks

驗(yàn)證標(biāo)準(zhǔn):我們將超分率圖像轉(zhuǎn)換到Y(jié)cbCr 顏色空間,測(cè)試亮度(Y)通道上的峰值信噪比PSNR和結(jié)構(gòu)相似度SSIM。

2.2 實(shí)驗(yàn)結(jié)果

本文算法與Bicubic、SRCNN、FSRCNN、VDSR、DRCN、LapSRN、MSRN、AWSRN 進(jìn)行了定性和定量的對(duì)比。在Set5、Set14、B100、Urban100上分別對(duì)比了他們的PSNR和SSIM。最后在×4的超分任務(wù)中計(jì)算了參數(shù)量和運(yùn)算量,便于進(jìn)行輕量性的對(duì)比。定量對(duì)比表格如表1所示。

表1 ×4 超分任務(wù)的不同算法定量對(duì)比Tab.1 ×4 Quantitative comparison of different algorithms for super-resolution tasks

除本文算法外,其余算法的×4模型都是分開訓(xùn)練的獨(dú)立模型。觀察表1可以發(fā)現(xiàn),本文算法在4個(gè)公開數(shù)據(jù)集上的PSNR 和SSIM 中均取得最優(yōu)重建效果。在參數(shù)量和運(yùn)算量方面,參數(shù)量約減少至AWSRN 的三分之一,四個(gè)數(shù)據(jù)集上的PSNR也分別得到了0.13db、0.24db、0.17db、0.41db的提升。

從定性的角度分析,觀察可視化圖5,鋼架的重建圖,我們可以清楚地發(fā)現(xiàn)本文算法重建的鋼條結(jié)構(gòu)更加筆直和清晰,與真實(shí)圖片最接近,明顯優(yōu)于其他算法。

3 結(jié)論

針對(duì)主流超分算法網(wǎng)絡(luò)只能解決單任務(wù)的問題,本文對(duì)遞歸網(wǎng)絡(luò)進(jìn)行改進(jìn),對(duì)每次遞歸的輸出進(jìn)行獨(dú)立的特征圖重建,實(shí)現(xiàn)一個(gè)多任務(wù)網(wǎng)絡(luò)。同時(shí)在局部特征提取模塊的設(shè)計(jì)上采用密集連接和特征自適應(yīng)融合,既保證特征提取能力又達(dá)到了網(wǎng)絡(luò)輕量化。與主流的CNN 方法的圖像超分辨率算法進(jìn)行了對(duì)比,在模型參數(shù),模型計(jì)算量,重建精度上均取得了不錯(cuò)的提升。該算法對(duì)于現(xiàn)實(shí)中的超分辨率應(yīng)用具有重要意義。