單圖像超分辨率多尺度特征融合網(wǎng)絡(luò)

趙光輝，楊曉敏

（四川大學(xué)電子信息學(xué)院，成都 610065）

0 引言

單幅圖像超分辨率（SISR）是計算機(jī)視覺領(lǐng)域中一項重要任務(wù)［1］，其目標(biāo)是將低分辨率（LR）圖像重構(gòu)為高分辨率（HR）圖像。在軍事、醫(yī)學(xué)、公共安全、計算機(jī)視覺等領(lǐng)域具有重要的應(yīng)用前景。近年來，隨著深度學(xué)習(xí)的興起，基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率模型得到了積極的探索，并在各種基準(zhǔn)數(shù)據(jù)集上取得了先進(jìn)的性能表現(xiàn)。Dong 等［2］首先提出了基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法，并取得了令人印象深刻的效果。隨后，出現(xiàn)了更多基于CNN 的SR 方法［3?7］，并表現(xiàn)出了良好的性能。

盡管基于CNN 的模型已經(jīng)得到充分探索，但現(xiàn)有的方法仍存在一定的局限性。殘差學(xué)習(xí)緩解了隨著網(wǎng)絡(luò)深度增大帶來的梯度消失現(xiàn)象［8］，單純的增加網(wǎng)絡(luò)深度已經(jīng)難以獲得突破性的提升，而且網(wǎng)絡(luò)深度的增加往往伴隨著模型訓(xùn)練的困難和昂貴的計算資源［9］。一些經(jīng)典的 深 度 網(wǎng) 絡(luò) 模 型，如EDSR［4］、DBPN［9］和RCAN［3］，已經(jīng)很難通過加深模型層來提高模型性能。因此，如何建立更高效的SR 模型仍然是一個重要的問題。此外，圖像的超分辨率是低分辨率圖像的上采樣任務(wù)，很少有研究者研究如何利用下采樣特征來提高SR 效果。文獻(xiàn)［9］提出了采用迭代上投影單元和下投影單元的糾錯反饋機(jī)制網(wǎng)絡(luò)。文獻(xiàn)［5］利用迭代下采樣產(chǎn)生反饋，實現(xiàn)超分辨率增強。盡管他們必須采用迭代方案來抵抗信息丟失帶來的性能下降，但證明了通過特征下采樣操作提高SR 性能的可行性。此外，最有效的學(xué)習(xí)策略尚不明了，很難確定學(xué)習(xí)到的端到端的非線性映射就是最優(yōu)解［10］，因此，如何找到LR/HR/SR 圖像之間潛在的聯(lián)系，尋求更精確的損失函數(shù)是一項有意義的研究工作。

通過特征下采樣獲取多尺度特征融合是一種有效改善視覺識別性能的方案，而現(xiàn)有的超分辨率模型幾乎沒有探索特征下采樣方法在超分辨率任務(wù)中的應(yīng)用。超分辨率是將低分辨率輸入映射到高分辨率輸出的過程，所以特征下采樣對于圖像超分辨率是一種逆直覺行為，另外下采樣操作往往伴隨著信息損失，因此它很少應(yīng)用到超分辨率方法中。我們對特征下采樣方法在超分辨率中的應(yīng)用進(jìn)行了探索，利用Pixel?Unshuffle 操作降低特征的尺度，同時避免信息損失，并通過多尺度特征融合增強特征表示。探索了一個多尺度特征融合額外約束方案的高效模型。具體而言，我們構(gòu)建了一個由Pixel?Unshuffle、最大池化層和3*3 卷積層組成的高效下采樣模塊（pixel?unshuffle downsampling block，PDB）來獲取多尺度特征；提取淺層多尺度特征之后，利用殘差注意力和Pixel?Shuffle［11］構(gòu)建的RPUB 模塊（RCAB and pixel?shuffle up?sampling block）學(xué)習(xí)深層特征，注意每個RPUB模塊都包含一次特征上采樣操作，進(jìn)而獲得深層多尺度特征，并通過多尺度特征融合（multi?resolution feature fusion，MRF）模塊將獲取到的特征與對應(yīng)尺度特征融合。最后，參考文獻(xiàn)［12］中提出的方法，利用PDB 模塊將SR 圖像重構(gòu)為低分辨率圖像，該方法可以提供額外的約束條件，減少可能的函數(shù)空間。

本文的工作總結(jié)如下：

（1）設(shè)計了一種高效的下采樣模塊（PDB）來生成淺層多尺度特征，該模塊由Pixel?Unshuffle操作和非線性層兩部分組成。與步長卷積相比，Pixel?Unshuffle 運算可以在避免信息損失的同時降低特征分辨率，強大的非線性運算可以提取更復(fù)雜的局部特征；

（2）利用殘差注意力模塊和Pixel?Shuffle 構(gòu)建了RPUB模塊學(xué)習(xí)深層特征，生成深層多尺度特征，有效增加了網(wǎng)絡(luò)深度；

（3）提出了一種高效的多尺度特征融合模塊（MRF）來融合多尺度特征。淺層多尺度特征表征關(guān)注紋理結(jié)構(gòu)信息，深層多尺度特征更關(guān)注抽象本質(zhì)。這種融合方法使本文網(wǎng)絡(luò)繞過共有的信息，更多地關(guān)注特殊的特征，從而實現(xiàn)更具有判別性的特征學(xué)習(xí)。

1 相關(guān)工作

1.1 基于CNN的超分辨率網(wǎng)絡(luò)

Dong 等［2］首先提出了基于CNN 的SR 算法（SRCNN），并取得了優(yōu)于傳統(tǒng)插值算法的性能。在這項開創(chuàng)性的工作之后，許多更深、更高效的超分辨率模型出現(xiàn)了。Haris 等［9］提出了DBPN，利用傳統(tǒng)算法迭代反投影提出了包含多個迭代的上采樣層和下采樣層形成誤差反饋機(jī)制，通過不斷迭代產(chǎn)生更優(yōu)的解。Zhang 等［3］研究了一種針對高精度圖像SR 的通道注意機(jī)制，提出了殘差通道注意網(wǎng)絡(luò)（RCAN），使非常深的網(wǎng)絡(luò)訓(xùn)練難度降低，但這些方法都有各自的局限性，很難學(xué)習(xí)到更精確的解。

1.2 Pixel?Unshuffle

Pixel?Unshuffle 是Pixel?Shuffle 的逆變換，Pixel?Shuffle 是一種上采樣方法，可以替代插值或反卷積的方法對特征圖進(jìn)行放大。主要功能是將低分辨的特征圖，通過卷積和多通道間的重組得到高分辨率的特征圖。Pixel?Shuffle 是Shi等［11］提出的基于特征抽取和亞像素卷積將特征映射從LR 空間轉(zhuǎn)換到HR 空間的有效方案。相應(yīng)的，Pixel?Unshuffle 是一種降低特征圖尺度的下采樣方法，它將形狀張量（*，C,H×r,W×r）中的元素重新排列為形狀張量（*，C×r2,H,W），其中r是一個降尺度因子。圖1 展示了Pixel?Un?shuffle的過程。通過該操作能得到包含原始特征全部信息的子特征，降低了特征分辨率［13］。

圖1 Pixel?Unshuffle 操作的可視化

1.3 對偶學(xué)習(xí)

不同于現(xiàn)有的學(xué)習(xí)范式，對偶學(xué)習(xí)方法同時訓(xùn)練兩個相互的對偶模型，形成閉環(huán)。對偶學(xué)習(xí)的核心思想是建立對偶模型與原始任務(wù)模型之間的雙向反饋通道，可以有效地通過信息反饋來完善特征信息，進(jìn)而不斷提升模型的性能。許多人工智能應(yīng)用場景都涉及兩個互為對偶的任務(wù)，例如機(jī)器翻譯中從中文到英文翻譯和從英文到中文的翻譯互為對偶［14?15］、語音處理中語音識別和語音合成互為對偶［16］、圖像理解中基于圖像生成文本和基于文本生成圖像互為對偶、問答系統(tǒng)中回答問題和生成問題互為對偶，以及在搜索引擎中給檢索詞查找相關(guān)的網(wǎng)頁和給網(wǎng)頁生成關(guān)鍵詞互為對偶。這些互為對偶的人工智能任務(wù)可以形成一個閉環(huán)，使對沒有標(biāo)注的數(shù)據(jù)進(jìn)行學(xué)習(xí)成為可能［17］。我們借鑒了雙重學(xué)習(xí)方法，構(gòu)建了一個雙重任務(wù)，為我們的SR模型提供額外的約束。

2 模型框架

本文提出了一個增加約束的多尺度特征融合網(wǎng)絡(luò)（additional constraint in multi?resolution feature fusion network，ACMF）來處理超分辨率任務(wù)，整個網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其中虛線矩形框內(nèi)為對偶任務(wù)。提取的淺層特征輸入到特征下采樣模塊，通過不斷向下進(jìn)行獲取多尺度特征，多尺度特征融合部分通過多分辨率特征融合進(jìn)行特征學(xué)習(xí)，圖像重建部分將學(xué)習(xí)到的特征恢復(fù)到圖像中，對偶模型將從SR圖像重構(gòu)LR圖像，提供額外的損失函數(shù)約束。值得注意的是，在輸入網(wǎng)絡(luò)提取淺層特征之前，我們先使用雙三次插值算法將LR圖像放大到SR的尺度。

圖2 ACMF網(wǎng)絡(luò)的結(jié)構(gòu)圖（x4）

2.1 淺層特征提取和重建部分

在將LR 圖像輸入網(wǎng)絡(luò)之前，我們先使用雙三次插值算法將其放大到SR尺度。如圖2所示，我們利用一個3*3 卷積作為淺層特征提取部分，然后將每個PDB 模塊得到的淺層特征輸送到MRF模塊進(jìn)行多尺度特征融合。需要注意的是，最后一個PDB 模塊的輸出直接輸入到RPUB 模塊學(xué)習(xí)深層多尺度特征，由于網(wǎng)絡(luò)最終輸出的深層特征已經(jīng)被放大至SR 尺度（詳見2.2 節(jié)），我們的圖像重建部分只有一個3*3卷積，沒有上采樣層。重構(gòu)層將學(xué)習(xí)到的特征恢復(fù)為圖像。

2.2 多尺度特征融合

多尺度特征融合部分是網(wǎng)絡(luò)的主干部分，包括PDB、RPUB 和MRF 三部分。多尺度特征融合過程的特征映射可視化如圖3所示。下面分別介紹這些模塊的詳細(xì)細(xì)節(jié)。

圖3 多尺度特征融合過程

2.2.1 PDB模塊

PDB 模塊的細(xì)節(jié)如圖4（a）所示。該模塊由三部分組成：Pixel?Unshuffle、最大池化層和3*3標(biāo)準(zhǔn)卷積層。先前的研究［18?19］表明，低分辨率特征可以增強高分辨率表示。PDB 模塊作用于淺層特征獲得淺層多尺度特征，通過特征融合增強特征表示。

圖4 模塊結(jié)構(gòu)圖

Pixel?Unshuffle 可以簡單理解為Pixel?Shuffle操作的逆變換。它可以將原始特征變換為多個更低尺度的子特征，與原始特征相比，子特征包含了原始特征的全部信息，同時降低了特征的尺度。與步長卷積或插值相比，Pixel?Unshuffle 在降低特征分辨率的同時避免了信息的丟失。在Pixel?Unshuffle 操作之后，我們需要對低尺度子特征進(jìn)行非線性操作以提取更好的局部特征。參考Sun 等［13］的工作，我們選擇最大池化來處理子特征。這個過程描述為

其中：Fout代表輸出特征，Pu表示Pixel?Unshuffle操作，M代表最大池化層（步長為1），F(xiàn)in表示輸出特征。這里Fout是通過非線性運算后得到的低尺度特征，與原始特征的子特征相比，它能表達(dá)更突出的局部特征。然后利用標(biāo)準(zhǔn)的1*1卷積層來減少特征通道的數(shù)量。

2.2.2 RPUB模塊

我們選擇殘差通道注意力模塊（RCAB）［3］作為網(wǎng)絡(luò)的基本塊，使用B個RCAB塊堆疊來增加網(wǎng)絡(luò)深度。通過RCABs得到深層學(xué)習(xí)特征之后，利用Pixel?Shuffle 來放大特征，如圖4（b）所示，這個過程可以表述為

其中：P代表Pixel?Shuffle操作，Rb-1代表第(b-1)個RCAB塊，F(xiàn)b-1則代表該塊相應(yīng)的輸入。通過以上流程之后，就得到了放大后的深層特征，需要注意的是，每一次的深層特征放大都對應(yīng)前面的一次PDB。

2.2.3 多尺度特征融合模塊（MRF）

我們利用PDB 模塊和RPUB 模塊分別獲得淺層多尺度特征和深層多尺度特征。接下來需要一種高效的融合方法來融合多尺度特征，所以我們構(gòu)建了多尺度特征融合模塊，該模塊的細(xì)節(jié)如圖4（c）所示。用FD表示由PDB 模塊獲取到的淺層特征，用FU表示由RPUB 模塊得到的深層特征，這個融合過程可描述為

其中：C表示標(biāo)準(zhǔn)的3*3 卷積層，RUD表示一個源中存在而另一個源中不存在的信息，F(xiàn)out表示經(jīng)過融合后得到深度殘差特征。該融合模塊能使網(wǎng)絡(luò)繞開不同源特征中的相同部分，更加關(guān)注不同特征源中的特殊部分。該模塊能提高網(wǎng)絡(luò)的判別能力，并在融合不同來源特征的同時進(jìn)行殘差學(xué)習(xí)，與單純的加法操作和拼接操作相比，有利于提高特征學(xué)習(xí)能力［20］。

2.3 增加約束的對偶學(xué)習(xí)

對偶學(xué)習(xí)方法同時學(xué)習(xí)兩個相反的映射，通過對偶模型間的相互反饋提高初始任務(wù)模型的性能。在我們的網(wǎng)絡(luò)中，初始任務(wù)模型的任務(wù)是訓(xùn)練SR 模型。相應(yīng)地，對偶任務(wù)是學(xué)習(xí)從SR 到LR 的下采樣映射。參考文獻(xiàn)［12］中的方法，我們引入了一個對偶學(xué)習(xí)任務(wù)，從SR 圖像重建LR 圖像。為了保證與SR 網(wǎng)絡(luò)的一致性，對偶學(xué)習(xí)任務(wù)通過PDB模塊實現(xiàn)下采樣映射（見圖2中虛線框部分）。

如果重建的SR 圖像無限接近真實的HR 圖像，則相應(yīng)的從SR 圖像下采樣得到的圖像應(yīng)該是近似LR 圖像。意識到這一點，就可以通過增加額外約束來減小函數(shù)空間，優(yōu)化訓(xùn)練時的損失函數(shù)。訓(xùn)練過程中，除了計算SR 圖像與HR圖像之間的損失(LP)之外，還引進(jìn)了LR 圖像與對偶模型重建出的圖像之間的損失(LD)，最終損失函數(shù)(L)由LP和LD共同確定。其表達(dá)式為：L=LP+λLD。訓(xùn)練中設(shè)置λ=0.1。

3 實驗結(jié)果

3.1 實驗環(huán)境

3.1.1 數(shù)據(jù)集和指標(biāo)

參考前人的研究工作［21?23］，我們選擇數(shù)據(jù)集DIV2K［22］和Flickr2K［4］作為訓(xùn)練數(shù)據(jù)來訓(xùn)練我們的網(wǎng)絡(luò)模型。選擇以下標(biāo)準(zhǔn)基準(zhǔn)數(shù)據(jù)集進(jìn)行測試:Set5［24］，Set14［25］， B100［26］，Urban100［27］和Manga109［28］。選 擇 了 圖 像 評 價 指 標(biāo)PSNR 和SSIM［29］來衡量重建圖片質(zhì)量。將圖像轉(zhuǎn)換到Y(jié)CbCr空間，并在Y通道上評估圖像質(zhì)量。對于BI 退化模型，我們通過實驗分別重建了比例因子為x4，x8的圖像。

3.1.2 訓(xùn)練參數(shù)設(shè)置

我們將成對的LR 和HR 圖像裁剪成大小為48×48 的塊作為訓(xùn)練數(shù)據(jù)集，并使用［3?4］中的數(shù)據(jù)增廣方法。在將LR 圖像輸入網(wǎng)絡(luò)之前，我們先利用雙三次插值對LR 圖像進(jìn)行上采樣，上采樣因子為SR 因子。設(shè)r= 2 為Pixel?Unshuffle 中的比例因子。對于4xSR，我們在RPUB 模塊中設(shè)置B= 30 個RCAB 塊，并設(shè)置logr(4)個PDB模塊和RPUB 模塊；對于8×SR，我們在RPUB模塊中設(shè)置B=30個RCAB塊，并設(shè)置logr(8)個PDB模塊和RPUB模塊。采用ADAM優(yōu)化器更新網(wǎng)絡(luò)參數(shù)權(quán)重，指數(shù)衰減速率設(shè)置為β1= 0.9，β2=0.999，初始學(xué)習(xí)率設(shè)置為10-4，經(jīng)過106 次迭代的余弦退火學(xué)習(xí)率衰減到10-7。

3.2 結(jié)果對比

為了證明所提方法的有效性，我們將訓(xùn)練模型重建圖像的評估結(jié)果與以下經(jīng)典方法進(jìn)行比 較：ESPCN［11］，SRGAN［30］，LapSRN［6］，Dense?Net［31］，EDSR［4］，DBPN［9］，RCAN［3］，SAN［32］，RRDB［33］和DRN［12］。表1 列出了所有與BI 退化模型的對比結(jié)果。從結(jié)果來看，我們的ACMF網(wǎng)絡(luò)與以上方法相比，可以取得更好或相當(dāng)?shù)男阅堋τ?xSR，ACMF 在Set14 和Manga109上表現(xiàn)最好，SSIM 指標(biāo)在Set5 上表現(xiàn)出最好結(jié)果。特別是對于8xSR，ACMF 在大多數(shù)基準(zhǔn)數(shù)據(jù)集上的性能都遠(yuǎn)遠(yuǎn)優(yōu)于其他方法，這也證明了我們的網(wǎng)絡(luò)具有更強的泛化能力。

表1 BI退化模型下各基準(zhǔn)數(shù)據(jù)集下的結(jié)果比較

對于圖像的視覺質(zhì)量比較，我們將重建的SR 圖像與其他方法重建的圖像進(jìn)行視覺效果對比。

圖5 和圖6 展示了對比結(jié)果，對于圖像“img002（x4）”，與其他方法產(chǎn)生的圖像整體模糊相比，我們的圖像具有更高的對比度。對于圖像“img015（x4）”，大多數(shù)方法都容易產(chǎn)生偽影或生成的輪廓不夠清晰。相比之下，本文方法恢復(fù)了更準(zhǔn)確的細(xì)節(jié)和更尖銳的輪廓。對于圖像“img024（x4）”，本文方法實現(xiàn)了其他比較方法無法恢復(fù)的線細(xì)節(jié)。對于圖像“img070（x4）”，可以清楚地看到其他方法生成的圖片中城堡線輪廓的失真，而我們的方法恢復(fù)了接近真實的線輪廓。此外，在圖6中，本文模型重建的SR 圖像對于8×SR 具有更清晰的邊緣和形狀。這些對比結(jié)果進(jìn)一步證明了本文方法可以提取更復(fù)雜的特征，并且重建出更接近真實的圖像。

圖6 8xSR視覺效果對比

3.3 消融實驗

通過進(jìn)一步的實驗證明了所提方法的有效性。為了便于比較，以步長為2的卷積作為PDB模塊的基準(zhǔn)；以加法特征融合作為MRF 模塊的基準(zhǔn)，分別研究了PDB 模塊和MRF 模塊對實驗結(jié)果的影響。4×SR不同組合消融結(jié)果見表2。

表2 不同模塊對網(wǎng)絡(luò)模型的影響

3.3.1 PDB模塊的影響

前節(jié)討論了PDB 相比于步長卷積，既能保證信息的完整性，又能與Pixel?Shuffle 操作對稱互補。從表2 的結(jié)果來看，僅使用PDB 模塊的模型比基準(zhǔn)模型（使用步長卷積和加法特征融合的模型）的PSNR結(jié)果高出0.13 dB；使用PDB模塊和MRF 模塊的模型比僅使用MRF 的模型PSNR 結(jié)果高出0.03 dB。這主要是因為PDB 中的Pixel?Unshuffle 操作可以在降低特征分辨率的同時避免信息丟失，下采樣過程保留了相對完整的特征信息。得益于互為逆運算的上下特征采樣操作，下采樣特征和上采樣特征形成信息對稱互補。這些結(jié)果表明，我們的PDB 模塊可以學(xué)習(xí)到更完整的信息，提高SR的性能。

3.3.2 MRF模塊的影響

前面討論了MRF 有利于提高特征學(xué)習(xí)能力，并在融合不同特征源時進(jìn)行殘差學(xué)習(xí)。從表2 的結(jié)果來看，僅使用MRF 模塊的模型比基準(zhǔn)模型（使用步長卷積和加法特征融合的模型）的PSNR 結(jié)果高出0.15 dB；使用PDB 模塊和MRF 模塊的模型比僅使用PDB 的模型PSNR 結(jié)果高出0.05 dB。這是因為MRF更關(guān)注不同特征源之間的特殊部分，同時進(jìn)行殘差學(xué)習(xí)，能夠提高模型辨別能力，學(xué)習(xí)到更好的特征。這些結(jié)果表明MRF模塊提高了特征融合效果。

4 結(jié)語

提出了一種附加約束的多尺度特征融合網(wǎng)絡(luò)（ACMF）。ACMF 框架有效地挖掘了淺層下采樣特征信息，并進(jìn)行了高效的多尺度特征融合，提高了SR任務(wù)的性能。我們利用Pixel?Unshuffle操作來降低特征分辨率，同時避免信息丟失，并通過多尺度特征融合增強特征表示。此外，還學(xué)習(xí)了獲取重構(gòu)LR 圖像的對偶任務(wù)，以增加額外的約束來優(yōu)化損失函數(shù)。在基準(zhǔn)測試上的大量實驗表明，我們的模型表現(xiàn)出相當(dāng)有競爭力的性能。