基于深度學習的單幅圖像超分辨率重建算法綜述

李佳星 趙勇先 王京華 ,4

單幅圖像超分辨率(Single image super-resolution,SISR)重建是根據一張低分辨率(Low resolution,LR)圖像恢復出高分辨率(High resolution,HR)圖像的過程,研究超分辨率的學者將圖像重建成×2、×3、×4、×8 這4 種尺度的較多,其中×2 代表將圖像的邊長放大2 倍,即像素密度增加4 倍,×3、×4 和×8 與其同理.如何保證重建后圖像的質量更接近Ground truth 圖像成為了研究熱點,其目標如下:

其中,x為LR 圖像,y為對應的Ground truth 圖像,Fsr(x)為運用某種算法重建后的HR 圖像,λ為平衡參數,Φ(y) 為正則化項.

超分辨率重建在衛星、遙感、天文學、安防、生物醫學等諸多領域以及恢復珍貴的歷史圖像資料上起到了非常重要的作用.目前在計算機視覺上單幅圖像超分辨率已經成為一個專門的學術問題,吸引了國內外眾多學者的關注與研究.

在深度學習未興起前,經典的單幅圖像超分辨率算法占據主導地位,Lanczos 重采樣[1]和雙三次插值[2]得到了廣泛的應用,但采用插值方法有時會導致圖像邊緣和細節模糊,因此其他傳統算法也被相繼提出[3?5],有效地增強了圖像的質量.經典的超分辨率重建算法需要很多先驗知識,且要求研究者具有深厚的專業知識儲備.隨著深度學習的興起,由于該技術不需要過多的先驗知識,且重建后的圖像質量優于傳統算法,因此得到了廣泛的關注.Dong等[6]首先將卷積神經網絡應用到圖像超分辨率重建技術中,提出了超分辨率重建卷積神經網絡(Superresolution convolutional neural network,SRCNN),圖1 為SRCNN 的模型框架圖,雖然只有三層神經網絡,但相比于經典超分辨率算法,取得了顯著的效果.SRCNN 的出現,吸引了國內外學者將神經網絡的各種變體應用到圖像超分辨率研究中,包括卷積神經網絡[7]、對抗神經網絡[8]以及二者的結合[9]等.

圖1 SRCNN 網絡結構[6]Fig.1 The SRCNN network structure[6]

本文從超分辨率圖像數據集、基于深度學習的單幅圖像超分辨率重建的研究進展、圖像質量評估準則、實驗結果與分析以及存在的問題與挑戰出發,對單幅圖像超分辨率重建進行了全面綜述,系統的回顧了單幅圖像超分辨率重建技術的發展.

1 超分辨率圖像數據集

為了方便比較算法的優異性,許多學者在提出超分辨率重建算法的同時會公布數據集,以供其他學者們使用.目前國際上已經形成了專用于超分辨率圖像公共基準數據集,如使用較為廣泛的Set5[10]、Set14[11]、Urban100[12]、General-100[13]、BSDS300[14]、BSDS500[15]、Manga109[16]、T91[17]等,這些圖像來源不同,有人物、動物、風景、建筑、生活上常見的景象以及虛擬合成的動漫圖像等,且每個數據庫圖像的分辨率、質量各不相同,各個數據集的圖片數量與格式也并不同,有JPG、PNG 與BMP 等圖像格式,表1 和表2 列出了幾種常用超分辨率圖像數據集的詳細信息.除了以上那些圖像數據集,DIV2K[18]、L20[19]、OutdoorScene[20]、PIRM[21]、ImageNet[22]、MSCOCO[23]、VOC2012[24]、CelebA[25]、LSUN[26]、WED[27]、Flickr2K[28]、City100[29]和SR-RAW[30]等數據集也被應用在圖像超分辨率重建中,大大擴充了數據集的數量與種類,有利于檢驗各個模型的泛化能力.使用同樣的基準數據集進行測試,得到的測試結果會更具有公平性與說服力,圖2 所示為超分辨率數據集的示例圖像.

圖2 超分辨率數據集示例Fig.2 Examples of super-resolution datasets

表1 常用超分辨率訓練數據集Table 1 Widely used Super-resolution training datasets

表2 常用超分辨率測試數據集Table 2 Widely used Super-resolution testing datasets

2 基于深度學習的單幅圖像超分辨率重建的研究進展

分辨率越高,圖像所包含的信息越多,將單幅低分辨率圖像恢復成高分辨率圖像是一個不適定問題,得到了廣泛的關注.傳統的典型方法如基于空間域、頻域、非均勻插值、迭代反投影、凸集投影法以及基于統計學習與基于字典學習的方法等,都為這個領域做出了突破,但大多數算法都需要一些先驗知識.2016 年,SRCNN[6]的提出,很好地將神經網絡學習遷移到超分辨率重建領域.通過訓練LRHR 圖像對,得到一套神經網絡模型,測試的結果優于經典算法,且無需過多的先驗知識.本部分從基于有監督學習、弱監督學習、無監督學習以及針對特定領域的圖像超分辨率重建這4 個模塊出發,系統的闡述深度學習在超分辨率領域的發展進程與重大突破.

2.1 基于有監督學習的超分辨率重建

有監督學習是指利用一組帶有標簽的數據,學習從輸入到輸出的映射,然后將這種映射關系應用到未知數據上,達到分類或回歸的目的.由于有監督學習方法相對簡單且優于多數傳統算法,因此受到廣大學者們的青睞.對于超分辨率領域,大多數模型也都是基于有監督學習的方法.本節從有監督學習角度出發,根據所使用的神經網絡類型可以分為基于卷積神經網絡、遞歸神經網絡、循環神經網絡和對抗神經網絡;根據所使用的機制可分為基于反饋機制和通道注意力機制;此外,還有基于損失函數類型、上采樣層類型的不同,針對多尺度超分辨率重建的方法共分為9 個方面,詳細闡述有監督學習在超分辨率重建中的應用發展.

2.1.1 基于卷積神經網絡的超分辨率重建

由于卷積神經網絡在圖像分類、識別等領域有著出色的表現,因此Dong 等[6]將卷積神經網絡(Convolutional neural network,CNN)應用到超分辨率重建中,對采集到的HR 圖像以一定的采樣因子下采樣,得到的圖像稱為LR 圖像.再利用雙三次插值的方法重建成與原來HR 圖像同等尺寸大小,將其作為輸入,經過構建的卷積層Conv1+激活函數Relu1—卷積層Conv2+激活函數Relu2—卷積層Conv3 框架的學習,與相對應的HR 圖像求損失函數,使損失函數不斷減小,期間通過反向傳播調整各卷積層的權值,直至損失函數收斂,使重建后的SR 圖像質量逼近于HR 圖像質量,從而達到重建的目的.SRCNN 的提出,具有里程碑式的意義,但它也有一些不足,如太過依賴小圖像區域的上下文信息、訓練時收斂較慢、網絡僅適用于單一采樣尺度,若換成另一尺度采樣,則需要重新訓練模型.針對這幾種缺點,同年Dong 等[13]又提出了快速超分辨率重建卷積神經網絡(Fast super-resolution convolutional neural network,FSRCNN),如圖3 所示,FSRCNN 在SRCNN 基礎上做了一些改進,SRCNN 的網絡輸入是將LR 圖像進行雙三次插值放大為Ground truth 圖像尺寸,這樣會增加需提取的圖像特征信息、網絡參數和算法時間復雜度,而FSRCNN 網絡的輸入不需要將LR 圖像放大,僅將LR 圖像作為輸入,網絡的最后一層采用反卷積上采樣層,此時再將圖像放大為Ground truth 圖像尺寸,大大減少時間的消耗;如圖4 所示,如果訓練不同上采樣倍率的模型,只需將最后一層的上采樣層微調;另一處改進是網絡模型增加了網絡層數并使用了較小的卷積核,使網絡更深,學習到的特征更多.

圖3 FSRCNN 網絡結構與SRCNN 網絡結構的對比[13]Fig.3 Comparison of FSRCNN network structure and SRCNN network structure[13]

圖4 FSRCNN 網絡卷積層與反卷積層的具體結構[13]Fig.4 The concrete structure of convolution layer and deconvolution layer of FSRCNN network[13]

Kim 等[7]提出了圖5 所示的超分辨率重建極深卷積神經網絡(Very deep convolutional network for super-resolution,VDSR)模型,與SRCNN 相比,VDSR 增加了神經網絡的層數,可以提取更多的特征圖,使重建后的圖像細節更豐富,且隨著層數的加深,感受野也隨之變大,解決了SRCNN 依賴小圖像區域的上下文信息的問題;該模型采用殘差學習的方法,對輸入的LR 圖像進行雙三次插值得到的圖像添加到模型的最后一層上,使網絡僅僅學習HR 圖像與LR 圖像的差異部分,有效地解決了收斂困難的問題;該模型的訓練數據集并不單單使用一種采樣因子的LR 圖像作為輸入,而是包含了多種采樣因子的LR 圖像,這樣訓練出來的網絡可以測試多種采樣因子的LR 圖像.Hu 等[32]對SRCNN 提出了兩點改進,首先采用隨機線性糾正單元(Rando-mized rectified linear unit,RReLU)去避免原有網絡學習中對圖像某些重要信息的過壓縮,然后用Nesterov 加速梯度(Nesterov＇s accelerated gradient,NAG)方法去提升網絡的收斂速度,并且避免了網絡在梯度更新的時候產生較大的震蕩.

圖5 VDSR 網絡結構[7]Fig.5 The VDSR network structure[7]

以往模型都是先利用雙三次插值等方法將LR圖像上采樣到HR 空間,再在HR 空間上提取特征,從而重建成最后的HR 圖像,這種方法會增加計算復雜度.為此,Shi 等[33]提出了圖6 所示的高效子像素卷積神經網絡(Efficient sub-pixel convolutional neural network,ESPCN)模型,該模型是第一個能夠在單獨的K2 GPU 上實時處理1080p 視頻的卷積神經網絡,其核心思想是使用亞像素卷積層來替代反卷積層實現上采樣操作,網絡的輸入是未放大尺寸的LR 圖像,提取特征也都是在低維空間下進行,通過三個卷積層后,得到通道數為r2的特征圖(Feature map),其中r為上采樣的倍率,然后再將尺寸為H×W×r2的特征圖重新排列成rH×rW×1的高分辨率圖像.若需要獲得不同上采樣倍率的圖像,只需改變r的值.該模型的優點是運行時間比以往基于卷積神經網絡的模型快一個數量級,缺點是當改變倍率時,需要重新訓練模型.

圖6 ESPCN 網絡結構[33]Fig.6 The ESPCN network structure[33]

Mao 等[34]提出了圖7 所示的極深殘差編解碼網絡(Very deep residual encoder-decoder networks,RED-Net)模型,該網絡模型由卷積層和反卷積層組成,且卷積層與反卷積層呈對稱分布,即編碼-解碼結構.卷積層起到提取特征與去噪的作用,反卷積層先接收去噪后的特征圖像,再將其重建成高分辨率圖像,這樣會使圖像更為清晰.REDNet 模型也采用了跳躍連接,但與ResNet[35]不同,該跳躍是從卷積層到對應的反卷積層之間的跳躍連接.

圖7 RED-Net 結構[34]Fig.7 The RED-Net structure[[34]

Tai 等[36]提出了圖8 所示的MemNet 網絡,與傳統的神經網絡如VDSR[7]、DRCN[37]不同,這是一個長期記憶的模型.傳統的神經網絡基本上都是單向傳播,當層數非常多的時候,越靠后的層接收到的信號越微弱,MemNet 網絡由特征提取網絡(Feature extraction net,FENet)、若干個記憶模塊(Memory block)與重建網絡(Reconstruction net,ReconNet)組成,其中FENet 由卷積層構成;與常規神經網絡不同,每個Memory block 都參與了最終輸出,即每個記憶模塊不僅與下一個記憶模塊連接,而且直接連接ReconNet 層;ReconNet 是個卷積核為1×1 的卷積層,負責將所有記憶模塊的存儲信息分別輸出,所有輸出分別賦予不同的權重,進行相加得到最后的輸出結果.

圖8 MemNet 網絡結構[36]Fig.8 The MemNet network structure[36]

與ResNet 網絡[35]直接將輸入與最后一層串聯起來不同,DenseNet[38]是將每一層與其他層都串聯起來,這樣更能保留原始圖像的特征信息,即使傳遞到后面的層,圖像信息也不易丟失,并且很好地解決了梯度消失的問題.考慮到DenseNet 的優點,Tong 等[39]提出圖9 所示的SRDenseNet 網絡,該網絡由低水平特征提取層、8 個密集模塊(Dense block)、2 個反卷積上采樣層和1 個重構層組成,其中每個密集模塊就是采用了DenseNet 的結構.

圖9 SRDenseNet 網絡結構[38]Fig.9 The SRDenseNet network structure[38]

Zhang 等[40]將殘差模塊(Residual block)與密集模塊結合起來,形成了殘差密集模塊(Residual dense block,RDB),即圖10 所示的RDN 網絡模型.該網絡模型主要由4 個模塊組成,分別為淺特征提取網絡(Shallow feature extraction net,SFENet)、殘差密集模塊、密集特征融合(Dense feature fusion,DFF) 和上采樣網絡(Up-sampling net,UPNet),其中SFENet 包含2 個卷積層,具有提取輸入圖像特征的作用;RDB 模塊去掉了DenseNet 每個模塊中的批正則化和池化層,上一個RDB模塊與下一個RDB 模塊中的1 到d層做了局部特征融合(Local feature fusion,LFF),每一層與每一模塊連接都很緊密,更好的保證了信息流的貫通;DFF 通過Concat 層將每個RDB 模塊得到的特征圖都串聯起來;UPNet 實現將特征圖放大的操作.

圖10 RDN 網絡結構[40]Fig.10 The RDN network structure[[40]

Yu 等[41]在2018 年提出了WDSR 模型,并取得了當年NTIRE 競賽[42]的冠軍.如圖11 所示,WDSR模型網絡由卷積模塊、殘差模塊和像素重組(Pixel shuffle)模塊三部分組成,其中卷積模塊、殘差模塊與常規神經網絡相同,Pixel shuffle 采用了ESPCN 模型[33]提出的亞像素層來實現上采樣的操作.與2017 年NTIRE 競賽[28]的冠軍EDSR 模型[43]相比,WDSR 模型一方面去除了很多冗余的卷積層,Yu 等認為殘差模塊已經涵蓋了這些卷積層的效果,去除了這些冗余層會使計算更快,并且效果也沒有下降;另一方面改進了殘差模塊.Yu 等提出了2 個版本的WDSR,分別是圖12 所示的WDSR-A 與WDSR-B[41],2 個版本只在殘差模塊上有區別.與EDSR 模型的殘差模塊相比,EDSR 的Relu 激活函數是在兩個卷積運算中間,而且卷積核的個數較少;而WDSR-A 是在不增加計算開銷的前提下,增加Relu 激活函數前面的卷積核個數以增加特征圖的寬度,這樣效果會更好.WDSR-B 在WDSR-A的基礎上,將Relu 后的大卷積核拆分成兩個小卷積核,既減少了模型參數,又可以在同樣計算開銷的前提下獲得更多未使用激活函數前的特征圖.除此之外,WDSR 還采用了權重歸一化(Weight normalization)的策略,實驗表明權重歸一化可以使用比以往模型高10 倍的學習率,而且能得到更高的測試準確率.

圖12 三種殘差模塊的對比[41]Fig.12 Comparison of three residual blocks[41]

許多基于卷積神經網絡的SISR 模型使用失真導向(Distortion-oriented)的損失函數,此類模型很難恢復真實圖像紋理和細節,生成的圖像看起來較模糊,因此恢復真實紋理和細節在圖像超分辨領域仍然是一項挑戰,目前這方面的工作有SRGAN[8]、EnhanceNet[44]和SFTGAN[20]等,但是在生成圖像時通常會產生偽影,整幅圖像看起來總有一些不自然.Soh 等[45]對此類問題提出了FRSR 模型和圖13所示的NatSR 模型,可生成真實紋理和自然細節,獲得高視覺質量.該模型添加了圖14 所示的自然流形鑒別器(Natural manifold discriminator,NMD)與基于不規則殘差學習的卷積神經網絡結構.從圖像評價指標上看,NatSR 算法并不是最好的,但在視覺效果上NatSR 表現更好.

圖13 NatSR 網絡結構[45]Fig.13 The NatSR network structure[45]

圖14 NMD 結構[45]Fig.14 The NMD structure[45]

2.1.2 基于遞歸神經網絡的超分辨率重建

在超分辨率問題中,為了使生成的圖像質量高,多數卷積神經網絡不使用池化層,但隨著網絡的加深,將會增加更多的參數,容易使網絡過擬合;且模型過大,難以存儲和重現.為了解決以上問題,考慮到遞歸神經網絡是多次遞歸其模型中的一層或幾層神經網絡,可有效減少網絡的參數,因此Kim等[37]采用了遞歸神經網絡作為其基本網絡,提出了DRCN 模型,其使用的遞歸層都是監督式的;并采用了跳躍連接結構,有效地解決了梯度消失/爆炸的問題.Tai 等[46]提出的DRRN 延續了VDSR[7]認為的網絡層數越多、超分辨率重建的效果越好的觀點,將網絡層數增加到52 層,為了減少網絡參數,也采取了遞歸操作與殘差學習的方式.在網絡結構上與DRCN[37]有所不同,采用間隔層權重共享的操作,而不像DRCN[37]的Inference network 里每一層都是權重共享.與具有20 層深度的VDSR 模型相比,效果雖然有所提升,但提升幅度并不大;相比較于同期的LapSRN[47],網絡的效果有待優化,同時每個遞歸單元只有2 個卷積層確實有些不足.Zhou等[48]將遞歸神經網絡與殘差學習相結合,提出一種簡潔緊湊型遞歸殘差網絡結構,在重建出同等質量超分辨率圖像的前提下,模型參數數量及計算復雜度分別僅為VDSR 方法的1/10 和1/(2n2).

2.1.3 基于循環神經網絡的超分辨率重建

目前圖像超分辨率重建主要朝著兩個方向發展,一是網絡越來越深,但是隨著網絡層數的增加也會引起模型參數過多等問題;二是殘差學習,包括全局殘差學習、局部殘差學習以及二者相結合的形式,雖然DRRN、DRCN 將遞歸神經網絡與殘差學習相結合,但仍會導致重建速度變慢.Han 等[49]引入了循環神經網絡RNN,提出基于雙循環網絡狀態的DSRN 模型.該模型通過延遲反饋機制,在兩個方向(LR 到HR 和HR 到LR)之間交換循環信號,并將這兩種狀態預測的特征聯合起來進行最終的預測,取得了不錯的效果.

2.1.4 基于對抗神經網絡的超分辨率重建

基于卷積、遞歸和循環這三種神經網絡都是以峰值信噪比作為導向的SISR 模型,其網絡生成的圖像雖然峰值信噪比很高,但感觀質量較差.為生成符合人眼感觀的圖像,Ledig 等[8]提出了SRGAN模型,網絡主體采用對抗神經網絡(Generative adversarial net,GAN)[50],損失函數采用感知損失與對抗損失之和.雖然峰值信噪比不是最高,但是SRGAN模型產生出的圖像更加自然清晰,更符合人眼的視覺效果.盡管SRGAN 取得了很好的視覺效果,但隨著網絡的加深,批歸一化層可能會使圖像出現偽影.Wang 等[51]對SRGAN 模型進行了改進,提出了ESRGAN 模型.ESRGAN 在SRGAN[8]的基礎上去掉了批歸一化層,并引入殘差密集模塊(Residual-in-residual dense block)作為網絡的基本單元,且采用RaGAN[52]的思想,將判別器由原來預測圖像的絕對真實性改為了相對真實性,即判別器接收到生成器傳來的圖像時,不再單單預測這幅圖像是否真實的概率,而是預測這幅圖像比虛假圖像更真實的概率.SRGAN[8]是使用激活后的特征求感知損失,而ESRGAN 是使用激活前的特征求感知損失.這樣做克服了兩個缺點:1) 激活后的特征是稀疏的,而使用激活前的特征求感知損失,會得到更多的信息;2) 若使用激活后的特征作為輸入,則重建的圖像與真實圖像對比會出現亮度不一致的情況.Wang 等[20]提出了SFTGAN 模型,在模型中新添加了空間特征轉換層(Spatial feature transform,SFT),將有效的先驗信息與神經網絡相結合進行端到端的訓練,SFT 層通過對模型中的每個中間特征進行空間仿射變換來學習參數對,從而自適應地調節輸出.與SRGAN[8]和EnhanceNet[44]模型相比,重建后的圖像在視覺上顯得更加自然.

2.1.5 基于反饋機制的超分辨率重建

根據應用的網絡類型分類可以分為基于卷積、遞歸、循環和對抗神經網絡,相關方法前文已經介紹.有學者從另一個角度出發,在神經網絡中添加反饋機制和注意力機制,更有助于提升圖像質量.對此,Haris 等[53]將傳統算法迭代反投影(Iterative back projection,IBP)與深度神經網絡相結合,提出了DBPN 模型.考慮到近年來提出的超分辨率模型中,沒有很好地解決LR 圖像與HR 圖像的相互依賴關系,Haris 等認為超分辨率網絡模型缺乏反饋機制,不能像人類視覺系統那樣利用反饋機制來指導任務,為此提出一種上采樣和下采樣交替式進行的網絡,為每個階段的錯誤映射提供反饋機制,思想上很像傳統的迭代反投影算法,因而取名為DBPN 網絡,該模型成為了×8 尺度上的先進算法.Li 等[54]提出了一種圖像超分辨率反饋網絡SRFBN,高階層的信息通過反饋連接自頂向下的提供反饋流.同時,這種具有反饋連接的遞歸結構具有較強的重建能力,且只需要較少的參數.該模型還采用了一種基于課程的訓練策略,將多張越來越難重構的HR 圖像作為連續迭代的目標輸入網絡.該方法使網絡能夠逐步地學習復雜的退化模型,而其他方法只能學習退化模型中的一種模式.

2.1.6 基于通道注意力機制的超分辨率重建

大多數基于神經網絡的超分辨率(Super-resolution,SR)方法沒有充分利用原始LR 圖像的信息,從而得到的結果不太理想,且多數基于神經網絡的模型主要專注于設計更深或是更寬的網絡,以學習更具有判別力的高層特征,卻很少發掘層間特征的內在相關性,從而阻礙了網絡的特征提取能力.為此,Zhang 等[55]將通道注意力機制(Channel attention,CA)和殘差塊相結合,提出了RCAN 網絡模型,RCAN 延續了神經網絡深度越深,效果越好的理念.該模型主要由4 個部分組成,分別是淺層特征提取模塊、殘差中的殘差(Residual in residual,RIR)深度特征提取模塊、上采樣模塊和重構圖像模塊.其中除了RIR 模塊之外,其余模塊與大多數SR網絡相同,RIR 模塊由殘差組(Residual group,RG)與一個長跳躍連接組成,每個RG 由殘差通道注意力模塊(Residual channel attention block,RCAB)與短跳躍連接組成,由于RIR 模塊的優勢,可使神經網絡的深度超過400 層.此外,Zhang 等還指出低分辨率圖像存在大量低頻信息,這些信息可以通過長跳躍連接直接傳到網絡的最后一層,使網絡重點學習高頻信息,并減輕了網絡的學習負擔.

Dai 等[56]提出了一個二階注意力網絡SAN,該模型利用二階通道注意力機制SOCA 來進行相關性學習;同時利用非局部增強殘差組(Non-locally enhanced residual group,NLRG)來捕獲長距離的空間內容信息.Zhou 等[57]提出了基于特征融合注意網絡的單幅圖像超分辨率方法,網絡模型主要包括特征融合子網絡和特征注意子網絡.特征融合子網絡可以更好地融合不同深度的特征信息,以及增加跨通道的學習能力;特征注意子網絡則著重關注高頻信息,以增強邊緣和紋理.

2.1.7 基于損失函數的改進策略

除了在網絡結構進行改進外,所使用的損失函數不同,生成的圖像質量也有所不同.常用的損失函數有像素損失、內容損失、對抗損失、紋理損失、總變差損失以及上下文損失等.

1)像素損失(Pixel loss)

目前多數SR 模型均采用像素損失,像素損失一般分為L1 損失和L2 損失,其表達式分別如下:

其中,C為圖像的通道數,一般為3;H為圖像的高度;W為圖像的寬度;為生成的高分辨率圖像的每個像素點;yi,j,k為Ground truth 圖像的每個像素點.

雖然在峰值信噪比上取得了顯著的效果,但是在主觀視覺上發現只運用像素損失生成的圖像缺乏高頻信息.為此,Johnson 等[58]用感知損失來代替像素損失,感知損失由內容損失與Gatys 等[59]提出的風格損失組成.

2)內容損失(Content loss)

采用預訓練好的卷積神經網絡提取生成圖像與Ground truth 圖像的高階特征,再逐層求平方差,將所有層加起來,即為內容損失.內容損失表達式如下:

其中,Cl為特征圖通道數;Hl為特征圖的高度;Wl為特征圖的寬度;為使用預訓練模型提取生成的高分辨率圖像的第l層特征圖的每個像素點;?(l)(yi,j,k) 為使用預訓練模型提取Ground truth圖像的第l層特征圖的每個像素點.

3)對抗損失(Adversarial loss)

在超分辨率領域,采用對抗性學習是很簡單的,在這種情況下,只需要將SR 模型作為一個生成器,另外定義一個鑒別器來判斷輸入圖像是否生成.Ledig等[8]首先在SRGAN 模型中引入了基于交叉熵的對抗損失,具體表達式如下:

其中,Lgan_ce_g為SR 模型生成器的對抗損失;D(·)代表鑒別器;Lgan_ce_d是鑒別器的對抗損失.Wang等[60]和Yuan 等[61]在網絡中引入了基于最小平方差(Least mean error)的對抗損失[62],其表達式如下:

4)紋理損失(Texture loss)

Gatys 等[63?64]將紋理損失引入到超分辨率重建中,紋理損失利用Gram 矩陣G(l)∈RCl×Cl,Gram矩陣表達式如下:

5)總變差損失(Total variation loss)

6)上下文損失(Contextual loss)

為了生成逼真的圖像,很多模型采用對抗損失,但這種模型很難訓練.Mechrez 等[66]采用上下文損失來取代對抗損失,與L1 損失和L2 損失相結合,得到了不錯的結果.

鑒于每種損失函數都有其各自的側重點,將多種損失函數聯合起來訓練網絡,得到的模型生成的圖像無論在客觀評價或主觀視覺上都會取得不錯的效果.現在的多數模型都是采用多種損失函數聯合訓練的方式,如Sajjadi 等[44]提出的EnhanceNet 模型,受到VGG 網絡[67]的啟發,卷積核全部采用3×3的大小,目的是在保持定量參數的情況下可以構建更深的網絡.損失函數由感知損失、對抗損失和紋理損失組成,能夠產生逼真的紋理.

2.1.8 基于上采樣層的改進方法

在網絡結構的改進中,除了可以應用不同的神經網絡類型以及結合多種損失函數進行監督外,還可以對其上采樣模塊進行改進.將LR 圖像上采樣為HR 圖像,上采樣模塊是必不可少的.如圖15 所示,根據上采樣模塊所在位置的不同,分為預上采樣(Pre-upscaling)、后上采樣(Post-upscaling)、漸進上采樣(Progressive upscaling)和迭代上下采樣(Iterative up-and-down sampling)這4 種框架.文獻[6,36,37,46,68]均采用預上采樣框架;文獻[8,38,43,49]均采用后上采樣框架;文獻[47,69]采用漸進上采樣框架;文獻[53]采用迭代上采樣框架.根據上采樣層所使用的方法不同,又可分為插值上采樣、反卷積上采樣以及亞像素卷積這三種方法,其中插值上采樣可實現任意倍率的放大,但會帶來一定程度的平滑和模糊效果;反卷積上采樣只能實現整數倍率的超分辨率重建;亞像素卷積的優點是擁有較大的感受野,但其同樣只能實現整數倍率的超分辨率重建.Kim 等[70]就當前流行的上采樣方法進行了改進,提出了EUSR 模型.該模型采用了增強上采樣模塊(Enhanced upscaling module,EUM)作為上采樣層,EUM 利用非線性操作和殘差學習,在2018 年NTIRE 超分辨率挑戰[42]的結構相似度[71]評價指標上取得了第9 名的好成績.

圖15 主流上采樣方法 ((a) 預上采樣SR 網絡;(b) 后上采樣SR 網絡;(c) 漸進上采樣SR 網絡;(d) 迭代上下采樣SR 網絡)Fig.15 Mainstream upsampling methods ((a) Pre-upscaling SR network;(b) Post-upscaling SR network;(c) Progressive upscaling SR network;(d) Iterative up-and-down sampling network)

在ESPCNN[33]、EDSR[43]、RDN[40]與RCAN[55]等先進方法中,通常是在網絡末端放大特征圖,但是以上方法需要對每一種縮放因子設計一個特定的上采樣模塊,并且上采樣模塊通常只適用于正整數的縮放因子,這些缺點限制了SISR 在現實中的應用.Hu 等[72]提出了Meta-SR 模型,該模型引進了Meta-Upscale 模塊來取代傳統的上采樣模塊.受元學習(Meta-learning)的啟發,對于任意的縮放因子,Meta-Upscale 模塊都能夠動態地預測上采樣濾波器的權重,使得單個模型便可以實現任意縮放因子(包含非整數)情況下的超分辨率重建.

2.1.9 針對多尺度超分辨率重建

針對多數算法僅有一次上采樣的操作,而無法同時得到多種分辨率圖像,Lai 等[47]提出級聯金字塔結構LapSRN.LapSRN 網絡有兩個分支,一個是特征提取分支,一個是圖像重構分支.該模型是逐步學習,輸出不同尺度的殘差,得到對應尺度的重構結果,而不是像其他模型只有一個輸出;與以往的L2 損失函數不同,該模型得到的每種分辨率都有一個對應的損失函數,總的損失函數即為多種分辨率的損失函數之和.

Lim 等[43]分別針對單一尺度超分辨率與多尺度超分辨率提出EDSR 網絡與MDSR 網絡,這兩種模型框架主要采用He 等[35]提出的ResNet 網絡,但與之不同的是,去掉了其中的批歸一化層.批歸一化層的主要作用是加快訓練速度,改善數據變化大因而模型難收斂的問題.由于框架本身學習的是殘差圖像,需要學習的特征減少,很大程度上提高了訓練速度,因此批歸一化層在ResNet 網絡中并不是十分重要,且批歸一化層對每一批數據都要進行歸一化處理,使得GPU 可用顯存減少,移除批歸一化層可起到節約顯存的功效.MDSR 網絡模型的設計具有權重共享的功能,既能達到訓練多個分辨率的目的,又能使整套模型的計算量減少,節約存儲空間,Timofte 等憑借該模型贏得了2017 年NTIRE競 賽[28]的冠軍.

2.2 基于弱監督學習的超分辨率重建

在超分辨率重建領域大多數模型都是基于有監督學習的方法,鮮少有學者提出弱監督或無監督學習模型.由于收集相同場景的LR-HR 圖像對是困難的,因此有監督學習并不適用于現實場景的應用,弱監督或無監督學習的研究變得極為重要.

Bulat 等[73]針對大多數模型是從HR 圖像下采樣得到對應的LR 圖像,并不能真正代表真實場景的LR 圖像的情況,提出了新的退化模型.受CycleGAN[74]的啟發,Bulat 等將整個網絡模型分為2 段,一段是用不成對的LR-HR 圖像訓練得到由HR 圖像到LR 圖像的GAN 退化模型,取代多數模型采用的雙三次下采樣方法;另一段是用上一段網絡生成的LR 圖像作為輸入,再用成對的LR-HR圖像訓練GAN 超分辨率網絡.

受CycleGAN[74]與WESPE[9]的啟發,Yuan 等[61]提出了一種弱監督學習模型CinCGAN,如圖16 所示該模型由4 個生成器、2 個鑒別器以及2 個CycleGAN 組成,其中生成器與鑒別器的結構如圖17所示,第一個CycleGAN 用于有噪聲的LR 圖像到真實的Clean LR 圖像的映射,第二個CycleGAN 的結構與第一個相同,不同點在于第二個CycleGAN 是學習Clean LR 圖像到Clean HR 圖像的映 射,且LR 圖像與HR 圖像是不成對的.

圖16 CinCGAN 網絡結構[61]Fig.16 The CinCGAN network structure[61]

圖17 CinCGAN 中生成器與鑒別器的結構[61]Fig.17 The structure of generator and discriminator in CinCGAN[61]

2.3 基于無監督學習的超分辨率重建

文獻[75?76]證明了單張圖像內部塊之間的信息熵小于多張圖像塊之間的信息熵,這就意味著圖像內部塊比多張圖像塊擁有著更強的預測能力.基于此,Shocher 等[77]認為僅靠圖像的內部塊遞歸循環[78]就足以重建高分辨率圖像,提出了圖18 所示的ZSSR 模型,這也是第一個無監督學習的SR 方法.ZSSR 模型將待測試的低分辨率圖像下采樣后的圖像作為輸入,而目標圖像則是待測試的低分辨率圖像;網絡采用輕量級全卷積結構,再將待測試的低分辨率圖像作為輸入得到高分辨率圖像.ZSSR模型由于不依賴外部圖像數據集,因此能處理如不用雙三次退化得到的低分辨率圖像以及有模糊、噪聲、偽影等非理想條件下的圖像,且不需要預訓練,適用于任何尺度的上采樣.由于網絡模型簡單以及不需要外部數據集,節約了計算資源,在非理想條件下可達到SR 先進算法的水平.測試時采用雙三次下采樣得到的低分辨率圖像作為輸入的理想條件下,也可與有監督學習的SR 方法競爭.但缺點是每張圖像在測試時都要單獨訓練一個網絡,使得測試時間比有監督學習的SR 模型要長.

圖18 ZSSR 網絡結構[77]Fig.18 The ZSSR network structure[77]

Lempitsky 等[68]發現深度神經網絡本身就有先驗信息,僅僅是隨機初始化神經網絡的參數,就能達到去噪、圖像修復等功能,不需要預訓練大量圖像樣本,且網絡的輸入是隨機向量,將卷積神經網絡看成一般的待優化函數,利用梯度下降法進行梯度優化,損失函數是網絡生成的圖像與高分辨率圖像的均方差,即可直接進行圖像超分辨率重建.雖然這種方法的性能比有監督學習方法的峰值信噪比低2 dB,但它高于僅使用雙三次上采樣的方法1 dB,充分展現了深度神經網絡性能的強大,實現了樣本的 無監督學習.

2.4 針對特定領域的超分辨率重建

2.4.1 針對盲超分辨率(Blind Super-resolution)圖像重建的方法

絕大多數圖像超分辨率算法都是假設圖像退化過程中的下采樣模糊核是預先定義或已知的,如雙三次下采樣.此類算法在實際應用時,如果模糊核是復雜或未知時,圖像超分辨效果會大大降低.當模糊核不匹配時,重建后的超分辨率圖像會過于模糊或產生類似圖19 所示的振鈴效應;只有模糊核匹配時,才會得到較好的圖像超分辨率效果,因此在真實場景中準確估計出模糊核是必要的.

圖19 振鈴效應Fig.19 Ringing effect

Zhang 等[79]認為采用雙三次下采樣得到的低分辨率圖像不能夠代表現實生活中的低分辨率圖像,測試時向網絡里直接輸入真實的低分辨率圖像,得到的效果往往不是很好.因此Zhang 等考慮了噪聲和模糊這兩個因素,在退化過程中采用一種維度拉伸的策略,將這兩個關鍵因素作為網絡輸入,提出了SRMD 模型.

Gu 等[80]提出了SFTMD 模型與迭代核校正(Iterative kernel correction,IKC)的方法.為了正確估計出模糊核,Gu 等提出校正函數,因為一次校正可能不充分或校正過度,Gu 等采用逐步校正模糊核的方式去盡可能地逼近真實核函數.在模型的搭建上,考慮到SRMD[79]工作存在如下問題:1)模糊核沒有包含圖像的全部信息;2)模糊核信息只在網絡的首層考慮到,網絡的深層部分并沒有使用到模糊核信息.為解決上述問題,Gu 等在SRResNet[8]網絡中增加了空間特征變換層.

Zhang 等[81]提出一種即插即用圖像恢復的DPSR 模型,通過設計一個新的SISR 退化模型來代替盲超分辨率的模糊核估計,該模型引入能量函數來優化新的退化模型,采用變量分割的方法實現即插即用,具有較高的靈活性,并且采用合成的圖片和真實的圖片來對算法進行評估,以實現對盲超分 辨率的處理.

2.4.2 面向實際場景的圖像超分辨率重建的方法

多數超分辨率重建模型都是先獲得高分辨率圖像,再通過雙三次、高斯或池化等下采樣操作得到對應的低分辨率圖像,以此構成圖像對.該方法的優勢是省時省力、數據易得,但在放大遠處物體時卻喪失了原始數據的準確細節,直接從HR 圖像上通過算法獲得的LR 圖像終究不是真實情況下的輸入,所以在現實中的泛化能力有限.由于缺乏真實的訓練數據,現有的超分辨率方法在實際場景中表現不佳.為了解決此類問題,Xu 等[82]通過模擬圖20所示的數碼相機成像,構建了圖21 所示的雙卷積神經網絡來生成真實的訓練數據,其中Xraw為低分辨率Raw 格式的圖像,Xref為通過Dcraw[83]軟件生成的低分辨率彩色圖像,圖22 所示為圖像恢復(Image restoration)分支,將學習了空間顏色轉換后的圖像與Raw 格式的圖像進行特征融合,以實現更有效的色彩校正.實驗表明使用Raw 格式的圖像更能恢復精確的細節和清晰的輪廓,在實際場景中表現很好.

圖20 數碼相機成像原理[82]Fig.20 Principle of digital camera imaging[82]

圖21 雙卷積神經網絡[82]Fig.21 A dual convolutional neural network[82]

圖22 圖像恢復分支[82]Fig.22 The image restoration branch[82]

同樣對于實際場景來說,計算消耗的問題也不容小覷,且隨著網絡深度的增加,需要更多的訓練技巧,否則訓練過程中的數值就會變得不穩定[43,84].He 等[85]針對此類問題將常微分方程(Ordinary differential equation,ODE)與神經網絡相結合,衍生出LF-block 和RK-block 兩種網絡結構,相對應于常微分方程中的Leapfrog 方法和Runge-Kutta 方法.

使用真實的傳感器數據進行訓練的主要障礙是缺少Ground truth 圖像,為此,Chen 等[29]提出了CameraSR 模型,提供了全新的獲得圖像對的思路,即R-V 退化模型,其中R 代表分辨率,V 代表視野域.視野域小,目標物體具有更大的分辨率;視野域大,目標物體的分辨率很低.受Ignatov 等[30]的啟發,采用DSLR 拍攝含有目標物體的HR 圖像,采用智能手機拍攝含有目標物體的LR 圖像.通過SIFT關鍵點[86]匹配與RANSAC[87]估計單應性,就可獲得一個LR-HR 圖像對,這種獲得圖像對的方式是從真實場景中得到的,訓練出的模型泛化能力更強.Zhang 等[88]展示了如何通過光學變焦獲得Ground truth 圖像,并提供了一個真實的數據集SR-RAW.SR-RAW 是用變焦鏡頭拍攝的,長焦距拍攝的圖像可作為短焦距拍攝的光學Ground truth 圖像.Zhang等還提出一種新的上下文雙邊損失(Contextual bilateral loss,CoBi)來處理輕微失調的圖像對,CoBi考慮了局部上下文相似性,其訓練后的網絡在圖像放 大倍數為4 倍和8 倍上實現了最先進的性能.

2.4.3 針對人臉超分辨率重建的問題

針對人臉超分辨率問題,Chen 等[89]提出了FSRNet 和FSRGAN 模型,首先構建一個粗糙的SR網絡生成粗糙的高分辨率圖像;之后將粗糙的高分辨率圖像送入2 個分支網絡,其中一個是精細的SR 網絡,用來提取圖像特征,另一個是先驗信息估計網絡,用來估計人臉特征點和分割信息;最后將2 個分支結果匯入一個細粒度解碼器進行重構信息,該模型在人臉超分辨率重建上取得了不錯的結果.

Bulat 等[90]提出了Super-FAN 模型,該模型是第一個既提高面部分辨率又具有檢測面部特征功能的端到端系統,其核心在于通過熱像圖回歸和優化熱像損失函數,利用集成子網絡進行面部對齊,將結構信息合并到基于GAN 的超分辨率算法中,該模型在現實世界中的低分辨率人臉圖像上也表現出了 良好的效果.

3 圖像質量評估準則(Image quality assessment,IQA)

為了方便評估超分辨率模型產生出的圖像質量,有必要運用圖像質量評估準則對圖像質量作出準確的評價.圖像質量評估準則主要分為客觀評價方法、主觀評價方法以及其他評價準則,客觀評價方法如峰值信噪比與結構相似性[71]等,通過公式計算出數值比較生成圖像質量的優劣,該方法可以對圖像進行定量分析,但缺點是峰值信噪比與結構相似性很大的圖像有時也會出現紋理模糊,甚至出現偽影,因此單單依靠客觀評價方法不能完全判斷出圖像質量的好壞.而主觀評價方法是在視覺上感知圖像質量的好壞,該類方法具有直觀性,更符合我們的需求,但缺點是使用此類方法費時、代價昂貴且不方便.將客觀評價方法與主觀評價方法相結合更能有效檢驗算法的可靠性與準確性.本節將主要介紹幾種最常用的IQA 方法,還會介紹幾種近年來使 用相對較多的評價指標.

3.1 客觀評價方法

1) 峰值信噪比(Peak signal-to-noise ratio,PSNR)

峰值信噪比是一個表示信號最大可能功率和影響表示精度的破壞性噪聲功率比值的工程術語,常用作圖像壓縮等領域中圖像重建質量的評價方法,其簡單地通過均方差(Mean squared error,MSE)進行定義,在超分辨率重建中,用于檢測重建后的圖像x與真實圖像y的相似度.PSNR 越大代表圖像質量越好,一般PSNR 的范圍在20 到40 之間.

其中,N為圖像的像素個數;y為真實圖像;x為模型重建后的圖像;L為圖像的最大像素值,一般為255.

2) 結構相似性(Structural similarity index,SSIM)

結構相似性是Wang 等[71]根據人類視覺系統(Human visual system,HVS)提出的一種基于結構信息退化的質量評估框架,是全參考(Full-reference)質量評估的一種.與PSNR 不同,SSIM 考慮了圖像的結構信息、亮度與對比度,用圖像均值作為亮度的估計、標準差作為對比度的估計、協方差作為結構相似程度的度量,反映了物體結構的屬性.

給定兩個圖像x和y,兩張圖像的結構相似性可按照以下方式求出:

其中,μx是x的平均值,μy是y的平均值,σx2是x的方差,σy2是y的方差,σxy是x和y的協方差,C1和C2是用來維持穩定的常數,l是像素值的動態范圍,k1=0.01 ,k2=0.03.結構相似性的范圍為0 到1,當兩張圖像一模一樣時,SSIM 的值等于1.

3) 信息保真度準則(Information fidelity criterion,IFC)與視覺信息保真度(Visual information fidelity,VIF)

Sheikh 等[91-92]提出了信息保真度準則與視覺信息保真度,通過計算待評圖像與參考圖像之間的信息來 衡量待評圖像的質量優劣,其判斷方法與PSNR 相似.

3.2 主觀評價方法

為了更加準確的評判圖像的質量,除了以上4 種常見的客觀評價準則,其他的評價準則也相繼被應用到超分辨率重建領域中.在國際標準中,平均主觀意見分(Mean opinion score,MOS)最開始是用來評價經過壓縮后的話音質量的準則,后來逐漸被應用到評估圖像的質量.如表3 所示,MOS 取值范圍是1～5 分,1 分表示圖像的質量最差,5 分表示圖像的質量最好.與PSNR 這種客觀評價方法不同,MOS 是一種主觀評價方法.

表3 MOS 評估準則Table 3 The MOS assessment

3.3 其他評價準則

此外還有NQM[93]、MS-SSIM[94]、VSNR[95]、FSIM[96]、文獻[97]、NIQE[98]和Ma′s score[99]等評價準則被應用到圖像質量評估上,多種準則的結合使用更能檢 驗出圖像質量的好壞.

4 實驗結果對比與分析

4.1 圖像質量評估準則的對比

目前幾乎所有的超分辨率重建算法都采用PSNR與SSIM 來檢測模型產生的圖像質量,表4 和表5分別為部分網絡模型在基準數據集Set5、Set14 的平均PSNR 與SSIM 的對比,作為常用的兩種客觀評價方法,由于計算簡單且物理意義明確,因此應用最為廣泛,但并不能很好的代表感知視覺質量.表6 為部分網絡模型在基準數據集Set5、Set14 和BSDS100 的×4 尺度上的MOS 對比,相比于PSNR和SSIM,MOS 更能代表感知視覺質量的好壞.可以看出,在基準數據集Set5、Set14 上采樣因子為×4 時,RCAN 在客觀評價指標PSNR 和SSIM上表現最好;但在主觀評價指標MOS 上SRGAN表現最好.

表4 部分網絡模型在基準數據集Set5、Set14 的平均PSNR 對比Table 4 The average PSNR comparison of some network models on the Set5 and Set14 benchmark datasets

表5 部分網絡模型在基準數據集Set5、Set14 的平均SSIM 對比Table 5 The comparison of average SSIM of partial network models on the Set5 and Set14 benchmark datasets

表6 部分網絡模型在基準數據集Set5、Set14 和BSDS100 的×4 尺度上的MOS 對比Table 6 The MOS comparison of some network models at ×4 of the benchmark datasets Set5,Set14 and BSDS100

如圖23 所示,在主觀視覺與PSNR 方面上,分別運用Bicubic、SRCNN、EDSR、RCAN、EnhanceNet、SRGAN 以及ESRGAN 模型在Set14 和BSDS100 數據集上進行實驗,可以看出RCAN 模型的PSNR 最大;但在主觀視覺上,ESRGAN 生成的圖像最清晰,無論從顏色、紋理分布更接近HR圖像,RCAN 較為模糊,這也說明了傳統客觀評價標 準的局限性.

圖23 部分模型的主觀視覺與PSNR 的比較Fig.23 Comparison of subjective vision and PSNR of partial models

4.2 運行時間的對比

除了圖像質量評估外,運行時間也是評價網絡模型性能優劣的重要指標之一.運行時間指測試時重建一張高分辨率圖像的時間.如表7 所示,其中“ —”代表未發現此項.

表7 部分網絡模型在各測試數據集上的運行時間對比Table 7 The comparison of running time of partial network models on each testing datasets

5 思考與展望

雖然深度學習的出現,使基于單幅圖像超分辨率重建算法性能得到準確率與速度的提升,但目前仍然存在很多不足:

1)基于無監督學習的單幅圖像超分辨率重建算法的研究問題

文獻[68,77]雖然提出了基于無監督學習的超分辨率重建的算法,但這方面可供參考的文獻仍然很少,且目前獲取HR-LR 圖像對的主流方法依然包含很多主觀因素,不能很好地代替現實數據集.若采用無監督學習的方法,無需大量樣本進行訓練,也可節約獲取大量數據集的時間,直接使用現實圖像進行訓練與測試,不依靠外部數據集,更能提高模型的泛化能力,因此研究基于無監督學習的單幅圖像超分辨率重建算法很有必要.

2)盲超分辨率解決的問題

盲超分辨率是指從高分辨率圖像到低分辨率圖像下采樣的尺度未知,需要預先估計模糊核.在模糊核不匹配時,模型得到的SR 圖像會過于模糊或產生振鈴效應,只有在模糊核匹配時,才會有較好的圖像超分辨率效果[100],因此估計退化模糊核是一個關鍵步驟.文獻[79?81]提出了關于此方面的解決方法,但盲超分辨率問題仍然有很大的上升空間,如何構建深度學習模型來解決盲超分辨率依舊是未來值得關注的問題.

3)使用一種模型可實現任意倍率縮放的超分辨率算法的問題

文獻[72]提出的Meta-SR 網絡模型,僅使用一種模型就實現了任意倍率的縮放(不限于整數),使重建圖像的尺寸大小不再拘泥于輸入圖像的如×2、×3、×4、×8、×16 等整數倍率,還可實現×1.2、×1.5 等小數倍率的圖像重建,這是一個很有價值的創新,解決了多年來被人們忽視但卻很重要的問題,未來在此方向還會有更多的學者進行研究探索與創新.

4)應用到現實場景中的問題

雖然從深度學習出現之后,在單幅圖像超分辨率算法上得到了很大的進步與改良.但許多算法模型應用到現實場景中,往往得不到預期的效果,甚至有時比傳統算法得到的圖像質量還要差.如何提升模型的泛化能力,將其早日應用到實踐當中是當前最為重要的問題.未來的發展趨勢將會是傳統算法與神經網絡的結合,既能發揮傳統算法先驗知識的重要性,又能實現端到端高層語義特征的學習,更好的解決現實場景中圖像超分辨率重建的問題.

6 結論

超分辨率重建在計算機視覺領域具有重要的研究意義和應用價值,本文首先介紹單幅圖像超分辨率重建的常用公共圖像數據集;然后,重點闡述基于深度學習的單幅圖像超分辨率重建方向的創新與進展;最后,討論了單幅圖像超分辨率重建方向上存在的困難和挑戰,并對未來的發展趨勢進行了思考與展望.總體而言,深度學習為解決單幅圖像超分辨率重建問題上提供了新的技術,取得了較為顯著的成果,但將其應用到現實場景中仍存在很多問題,如現實生活中得到的低分辨率圖像并不是從高分辨率圖像雙三次下采樣得到的,而許多基于深度學習的超分辨率模型訓練時都是將雙三次下采樣得到的低分辨率圖像作為輸入,測試時若將現實生活中的低分辨率圖像作為輸入,重建的效果往往不是很好等等諸多問題.說明目前深度學習技術還不夠成熟,有很大的上升空間,但其前景可期,且圖像超分辨率重建技術具有很大的實用價值,因此基于深度學習的單幅圖像超分辨率重建依然是一個亟待研究 的重點方向.

致謝

感謝山東大學賁晛燁教授在論文修改過程中的建議.