基于深度稀疏表示的超分辨率圖像重建

施華　李燕　陳譯

【摘要】? ? 探討傳統(tǒng)的稀疏表示算法模型，結(jié)合深度神經(jīng)網(wǎng)絡(luò)方法，從稀疏求解、數(shù)據(jù)字典、深度學(xué)習(xí)框架的角度對基于深度稀疏表示的超分辨圖像重建進(jìn)行研究。實驗針對單通道和多通道圖像的進(jìn)行尺度超分辨率重建，以及針對像素值損毀圖像從進(jìn)行幅值超分辨率重建，在主觀可視化和客觀指標(biāo)上均取得了較好的重建效果。

【關(guān)鍵詞】? ? 稀疏表示? ? 深度學(xué)習(xí)? ? 圖像修復(fù)? ? 超分辨率重建

引言：

基于稀疏表示的圖像重建是計算機視覺領(lǐng)域的難點與熱點問題。傳統(tǒng)的稀疏表示[1-2]依賴于壓縮傳感理論，它對采樣信號帶寬不作要求，而是采用稀疏性約束。隨著深度學(xué)習(xí)的興起，SRCNN算法[3]的出現(xiàn)，開啟了深度學(xué)習(xí)在超分辨率圖像重建中的應(yīng)用。它是一個低分辨和高分辨之間端到端的非線性映射關(guān)系的學(xué)習(xí)算法，在重建效率方面遠(yuǎn)勝于傳統(tǒng)重建方法。在此基礎(chǔ)上VDSR算法[4]被提出，它使用非常深的神經(jīng)網(wǎng)絡(luò)模型來進(jìn)行模型預(yù)測，結(jié)合殘差學(xué)習(xí)來進(jìn)行超分，對深度學(xué)習(xí)在圖像超分辨率重建領(lǐng)域產(chǎn)生了較大影響。借鑒稀疏表示算法在數(shù)據(jù)重構(gòu)中的泛化能力，基于稀疏表示的深度學(xué)習(xí)被提出[5]，成為深度學(xué)習(xí)在圖像超分辨重建中的典型應(yīng)用。國內(nèi)研究者在基于深度稀疏的圖像超分辨重建領(lǐng)域也開展了相關(guān)的研究。文獻(xiàn)[6]將深度稀疏重建應(yīng)用于小樣本的人臉識別;文獻(xiàn)[7]將深度稀疏重建應(yīng)用于視頻中的3D人體姿態(tài)估計;這些方法大都在具體應(yīng)用場景，從稀疏表示的約束與求解、深度學(xué)習(xí)算法的適應(yīng)性等兩個角度進(jìn)行探討。本文將傳統(tǒng)的稀疏表示方法融入深度卷積神經(jīng)網(wǎng)絡(luò)中，針對單通道灰度圖尺度重建、多通道彩色圖尺度重建和損毀圖像幅值重建軍等三方面探討圖像的修復(fù)重建工作。

一、基于深度稀疏表示的圖像重建算法

（一）噪聲信號下的稀疏問題求解

在壓縮傳感的框架下，壓縮傳感與稀疏表示在數(shù)學(xué)概念上對等，都要求信號稀疏。如下圖1所示，在壓縮傳感中，x是高維原始信號，y是低維壓縮信號。在稀疏表示中，D是過完備字典，y是原始信號在字典D下的稀疏表達(dá)，通過稀疏重建去恢復(fù)或逼近原始信號x。CS框架下過完備字典的稀疏表示模型要求：信號y是稀疏的，α為信號y的稀疏表示，約束條件要求‖α‖0盡可能地小。

由上式知，傳統(tǒng)的稀疏研究分為兩個方面：i）稀疏分解，關(guān)注α的分解問題;ii）字典建立，關(guān)注D的建立過程。在實際測量過程中信號y=Dα一般會引入噪聲n，于是變成y=Dα+n。此時，式（1）的等式約束優(yōu)化問題改為式（2）的不等式約束。其中，ε為噪聲或非嚴(yán)格稀疏引入的偏差。

在式（2）中，當(dāng)p=0時，就是提及的貪婪算法模型;論文采用經(jīng)典的正交匹配追蹤算法（OMP）[1]，它是一種典型的貪婪的迭代算法。其基本思想是：它需要將所選的原子利用Gram-Schmidt正交化方法進(jìn)行正交化處理，再將信號在這些正交原子構(gòu)成的空間上投影，得到信號在各個已選原子上的分量和殘差分量，然后用相同方法分解殘差分量。

（二）數(shù)據(jù)字典的表示

對于過完備字典D（D∈R中L>>n）的構(gòu)建，通常有基于分析的方法與基于學(xué)習(xí)的方法。在基于分析的方法中，字典是公式化的，它通過數(shù)學(xué)模型計算所得，這種方法的字典結(jié)構(gòu)性較好，并有快速數(shù)值計算方法，由隱式矩陣表示。常用的有DCT字典，小波字典等，這種字典結(jié)構(gòu)相對固定，對不同類型的數(shù)據(jù)自適應(yīng)能力差。

論文初始字典為經(jīng)典的DCT字典，矩陣元素為如下（3）式。將式中dct（i， j）矩陣歸一化后，對DCT矩陣張量積就能得到n×k的初始DCT字典。

基于學(xué)習(xí)的方法是從一些樣本中通過機器學(xué)習(xí)推理而來，也稱學(xué)習(xí)字典，它的優(yōu)化問題可以采用如下式（4）稀疏性約束。在訓(xùn)練學(xué)習(xí)字典時，需要對數(shù)據(jù)字典進(jìn)行初始化（如采用DCT字典），該方法對于原圖像的效果重建效果更好，但需要一個學(xué)習(xí)過程。

（三）深度稀疏表示算法

在深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）的特征空間對圖像特征進(jìn)行提取和修改，設(shè)計的深度特征遷移模型包含三個部分：1.編碼器;2.解碼器;3.特征遷移模塊。

在圖像底層特征表示中，無論是采用圖像原始的像素還是圖像的局部特征描述，其數(shù)據(jù)往往都處于高維空間，且數(shù)據(jù)形式上通常都不是稀疏的。論文探討的圖像稀疏特征學(xué)習(xí)模型即是在圖像局部特征提取的基礎(chǔ)上，采用SR模型，對圖像局部特征描述子進(jìn)行稀疏編碼，再經(jīng)過特征池化等操作，使得圖像內(nèi)容最終由一個高維的稀疏向量來表示。其流程如圖2所示。

二、實驗設(shè)計與結(jié)果分析

（一） 數(shù)據(jù)字典的設(shè)計

論文采用傳統(tǒng)的K-SVD算法[8]解決稀疏系數(shù)與學(xué)習(xí)字典的生成問題。實驗中探討了DCT、全局和自適應(yīng)字典三種方法，如圖3所示。其中，DCT字典采用公式（3）、（4）生成。全局字典從與自身圖像無關(guān)的數(shù)據(jù)庫選取適量圖像通過K-SVD的字典更新訓(xùn)練得到。實驗從LabelMe圖像庫中隨機取出15000張圖像，得到接近200000個圖像塊，經(jīng)過訓(xùn)練得到了全局化的字典，如下圖3（b）所示;這種字典包含的特征來自眾多不同的場景，從而在一定程度上保證了數(shù)據(jù)的多樣性。圖3（c）的自適應(yīng)字典是在初始字典基礎(chǔ)上，利用待處理圖像lena本身進(jìn)行字典訓(xùn)練，這種方式恢復(fù)效果更好，圖像細(xì)節(jié)更豐富，但局限于特定圖像重建。

（二）單通道灰度圖像的超分辨率重建

表1中的源圖從與Gonzalez等[9]的著作相配套的網(wǎng)站上下載。對比從SSIM 結(jié)構(gòu)相似性和PSNR峰值信噪比兩個方面進(jìn)行3×3的圖像重建，結(jié)果如表1所示。實驗是基于全局字典的深度稀疏重建，并與最近鄰插值法、基于K-VSD的全局字典法進(jìn)行比較。通過大量測試數(shù)據(jù)的對比，最近鄰插值法的結(jié)果相對差一些，但其優(yōu)勢在于速度比較快;基于經(jīng)典的稀疏表示重建算法強于最近鄰插值法;而論文所提出的基于全局字典的深度稀疏算法從統(tǒng)計結(jié)果看優(yōu)于其他兩類算法。

（三）基于多通道的圖像重建

對于RGB三通道彩色圖像，直觀的理解就是針對三通道分別處理。但這個方法會引起了一定的問題。圖像變成了三通道，相較于灰度圖像在信息量上增加3倍，采用相同大小的字典不足以充分表達(dá)RGB三通道的色彩多樣性。論文通過增加字典的尺度，并引入 文獻(xiàn)[10]中的通道間的約束度量方法。

假設(shè)y和x兩個圖像塊是（R，G，B）的列向量，則定義如下式（5）的內(nèi)積來衡量它們間的關(guān)聯(lián)：

實驗中進(jìn)行的是2×2的圖像重建。如果不建立圖像三通道的關(guān)聯(lián)，會產(chǎn)生一定的色彩偏差，而建立關(guān)聯(lián)的圖像則更真實。

（四） 基于深度稀疏的損毀圖像重建

實驗針對損毀圖像的修復(fù)進(jìn)行探討，不是從尺度上進(jìn)行LR到HR的重建，而是從數(shù)據(jù)丟失的角度進(jìn)行探討。實驗中進(jìn)行了大量的數(shù)據(jù)測試，圖5是標(biāo)準(zhǔn)的castle圖的修復(fù)效果。

圖5（a）是源圖像;圖5（b）是在RGB三通道中隨機丟失了80%像素值，在實現(xiàn)上直接將該像素值置為0，當(dāng)同一坐標(biāo)處RGB值同時為0時，即為絕對的黑點。損毀后的圖片存在著大量這樣的黑點。 圖5（c）是采用深度稀疏后的修復(fù)效果圖，主觀可視化上基本還原了目標(biāo)的本來面貌。

三、結(jié)束語

隨著人工智能與大數(shù)據(jù)應(yīng)用不斷拓展，社會生活對高分辨率影像的需求與日俱增。采用硬件方式提升分辨率存在成本昂貴和技術(shù)瓶頸等問題，而軟件的低成本和低門檻的特點會有著廣闊的應(yīng)用前景。此外，超分辨率重建問題也是計算領(lǐng)域典型的欠定問題，存在數(shù)學(xué)理論共性;該問題的探討有著一定的理論意義。后續(xù)隨著傳感壓縮理論的不斷完善與深度學(xué)習(xí)方法的更新推進(jìn)，圖像超分辨率重建將會逐步由現(xiàn)有的3×3和4×4尺度擴展到更高尺度的計算。

作者單位：施華? ? 李燕? ? 陳譯? ? 廈門理工學(xué)院光電與通信工程學(xué)院

參? 考? 文? 獻(xiàn)

[1] S. Mallat， Z. Zhang. Matching pursuits with time-frequency dictionaries[J]. IEEE Transactions on Signal Processing. 1993， 41（12）：3397-3415.

[2] D. L. Donoho. Compressed sensing[J]. IEEE Transactions on Information Theory. 2006， 52（4）：1289-1306.

[3] Dong C， Loy C C， He K， et al. Image super-resolution using deep convolutional networks[J]. IEEE transactions on pattern analysis and machine intelligence， 2015， 38（2）： 295-307.

[4] J.Kim， J.K.Lee， K.M.Lee. Accurate Image Super-Resolution Using Very Deep Convolutional Networks[C]. 2016， CVPR

[5] S.Simone， C.Danilo， H.Amir; U.Aurelio. Group sparse regularization for deep neural networks[J]. Neurocomputing. 2017， 7：81-89.

[6] 馬曉，張番棟，封舉富. 基于深度學(xué)習(xí)特征的稀疏表示的人臉識別方法[J]. 智能系統(tǒng)學(xué)報. 2016，11（03）：279-286.

[7] 王偉楠，張榮，郭立君. 結(jié)合稀疏表示和深度學(xué)習(xí)的視頻中3D人體姿態(tài)估計[J]. 中國圖象圖形學(xué)報. 2020，25（03）：456-467.

[8] M. Aharon， M.Elad， A.Bruckstein. K-SVD： An algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transaction on Image Processing. 2006， 54（11）：4311-4322.

[9] R. C. Gonzalez， R. E. Woods. Digital image processing（影印版）[M]. 北京： 電子工業(yè)出版社， 2016.

[10] J.Mairal， M.Elad and G.Sapiro. Sparse Representation for color image restoration[J]. IEEE Transactions on Image Processing. 2008，17（1）： 53-69.