基于稀疏編碼的圖像超分辨率復(fù)原*

李 麗 李旭健

（山東科技大學(xué)計算機科學(xué)與工程學(xué)院 青島 266590）

1 引言

圖像超分辨率（Super Resolution）重建是指從單張或多張低分辨率圖像中重建出高分辨率圖像的一門技術(shù)，在醫(yī)療圖像、監(jiān)控設(shè)備、衛(wèi)星遙感圖像等領(lǐng)域都有重要的應(yīng)用價值。目前圖像超分辨率技術(shù)主要分為三大類：基于插值（interpolation based）、基于重構(gòu)（reconstruction based）、基于學(xué)習(xí)（learning based）的方法?；诓逯档姆椒ǎ?］是指通過某個點周圍若干個已知點的值，以及周圍點和此點的位置關(guān)系，根據(jù)一定的公式算出此點的值，主要的插值法有最近鄰域插值法（nearest neighbor interpolation）、三次內(nèi)插法（bicubic interpolation）等?；谥貥?gòu)的方法常用于多幀圖像，旨在重建低分辨率圖像丟失的高頻信息，主要的方法有凸集投影法（Projection onto Convex Set，POCS）［2］、迭代反投影法（Iterative back projection，IBP）［3］、最大后驗概率估計法（Maximum a posteriori estimation，MAP）、貝葉斯分析法（Bayesian Analysis）［4］等。基于學(xué)習(xí)的方法充分利用了圖像的先驗知識，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［5～9］、稀疏編碼（Sparse Coding）［10～14］等方法已得到廣泛應(yīng)用。經(jīng)典的基于學(xué)習(xí)的方法，如Gu 等提出了一種基于超分辨率的卷積稀疏編碼方法［15］解決一致性問題；Yang等從壓縮感知的角度提出了基于稀疏編碼的方法［16］，確保了高分辨率圖像塊之間的線性關(guān)系可以從它們的低維投影中精確恢復(fù)；Zhang 等提出了一種協(xié)作表示級聯(lián)（Collaborative Representation Cas-cade，CRC）框架［17］，學(xué)習(xí)LR 和HR 特征對之間的多層映射。目前基于學(xué)習(xí)的方法已成為圖像超分辨率領(lǐng)域的熱門研究方向，基于插值、基于重構(gòu)的方法為基于學(xué)習(xí)的方法起輔助作用。

本文在基于學(xué)習(xí)的方法中，針對單幅圖像超分辨率問題［18］提出了一種稀疏編碼與神經(jīng)網(wǎng)絡(luò)相結(jié)合的算法，比現(xiàn)有的方法在算法執(zhí)行速度和視覺效果上都有所提高。

2 結(jié)合神經(jīng)網(wǎng)絡(luò)的字典訓(xùn)練與重建

稀疏編碼算法是一種無監(jiān)督學(xué)習(xí)方法，它的目的就是找到一組“超完備”基向量φi，使得將輸入向量x表示為這些基向量的線性組合（ai為稀疏表示系數(shù)），使用稀疏編碼可以更高效地表示樣本數(shù)據(jù)。如Timofte 等提出的基于實例的快速超分辨率的錨定鄰域回歸（Anchored neighborhood regression）算法［19］，該算法將稀疏學(xué)習(xí)字典與鄰居嵌入方法相結(jié)合，使運算速度得到提高。由于在單幅圖像超分辨率重建過程中，會出現(xiàn)“不適定性”，引入稀疏先驗約束后，可以保證重建后的圖像有穩(wěn)定、唯一的解。如Zeyde 等［20］提出的使用主成分分析（Principal component analysis，PCA）算法減少低分辨率特征維度，并使用正交匹配追蹤（orthogonal matching pursuit）算法得到稀疏表示系數(shù)，使重建圖像更加準(zhǔn)確。

卷積神經(jīng)網(wǎng)絡(luò)憑借其強大的自學(xué)習(xí)和自適應(yīng)的能力被廣泛應(yīng)用。其中，前饋神經(jīng)網(wǎng)絡(luò)從輸入層開始，各神經(jīng)元只從前一層接受信息傳遞到下一層，中間沒有任何反饋操作，這種類似于有向無環(huán)圖的結(jié)構(gòu)形式有利于提高稀疏編碼中字典訓(xùn)練的速度與精度。如Wohlberg 提出了卷積稀疏表示的有效算法［21］，該算法利用一組卷積與字典過濾器的總和替換一組字典向量的線性組合來計算整個圖像的稀疏表示，對整個圖像進(jìn)行聯(lián)合優(yōu)化。

反向傳播算法是一種監(jiān)督學(xué)習(xí)算法，它通過激勵傳播、權(quán)重更新反復(fù)循環(huán)迭代，直到網(wǎng)絡(luò)對輸入的響應(yīng)達(dá)到預(yù)定的目標(biāo)范圍為止。利用反向傳播算法與前饋神經(jīng)網(wǎng)絡(luò)，對稀疏編碼過程中的參數(shù)反復(fù)更新，可以更快速準(zhǔn)確地得到稀疏表示系數(shù)。

2.1 稀疏編碼過程

稀疏編碼的本質(zhì)是一個目標(biāo)向量由少量的基向量經(jīng)線性擬合表示的過程，且基向量空間存在一定的冗余。m 個輸入向量的稀疏編碼代價函數(shù)可以定義為

此處φi表示一組“超完備”基向量，S(.)是一個稀疏代價函數(shù)，由它來對遠(yuǎn)大于零的ai進(jìn)行“懲罰”。稀疏編碼目標(biāo)函式的第一項可以解釋為一個重構(gòu)項，這一項迫使稀疏編碼算法能為輸入向量x提供一個高擬合度的線性表達(dá)式，而公式第二項即稀疏懲罰項，它使x的表達(dá)式變得稀疏。常量λ是一個變換量，由它來控制這兩項式子的相對重要性。

因此假設(shè)X表示高分辨率圖像，Y表示低分辨率圖像，為高分辨率圖像塊，為與x對應(yīng)的低分辨率圖像塊。x、y可以分別用超完備字典DX、Dy和一些稀疏表示系數(shù)αx、αy表示出來。由于x到y(tǒng)退化過程近似于線性，所以我們假設(shè)稀疏表示系數(shù)αx=αy=α。

2.2 神經(jīng)網(wǎng)絡(luò)過程

為了快速得到稀疏表示系數(shù)，提出了稀疏編碼與神經(jīng)網(wǎng)絡(luò)相結(jié)合的結(jié)構(gòu)。使用前饋神經(jīng)網(wǎng)絡(luò)，使其每一層嚴(yán)格對應(yīng)稀疏編碼的每一步，這樣稀疏表示先驗在網(wǎng)絡(luò)結(jié)構(gòu)中被有效地編碼，同時稀疏編碼的所有組成部分都可以通過反向傳播算法進(jìn)行聯(lián)合訓(xùn)練，至此構(gòu)成了一個稀疏編碼網(wǎng)絡(luò)。級聯(lián)多個稀疏編碼網(wǎng)絡(luò)［22］，得到更加精確的稀疏表示系數(shù)，對重建結(jié)果進(jìn)一步增強。

2.3 重建過程

單幅圖像超分辨率解決的是給定一張低分辨率圖像Y，復(fù)原出其對應(yīng)的高分辨率圖像X的問題。在字典訓(xùn)練階段，對訓(xùn)練集中的每個原始圖像進(jìn)行下采樣得到對應(yīng)的低分辨率圖像，生成高低分辨率圖像對，利用每個圖像對訓(xùn)練得到兩個超完備字典［23］DX、Dy。在特征編碼階段，利用訓(xùn)練得到的具有相同稀疏表示系數(shù)的DX、Dy，對于每個輸入的低分辨率圖像，將其劃分為3*3 大小的圖像塊，從左上角開始，每個方向上有一個像素的重疊。計算出圖像塊y的平均像素值，利用進(jìn)行約束優(yōu)化，得到α*，從而產(chǎn)生對應(yīng)的高分辨率圖像塊x=Dhα*，將各個高分辨率圖像塊組合成一個高分辨率圖像。為改善不適定性問題，使用梯度下降法［24］，找到最接近原始圖像的高分辨率圖像。為提高算法對圖像復(fù)原的處理精度，提出了級聯(lián)稀疏編碼網(wǎng)絡(luò)的方法。實驗中我們發(fā)現(xiàn)相比于直接使用較大的縮放因子，使用較小的縮放因子會產(chǎn)生更好的效果，對比結(jié)果如表1所示。

表1 三種縮放因子的平均PSNR（dB）

3 實驗結(jié)果

實驗訓(xùn)練數(shù)據(jù)集為91 images 和BSD 200，共291張不同的彩色圖像，用于測試的數(shù)據(jù)集為Set5、Set14，共19 張不同的彩色圖像，字典采樣數(shù)目為50000，字典大小為1024。為了與現(xiàn)有的圖像超分辨率算法做比較，只對圖像的亮度通道（YCrCb 彩色空間，Y通道表示亮度通道）進(jìn)行訓(xùn)練和測試。

目前最常用的圖像超分辨率的評測標(biāo)準(zhǔn)［25～26］是峰值信噪比（Peak Signal to Noise Ratio，PSNR），單位為dB，通常會根據(jù)PSNR 衡量結(jié)果圖像相對于原圖像的復(fù)原程度，其值越大，就代表失真越少，復(fù)原圖像越逼真。

用于測試的三張彩色圖像分別為head（Set 5）、comic（Set 14）和woman（Set 5），其Y 通道（亮度通道）用本文算法進(jìn)行重建，Cr通道（紅色與亮度值的差異）和Cb 通道（藍(lán)色與亮度值的差異）利用雙三次插值算法進(jìn)行重建，并與Zhang 等提出的基于自適應(yīng)局部非參數(shù)回歸的快速單圖像超分辨率（Adaptive Local Nonparametric Regression for Fast Single Image Super-Resolution）［27］算法進(jìn)行比較，該方法利用字典、回歸和統(tǒng)計先驗來提高圖像復(fù)原效果，減少了內(nèi)存利用率。這里僅展示了縮放因子為3 的情況下，兩種算法的圖像復(fù)原情況對比，如圖1所示。實驗過程中，對兩種算法的復(fù)原時間也進(jìn)行了分析比較，對比結(jié)果如表2所示。

表2 兩種算法在縮放因子=3時平均運行時間測試結(jié)果

觀察可知，本文算法的復(fù)原效果最明顯，與原圖較接近。如圖像woman，本文算法重建后的圖像噪聲最少，重建圖像邊緣最清晰；圖像comic，ALNR算法存在偽影，本文算法重建圖像邊緣較清晰；圖像head，兩種算法重建圖像相差不多，改善效果并不明顯。結(jié)果發(fā)現(xiàn)，針對相同的彩色圖像，本文算法重建結(jié)果更加準(zhǔn)確，執(zhí)行速度更快速。

圖1 不同超分辨率算法放大圖像3倍對比

4 結(jié)語

提出了一種稀疏編碼與神經(jīng)網(wǎng)絡(luò)相結(jié)合的超分辨率圖像復(fù)原算法。該算法利用前置神經(jīng)網(wǎng)絡(luò)對稀疏編碼階段的跟蹤，以及反向傳播算法對稀疏編碼所有組成部分的聯(lián)合訓(xùn)練，得到了更精確的稀疏表示系數(shù)，從而得到更精準(zhǔn)的復(fù)原圖像。另外，級聯(lián)多個稀疏編碼網(wǎng)絡(luò)對重建結(jié)果進(jìn)行了進(jìn)一步的增強。從實驗結(jié)果看，該算法重建圖像的PSNR超過了目前已存在的基于稀疏編碼算法的復(fù)原效果，從復(fù)原結(jié)果圖可以看出，該算法重建后的圖像邊緣更加清晰。綜上所述，稀疏編碼與神經(jīng)網(wǎng)絡(luò)相結(jié)合可以提高圖像的復(fù)原精度與重建速度。