基于針對性字典的壓縮圖像稀疏超分辨率重建

何靜波，何小海，陳洪剛，張曉琳，黃建秋

(四川大學　電子信息學院，四川　成都 610065)

?

基于針對性字典的壓縮圖像稀疏超分辨率重建

何靜波，何小海，陳洪剛，張曉琳，黃建秋

(四川大學電子信息學院，四川成都 610065)

摘要：為了有效地重建壓縮低分辨率圖像，提出一種基于針對性字典的壓縮圖像稀疏超分辨率重建算法。首先，根據壓縮低分辨率圖像的形成特點，對訓練庫圖像進行針對性的下采樣壓縮編碼處理，進行超完備字典的訓練；然后，通過訓練所得的針對性字典對壓縮低分辨率圖像進行稀疏表示的超分辨率重建。為進一步恢復圖像的高頻信息，進行了針對性殘差字典訓練，并對圖像進行高頻信息補償，得到稀疏重建后的圖像主觀效果更加突出，客觀評價參數也得到較大提升。實驗結果表明，該算法對壓縮圖像的超分辨率重建更具針對性，具有良好魯棒性和高效性。

關鍵詞：壓縮圖像；超分辨率重建；字典訓練；稀疏表示

近年來，將超分辨率重建技術引入圖像壓縮編碼以得到更優壓縮效果的研究成為熱點。尤其在視頻方向發展迅速，這是由于視頻序列中相鄰幀存在較強相關性以及較豐富的冗余信息。文獻[1-4]均采用了基于視頻壓縮編碼的下采樣超分辨率重建框架，其核心在于部分關鍵幀信息按原始尺寸直接編碼傳輸，其他非關鍵幀進行下采樣之后再編碼傳輸，其中文獻[1]采用了基于運動搜索運動補償的超分辨率重建算法，文獻[2-3]采用了基于樣例的超分辨率重建算法，文獻[4]則采用了基于塊的超分辨率重建算法。相較之下，在單幅圖像方面，融合超分辨率重建技術的圖像壓縮由于單幅圖像無法提供足夠的先驗信息，使得重建圖像的主觀視覺效果無法令人滿意。

與此同時，在單幅圖像的超分辨率重建方面，基于稀疏表示的超分辨率重建算法研究趨于成熟，其重建效果相較傳統圖像的超分辨率算法優勢明顯，重建圖像主觀視覺效果良好。稀疏表示理論來源于壓縮感知，該理論指出：一幅圖像能夠在非常苛刻的條件下由它的一組稀疏表示系數在超完備字典上得到精確重建。文獻[5-6]首次把圖像稀疏表示理論引入到圖像的超分辨率重建之中，提出了一種基于超完備字典的圖像稀疏表示超分辨率重建算法。文獻[7]提出一種新穎的SCDL半耦合字典學習算法，該算法松弛了高低分辨率圖像相對應超完備字典具有相同稀疏表示系數這一假設條件，提出兩者之間存在一種穩定的映射關系。文獻[8]采用了一種自學習的超分辨率重建框架，將支持向量機與稀疏表示相結合使用。文獻[9]提出了一種使用beta過程實現聯合字典的估計，對其中的稀疏系數只限定其支持集的相等關系，不限定其數值上的相等關系。文獻[10]則提出一種快速的基于圖像自訓練的稀疏超分辨率重建算法，對輸入的低分辨率圖像進行自訓練得到字典完成稀疏重建。由于單幅圖像稀疏超分辨率重建的高效性，促進了圖像壓縮編碼與超分辨率重建技術的融合。

目前基于稀疏表示的超分辨率重建算法中，由于超完備字典訓練的局限，只適用于未經壓縮編碼的低分辨率圖像。針對該問題，本文提出一種基于針對性字典的壓縮圖像稀疏超分辨率重建算法。根據壓縮低分辨率圖像的形成特點，對訓練庫圖像進行針對性的下采樣壓縮編碼處理，進行超完備字典的訓練。同時，為進一步恢復圖像的高頻信息，進行了針對性殘差字典的訓練，對圖像進行高頻信息補償。

1基于稀疏表示單幅圖像的超分辨率重建

基于稀疏表示單幅圖像的超分辨率重建核心在于得到稀疏先驗，稀疏先驗假設高分辨率塊可以在超完備字典近似稀疏表示。基于圖像稀疏表示理論，定義Dl為通過輸入的低分辨率訓練圖像訓練得到的超完備字典，低分辨率訓練庫圖像塊Yl可以由低分辨率字典Dl稀疏線性表示

Yl=Dlα

(1)

式中：α為稀疏表示系數，這個系數包含很少的非零分量，由于低分辨率字典是冗余的，所以稀疏表示系數并不唯一確定，于是求解稀疏系數變成下面的公式

(2)

式中：‖α‖0表示稀疏系數中非零分量的數目；ε表示非線性逼近的容差空間。用正交匹配追蹤(OMP)算法來求解稀疏表示系數，根據文獻[5-6]中的基本思想，高分辨率訓練庫圖像塊Yh可以用同樣的稀疏表示系數，在高分辨字典上Dh得到稀疏表示

Yh=Dhα

(3)

通過高分辨率訓練庫圖像塊和稀疏表示系數可以求得高分辨率字典Dh，上述公式本質就是通過訓練高分辨率圖像塊以得到高分辨率字典，高低分辨率字典的聯合就組成了稀疏重建的先驗知識(Dl，Dh)。

利用訓練庫圖像得到先驗知識(Dl，Dh)，對輸入待重建的低分辨率圖像塊，這個稀疏先驗知識將會重建出高分辨率圖像塊，輸入待重建圖像的低分辨率塊Xl在低分辨率字典上Dl得到稀疏表示

Xl=Dlβ

(4)

該稀疏表示系數β可以通過下面的公式求取

(5)

此時需要重建得到的高分辨率圖像塊可以通過同樣的稀疏表示系數在高分辨率字典上得到

Xh=Dhβ

(6)

對輸入的每個待重建的低分辨率圖像塊，都通過上述的方式通過高分辨率字典重建得到高分辨率圖像塊，將這些高分辨率圖像塊融合得到完整的稀疏重建高分辨率圖像。

然而，上述稀疏先驗是對于普通低分辨率圖像重建有效，對于壓縮編碼的低分辨率圖像重建局限性較大。由于稀疏先驗未針對壓縮低分辨率圖像的形成特點，超完備字典對壓縮圖像的稀疏重建無法得到高質量的重建圖，限制了單幅圖像的超分辨率技術與圖像壓縮編碼的融合。為解決這一問題，本文提出一種基于針對性字典的壓縮圖像稀疏超分辨率重建，在超完備字典的訓練過程中注重針對壓縮低分辨率圖像的形成特點，使得字典訓練針對性大幅增強。與此同時，為進一步恢復稀疏重建圖像的高頻信息，進行針對性殘差字典訓練，對圖像進行高頻信息補償。

2基于針對性字典的壓縮圖像稀疏超分辨率重建

2.1壓縮圖像的針對性字典訓練算法

結合壓縮低分辨率圖像的形成特點，提出了針對性字典訓練算法。算法核心在于改變原有超完備字典的訓練方式，根據壓縮低分辨率圖像形成原因，對訓練庫圖像進行針對性的下采樣壓縮編碼處理，進行超完備字典的訓練。本文為了敘述的簡潔，下采樣因子采用2，壓縮編碼采用JPEG編解碼標準，可擴展到其他下采樣因子、圖像壓縮編碼標準。壓縮低分辨率圖像的針對性字典訓練算法流程如圖1所示，具體的訓練過程如下。

1)對所有訓練庫圖像統一進行下采樣操作，得到下采樣訓練庫圖像；

2)對所有下采樣訓練庫圖像統一進行JPEG標準編碼，然后對壓縮的訓練庫圖像使用JPEG標準進行解碼，得到JPEG 解碼后的下采樣圖像；

3)對JPEG 解碼后的下采樣圖像進行統一的BM3D[11-14]去噪處理，去除編解碼過程中產生的量化噪聲，得到去除噪聲后的壓縮下采樣訓練庫圖像；

4)為得到更好的初始訓練圖像，對所有去除噪聲后的壓縮下采樣圖進行SAI插值[13]，得到超完備字典訓練所需低頻信息；

5)訓練庫原始圖像與插值圖像相減將會得到字典訓練所需的高頻信息，高、低頻信息的聯合訓練[12]，得到重建所需的稀疏先驗，即融合SAI插值的針對性高低頻字典對。

2.2針對性殘差字典訓練算法

壓縮低分辨率圖像經過稀疏重建后，得到的重建圖像與原始圖像相比較，依然存在較多的殘差信息沒有得到充分的利用，為了更好利用到這些損失的高頻殘差信息，在使用了融合SAI插值的針對性字典稀疏重建后，本文將繼續針對性的訓練高、低頻殘差字典對，使用針對性殘差字典對稀疏重建后的圖像進行高頻信息補償，以恢復圖像更多的高頻細節信息，使得最終的稀疏重建圖像主客觀質量俱佳。針對性殘差字典訓練流程如圖2，具體過程如下。

1)訓練圖像集進行下采樣操作，得到下采樣訓練圖像集；

2)下采樣訓練圖像集進行JPEG標準編解碼工作，得到壓縮的下采樣訓練圖像集；

3)壓縮的下采樣訓練圖像集使用BM3D算法去除編解碼過程中產生的量化噪聲；

4)去噪后的壓縮下采樣訓練圖像集進行SAI插值，得到稀疏重建的低頻信息圖像；

5)插值得到的低頻信息圖像通過針對性高低頻字典對重建出高頻信息圖像；

6)高、低頻重建圖像相結合將得到第一次稀疏重建訓練圖像集；

7)原始訓練圖像集與第一次重建得到的圖像集相減得到新的殘差字典高頻信息；

8)第一次重建圖像將作為殘差字典訓練的低頻信息；

9)高低頻信息聯合訓練，得到最終的針對性殘差高低頻字典對。

2.3壓縮圖像稀疏超分辨率重建

本文重建算法主要采用文獻[12]中的方法，具體的壓縮圖像稀疏超分辨率重建流程如圖3所示。首先，對JPEG壓縮低分辨率圖像進行BM3D去噪，用于消除編解碼過程中產生的量化噪聲。其次，為了得到更好的初始重建圖像，對去除噪聲后的壓縮圖像進行SAI插值，得到稀疏重建過程中所需的低頻信息圖像；然后，通過針對性超完備字典對低頻信息圖像進行稀疏重建得到高頻信息圖像，再與插值得到的低頻信息圖像相結合即可得到第一次稀疏重建的圖像。最后，為了進一步提升圖像主客觀質量，使用針對性殘差字典對稀疏重建后的圖像進行高頻信息補償，得到最終重建圖像。

3實驗結果

在JPEG標準編解碼過程中，參數QP控制編解碼圖像的質量，質量因子QP的賦值從0～100，QP值越大意味著編解碼得到的圖像質量越高。為了驗證針對性訓練字典的有效性和穩定性，本文對多組質量因子QP(40，50，60，70)進行實驗。

圖4～圖6為測試圖像分別采用bicubic算法、ScSR算法[5]、Yang的算法[8]、BP-JDL算法[9]和本文算法在不同質量因子QP下的主觀視覺對比效果，從這些對比圖像可以明顯看出bicubic算法重建效果較差，重建得到的圖像比較模糊；ScSR算法重建圖像視覺效果依然較為模糊，振鈴現象比較嚴重；Yang[8]的算法重建圖像相較于前兩種算法，重建圖像質量有了一定程度的提升，然而邊緣的鋸齒現象較為明顯；BP-JDL算法在這4種比較算法中，重建圖像的質量有著較為明顯的提升，但是邊緣細節重建效果不佳；而本文算法與其他算法相比較，在重建的視覺效果上均優于其他4種算法，尤其在重建圖像局部細節表現上，本文算法優勢較明顯，這也更加突顯出融合SAI插值的針對性字典訓練以及針對性殘差字典訓練的有效性，得到壓縮低分辨率圖像稀疏重建的效果令人滿意，促進超分辨率重建技術與圖像壓縮編碼的融合。具體參本文對比見表1～4。

表2QP=50不同超分辨率算法與本文算法的PSNR以及SSIM比較結果

表3QP=60不同超分辨率算法與本文算法的PSNR以及SSIM比較結果

為了進一步驗證本文針對性字典稀疏重建的有效性，表1～4列舉了在不同質量因子下5種算法重建圖像峰值信噪比以及結構相似度比較結果。從表1～4可以看出，在JPEG編解碼過程中取不同質量因子QP，本文的算法與其他算法比較，PSNR以及SSIM均有較大幅度提升，實現了稀疏重建圖像主客觀質量評價均優于其他算法。

4結論

本文提出一種基于針對性字典的壓縮圖像稀疏超分辨率重建算法，算法根據壓縮低分辨率圖像的形成特點，對訓練庫圖像進行針對性的下采樣壓縮編碼處理，進行超完備字典訓練，使得字典訓練針對性大幅增強。同時，為進一步恢復圖像的高頻信息，進行了針對性殘差字典的訓練，對圖像進行高頻信息補償，得到最終重建圖像主觀視覺效果更加突出，客觀質量評價參數峰值信噪比(PSNR)及結構相似度(SSIM)也得到較大幅度提升。通過不同編解碼質量因子QP的實驗，進一步證明了本文算法的魯棒性和高效性。

表4QP=70不同超分辨率算法與本文算法的PSNR以及SSIM比較結果

參考文獻：

[1]SHEN M，XUE P，WANG C. Down-sampling based video coding using super-resolution technique[J].IEEE transactions on circuits systbem. video technoly，2011，21(6)：755-765.

[2]HUNG E M，QUEIROZ R L，BRANDI F，et al. Video super-resolution using codebooks derived from key-frames[J]. IEEE transactions on circuits system. video technoly，2012，22(9)：1321-1331.

[3]BRANDI F，QUEIROZ R，MUKHERJEE D. Super resolution of video using key frames [C]//Proc. IEEE ISCAS 2008.[S.l.]：IEEE Press，2008：321-324.

[4]GLAISTER J，CHAN C，FRANKOVICH M，et al. Hybrid video compression using selective keyframe identification and patch-based super-resolution[C]//Proc.2011 IEEE International Symposium on Multimedia 2011. [S.l.]：IEEE Press，2011：105-110.

[5]YANG J，WRIGHT J，HUANG T S，et al. Image super-resolution as sparse representation of raw image patches[C]//Proc. IEEE CVPR 2008. [S.l.]：IEEE Press，2008：1-8.

[6]YANG J，WRIGHT J，HUANG T S，et al. Image super-resolution via sparse representation [J]. IEEE transactions on image processing， 2010， 19(11)： 2861-2873.

[7]WANG S，ZHANG L，LIANG Y，et al. Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis[C]//Proc. IEEE CVPR 2012. [S.l.]：IEEE Press，2012：2216-2223.

[8]YANG M C，WANG C F. A self-learning approach to single image super-resolution[J]. IEEE transactions on multimedia， 2013， 15(3)：498-508.

[9]LI H，QI H，ZARETZKI R. Beta process joint dictionary learning for coupled feature spaces with application to single image super-resolution[C]//Proc. IEEE CVPR 2013. [S.l.]：IEEE Press， 2013：345-352.

[10]ZHU Z，GUO F，YU H，et al. Fast single image super-resolution via self-example learning and sparse representation[J].IEEE transactions on multimedia， 2014，16(8)：2178-2190.

[11]DABOV K，FOI A，KATKOVNIK V，et al. Image denoising by Sparse 3-D transform-domain collaborative filtering [J]. IEEE transactions on image processing， 2007， 16(8)：2080-2095.

[12]ZEYDE R，ELAD M，PROTTER M. On single image scale-up using sparse-representations [C]//Proc. Curves Surfaces 2010. [S.l.]：IEEE Press，2010：711-730.

[13]ZHANG X， WU X. Image interpolation by adaptive 2-D autoregressive modeling and soft-decision estimation [J].IEEE transactions on image processing， 2008， 17(6)：887-896.

[14]胡耀華，何小海，吳曉紅，等. 采用超分辨率重建提升壓縮圖像的方法[J]. 電視技術， 2015，39(9)： 14-18.

何靜波(1991— )，碩士生，主要研究方向圖像的超分辨率重建；

何小海(1964— )，教授，博士生導師，主要研究方向圖像處理與網絡通信、機器視覺與智能系統；

陳洪剛(1991— )，碩士生，主要研究方向圖像的超分辨率重建；

張曉琳(1990— )，碩士生，主要研究方向圖像的超分辨率重建；

黃建秋(1988— )，碩士生，主要研究方向圖像編解碼、視頻通信。

責任編輯：時雯

Sparserepresentation-basedsuper-resolutionreconstructionbasedontargeteddictionaryforcompressedimage

HEJingbo，HEXiaohai，CHENHonggang，ZHANGXiaolin，HUANGJianqiu

(College of Eletrionics and Information Engineering，Sichuan University，Chengdu 610065， China)

Keywords：compressedimage；super-resolutionreconstruction；dictionarytraining；sparserepresentation

Abstract：Inordertoimprovethesuper-resolutionreconstructionperformanceofcompressedlow-resolutionimage，asparserepresentation-basedreconstructionalgorithmbyusingtargeteddictionaryisproposedinthispaper.Firstly，thedictionarytrainingisaimedatthecharacteristicsandformingofthecompressedimage，whichtraininglibraryisacquiredthetargetedprocesstomakeamoreeffectiveover-completedictionaryforthesuper-resolution.Then，thecompressedlow-resolutionimageisreconstructedbythetargeteddictionarysparesrepresentation-basedsuper-resolution.Meanwhile，forgettingmoredetailinformation，thetargetedresidualdictionaryisdesignedtocompensatethelossofhigh-frequencyinformation.Supportedbythetargeteddictionary，themethodproducesexcellentSRresultsonavarietyofimages，anditachievesasignificantimprovementinPSNR，SSIMandcompetitiveperformanceinvisualquality.Extensiveexperimentsmanifesttherobustnessandefficiencyoftheproposedsparserepresentation-basedsuper-resolutionreconstructionbasedontargeteddictionaryforcompressedimage.

中圖分類號：TN919.8

文獻標志碼：A

DOI：10.16280/j.videoe.2016.01.004

基金項目：國家自然科學基金項目(61471248)；四川省教育廳2014年研究生教育改革創新項目(2014-教-034)

作者簡介：

收稿日期：2015-07-01

文獻引用格式：何靜波，何小海，陳洪剛，等.基于針對性字典的壓縮圖像稀疏超分辨率重建[J].電視技術，2016，40(1)：19-24.

HEJB，HEXH，CHENHG，etal.Sparserepresentation-basedsuper-resolutionreconstructionbasedontargeteddictionaryforcompressedimage[J].Videoengineering，2016，40(1)：19-24.