基于改進(jìn)鄰域嵌入與導(dǎo)向核回歸的圖像超分辨率重建

胡龍龍

摘要：圖像超分辨率重建是一種低分辨率圖像通過一定的算法重建出高分辨率圖像的算法。針對傳統(tǒng)鄰域嵌入算法存在的不足，提出了一種基于改進(jìn)鄰域嵌入的方法。使用改進(jìn)的鄰域嵌的方法完成圖像的初步重建;然后利用導(dǎo)向核回歸的先驗(yàn)信息對重建結(jié)果進(jìn)行修正。實(shí)驗(yàn)結(jié)果顯示，本文方法重建的圖像在視覺效果細(xì)節(jié)更加豐富、邊緣比較清晰，客觀指標(biāo)也有明顯提升。

關(guān)鍵詞：超分辨重建;鄰域嵌入;導(dǎo)向核回歸;先驗(yàn)信息

中圖分類號：TP391.41 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2020）08-0126-02

0 引言

圖像超分辨重建是計(jì)算機(jī)視覺中的一個(gè)重要課題，它是將輸入低分辨率圖像通過相應(yīng)算法得到高分辨率圖像的過程。在現(xiàn)有的超分辨率圖像重建方法中，大致分為基于插值的超分辨方法、基于重建的超分辨方法和基于學(xué)習(xí)的超分辨方法。基于插值的方法比較直觀且易于理解;基于重建的方法圖像是以圖像退化模型為前提，結(jié)合已知的先驗(yàn)知識構(gòu)造對應(yīng)的正則項(xiàng)，利用數(shù)據(jù)一致性約束條件，使超分辨率圖像達(dá)到收斂的效果;基于學(xué)習(xí)的超分辨率重建方法是通過獲取HR圖像與LR圖像之間關(guān)聯(lián)，作為圖像的先驗(yàn)知識，來指導(dǎo)高分辨圖像的重建。Chang等[1]基于流行學(xué)習(xí)的方法，假設(shè)在HR圖像塊與LR圖像塊在各自特征空間中有相似的幾何結(jié)構(gòu)的流行，將局部線性嵌入（local linearembedding，LLE）[2]的方法引入到超分辨率圖像重建過程中。

1 鄰域嵌入（NE）算法

首先，選取HR訓(xùn)練圖像進(jìn)行降采樣操作，得到LR訓(xùn)練圖像，分別對HR、LR訓(xùn)練圖像進(jìn)行分塊操作，得到HR訓(xùn)練圖像塊的集合和LR訓(xùn)練圖像塊的集合;然后，對LR輸入圖像進(jìn)行分塊，得到LR輸入圖像塊的集合。對于集合中的每一個(gè)圖像塊，從LR訓(xùn)練圖像塊的集合中找出它的低分辨K個(gè)近鄰圖像塊，將每一個(gè)輸入LR圖像塊用K個(gè)LR訓(xùn)練圖像塊線性表示出來，求得表示系數(shù)ω確保使局部重建誤差εq最小：

2.1 預(yù)放大鄰域嵌入算法

當(dāng)對低分辨率輸入圖像進(jìn)行小倍數(shù)預(yù)放大，使得在大倍數(shù)放大時(shí)，能保證高、低分辨率圖像之間的鄰域關(guān)系得到較好的保持。首得到臨時(shí)的低分辨率圖像，將臨時(shí)得到的低分辨率圖像放大2倍。然后，將高、低分辨訓(xùn)練圖像進(jìn)行分塊，等得到高、低分辨率訓(xùn)練圖像塊的集合。對于輸入的低分辨圖像，同樣進(jìn)行預(yù)放大2倍處理、分塊。對每一個(gè)低分辨率輸入圖像塊，在低分辨訓(xùn)練集合中找出近鄰，使用鄰域嵌入的方法得到的表示系數(shù)，在通過式（2）得到高分辨率輸出圖像塊的集合，拼接所有的輸出高分辨圖像塊得到輸出高分辨率圖像。

2.2 導(dǎo)向核回歸的正則項(xiàng)

導(dǎo)向核回歸[3]是一種有效的圖像恢復(fù)方法。通常，回歸核是融合梯度并分析局部圖像塊的相似性像素，SKR被定義為以下表達(dá)式：

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)設(shè)計(jì)與參數(shù)設(shè)定

在實(shí)驗(yàn)過程中，對原始圖像進(jìn)行統(tǒng)一模糊、下采樣操作。使用大小為7×7、方差為1.1的高斯模糊核對每個(gè)圖像進(jìn)行模糊處理，然后進(jìn)行下采樣3倍，得到對應(yīng)的低分辨率圖像[4]。在鄰域嵌入過程中，近鄰值K取50。

3.2 對比結(jié)果

在進(jìn)行實(shí)驗(yàn)過程中，選取文獻(xiàn)[5]中的Set5、Set14數(shù)據(jù)集中的bird、face、lenna、pepper圖像作為測試數(shù)據(jù)，將本文提出算法分別與Bi-cubic算法、傳統(tǒng)鄰域嵌入（NE）算法、Yang等[5]提出的稀疏編碼（SC）算法進(jìn)行對比。本文使用峰值信噪比（PSNR）與結(jié)構(gòu)相似性（SSIM）作為客觀指標(biāo)對比實(shí)驗(yàn)結(jié)果。表1顯示了不同算法對4幅圖像進(jìn)行3倍超分辨率重建之后的PSNR與SSIM對比值。表中數(shù)據(jù)顯示，本文提出算法的PSNR和SSIM值都高于其他算法。

4 結(jié)語

本文提出了基于改進(jìn)的鄰域嵌入的一種圖像超分辨率重建方法。首先使用預(yù)放大鄰域嵌入算法進(jìn)行重建;把得到的重建圖像利用SKR局部先驗(yàn)信息構(gòu)造正則項(xiàng)進(jìn)行重新修正，以減少人工痕跡，豐富紋理信息。實(shí)驗(yàn)結(jié)果表明，本文提出方法在視覺效果均優(yōu)于傳統(tǒng)重建算法，在客觀指標(biāo)方面也有不同程度的提高。

參考文獻(xiàn)

[1] Chang H，Yeung D Y，Xiong Y.Super-resolution through neighbor embedding[C]//Proceedings of the 2004 IEEE Computer Vision and Pattern Recognition，2004（CVPR 2004），IEEE，2004：275-282.

[2] Roweis S T，Saul L K.Nonlinear dimensionality reduction by locally linear embedding[J].，1999，401（6755）：2323-2326.

[3] H.Takeda，S.Farsiu，and P.Milanfar，Kernel regression for image processing andreconstruction，IEEE，Trans.[J].ImageProcess，2007（16）：349-366.

[4] Bevilacqua，M.，Roumy，A.，Guillemot，C.，Morel，M.L.A.：Low-complexity single image super-resolution based on nonnegative neighbor embedding[M].Nature，2012：221-231.

[5] Yang J C，Wright J，Huang T，et al.Images super-resolution as sparse representation of raw image patches[C] //Proceeding of IEEE Conference on Computer Vision and Pattern Recognition.Los Alamitos： IEEE Computer Society Press，2008：1-8.