保持圖像邊緣的實時應用的超分辨率算法

端木春江 左德遙 趙頔

摘 要： 由于傳統的基于插值的圖像超分辨率算法容易使圖像的邊緣部分出現模糊或過度平滑的現象，對此提出一個僅沿圖像邊緣方向進行插值的算法，使垂直于邊緣方向上的像素點不參與插值和濾波，從而減少圖像過度平滑的幾率。該算法首先檢測圖像的邊緣，然后對邊緣點沿量化的邊緣方向進行三次樣條（cubic spline）插值；對平滑點，先用雙立方（bi-cubic）插值算法進行插值，再用各向異性算子進行濾波。實驗表明，所提出算法的性能好于原有的超分辨率插值算法。

關鍵詞： 圖像處理； 圖像超分辨率； 圖像放大； 圖像插值

中圖分類號：TP37 文獻標志碼：A 文章編號：1006-8228（2018）03-01-03

The edge keeping super-resolution algorithm for real-time applications

Duanmu Chunjiang， Zuo Deyao， Zhao Di

（Zhejiang Normal University， Jinhua， Zhejiang 321004， China）

Abstract： Since the blur and the over-smooth phenomenons often appears in the traditional interpolation-based image super-resolution algorithms in the literature， a new super-resolution algorithm is proposed， which only interpolates the pixels along the edge direction. In this way， the pixels lying perpendicular to the image edges do not participate in the interpolation and filtering， so that the over-smooth occurring probability can be reduced. In this algorithm， the image edges are firstly detected. Then， the cubic spline interpolation is carried out along the image edge direction for the edge pixels， and the bi-cubic interpolation and an-isotropic filtering are carried out for the smooth pixels. Experimental results show that the proposed algorithm performs better than the original interpolation-based super-resolution algorithms.

Key words： image processing； image super-resolution； image magnification； image interpolation

0 引言

通過單幅參考圖像的超分辨率方法可以把一幅低分辨率的圖像放大為一幅高分辨率的圖像，以提高圖像的分辨率和清晰度。因而，其成為近年來的研究熱點，并具有廣泛的應用，如：對遙感圖像、醫學圖像、監控圖像、互聯網中圖像等所做的提高其分辨率的清晰化處理。傳統的超分辨率放大的方法分為：基于插值的方法[5]、基于樣例的方法[2]、基于稀疏表示的方法[1]、和基于深度學習的方法[4]。由于只有基于插值的方法具有較小的計算復雜度，適合于實時的應用，這里主要考慮對已有最優的插值方法[6]的改進。

傳統的基于插值的超分辨率處理算法具有簡單快速的特點。因而，可廣泛地應用于實時地高清視頻放大的場合。其他的超分辨處理的算法，由于計算復雜度高，耗時久，而不適于實時場合下應用。但是，傳統的基于插值的算法容易使圖像的邊緣部分出現模糊或過度平滑的現象。為了在插值算法中降低圖像邊緣的模糊程度，提出了一個僅沿圖像邊緣方向進行插值的算法。這樣，在垂直于邊緣方向上的像素點在放大的時候就不參與插值和濾波，從而減少這些像素使圖像過度平滑的幾率。

在第2節將給出所提出方法的詳細的介紹，第3節給出所提出方法的實驗結果，并在第4節給出總結。

1 所提出的方法

我們所提出的方法，首先對低分辨率的像素進行邊緣檢測。然后，對圖像邊緣采用沿著邊緣方向的插值處理以保持圖像的邊緣；對于圖像平滑部分，采用各向異性的濾波進行處理。其中的詳細步驟描述如下。

1.1 邊緣像素點的檢測

首先采用如下2個算子來檢測圖像中的邊緣：

⑴

⑵

檢測圖像的邊緣時，先將低分辨率圖像f（i，j）與算子Gx、Gy作卷積，得到圖像的梯度的模值G（i，j），然后將G（i，j）與預定義的閾值T1比較，閾值T1一般是根據經驗取值。若G（i，j）>T1，則判定像素點（i，j）為邊緣點，否則認為像素點（i，j）為非邊緣點（即平滑點）。模值G（i，j）的計算式為：

⑶

梯度的角度的計算式為：

⑷

式⑶、式⑷中，?表示卷積運算。

1.2 邊緣像素點的處理

對于灰度值大于T1的邊緣點，首先標記其周圍的待插值點為邊緣點，然后以待插值的邊緣點為中心，構建5×5的窗口，再沿邊緣方向進行三次樣條插值對該邊緣點進行處理。其中邊緣方向將由邊緣像素點的梯度方向來確定，并被量化為這些角度。

三次樣條插值在樣條插值中運用最廣泛。三次樣條插值曲線是一個平滑的分段函數。在此，將沿邊緣方向對邊緣像素點進行三次樣條插值，即用三次樣條插值曲線沿這些角度和5×5窗口內像素點的灰度值進行方向濾波，以估計高分辨率圖像上待插值點的灰度值。

給定n+1個已知像素點，則存在n個區間，一維的三次樣條插值曲線S（x）在每個區間[xi，xi+1]上滿足以下三個條件：①S（x）是一個三次函數；②函數值等于像素點的灰度值，即yi=S（xi）；③S（x）的一階導數S'（x）、二階導數S''（x）在每個區間[xi，xi+1]上連續。所以，區間[xi，xi+1]上的三次樣條插值曲線函數S（x）可表示為：

⑸

其中ai、bi、ci、di為4n個未知系數，可通過上述的三個條件以及邊界條件求解。邊界條件包括自然邊界、非節點邊界和固定邊界。

其中，自然邊界端點處的二階導數為0，固定邊界端點處一階導的值為給定的已知值，非節點邊界端點處的三階導數與端點鄰點的三階導數相等。

1.3 對判定的平滑像素點的處理

在低分辨率的圖像中未被標記為邊緣點的待插值點即為平滑點。對于待插值的平滑點，首先找到該平滑點的16個近鄰像素點，然后利用雙立方插值算法對平滑點插值，再利用各向異性濾波算子濾波以更好地估計平滑點的灰度值。

各向異性濾波算子的思想來源于物理模型中的擴散模型，將圖像的灰度看作雜質或溫度。雜質濃度不均勻時，會從高濃度區域向低濃度區域擴散；溫度不均勻時，會從高溫度向低溫度擴散。當擴散為各向同性時，擴散過程表示為：

⑹

其中div表示散度算子，表示圖像的梯度。當a=1時，式⑹的解為：

⑺

其中f（x，y，t）表示擴散后的圖像，f（x，y，0）表示原圖像，是高斯濾波器，其中。

由式⑹、⑺可知，各向同性擴散相當于用高斯濾波器濾波圖像，而高斯濾波器不能很好地保護圖像的邊緣。為此，根據P-M擴散方程的思想，設計了一個各向異性的濾波算子，可表示為：

⑻

其中α是一個參數，函數m（s）設置為一個單調遞減函數。

⑼

其中k為需要通過實驗來優化的參數。本文利用式⑻所示的各向異性濾波算子更新像素點的灰度值，其濾波表達式為：

⑽

其中β是一個參數，f（i，j，n）、f（i，j，n+1）分別是圖像f（i，j）在第n、n+1次迭代的值，直到f（i，j，n）和f（i，j，n+1）的差值非常小時，迭代終止。f（i，j，n）的初始值為像素點（i，j）雙立方插值后的值。

2 實驗結果

本文首先采用了以往文獻中經常用來比較超分辨率圖像處理的測試圖，即名為Lena、Butterfly、Parthenon、Raccoon、Baboon、Peppers的彩色圖像作為彩色圖像的標準測試圖，并采用名為House、Elaine的灰度圖像作為測試圖。本文利用MATLAB軟件來仿真算法的重建效果，并根據大量的實驗結果，將本章所提出的方法中參數優化地設置如下：閾值T1設為100，k設置為2，參數α、β分別設置為0.1和2。

表1 測試圖像的實驗結果（PSNR（dB））

[圖像 雙立方

（bi-cubic）

插值方法 SAI插值

方法[6] 所提出的

方法 提出方法相對于SAI方法所提高的性能ΔPSNR） Lena 30.16 31.70 31.91 0.21 Butterfly 22.14 23.85 24.09 0.23 Parthenon 24.96 26.61 26.84 0.23 Raccoon 27.19 28.79 29.01 0.22 Baboon 22.40 24.11 24.34 0.23 Peppers 29.24 30.80 31.01 0.21 House 27.69 29.28 29.50 0.22 Elaine 30.48 32.01 32.22 0.21 平均 26.78 28.39 28.61 0.22 ]

表2 測試圖像的實驗結果（SSIM）

[圖像 雙立方

（bi-cubic）

插值方法 SAI插值

方法 本章所提

出的方法 本章方法相對于SAI方法所提高的性能（ΔSSIM） Lena 83.71 87.62 87.95 0.33 Butterfly 73.38 79.77 80.30 0.53 Parthenon 63.31 72.12 72.85 0.73 Raccoon 64.77 73.23 73.93 0.70 Baboon 47.34 59.98 61.03 1.05 Peppers 83.39 87.38 87.71 0.33 House 78.75 83.85 84.28 0.43 Elaine 73.35 79.75 80.28 0.53 平均 71.00 77.96 78.54 0.58 ]

表3 各種算法的平均運行時間（s）

[ 雙立方

（bi-cubic）插值方法 SAI插值

方法[6] 基于深度

學習的

方法[4] 基于鄰域

嵌入的

方法[2] 基于稀疏

字典的

方法[3] 所提出

的方法 平均用時

（以秒為

單位） 0.009 1.51 4233000 55220 2436 0.011 ]

由表1和表2可以看出，所提出的算法在PSNR和SSIM指標上都要高于雙立方插值算法和目前最優的插值算法（SAI插值算法[6]）。從表3可以看出，所提出的算法的用時較短，和雙立方插值方法的用時大致相等，可以用于實時超分辨率放大應用的場合。

3 結論

提出了一種新的插值算法，其具有如下創新點：①對圖像中的邊緣像素點，僅沿邊緣方向進行三次樣條插值，減少了邊緣的模糊程度。②邊緣方向被量化為這些角度，復雜度低。③設計的各向異性濾波算子更好地估計了平滑像素點（非邊緣像素點）插值后的灰度值。仿真結果顯示其比雙立方插值算法和SAI插值算法具有更好的性能，且其具有較低的計算復雜度，能勝任實時視頻放大應用的場合。

參考文獻（References）：

[1] M. Protter Romano， M. Elad. Single image interpolation

via adaptive nonlocal sparsity-based modeling[J]. IEEE Trans. Image Process，2014.23（7）：3085-3098

[2] W. T. Freeman， T. R. Jones， E. C. Pasztor. Example-

based super-resolution[J].IEEE Computer Graphics and Applications，2002.22（2）：56-65

[3] Jianchao Yang， John Wright， Thomas S. Huang， Yi Ma.

Image Super-Resolution Via Sparse Representation[J]. IEEE Transactions on Image Processing，2010.19（11）：2861-2873

[4] Chao Dong， Chen Change Loy， Kaiming He， Xiaoou

Tang. Image Super-Resolution Using Deep Convolutional Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2016.38（2）：295-307

[5] X. Li， M. T. Orchard. New edge-directed interpolation[J].

IEEE Transactions on Image Processing，2001.10（10）：1521-1527

[6] K.-W. Hung， W.-C. Siu. Robust soft-decision

interpolation using weighted least squares[J]. IEEE Transactions on Image Processing，2012.21（3）：1061-1069