一種參數自適應正則化超分辨率圖像重建算法

林玉明，趙勛杰，沈琪琪

一種參數自適應正則化超分辨率圖像重建算法

林玉明1，趙勛杰2，沈琪琪2

（1. 朝陽廣播電視大學，遼寧 朝陽 122000；2. 蘇州大學 物理光電與能源學部，江蘇 蘇州 215006）

在正則化超分辨率重建算法中，正則化參數自適應對于抑制噪聲和保持邊緣非常重要。參數自適應通常是通過建立空間信息與參數的關系來實現的。在近期文獻中，提出了一些空間信息自適應超分辨率重建方法，取得了較好的實驗結果。然而在這些方法中，提取空間信息方法的計算量大，導致重建速度慢，限制了算法的應用。提出一種快速空間信息提取方法，并構建自適應參數模型，實驗結果顯示，該方法在大幅提高重建速度的同時，獲得了更好的重建效果。

正則化；超分辨率重建；參數自適應；紋理保持

0 引言

圖像超分辨率重建是指由一幅低分辨率圖像或圖像序列恢復出高分辨率圖像的技術，利用超分辨率重建技術可以提高現有成像設備的分辨率[1]。因此，超分辨率重建技術的研究受到了廣泛的關注[2-3]。目前，該技術已經用于實際紅外成像系統中[4-5]，并且，器件研發公司也已經開發出專用的信號處理硬件[6-7]。

正則化方法是常用的超分辨率重建方法，在已經提出的幾種正則化方法中，雙邊總變分正則化方法（BTV）[8]具有較好的重建效果，該方法能夠在去除噪聲的同時又能較好的保持圖像的邊緣信息，其形式如下：

式中：為選取窗口的半徑；為正則化參數，控制著求解過程中兩項的相對貢獻量；S和S分別為圖像沿和方向分別平移和個像素算子；為尺度加權系數，取值范圍(0, 1)。

在式(1)中權值為＋，即在離中心像素點相同距離的像素的加權系數是相同的，這種處理在邊緣和紋理區域是不合理的，會導致一定程度的邊緣模糊。合理的處理方法是：沿紋理方向的像素的權值應大于垂直于紋理方向的像素。此外，在式(1)中為定值，這使得算法不能同時兼顧去除噪聲和保持圖像紋理。過小不能很好地抑制噪聲，過大重建圖像過于平滑，不能很好地保持圖像的邊緣和紋理信息。針對這一問題，蔣[9]和沈[10]等人分別提出了參數自適應重建算法，在蔣的方法中，利用圖像局部協方差矩陣提取紋理特征，并用紋理信息控制權函數形狀、帶寬和正則化參數，使這些參數根據圖像局部空間信息自適應地調整；在沈的方法中，基于灰度共生矩陣提取圖像紋理信息，根據紋理信息確定值。雖然兩種方法都取得了比BTV方法更好的重建結果。然而，他們在提高重建質量的同時，大大增加了重建的時間，這也限制了其方法的應用。本文提出一種快速提取圖像紋理特征的方法，并據此構建加權系數和正則化參數，以達到又快又好的重建圖像的目的。

1 紋理信息提取方法

紋理方向參數的計算方法是：設定4個紋理方向，分別為0°，45°，90°和135°（如圖1所示），對3×3鄰域內4個方向上的值分別求和，1＝4＋5，2＝3＋6，3＝2＋7，4＝1＋8。這樣，(＝1, 2, 3, 4)取值與紋理取向有關，在紋理方向最小。

2 正則化參數和加權系數選擇方法

根據上一章計算出的紋理信息（用表征）和紋理方向參數（用表征）建立加權系數和正則化參數模型。確定兩個參數的原則是：在邊緣和紋理區域，的值較小，而在平滑區域，較大；垂直紋理（或者邊緣）方向加權系數下降的速度要比沿著紋理（或者邊緣）方向的要快。據此，我們建立正則化參數和加權系數模型。

圖1 紋理方向示意圖

正則化參數由下式確定：

式中：，，取值根據實驗確定。

鄰域像素的加權系數由下式確定：

式中：，為常數，取值根據實驗確定；和、的含義與式(1)中相同。由式(3)計算的權值，與中心像素距離＋點的權值與該方向的值有關，小的方向權值大。

3 實驗結果與分析

為了驗證本文算法的性能，我們對仿真圖像和實拍圖像進行了實驗。實驗是在WindowsXP，Matlab7.9.0的平臺上進行的，計算機配置是Intel(R)酷睿2 E7200 2.53GHz，內存為1GB。

實驗一，將一幅分辨率為120×120的EIAcen圖像，根據圖像退化模型，依次經過偏移、光學模糊、降采樣和加噪聲，生成4幅分辨率為60×60的低分辨率圖像，其中采用的模糊函數是3×3，方差為1的高斯函數。圖像重建實驗步驟為：首先我們用文獻[11]的配準方法進行圖像配準，然后采用經過雙線性2倍插值的圖像作為高分辨率圖像的初始估計，最后采用最速下降法迭代求解（迭代步長為）。

圖2(a)為一幀低分辨率圖像，圖2(b)為文獻[8]算法得到的圖像，圖2(c)為文獻[9]算法重建得到的圖像和圖2(d)為本文算法重建出來的圖像。在本文算法中，參數，，，，通過實驗確定為：＝0.012，＝0.0001，＝1，＝0.9，＝0.05；D＝2，＝2，＝1。BTV算法中，＝0.6，＝0.005，＝2，＝1。由圖2可以清楚地看出，本文方法重建效果最好，很好地保留了圖像的紋理信息。表1給出了采用不同方法的重建時間。

圖2 重建結果對比圖

表1 圖2中不同方法的重建時間

由表1給出的重建時間可以看出，本文方法重建時間雖比文獻[8]方法略長，但是比文獻[9]重建時間大幅度減少。為了進行重建質量客觀的對比，我們還計算了這3幅圖像的平均對比度，列于表2。從表2中數據可以看出本文方法的平均梯度值最大，也說明本文算法的優越性。

表2 圖2中原圖和重建圖像平均梯度

實驗二，選用一幅為分辨率90×90的Flower圖像。分別經過與實驗一相同的處理獲得4幅45×45的低分辨率圖像。然后，按實驗一的步驟進行圖像重建。圖3為本文方法與文獻[9]和BTV方法實驗結果的對比。圖3(a)為一幀低分辨率圖像，圖3(b)為采用文獻[8]算法重建的圖像，圖3(c)為文獻[9]算法重建的圖像，圖3(d)為本文方法重建的圖像。其中文獻[8]算法中，＝0.6，＝0.005，＝2，＝1。本文算法中，＝0.012，＝0.0001，＝1，＝0.9，＝0.05，D＝2，＝2，＝1。

由圖3可以看出，本文方法比文獻[8]算法和文獻[9]算法更好地保留了圖像的紋理細節。同時，從表3可以看出，本文算法運行時間遠遠小于文獻[9]的方法。此外，表4的數據也顯示，對于紋理密集的圖像，本文方法重建出的圖像的平均梯度明顯高于其他方法。

圖3 Flower圖的重建結果對比

表3 圖3中不同方法的重建時間

表4 圖3中原圖和重建圖像平均梯度

實驗三，實拍紅外視頻重建。實驗方法是：手持紅外熱像儀（以使不同幀間產生隨機移動）拍攝一段視頻，在視頻重建時，每相鄰4幀圖像重建一幀（每4幀中的第一幀的雙線性2倍插值作為重建幀的初始估計），依次滑動，完成視頻的重建。我們對幾段視頻進行了重建，參數取值同上，圖4給出部分結果。圖4(a)、(c)是原始視頻中的一幀，(b)、(d)分別是采用本文算法重建的對應圖像視頻中的一幀圖像。

從圖4(b)和(d)可以看出，重建圖像的質量有了明顯改善，重建的圖像細節更清晰。從表5的數據也可以看出，重建圖像的平均梯度明顯提高。

圖4 實拍紅外圖像重建結果

表5 原視頻和重建視頻平均梯度

4 結論

本文提出了一種新的圖像紋理信息提取方法，并建立了局部紋理信息與正則化參數和鄰域像素權值的函數關系，實現了正則化參數和權值的自適應選擇。對所提出的方法進行了大量的實驗驗證，結果表明本文算法重建速度明顯提高，與同類算法相比，重建圖像的邊緣和紋理信息保持得更好。將本方法應用在普通紅外視頻上，也同樣得到非常好的重建圖像效果。

[1] Keith Krapels, Ronald G. Driggers. Characteristics of infrared imaging systems that benefit from superresolution reconstruction[J]., 2007, 46(21): 4594-4603.

[2] Pandya Hardeep, Prashant B. Swadas, Mahasweta Joshi. A Survey on techniques and challenges in image super resolution reconstruction[J]., 2013, 2(4): 317-325.

[3] 張強, 張愛梅, 王華敏, 等. 基于自訓練字典學習的單幅圖像的超分辨率重建[J]. 紅外技術, 2015, 37(9): 736-739

ZHANG Qiang, ZHANG Aimei, WANG Huamin, et al. Single image super-resolution reconstruction based on self-learning dictionary[J]., 2015, 37(9): 736-739.

[4] RTG-076 group. Super-Resolution and Advanced Signal Processing for EO/IR Sensor Performance (SET-140) [EB/OL]. [2015-12-13]. https://www.cso.nato.int/ACTIVITY_META.asp?ACT=1651.

[5] Raytheon. Next Generation EO/IR Detectors, Raytheon[EB/OL]. [2015-12-13]. http://www.raytheon.com/news/technology_today/2014 i1 / nextgen.html.

[6] Altera Corporation.[M/OL]. [2010-06-10]. https://www.altera.com/content/dam/altera-www/global/en_US/pdfs/literature/wp/wp-01129-eoir.pdf.

[7] A Robert Wei?, Uwe Adomeit. A standard data set for performance analysis of advanced IR image processing techniques[C]//, 2012, 8355: 835512.

[8] Farsiu S, Robinson M D. Fast and robust multi-frame super resolution[J]., 2004, 13(10): 1327-1344.

[9] 蔣曉慧, 張雪松, 趙勛杰. 自適應加權的總變分正則化圖像超分辨率重建[J]. 紅外技術, 2014, 36(4): 290-294.

JIANG XiaoHui, ZHANG Xue-song. ZHAO Xunjie. A super-resolution algorithm based on adaptive weighted total variation[J]., 2014, 36(4): 290-294.

[10] 沈琪琪. 圖像局部紋理特征自適應超分辨率重建[J]. 光電技術應用, 2015, 30(4): 24-27.

SHEN Qiqi. An adaptive super-resolution reconstruction of image local texture feature[J]., 2015, 30(4): 24-27.

[11] LI Chengjin, ZHAO Xunjie. A fast image registration algorithm for super-resolution[C]//, 2013, 8907: 89070J.

A Regularization Super-resolution Image Reconstruction Algorithm with Adaptive Parameters

LIN Yuming1，ZHAO Xunjie2，SHEN Qiqi2

(1.,122000,; 2.,,215006,)

In regularization super-resolution image reconstruction，adaptive regularization parameter is very important for reducing noise and keeping texture. In general, a regularization parameter adjusted adaptively is implemented by building a calculation formula which relates the parameter with the local texture feature. In recent work, several methods of adaptive regularization parameters were proposed and the test shows that the quality of reconstruction is enhanced. However, in the algorithms, calculation for local texture feature stakes too much time and it leads to long reconstruction time, which limits its applicability. In this paper, we develop an adaptive regularization approach based on the fact that the regularization parameter should be a function of local texture feature. The performance of the proposed approach has been tested on several images and the obtained results demonstrate the superiority of our approach compared with existing methods.

regularization，super-resolution reconstruction，adaptive parameter，texture preserving

TP391

A

1001-8891(2016)07-0592-05

2015-12-13；

2016-03-09.

林玉明（1969-），男，遼寧朝陽人，副教授，研究方向為計算機技術應用。

國防科技重點實驗室基金項目。