一種自適應超分辨率圖像重建方法研究

常芳+李潤鑫+喬少華+尚振宏+劉輝

摘 要：針對圖像去噪的問題，提出了一種自適應范數及正則化參數的圖像重建方法。首先，考慮到退化圖像不僅含有高斯噪聲，而且含有拉普拉斯噪聲，利用最大似然估計的思想估計高斯噪聲和拉普拉斯噪聲的標準差；其次，由于在圖像重建過程中，噪聲分布會發生變化，為此，構造基于統計量的高斯和拉普拉斯權重函數，整合L1、L2范數，設計一種自適應加權函數；最后，結合自適應正則化參數方法，設計了一種自適應L1、L2范數及正則化參數的圖像重建方法。實驗結果表明，提出的方法對含有混合噪聲的不同圖像具有比較理想的重建效果。

關鍵詞：統計量；自適應；權重函數；L1-L2范數；正則化參數

DOIDOI：10.11907/rjdk.172377

中圖分類號：TP317.4

文獻標識碼：A 文章編號：1672-7800（2018）002-0219-05

0 引言

圖像重建是指利用信號處理和圖像處理方法，通過軟件計算的方式將退化的低分辨率（Low Resolution，LR）圖像轉化成高分辨率（High Resolution，HR）圖像的技術[1-4]。目前，圖像重建技術在視頻監控、圖像打印、刑偵分析、醫學圖像處理、衛星成像等領域得到了廣泛應用。圖像重建的主要方法有：凸集投影方法（POCS）[1]、最大后驗概率估計方法（MAP）[1]、迭代反投影方法（IBP）[5]和最大似然估計（ML）[6]。其中，最大似然估計是基于最大后驗概率估計的一種方法，是一種基于概率的算法框架，也是目前實際應用和科學研究中運用最多的一類方法。該方法較為靈活，特別是它的正則項，可以自由加入對具體問題的約束。在提出最大后驗概率方法之后，對于如何設計一個有效的正則項成為圖像處理領域的研究熱點和難點[7]。在過去的30年里，學者們陸續提出許多正則化方法，比較常用的有Tikhonov[1，8-9]正則化、全變差（Total Variation，TV）[10]正則化以及Farsiu S[11]等提出的雙邊全變差（Bilateral Total Variation，BTV）正則化。雙邊全變差正則化算法能夠得到比較理想的稀疏解，同時具有良好的邊緣信息保持和噪聲抑制效果，采用雙邊全變差作為正則項。

在現實世界中，低分辨率圖像往往含有高斯和拉普拉斯脈沖噪聲。在圖像重建過程中，L1范數對圖像的邊緣保持恢復效果較好，但是會出現階梯效應，同時產生虛假邊緣，視覺效果并不理想；而L2范數對圖像平滑效果比較理想，但是去噪和邊緣保持能力不理想。為了達到同時抑制兩種噪聲目的，提出一種自適應的L1、L2范數的數據保真項模型。同時，對于傳統的圖像重建算法，正則化參數是通過隨機選取，圖像重建結果不能達到理想效果。為此，提出了一種簡單有效的自適應正則化方法。實驗結果表明，本文提出的方法可以有效地抑制圖像混合噪聲，并且在圖像平滑區域、邊緣保持方面有很好的重建效果。

1 自適應范數及正則化參數超分辨率方法

1.1 退化模型

圖像退化是指圖像在獲取、傳輸和存儲過程中，因各種不確定因素影響導致圖像質量下降。通常，圖像退化數學模型可以用一個線性過程表達，其定義如式（1）所示：

式（1）中，x為原始高分辨率圖像，z為退化圖像，Dk為第k幅圖像的模糊算子，Hk為第k幅圖像的下采樣算子，Fk為第k幅圖像的幾何運動算子，Nk為加性噪聲。

目前，圖像重建都是以退化模型式為理論依據，通過已知的LR圖像z，對式（1）反向求解，得到HR圖像x。與此同時，求解過程往往忽略一些問題：由于LR圖像數量不足以及病態的模糊因子D，往往導致解的不唯一性。為了解決這一系列問題，通常采用正則化方法對其解空間加以限制。一般的標準正則化最小化函數是由描述模型誤差的數據保真項和約束模型實現魯棒性的正則項構成。其表達式如式（2）所示：

式（2）中，P通常取1或2，λ為正則化參數，R（x）為正則項，對式（2）進行最優化求解完成圖像的重建。

1.2 自適應L1、L2范數模型

圖像噪聲理論上可以理解為是不可預測、隨機發生的，是一個多維隨機過程，可以利用概率密度分布函數來描述。高斯和拉普拉斯噪聲的概率密度分布函數定義分別如式（3）、（4）所示：

式（3）、（4）中，r表示N維噪聲向量，σG、mG、σL和mL分別表示高斯和拉普拉斯對應的標準差和均值。

計算拉普拉斯概率密度分布函數的最大似然估計（MAP），對式（4）等式兩邊取對數，計算結果如式（5）所示：

對式（5）求σL的偏導數，計算結果如式（6）所示：

根據式（6）計算可得拉普拉斯噪聲的標準差如式（7）所示：

其中，拉普拉斯噪聲均值可以表示為：

同理，可得高斯噪聲的均值和標準差，如式（9）、（10）所示：

如前文所述，在式（2）中，當p=2時，L2范數通常對高斯噪聲有比較好的魯棒性；而當p=1時，L1范數對拉普拉斯噪聲有比較好的魯棒性。在圖像處理過程中，圖像會受到混合噪聲的影響（主要是高斯脈沖噪聲）。為了解決這些問題，本文采取一種自適應L1-L2范數框架，通過脈沖噪聲檢測圖的驅動，利用不同范數解決超分辨率問題。

為實現在圖像處理過程中兩種噪聲自適應范數的選擇，考慮利用最大似然估計，構造基于統計量的權重函數，對應的高斯噪聲權重表達式如式（11）所示：

式（11）中，σG、σL分別對應高斯和拉普拉斯噪聲的標準差。令v=σLσG，則式（11）可以表示為：

同理，對應的拉普拉斯噪聲權重函數為1-S（v）。

當v=1時，高斯噪聲和拉普拉斯噪聲分布趨于相等，權重都為0.5；當v≠1時，兩種噪聲通過標準差比自主選擇對應的權重，如圖2所示。endprint

目標函數對應的數據保真項則可以定義為：

1.3 自適應正則化

對于正則項R（x）的選擇是圖像重建的一個非常關鍵的任務，然而本文提出的模型具有靈活地添加先驗約束的特征。在這項研究中，主要任務是測試數據保真項的自適應范數的性能。基于雙邊全變差（Bilateral Total Vriation，BTV）在圖像重建過程中具有良好的抑制噪聲和保持邊緣的性能，為此，選擇BTV正則化算法作為先驗知識，其表達式如式（14）所示：

式（14）中，α為雙邊濾波算子的權重系數，取值為[0，1]，l和m分別表示圖像x在水平和垂直方向上的位移，Slx和Smy為平移后的變換矩陣。

正則項參數λ用于平衡數據誤差項與正則項之間的相對貢獻。當λ選取過大時，圖像重建會導致邊緣紋理過重和圖像噪聲過大；當λ選取過小時，會導致不穩定的解。因此，正則化參數的選取對于圖像的重建效果至關重要。傳統的參數選取方法主要有通過經驗手動調整和利用L曲線的方法[12]，然而，手動調整對于選擇適當的參數非常困難。為此，提出一種比較簡單和實用的正則化參數選取方法，該方法充分利用迭代重建的信息獲取最佳效果。表達式如式（15）所示：

式（15）中，μ是一個接近零但不等于零的參數，以防止分母為零。這里設置μ=0.01，λ與zk-DkHkFkx成正比，與R（x）成反比。zk-DkHkFkx的均值表示圖像噪聲大小，該均值越小表示圖像噪聲越小，對應的正則化參數λ也會越小。R（x）用于描述圖像的紋理和細節，為了得到式（2）的最小值，選擇R（x）的最大值。通過該方法，選擇的正則化參數λ將是最佳的參數值。

綜合式（13）～（15），最終的圖像重建目標函數如式（16）所示：

1.4 目標函數優化

對于式（16）的求解，本文采用共軛梯度下降法，在圖像迭代過程中，沿負梯度的方向進行收斂，直到目標函數達到最小值。目標函數對應的梯度函數表達式為：

2 實驗與分析

2.1 實驗步驟

（1）選取LR圖像序列中的某一幀作為參照圖像，利用光流法對LR圖像序列進行配準。

（2）利用雙立方插值法，通過LR參照圖像生成初始HR圖像xn。

（3）將xn代入式（11）、（15），求得自適應噪聲權重函數S（v）及正則化參數λ，再將xn、S（v）和λ代入式（17），求得此次迭代的HR圖像xn+1。

（4）設定迭代閾值：‖xn+1-xn‖xn≤η，這里設置η=10-4，判斷xn+1是否滿足迭代停止條件，如果滿足，停止迭代，則xn+1即為所求的重建圖像；否則，返回步驟（3）。

2.2 實驗結果與分析

為了驗證本文設計的自適應范數加權函數圖像重建方法的有效性，分別與L2BTV[21]算法、L1BTV[22]算法作實驗對比。實驗中選取512×521Lena、512×512peppers、321×481boat和481×321corn作為原始高分辨率灰度圖像，利用平面投影運動模型，加入高斯模糊算子σ2PSF=0.4，下采樣算子為2，加入高斯與拉普拉斯噪聲（σ2+s），生成一組低分辨率序列圖像。

本文采用峰值信噪比（Peak Signal To Noise Ratio，PSNR）和結構相似度（Structural Similarity，SSIM）[13]作為圖像重建質量評估標準。其定義式分別如式（18）、（19）所示：

式（18）、（19）中，為重建高分辨率圖像，x為原始高分辨率圖像，μ、μx和σ2、σ2x分別為對應的均值和方差，σx為協方差，C1和C2為常數。

為了驗證本文提出模型的有效性，與L2BTV、L1BTV算法的重建結果進行比較。圖3（a）為Lena低分辨率序列圖像中的一幀，其中，高斯噪聲與拉普拉斯噪聲強度為（0.001+0.1）；圖3（b）為L1BTV重建結果，可以很容易發現基于L2范數的模型對椒鹽噪聲的抑制效果不太理想；而圖3（c）表現出明顯的噪聲抑制效果，圖3（d）是本文提出方法的重建效果圖，相比于前兩種重建方法，該方法在圖像的平滑區域和邊緣保持方面有比較理想的重建效果。實驗結果如表1所示，隨著椒鹽噪聲強度的增加，本文提出方法的PSNR和SSIM沒有大幅下降，相比于前兩種方法，PSNR和SSIM分別平均提高了4.26dB、0.13。

同樣，在圖4中，圖4（a）為peppers低分辨率序列圖像中的一幀，加入的高斯噪聲與椒鹽噪聲強度為（0.001+0.12）。相比于L2BTV與L1BTV，本文提出方法的重建效果具有明顯的優越性。實驗結果如表2所示，本文方法的PSNR和SSIM值分別提高了3.19dB、0.14。

圖5、圖6為加入了不同高斯噪聲強度的圖像重建效果，圖5（a）為高斯和拉普拉斯噪聲強度為（0.002+0.12）的boat低分布率序列圖像中的一幀，圖6（a）為高斯與拉普拉斯強度為（0.003+0.08）的corn低分辨率序列圖像中的一幀。相較于前兩組實驗，隨著高斯噪聲強度的

增加，L2BTV和L1BTV對應的PSNR和SSIM值出現了大幅下降，而本文提出的方法卻沒有，如表3、表4所示，說明本文提出的方法對高斯噪聲也具有較好的抑制效果。

3 結語

針對混合噪聲圖像的重建，利用最大似然估計的思想，構造了一種基于統計量的自適應L1、L2范數的數據保真項模型。對于正則項，本文選取雙邊全變差正則化算法，同時，考慮到正則化參數對圖像重建的全局效果起著關鍵作用，設計了一種簡單有效的自適應方法。實驗數據表明，本文提出的方法效果優于L1BTV、L2BTV算法，獲得了比較理想的重建結果。

參考文獻：

[1] LEE E S， KANG M G. Regularized adaptive high-resolution image reconstruction considering inaccurate subpixel registration[J]. IEEE Transactions on Image Processing，2003，12（7）：826-837.endprint

[2] SONG H H， ZHANG L， WANG P K， et al. An adaptive L1-L2 hybrid error model to super-resolution[C]. Proceedings of 2010 IEEE 17th Interational Conference on Image Processing. Piscataway： IEEE，2010：2821-2824.

[3] 安耀祖，陸耀，趙紅.一種自適應正則化的超分辨率圖像算法[J].自動化學報，2012，38（4）：601-608.

[4] 查志遠，劉輝，尚振宏，等.自適應加權編碼L1/2正則化的圖像重建算法[J].計算機應用，2015，35（3）：835-839.

[5] IRANI M， PELEG S. Improving resolution by image registration[J]. CVGIP： Graphical models and image processing，1991，53（3）：231-239.

[6] FENG ZUREN， LV NA， LI LIANGFU. Research on image matching similarity criterion based on maximum posterior probability[J]. Acta Automatica Sinica，2007，33（1）：1-8.

[7] SU HENG， ZHOU JIE， ZHANG ZHIHAO. Survey of super-resolution image reconstruction methods[J]. Acta Automatica Sinica，2013，39（8）：1202-1213.

[8] HENNINGS-YEOMANS P H， BAKER S， KUMAR B V K V. Simul-taneous super-resolution and feature extraction for recognition of low-resolution faces[C]. In： Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Anchorage， AK： IEEE，2008：1-8.

[9] BOYD S， VANDEUBERGHE L. Convex optimization[M]. Cambridge： Cambridge University Press，2009：305-310.

[10] RUDIN L， OSHER S， FATEMI E. Nonlinear total variation based noise removal algorithms[J]. Physica： D，1992，60：259-268.

[11] FARSIU S， ROBINSON D， ELAD M， et al. Fast and robust multi-frame super-resolution[J]. IEEE Transactions on Image Processing，2004，13（10）：1327-1344.

[12] BOSE N K， LERTRATTANAPANICH S， KOO J. Advances in super-resolution using L-curve[C]. Proceedings of the 2001 IEEE International Syxnposiuxn on Circuits and Systems. Sydney， NSW： IEEE，2001，2：433-436.

[13] WANG Z， BOVIK A C， LU L C. Why is image quality assessxnent so difficult[C]. Proceedings of the 2002 IEEE International Conference on Acoustics， Speech， and Signal Processing （ICASSP）. Orlando， FL， USA： IEEE，2002，4：IV-3313-IV-3316.endprint