基于擴散的自適應超分辨率重建

付龍　呂曉琪　李婷　谷宇

摘 要： 從各向異性角度分析了P?M模型、L1范式（TV模型）、L2范式（調和模型）的不足，通過擴散模型建立超分辨率重建的偏微分方程，提出一種非線性各向異性和超分辨率重建組合的模型。該模型在圖像平坦區域具有線性各向同性擴散，能夠有效消除噪聲，在圖像邊緣區域具有非線性各向異性擴散保留邊緣，有效減少了濾波產生的階梯效應和P?M模型過渡平滑忽略細節的現象。仿真結果表明，該模型能夠有效地提高圖像重建質量，能在消除噪聲的同時保留邊緣，具有很好的魯棒性。

關鍵詞： P?M模型； L1范式； 各向同性； 各向異性； 超分辨率重建

中圖分類號： TN911?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2017）10?0107?04

Abstract： The disadvantages of P?M model， L1 norm （TV model） and L2 norm （harmonic model） are analyzed in the aspect of anisotropy. The partial differential equation for super?resolution reconstruction is established with diffusion model. A model combining the nonlinear anisotropy and super?resolution reconstruction is proposed. The model has the characteristics of linear isotropic diffusion in the flat area of the image， which can eliminate the noise effectively， and has nonlinear anisotropic diffusion preserving edge in the edge area of the image， which can effectively reduce the staircase effect produced by filtering and avoid the phenomenon that the details of P?M model is neglected due to transition smooth. The simulation results show that the model can improve the image reconstruction quality effectively， eliminate the noise while remaining the edge， and has good robustness.

Keywords： P?M model； L1 norm； isotropy； anisotropy； super?resolution reconstruction

0 引 言

隨著高清顯示技術的發展，人們對圖像清晰度以及圖像所含信息量的要求越來越高，超分辨率（Super?Resolution，SR）重建在不提升硬件設備的基礎上通過單幀或者多幀序列低分辨率（Low?Resolution，LR）圖像重建出一幀或者多幀高分辨率（High?Resolution，HR）圖像。SR重建使用軟件技術，通過像素之間的亞像素位移形成互補信息來提高分辨率，更詳細地展示圖像信息，減少了硬件的投資，在軍事圖像、遙感圖像、視頻監控以及醫療診斷等領域有著廣泛的應用。SR技術是從低分辨率圖像得到高分辨率圖像，是圖像退化的逆過程，表現為病態反問題，需要正則化技術將它變成一個適定問題，再通過最小化目標泛函數實現正則化超分辨率重建。

近幾年，國內外超分辨率技術的研究不斷取得新的進展。近年來，基于變分偏微分方程的去噪算法成為圖像處理領域的重要部分，其中具有代表的方法是基于L1范數的TV模型和L2范數的調和模型。從擴散角度分析，TV模型在圖像邊緣區域方向一致性較好，只沿切向擴散，具有各向異性擴散，可以很好地保護圖像的邊緣細節，在圖像平坦區域得到的邊緣方向并不一定真實存在，此時仍沿邊緣方向擴散無疑會導致在平坦區域的噪聲抑制不充分甚至出現虛假邊緣，無法準確濾除噪聲，從而導致階梯效應的存在[1?2]，這將直接影響圖像處理和分析。調和模型從濾波角度考慮與高斯濾波等價，在梯度方向和邊緣方向具有同等擴散和各向同性擴散，但該模型在平滑去噪時會導致圖像細節模糊，存在平滑過度的現象[3]。雙邊濾波考慮空域信息和灰度相似性，能有效保留邊緣特征。低尺度雙邊濾波能有效地保留邊緣細節，但去噪效果差，高尺度雙邊濾波能有效消除噪聲但會模糊邊緣[4]，而且雙邊濾波需要人工預先設定參數。Perona和Malik提出了P?M擴散方程模型[5]，P?M模型根據圖像梯度特征設計合適的擴散系數，具有各向異性擴散性能。但P?M模型在平坦區域有強噪聲存在時，不能有效區分噪聲邊緣和圖像邊緣，容易出現階梯效應，造成偽邊緣并且無法濾除邊界上的噪聲，有不適定性問題的出現。王歡等利用[L1L2]正則化對序列圖像進行基于學習的超分辨率重建[6]，根據訓練庫建立低分辨率圖像和高分辨率圖像之間的對應關系，利用學習得到的字典重建高分辨率圖像。Song提出一種基于 Lp范數（1

根據TV模型、調和模型、P?M模型的特點和不足，本文從擴散角度分析，提出一種保存細節和抑制噪聲的超分辨率重建算法，能很好地結合上述三種方法，在圖像平坦區域具有線性各向同性擴散，能夠有效消除噪聲；在圖像邊緣區域具有非線性各向異性擴散，能夠有效保護邊緣細節，能在去噪的同時保護邊緣細節，自適應重建出高質量的圖像。

1 超分辨率重建模型

1.1 擴散模型

PM模型是Perona和Malik于1990年提出，對原始圖像[Iox，y]的多尺度濾波可表示為：

1.2 超分辨率重建

20世紀80年代，Tsai和Huang提出多幀圖像超分辨率重建，其思想是在不改變現有成像系統的前提下，利用多幅可用場景，去噪、去模糊、放大，最終得到高分辨率圖像。超分辨率模型首先要解決的問題是如何通過高分辨率圖像生成序列低分辨率圖像。通常使用的退化模型是：高分辨率圖像經過模糊、變形、降采樣以及加入噪聲得到低分辨率圖像。

圖像以矩陣的形式存儲，原高分辨率圖像X用大小為[N=L1N1×L2N2]的矩陣表示。其中[L1]和[L2]分別表示水平方向和垂直方向的下采樣因子。[Y]是通過退化模型得到的序列低分辨圖像，矩陣大小為[N1×N2]，第[k]幀低分辨率圖像[yk=yk，1，yk，2，…，yk，MT]，[M=N1×N2]，則低分辨率圖像降質模型如下：

一般將低分辨率圖像的獲取看作正問題，即系統輸出低分辨率圖像。如果系統輸入低分辨率圖像輸出高分辨率圖像，那么重建過程就是正問題的逆過程[10]。L2范數是將圖像病態問題轉換為適定問題的約束條件，能量泛函最小化也就是調和最小化問題，文獻[11]最小化噪聲：

式（14）從左到右依次順序：第一項為超分辨率模型，為病態問題轉化為適定問題提供了良好的約束條件，調和能量泛函最小化；第二項為正則項，能夠有效濾波使圖像趨于平滑；第三項為保真項，能有效保持圖像的細節輪廓，保留邊緣。

2 實驗結果分析

為了驗證擴散方程和超分辨率重建算法結合的有效性，本文進行了大量的仿真實驗，在圖像中隨機加入不同強度的高斯噪聲，分別采用雙邊全變差（Bilateral Total Variation，BTV）重建模型（參數設置）、基于L1和L2范式的混合范式重建模型和本文方法進行對比，并通過峰值信噪比（PSNR），均方誤差（MSE）和邊緣強度等客觀評價指標進行比較。

實驗一：采用text低分辨率序列圖像，低分辨率圖像像素為（50×50），放大因子為2，實驗結果如圖1所示，圖1（a）為序列低分辨圖像中的一幀；圖1（b）為BTV重建效果；圖1（c）為L1和L2混合范式重建效果；圖1（d）為本文方法。表1給出了相應模型的性能指標比較結果。

從主觀評價上看，圖2（a）～圖2（c）重建效果都較理想，但圖2（a）、圖2（b）在圖像平坦區域存在明顯的階梯效應，畫面整體不夠平滑，存在嚴重的噪聲。圖2（c）相較圖2（a）、圖2（b）減少了階梯效應，畫面整體平滑，自然柔和。從客觀評價上看，本文方法取得的峰值信噪比較BTV和文獻[12]高，均方誤差相對較小。實驗數據表明，重建后圖像的質量明顯增強，較好地減少階梯效應，重建出的結果質量更好。此算法邊緣強度較BTV低，是由于邊緣處存在擴散，有模糊情況出現。

實驗二：隨機加入高斯噪聲和脈沖噪聲，低分辨率圖像像素（75×75），放大因子為2，實驗結果如圖3所示，圖3（a）序列低分辨圖像中的一幀；圖3（b）為BTV重建效果；圖3（c）為L1和L2混合范式重建效果；圖2（d）為本文方法。表2體現了相應的性能指標比較結果。

從主觀評價上看，圖4（a）～圖4（c）重建效果都較理想，但從圖4（a）、圖4（b）在圖像平坦區域存在明顯的階梯效應，畫面整體不夠平滑，存在嚴重的噪聲。圖4（c）相較圖4（a）、圖4（b）減少了階梯效應，畫面整體平滑，自然柔和。從客觀評價上看，本文方法取得的峰值信噪比較BTV和文獻[12]高，均方誤差相對較小。實驗數據表明，重建后圖像的質量明顯增強，較好地減少階梯效應，重建出的結果質量更好。此算法邊緣強度較BTV低，是由于邊緣處存在擴散，有模糊情況出現。

3 結 語

本文針對TV模型和調和模型的不足提出噪聲抑制和邊緣保存的超分辨率重建模型，通過與擴散方程相結合能自適應在平滑噪聲保存邊緣和輪廓等細節信息。試驗結果表明，本文算法可以有效地濾除噪聲保留邊緣細節，而且重建出的圖像，均方誤差小、峰值信噪比高、圖像質量更好。

參考文獻

[1] 王益艷.基于局部結構信息的自適應混合變分模型[J].陜西科技大學學報，2014，32（6）：170?174.

[2] 張紅英，吳亞東，吳斌.基于變分PDE的非線性數字混合濾波器[J].計算機輔助設計與圖形學學報，2007，19（9）：1089?1093.

[3] GUICHARD F， MOISAN L， MOREL J M. A review of PDE models in image processing and image analysis [J]. Journal de physique IV： 2002， 12（1）： 137?154.

[4] 余博，郭雷，錢曉亮，等.一種新的自適應雙邊濾波算法[J].應用科學學報，2012，30（5）：517?523.

[5] PERONA P， MALIK J. Scale?space and edge detection using anisotropic diffusion [J]. IEEE transactions on pattern analysis and machine intelligence： 1990， 12（8）： 629?639.

[6] 王歡，王永革.基于L1/2正則化的超分辨率圖像重建算法[J].計算機工程，2012，38（20）：191?194.

[7] SONG B. Topics in variational PDE image segmentation， in?painting and denoising [D]. Los Angeles： University of California， 2003.

[8] 陳遠旭，羅予頻，胡東成.基于PDE正則化的超分辨率圖像重構方法[J].計算機工程，2007，33（22）：4?5.

[9] MAISELI B J， ALLY N， GAO H J. A noise?suppressing and edge preserving multiframe super resolution image reconstruction method [J]. Signal processing： image communication， 2015， 34： 1?13.

[10] 楊宇翔.圖像超分辨率重建算法研究[D]. 合肥：中國科學技術大學，2013.

[11] YUAN Jianhua. Adaptive regularization for super?resolution image reconstruction based on local structures [J]. Journal of computer applications， 2009， 28（3）： 11?15.

[12] 李銀輝.基于L1和L2混合范式的序列圖像超分辨率重建[J].計算機應用，2015，35（3）：840?843.