基于多種正則化的改進超分辨率重建算法

黃吉慶，王麗會，秦 進，程欣宇，張 健，李 智

貴州省智能醫學影像分析與精準診斷重點實驗室，貴州大學 計算機科學與技術學院，貴陽 550025

1 引言

由于成像設備分辨率的限制，外加噪聲及運動等因素的影響，采集圖像的分辨率通常較低，無法滿足應用需求。為了解決這一問題，超分辨率（Super Resolution，SR）重建技術應運而生，即在不改變硬件條件的情況下，利用圖像的先驗知識恢復出低分辨率圖像（Low Resolution，LR）的細節信息，進而重建出高分辨率圖像（High Resolution，HR）。

目前，基于先驗信息的超分辨率重建算法主要分為以下幾類，即基于插值的算法、基于學習的算法和基于建模的算法[1-6]。其中基于插值的算法是利用鄰近像素點的灰度值對待插像素點的灰度值進行估計。較好的算法有基于邊緣導向的插值算法（Edge-Directed Interpolation，NEDI）和基于自學習特征的交替插值算法（Selflearned Characteristics Based Switched Image Interpolation，SLCSI）[7]。這兩種方法在圖像邊緣和細節區域的重建效果有所提升，但仍無法完全克服圖像插值算法的缺點，即基于局部信息的圖像像素估計會引入圖像的模糊，降低圖像質量。

隨著深度學習和人工智能的快速發展，基于學習的方法進行超分辨率圖像重建逐漸成為主流。其思想是利用多組低分辨率和高分辨率圖像，通過算法學習到低分辨率和高分辨率圖像的對應關系。常用的超分辨率重建模型包括卷積神經網絡模型[8]、殘差神經網絡模型[9]、深度卷積對抗生成網絡模型[10]。但無論哪種學習模型，對低分辨率和高分辨率圖像樣本對的數目有很高的要求，并且訓練的時間較長，不具有實時性和廣泛應用性。

基于建模的方法是利用圖像的降質模型對超分辨率圖像重建提供約束，進而基于逆問題的求解方式獲得超分辨率圖像。在基于建模的方法中，通常加入正則項將病態問題轉化為凸問題進行求解。目前常用的正則項包括L2范數、L1范數和LP范數正則項[11-20]。這些正則項通過對圖像灰度梯度變化進行懲罰，進而實現降低平滑區域噪聲并保持圖像邊緣和細節的效果。其中L2范數主要包括吉洪諾夫（Tikhonov Regularization，TR）和馬爾科夫隨機場（Markov Random Field，MRF）的正則項，這類正則項通過懲罰圖像的高頻部分，能夠很好地降低圖像的噪聲，但會過度平滑圖像的邊緣和細節信息。全變分正則項（Total Variation，TV）是典型的L1范數正則項，這類正則項可以更好地保持邊緣，但會在帶有噪聲的圖像平滑區域產生階梯效應。為了克服L1和L2范數正則項的缺點，研究學者們提出利用閾值算法優化L1和L2范數正則項，如Huber馬爾科夫隨機場（Huber-MRF，HMRF）和BTV（Bilateral TV，BTV）等正則項。這種改進算法通過設置圖像灰度梯度的閾值，以區分圖像邊緣和平滑區域，對邊緣使用L1范數正則項，而對平滑區域則使用L2范數正則項，但這種方法的重建效果對閾值的選擇很敏感。為了解決這一問題，非局部變分正則項（Non-Local Total Variation，NLTV）先驗被提出[21]，即在TV的基礎上引入非局部相似度權重系數，可在一定程度上解決TV在平滑區域引起的塊效應問題。NLTV中的權重系數通常符合高斯分布，因此，從本質上講，NLTV的權重系數是一種非局部的均勻濾波器，仍會引起圖像邊緣模糊現象。

鑒于TV和NLTV正則先驗互補的優勢，本文提出一種結合TV和改進NLTV的多種正則先驗的超分辨率重建算法。首先根據圖像灰度梯度滿足重尾分布的特點，將原有NLTV正則項的權重系數由高斯分布更改為更滿足重尾分布的多種分布的結合形式，提出ANLTV（Amended NLTV）正則先驗；然后利用ANLTV正則先驗對超分辨率圖像進行初始估計，最后采用TV正則項對超分辨率圖像的初始估計進行去模糊操作，從而得到最終的超分辨率重建結果。

目前，求解帶有TV類正則先驗的優化問題的方法有很多種，如共軛梯度法（Conjugate Gradient Algorithm，CG），快速組合分裂算法（Fast Composite Splitting Algorithm，FCSA），交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）以及分裂Bregman方法（Split Bregman Algorithm，SBA）等。其中CG方法利用目標函數的梯度信息，通過大量反復迭代，獲得最優解，這種方法計算效率較低。FCSA是一種基于小波稀疏的凸優化的求解方法，求解效率相比CG方法有很大的提高，但這種方法求解時，會傾向于連續解，容易出現階梯效應。ADMM和SBA方法是求解帶有L1范數正則先驗問題的有效方法，其中Bregman方法是ADMM方法的一種特殊形式，在參數設置合理時，能比ADMM方法更快的收斂[22]。因此，本文選擇分裂Bregman算法對超分辨率圖像進行求解。

2 基于多種正則化的改進超分辨率重建

2.1 圖像降質模型

一般而言，低分辨率是由高分辨率圖像經過模糊、下采樣以及引入加性噪聲等一系列降質過程獲得的，因此按照降質模型，低分辨率與高分辨率圖像之間的關系可以表示為：

其中y為低分辨率圖像，D為下采樣操作，h為點擴散函數，表示圖像模糊過程，x為高分辨率圖像，n為加性噪聲，本文采用均值為0方差可調節的高斯噪聲。

針對點擴散函數和下采樣矩陣，本文采用了Antonio[9]提出的卷積下采樣模型，這種模型同時完成了圖像模糊和下采樣過程，并且可以較快地進行降質和上采樣，其表達式為：

式中D(x)代表圖像下采樣和模糊過程，S(y)代表上采樣過程，具體的采樣矩陣由Dx和Sx表示：

若高分辨率圖像x的大小為2m×2m，則Dx的維度為m×2m，Sx的維度為2m×m。通過下采樣操作D(x)，可以得到m×m大小的下采樣圖像y；通過上采樣操作S(y)，可以得到y擴大兩倍的上采樣圖像。

2.2 改進的超分辨率圖像重建模型

根據圖像的降質模型可知，為恢復出高分辨率圖像，僅對低分辨率圖像進行與降質模型對應的上采樣操作即可。然而，由于降質模型的低秩性，使得這一逆過程的求解成為病態問題，無法獲得最優解。為解決這個問題，需要在在求解過程中引入正則項，因此超分辨率圖像的重建模型可表達為：

其中i表示圖像x中的某一個像素點，Πi表示在圖像x中以m2×m2大小窗口搜索時獲得的與像素點i相似的所有像素點的集合，w(i,j)為權重函數，其定義為：

公式（8）中Ni(x)-Nj(x)分別表示圖像 x在i和 j點處的某固定大小鄰域上對應的灰度差值，鄰域的窗口大小設置為m1×m1，p表示距離函數的范數，通常取值為2，代表像素點i和 j對應的鄰域灰度的歐氏距離，σ為權重系數的調節參數。

在一幅圖像中，圖像灰度平滑區域占多數，因此針對平滑區域，相似塊個數較多，公式（8）則相當于針對多個相似塊實現一個高斯濾波，進而可以有效地去除圖像平滑區域的噪聲，解決TV正則先驗引起的塊效應問題。然而對于圖像的邊緣區域，由公式（8）可知，其權重系數很小并且快速衰減為0，如圖1中的紅色曲線所示，當灰度梯度的絕對值大于0.5時，權重系數趨近于0，若該灰度梯度出現的概率為0，則為0的高斯權重系數不會對結果有影響。然而自然圖像的灰度梯度是符合重尾分布的，即較大灰度梯度出現的概率不為0，則此時若仍然使用高斯分布的權重系數，則會丟失圖像的細節信息。因此，本文對NLTV正則項的權重系數進行修改，結合高斯分布，拉普拉斯分布及柯西分布提出ANLTV的權重系數，其表達式如下：

式中q(x)、r(x)和s(x)分別代表了高斯分布、柯西分布和拉普拉斯分布，α、β和θ分別為各種分布的加權系數，即：

圖1 權重系數與灰度梯度的關系示意圖

圖1 中的黑色曲線為ANLTV的權重系數，相比于高斯權重系數，可以看出，在圖像的邊緣區域，改進的權重系數尾部較厚重，更適合處理梯度滿足重尾分布的圖像。

雖然ANLTV的權重系數考慮了圖像梯度變化的統計特性，能夠保持圖像的細節信息，但是不同相似塊進行加權平均的過程中又不可避免地會引起圖像邊緣區域的模糊。為了解決這個問題，根據TV正則項在保持圖像邊緣方面的優勢，在ANLTV正則化重建后，再利用TV對重建圖像進行去模糊操作。綜上所述，本文的超分辨率重建模型可以表示為：

其中 ||·代表著一范數，RANLTV代表本文改進的NLTV正則項，RTV代表TV正則項，為基于ANLTV正則項初步重建的超分辨率圖像，^為利用TV正則項對初始重建超分辨圖像去模糊得到的結果。

為了求解公式（11）中的最小化問題，本文分別采用分裂Bregman方法對公式（11）中的兩個優化問題進行迭代求解。

2.3 分裂Bregman算法求解

分裂Bregman方法是一種通過迭代，將正則項攜帶的先驗信息傳遞到解之中的優化方法。它可以解決的問題形如：其中C是一個有界閉凸集，H(x)是可微凸函數，J(x)是凸正則項。

對于公式（9）所提出的超分辨率重建模型，滿足分裂Bregman方法所能求解的問題。其中‖y - D(h*x)和‖(h * x-x0)對應可微凸函數H(x)，| RANLTV(x)|和|RTV(x)|是凸正則項，相當于J(x)。故公式（11）可采用分裂Bregman方法進行求解。以公式（11）的第一個公式（11）為例，對其求解過程進行詳細的描述。

首先令d=RANLTV(x)，可得：

然后，根據拉格朗日乘子法，將這個帶有約束條件的問題轉化為非限制性問題，即：

根據Bregman算法[20]的思想，公式（15）中V(x,d)可由Bregman距離(x,xk,d,dk)來代替，其定義為：

式中xk,dk為第k次迭代時獲得的解，和分別表示函數V(x,d)在 xk,dk上的次梯度，即 (,)∈?V(xk,dk)，＜·＞代表點乘操作。

將公式（16）代入到公式（15）可得第k+1次迭代獲得的優化解為：

根據次梯度的定義，將公式（13）分別對x和d求導，可得到次梯度的迭代如下：

令bk+1=bk+(RANLTV(xk+1)-dk+1)，b0=0，迭代相加則得：

將公式（18）代入公式（17）中可得：

再將公式（21）代入到公式（17）中則有：

公式（20）中，C1和C2是常數項。為了加快公式（20）的迭代求解速度，利用分裂Bregman的思想，分別對x和d進行迭代求解，即：

公式（21）對x進行求導等于零可得：其中S°D表示對圖像依次進行下采樣S和上采樣D操作。根據高斯賽德爾方法[23]對公式（22）進行求解，可得第k+1步迭代x的解：

公式（21）對d進行求導等于零，并利用收縮算子可得第k+1步迭代d的解：

經過多次迭代，可以得到初步重建的高分辨率圖像x^0。對初步獲得的高分辨率圖像x^0根據公式（11）的第二個公式進行去模糊處理，其求解過程與上述過程相同。

具體的算法求解流程圖如下所示：

算法1 ANLTV超分辨率重建Bregman正則化

輸入：低分辨率圖像y，參數設置

輸出：高分辨率圖像x^0

初始化圖像x0（使用雙三次插值算法），初始化d0=b0=0

外層循環：

內層循環：

3 實驗結果與分析

為了驗證本文所提算法的性能，實驗分別選取大小為512×512的Lena、Airfield、Baboon和Phantom圖像為HR圖像，利用2.1節闡述的圖像降質模型，對圖像進行模糊和下采樣并添加加性噪聲，得到對應的LR圖像。再根據超分辨率圖像重建的原理，分別利用基于ITV、ATV、NLTV以及本文改進的ANLTV+TV正則項的超分辨率重建算法進行重構。重建過程中不同方法所使用的參數如表1所示。

表1 超分辨率圖像重建參數

為了提高不同算法重建圖像的視覺對比效果，本文在幾種圖像中分別選擇一個感興趣區域，進行局部放大顯示，如圖2至圖5所示，其中（a）顯示了感興趣區域，（b）為原始HR圖像；（c）為下采樣圖像；（d）為ITV正則化重建結果；（e）為ATV正則化重建結果；（f）為NLTV正則化重建結果；（g）為本文所提出的ANLTV+TV正則化重建結果。

從Lena圖（圖2）和Airfield圖（圖3）的重建視覺效果上看，利用本文所提出的方法重建獲得的超分辨率圖像，在平滑區域噪聲減少，并且在邊緣區域對比度明顯增加。這是由于ANLTV相比于原始的NLTV正則先驗，滿足重尾分布的權重系數沒有屏蔽掉圖像的細節信息，因此在邊緣處理效果比NLTV要好很多。同時，經過ANLTV在圖像平滑區域的均值濾波處理，可以很好地去除噪聲的影響，進而再利用TV正則先驗進行圖像去模糊時，無塊效應產生。

圖2 Lena圖像超分辨率重建結果

圖3 Airfield圖像超分辨率重建結果

圖4 Baboon圖像超分辨率重建結果

圖5 Phantom圖像超分辨率重建結果

圖2 和圖3是圖像細節和圖像平滑區域分布較均衡的圖像，為了進一步驗證本文算法，又分別對圖像細節較多的Baboon圖像和圖像平滑區域較多的Phantom圖像進行重建，其結果如圖4和圖5所示。從Baboon圖像的重建結果可以看出，改進后算法很好地保證了邊緣的對比度，展示出更多的細節信息。而針對平滑區域較多的Phantom圖像，ATV和ITV算法在平滑區域仍存在著一些噪聲；NLTV可以去除平滑區域的塊效應，但是會模糊圖像邊緣；而ANLTV+TV在平滑區域幾乎無噪聲影響，并且邊緣對比度較明顯。

為了定量地分析4種不同正則項對于超分辨率圖像重建效果的影響，本文采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、平均結構相似度（Structural Similarity Index，SSIM）和信噪比（Signal-to-Noise Ratio，SNR））3種評價指標對重建結果進行對比，如表2所示。

可以看出在兩組圖像中，本文所提出的方法在3種評價指標上都有一定的提升。針對Lena圖像PSNR至少提高了6%，SNR至少提高了5%，SSIM提高了3%；對Airfield圖像PSNR則至少提高10%，SNR提高了10%，SSIM提高了10%；對Baboon圖像PSNR至少提高了3%，SNR提高了5%，SSIM提高了19%；而對于Phantom圖像PSNR提高了8%，SNR提高了至少14%，SSIM至少提高了3%。可以看出針對不同特點的圖像，各種評價指標的提升效果均不同，其原因可由圖像灰度梯度的分布特點來解釋，如圖6所示。

從圖6中可以看出，Baboon和Airfield圖像的重尾分布最為明顯，因此其在邊緣的重建視覺效果最好，結構相似度提升較高。針對Lena圖像，其灰度梯度分布尾部較高斯分布而言，不是很厚，但是在圖像平滑區域，下降速度卻比高斯分布快很多，說明在圖像平滑區域相似性很大，所以處理加權均勻濾波時處理平滑區域效果很好，進而SNR得到很大的改善。尤其針對Phantom圖像，其梯度分布曲線下降速度最快，所以利用本文方法，其SNR提升的最多，但由于尾部分布概率幾乎為0，其SSIM并未提高很多。可以看出，利用本文所提方法，不管針對平滑圖像，還是細節較多的圖像，都能得到很好的重建效果。

表2 4種不同正則項定量評價指標

圖6 不同圖像灰度梯度分布與高斯分布的區別

4 結論

本文針對超分辨率圖像重建過程中，無法同時滿足平滑噪聲和保持圖像邊緣的問題，提出一種基于多個正則項的改進的超分辨率重建算法。首先利用自然圖像灰度梯度滿足重尾分布的特性，結合高斯、拉普拉斯和柯西分布改進了傳統NLTV正則項的加權系數，進而提出一種新的ANLTV正則項，并利用該正則項對超分辨率圖像進行初始重建。然后結合TV正則項在保持圖像邊緣方面的優勢，利用TV正則項對初始重建圖像進行去模糊操作，進而獲得最終的超分辨率圖像重建結果。實驗結果表明，本文所提的超分辨率圖像重建算法，相比于傳統的基于TV和NLTV的超分辨率圖像重建算法，無論針對平滑圖像還是細節較多的圖像，其峰值信噪比，信噪比以及結構相似性均有提升，在一定程度上解決了超分辨率重建過程中同時抑制噪聲和保持邊緣的矛盾。