基于邊緣方向擴散系數正則化的文本圖像超分辨率算法

張紅梅

摘 要： 針對文檔圖像超分辨率重建問題，根據傳統雙邊全變差（BTV）超分辨率算法，提出一種自適應約束的BTV正則化文檔圖像超分辨率算法。該算法通過引入一個圖像的局部鄰域殘差均值，以區分當前像素點屬于平滑區域還是邊緣區域，然后利用垂直邊緣方向和邊緣方向擴散性的不同，產生自適應權重矩陣。最后通過代價函數求出迭代公式，最終實現文本圖像的超分辨率重建。與相關的文檔圖像超分辨率方法相比較，提出的方法在視覺圖像質量和字符識別精度方面均得到了顯著的改善。

關鍵詞： 文本圖像； 超分辨率重建； 正則化； 雙邊全變差模型； 邊緣保持

中圖分類號： TN911.73?34 文獻標識碼： A 文章編號： 1004?373X（2017）19?0105?04

A text image super?resolution algorithm based on edge direction

diffusion coefficient regularization

ZHANG Hongmei

（School of Mathematics， Baoshan University， Baoshan 678000， China）

Abstract： Aiming at the problem existing in super?resolution reconstruction of document image， a self?adaptively constrained and traditional bilateral total variation （BTV） regularized document image super?resolution algorithm is proposed based on the BTV super?resolution algorithm. In the algorithm， the residual mean of the local neighborhood of an image is introduced to determine whether the current pixel belongs to the smooth region or to the edge region. The different diffusivity of the vertical edge direction and edge direction is utilized to generate the self?adaptive weight matrix. The iteration formula is obtained by using the cost function， and the super?resolution reconstruction of the text image is realized. Compared with related super?resolution methods of document image， the proposed method has improved in visual image quality and character recognition accuracy greatly.

Keywords： text image； super?resolution reconstruction； regularization； bilateral total variation model； edge preservation

0 引 言

圖像超分辨率（Super Resolution，SR）重建是指利用算法和仿真技術將一幅或多幅輸入的低分辨率（Low Resolution，LR）圖像進行處理，然后輸出一幅清晰的高分辨率圖像（High Resolution，HR）[1]。大多數低分辨率的文檔圖像存在文字模糊現象，即除了黑色和白色像素之外，圖像中還會有大量的灰色像素，容易產生大量錯誤或缺失的字符。這些低質量的文檔圖像在打印或顯示時不僅字跡模糊，而且也導致光學字符識別（OCR）系統產生嚴重的問題[2?3]。

現如今，已經提出了很多圖像的超分辨率方法[3]。一種成功的文檔圖像超分辨率算法應該應用這些特征作為先驗知識，從輸入的低分辨率圖像中生成高分辨率的圖像[4]。超分辨率方法使用正則項來實現高分辨率圖像的先驗知識[5?7]。例如，平滑的背景和前景區域是文檔圖像的先驗知識。在貝葉斯圖像超分辨率方法中，應用正則項與數據保真項共同生成高分辨率的圖像。

文獻[8]提出的雙邊全變差（Bilateral Total Variation，BTV）正則化先驗算法和文獻[9]提出的全變差（Total Variation，TV）先驗算法將各個方向的圖像一律平滑處理，同時保留一定的邊緣信息，但是由于此類算法均采用相同的平滑系數來處理相同位置上的鄰近像素點，所以算法保持邊緣的能力較弱。因此，在保持邊緣方面也有許多學者進行了研究[10?12]，并取得了很好的效果。

考慮到文檔圖像的特點，提出一種自適應約束的BTV正則化文檔圖像超分辨率算法。與相關的文檔圖像超分辨率方法相比較，本文提出的方法在視覺圖像質量和字符識別精度方面均得到了顯著的改善。

1 算法原理介紹

基于BTV先驗模型的超分辨率重建的代價函數[8]如下所示：

[X=argmink=1NDBFkX-Yk+λl=-ppm=0pαl+mX-SlxSmyX] （1）

[Yk=DBFkX+Nk] （2）

式中：第一項表示輸入的低分辨率圖像與降質后的低分辨率圖像的相似程度；第二項是正則項，即平滑約束項。[λ]為正則化系數；[Slx]和[Smy]分別表示圖像在水平和垂直方向平移的像素個數；[p]是像素鄰域的階數，即選取窗口的半徑； [α]為權重且是標量，[0<α<1；][D]是下采樣矩陣；[B]是系統的模糊矩陣；[Fk]是運動矩陣，可通過運動估計求得；[Nk]是噪聲矩陣。由于正則化參數為固定值，會直接限制重建過程中的全局最優解，因此本文針對該局限進行改進。

2 提出的算法

由式（1） 可知，BTV的正則化函數可表示為：

[J（X）=l=-pp m=0pαl+mX-SlxSmyX] （3）

式中：[l，][m]分別表示圖像沿[x，y]方向平移的像素個數。設[X（i，j）=X（i，j）-SlxSmyX（i，j）]表示兩個像素點之間灰度的絕對差值，0≤[X（i，j）]≤255。

為了對所有像素點進行鄰域約束，本文設計了一個滑動窗口，以便求出所有像素點之間的局部鄰域差均值：

[LNRM（i，j）=1N2i=i-（N-1）2i+（N-1）/2 j=j-（N-1）/2j+（N-1）/2X（i，j）] （4）

式中：[N]表示滑動窗口長度；[（i，j）]和[（i，j）]均為像素位置的橫、縱坐標；[（i，j）]屬于以[（i，j）]為中心、大小為[N×N]的鄰域。

本文提出的自適應約束權重矩陣設計中，將權重系數設為：

[αi，j=e-1τX（i，j）， LNRM（i，j）>T1， LNRM（i，j）

式中：[T]表示閾值，能夠區分主要的邊緣區域；[τ]指修飾因子；[LNRM（i，j）]表示像素[X（i，j）]在該鄰域內的局部殘差均值；[αi，j]表示像素點[SlxSmyX（i，j）]對當前像素點[X（i，j）]的加權系數，0≤[αi，j]≤1。令加權系數矩陣[α]為：

[α=α|l|+|m|1，1，α|l|+|m|1，2，…，α|l|+|m|m，n] （6）

則式（3）可表示為：

[J（X）=l=-pp m=0pαX-SlxSmyX] （7）

2.1 基于自適應的正則化參數

正則化參數直接影響著超分辨率重建的性能，適合的正則化參數不僅能夠確保代價函數得到一個全局最優解，還能較好地保留文本圖像中字符邊緣信息。因此，根據文獻[3]的推導，本文設計的自適應選取正則化參數方法為：

[λ=k=1NDBFkX-Ykγ-l=-pp m=0pα（X-SlxSmyX）] （8）

式中[γ]為控制參數，且需要符合如下條件：

[γ>2l=-pp m=0pαX-SlxSmyX] （9）

2.2 代價函數的求解

根據以上分析，代價函數可表示為：

[X=argmink=1NDBFkX-Yk+λl=-pp m=0pαX-SlxSmyX] （10）

對其求導，并采用梯度下降法對其迭代求解，迭代公式為：

[Xn+1=Xn-β?f] （11）

[?f=k=1NFTkBTDTsign（DBFkX-Yk）+ λl=-pp m=0pαTI-S-myS-lxsignX-SlxSmyX] （12）

式中[β]表示迭代步長。

迭代終止條件為：

[Xn+1-XnXn≤10-6] （13）

3 算法步驟

本文提出算法的流程如圖1所示。

4 實驗與結果分析

為了驗證提出的改進BTV正則化超分辨率算法的性能， 將本文算法與另外兩種BTV重建算法[12?13]作對比，以便驗證提出算法對噪聲的抑制能力。實驗平臺為Windows 7操作系統，CPU為Pentium Dual?Core E5200處理器，2 GB內存，仿真環境為Matlab 7.8。為了對重建結果進行定量評價，采用峰值信噪比（PSNR）衡量算法的去噪性能。PSNR的公式表示為[9]：

[PSNR=10lgL2N1N2i=1N1j=1N2X（i，j）-X（i，j）2] （14）

式中：[N1]和[N2]分別為LR圖像像素的行數和列數；[L]表示圖像量化的灰度級別；[X（i，j）]和[X（i，j）]分別表示輸入圖像中的像素點和輸出重建圖像的像素點。

實驗文本圖像為兩幅文字圖像，對原圖像添加高斯噪聲的方差分別為20，文本圖像1參數為12 pt、Arial字體、150 dpi，文本圖像2參數為10 pt、Times New Roman字體、75 dpi，對這兩幅文本圖像分別使用三種超分辨率方法重建，結果如圖2，圖3所示。

通過圖2和圖3結果可以看出，本文提出的超分辨率方法在文字的邊緣增強和背景的去除噪聲方面表現出的性能均優于另外兩種方法。通過式（14）計算實驗用的2幅文本圖像的PSNR值，結果如表1所示。客觀指標同樣證明了提出的超分辨率算法具有更好的去噪效果。

在迭代過程中，本文算法的時間復雜度相對較高，在運算時間上，經典BTV算法的時間為20 s，文獻[12]的方法需要7.2 s，本文提出算法對256×256圖像處理時間為29 s。為了驗證光學識別性能，利用漢王軟件OCR 6.0進行文字識別。采樣上述實驗用的兩幅256×256的文本圖像，并添加加性高斯噪聲（噪聲方差分別為20）作為原圖像，結果如表2所示。

實驗結果表明，相比現有的BTV算法，本文提出的超分辨率重建算法在保持文本文字的邊緣增強和背景噪聲的去除方面均表現出較好的性能。5 結 論

在本文中，通過引入一個新的平滑正則項，提出一種自適應約束的BTV正則化文檔圖像超分辨率算法。采用自適應的正則化參數設計，以獲得全局最優解，增強魯棒性。將提出的算法與其他文檔圖像的超分辨率方法進行比較，結果發現提出的方法得到的去噪能力更好，字符識別的準確度更高。

參考文獻

[1] 任福全，邱天爽，韓軍，等.基于二階廣義全變差的多幀圖像超分辨率重建[J].電子學報，2015，43（7）：1275?1280.

[2] 何建新，任紅萍，曾強宇，等.基于改進全變差的天氣雷達回波超分辨率重建[J].計算機仿真，2014，31（7）：415?418.

[3] 李春芳，楊鑫，張旭明，等.基于MAP的超聲圖像分解去噪算法研究[J].電子學報，2014（7）：1291?1298.

[4] 楊帥鋒，趙瑞珍.基于低秩矩陣和字典學習的圖像超分辨率重建[J].計算機研究與發展，2016，53（4）：884?891.

[5] ABEDI A， KABIR E. Stroke width?based directional total variation regularisation for document image super resolution [J]. IET image processing， 2016， 10（2）： 158?166.

[6] AYUBI S D， BAJWA U I， ANWAR M W. Super?resolution based enhancement of cardiac MR images [J]. Current medical imaging reviews， 2015， 11（2）： 105?113.

[7] SHI F， CHENG J， WANG L， et al. LRTV： MR image super?resolution with low?rank and total variation regularizations [J]. IEEE transactions on medical imaging， 2015， 34（12）： 2459?2466.

[8] FARSIU S， ROBINSON M D， ELAD M， et al. Fast and robust multiframe super resolution [J]. IEEE transactions on image processing， 2004， 13（10）： 1327?1344.

[9] RUDIN L I， OSHER S， FATEMI E. Nonlinear total variation based noise removal algorithms [J]. Journal of physica D， 1992， 60（1）： 259?268.

[10] JIANG J， MA X， CAI Z， et al. Sparse support regression for image super?resolution [J]. IEEE photonics journal， 2015， 7（5）： 1?11.

[11] JUNG C， KE P， SUN Z， et al. A fast deconvolution?based approach for single?image super?resolution with GPU acceleration [J]. Journal of real?time image processing， 2015（6）： 1?12.

[12] XIE J， FERIS R S， YU S S， et al. Joint super resolution and denoising from a single depth image [J]. IEEE transactions on multimedia， 2015， 17（9）： 1525?1537.

[13] SURYANARAYANA G， DHULI R. Simultaneous edge preserving and noise mitigating image super?resolution algorithm [J]. AEU?international journal of electronics and communications， 2016， 70（4）： 409?415.