基于邊緣方向擴(kuò)散系數(shù)正則化的文本圖像超分辨率算法

張紅梅

摘 要： 針對文檔圖像超分辨率重建問題，根據(jù)傳統(tǒng)雙邊全變差（BTV）超分辨率算法，提出一種自適應(yīng)約束的BTV正則化文檔圖像超分辨率算法。該算法通過引入一個圖像的局部鄰域殘差均值，以區(qū)分當(dāng)前像素點屬于平滑區(qū)域還是邊緣區(qū)域，然后利用垂直邊緣方向和邊緣方向擴(kuò)散性的不同，產(chǎn)生自適應(yīng)權(quán)重矩陣。最后通過代價函數(shù)求出迭代公式，最終實現(xiàn)文本圖像的超分辨率重建。與相關(guān)的文檔圖像超分辨率方法相比較，提出的方法在視覺圖像質(zhì)量和字符識別精度方面均得到了顯著的改善。

關(guān)鍵詞： 文本圖像； 超分辨率重建； 正則化； 雙邊全變差模型； 邊緣保持

中圖分類號： TN911.73?34 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2017）19?0105?04

A text image super?resolution algorithm based on edge direction

diffusion coefficient regularization

ZHANG Hongmei

（School of Mathematics， Baoshan University， Baoshan 678000， China）

Abstract： Aiming at the problem existing in super?resolution reconstruction of document image， a self?adaptively constrained and traditional bilateral total variation （BTV） regularized document image super?resolution algorithm is proposed based on the BTV super?resolution algorithm. In the algorithm， the residual mean of the local neighborhood of an image is introduced to determine whether the current pixel belongs to the smooth region or to the edge region. The different diffusivity of the vertical edge direction and edge direction is utilized to generate the self?adaptive weight matrix. The iteration formula is obtained by using the cost function， and the super?resolution reconstruction of the text image is realized. Compared with related super?resolution methods of document image， the proposed method has improved in visual image quality and character recognition accuracy greatly.

Keywords： text image； super?resolution reconstruction； regularization； bilateral total variation model； edge preservation

0 引 言

圖像超分辨率（Super Resolution，SR）重建是指利用算法和仿真技術(shù)將一幅或多幅輸入的低分辨率（Low Resolution，LR）圖像進(jìn)行處理，然后輸出一幅清晰的高分辨率圖像（High Resolution，HR）[1]。大多數(shù)低分辨率的文檔圖像存在文字模糊現(xiàn)象，即除了黑色和白色像素之外，圖像中還會有大量的灰色像素，容易產(chǎn)生大量錯誤或缺失的字符。這些低質(zhì)量的文檔圖像在打印或顯示時不僅字跡模糊，而且也導(dǎo)致光學(xué)字符識別（OCR）系統(tǒng)產(chǎn)生嚴(yán)重的問題[2?3]。

現(xiàn)如今，已經(jīng)提出了很多圖像的超分辨率方法[3]。一種成功的文檔圖像超分辨率算法應(yīng)該應(yīng)用這些特征作為先驗知識，從輸入的低分辨率圖像中生成高分辨率的圖像[4]。超分辨率方法使用正則項來實現(xiàn)高分辨率圖像的先驗知識[5?7]。例如，平滑的背景和前景區(qū)域是文檔圖像的先驗知識。在貝葉斯圖像超分辨率方法中，應(yīng)用正則項與數(shù)據(jù)保真項共同生成高分辨率的圖像。

文獻(xiàn)[8]提出的雙邊全變差（Bilateral Total Variation，BTV）正則化先驗算法和文獻(xiàn)[9]提出的全變差（Total Variation，TV）先驗算法將各個方向的圖像一律平滑處理，同時保留一定的邊緣信息，但是由于此類算法均采用相同的平滑系數(shù)來處理相同位置上的鄰近像素點，所以算法保持邊緣的能力較弱。因此，在保持邊緣方面也有許多學(xué)者進(jìn)行了研究[10?12]，并取得了很好的效果。

考慮到文檔圖像的特點，提出一種自適應(yīng)約束的BTV正則化文檔圖像超分辨率算法。與相關(guān)的文檔圖像超分辨率方法相比較，本文提出的方法在視覺圖像質(zhì)量和字符識別精度方面均得到了顯著的改善。

1 算法原理介紹

基于BTV先驗?zāi)Ｐ偷某直媛手亟ǖ拇鷥r函數(shù)[8]如下所示：

[X=argmink=1NDBFkX-Yk+λl=-ppm=0pαl+mX-SlxSmyX] （1）

[Yk=DBFkX+Nk] （2）

式中：第一項表示輸入的低分辨率圖像與降質(zhì)后的低分辨率圖像的相似程度；第二項是正則項，即平滑約束項。[λ]為正則化系數(shù)；[Slx]和[Smy]分別表示圖像在水平和垂直方向平移的像素個數(shù)；[p]是像素鄰域的階數(shù)，即選取窗口的半徑； [α]為權(quán)重且是標(biāo)量，[0<α<1；][D]是下采樣矩陣；[B]是系統(tǒng)的模糊矩陣；[Fk]是運動矩陣，可通過運動估計求得；[Nk]是噪聲矩陣。由于正則化參數(shù)為固定值，會直接限制重建過程中的全局最優(yōu)解，因此本文針對該局限進(jìn)行改進(jìn)。

2 提出的算法

由式（1） 可知，BTV的正則化函數(shù)可表示為：

[J（X）=l=-pp m=0pαl+mX-SlxSmyX] （3）

式中：[l，][m]分別表示圖像沿[x，y]方向平移的像素個數(shù)。設(shè)[X（i，j）=X（i，j）-SlxSmyX（i，j）]表示兩個像素點之間灰度的絕對差值，0≤[X（i，j）]≤255。

為了對所有像素點進(jìn)行鄰域約束，本文設(shè)計了一個滑動窗口，以便求出所有像素點之間的局部鄰域差均值：

[LNRM（i，j）=1N2i=i-（N-1）2i+（N-1）/2 j=j-（N-1）/2j+（N-1）/2X（i，j）] （4）

式中：[N]表示滑動窗口長度；[（i，j）]和[（i，j）]均為像素位置的橫、縱坐標(biāo)；[（i，j）]屬于以[（i，j）]為中心、大小為[N×N]的鄰域。

本文提出的自適應(yīng)約束權(quán)重矩陣設(shè)計中，將權(quán)重系數(shù)設(shè)為：

[αi，j=e-1τX（i，j）， LNRM（i，j）>T1， LNRM（i，j）

式中：[T]表示閾值，能夠區(qū)分主要的邊緣區(qū)域；[τ]指修飾因子；[LNRM（i，j）]表示像素[X（i，j）]在該鄰域內(nèi)的局部殘差均值；[αi，j]表示像素點[SlxSmyX（i，j）]對當(dāng)前像素點[X（i，j）]的加權(quán)系數(shù)，0≤[αi，j]≤1。令加權(quán)系數(shù)矩陣[α]為：

[α=α|l|+|m|1，1，α|l|+|m|1，2，…，α|l|+|m|m，n] （6）

則式（3）可表示為：

[J（X）=l=-pp m=0pαX-SlxSmyX] （7）

2.1 基于自適應(yīng)的正則化參數(shù)

正則化參數(shù)直接影響著超分辨率重建的性能，適合的正則化參數(shù)不僅能夠確保代價函數(shù)得到一個全局最優(yōu)解，還能較好地保留文本圖像中字符邊緣信息。因此，根據(jù)文獻(xiàn)[3]的推導(dǎo)，本文設(shè)計的自適應(yīng)選取正則化參數(shù)方法為：

[λ=k=1NDBFkX-Ykγ-l=-pp m=0pα（X-SlxSmyX）] （8）

式中[γ]為控制參數(shù)，且需要符合如下條件：

[γ>2l=-pp m=0pαX-SlxSmyX] （9）

2.2 代價函數(shù)的求解

根據(jù)以上分析，代價函數(shù)可表示為：

[X=argmink=1NDBFkX-Yk+λl=-pp m=0pαX-SlxSmyX] （10）

對其求導(dǎo)，并采用梯度下降法對其迭代求解，迭代公式為：

[Xn+1=Xn-β?f] （11）

[?f=k=1NFTkBTDTsign（DBFkX-Yk）+ λl=-pp m=0pαTI-S-myS-lxsignX-SlxSmyX] （12）

式中[β]表示迭代步長。

迭代終止條件為：

[Xn+1-XnXn≤10-6] （13）

3 算法步驟

本文提出算法的流程如圖1所示。

4 實驗與結(jié)果分析

為了驗證提出的改進(jìn)BTV正則化超分辨率算法的性能， 將本文算法與另外兩種BTV重建算法[12?13]作對比，以便驗證提出算法對噪聲的抑制能力。實驗平臺為Windows 7操作系統(tǒng)，CPU為Pentium Dual?Core E5200處理器，2 GB內(nèi)存，仿真環(huán)境為Matlab 7.8。為了對重建結(jié)果進(jìn)行定量評價，采用峰值信噪比（PSNR）衡量算法的去噪性能。PSNR的公式表示為[9]：

[PSNR=10lgL2N1N2i=1N1j=1N2X（i，j）-X（i，j）2] （14）

式中：[N1]和[N2]分別為LR圖像像素的行數(shù)和列數(shù)；[L]表示圖像量化的灰度級別；[X（i，j）]和[X（i，j）]分別表示輸入圖像中的像素點和輸出重建圖像的像素點。

實驗文本圖像為兩幅文字圖像，對原圖像添加高斯噪聲的方差分別為20，文本圖像1參數(shù)為12 pt、Arial字體、150 dpi，文本圖像2參數(shù)為10 pt、Times New Roman字體、75 dpi，對這兩幅文本圖像分別使用三種超分辨率方法重建，結(jié)果如圖2，圖3所示。

通過圖2和圖3結(jié)果可以看出，本文提出的超分辨率方法在文字的邊緣增強和背景的去除噪聲方面表現(xiàn)出的性能均優(yōu)于另外兩種方法。通過式（14）計算實驗用的2幅文本圖像的PSNR值，結(jié)果如表1所示。客觀指標(biāo)同樣證明了提出的超分辨率算法具有更好的去噪效果。

在迭代過程中，本文算法的時間復(fù)雜度相對較高，在運算時間上，經(jīng)典BTV算法的時間為20 s，文獻(xiàn)[12]的方法需要7.2 s，本文提出算法對256×256圖像處理時間為29 s。為了驗證光學(xué)識別性能，利用漢王軟件OCR 6.0進(jìn)行文字識別。采樣上述實驗用的兩幅256×256的文本圖像，并添加加性高斯噪聲（噪聲方差分別為20）作為原圖像，結(jié)果如表2所示。

實驗結(jié)果表明，相比現(xiàn)有的BTV算法，本文提出的超分辨率重建算法在保持文本文字的邊緣增強和背景噪聲的去除方面均表現(xiàn)出較好的性能。5 結(jié) 論

在本文中，通過引入一個新的平滑正則項，提出一種自適應(yīng)約束的BTV正則化文檔圖像超分辨率算法。采用自適應(yīng)的正則化參數(shù)設(shè)計，以獲得全局最優(yōu)解，增強魯棒性。將提出的算法與其他文檔圖像的超分辨率方法進(jìn)行比較，結(jié)果發(fā)現(xiàn)提出的方法得到的去噪能力更好，字符識別的準(zhǔn)確度更高。

參考文獻(xiàn)

[1] 任福全，邱天爽，韓軍，等.基于二階廣義全變差的多幀圖像超分辨率重建[J].電子學(xué)報，2015，43（7）：1275?1280.

[2] 何建新，任紅萍，曾強宇，等.基于改進(jìn)全變差的天氣雷達(dá)回波超分辨率重建[J].計算機(jī)仿真，2014，31（7）：415?418.

[3] 李春芳，楊鑫，張旭明，等.基于MAP的超聲圖像分解去噪算法研究[J].電子學(xué)報，2014（7）：1291?1298.

[4] 楊帥鋒，趙瑞珍.基于低秩矩陣和字典學(xué)習(xí)的圖像超分辨率重建[J].計算機(jī)研究與發(fā)展，2016，53（4）：884?891.

[5] ABEDI A， KABIR E. Stroke width?based directional total variation regularisation for document image super resolution [J]. IET image processing， 2016， 10（2）： 158?166.

[6] AYUBI S D， BAJWA U I， ANWAR M W. Super?resolution based enhancement of cardiac MR images [J]. Current medical imaging reviews， 2015， 11（2）： 105?113.

[7] SHI F， CHENG J， WANG L， et al. LRTV： MR image super?resolution with low?rank and total variation regularizations [J]. IEEE transactions on medical imaging， 2015， 34（12）： 2459?2466.

[8] FARSIU S， ROBINSON M D， ELAD M， et al. Fast and robust multiframe super resolution [J]. IEEE transactions on image processing， 2004， 13（10）： 1327?1344.

[9] RUDIN L I， OSHER S， FATEMI E. Nonlinear total variation based noise removal algorithms [J]. Journal of physica D， 1992， 60（1）： 259?268.

[10] JIANG J， MA X， CAI Z， et al. Sparse support regression for image super?resolution [J]. IEEE photonics journal， 2015， 7（5）： 1?11.

[11] JUNG C， KE P， SUN Z， et al. A fast deconvolution?based approach for single?image super?resolution with GPU acceleration [J]. Journal of real?time image processing， 2015（6）： 1?12.

[12] XIE J， FERIS R S， YU S S， et al. Joint super resolution and denoising from a single depth image [J]. IEEE transactions on multimedia， 2015， 17（9）： 1525?1537.

[13] SURYANARAYANA G， DHULI R. Simultaneous edge preserving and noise mitigating image super?resolution algorithm [J]. AEU?international journal of electronics and communications， 2016， 70（4）： 409?415.