基于馬爾可夫隨機場的低分辨率車牌圖像復原算法

摘 要:由于采集到的車牌圖像分辨率較小，為獲取高分辨率的圖像，提出基于馬爾可夫隨機場模型的車牌圖像超分辨率復原算法。首先對圖像進行分塊;然后利用馬爾可夫隨機場對這些分塊進行建模，通過模型學習訓練庫中高低分辨率圖像的關系，預測待復原的低分辨率車牌圖像的高頻細節信息。實驗結果表明，本算法對車牌圖像取得較好的復原效果，算法復原的超分辨率車牌圖像更接近于真實圖像，具有更高的峰值信噪比。

關鍵詞:圖像復原;馬爾可夫隨機場;基于學習的超分辨率;最大后驗概率

中圖分類號:TP391.4 文獻標志碼:A

文章編號:1001-3695(2010)03-1170-03

doi:10.3969/j.issn.1001-3695.2010.03.102

Low-resolution license plate images restoration based on MRF

WU Wei，YANG Xiao-min，QING Lin-bo，YANG Yi，CHEN Mo，HE Xiao-hai

(Image Information Institute， College of Electronics Information Engineering， Sichuan University，Chengdu 610064， China)

Abstract:Since the license plate images obtained have low resolution， in order to obtain high resolution images， the paper suggested MRF based super-resolution algorithm to recovery license plate images.First divided the image into blocks， and then used MRF to model these blocks. Through the relationship between high and low resolution images in learning library，presented the high-frequency details in the low resolution image. The experimental results show that Markov random field model based super-resolution image registration algorithm obtains a better recovery results， the super-resolution license plate image is closer to the real image， with a higher peak signal to noise ratio.

Key words:image restoration; Markov random field(MRF); learning based super-resolution; maximum a posterior (MAP)

0 引言

在某些實際的應用環境中，由于攝像機以及采集設備等條件的限制，采集到的圖像分辨率通常較小，這將對后期處理(如圖像識別[1，2]和圖像處理等)造成一定的困難。通過低分辨率圖像復原出高分辨率的圖像對圖像處理和圖像識別非常重要。

在車牌識別領域，低分辨率車牌圖像將造成車牌字符分割以及識別難度加大，這將大大降低車牌識別的正確率。如何在低分辨率條件下對車牌進行識別，并保持較高的識別率一直以來是車牌識別的研究難點之一。一種常用的方法就是對低分辨率車牌圖像進行插值放大，再將插值放大后的車牌圖像送入車牌字符分割和字符識別模塊。但是插值放大的圖像會使得車牌字符的邊緣模糊(丟失了高頻信息)，造成字符切分模塊和字符識別模塊提升能力有限。如何使得放大后的車牌圖像具有清晰的邊緣信息一直以來是研究者追求的目標之一。圖像超分辨率復原[3，4]是實現該目標的技術手段之一。 它的目的就是要對圖像通過一定的技術處理，使圖像獲得更多的細節和信息，從而復原出沒有退化前的理想圖像。本文研究的目標是對車牌圖像進行超分辨率放大(復原)，以恢復低分辨率車牌圖像的高頻細節，減小后續處理的難度。

目前超分辨率技術主要分為兩大類:a)基于重建的超分辨率[5，6];b)基于學習的超分辨率[7~11]，它是指在一些高分辨率訓練樣本圖像的輔助下，對單幅低分辨率圖像進行復原，恢復出高分辨率圖像，比較適合于具有固定模式的圖像，如人臉和文字。車牌字符屬于文字類型，因此本文將其應用于車牌。

目前，國內外對低分辨率車牌圖像進行復原一般采用插值放大算法或者基于重建的超分辨率算法，插值算法會使得車牌字符的邊緣模糊(丟失了高頻信息);基于重建的超分辨率算法不僅需要多幅低分辨率圖像，而且由于沒有充分利用車牌字符的先驗知識，使得復原效果有限。

本文將基于學習的超分辨率算法應用于車牌復原。由于馬爾可夫隨機場能夠很好地反映圖像的特性，這就提供了一種思路:首先對圖像進行分塊，接著利用馬爾可夫隨機場對這些分塊進行建模;然后通過這個模型來學習訓練庫中高低分辨率圖像的關系;最后利用學習得到的關系來預測待復原的低分辨率圖像的高頻細節信息。通過實驗結果表明，基于馬爾可夫隨機場模型的超分辨率學習算法可使車牌圖像取得較好的復原效果。總的來說，該算法復原出的超分辨率車牌圖像更接近于真實圖像，具有更高的峰值信噪比。實驗結果表明，經過本文超分辨率復原算法處理后的車牌圖像能夠獲得更高的識別率。

1 馬爾可夫隨機場(MRF)模型[10，11]

設低分辨率圖像為IL，其對應高分辨率圖像為IH。超分辨率復原需要解決的問題是在已知IL的條件下，求出最優的IH。求該問題最常用方法是最大后驗概率法(MAP)。MAP是求取使得概率P(IH/IL)最大的IH。根據貝葉斯估計理論，即后驗概率由式(1) 生成

IH=arg maxIH P(IH/IL)=arg maxIHP(IL，IH)P(IL)(1)

其中:P(IH)和P(IL)分別為高分辨率圖像IH和低分辨率圖像IL的先驗概率;P(IL，IH)為IL和IH的聯合概率。由于IL已知，可認為P(IL)是常數，對計算IH沒有任何影響，可以將其消去。

在馬爾可夫隨機場模型下，基于學習的超分辨率首先對圖像進行分塊。每個圖像塊對應馬爾可夫隨機場的一個節點，圖1為圖像分塊以及對應的馬爾可夫隨機場節點示意圖。

其中:Lj代表待復原的低分辨率圖像塊;Hi為待求的高分辨率圖像塊;i(Hi，Lj)是對圖像塊Hi的觀測函數;ψij(Hi，Hj)是圖像塊Hi和相鄰圖像塊Hj之間的相關函數。

對圖像分塊處理后，P(IL，IH)聯合概率可以改寫為

P(IL，IH)=P(L1，L2，…，Ln，H1，H2，…，Hn)(2)

在P(L1，L2，…，Ln，H1，H2，…，Hn)聯合概率中，低分辨率圖像塊L1，L2，…，Ln是已知的，代表低分辨率圖像塊。基于學習的超分辨率復原的問題是求取高分辨率圖像塊H1，H2，…，Hn。由馬爾可夫隨機場的性質有

P(L1，L2，…，Ln，H1，H2，…，Hn)=i， jψ(Hi，Hj)k(Hk，Lk)(3)

根據MAP可以估計每一個高分辨率節點Hj，即

HjMAP=arg maxHjmaxall，Hi，i≠jP(L1，L2，…，Ln，H1，H2，…，Hn)(4)

觀測函數是計算馬爾可夫隨機場中節點k的高分辨率圖像塊Hk與低分辨率圖像塊Lk的相容性。設Hlk為馬爾可夫隨機場中的第k個節點的第l個候選高分辨率圖像塊，Llk為Hlk對應的低分辨率圖像，Lk為第k個低分辨率圖像塊節點。在高分辨率圖像塊節點與其對應的低分辨率圖像塊之間的觀測函數為

(Hlk，Lk)=exp(-|Llk-Lk|2/2σ2i)(5)

相關函數ψ是計算馬爾可夫隨機場中相鄰節點的相關性。設馬爾可夫隨機場中節點k與節點j相鄰。Hlk、Hmj為其對應的高分辨率圖像塊，它們之間重疊一個以上的像素。在重疊的區域，相應的鄰接的小塊像素值應該是相容的。本文中相關函數ψ的定義為

ψ(Hlk，Hmj)=exp(-|dljk-dmkj|2/2σ2x)(6)

其中:dljk為節點k的第l個候選圖像塊Hlk與節點j的第m個候選圖像塊Hmj的重疊部分;dmkj為節點j的第m個候選圖像塊Hmj與節點k的第l個候選圖像塊Hlk的重疊部分。

接下來需要解決的問題是從候選圖像塊中選擇出最優的圖像塊使得式(4)最大化，對于這個問題計算量非常大，直接計算幾乎不可能。因此，一般采用近似計算的方法，即計算獲得次優解。通常采用信任傳播(belief propagation)算法[11]進行近似計算，信任傳播算法是一個迭代算法，一般進行3、4次迭代就能夠收斂。

2 特征表示[10]

超分辨率的任務是恢復出低分辨率圖像丟失的高頻信息。由于預測低分辨率圖像丟失的高頻信息，低頻部分提供的信息有限，而中頻部分能提供更多的有用信息，可以認為最高頻信息條件獨立于最低頻信息，有

P(H|M，L)=P(H|M)(7)

其中:H表示高頻信息;M表示中頻信息;L表示最低頻信息。

這樣超分辨率的任務轉為已知圖像的中頻信息，恢復其高頻信息。為了獲得高頻信息，將訓練庫中的低分辨率圖像進行插值(如通過最近鄰插值)放大到與高分辨率圖像相同的分辨率。然后將其與其對應的高分辨率圖像進行差分，獲得的該差值圖像即為高頻信息。在超分辨率復原時，只需要復原出它們的差值部分(即高頻信息)。對中頻信息的提取采用先對訓練庫中的低分辨率圖像進行插值(如通過最近鄰插值)放大，然后通過對放大后的圖像提取拉普拉斯特征來獲取中頻信息。圖2是車牌圖像以及其特征提取結果圖。

3 基于馬爾可夫隨機場模型的車牌圖像超分辨率學習算法[11]

基于馬爾可夫隨機場模型的超分辨率學習算法分為訓練部分和學習兩個部分。具體算法的步驟如下:

a)訓練過程。

(a)將每一幅低分辨率訓練樣本圖像進行插值(使用最近鄰插值)放大，提取插值放大后圖像的拉普拉斯特征，即圖像的中頻信息。

(b)將第一步生成的圖像劃分成多個相互重疊的圖像塊，圖像塊的大小為n×n(如塊的大小為6×6，塊與塊的重疊部分為2個像素)，如圖3所示。對每一個圖像塊用Blocki， j，kL表示。其中:i， j表示塊在圖像中的位置為i， j;k表示第k個訓練樣本對應的圖像塊。

(c)將高分辨率圖像與低分辨率插值放大后的圖像進行差分，得到一個差分圖像。同樣將差分圖像劃分為多個相互重疊的圖像塊，圖像塊的大小為n×n，每一個圖像塊表示為Blocki， j，kH。

b)復原過程。

(a)將輸入的待復原低分辨率圖像進行插值(使用最近鄰插值)放大，提取插值放大后圖像的拉普拉斯特征，即圖像的中頻信息。

(b)將(a)生成的圖像劃分為多個相互重疊的圖像塊，對于每一個塊，可以將其表示為向量Blocki， jtest。

(c)在Blocki， j，kH中尋找與每個Blocki， jtest最接近的K個塊。將其對應的K個高分辨率圖像塊Blocki， j，kH作為Blocki， jtest的高分辨率圖像塊的候選塊。

(d)將尋找到的K個候選塊代入式(4)，通過信任傳播算法在K個候選塊中選擇適合的圖像塊，最后按照順序拼接還原為高頻細節圖。

(e)將復原的高頻細節圖與插值放大的圖像進行疊加復原為高分辨率圖像。

訓練過程和復原過程的流程圖如圖4所示。

4 超分辨率復原實驗結果與分析

在實驗中，以車牌為研究對象進行MRF模型下的基于學習超分辨率復原。收集95幅帶有車牌的圖像，將其車牌部分圖像提取出來(大小為180×70左右)。將提取的車牌圖像作為高分辨率圖像，對其進行降質處理，降質為1/2(即圖像的寬度和高度只有原始圖像的一半)圖像，并將其作為低分辨率圖像。實驗隨機選擇其中的5幅車牌圖像作為測試樣本，剩下的90幅車牌圖像作為訓練樣本。圖5為實驗中的部分車牌圖像。在實驗中，本文將圖像塊的大小設置為6×6，重疊像素寬度設置為2，候選圖像塊數設置為5、噪聲參數σ2x=0.5和噪聲參數σ2i=8。

圖6為車牌圖像的實驗結果圖。從實驗結果圖中可以看出，MRF模型的學習算法的復原效果明顯好于插值算法。從主觀人眼觀察可以看出MRF模型的算法結果比插值算法的結果具有更多的高頻細節，具有更清晰的效果。 表1為不同方法的客觀評價指標平均峰值信噪比(5幅測試樣本峰值信噪比的平均)。峰值信噪比(PSNR)定義為

PSNR=20×log10(L/RMSE)(8)

其中RMSE(均方根誤差)定義為

RMSE=1/(MN)Mx=1

Ny=1[HR(x，y)-SR(x，y)]2(9)

其中:HR為原始的高分辨率圖像;SR為低分辨率圖像復原得到的超分辨率圖像為它們在像素點(x，y)上的灰度值分別為HR(x，y)和SR(x，y);M和N為圖像的長度和寬度，以像素點數表征;圖像中灰度取值的范圍為L，對8 bit的灰度圖像而言，L=255。

從表1中可以看出，MRF模型的基于學習的超分辨率算法復原結果的峰值信噪比遠大于插值算法獲得的峰值信噪比。

表1 不同算法平均峰值信噪比(PSNR)

算法 平均峰值信噪比(PSNR)

馬爾可夫隨機場(MRF)模型的學習算法33.65

Cubic B-Spline方法插值24.05

最近鄰插值結果23.16

5 車牌識別實驗

本實驗的目的是驗證使用本文的超分辨率算法后，對車牌識別結果的影響。收集300幅低分辨率車牌圖像作為測試樣本，對其進行超分辨率復原，在復原中使用的訓練樣本與超分辨率復原實驗部分使用的訓練樣本相同。

然后分別對超分辨率復原的車牌圖像以及插值放大的車牌圖像進行字符切分和識別。實驗中字符切分采用文獻[12]的方法，字符識別采用文獻[13]的方法。表2為識別結果的比較，實驗結果表明經過本文超分辨率復原算法處理后的車牌圖像能夠獲得更高的識別率。

表2 識別結果比較

圖像正確率/%錯誤率/%

插值放大的車牌圖像91.48.6

超分辨率復原的車牌圖像94.75.3

6 結束語

本文采用馬爾可夫隨機場模型對車牌圖像進行基于學習的超分辨率復原放大。實驗結果表明，經過本文超分辨率復原算法處理后的車牌圖像能夠獲得更高的識別率。

參考文獻:

[1]

應義斌， 桂江生，饒秀勤.基于Zernike矩的水果形狀分類[J]. 江蘇大學學報:自然科學版，2007，28(1):1-2.

[2]荀一，陳曉，李偉.基于輪廓曲率的樹上蘋果自動識別[J].江蘇大學學報:自然科學版，2007，28(6):461-464.

[3]OUWERKERK J D van.Image super-resolution survey[J].Image and Vision Computing，2006，24(10):1039-1052.

[4]鄭麗賢，何小海，吳煒，等.基于學習的超分辨率技術[J].計算機工程，2008，34(5):193-195.

[5]TSAI R Y，HUANG A K.Multiframe image restoration and registration[J].Advanced in Computer Vision and Image Processing，1984，5(1):317-339.

[6]QIN Feng-qing，HE Xiao-hai，WU Wei.Image super-resolution reconstruction based on sub-pixel registration and iterative back projection[C]//Proc of International Conference on Information Computing and Automation ICICA.2007:71-74.

[7]BAKER S，KANADE T.Limits on super-resolution and how to break them[J].IEEE Trans on Analysis and Machine Intelligence，2002，24(9):1167-1183.

[8]CHAKRABARTI A，RAJAGOPALAN A N.Super-resolution of face images using kernel PCA-based prior[J].IEEE Trans on Multimedia，2007，9(4):888-892.

[9]NI K，NI S，NGUYEN T Q.Image superresolution using support vector regression[J].IEEE Trans on Image Processing，2007，16(6):1596-1610.

[10]FREEMAN W T，JONES T R，PASZTOR E C.Example-based superresolution[J].IEEE Computer Graphics and Applications，2002，22(2):56-65.

[11]FREEMAN W T，PASZTOR E C，CARMICHAEL O T.Learning low-level vision[J].Int’l J Computer Vision，2000，40(10):25-47.

[12]吳煒，薛磊，楊曉敏，等.基于改進差分邊緣檢測法的車牌字符二值化算法[J].四川大學學報:自然科學版，2006，43(6):1253-1258.

[13]楊曉敏，何小海，吳煒，等.基于高斯混合模型的車輛字符識別算法[J].光電子#8226;激光，2007，18(4):487-490.