基于學習的馬爾科夫超分辨率復原

薛翠紅，于 明，楊宇皓，閻 剛，賈 超

(1.河北工業大學計算機科學與軟件學院，天津300401;2.河北工業大學信息工程學院，天津300401)

近年來，數字圖像處理技術已經成為研究熱點，超分辨率復原技術更是重中之重。當前的超分辨率復原技術主要包括三種方法:基于插值、基于重建和基于學習的方法。插值法［1］是當前在圖像的放大領域中應用最廣泛的方法，插值法能夠自主挑選包含數據較多的像素點當成增加的像素，而不僅使用其周圍的像素點，因此所得到的圖像會看起來較為平滑。最臨近插值法(nearest neighbor)和雙線性插值法(bilinear)是插值技術中最經典的算法。基于重建的方法是一個信息提取和融合的過程，其所有有用信息都是從輸入數據中獲得，無其它任何先驗知識。基于重建的方法中應用最廣泛的是MAP［2，3］算法和POCS［4，5］算法，建立在貝葉斯法則基礎上的MAP算法使后驗概率達到最大，算法的缺點是重建后的圖像細節不夠突出，顯得有些平滑。POCS算法是利用高分辨率圖像的初始估計在凸集里求得最優解，利用投影算子針對初始估計對圖像進行迭代，直至得到理想圖像。重建后的圖像保持了較好的邊緣效果，所得圖像較為銳利。但這些基于重建的算法隨放大倍數的增加，所需的樣本圖片急劇增多，在放大倍數比較大時，前面提到的頻域法和空域法對圖像數據信息的恢復能力直線下降［6－7］，因此新興的基于學習的方法成為了當前研究的熱點。基于學習方法［8］的核心是通過對樣本數據庫的學習，得出高分辨率圖像與低分辨率圖像間的相互關系，將此關系應用于待復原的低分辨率圖像，可使低分辨率圖像在數據庫中找到其對應的高分辨率部分，進而使圖像的分辨率得以提高，實現圖像復原的目的。

1 馬爾科夫網絡模型

馬爾科夫網絡模型［9－10］所表達的是一個關于圖像的統計描述，其所關注的是相鄰像素點間的相互關系，能很好地表達出圖像的統計特性。所以，能應用馬爾科夫網絡對圖像的先驗知識組成一個樣本數據庫。可利用貝葉斯的相關性質來預測原始圖像的最大后驗概率。為使超分辨率后的圖像效果更好，需要建立一個龐大的樣本數據庫，這個數據庫最好是專門用來超分辨率復原的，例如車牌或者人臉，這樣能夠使得準確度得到提高，效果更加良好。

通過馬爾科夫網絡模型對高分辨率圖像相同部位對應的數據信息進行學習，根據所得的結果來求出輸入圖像所缺失的細節信息。利用馬爾科夫網絡模型來對圖像進行復原的關鍵是要有一個良好的足夠大的樣本數據庫，并且是與輸入圖片類似的樣本數據庫，這樣才能夠對圖片進行更好的恢復。圖1為馬爾科夫網絡模型。

圖1 馬爾科夫網絡模型Fig.1 Markov network model

每個低分辨率圖像塊只與和它相對的高分辨率圖像塊相連，即觀測節點y只與隱含節點x相連。每個高分辨率圖像塊還與和它相鄰的高分辨率圖像塊相連，即隱含節點間相連。ξ表示相鄰高分辨率節點間的相互關系

式中:ψ表示低分辨率節點和與其相對應的高分辨率節點間的相互關系

式中:δ是一個噪聲參數。

1.1 傳統馬爾科夫網絡模型

訓練樣本庫為待復原的圖片提供了很多高分辨率圖像塊。馬爾科夫網絡模型的圖像復原是基于貝葉斯定理的，貝葉斯定理是概率論中的一個結論，貝葉斯定理可更好地利用新證據修改已有的看法。通常情況下，事件M在事件N發生的前提下的概率，與事件N在事件M發生的前提下的概率是不一樣的，可這兩者間是有著一定的關系的。貝葉斯定理所表達的就是這種關系。根據貝葉斯定理，超分辨率復原可解釋為尋找最大后驗概率下的近似高分辨率圖像x的過程。貝葉斯定理所描述的高分辨率與低分辨率間的關系是

低分辨率節點位于圖像上部，被稱為觀察節點;高分辨率節點位于圖像下部，被稱為隱含節點。馬兒科夫網絡所要實現的就是為每一個隱含節點在訓練數據庫中尋找出最優的高分辨率圖像塊，使得聯合概率P(M|N)值最大。在圖像處理領域中，基于概率論的方法被稱為貝葉斯方法，雖有很多的表現形式，但在圖像處理領域中常采用最大后驗概率(MAP)法。當數據y已知，求數據x可用最大后驗概率法。

對節點xm的MAP估計為

隱含節點x和觀測節點y的聯合概率分布可表示為

Lnm為由xm傳到xn的信息，可表示為

1.2 基于混合MAP-POCS［11］的馬爾科夫網絡模型

馬爾科夫網絡模型的目標就是使每一個高分辨率圖像塊盡可能與一個已知的低分辨率圖像塊相匹配，同時使高分辨率圖像塊間最相容地利用算法把圖像分成一個個小塊，假設每一個小的圖像塊對應于馬爾可夫網絡模型上的1個節點，并且馬爾可夫網絡模型上的任意兩個節點間都是相互獨立的，而后生成訓練樣本庫。在圖像的預測階段，將低分辨率的圖像小塊和高分辨率的圖像小塊連接起來，并將之作為一個搜索向量，在訓練樣本庫中查找相匹配的，尋找其最近鄰的圖像塊。當找到時，相對應的高分辨率圖像塊就作為輸出圖像。在馬爾科夫隨機場中，觀測結點y對隱含結點x的條件概率可表示為:

兩邊取對數:

由式(3)變形可得:

傳統馬爾科夫網絡復原方法是與MAP算法結合，MAP算法邊緣保持能力和細節保持能力都不好，而POCS算法的邊緣保持能力和細節保持能力都很好，兩者有很強的互補性，融合后可提高圖像的復原質量。POCS算法通過先驗知識得到凸集約束條件，每個約束條件都對應于一個凸約束集，復原得到的高分辨率圖像收斂于這些凸約束集中。POCS算法是通過迭代得到一個滿足凸約束集條件的點。由于POCS算法可很方便地引入先驗知識，所以可把MAP算子當作凸約束集引入POCS算法里。凸約束集合Ta可表示為:

混合MAP與POCS方法可結合MAP和POCS各自的優點，通過MAP方法得到與凸集對應的投影算子:

然后利用POCS算法將得到的投影算子加到高分辨率圖像上，進行數據一致性約束，直至完成所有投影算子，這樣就可獲得復原的高分辨率圖像。式(11)中:Cx為約束平滑矩陣;ωs為迭代步長;θ為正則化參數。正則化參數掌握著圖像高頻分量的消除和圖像特征的保持，如果θ取值過小，就不能夠很好消除圖像的高頻分量，使得建的結果中會包含較大的誤差;反之θ取值過大，就會對圖像的高頻分量消除太多，使圖像的細節特征損失嚴重，重建結果過于模糊。為了能更好地將圖像中的噪聲去除掉，通常假設圖像的先驗知識是全局平滑的。選拉普拉斯算子作為正則化項，這樣可得到更加穩定的解。

利用梯度法迭代求解θ:

2 實驗結果及分析

2.1 樣本訓練

通過模糊和下采樣把200幅從The Yale Face Database中選取的高分辨率圖片轉換為低分辨率圖片，對低分辨率圖片進行插值，使之與原始圖片大小相同，就形成一個包含200組一一對應的高低分辨率對的樣本數據庫。將低分辨率復原為高分辨率所需的是圖片的高頻細節。模糊圖片的低頻細節不可能直接預測出圖片的高頻細節，而且也不需知道所有可能高頻細節。所以就用帶通濾波器對模糊后的圖片進行濾波，這樣就極大地降低了建模的負擔，提高建模的效率。在樣本數據庫中，鄰近的圖片塊都有他們自己候選節點。鄰近節點和候選節點之間的兼容性可使圖片達到最好的效果。傳統的馬爾科夫網絡模型都是直接采用最大后驗概率法，這里是將最大后驗概率法與凸集投影法相結合，把MAP當作凸約束集引入POCS算法中，通過MAP估計求出投影算子，并將投影算子作用到初始估計的圖像上，對數據進行一致性約束，直至得到復原的高分辨率圖像。

2.2 圖像復原及結果分析

將Lena圖像作為測試圖像，為便于處理，先將50×50的低分辨率圖片通過插值法處理得到200×200的圖片，將得到的圖片作為初始圖片進行試驗。算法比較如圖2所示。

圖2 算法比較Fig.2 Com parison of algorithm s

從直觀的輸出效果看，基于學習的超分辨率復原算法明顯優于插值法。相對于混合MAPPOCS重建算法，本文算法能夠更充分利用圖像自身的先驗知識，在只提供單幅輸入圖像樣本的情況下，仍能產生額外的高頻細節，獲得比重建法更好的復原效果。在同為基于學習的算法比較中，本文算法相對于傳統的單純基于MAP算法的MRF復原表現更加突出，圖像的細節信息更強，邊緣保持效果也更好。表1用峰值信噪比(PSNR)對圖像的重建結果進行定量分析，顯示出了較好的潛力。

表1 PSNR對比Table 1 PSNR comparison

3 結束語

本文研究并實現了一種基于混合MAP與POCS的馬爾科夫網絡模型的圖像超分辨率復原算法，并利用梯度法求得正則化參數 θ，利用Cameraman圖像進行了實驗。該方法是在馬爾科夫網絡框架下，很好結合了這兩種算法的優點，使圖像的復原效果得到提升。對Cameraman圖像進行的超分辨率復原實驗通過主觀效果和PSNR的客觀分析證明了該方法的有效性。

［1］RAJAN D，CHAUDHURI S.Generalized interpolation and its application in super－resolution imaging［J］.Image and Vision Computing，2001，19(13):957－969.

［2］Nguyen N，Milanfar P.A computationally efficient superresolution image reconstruction algorithm［J］.IEEE Trans on Image Processing，2001，4(8):573－583.

［3］Chantas G K，Galat sanos N P，Woods N A.Super－resolution based on fast registration and maximum a posteriori reconstruction［J］.IEEE Trans on Image Processing，2007，16(7):1821－1829.

［4］Ogawa T，Haseyama M.Semantic image retrieval based on POCS algorithm using kernel PCA and its performance verification［C］∥ISCE'09，IEEE 13th Internatioinal Symposium on Consumer Electronics，Kyoto，2009:582－583.

［5］Zhang Fan，Zhu Qi－dan.Super－resolution image reconstruction for omni－vision based on POCS［C］∥CCDC' 09，Proceedings of the 21st Annual International Conference on Chinese Controland Decision Conference，Guilin:IEEE Press，2009:5045－5049.

［6］ROBINSON D，MILANFAR P.Fundamental performance limits in image registration［J］.IEEE Trans Image Processing，2004，13(6):1185－1199.

［7］LEE E，KANG M G.Regularized adaptive high－resolution image reconstruction considering inaccurate subpixel registration［J］.IEEE Trans Image Processing，2003，12(7):826－837.

［8］Candocia FM，Principe JC.Super－resolution of images based on local correlations［J］.IEEE Trans on Neural Networks，1999，10(2):372－380.

［9］Freeman W T，JONES T R，PASZTOR E C.Example based super－resolution［J］.IEEE Computer Graphics and Applications，2002，22(2):56－65.

［10］BISHOPCM，BLAKE A，MARTH IB.Super－resolution enhancement of video［C］∥International Conference on Artificial Intelligence and Statistics，KeyWest，USA，2003:410－414.

［11］Su Bing－hua，Jin Wei－qi.POCS－MPMAP based superresolution image restoration［J］.Acta Photonica Sinca，2003，32(4):502－504.