單幀學習與多幀重建結合的超分辨率盲重建方法

劉 薇,錢慧芳

(西安工程大學 電子信息學院,陜西 西安 710048)

超分辨率重建(super-resolution)旨在融合多幀圖像間的互補信息或者學習樣本庫中的先驗知識來提高圖像分辨率,獲得比單幀圖像更好的視覺效果,在遙感成像、醫學圖像、安全監控等方面呈現出良好的應用前景[1].在退化模型點擴散函數(Point Spread Function;PSF)已知的情況下,已有多種方法[2-4]得到較為滿意的重建效果.然而實際系統的PSF通常未知,在此情況下,超分辨率重建問題的求解一般分為3種思路:(1)為將高分辨率圖像的求解與模型參數估計結合在一起,通過設置適當的雙正則項來獲取所需要的重建結果[5-7],其中對PSF的正則項設計是難點;(2)是采用單幀學習的方法,回避低分辨率圖像序列的亞像素配準問題[8-11],但是單幀重建對于由PSF引起的較大模糊,往往在弱邊緣以及紋理豐富的區域重建效果不甚理想;(3)分步處理,首先對PSF進行辨識,然后使用辨識到的PSF重建高分辨率圖像,此時算法的有效性取決于參數估計的準確性.文獻[12]采用誤差參數曲線辨識PSF,但曲線中的拐點平坦區域等特征并不顯著,影響了參數估計的可靠性.

針對模糊圖像的超分辨率重建問題,傳統的模糊圖像復原方法雖然不能直接適用于超分辨率重建,但其思想仍值得借鑒,文獻[13]通過線擴展函數來估計散焦模糊圖像的PSF,文獻[14]通過評價復原圖像質量來估計PSF.對此,本文從模糊PSF的辨識中汲取思路,以單幀學習得到的清晰高分辨率圖像內容,作為辨識PSF的依據.進而在最大后驗概率框架下,利用多幀重建方法重建高分辨率圖像.該單幀學習與多幀重建相結合的方法融合了兩種方法的優勢,能夠在圖像弱邊緣和紋理豐富的區域得到較單幀學習方法更細致的重建結果.

1 超分辨率重建模型

利用同一場景的多幀低分辨率圖像重建一幅高分辨率圖像,相應的觀測模型可以表示為

yk=DBkFkx+nk.

(1)

其中yk(k=1,2,…,P)為第k幅低分辨率圖像按行排列而成的列向量;x為理想高分辨率圖像按行排列而成的列向量;D為降采樣矩陣;Fk運動矩陣,Bk為模糊矩陣,nk為噪聲向量.

假設圖像中模糊為空間不變,則Bk(k=1,2,…,P)均相等.對于未知Bk,如散焦模糊,需要確定Bk的參數,即散焦半徑r.

在MAP框架下,根據正則化理論定義代價函數:

(2)

其中 逼近項使用L2范數,正則項可采用能夠有利于邊緣保持的Huber-Markov先驗模型.

高分辨率圖像的估計泛函為

(3)

2 基于參考塊的超分辨率重建算法

2.1 單幀學習超分辨率重建

待重建圖像經過插值放大和高通濾波后被分割成與低分辨率樣本塊同樣大小的子塊,這些子塊與樣本庫中的低分辨率子塊進行比較,選擇最相似塊(一個或多個)所對應的高分辨率塊作為學習到的高頻信息疊加到待重建的低分辨率圖像上,由此得到重建效果.

然而，從低分辨率塊到高分辨率塊往往是一對多的映射.盡管Freeman[8]等使用的高分辨率塊間的相容性邊界,Sun[9]等使用的圖像紋理基元可以改善這種映射關系,但是當低分辨率圖像比較模糊,可利用的信息被削弱,這種一對多的關系仍然十分明顯.低分辨率塊不足以提供更多關于高分辨率塊的信息,弱邊緣及紋理區域的重建效果較差,原始高分辯率圖像及學習重建結果,如圖1所示.盡管如此，圖1(b)中強邊緣部分仍能獲得較好的重建效果,因此可選擇重建效果較好的強邊緣部分構建參考信息塊,引導多幀重建算法進行PSF辨識,進而獲得更優的重建結果.

(a) 原始高分辨率圖像 (b) 學習重建結果圖2 學習重建結果中提取的強邊緣塊 圖1 原始高分辨率圖像及學習重建結果

2.2 參考塊提取

設學習重建得到的結果圖像為I,取梯度函數為高斯函數的一階方向導數,并將其離散到3個尺度和6個方向,然后分別與圖像I求卷積,濾波結果的最大值作為圖像當前的梯度值,即

(4)

為了消除紋理塊的影響,提取到強邊緣塊,定義塊內的平均梯度為

(5)

2.3 基于參考塊的多幀超分辨率重建

對于模糊圖像,強邊緣塊的單幀學習重建結果顯然優于弱邊緣塊的結果,因此更具指導性.為了克服模糊退化,得到優于單幀學習這種無指導性重建方法的結果,本文以強邊緣塊的單幀學習重建結果為參考,進一步指導多幀重建方法選擇正確的模糊退化參數,利用Huber Markov Random Field(HMRF)模型,在最大后驗概率MAP框架下實現對高分辨率圖像的估計[6].

(6)

因此,PSF散焦半徑r和高分辨率圖像x的求解過程轉換為

(7)

3 結果與討論

對標準測試圖像Butterfly,分別取散焦半徑r=2,r=3,r=4的PSF進行模糊,2倍降采樣得到4幅低分辨率圖像,分別在散焦半徑r=1,2,3,4,5時進行MAP重建[6],其中正則化參數選取0.01,參考塊相似度曲線如圖3所示.當散焦半徑等于實際值時,參考塊相似度達到最大,據此可以辨識PSF的參數.

圖3 使用不同散焦半徑重建時的參考塊相似度曲線

為了進一步驗證算法的有效性,分別對標準測試圖像Lena,Plane,Butterfly等進行實驗.使用不同參數的散焦PSF進行降質,2倍降采樣.分別使用雙立方插值、文獻[7]中的雙正則方法、文獻[11]中的學習方法以及本文方法進行重建.

為了保證學習算法能夠有效恢復模糊圖像的強邊緣,文獻[15]提出的方法被用來對插值圖像的PSF支持域進行粗判定,使用判定結果對訓練用高分辨率圖像進行模糊,進而構建樣本庫.樣本塊由對應的高分辨率塊和低分辨率塊組成,低分辨率塊用于搜索匹配,大小為7×7,高分辨率塊用于重建,大小為5×5.由圖4所示的3幅高分辨率圖像(256×256)，經7×7塊遍歷構成樣本庫,得到187 500個樣本塊.

(a)雙立方插值 (b)雙正則方法 (c)學習方法 (d)本文方法圖4 “Lena”(r=2)、“Plane”(r=3)、“蝴蝶”(r=4)的重建結果

表1給出了4種方法對參數不同的散焦模糊圖像進行重建時所得重建結果的PSNR,無論從主觀效果還是從客觀評價指標來看,本文方法都較其他方法有更好的重建效果.

進一步測試實拍圖像，圖5給出了4幅實拍圖像Logo放大2倍的重建效果.從圖5可以看出，采用本文方法較其他方法更清晰地恢復圖像的文字信息和圖案紋理.實驗結果驗證了本文算法的有效性.

表1 不同方法所得重建結果的PSNR

(a)低分辨率圖像 (b)雙正則方法 (c)學習方法 (d)本文方法圖5 實拍圖像的重建

4 結束語

針對散焦模糊PSF參數未知時的超分辨率重建問題,提出了一種單幀學習與多幀重建相結合的算法.以單幀學習算法中恢復較好的強邊緣塊作為參考信息塊,指導多幀重建算法進行PSF參數辨識并進行超分辨率重建.實驗證明,本文算法對散焦型PSF有比較好的辨識效果,相比于雙正則算法以及單幀學習方法,能夠獲得更好的超分辨率重建結果.

參考文獻：

[1] 蘇衡,周杰,張志浩.超分辨率圖像重建方法綜述[J].自動化學報, 2013, 39(8): 1202-1213.

[2] 沈煥鋒,李平湘,張良培.一種基于正則化技術的超分辨率影像重建方法[J].中國圖象圖形學報,2005,10(4): 436-440.

[3] 韓玉兵,吳樂南,張冬青.基于正則化處理的超分辨率重建[J].電子與信息學報,2007,29(7):1713-1716.

[4] 唐斌兵,王正明.基于先驗約束的圖像超分辨率復原[J].紅外與毫米波學報,2008,27(5): 389-392.

[5] HE H,KOINDI P L.A regularization framework for joint blur estimation and super-resolution of video sequences[C].Proceedings of IEEE International Conference on Image Processing,Genova,Italy,2005,3(Ⅲ):329-332.

[6] 王素玉,沈蘭蓀,卓力,等.一種基于權值矩陣的序列圖像超分辨率盲重建算法[J].電子學報,2009,37(6):1198-1202.

[7] 楊浩,高建坡,吳鎮揚.基于雙正則化的圖像超分辨率盲重建[J].中國圖象圖形學報,2007,12(12):2057-2062.

[8] FREEMAN T W,JONES R T,PASZTOR C E.Example-based super-resolution[J].Computer Graphics and Applications,IEEE,2002,22(2):56-65.

[9] SUN J,ZHENG N N,TAO H,et al.Image hallucination with primal sketch priors[C].Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Madison,USA.2003(2):729-736.

[10] CHANG H,YEUNG D Y,XIONG Y.Super-resolution through neighbor embedding[C].Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Washington,DC,USA.2004:275-282.

[11] FAN W,YEUNG D Y.Image hallucination using neighbor embedding over visual primitive manifolds[C].Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Minnesota,2007:1-7.

[12] 閆華,劉琚,孫建德,等.基于誤差-參數分析的超分辨率盲辨識和復原算法[J].通信學報,2009,30(8):62-68.

[13] 王正友,伍世虔,徐升華,等.一種離焦模糊圖像客觀檢測的新方法[J].中國圖象圖形學報,2007,12(6):1008-1013.

[14] 劉揚陽,金偉其,蘇秉華,等.基于超分辨力圖像復原算法的模糊系統辨識[J].光電子·激光,2005,16(2):213-216.

[15] CHEN L,YAP K H.Identification of blur support size in blind image deconvolution[C].Proceedings of the 2003 Joint Conference of the Fourth International Conference on Information, Communications and Signal Processing,2003(1):503-507.