摘 要:圖像超分辨率復原技術是由一序列低分辨率變形圖像估計一幅或多幅較高分辨率的非變形圖像,同時還能夠消除加性噪聲以及由有限檢測器尺寸和光學產生的模糊,是圖像融合領域中的一個重要分支。先把高分辨率圖像變換成低分辨率圖像,然后對低分辨率圖像進行運動估計和運動補償計算,最后再把低分辨率圖像映射灰高分辨率圖像。
關鍵詞:圖像處理;圖像復原;超分辨率;運動估計
中圖分類號:TP391.41 文獻標識碼:B
文章編號:1004-373X(2008)06-062-02
An Effective Method for Image Restoration
WU Bin
(UniversityofShanghai for Science and Technology,Shanghai,200093,China)
Abstract:Super-resolution restoration is a technique for estimating a non-aliased high-resolution image(or sequence) from an aliased video sequence and combating additive noise and blurring due to the finite detector size and optics.it propses a method to improve the problem.By experiments in the paper,it is proved that the two algorithms are more efficient.
Keywords:image processing;image restoration;super-resolution;motion estimate
1 引 言
圖像作為對真實世界三維(3D)場景的二維平面投影影像,這個投影過程損失了大量的信息,如景深信息、遮擋問題等,另外這個過程中還包含各種退化,典型的有幾何畸變、模糊(包含運動模糊、散焦模糊、大氣湍流模糊、光照不足等)失真、下抽樣噪聲、系統噪聲等,這些退化現象進一步損害了圖像作為一種記錄客觀世界的載體功能。
圖像超分辨率復原(重建)方法是指利用同一場景的多幅圖像包含的信息量要來獲取該場景的一幅高分辨率圖像。假設觀測低分辨率圖像是一個不完整的觀測數據集,其對應的理想高分辨率圖像是一個完整數據集,圖像超分辨率可看作是通過這個觀測到的不完整數據集估計理想的完整數據集,是一個典型的逆問題,存在著多種可能解。即在已知觀測不完整數據集的基礎上,試圖給出一個最大似然或最大后驗概率意義下完整數據集的估計;POCS方法就是利用各種已知的約束條件構成凸集,將這個完整數據集的估計依一定次序投影到這些凸集上,以更新當前的估計;圖像超分辨率復原中的正則化技術,也是起穩定解的作用,即減小可能解的個數,也就增大了解的惟一性。
大多數超分辨率復原方法是從經典的單幅圖像復原技術發展而來的,單幅圖像復原技術經過幾十年的研究逐步形成一套統一的理論框架。雖然單幅圖像復原技術的研究還遠未成熟,但這類方法的固有局限性嚴重阻礙了圖像復原效果的大幅度提高。
2 數學模型
圖1描述一個低分辨率視頻圖像獲取過程的連續輸入、離散輸出模型的方塊圖。這里,sc(u1,u2,τ)是輸入的連續圖像;gk(n1,n2)是輸出的低分辨率離散圖像;
超分辨率復原技術分為幀內法和多幀法。雙線性內插、三次樣條內插、帶限函數外推法等都屬于幀內法。他們只用一副圖像獲得較高分辨率的圖像。這類方法實現簡單,但由于可利用信息的不足,效果不是很好。多幀法是利用低分辨率的視頻序列進行超分辨率圖像復原的。幀間超分辨率復原利用了這種包含在多幀中的附加信息來重構一個高分辨率靜態圖像或一個高分辨率圖像序列。
假定理想的高分辨率圖像的大小為L1N1×L2N2,用向量表示為z=[z1,z2,…,zn]T,其中N=L1N1×L2N2,L1,L2 分別表示觀察到的低分辨率圖像在水平及垂直方向的欠采樣因子。第k幀的低分辨率圖像可以表示為:
其中權值wk,m,r(sk)用來表示理想的高分辨率圖像中的第r個象素對觀察到的第k幀圖像的K個運動參數,根據不同的應用,這些參數即可表示全局水平或垂直方向的平移。運動估計的好壞直接影響超分辨率圖像復原的質量,如果運動估計的精度較低或者出現錯誤估計,那么超分辨率圖像復原的結果就會出現局部的變形或者其他錯誤修正。
3 超分辨率圖像的復原過程
超分辨率重建技術主要分為2類:頻域重建和空域重建。頻域法都以3個重要的原理為基礎:Fourier變換的平移特性;連續Fourier變換和離散Fourie,變換之間存在的混疊關系;原始場景具有帶限特性。
在此基礎上將觀測圖像混疊的DFT系數和未知場景CFT的采樣值聯系起來,建立方程組。該方程組的解是原始場景的頻率域系數,通過逆DFT即可恢復原始場景。空域法首先建立觀測模型,然后在空域完成重建。他可以充分利用廣義場景觀測模型,比如,非全局的相對運動、廣義噪聲模型等。因此其比頻域法更靈活,可行解的空間更小。 本文采用的空域法進行重建。
超分辨率圖像復原的實現分為以下幾個步驟:
(1)獲取低分辨率圖像: 考慮到要將復原結果與原始高分辨率圖像對比以進行實驗結果評估,低分辨率圖像(256×256)由原始高分辨率圖像(512×512)通過亞采樣得到。亞采樣規則為: 把原始高分辨率圖像分成2×2的小塊,以2×2小塊為單位,將每塊的第一個象素g(i,j)抽樣出來生成1幀低分辨率圖像,每一幀的分辨率圖像都是高分辨率圖圖像經過變換的結果。
(2) 進行運動估計:圖像的運動變形、模糊和噪聲等降質因素具有密切的關系,在圖像分辨率增強中,需要對圖像序列進行亞象素精確的運動估計。
設運動方向為x軸方向,則圖像函數可以寫成f(xx0(t),y),這里x0(t)是沿x軸正方向運動的距離。設曝光時間為0≤t≤T,在此期間移動的距離是a,所以x0(t)=at/T所形成的模糊圖像為:
g(x,y)=a∫T0f(x-at/t,y)dt(4)
可以得到原來圖像的象素值f(x):
f(x)-A+∑mk=0βg′(x-ka)-βk∑k-1m=0∑mk=0g′(x-ka)(5)
模糊圖像g(x)的倒數g′(x)是可求的,A是未知數,由實驗的方法進行確定,β是與感光靈敏度有關的系數。
(3) 計算每一幀低分辨率圖像的像元運動補償值,計算該像元點再高分辨率圖像上的像元位置,獲得模擬的分辨率圖像;計算真實圖像與模擬圖像之間的殘差,根據殘差修正高分辨率圖像的像元值。
4 試驗結果及分析
用512×512的灰度圖作為原始圖像,獲得其256×256的低分辨率圖像。對低分辨率圖像進行超分辨率重建。 如圖2~4所示。
圖2 512×512的灰度圖
圖3 256×256的灰度圖
圖4 經過恢復后的灰度圖
本文針對超分辨率圖像提出了一種復原算法,實驗結果表明,該算法應用于多幀圖像重建中,不僅運算量較小、運算速度快、重建結果質量較好,而且對噪聲也有較好的抑制作用。在后續的工作中將進一步提高超分辨率圖像增強的能力:減小計算量、加快運算的收斂速度、適用于不同的圖像要求。
參考文獻
[1]章毓晉.圖像工程[CD2]圖像處理\\[M\\].北京:清華大學出版社,2006.
[2]吳炳昊,阮秋琦,吳向君.基于新三步搜索法的超分辨率圖像處理研究\\[J\\].北京電子科技學院學報,2005,13(4):40-43,17.
[3]周芳.圖像超分辨率復原技術的現狀與展望\\[J\\].自動化與儀表,2006.
[4]陸原,胡楠.一種基于VC++的運動圖像復原技術\\[J\\].山西電子技術,2006(1):39-40,67.
[5]蔣梅.圖像盲復原和超分辨率復原算法及應用研究\\[D\\].南京:東南大學,2002.
注:本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。