一種改進Papoulis?Gerchberg的多幅超分辨重構(gòu)方法

穆紹碩，張 葉，賈 平（.中科院航空光學(xué)成像與測量重點實驗室（中國科學(xué)院長春光學(xué)精密機械與物理研究所），30033長春；2.中國科學(xué)院大學(xué)，00039北京）

一種改進Papoulis?Gerchberg的多幅超分辨重構(gòu)方法

穆紹碩1，2，張 葉1，賈 平1
（1.中科院航空光學(xué)成像與測量重點實驗室（中國科學(xué)院長春光學(xué)精密機械與物理研究所），130033長春；2.中國科學(xué)院大學(xué)，100039北京）

為進一步提高拍攝圖像的分辨率，提出一種改進的Papoulis?Gerchberg超分辨算法.新算法提出邊緣檢測方法，可以改善傳統(tǒng)方法空間復(fù)雜度和重構(gòu)圖像邊緣模糊的問題.新算法在原有的算法基礎(chǔ)上融于邊緣檢測，針對多幅同一場景輸入圖像，在每次Papoulis?Gerchberg迭代過程加入坎尼檢測，同時將每步的重構(gòu)誤差投影到下一步重構(gòu)過程，降低了算法空間復(fù)雜度，能有效恢復(fù)丟失的邊緣高頻信息.MATLAB實驗結(jié)果表明，與現(xiàn)有的經(jīng)典超分辨重構(gòu)方法相比，本算法反映圖像質(zhì)量的峰值信噪比和灰度標準差更高，信噪比和灰度標準差比改進前算法分別提高0.5 dB和2.5.從視覺感官上對比，重構(gòu)圖像整體效果也更加清楚，去除了原始重構(gòu)方法圖像邊緣疊影現(xiàn)象，有效提高了原始輸入圖像的分辨率.

超分辨率；邊緣檢測；重構(gòu)誤差；多幅圖像；峰值信噪比

隨著航空光電載荷的高速發(fā)展，更大的畫幅、更高的圖像分辨率以及更遠的作用距離成為航空光電載荷不斷追求的目標，但受體積、質(zhì)量、功耗等因素影響，以及光學(xué)系統(tǒng)成像過程中引起的欠采樣、運動模糊及噪聲等的影響，圖像分辨率受到光學(xué)和成像探測器的雙重限制，因此獲取高分辨率航拍圖像已成為當今航空領(lǐng)域的熱點和難點.提高圖像分辨率最直接的方法是采用高分辨率CCD相機，但受工藝水平限制以及相機圖像數(shù)據(jù)傳輸速率的限制，通過高分辨率CCD相機采樣獲得的圖像分辨率的能力是非常有限的.近年來，通過軟件方法等效提升圖像分辨率的技術(shù)，即超分辨率重構(gòu)技術(shù)受到廣泛關(guān)注.超分辨率重構(gòu)是將一幅或多幅包含相似信息而細節(jié)不同的低分辨率圖像融合成一幅高分辨率圖像，能夠重構(gòu)超出光學(xué)系統(tǒng)衍射極限之外的空間頻域信息，實現(xiàn)進一步提高分辨率的工程應(yīng)用目的.

超分辨率重構(gòu)技術(shù)最初由文獻［1］提出，采用簡單的頻域方法在無噪聲和模糊的情況下重構(gòu)圖像.隨后對于超分辨率重構(gòu)出現(xiàn)了各種方法［2－10］.文獻［2］采用一種重復(fù)迭代的空域方法，通過不斷構(gòu)造多個模擬的相似場景的低分辨率圖像找到相應(yīng)的高分辨率圖像；文獻［3］提出基于貝葉斯概率理論的方法，用最大后驗概率（MAP）方法重構(gòu)圖像；

文獻［4］結(jié)合最大似然函數(shù)（ML）和合適的先驗知識，提出了一種混合方法，重構(gòu)效果明顯提高；針對含有噪聲的模糊圖像，文獻［5］提出一種基于L1范數(shù)的重構(gòu)方法，能夠有效去除異常點，得到精細邊緣；文獻［6］提出一種非局部均值算法，不需要運動估計，重構(gòu)效果非常好，但是此運算量非常大，不利于工程應(yīng)用；文獻［7］對非局部均值算法進行計算簡化，從而加快了算法運行，但重構(gòu)圖像細節(jié)質(zhì)量有所下降；文獻［8－9］也很好地解決運算量大的問題，文獻［8］提出一種部分監(jiān)督鄰域嵌入算法，很好加快了重構(gòu)速度，文獻［9］則是通過結(jié)合空域方法和小波域方法對單幅圖像重構(gòu)，并采用重疊分割進行算法加速.

對于一維抽樣信號，文獻［10－11］首先提出基于信號外推理論恢復(fù)原始信號.隨后近年來將Papoulis?Gerchberg方法廣泛應(yīng)用到了圖像超分辨率重構(gòu)技術(shù)上［12－16］.文獻［12］使用Papoulis?Gerchberg方法對多幅圖像重構(gòu)，并分析低分辨圖像冗余信息的有無帶來的重構(gòu)影響.文獻［13］提出改進的Papoulis?Gerchberg算法實行重構(gòu)，取得了很好效果，但是重構(gòu)圖像會出現(xiàn)細節(jié)不夠精細，且去噪效果不明顯和迭代次數(shù)較多.本文針對以上問題，提出一種基于改進Papoulis?Gerchberg算法的多幅超分辨率重構(gòu)，通過對多幅同一場景低分辨率圖像進行重構(gòu)，能進一步提高邊緣精細程度，恢復(fù)丟失的高頻信息，獲得清晰的高分辨率圖像.

圖1 標準Papoulis?Gerchberg法流程圖

1 Papoulis?Gerchberg原理

真實場景景象經(jīng)相機系統(tǒng)拍攝會得到明顯低于真實景象分辨率的低分辨率圖像，根據(jù)文獻［17］超分辨成像模型理論，可表示為y＝D H X+N，其中：y為拍攝的低分辨圖像；D為傳感器像素數(shù)目有限引起的降采樣操作；H為鏡頭的模糊矩陣；N為系統(tǒng)加性噪聲；X為真實景象，即一幅HR圖像經(jīng)模糊下采樣后得到低分辨圖像.低分辨圖像之間具有不同運動參數(shù)，含有原始高分辨圖像X的冗余信息［13－15］.因此本文針對含有冗余信息的多幅LR圖像，提出改進的Papoulis?Gerchberg算法重構(gòu)盡可能接近原始高分辨圖像X的清晰圖像.

一幅高分辨率圖像經(jīng)過下采樣等得到幾幅低分辨率圖像，低分辨圖像會發(fā)生頻率混疊現(xiàn)象，文獻［10－11］提出一維信號混疊的外推恢復(fù)算法，隨后此理論用于圖像處理領(lǐng)域.

假設(shè)一維原始信號f（t），其產(chǎn)生的傅里葉頻譜為

對原始信號抽樣得實際信號為

假設(shè)原信號帶寬為ω0，并用截止頻率為ω0低通濾波，得到

再將信號h0（t）加載在h1（t）上，得到

這就完成了第1次迭代，按照以上過程經(jīng)n次迭代循環(huán)后，如

經(jīng)過無限次迭代得到的結(jié)果會接近原始信號f（t）.但是迭代次數(shù)增加意味著耗費的時間增多，而有限次的迭代又會造成結(jié)果誤差較大，因此在實際應(yīng)用中要對其改進優(yōu)化.對于二維圖像應(yīng)用Papoulis?Gerchberg算法，流程見圖1.

2 Papoulis?Gerchberg算法改進

2.1 多幅誤差反投影

如圖1所示，標準Papoulis?Gerchberg法重構(gòu)圖像需多次迭代，每次迭代的誤差不斷累積，重構(gòu)效果不夠明顯，對于工程應(yīng)用來說，整體視覺效果和邊緣細節(jié)都不夠清晰，沒有實際應(yīng)用意義.而且用于超分辨率重構(gòu)的單幅圖像提供信息有限，重構(gòu)結(jié)果有可能失真.因此在本文中應(yīng)用多幅同一場景不同運動參數(shù)輸入圖像進行重構(gòu)，并在每次迭代中所產(chǎn)生的誤差進行反投影，加在每次重構(gòu)圖像中，以減少重構(gòu)過程的空間復(fù)雜度.

文獻［6］可知，超分辨重構(gòu)是一個病態(tài)的逆向求值問題，低分辨率圖像的成像模型可用矩陣y＝D H X+N表示.對于此問題［1－4］一般可通過以下來表示（即在歐幾里德空間，采用p范數(shù)描述［7］）：

式中：εk（X）為實際原始輸入圖像與模擬低分辨圖像在某一空間的距離量度，其中1≤p≤2，在歐幾里德空間常用L1范數(shù)和L2范數(shù)表述，L1范數(shù)和L2范數(shù)分別對應(yīng)p＝1和p＝2的情況；X為Papoulis?Gerchberg算法迭代1次后求得重構(gòu)高分辨圖像；yk為一幅原始輸入圖像；DkHkX為對此次迭代重構(gòu)高分辨圖像下采樣的模擬低分辨圖像.本文使用L2范數(shù)，當取多幅輸入圖像時，可得

式中?P（X）為重構(gòu)圖像X的模擬低分辨圖像與原始輸入圖像之間的誤差.根據(jù)Papoulis?Gerchberg原理，式（4）中X可求得

式中：LP為截止頻率是σ的低通濾波器；FFT、IFFT分別為傅里葉變換和傅里葉反變換，將HR初始估計X0已知像素點值賦在上式X構(gòu)成新的HR估計X，如圖1所示，然后求得新的誤差?P（X）.

由式（4）可知，重構(gòu)誤差可由將原始圖像與模擬低分辨率圖像之間的差值經(jīng)過上采樣DTK，再去模糊得到.如果在每次迭代過程都加上相應(yīng)誤差?P（X），與原始算法相比將會大大縮減迭代次數(shù)，同時能通過減少誤差提高重構(gòu)質(zhì)量.每次迭代過程可表示為

式中：Xn為第n次Papoulis?Gerchberg算法迭代，?P（Xn）為相應(yīng)的第n次迭代所產(chǎn)生的誤差，α為系數(shù)因子.

2.2 邊緣細節(jié)恢復(fù)

若按照以上過程并不能有效恢復(fù)細節(jié)高頻成分，部分高頻信息在每次迭代中都會被濾波丟失，如

且迭代后很難恢復(fù)完全，因此會導(dǎo)致重構(gòu)圖像邊緣高頻信息有所丟失，邊緣細節(jié)不夠清晰，本文得到的重構(gòu)圖像質(zhì)量也會受影響.邊緣是圖像的基本特征，圖像的大部分信息包含在圖像中.邊緣高頻信息的恢復(fù)決定了重構(gòu)圖像細節(jié)質(zhì)量，超分辨重構(gòu)的關(guān)鍵就是精確恢復(fù)丟失的邊緣高頻信息.文獻［17］提出非局部濾波快速算法，通過邊緣檢測方法提取高頻信息進行重構(gòu)恢復(fù)；文獻［18］指出通過邊緣檢測算子提取原始高頻信息，能在此基礎(chǔ)上進一步恢復(fù)邊緣信息.因此在Papoulis?Gerchberg算法基礎(chǔ)上提出邊緣檢測方法，對初始重構(gòu)估計X通過邊緣檢測提取高頻信息，確保原始高頻信息不丟失，得到高分辨率圖像高頻信息的預(yù)估計，同時在此基礎(chǔ)上恢復(fù)其它丟失的高頻成分和低頻成分.

邊緣檢測算法有很多，其中坎尼檢測算子是一類最優(yōu)邊緣檢測算子，它通過尋找圖像梯度的局部極大值，用高斯函數(shù)的一階微分來計算函數(shù)，對圖像強邊緣和弱邊緣都能準確提取，而且對單一邊緣有唯一響應(yīng)，已廣泛應(yīng)用在圖像處理領(lǐng)域.本文使用坎尼邊緣提取方法，通過在每次迭代中加入坎尼檢測得到丟失的邊緣高頻信息預(yù)估計，進一步提高邊緣精細度.基于文獻［17－18］高頻信息恢復(fù)原理，本文算法表示為（Xn（canny）是第n次迭代過程的高頻成分）

式中：X0（canny）為對原始低分辨率圖像插值后的初始重構(gòu)估計進行坎尼邊緣提取得到；為第n次迭代后的模擬的低分辨率圖像；up）為所有模擬圖像插值融合后所得高分辨圖像.因為模擬低分辨率圖像本身存在很大誤差，將其插值融合成的高分辨率圖像∑（up）會比原始重構(gòu)估計X0邊緣更模糊，所以將兩者相減會得到丟失的部分邊緣高頻信息.

式（7）是通過邊緣檢測提取的高頻信息，將其加入到式（5）中，可得每次的迭代過程，如

根據(jù)式（8）可得本文算法原理，本文算法流程如圖2所示，A過程表示原始輸入圖像與模擬低分辨圖像的誤差反投影到下一次的迭代；B過程表示邊緣檢測提取的高頻信息恢復(fù).

圖2 本文算法流程

3 實驗結(jié)果

對于多幅圖像超分辨重構(gòu)技術(shù)來說，決定重構(gòu)圖像質(zhì)量好壞的首要問題就是多幅LR圖像的配準問題，本實驗分為仿真圖像實驗和實景圖像實驗.對仿真實驗來說，本文算法和其他對比算法都采用同一種配準方法［10］，在此基礎(chǔ)上對比本文改進算法與改進前和其他算法的優(yōu)勢.對于實景圖像實驗，本文采用微位移實驗平臺采集圖像，采集的多幅圖像能準確知道其運動參數(shù)，因此避免運動參數(shù)估計失敗導(dǎo)致的超分辨重構(gòu)圖像失敗，同時從實景重構(gòu)說明本文算法的優(yōu)勢.

3.1 仿真實驗

分別用標準Lena圖像和實景圖像驗證本文算法的優(yōu)越性.實驗是運用MATLAB7.8（R2009a）在windows XP系統(tǒng)、奔騰雙核的主機上運行，圖3是重構(gòu)結(jié)果，其中：圖3（a）是256×256的標準高分辨率Lena圖片，對其隨機旋轉(zhuǎn)平移再降采樣得到4幅128×128低分辨率圖像，并加入方差為0.02的高斯噪聲；圖3（b）是一幅低分辨率圖像；圖3（c）～（f）分別為采用雙三次插值法、IBP算法、應(yīng)用文獻［13］的Papoulis?Gerchberg算法、本文算法所得到的超分辨率重構(gòu)結(jié)果.從圖像視覺效果分析，本文算法比插值算法、IBP算法和文獻［13］的Papoulis?Gerchberg算法都有優(yōu)勢，邊緣細節(jié)如帽檐和眼睛保持較好較細膩，且從整體來看，本文圖像較其他算法更平滑，更清晰.本文算法較IBP算法結(jié)果更平滑，IBP結(jié)果中有部分馬賽克現(xiàn)象，而與Priyam算法結(jié)果相比，本文算法結(jié)果更清晰，文獻［13］算法的重構(gòu)圖像在帽檐周圍有明顯的疊影.同時從細節(jié)上比，如眼睛，本文算法結(jié)果較清晰細膩，其反應(yīng)圖像細膩程度的灰度標準差如表1所示.

圖3 重構(gòu)結(jié)果

表1 灰度標準差比較結(jié)果

客觀上，用峰值信噪比（PSNR）、均方誤差（MSE）和平均絕對誤差（MAE）評估重構(gòu)質(zhì)量.其中：g（i，j）為重構(gòu)圖像像素值，f（i，j）為原始高分圖像像素值.PSNR越大，MSE、MAE越小表示重構(gòu)質(zhì)量越好.如表2所示，本文算法所得重構(gòu)結(jié)果PSNR比插值法和IBP算法高出2 dB多，比文獻［13］的Papoulis?Gerchberg算法高出0.5 dB，MSE和MAE也比其他算法小.從客觀評價標準上看本文算法比其他算法更有優(yōu)勢.圖4是迭代次數(shù)與迭代誤差的擬合曲線圖，橫坐標表示迭代次數(shù)，縱坐標表示重構(gòu)誤差，實線表示本文算法所得結(jié)果，虛線表示文獻［13］算法結(jié)果.圖4中可知隨著迭代次數(shù)增加，本文算法重構(gòu)誤差比改進前算法下降的快，即同等迭代次數(shù)本文算法重構(gòu)誤差更小.在其中選取某些迭代次數(shù)和迭代誤差的對比關(guān)系，見表3.從表3中可見，在迭代誤差達到e－4級數(shù)的時候，本文算法比文獻［13］所用Papoulis?Gerchberg算法迭代次數(shù)減少近1／2，降低了算法的空間復(fù)雜度.

表2 PSNR比較結(jié)果

圖4 迭代次數(shù)與誤差的對比擬合

表3 迭代次數(shù)與誤差的比較結(jié)果

灰度標準差表示各像素灰度值與圖像平均灰度值的總離散度，灰度標準差越大，圖像信息越多.因此灰度標準的大小一定程度上能反映圖像的細節(jié)分布情況.

3.2 實景實驗

用實驗平臺采集圖像并進行重構(gòu)處理，以獲得更清晰的高分辨率圖像.如圖5所示，它是由一個微位移鏡頭A，PI轉(zhuǎn)臺B組成的實驗平臺系統(tǒng).通過控制PI轉(zhuǎn)臺能連續(xù)獲得多幅同一實景不同運動參數(shù)圖像，如圖6（a）、（b）.為能對不同算法重構(gòu)結(jié)果進行對比，取每幅圖像同等部分輸入到電腦分別利用雙三次插值法、IBP算法、應(yīng)用文獻［13］的Papoulis?Gerchberg算法和本文方法進行重構(gòu)，圖6（c）～（f）為其重構(gòu)結(jié)果.從圖6中細節(jié)對比可見，本文算法能很好對實景圖像重構(gòu)，重構(gòu)圖像與其他算法相比，邊緣細節(jié)更細膩.同時從表1的灰度標準差來看，本文算法的重構(gòu)結(jié)果灰度標準差比改進前算法高0.3，客觀上分析可知本文算法重構(gòu)圖像的邊緣細節(jié)比傳統(tǒng)插值法和改進前算法更好.

圖5 實景拍攝平臺

圖6 超分辨率實景重構(gòu)結(jié)果

4 結(jié) 語

本文針對超分辨率重構(gòu)Papoulis?Gerchberg算法存在的重構(gòu)結(jié)果細節(jié)模糊現(xiàn)象，提出了一種基于Papoulis?Gerchberg的改進算法.實驗結(jié)果表明，本文算法重構(gòu)結(jié)果的信噪比（PSNR）和灰度標準差比文獻［13］的Papoulis?Gerchberg算法都有提高，圖像重構(gòu)質(zhì)量更好，同時迭代次數(shù)大大較少，降低了算法空間復(fù)雜度，有很好的工程應(yīng)用前景.

［1］TSAI R Y，HUANG T S.Multiframe image restoration and registration［J］.Advances in Computer Vision and Image Processing，1984，1：317－339.

［2］IRANI M，PELEG S.Improving resolution by image registration［J］.Graphical Model and Image Processing，1991，53（3）：231－239.

［3］CHEESEMAN P，KANEFSKY B，KRAFT R，et al.Super?resolved surface reconstruction from multiple images［M］. Santa Barbara，California：Maximum Entropy and Bayesian Methods，1996.

［4］HARDIE R C，BARNARD K J，ARMSTRONG E E.Joint MAP registration and high?resolution image estimation using a sequence of undersampledImages［J］.IEEE Transactions on Image Processing，1997，6（12）：1621－1633.

［5］FARSIU S，ROBINSON M D，ELAD M，et al.Fast and robust multiframe super resolution［J］.IEEE Transactions on Image Processing，2004，13（10）：1327－1344

［6］PROTTER M，ELAD M，TAKEDA H，et al.Generalizing the nonlocal?means to super?resolution reconstruction［J］. IEEE Transactions on Image Processing，2009，18（1）：36－51.

［7］李家德，張葉，賈平.采用非局部均值的超分辨率重構(gòu)［J］.光學(xué)精密工程，2013，21（6）：1576－1585.

［8］ZHANG Kaibing，GAO Xinbo，LI Xuelong，et al.Partially supervised neighbor embedding for example?based image super?resolution［J］.IEEE Journal of Selected Topics in Signal Processing，2011，5（2）：230－239.

［9］TAI S C，KUO T M，IAO C H，et al.A fast algorithm for single?image super resolution in both wavelet and spatial domain［C］／／Proceedings of the 2012 International Symposium on Computer，Consumer and Control. Washington，DC：IEEE Computer Society，2012：702－705.

［10］GERCHBERG R W.Super?resolution through error energy reduction［J］.Optica Acta，1974，21（9）：709－720.

［11］JAIN D.Super?resolution using Papoulis?Gerchberg algorithm［D］.Stanford，CA：Stanford University，2012.

［12］CHATTERJEE P，MUKHERJEE S，CHAUDHURI S，etal. Application of Papoulis?Gerchberg method in image super?resolution and inpainting［J］.Computer Journal，2009，52（1）：80－89.

［13］RAO C V，RAO J M，KUMARA S，et al.Restoration of high frequency details while constructing the high resolution image［J］.IEEE India Conference，2011（12）：1－5.

［14］SALARI E，BAO Guanqun.Super?resolution using an enhanced Papoulis?Gerchberg algorithm［J］.IET Image Processing，2012，6（7）：959－965.

［15］VALERY P，DANIEL K.Iterative Papoulis?Gerchberg algorithm for fan?beam tomography［J］.IEEE Transactions on Computational Technologies in Electrical and Electronics Engineering，2008（8）：333－341.

［16］PARK S C，PARK M K，KANG M G.Super?resolution image construction：a technical overview［J］.IEEE Signal Processing Magazine，2003，20（3）：21－36.

［17］LIANG Xiuju，GAN Zongliang.Improved non?local iterative back projection method for image super?resolution［C］／／Proceedings of the Sixth International Conference on Image and Graphics（ICIG）.Hefei，Anhui：IEEE Computer Society.2011：176－181.

［18］PATEL V B，MODI C K，PAUNWALA C N，et al.Hybrid Approach for Single Image Super Resolution using ISEF and IBP［C］／／Proceedings of the IEEE Conference on Communication System and Network Technology（CSNT）. Washington，DC：IEEE Computer Society，2011：495－499.

（編輯 張 紅）

An improved Papoulis?Gerchberg algorithm for multiframe super?resolution reconstruction

MU Shaoshuo1，2，ZHANG Ye1，JIA Ping1
（1.Key Laboratory of Airborne Optical Imaging and Measurement（Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，
Chinese Academy of Sciences），130033 Changchun，China；2.Graduate University of Chinese Academy of Sciences，100039 Beijing，China）

In order to enlarge a low resolution image clearly，an improved Papoulis?Gerchberg super?resolution method was proposed to solve the space complexity and the edge blurring phenomenon of reconstruction results.More specifically，the proposed algorithm uses edge detection operator，and canny detection is also joined in every Papoulis?Gerchberg iterative process，while reconstruction error is projected to next iterative process，such that the space complexity can be reduced and the lost high?frequency edge information can be recovered effectively.MATLAB experimental results show that the PSNR and the gray standard deviation improve 0.5 dB and 2.5，respectively，with comparison to the conventional Papoulis?Gerchberg method.Furthermore，the proposed algorithm can reconstruct multi?frame Low?Resolution images ofsame scene more accurately and the visualquality ofthe reconstruction image is clearer that the conventionalone，and the proposed algorithm can also eliminate edge shadow and obtain a clear high?resolution image.

super?resolution；edge detection；reconstruction error；multi?frame images；peak signal to noise ration

TP517.2

A

0367－6234（2015）10－118－06

10.11918／j.issn.0367?6234.2015.10.022

2014－07－04.

國家自然科學(xué)青年基金（60902067）；吉林省重大科技攻關(guān)項目（11ZDGG001）.

穆紹碩（1990—），男，博士研究生；賈 平（1964—），男，研究員，博士生導(dǎo)師.

穆紹碩，860600894＠qq.com.