超分辨率重構技術用于紅外掃描系統的關鍵

吳 艷， 安博文， 葉洪濤， 林 川

(1.廣西工學院電控系，廣西 柳州 545006; 2.上海海事大學，上海 200083)

0 引言

紅外波段相對于可見光波段，觀測天候性更好，可以全天獲取圖像，但由于紅外傳感器件受制造材料、工藝等因素的影響，獲得的原始紅外圖像存在非均勻性和盲元等，處理相對可見光更復雜，紅外波段圖像質量也遠低于可見光圖像，空間分辨率遠小于可見光［1］。超分辨率重構(Super－Resolution Reconstruction，SRR)技術是提高遙感圖像空間分辨率最有前景的方法。對于SRR在遙感領域的應用，目前典型的有德國的紅外遙感器 HSRS、萊卡公司數字航空相機 ADS40［2］、法國SPOT－5［3］和歐盟的MSG。在國內，多家研究機構和高校在超分辨率重建技術方面都已做了許多研究工作，為該項技術在國內的研究和發展奠定了一定的理論和工程基礎。然而，目前在國內，該技術在工程上的成功應用還沒有實例，因此，利用SRR技術提高紅外掃描成像系統的空間分辨率，并從工程實驗的角度研究SRR應用于紅外掃描成像系統需要解決的問題意義重大。

1 SRR技術簡介

SRR是從多幅有欠采樣的互有子像素位移的圖像融合出一幅更高分辨率的圖像［4－6］。它是圖像融合的一個分支，相對一般的圖像融合技術，待重構的源圖像有一定約束條件:必須是同一個波段，必須具有非整數像元位移。SRR技術是硬軟結合的技術。通過硬件平臺獲得多幅有子像元位移的圖像，它的本質是利用空間換取時間帶寬，以獲得更高的采樣頻率，獲得的多幅圖像經重構能否有更好的質量、更高的空間分辨率除了滿足SRR技術適用的基本條件［7］，還受重構算法、待重構圖像錯位量的估算及待重構圖像本身噪聲因素的影響。

2 錯位量估計與噪聲的影響分析

對于重構算法的研究，在文獻［8］中已說明，本文研究待重構圖像的錯位量與待重構圖像的噪聲對SRR的影響，并在工程應用上對這兩個關鍵問題進行有效解決。圖1與方程組(1)從SRR原理來解釋配準誤差對重構效果的影響，圖2與方程組(2)從SRR原理來解釋待重構圖像的噪聲對重構效果的影響。

圖1 探測元錯位不一致采樣重構示意圖Fig.1 Reconstruction sketch map for sensor sampling with nonuniformal displacement

如圖1所示，若探測元1、探測元2、探測元3均錯位4/9個像元，如果錯誤地估算為均錯位1/3個像元來重構，重構圖像按方程組(1)解，顯然方程組(1)中各方程的系數是從各探測元錯位1/3像元得出的，由于各待重構圖像錯位量估計不準，方程系數錯誤，從方程組(1)反演出來的圖像不是正確的重構圖像。按圖1所示，各探測元采樣圖像像元與重構圖像像元滿足方程組(1)所示關系為

從SRR原理來解釋噪聲對重構效果的影響，圖2為受噪聲干擾重構示意圖(圖中x1、x2、x3排中單個像元噪聲值用nxx表示，nxx為0則沒受噪聲干擾)，從重構方程組(2)可知，重構過程在增加有用像素，提高空間分辨率的同時，受噪聲干擾像元也會相應增加，重構圖像的噪聲擴散了，因此，如果低分辨率圖像x1、x2、x3受噪聲干擾概率大，受干擾像元多，干擾噪聲幅值大，即加到像元的nxx值大，則重構圖像可信度降低，當SNR低到一定程度時重構圖像就不可信。圖像的質量由空間分辨率與SNR兩個指標共同決定，因此，當待重構圖像的SNR低到一定的值時，重構圖像的空間分辨率的增加低于噪聲擴大帶來的惡化效果時，圖像重構不再有意義。

圖2 考慮噪聲的重構示意圖Fig.2 Reconstruction sketch map with noise

3 待重構圖像錯位量的估算

在掃描成像中主要通過多路分光或線陣探測器的錯位排列來實現亞像元序列圖像的獲取。為了減少待重構圖像配準的難度，準確獲得多幅具有一定錯位量的圖像，目前研究較多的是線陣探測器錯位排列的獲取方式［9］，通過線陣探測器的錯位排列來實現SRR的排列方式主要有3種。

1)兩路探測器線陣列沿線陣方向錯開半個像元，在掃描方向上錯開n個像元(n為正整數)，并且兩排線陣列保持很高的配準精度。德國的紅外遙感器HSRS、萊卡公司數字航空相機ADS40以及西安光學精密機械研究所做的研究采用了這種方法，見圖3。

圖3 探測器錯位排列方式1Fig.3 The first mode of sensor arrangement

2)兩路探測器線陣列沿線陣方向錯開半個像元，在掃描方向錯開(n+0.5)個像元(n為正整數)，法國SPOT－5采用了這種方法，見圖4。

圖4 探測器錯位排列方式2Fig.4 The second mode of sensor arrangement

圖5 探測器錯位排列方式3Fig.5 The third mode of sensor arrangement

按以上幾種排列方式，通過在推掃方向取不同的采樣頻率，可以得到采樣密度不同、錯位量可估計的低分辨率圖像。

4 基于圖像序列的同位像素比較濾波法

對低分辨率圖像進行濾波，在SNR獲得提高的同時必然伴隨著分辨率的下降，不同的濾波算法平滑效果不同，因此，對于噪聲比較明顯的低分辨率圖像重構之前的濾波至關重要。對于白噪聲與散粒噪聲目前比較典型的有自適應濾波(維納濾波)、中值濾波［10－11］，本文介紹基于序列的同位像素比較濾波法，這種方法對白噪聲、散粒噪聲都適用，在進行SRR仿真分析時效果好于維納濾波和中值濾波。基于序列的同位像素比較濾波法流程如圖6所示。

圖6 基于圖像序列的同位像素比較濾波法流程Fig.6 Filtering of relative pixel comparation based on image sequence

5 圖像序列同位像素比較濾波法對重構效果的分析

采用課題研究組自行研制的紅外掃描相機同時獲得四列探測器掃描圖像，圖7、圖9、圖11、圖13分別為四列探測器獲得的原始圖像與去除背景噪聲后的圖像，圖8、圖10、圖12、圖14分別為四列探測器獲得的圖像進行灰度一致性調節后的圖像與進行非均勻性校正和基于圖像序列逐像素濾波后的圖像。

圖7 探測器陣列1獲得的原始圖像與除去背景噪聲之后的圖像Fig.7 Raw image and the denoised image of sensor array 1

圖8 灰度值調整之后的圖像與非均勻性校正并基于序列的同位像素濾波后的圖像Fig.8 The image after grey－level adjusting and the one after nonuniformity correction and filtering

圖9 探測器陣列2獲得的原始圖像與除去背景噪聲之后的圖像Fig.9 Raw image and the denoised image of sensor array 2

圖10 灰度值調整之后的圖像與非均勻性校正并基于序列的同位像素濾波后的圖像Fig.10 The image after grey－level adjusting and the one after nonuniformity correction and filtering

圖11 探測器陣列3獲得的原始圖像與除去背景噪聲之后的圖像Fig.11 Raw image and the denoised image of sensor array 3

圖13 探測器陣列4獲得的原始圖像與除去背景噪聲之后的圖像Fig.13 Raw image and the denoised image of sensor array 4

圖14 灰度值調整之后的圖像與非均勻性校正并基于序列的同位像素濾波后的圖像Fig.14 The image after grey－level adjusting and the one after nonuniformity correction and filtering

圖15 為4個通道圖像經去除背景噪聲、灰度一致調節、非均勻性校正后(圖8、圖10、圖12、圖14左邊圖)的重構圖像，圖16是非均勻性校正并基于圖像序列的同位像素濾波后(圖8、圖10、圖12、圖14右邊圖)的重構圖像［5］，通過圖15與圖16可以看到，基于序列的同位像素濾波后重構圖像效果明顯要好，圖15與圖16相關評價指標如表1所示。分別取圖15與圖16中的一部分得出其梯度圖像如圖17所示，圖17左邊為圖15的梯度圖，右邊為圖16的梯度圖，從圖17可以明顯看到，圖16的梯度圖輪廓要比圖15的梯度圖清晰。

圖15 四通道獲得的圖像非均勻性校正后重構結果圖Fig.15 Reconstructed image from four channel images after nonunformity correction

圖16 四通道獲得的圖像非均勻性校正并同位像素濾波后重構結果Fig.16 Reconstructed image from four channel images after nonunformity correction and filtering

圖17 圖15與圖16的梯度圖Fig.17 Gradient images of Fig.15 and Fig.16

表1 圖15與圖16評價指標Table 1 Evaluating indexes for Fig.15 and Fig.16

6 結束語

文中對SRR技術應用于紅外掃描成像系統需要解決的兩個關鍵問題:待重構圖像錯位量估計與待重構圖像噪聲去除進行了理論分析與實驗研究。研究表明:通過采用固定錯位量的多排傳感器，并精確計算其曝光時間，可以準確估算待重構圖像的錯位量;對待重構圖像中噪聲的去除，提出的基于圖像序列的同位像素比較濾波法，可以有效減少待重構圖像噪聲對重構效果的影響。對這兩個問題的實驗研究，相對于已有的大量理論研究，可以提供更為客觀的工程應用參考。

［1］ 吳艷，陳凡勝.SRR在我國靜止氣象衛星紅外通道應用可行性的研究［J］.紅外與激光工程，2010，39:335－339.

［2］ REULKE R，BECKER S，HAALA N，et al.Determination and improvement of spatial resolution of the CCD－linescanner system ADS40［J］.ISPRS Journal of Photogrammetry and Remote Sensing，April，2006，60(2):10.

［3］ 譚兵，邢帥，徐青，等.SPOT5超模式數據處理技術研究［J］.遙感技術與應用，2004，19(4):249－252.

［4］ HENDRIKS L，CRIS L，VLIET V，et al.Improving resolution to reduce aliasing in an under sampled image sequence［J］.SPIE，2000，2965:214－222.

［5］ ELAD，M，FEUER A.Restoration of a single superresolution image from several blurred，noisy and undersampled measured images［J］.IEEE Transactions on Image Processing，1997，6(12):1646－1658.

［6］ MERINO M T，NUNEZ J.Super－resolution of remotely sensed images with variable－pixel linear reconstruction［J］.IEEE Transactions on Geoscience and Remote Sensing，2007，45:1446－1457.

［7］ 吳艷，陳凡勝，陳桂林.圖像復原與SRR適用基本條件及提高空間分辨率上限的研究［J］.紅外與毫米波學報，2010，29(5):351－356.

［8］ 吳艷，陳凡勝.基于IBP的實用的SRR重構算法研究［J］.紅外技術，2009，31(12):720－723.

［9］ 周峰.提高線陣采樣式光學遙感器圖像空間分辨率的新方法研究［J］.宇航學報，2006，27(2):227－232.

［10］ GONZALEZ R C，WOODS R E.Digital image processing［M］.2nd ed.Prentice Hall，Upper Saddle，2002.

［11］ ELAD M，FEUER A.Superresolution restoration of an image sequence:Adaptive filtering approach ［J］.IEEE Transactions on Image Processing，1999，8(3):387－395.