星載相機軌道末期成像模型及圖像復原算法

賀小軍,金 光,楊秀彬,王金玲,曲宏松

1.中國科學院長春光學精密機械與物理研究所,吉林長春130033;2.中國科學院研究生院,北京100039

星載相機軌道末期成像模型及圖像復原算法

賀小軍1,2,金 光1,楊秀彬1,2,王金玲1,2,曲宏松1

1.中國科學院長春光學精密機械與物理研究所,吉林長春130033;2.中國科學院研究生院,北京100039

通過對光學衛星軌道末期成像面臨的像移失配的研究,從能量的觀點出發建立TDI CCD(時間延遲積分電荷耦合器件)推掃成像通用模型(GMPI)。基于該模型提出一種像移失配工況下的非常規遙感成像方式。引入信號濾波器的表示方法,將GMPI模型簡化成為易于計算的TDI CCD推掃成像濾波器模型(FMPI),對軌道末期遙感圖像混疊效應進行定量分析,并給出基于成像機理及成像參數的圖像恢復處理方法。通過實際成像試驗獲取像移速度失配下的圖像并通過圖像恢復算法進行處理,得到比半盲式復原算法更好的圖像恢復效果。

軌道末期;TDI CCD;非常規成像;像移失配;圖像恢復

1 引 言

為了獲取高分辨率的遙感圖像,光學成像衛星大多運行在低于1 000 km的太陽同步軌道。由于稀薄大氣的阻力影響,衛星軌道會逐漸衰變,最后墜入大氣層燒毀。為了維持正常軌道高度,光學成像衛星一般都攜帶大量燃料,每隔一段時間重新將軌道推高到標稱高度,這一過程稱為軌道維持。當衛星燃料耗盡,無力再維持正常的軌道高度時,光學相機的成像系統往往會因為本身參數的限制,不能再進行正常的遙感成像。從衛星燃料耗盡到衰變墜入大氣層燒毀,這段時間稱為衛星軌道末期。由于太空中空氣極為稀薄,軌道的衰變是一個漫長的過程,這段時間短則幾個月,長則幾年。由于衛星其他系統的設計壽命往往長于燃料供給時間,故在衛星軌道末期,衛星仍然有可能進行一些異于常規模式的成像,從而獲取一些有價值的遙感資料。由于此時成像已經不滿足像移速度匹配條件,所得到的遙感圖像是具有區域性混疊的欠采樣圖像。

對衛星軌道末期成像問題進行研究,其關鍵技術是圖像復原算法,本問題屬于圖像工程中的運動圖像復原研究范疇。該領域的研究成果和相關算法較多。文獻[1]通過獲取點擴散函數從而得到遙感圖像的調制傳遞函數(MTF)增強圖像的高頻部分,使圖像易于判讀解譯。文獻[2]綜合利用了無人機運動的先驗信息,提出不同運動模糊情況下點擴散函數的估計方法,采用維納濾波復原算法估計圖像,給出了適用于無人機成像制導系統的圖像復原方案。文獻[3]分析了航空成像系統像移模糊產生的機理;通過建立運動模糊的數學模型,構建二維運動模糊點擴散函數;采用維納濾波方法,消除了航空成像系統圖像像移模糊;通過加窗技術,有效地抑制和減小了邊緣誤差。文獻[4]基于調制傳遞函數(MTF)對 TDI CCD的像移進行了分析。根據TDI CCD像移的產生機理,建立圖像退化的數學模型,本文作者提出一種有效估計模糊圖像系統點擴散函數的方法,并對運動模糊圖像進行半盲恢復。

文獻[2-3,7]主要針對面陣CCD所成圖像進行分析,由于像移情況復雜,只能通過盲式或半盲式,主要依靠對圖像的統計學參數進行圖像恢復,其中提到的特征分割等處理方法對完善本文的算法具有借鑒意義。文獻[1,4]針對TDI CCD在航天遙感的像移失配成像進行半盲式恢復,但并不適用于軌道末期像移嚴重失配的情況。在該情況下,像移主要是沿航方向分量,且與軌道直接相關。本文提出一種基于成像原理的復原算法,避免盲式或者半盲式復原算法在像移失配嚴重時出現病態。建立像移速度失配下的 TDI CCD推掃成像模型,并尋找出圖像恢復算法,不僅可以延長光學成像衛星的有效工作壽命,使得衛星得到更加充分的利用,而且有助于非常規遙感成像理論的發展。

2 軌道末期成像模型

2.1 TDI CCD推掃成像通用模型

根據初步調研,到目前為止,學術界尚未提出TDI CCD像移速度嚴重失配時的成像模型。在軌道末期,隨著衛星軌道的不斷衰變,像移速度持續增大。由于焦平面電子學的噪聲與像素移出時鐘頻率存在正相關關系,為了保證相機在正常工作軌道上具備較高的信噪比,成像電子學在設計時往往選取了滿足正常拍照要求的最低像素移出頻率。故在軌道末期,隨著軌道持續衰變,相移速度持續增大。若仍然通過調整行轉移周期去實現與相移速度的嚴格匹配,則會使得TDI CCD每行的像素無法正常移出,使得TDI CCD產生時許紊亂,無法成像。所以在進行成像電子學設計中,都設定了一個最小行周期閾值,當通過姿軌參數計算所得值小于這個閾值時,則將實際行轉移周期鎖定為該閾值。由于軌道末期太陽能帆板仍能正常提供電能,衛星姿態控制系統可以正常工作,衛星仍具備調偏流能力,偏流對衛星成像的影響在允許范圍之內,忽略其影響。本論文提出的 TDI CCD推掃成像通用模型(GMPI)主要研究沿航方向像移速度與行轉移頻率在任意不同匹配度時對遙感成像的影響,對不同的匹配情況具有較好的通用性。

為了建立簡單實用的數學模型,以文獻[1]中的成像模型為基礎進行簡化,設地面目標亮度函數為 g0(x0,y0,t),軌道高度為 H,焦距為 f,在成像的瞬時弧段看成勻速圓周運動,則像面照度函數為

其中,A0是與光學系統、星地距離有關的系統參數,在每次拍照時間內,可以看作常數,其數值對本模型沒有影響。根據能量積分的觀點,每個CCD像元的信號能量來源于像面上對應區域的照度對時間及位置的積分,根據TDI CCD的推掃成像方式及電荷轉移原理,每個像元輸出信號為該列各感光像元先后不同時刻積分之和,TDI CCD第L行R列輸出的信號理論大小為

其中,K0為光電轉換常數,只與TDI CCD器件本身有關;N為 TDI CCD推掃成像所采用的積分級數;a為CCD像元尺寸,若行轉移頻率與像移速度嚴格匹配,則表現為對同一區域的多次感光量之和,而對像移速度失配的情況,則表現為對某區域及其前后鄰近混疊區域的感光量之和。

2.2 TDI CCD的濾波器模型

公式(2)為TDI CCD成像的理論公式,但在實際成像過程中,目標的亮度函數往往是不規則函數,很難進行精確的積分計算。為了得到易于應用的工程化模型,將TDI CCD的推掃成像過程看成一個濾波器。由于軌道末期相移失配主要表現為沿航方向(行間像移),偏流引起的列間像移在經過偏流調節之后,其殘差已經變為次要因素,予以忽略,得到簡化的TDI CCD推掃成像濾波器模型(FMPI)。它表示像面各個區域對遙感圖像中每個像素的貢獻率,或者是遙感圖像每個像素對目標各個區域的敏感度,其傳遞特性函數為GTDI(L,y)表示像面 y位置的圖像對第L行圖像的貢獻率(其數值在0～N之間),其中 y為目標在像面坐標系中的位置矢量(飛行方向為正),L為行數;a為CCD像元尺寸;δ為行轉移頻率失配率矢量(像移速度超前為正);N為 TDI CCD積分級數。圖1～圖3直觀地表示出δ取不同值時公式(3)所表示的濾波器特性。

圖1 δ=0時96級積分等效濾波器Fig.1 Flitter module forδ=0 andN=96

圖2 δ=1%時96級積分等效濾波器Fig.2 Flitter module forδ=1%andN=96

圖1～圖3展示了TDI CCD在96級積分情況下連續10行輸出信號所對應的目標位置。從圖中可以看出,當行轉移頻率與像移速度嚴格匹配時,只有相鄰像素之間有成像區域混疊現象,每個像素所采集的信息來源于鄰近的2個GSD單元,主峰出現在本GSD內,且本GSD區域能量權重占75%。當行轉移頻率與像移速度失配時,混疊程度變得越來越嚴重,對于96級積分的 TDI CCD,當δ=1%時,每個像素所采集的信息來源于鄰近的2.5個 GSD單元。當δ=5%時,每個像素所采集的信息來源于鄰近的4.5個 GSD單元。為了便于表征信號混疊的嚴重程度,引入混疊率RA來表示某像元中混疊信號量與總信號量之比,混疊率越小,表示該像元信號可信度越高,圖像的對比度越好。

圖3 δ=5%時96級積分等效濾波器Fig.3 Flitter module forδ=5%andN=96

由公式(3)可以看出,GTDI(l,y)具有明顯的窗口特性,在窗口外為全0。根據窗口范圍,可以得出每行像素圖像信號來源的始末位置,而且每行像素的濾波曲線僅僅是在 y方向的平移,所以相鄰兩行像素增益值相等處,則為兩行之間的分界位置,于是可以計算出第L行圖像信號來源的起始位置Ybegin(L)、結束位置Yend(L),與L+1行的分界位置得 Yborder(L)

于是利用公式(3)中單行像素濾波曲線關于中心位置的對稱特性,可以得到混疊率公式為

為便于計算,公式可變換為

通過數值分析,可以得到圖4。從圖中可以看出,隨著行像移失配率的增大,混疊率隨之增大,且TDI CCD積分級數越大,變化混疊率增加越快。所以,在衛星軌道末期,若失配率已經較大,不應選用高積分級數,而應該采用較低積分級數,同時提高電子學放大系數的方法來獲得較好圖像。

圖4 圖像混疊率曲線圖Fig.4 Image-aliasing effect(IAE)curve

圖4定性地表示了混疊率在不同積分級數下隨著失配率的變化。常規的航天遙感圖像處理大多是圍繞圖像本身進行盲式或半盲式處理[3,5],對于軌道末期的非常規成像,像移失配嚴重,很難取得好的效果,需要采用特殊的圖像復原算法。為便于圖像復原處理,進一步計算出各像元信息來源的精確比例即信息貢獻率,作為圖像復原處理的補償系數,實現圖像的信息校正與恢復。將當前像元對應的GSD稱為0級目標區域,前后鄰近GSD依次為±1級、±2級,為了得到補償系數,需要精確計算出鄰近GSD對本像素的信號貢獻率。利用公式(6)、公式(8),可以計算出鄰近±j級區域的貢獻率 Kj,它同時作為圖像復原時的補償系數。32級積分時補償系數如表1。

表1 TDI CCD32級積分補償系數表Tab.1 Compensation coefficient forN=32

像移失配情況下的成像效果可以用式(10)表示。

于是可以得到如下的補償公式

上式中 Ki表示±i級區域的貢獻率,帶＊號的量表示準確值,但由于圖像本身已經發生混疊,無法得到準確值。由公式(8)及表2可以看出,一般情況下,0級補償系數始終大于其他高級次系數,不妨用帶＊號量所對應的0級像素的值來代替準確值,于是有近似補償公式

根據公式(9)、公式(12),可以對軌道末期成像得到的遙感圖像進行復原處理,算法參數來源于衛星成像參數,原始圖像數據來源于軌道末期非常規成像結果,利用公式(12)進行迭代,可以實現對相移失配成像結果的圖像恢復。

由于像移速度失配條件下成像結果存在幾何畸變(沿像移速度矢量方向壓縮或伸長),所以需要將公式(12)復原的圖像進行幾何修正,修正因子與失配率相關

其中,Y為復原算法所得圖像沿像移速度方向長度;Y′為進行修正后的圖像沿像移速度方向長度;像移速度超前于行轉移速度時,δ為正,像移速度滯后于行轉移速度時,δ為負,衛星軌道末期成像屬于前者。

3 試驗驗證

為了驗證本文提出的圖像恢復算法的恢復效果,設計了一組成像試驗,利用某工程項目的TDI CCD相機電性樣機對貼有分辨率圖案的勻速轉動靶標進行成像,模擬衛星對地的推掃成像,經理論計算,其理論行轉移時間為56.86μs。積分級數為32級時,成像如圖5所示。

圖5 相移匹配成像結果Fig.5 Image without IMM

為了得到相移適配條件下的成像結果,將行轉移時間設置為68.25μs,即失配率20%,積分級數為32級時,成像結果如圖6所示。

圖6 相移失配率20%成像結果Fig.6 Image with 20%IMM

利用本文推到的圖像恢復算法,利用公式(12)及表(1)中的補償參數,對圖6進行了圖像復原,經過2次迭代,并經公式(13)進行幾何修正,得到圖7所示的復原圖。

圖7 圖像恢復結果Fig.7 Image recovered

從圖7與圖6的對比中可以看出,恢復后的圖像在縱向(像移失配方向)有較明顯的改善,圖像清晰程度有明顯提高,從較小的鑒別率圖案中可以看出,圖像分辨率有所提高,原圖中的彌散現象大大減弱。上述試驗結果說明,本文提出的圖像復原算法能夠較有效地復原因像移失配引起的模糊現象。

4 參照試驗及評價

為了對本文的圖像恢復算法進行評價,以焦斌亮教授等人提出的基于 TDI CCD點擴散函數估計的半盲恢復算法作為參照算法[4],對圖(6)進行半盲恢復。根據圖8所示頻譜圖,分析得到水平方向中央條帶寬度為78像素。原圖尺寸為256×256,計算得像移量初始化值S=6.6,根據文獻[4]中提出的圖像恢復算法,得到復原圖(圖9)。

圖8 像移失配20%成像結果頻譜圖Fig.8 Spectrum of the image with 20%IMM

圖9 參考算法復原結果Fig.9 Image recovered by reference algorithm

由于目前TDI CCD像移失配圖像的復原算法[4]一般用于處理微小像移失配(小于0.02%),文獻[4]中的算法對嚴重像移失配(20%)的圖像復原效果欠佳,出現了較為明顯的橫紋噪聲,試驗過程中發現算法此時容易表現出病態。對比圖9和圖7可以發現,本文的算法在軌道末期成像這種嚴重像移失配情況下的圖像,具有更好的復原效果,且算法具有較好的魯棒性,對像移失配較嚴重時據有較明顯的優勢。為了定量得衡量兩種算法的圖像復原效果,引入文獻[6]中翟亮博士提出的Q值評價方法。它由影像特征畸變(GCD)、紋理畸變(TD)和相關性損失(LC)三個“維”組成,與主觀評價有很好的吻合性。分別分析兩種算法復原的圖像(均經過幾何校正)與像移匹配條件下成像結果進行比較,得到吻合性參數,參數值越大,表示復原效果越接近理想結果。從表2可以看出,本文的算法在三個分指標及總體指標Q均優于參考算法,且處理時間僅為參考算法的10%左右。

表2 參照試驗分析結果Tab.2 Results of comparative experiment

5 結 論

本文從TDI CCD推掃成像的基本原理出發,推導出了衛星軌道末期像移嚴重失配下的成像模型和工程化簡化算法,并利用某空間項目TDI CCD相機電性樣機進行了對鑒別率靶標的推掃成像試驗及圖像復原試驗,取得了優于參考算法的復原效果。從復原圖像可以看出噪聲對復原效果影響較大,加入適當的噪聲抑制算法將可以使得本算法更加完善,從而可以大大降低多次迭代過程中產生的噪聲積累,有利于獲得更優的復原效果。

[1] ZHOU Chunping,GONG Huili,LI Xiaojuan,et al.The Summary of MTF Restoration on Remote Sensing Image[J].Spacecraft Recovery&Remote Sensing,2009,30(1):27-32.(周春平,宮輝力,李小娟,等.遙感圖像MTF復原國內研究現狀[J].航天返回與遙感,2009,30(1):27-32.)

[2] LI Qingzhen,ZHU Xiaoping,ZHOU Zhou.Research on UAV Motion-blurred Image Restoration[J].Fire Control &Command Control,2009,34(2):51-54.(李慶震,祝小平,周洲.無人機運動模糊圖像復原技術[J].火力與指揮控制,2009.34(2):51-54.)

[3] JIA Ping,ZHANG Bao,SUN Hui.Restoration of Motionblurred Aerial Image[J].Optics and Precision Engineering. 2006.14(4):697-703.(賈平,張葆,孫輝.航空成像像移模糊恢復技術[J].光學精密工程,2006.14(4):697-703.)

[4] J IAO Binliang,YAN Xuhui.Image Motion Analysis and Image Restoration Based on TDI-CCD Imaging[J].Journal of Astronautics,2008,29(2):675-678.(焦斌亮,閆旭輝.基于TDI-CCD成像像移分析及圖像復原[J].宇航學報,2008,29(2):675-678.)

[5] TONG Xiaochong,WU Yundong,WANG Hui,et al.The Eliminate Inconsistent Algorithm of Large Plane Array CCD Multiple Channel Images[J].ActaGeodaetica et Cartographica Sinica,2006,35(3):234-239.(童曉沖,吳云東,王慧,等.大面陣CCD影像多通道不一致性消除算法[J].測繪學報,2006,35(3):234-239.)

[6] ZHAI Liang,TANG Xinming,LI Lin,et al.A New Quality Assessment Index for Compressed RS Image[J].Geomatics and Information Science of Wuhan University,2007,32 (10):872-873.(翟亮,唐新明,李霖,等.一種新型的遙感影像壓縮質量評價指標[J].武漢大學學報:信息科學版,2007,32(10):872-873.)

[7] ZHANG Yuye,ZHOU Xiaodong,WANG Chunxin.Space-Variant Blurred Image Restoration Based on Pixel Motion-Blur Character Segmentation[J].Optics and Precision Engineering,2009,17(5):1119-1126.(張玉葉,周曉東,王春歆.應用像素運動模糊特征分割的空間移變降質復原[J].光學精密工程,2009,17(5):1119-1126.

(責任編輯:叢樹平)

Imaging Model and Image Recovering Algorithms of Spaceborne Camera In the End of Orbit Life

HE Xiaojun1,2,J IN Guang1,YANG Xiubin1,2,WANGJinling1,2,QU Hongsong1
1.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Sciences,Changchun 130033,China;2.Graduate University of the Chinese Academy of Sciences,Beijing 100039,China

A generic model of time-delay and integration charge-coupled device(TDI CCD)push-broom imaging (GMPI)based on energy is established,through researching the image motion mismatch(IMM)of the space camera in the end of orbit life.For the image motion mismatch being inevitable in the end of orbit life,an unconventional way of remote sensing imaging(UWRSI)is proposed based on GMPI,in order to simplify the calculation.The GMPI is simplified to a filter model of TDI CCD push-broom imaging(FMPI).Using the filter model,the image-aliasing effect(IAE)of the space camera in end of orbit life is quantitatively analyzed easily,and the algorithm and its parameters of image recovering is given out based on imaging parameters.The original images with IMM are obtained from imaging system with IMM,which is tried to recover the virtual images using the image recovery algorithm,the result shows that the image recover algorithm is effective.

end of orbit life;TDI CCD;unconventional imaging;image motion mismatch;image recovery

HEXiaojun(1983-),male,PhD candidate, majors in CCD imaging electronics of spaceborne camera.

E-mail:hexiaojun6@163.com

1001-1595(2010)06-0579-06

P236

A

國家863計劃(O93J32F090);吉林省科技支撐計劃(20090102)

2009-07-03

2010-03-25

賀小軍(1983—),男,博士生,研究方向為星載相機CCD成像電子學。