導航雷達近海回波圖像丟幀內插技術研究

陳壯杰，宋占杰，高成志，齊占輝，張鎖平

(1.天津大學電視與圖像信息研究所，天津 300072；2.國家海洋技術中心，天津 300112)

導航雷達近海回波圖像丟幀內插技術研究

陳壯杰1，宋占杰1，高成志1，齊占輝2，張鎖平2

(1.天津大學電視與圖像信息研究所，天津 300072；2.國家海洋技術中心，天津 300112)

研究了在連續的X波段導航雷達圖像序列中丟失一幀圖像狀態下的一種快速修復算法。該算法主要采用基于運動估計與運動補償的視頻序列修復技術進行插幀修復。具體步驟是根據雷達圖像中像素點的運動特點，采用改進的三步搜索算法并結合雙向運動估計進行搜索，然后對矢量場進行后續處理，最后內插出重建幀。為了提高圖像修復的精度，還引入了亞像素運動估計。實驗表明，所給出的新算法能夠取得較好的修復效果。

X波段導航雷達；圖像修復；運動估計和運動補償；插幀

利用X波段導航雷達進行遙感測量，并根據所獲取的圖像數據對各種海態參數進行反演，從而得到海洋狀態的實時信息，對海上的經濟活動和軍事活動具有十分重要的意義[1-2]。但是，在X波段導航雷達海面回波數據的采集過程中存在很多實際的問題，其中主要表現在圖像數據中存在噪聲，以及連續時間內的圖像序列中存在某一幀圖像數據丟失的現象。這些問題對后期利用海浪圖像數據來反演各種海態參數都有很大的影響。要想獲得精確的海態參數，必須保證雷達圖像數據的準確性和完整性。

針對雷達圖像序列存在的丟幀問題，本文提出了一種基于運動估計和運動補償的視頻序列修復技術，對缺損的導航雷達圖像序列進行插幀修復，從而保證雷達圖像序列的時間連續性。

1 雷達圖像序列分析

1.1 雷達圖像的運動特點

雷達天線發出的電磁波入射到海面上，與海浪中的Bragg波產生散射，而Bragg波又依次在方向、能量和運動上受到海浪中更大尺度波的調制，從而使海浪在雷達上成像，所以雷達圖像數據的采集過程不同于一般的圖像數據采集過程。雷達天線轉動一周所記錄的回波強度的區域分布可以近似認為是對應于某一瞬時時刻的回波強度區域分布，這樣雷達圖像的采集過程就類似于在確定時刻點用照相機放在海面正上方進行俯視拍攝，從而獲得俯視圖像的過程。

對每一幅雷達圖像來說，圖像中的每個像素點在各個方向上運動的概率和幅度不盡相同，其運動的概率受到波浪傳播方向的影響，在波浪的傳播方向上，像素點的運動概率相對來說會大一些，而像素點運動的幅度很大程度上由波浪的傳播速度、波高等因素決定。這就是導航雷達近海回波圖像像素點的運動特點。

1.2 丟幀導航雷達圖像序列介紹

本文所采用的雷達圖像數據是經過去除射線狀噪聲后所產生的100幅位圖文件，即雷達轉動100周所產生的回波數據。雷達圖像數據的格式是：雷達掃描一周得到3 600組數據，每組數據即為沿同一方向的雷達回波強度，共2 048點，其方向分辨率為0.1°，徑向分辨率為3.75 m。所采用的待修復雷達數據是在連續的100幅雷達圖像序列中隨意去掉一幀圖像后的缺損雷達圖像序列。這樣，丟失的數據是完全已知的，也就是說，本文事先知道丟失了哪一幀，因此可以在修復過程中準確地定位到待修復圖像的位置，以便于比較本文方法的修復效果。

2 雷達連續圖像序列的插幀修復

本文采用基于運動估計與運動補償的圖像修復方案。具體方法是：首先利用改進的三步搜索法結合雙向運動估計估算出所需的運動矢量場，在實時性要求較低的情況下，為了獲得較高的精確度，可以再進行亞像素運動估計，然后對矢量場進行后續處理（文中主要采用矢量中值濾波和塊腐蝕算法進行處理），最后進行運動補償插值。具體流程如圖1所示。

圖1中，fn-1為前一幀圖像，fn+1為后一幀圖像，MVF1是經過運動估計直接得到的矢量場，MVF2是經過亞像素運動估計所得到的矢量場，亞像素運動估計作為可選項，在圖中用虛線框表示，適用于實時性要求低、精度要求較高的場合。MVF3是經過矢量中值濾波后所得到的矢量場，MVF4是經過塊腐蝕處理后所得到的矢量場，fn是最終的內插圖像，也就是重構圖像。

圖1 圖像修復總體框圖

2.1 雙向運動估計結合改進的三步搜索法

利用前后相鄰圖像幀的時間相關性重構出缺失的圖像幀，首先需要進行雙向運動估計求得所需矢量場。雙向運動估計的基本思想是：根據最佳匹配法則搜索得到內插幀中的塊相對于前后參考幀中的塊的運動矢量。

根據雷達圖像中像素點的運動特點，本文采用改進的三步搜索算法[3]對雷達圖像序列進行運動估計。資料顯示，在距離海面上方10 m處最大風速為32 m/s，這樣，在相鄰兩幀約1.5 s時間間隔內，搜索半徑可定為48 m之內。本文為了簡化搜索過程，將最大搜索范圍定為48個像素，采用改進的三步搜索法，分6步進行搜索，由準則函數檢測包括中心點和外圍8個方向共9個搜索點，搜索步長分別為24，12，6，3，2，1，最終得到匹配塊的運動矢量。

2.2 亞像素運動估計

在雙向運動估計的算法中，每一步搜索相對于傳統的運動估計來說都是雙像素精度的，這樣會降低運動估計的精度。為了提高運動估計的精度，可以在雙向運動中引入亞像素運動估計[4]。

由于導航雷達數據真正的空間分辨率是由徑向距離和方位角所決定的，是非均勻的，因此在進行亞像素運動矢量估計前需對雷達圖像數據進行內插處理，以便得到均勻網格狀分布的雷達數據。

2.3 矢量場后處理

運用基于運動估計和運動補償算法內插出一整幅圖像，要求矢量場具有較高的平滑性。但實際情況是通過直接運動估計得到的矢量場存在很多不連續點，難以保證矢量場的平滑性，從而導致內插圖像質量的降低。

為了解決上述問題，需在運動估計之后對矢量場進行后續處理。本文主要采用矢量中值濾波算法和塊腐蝕算法，達到平滑矢量場和校正矢量場的目的。

2.3.1 矢量中值濾波

矢量中值濾波[5]是在滑動的窗口中尋找一個距離其他像素矢量最近的矢量，并以此矢量替代原來的中心矢量。如果有多個矢量同時為最小值，則選擇離滑動窗口中心最近的矢量。

本文選用矢量中值濾波器來進行矢量場的平滑處理，其滑動窗口大小為3×3，即取上下各3個，左右共2個，加上中心矢量共9個候選矢量來進行中值濾波。

2.3.2 分級塊腐蝕算法

當內插圖像的矢量場經過矢量中值濾波器處理后，運動矢量場的平滑度和真實性得到了有效提高。但在進行塊匹配運動位移估計時，一個塊中可能包含多個不同的運動對象，此時用一個運動矢量來描述整個像素塊的運動勢必會因矢量估計有誤而產生“塊斑”。

本文采用塊腐蝕算法[6]解決了同一塊中包含不同運動對象的問題，從而有效地消除了“塊斑”。

根據分級處理的思想，初始匹配塊的大小決定所要分的級數。文中運動匹配塊大小選擇為16×16，因此塊腐蝕可分為4級。

2.4 基于運動補償的內插算法

本文采用雙向運動估計結合改進的三步搜索算法，在對每一塊進行運動估計時，都將得到兩個重建塊B1i,j和B2i,j。當運動估計比較準確時，由前后幀得到的匹配塊基本相同，可以任選一個作為最終的重建塊。但是，當運動估計有誤時，由前、后兩幀得到的重建塊差別有時會很大，任選其一會由于錯誤的運動補償造成內插幀質量的下降。為了提高內插幀的質量，本文對圖像內部點和邊界點分別采用不同的插值方法。

對于圖像內部的點，輸出Bfi,j塊和Bbi,j塊中對應像素的平均值，這樣當運動矢量不可靠時可以減小誤差，內插公式為：

其中：wf和wb為前后像素塊的權重，對于圖像內部的點都為1/2。

對于邊界點，由于矢量場經過中值濾波和分級塊腐蝕算法以后，矢量場會產生變動，某些邊界像素點的坐標加上位移矢量后會出現小于0的情況，此時單純的平均前后像素塊會在重構圖像中產生“塊斑”，影響視覺效果。文獻[7]針對邊界的像素點提出了一種自適應單向插值算法，可有效克服上述缺陷，本文借用這種方法，具體實現過程如下：

本文采用的運動估計的搜索半徑為48像素，將圖像周邊的48行和48列看作邊界點，即圖像的1～48行、3 553～3 600 行、1～48 列和 2 001～2 048 列，插值公式采用式(1)，具體的權重如表1所示。

表1 自適應插值權重

3 試驗結果分析

本文采用平均誤差e作為評價修復效果的指標，形式如下：

式中： f（i,j）為原始未損壞的圖像數據； f'（i,j）是修復后的圖像數據。

本文共隨機抽取10幅圖像進行了內插修復，對e取平均值，實驗結果如表2和表3所示。

表2 采用全搜索法的修復結果

表3 改進的三步搜索算法修復結果

通過表3和表2的比較可以看出，在實時性要求和較高的精度要求之間存在著一定的矛盾，要想取得較高的精度，無論是采用改進的三步搜索算法還是全搜索法，在運用了亞像素運動估計以后，精度都會有一定的提高，但是時間復雜度也會相應的提高。

采用全搜索算法并結合亞像素搜索算法在搜索范圍為48像素的情況下，誤差可以達到8.15%，但時間復雜度較高，整個計算過程耗時533.47 s，而采用改進的三步搜索算法結合亞像素運動估計，實時性得到很大改善，整個計算過程耗時129.95 s，而誤差為8.22%，精度相差僅0.07%，總體來說，這種算法是本文推薦的一種算法。當然，在實時性要求較高的場合，可以直接使用改進的三步搜索算法，整個運算過程僅耗時19.59 s，誤差為8.60%，實時性得到了大幅度提高，并且精度下降也不大。

圖6 采用不同搜索算法修復圖像的一維數據對比

圖6為采用不同搜索算法修復圖像的一維數據對比。其中圖6(a)和圖6(b)是原始圖像的1列和1行，用來作為參考圖像。

圖6(c)和圖6(d)是直接采用改進的三步搜索法（沒有結合亞像素運動估計）進行內插得到的圖像的1列和1行，由于本算法沒有采用亞像素運動估計，與上述算法相比，該算法所產生圖像質量下降較大，誤差為8.60%。與原始圖像相比，灰度值的分布基本相似，但誤差較大，灰度值較低的像素差別明顯，誤差大約在20%。

圖6(e)和圖6(f)是運用改進的三步搜索法并結合亞像素運動估計所內插得到的圖像的1列和1行，該算法產生的誤差為8.22%，與原始圖像相比，灰度值的分布趨勢基本相似，存在著一定的誤差，灰度值較低的像素差別比較明顯，誤差在15%左右。

4 結論

本文對連續的X波段雷達圖像序列的丟幀問題進行了研究，提出了一種缺損導航雷達近海回波圖像的插幀修復技術。首先分析了X波段導航雷達圖像中運動對象的運動特點，并根據運動特點提出了相應的運動估計算法，即改進的三步搜索算法結合雙向運動估計；在估計出矢量場后對其進行后續處理，最后基于運動補償及前后幀特性重構出缺失的圖像幀。實驗表明，本文所采用的算法在實時性和精確度方面有較大的優勢，并可以根據具體情況靈活采用亞像素運動估計算法。

[1]Rune Gangeskar.Ocean Current Estimated from X-Band Radar Sea Surface images[J].IEEE Transactions on Geoscience and Remote Sensing,2002,40(2):783-792.

[2]Young I R,Rosenthal W,Ziemer F,A.Three-Dimensional Analysis of Marine Radar Images for the Determination of Ocean Wave Directionality and Surface Currents[J].Journal of Geophysical Research,1985,90:1049-1059.

[3]劉洪波，楊濟安，張雪梅.視頻壓縮編碼中的運動估計搜索算法[J].中國多媒體通信，2006,9:62-64.

[4]Bierling M.Displacement estimation by hierarchical block matching[C]//Proceeding SPIE VCIP 1988,Cambridge,MA,1988:942-951.

[5]De Haan G,Biezen P W A C,Huijgen H,et al.True-motion estimation with 3-D recursive search block matching[J].IEEE Transactions on Circuits&Systems for Video Technology,1993,3(5):368-379.

[6]文俊，劉重慶，劉曉松.視頻標準幀速率上變換的自適應運動補償方案[J].數據采集與處理，2003，18(2)：204-208.

[7]Huang A M,Nguyen T Q.A multistage motion vector processing method for motion-compensated frame interpolation [J].IEEE Transactions on Image Processing,2008,17(5):294-708.

Abstract：A method of image restoration for a lost frame in nautical radar image sequence is proposed,which is based on the motion estimation and motion compensation of image sequence restoration technology.According to the characteristics of the radar image pixel motion,a improved three-step motion search algorithm combined with bi-direction motion estimation is developed.The vector field is then processed.Thus,the lost image could be reconstructed finally.In order to improve the accuracy of image restoration,the sub-pixel motion estimation has been studied.The results show that the algorithm could obtain good recovery quality.

Key words：X-band radar;image restoration;motion estimation and motion compensation;frame interpolation

Research on Frame Interpolation Restoration of X-band Radar Sea Surface Images

CHEN Zhuang-jie1,SONG Zhan-jie1,GAO Cheng-zhi1,QI Zhan-hui2,ZHANG Suo-ping2
（1.Institute of TV and Image Information,Tianjin University,Tianjin 300072,China;2.National Ocean Technology Center,Tianjin 300112,China）

TP75

A

1003-2029（2011）01-0068-04

2010-07-21

國家自然科學基金資助項目(10926196);天津市自然科學基金資助項目(08JCYBJC09600)

陳壯杰（1987—），男，廣東汕頭人，主要研究方向為海態參數估計與隨機信號處理。