機載電子穩像技術綜述

馬志強 ， 陳廣居 ，2， 單 勇 ， 聶曉斐 ，3， 張曉燕

（1.空軍工程大學 信息與導航學院，陜西 西安 710077；2.94750部隊 福建 連城 366200；3.中國人民解放軍第5721工廠 河北 石家莊 050208）

穩像是指運用相關設備和算法程序，對采錄設備獲取的圖像進行處理，以獲得平穩的適于人觀察的圖像序列的過程。航空攝影時，由于空氣渦流、側風、風速不均勻、攝影員操作失誤等因素，造成攝像機等視頻采集設備發生不規則運動，使得拍攝的航空視頻產生不穩定現象，導致視頻圖像序列質量下降，畫面出現模糊，關鍵目標無法清晰展現。這些不穩定的視頻圖像序列，存在諸多不利后果：易引起人工視覺疲勞而導致漏判和誤判；計算機處理算法難度加大；無法進行高效壓縮存儲；運動目標的跟蹤、識別困難而使得武器性能下降。

因此，有必要研究機載穩像處理技術[1]，以去除視頻序列中不必要的隨機抖動干擾，為后續的視頻處理創造良好的條件。

穩像技術經歷了機械穩像、光學穩像和電子穩像3個發展階段[2]。其中電子穩像是一種新興技術，它集電子學、計算機和圖像識別等技術于一體，采用算法設計直接確定圖像序列映射關系，進而消除抖動，得到穩定序列。與前兩種方法相比，電子穩像系統具有易于操作，穩像精度高，靈活性強，體積小、重量輕、能耗低以及高智能化的實時處理等優點。利用電子穩像技術實現視頻圖像序列穩定是現代穩像技術的主要發展方向。

1 機載電子穩像基本原理

機載電子穩像技術是從航攝圖像序列的幀間差別中，估計代表攝像機運動的參數，并根據運動參數判斷這種運動是屬于隨機抖動，還是人為使攝像機的掃描運動，然后通過運動補償算法來消除或減輕攝像機的隨機抖動對視頻圖像的干擾，實現圖像序列的穩定。

電子穩像系統框圖如圖1所示，主要由運動估計、運動補償和圖像補償3大模塊組成。

圖1 電子穩像系統框圖Fig.1 Block diagram of electronic image stabilization system

其中，運動估計是指計算圖像序列中當前幀相對于參考幀的全局運動失量，即由攝像機參數或者位置變化而引起的整個圖像的變化；運動補償就是利用運動估計的結果對當前圖像進行補償，保留攝像系統正常的有意掃描運動，而去除隨機抖動；圖像補償用于電子穩像的后期完善，提供完整的全幀視覺效果。電子穩像系統中3個方面是緊密聯系的。其中，運動估計是占用時間最多，精度要求最高的關鍵部分，是穩像算法的關鍵環節；而運動補償則是根據運動矢量估計結果去除不必要的隨機抖動，從而達到圖像序列穩定的目的；圖像補償則是為了得到視覺效果良好的圖像。

2 機載電子穩像關鍵算法分析

2.1 運動估計算法分析

快速準確的運動估計算法是穩像系統的核心，它占據了穩像系統的主要運算時間，決定了穩像系統的速度和精度。經典的運動估計算法主要有:塊匹配法[3]、投影匹配法[4]、位平面法[5]和特征法[6]等。

2.1.1 塊匹配法

塊匹配法 （Block Matching Algorithm，BMA）基于平移運動機理進行運動估計，其基本思想是：將當前幀劃分為若干子圖像，對于每個子圖像，在參考幀的搜索窗內尋找最佳匹配塊；為尋找最佳匹配塊，首先要確定匹配準則，然后根據不同的搜索模式搜索子圖像塊的運動矢量，最后根據不同的運動決策策略檢測全局運動矢量。采用最小均方差或最小絕對差匹配準則的全搜索塊匹配法被認為是檢測平移運動的最優算法。到目前為止，國內外發展了很多塊運動估計的快速算法。文獻[7]基于塊匹配算法，綜合運用背景估計策略，計算出了多種復雜條件下的全局運動參數；鐘凡等人[8]針對傳統塊匹配算法中待匹配塊形狀不規則的問題，提出了一種無損精度的不規則塊匹配加速算法，降低了傳統算法的復雜度；許海峰等人[9]提出一種基于降采樣的塊匹配3步搜索改進算法，對搜索塊的內部像素采用交叉采樣方式做塊匹配的運算，降低了算法復雜度。

塊匹配法的優點是簡單易行，可快速實現，但缺點是:1）塊匹配法只適用于由攝像機的平移運動引起的運動偏移，而不能解決攝像機的縮放、旋轉和變焦的運動；2）塊匹配法在匹配搜索的時候需要進行大量的數據運算，效率低，消耗時間較長。

2.1.2 投影匹配法

投影法 （Projection Algorithm，PA）的基本原理是對視頻圖像行列各自的投影曲線做互相關運算，得到圖像序列之間全局的運動偏移量。投影法充分利用了圖像整體灰度分布變化的特點，保證計算精度同時降低了計算量。文獻[10]提出了一種改進的基于灰度投影的像移矢量估計算法，該算法解決了全局搜索法運算量大、耗時長的問題，提高了運算速度；李計添等人[11]運用灰度投影算法對車載動態圖像系列進行實驗，通過計算互信息值檢驗電子穩像效果，初步探討了適用于車載電子穩像運動矢量估計的算法；張國棟等人[12]利用灰度投影算法將初始的二維圖像信息映射成兩個獨立的一維信息后，只對圖像行列的投影曲線做一次相關運算，較準確地檢測出圖像序列的幀間運動矢量。

投影法存在的問題:1）如果視頻圖像的灰度變化不明顯，對比度達不到一定的要求，在應用灰度投影法進行穩像時，將會導致當前幀和參考幀各自對應的投影曲線對比不明顯，無法進行投影曲線的相關運算，進而降低了全局運動矢量的估計精度，影響了穩像效果；2）灰度投影法對于識別處理只含平移運動或較小旋轉運動的視頻圖像序列，有較好的效果，而對于處理含有縮放或者較大旋轉等其他運動變化的視頻圖像序列，其匹配精度將會下降；3）易受局部運動的影響。如果局部運動物體存在于背景圖像中，那么會對行列投影曲線的相關運算產生影響，降低了全局運動矢量的估計精度。因此，提高投影算法對局部運動物體的抗干擾能力是必要的。

2.1.3 位平面法

說來也怪，當時身邊的同學、朋友，很多人談戀愛就是為了解悶兒，打發時間，并沒有想未來一定要怎么樣，分分合合都是常事兒。我們倆的想法卻出奇地一致：“如果不是奔著白頭到老的目標去，干脆就不要牽手?！?/p>

位平面法是較新的一種對運動矢量進行估計的方法，該算法只需要利用圖像的一個位平面進行匹配，運用簡單的布爾函數和異或操作，匹配速度快同時又保證了一定的計算精度，是一個比較有效的運動估計算法。Ko等人提出了一種基于灰度編碼位平面分解技術的快速電子穩像算法[13]。在不增加計算復雜度的情況下，通過灰度編碼大大降低了誤匹配發生的概率。Yeni等人采用低復雜度的子圖像1位變換位平面匹配技術估計運動參數[14]，極大降低了復雜度和計算量。同時在子圖像尺寸足夠大的情況下保證了算法的精度。位平面方法能夠克服塊匹配算法所需計算量大、處理時間長、影響系統實時性、硬件設備復雜的不足，大大節約計算的時間，提高算法的速度，較適合硬件來實現，但由于每個位平面所包含的信息不同，位平面的選擇直接影響運動矢量估計的精確度。

2.1.4 特征法

特征法是電子穩像中一類重要的算法，在穩像中使用頻率較高。它的基本原理是：通過在參考幀中選取一組特征量作為標識，并在當前幀中以一定的匹配準則進行搜索，以尋找對應的匹配特征，并根據運動參數模型來求取圖像間的對應關系，即獲取全局運動矢量。利用圖像特征是一種較好接近人類視覺特性的運動矢量檢測方法，其關鍵就是研究如何選擇合適的特征量以及特征匹配的策略，來快速精確的檢測幀間的全局運動矢量。常用的特征匹配算法有Harris角點匹配[15]、SUSAN點匹配[16]等，但這些方法不適用于尺度和旋轉變化的情況。

近年來，基于圖像局部不變特征變換的方法得到了較快地發展，其中，基于尺度不變特征變換（Scale Invariant Feature Transform，SIFT）[17]的方法，由于其優良的尺度和旋轉不變性以及對光照和視角變化的魯棒性和穩定性而備受關注，成為國內外特征匹配研究領域的熱點，該算法能提取穩定的特征，可以處理兩幅圖像之間發生平移、旋轉、仿射變換、視角變換、光照變換情況下的匹配問題，匹配能力較強，但SIFT算法計算復雜，速度較慢，針對這些問題，國內外學者提出了一系列改進算法，如Y.Ke提出PCA—SIFT改進算法[18]，采用主成分分析法以減少特征描述符的維數，降低了計算復雜度；SURF[19]方法在計算量上降低，適用于圖片分辨率變化較大的情況；GLOH[20]方法增強了特征描述子的獨特性；但在復雜場景下以及模糊和光照變化下，上述算法效果欠佳。國內學者楊濤、張艷寧[21]等人將多尺度Harris角點和SIFT描述子相結合，提出了基于場景復雜度與不變特征的實時圖像配準算法，獲得了很好的準確度；北航的劉健[22]將對數極坐標變換與圖像分塊處理相結合對SIFT圖像配準算法進行改進，也獲得了不錯的效果；雷小群[23]利用幾何約束和雙向匹配從特征點匹配精度上對SIFT算法進行了改進；朱志文[24]通過對特征點進行過濾以及對匹配過程的并行化處理對SIFT進行改進，大大提高了算法效率。

特征法要求場景全局特征明顯，運動參數的估計精度在很大程度上依賴于特征提取的精度，當特征不十分明顯，或特征過于集中于局部區域時，特征誤匹配率高。

2.2 運動補償算法分析

運動補償就是利用運動估計的結果對當前圖像進行補償，保留攝像系統正常的有意掃描運動，而去除隨機抖動，使輸出的視頻序列完整流暢，不存在信息丟失和虛假場景，以達到圖像補償穩定的目的。主要的運動補償方法有：固定幀補償方法，相鄰幀補償方法和運動濾波補償方法。

2.2.1 固定幀補償方法

2.2.2 相鄰幀補償方法

相鄰幀補償方法，是對每相鄰的兩幀圖像進行全局運動估計，然后累積這些估計出的全局運動矢量，以累積后的全局運動矢量作為補償參數，對當前幀進行運動補償。此法的優點是:由于幀間圖像的重疊區域較大，因此相鄰兩幀圖像的全局運動估計的精度高，且不會像固定幀補償方式那樣出現圖像的突變現象。但此法的不足之處為，有可能出現累積誤差，導致補償后的圖像序列慢慢發生偏移，逐漸超出補償邊界，最終產出了失穩現象，造成補償圖像的邊緣信息嚴重損失或脫離真實場景。

2.2.3 運動濾波補償方法

電子穩像的目的就是提取影響圖像穩定的抖動分量進行補償，而保留正常的掃描分量。如果電子穩像系統將攝像系統正常的掃描運動誤判成是載體的隨機抖動，而進行了穩定處理，則會使補償后的圖像達不到攝像系統正常掃描所形成的圖像。因此，對運動矢量進行實時濾波處理，是非常必要的。用于電子穩像的運動濾波算法主要有:基于中值濾波的方法、基于曲線擬合的濾波法、基于Kalman濾波的方法等。文獻[25]提出一種新的加權中值濾波模型，將權值與模板下兩兩像素間相關性對應，結果表明，該方法具有更好的收斂性，優于傳統加權中值濾波算法；文獻[26]提出一種基于Kalman濾波的特征點的跟蹤穩像算法，該算法穩像效果好，運算復雜度低，且具有較強的魯棒性。概括起來，卡爾曼濾波需要對運動目標建模，對于機動目標，由于目標的不可預測性，參數難于確定，建模非常困難，所以補償效果不佳；中值濾波是平均算法，在去掉高頻信息的同時也損失了穩像精度，容易產生過穩現象；曲線擬合算法能得到光滑的運動估計曲線，但抗噪能力差，不宜采用。在實際運用中可根據具體問題結合以上方法綜合考慮，如趙紅穎等人提出了可同時去除高頻噪聲和低頻噪聲的濾波與曲線擬合相結合的方法[27]，且視頻穩定效果良好。

2.3 圖像補償算法分析

圖像補償是電子穩像的后期處理，提供穩定的全景視覺效果。目前電子穩像處理中圖像補償的方法主要有:裁剪方法和拼接的方法。

2.3.1 裁剪方法

對于電子穩像處理后的圖像，經常產生空白區域，裁剪是對空白區域處理的一種比較簡單而快速的方法，只需要對當前圖像直接進行處理，裁剪又分為兩種方式：一種是保留裁剪區域，并將其放大到圖像幀的原始尺寸，該方法會造成圖像信息丟失，且不利于觀察；一種是擴大圖像采集區域，而顯示只在較小區域進行，該方法會增加圖像采集設備的成本，同時增加圖像穩定的運算量。

2.3.2 拼接方法

圖像拼接就是將同一個場景的多個相互重疊的圖像進行配準，并拼接成一幅全景圖像的表示方法。一般來講，拼接要求多個相互重疊的圖像之間的運動估計非常精確，圖像配準后使得同一場景在不同圖像上的位置相同。王存睿等人通過對不同尺度特征點進行聚類分析對匹配特征點進行一致性過濾，構建了一種基于網格覆蓋的拼接算法，改善了拼接效果和穩定性[28]；文獻[29]提出了一種基于SIFT和區域選擇相結合的圖像拼接方法，該方法對圖像間存在的平移、旋轉、明暗強度和噪聲干擾等具有良好的魯棒性，可實現高質量的圖像拼接。

以上圖像補償方法只適用于補償區域不含前景運動目標或圖像邊緣不存在運動目標的圖像補償問題。因此，如何在復雜條件下將圖像中的干擾運動目標提取出來，進行圖像補償是該領域的主要研究方向之一。

3 航空電子穩像中亟待解決的問題

從目前國內外的研究成果來看，視頻電子穩像方法已得到較深入的研究，其應用領域也越來越廣泛，但仍然有一些關鍵問題需要進一步解決：

1）消除復雜條件下機載平臺運動時給穩像帶來的影響

由于氣候變化、光照影響、飛機震動等復雜環境條件導致機載攝像平臺在運動時會產生隨機的不穩定的抖動，這種抖動無論是給觀察人員還是給后續的處理都會帶來不便。雖然在運動估計階段可以對圖像進行補償，但如何提高穩像的適應性和穩定性以減少復雜條件下機載平臺運動的影響是今后要解決的難點。

2）運動估計的準確性

一方面，由于機載攝像機在拍攝時本身也處于運動狀態，使得視頻序列的幀間運動是一種復合運動，在穩像時不僅要考慮攝像機本身的運動，還要考慮機載平臺的運動，使得獲取全局運動矢量的難度加大。另一方面，在空中獲取到的航拍圖像視場大，攝像機與地面距離遠，圖像中的紋理相似區域比較多，用傳統穩像方法的誤匹配率比較高，需要考慮更加優良的穩像算法才能精確匹配。

3）運動補償的準確性

由于抖動的隨機性，要實現準確的運動補償一是要區分全局運動參數中的抖動分量和掃描分量，其難度在于抖動分量與掃描分量可能會有重合，因此直接提取并消除有可能會消除部分掃描分量。二是要克服補償時邊界信息的丟失，目前絕大部分補償方法是用插值放大、拼接的方法，這樣得到的圖像的邊界往往是不真實的，不能保證圖像信息的一致性和連續性，修復后的圖像會出現偽影現象，需要研究新的準確補償的方法來提高圖像質量。

4 結束語

文中對機載電子穩像的基本原理進行了介紹，在此基礎上，結合各關鍵技術的適用條件具體地論述了電子穩像技術的研究進展，并分別對各算法的最新應用進行了詳細描述。通過對電子穩像技術的歸納總結，發現針對不同場景兼顧精度與處理時間，以最大效率獲得令人滿意的穩像效果是電子穩像技術今后的發展趨勢；同時，也應該看到，傳統的經典算法在個別場合仍大有作為，比如塊匹配算法在實時穩像方面表現出來的明顯優勢。所以，在追求高效高精度的同時，還應繼續深入研究已有模型的優缺點，發現查找各算法影響穩像效果的關鍵因素，在實際運用中根據應用場合合理選擇高效的穩像算法。

[1]Lewis G R.Image stabilization techniques for long range camera[J].Proc.SPIE，1980，242（8）:125－129.

[2]鐘平.機載電子穩像技術研究[D].長春：中國科學院長春光機所，2003.

[3]Basarab A，Gueth P，Liebgott，H.Phase-based block matching applied to motion estimation with unconventional beamforming strategies[J].IEEE Tran.on Ultrasonics，Ferroelectrics and Frequency Control，2009，56（5）:945－957.

[4]ZHANG Yong-xiang，CHEN Fang-min，WANG Jian.Implementation of gray projection image stabilization algorithm based on TMS320DM642[C].//IEEE International joint conference on INC，IMS and IDC，2009.NCM’09，Fifth，2009:1724－1726.

[5]Urhan O，Erturk S.Single sub-image matching based low complexity motion estimation for digital image stabilization using constrained one-bit transform[J].IEEE Trans.On Consumer Elcetronics，2006，52（4）:1275－1279.

[6]宋永江，夏正良，楊世周.基于多直線特征的電子圖像穩定算法[J].中國圖像圖形學報，2002，7（4）:363－368.SONG Yong-jiang，XIA Zheng-liang，YANG Shi-zhou.Electronic image stabilization algorithm based on multi-line feature[J].Journal of Image and Graphics，2002，7（4）:363－368.

[7]Hsu S C，Liang S F，Lin C T.A robust digital image stabilization technique based on inverse triangle method and background detection[J].IEEE Transactions on Consumer Electronics，2005，51（2）:335－345.

[8]鐘凡，莫銘臻，秦學英，等.基于WSSD的不規則圖像塊快速匹配[J].中國圖象圖形學報，2010，15（3）:495～501.ZHONG Fan，MO Ming-zhen，QIN Xue-ying，etal.Fast irregular image patch matching based on WSSD[J].Journal of Image and Graphics，2010，15（3）:495－501.

[9]許海峰，趙文慶，孫崢，等.一種基于降采樣的塊匹配三步搜索改進算法 [J].復旦學報： 自然科學版，2010，49（6）:653－659.XU Hai-feng，ZHAO Wen-qing，SUN Zheng，et al.An improved three step search algorithm based on down-sampled block matching[J].Journal of Fudan University：Natural Science，2010，49（6）:653－659.

[10]李浩洋，劉兆軍，徐彭梅.改進的灰度投影像移矢量估計算法[J].計算機應用，2011，31（2）：122－124.LI Hao-yang，LIU Zhao-jun，XU Peng-mei.Image motion estimate algorithm based on improved gray projection[J].Journal of Computer Applications，2011，31（2）:122－124.

[11]李計添，何永強，陳財森，等.一種基于灰度投影算法的車載電子穩像方法[J].紅外技術，2010，32（6）:328－332.LI Ji-tian，HE Yong-qiang，CHEN Cai-sen，et al.A method of vehicle-bone electronic image stabilization based on gray projection algorithm[J].Infrared Technology，2010，32 （6）:328－332.

[12]張國棟，王明泉，郭棟.基于灰度投影算法的實時電子穩像研究[J].微電子學與計算機，2010，27（10）:53－56.ZHANG Guo-dong，WANG Ming-quan，GUO Dong.Research on real-time electronic image stabilization based on gray projection algorithm[J].Microelectronics&Computer，2010，27（10）:53－56.

[13]Ko S，Lee S，Jeon S.Fast digital image stabilizer based on gray-coded bit-plane matching[J].IEEE Transactions on Consumer Electronics，1999，45:598－603.

[14]Yeni A A，Ertürk S.Fast digital image stabilization using one bit transform based sub-image motion estimation[J].IEEE Transactions on Consumer Electron，2005，51（3）:917-921.

[15]Harris C G，Stephens M J.A combined corner and edge detector[C]//Proceedings Fourth Alvey Vision Conference.Manchester，1988.

[16]Smith S M，Brady J M.SUSAN-A new approach to low level image processing[J].Journal of Vision，1997，23（1）.

[17]LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision， 2004，60（2）:91-110.

[18]Ke Y，Sukthanka R.PCA-SIFT:A more distinctive representation for local image descriptors[C]//Proceedings of International Conference on Computer Vision and Pattern Recognition，Washington，USA:ICPR，2004:511-517.

[19]Bay H，Tuvtellars T，Gool L Van.SURF:Speeded up robust features[C]//Proceedings of the European Conference on Computer Vision，2006:404-417.

[20]Mikolajczyk K，Schmid C.A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Ana1ysis and Machine Intelligence，2005，27（10）:1615-1630.

[21]楊濤，張艷寧，張秀偉，等.基于場景復雜度與不變特征的航拍視頻實時配準算法[J].電子學報，2010，38（5）:1069-1077.YANG Tao，ZHANG Yan-ning，ZHANG Xiu-wei，et al.Scene complexity and invariant feature based real-time aerial video registration algorithm[J].Acta Electronica Sinica，2010，38（5）:1069-1077.

[22]劉健，張國華，黃琳琳.基于改進SIFT的圖像配準算法[J].北京航空航天大學學報，2010，36（9）:1121-1124.LIU Jian，ZHANG Guo-hua，HUANG Lin-lin.Image registration approach based on improved SIFT[J].Journal of Beijing University of Aeronautics and Astronautics，2010，36 （9）:1121-1124.

[23]雷小群，李芳芳，肖本林.一種基于改進SIFT算法的遙感影像配準方法[J].測繪科學，2010，35（3）:143-145.LEI Xiao-qun，LI Fang-fang，XIAO Ben-lin.A registration method of RS image based on improved SIFT algorithm[J].Science of Surveying and Mapping，2010，35（3）:143-145.

[24]ZHU Zhi-wen，SHEN Zhan-feng，LUO Jian-cheng.Parallel remotesensingimageregistrationbasedon improved SIFT point feature[J].Journal of Remote Sensing，2011，15 （5）:1024-1031.

[25]李秀玲，何勁松.基于旋轉不變像素相關性的加權中值濾波器[J].中國圖象圖形學報，2010，15（1）:56-62.LI Xiu-ling，HE Jin-song.Weighted median filter based on rotation invariant pixel correlations[J].Journal of Image and Graphics，2010，15（1）:56-62.

[26]姜文濤，陳衛東，李良福.一種基于特征點跟蹤的電子穩像算法[J].應用光學，2010，31（1）:73-77.JIANG Wen-tao，CHEN Wei-dong，LI Liang-fu.Electronic image stabilization algorithm based on characteristic point tracking[J].Journal of Applied Optics，2010，31（1）:73-77.

[27]趙紅穎，王天增，錢旭.基于濾波與曲線擬合的電子穩像算法[J].計算機應用，2010，30（11）:3008-3010.ZHAO Hong-ying，WANG Tian-zeng，QIAN Xu.Electronic image stabilization algorithm based on filtering and curve fitting[J].Journal of Computer Applications，2010，30 （11）:3008-3010.

[28]王存睿，張慶靈，段曉東，等.基于尺度聚類仿射過濾的圖像拼接算法[J].東北大學學報：自然科學版，2011，32（7）:917-921.WANG Cun-rui，ZHANG Qing-ling，DUAN Xiao-dong，et al.Image mosaic algorithm based on scale-clustering affine filtering[J]. Journal of Northeastern University：Natural Science，2011，32（7）:917-921.

[29]張煒，劉偉，普杰信.一種基于SIFT和區域選擇的圖像拼接方法[J].微電子學與計算機，2010，27（6）:205-207.ZHANG Wei，LIU Wei，PU Jie-xin.An image mosaic method based on SIFT and region selecting[J].Microelectronics&Computer，2010，27（6）:205-207.