基于特征點匹配的電子穩像技術

2013-04-27 03:08:18吉淑嬌胡漢平

中國光學 2013年6期

關鍵詞：特征方法

吉淑嬌，朱明，胡漢平

（1.中國科學院長春光學精密機械與物理研究所，吉林長春130033；2.長春大學電子信息工程學院，吉林長春130022）

基于特征點匹配的電子穩像技術

吉淑嬌1，2，朱明1*，胡漢平1

（1.中國科學院長春光學精密機械與物理研究所，吉林長春130033；2.長春大學電子信息工程學院，吉林長春130022）

為獲得高質量視頻輸出序列，電子穩像技術常被用來去除成像設備所攝取的圖像序列中的隨機抖動。本文首先介紹了電子穩像的國內外發展現狀。然后，從電子穩像技術中的運動估計模塊出發，描述了國內外近年來出現的直接求取運動估計算法以及各種基于特征點匹配的運動估計方法，并對運動校正和運動補償模塊的算法進行了評述。最后綜合分析了穩像算法的難點以及未來發展趨勢，提出基于特征匹配的電子穩像技術的發展方向。

電子穩像；運動估計；特征匹配；卡爾曼濾波

1 引言

視頻信息廣泛應用于軍用偵察系統、無人車輛導航系統、航空測量系統以及監控系統中。其中諸多攝像系統由于工作環境惡劣，載體姿態不穩定等，均存在不確定的抖動和振動，使得采集的視頻序列幀間抖動較大，導致視頻序列的質量下降。對于信息十分豐富的視頻序列，用戶首先希望圖像畫面清晰穩定，不穩定的視頻序列將導致武器性能下降，人工觀察困難，并極易引起視覺疲勞；另外，也會使后續圖像處理算法的難度加大。因此，對于這種攝像載體所攝取的視頻序列，有必要應用電子穩像處理技術去除不規則的隨機抖動，將這些不穩定的視頻序列轉化為高質量的穩定視頻序列輸出。近年來，出現了很多電子穩像算法［1-2］，本文主要針對電子穩像系統的幾個環節，論述近年來出現的處理各環節的算法，尤其對提取運動矢量的算法進行了詳細敘述，最終給出未來電子穩像的發展方向。

2 電子穩像技術國內外發展現狀

國外在電子穩像技術方面的研究已有30多年的歷史，進入90年代以后，隨著計算機技術和數字圖像處理技術的迅速發展，很多西方國家如美國和加拿大率先采用電子穩像算法，使電子穩像系統向小型化、高精度、強實時性的方向發展。加拿大某研究機構成功研制了實時監視系統中的穩像裝置，其圖像處理、穩像速度達到30 frame/ s，系統的穩像精度達到1 pixel。美國軍事研究實驗室研制穩像系統應用在無人駕駛越野車上，其穩像精度已優于1 pixel。

韓國和日本的許多高檔家用攝像機中也裝有電子穩像設備，例如日本索尼公司生產的DCRSR87E家用攝像機就帶有動態電子穩像裝置，當因攝像機抖動而引起畫面不清晰時，它會啟動穩像裝置以去除畫面的模糊。到目前為止，很多技術先進的國家如美國、俄羅斯、日本、加拿大等，電子穩像技術的研究和在軍事和民用領域的實際應用都已很成熟［1-3］。

國內電子穩像技術在民用和軍用方面也有一定的發展。我國新型主戰坦克88A、88B、88C雖裝備了穩像式火控系統，但自動化程度還比較低。在20世紀末期，中國科學院長春光機所鐘平［3］、孫輝［4］、李迪［5］等人開始對電子穩像算法技術進行了研究，并取得了很多成績。經過十幾年來的努力，研究范圍已從通用小型無人機載電視偵察系統擴展到對偵察轉臺和偵察平臺的研究。近幾年來，國內很多院校和科研單位如北京理工大學［6］、西安科技大學［7］等也對電子穩像算法進行了廣泛研究。

3 直接求取運動矢量的算法

圖1 電子穩像系統的結構Fig.1 Structure diagram of EIS system

電子穩像是根據視頻圖像幀間差別，對攝像機的運動參數進行估計，并對參數進行校正，從攝像機的正常掃描運動中分離出隨機抖動，得到補償參數，進而消除或減輕隨機抖動引起的圖像模糊，獲得清晰穩定的視頻圖像。

電子穩像的系統結構［5］如圖1所示。主要包括4個模塊：圖像預處理模塊、運動估計、運動校正和圖像補償。圖像預處理主要是消除圖像中的無關信息，增強有用信息的可檢測性和最大限度地簡化數據。運動估計模塊主要是估計出當前幀相對于參考幀的運動偏移量，是一種全局運動的估計。運動校正主要是區分全局運動中的有意運動和隨機抖動，計算補償分量，采用補償分量對各幀圖像進行變換。圖像補償主要是對運動校正過程中出現的一些“無定義”區域進行重構，獲得清晰的圖像。運動估計模塊是電子穩像技術的關鍵技術，國內外很多學者在運動矢量的求取算法上開展了廣泛研究。

Huang［9］等人運用匹配算法在連續圖像的邊緣線上選取交叉點對，之后選取3對最適合的特征點進行仿射模型的參數測量，求取全局運動參量。交叉點對的數量少，能減少運算復雜度，提高運算的速度。

Antonio［10］在研究了整個圖像序列的幾幀圖像的基礎上，采用離散小波變換獲得圖像的特征，再由歐氏距離對每一個圖像特征進行分析，并利用小波變換系數來評估其穩定性，最后通過低通小波系數重構了穩定的特征向量。

Litivin［11］提出一種基于概率估計框架的方法，將攝像機的主動運動和隨機運動分開。此方法將攝像機的幀間估計參數作為攝像機主動運動的噪聲測量。建立幀間運動參數的基于物理場的狀態空間模型，然后運用遞歸卡爾曼濾波求得穩定的攝像機位置估計參數。最后運用6參數仿射變化模型描述幀間的變換，模型的估計采用基于多分辨率的p范數方法。基于概率估計的算法，計算量稍大，很難達到穩像的實時性。

S.Erturk［12］認為全局運動可以由4個子圖局部運動估計得到。每個子圖的運動估計都可以通過相位相關獲得，再通過子圖像相位相關的峰值獲得可靠的局部運動矢量。最后運用卡爾曼濾波器進行運動濾波以獲得穩定的視頻輸出。

Ho［13］運用簡單的仿射變換模型，推導出新的類似極坐標的變換模型，對運動矢量進行處理。算法先把圖像以某點為中心，以某角度為中心旋轉獲得當前圖像，再運用文中算法對當前圖像相對原參考圖像求取運動估計矢量。經驗證明所得結果和預處理的方法一致。該算法減少了運算量，提高了穩像的實時性。

徐［14］首次提出具有旋轉不變性的基于圓形塊匹配的方法，對所有指定的圓形塊的中心提取局部運動向量，根據局部矢量指定相應圓形塊的位置建立線性系統。然后，用最小二乘法求取全局運動參數，并由迭代的梯度下降法進行參數優化。

Lee［15］所采用的穩像算法是對占主導地位的運動進行統計區域分析，算法能對可選擇區域自適應地采用特征直方圖方式有效去除相機的隨機振動，而保留物體的運動模式。算法的優點是引入了特征直方圖匹配。

Pourreza，H.R等人［16］采用兩層小波分解方法粗略估計水平和垂直方向的平移參數，將這些參數作為估計的初始值，然后采用特征點和梯度方法，進而精確計算估計參數。

Amanatiadis［17］認為視頻序列的自身運動和隨機抖動兩種信號分別具有獨立的性質，利用獨立分量分析方法，使他們最大程度的統計獨立。在分離出自身運動矢量后，分配給它相應的能量和信號，進而獲得穩定視頻序列。

Sanjeev［18］在傅里葉-格林域基于相位相關的算法中實現了魯棒的二維仿射全局運動估計。接著在稀疏運動向量場采用最小二乘擬合實現圖像序列穩定。在稀疏的運動向量區域，采用RANSAC算法優化計算結果。在圖像金字塔的最佳分層處，隨機選擇高活動區域的位置，實現亞像素級的準確相位相關。

Konstantinos［19］運用Hilbert-Huang變換理論，對原始運動矢量信號進行經驗模式分解，形成固有模態函數。然后運用Hilbert變換對每個固有模態函數分配能量，繼而分解有意運動和隨機抖動。

李迪［20］引入自組織遞歸的模糊神經網絡方法，對視頻序列存在的抖動進行函數逼近和學習能力模擬，預測出設備抖動位置，繼而進行補償，使輸出視頻穩定。

4 基于特征點匹配的運動估計算法

基于特征點匹配的穩像算法是運動估計的一種重要算法，這種算法的主要流程如圖2所示。

圖2 電子穩像系統的算法流程Fig.2 Algorithm flow of EIS system

算法首先求取參考幀和當前幀的正確匹配特征點對，再將特征點對的坐標代入如下仿射模型，求取運動矢量：

式中，（Xi，Yi）和（Xi′，Yi′）分別代表參考幀和當前幀的特征點坐標；參數S代表變焦系數；θ為旋轉角度，Δx，Δy分別代表水平和垂直位移。求取運動矢量后再進行運動濾波及運動補償實現視頻序列穩定。求取運動矢量用時最多的就是提取正確特征點及匹配的計算過程。比較常用的提取特征點的方法有基于Harris算子、尺度不變特征變換算子（Scale Invariant Feature Transform，SIFT）以及改進的加速魯棒特征算子（Speed Up Robust Features，SURF）和二進制魯棒尺度不變關鍵點檢測算子（Binary Robust Invariant Scaleble Key-point，BRISK）等。

4.1 幾種提取特征點的算子

4.1.1 Harris算子

1998年，Harris和Stephens提出Harris算子，主要利用圖像的灰度變化進行檢測。算子的核心其公式為：

det M是矩陣M的行列式，trace M是矩陣M的跡，k一般取0.04～0.06。λ1，λ2為M矩陣的兩個特征值，當各值都較大時，該點被認為是特征點。這種特征點檢測方法計算簡單，提取特征點均勻，自問世以來，得到了廣泛的應用。

鐘平［21］等人提出通過Harris算子提取特征點并進行匹配，求取局部運動適量，將其代入運動模型后求解全局運動適量。為了減少匹配計算的復雜度，加快匹配速度，采用了多分辨率圖像金字塔匹配策略，可以較好地實現幀間平移運動和旋轉運動的補償。

朱娟娟［16］提出一種魯棒的電子穩像系統。全局運動矢量通過Harris算子提取特征點的局部信息來估計，同時根據特征點集的結構特征提出用距離作為判斷準則，對特征匹配進行驗證來去除偽匹配點。最后將所有校驗后的匹配點對代入運動模型中進行最優化迭代以獲得全局運動矢量。

Harris算子［22］及其很多改進算法在特征提取領域都得到廣泛應用，但是在圖像含有尺度變化時，無法正確檢測角點。后來又有人提出Harris-Laplace算子，雖然能適應尺度變換，但算法的耗時太長。

4.1.2 SIFT&SURF算子

SIFT［23］算子是2004年Lowe提出的基于尺度空間的特征提取算子。算法具有保證圖像對平移旋轉和尺度具有不變性，獨特性能好的優點，缺點是基于多尺度空間進行搜索，計算量較大。Battiato［24］在2007年的ICIA國際會議上利用SIFT算子提取特征點，實現了視頻序列去抖，取得了很好的效果。

SURF［25］算子是2008年由Bay提出的，是對SIFT算子的改進。主要運用Hessian矩陣對圖像的極值進行檢測，并在尺度空間內進行特征點檢測。

對于一幅灰度圖像，SURF中使用積分圖像代替灰度圖像，任意尺度的Hessian矩陣表示為：

式中，g（σ）是二維高斯函數，L（x，σ）是G（σ）與積分圖像的卷積。實際應用中，用盒子濾波器代替高斯濾波器，通過改變σ的大小構建尺度空間。近年來很多文獻報道了SURF算子及其各種改進算法的應用。

Binoy［26］運用SURF算子提取特征點法實現運動估計，采用不同的策略選擇最適合的特征點軌跡，最后用Kalman濾波實現運動校正。張坤［7］采用SURF算法檢測感興趣特征點，得出當前幀相對于參考幀的運動矢量。再通過判斷參考幀的更新情況，得到去抖后的全局運動矢量進行運動補償。算法運行時間短，精確度可達到亞像素級。王洪［27］在SURF算子基礎上，提出一種特征點預測方法，增強對外部環境和光照變化的適應能力，并在動態平衡KD樹基礎上進行快速匹配，經過加入噪聲前后做測試比較，誤匹配率降低為零。李小昌［28］在SURF算子的基礎上，在特征區域選擇的時候采用圖像的熵來做檢測，起到提高速度和減少計算量的作用，同時又改進了特征描述方法。吳威［29］等人采用SURF算子獲取參考幀和當前幀的對應關系，再進行濾波和補償，實現了全景穩像，穩像指標提高了近1/3。

4.1.3 BRISK算子

2011年，Stefan［30］在ICCV國際會議上提出了基于二進制魯棒尺度不變關鍵點檢測算子BRISK。算法主要包括特征點描述和匹配。BRISK特征檢測子是以FAST算子為基礎發展而來的，具有尺度不變、定位精度高等特點。BRISK描述符采用了在關鍵點附近采樣的模式，由二進制比特串構成，一般采樣60個位置。

許允喜［31］將這種方法用在組合導航系統的景象匹配中，大大提高了匹配的速度和精度，也適合大光照變化的情況。目前為止，將此算子用于電子穩像系統未見報道。

4.2 運動校正算法

運動校正的主要任務是消除或減輕攝像機抖動引起的視頻序列隨機運動。目前用于電子穩像的運動濾波算法主要有：均值濾波方法、Kalman濾波的方法、粒子濾波的方法、曲線擬合的方法以及α-β運動濾波的方法等。

S.Erturk［32］提出運用Kalman濾波對序列幀的隨機運動和有意運動進行分離。M.K.Gullu［33］對Kalman濾波進行改進，提出運用模糊自適應的Kalman濾波對圖像進行穩像。該算法中兩個Kalman濾波器并行工作，其中一個用來作為參考濾波器，通過恒定過程的噪聲方差工作來確保能平滑和密切跟蹤相機運動的軌跡。穩定濾波器的噪聲方差會自適應地根據它與參考濾波器的差值通過模糊系統進行調整。張帆［34］等人提出了一種基于固定滯后平滑濾波的平移運動濾波技術，該方法是在Kalman濾波的基礎上得到的。算法通過滯后N幀圖像所獲得的更多圖像位置信息，提高Kalman濾波的估計精度，算法計算速度較快，實時性好，濾波的平滑效果明顯。

Yang［35］等人在粒子濾波框架基礎上提出一種新穎的視頻穩像技術，該技術對粒子濾波應用于傳統的相機運動仿射模型進行了擴展，依靠所得圖像的逆以獲得穩定的視頻序列。首先運用尺度不變特征點對攝像機運動進行粗略估計，接著運用粒子濾波進行平滑估計。這種方法在實驗和理論上都表明，采用粒子濾波的估計精度較高。Jin［36］等人認為主觀運動與當前幀及前兩幀的全局運動相關，把運動的位移隨時間的變化曲線視為一個信號，設計了一個二階的慣性濾波器，濾波器參數需要憑經驗設置，不能自適應調整。

近年來，很多學者針對不同的環境背景研究出了很多新的運動濾波算法。這些算法對已有的算法做了大量的改進，提高了算法的精度和速度。王斌［6］提出了用均值偏移和粒子濾波結合的運動濾波算法（MSPF）來實現運動校正。該算法通過粒子濾波來預測粒子，然后利用單次均值偏移迭代使粒子向目標真實位置區域移動，這樣可以削弱計算結果的精度對粒子數的依賴。實驗結果表明：MSPF算法使用50%的粒子就能起到傳統粒子濾波算法同樣的效果，縮短了計算時間，有利于實現實時穩像跟蹤，適用于車載、船載、機載等穩定跟蹤系統中。姚軍［37］也利用粒子濾波實現了序列的穩像，取得了很好的效果。

Huang［38］等人采用特征點匹配法做幀間運動估計，之后采用α-β運動濾波算法分離隨機運動和有意運動，實現運動平滑。此濾波方法是一種低通濾波方式，增益恒定，容易實現，最大的優點是增益矩陣可以離線計算。算法魯棒性好，可以去除高頻抖動，在工程上比Kalman濾波容易實現。

4.3 圖像補償算法

圖像補償主要對校正后的區域進行重構，獲得完整的視頻序列。近幾年，電子穩像處理中圖像補償的方法主要包括基于運動復原的方法和圖像拼接方法。

Matsushita［39］等人提出了一種基于運動復原的圖像補償方法。該方法利用算法將視頻背景與運動前景分開，然后根據局部運動特性，利用視頻的時空連貫性對圖像進行圖像補償。楊占龍［40-41］等人采用圖像拼接技術實現圖像補償。傳統圖像拼接方法對旋轉和噪聲敏感，針對這個問題，楊提出了兩種圖像拼接技術，一種是基于興趣點的偽澤尼克（Zernike）矩技術，另一種是基于不變矩的拼接技術。兩種方法都是利用Harris算子獲取圖像中的興趣點，計算以興趣點為中心鄰域窗口的偽澤尼克矩和不變矩。然后根據幾何變換模型剔除偽匹配點對，最后將兩幅圖像間的重疊區域進行圖像融合，完成圖像的拼接。

5 結束語

目前的電子穩像系統對于應用對象和環境針對性較強，任何一種單一的方法和應用已經無法滿足人們的需求，為了降低計算難度，要根據不同情況選取不同的方法。與其他領域的新技術相結合是電子穩像技術的一個研究熱點，也是一個具有挑戰性的新的研究領域。

機載電子穩像技術的研究已經取得了很大的進展，在電子穩像的工程應用中仍需解決以下幾個方面的難點：

（1）運動模型的局限性。目前在運動估計模塊所用的運動模型都是基于某種條件下的假設，每種算法總有一定的使用范圍，因此需要建立一個通用的或近似通用的幾何校正模型，以適用于攝像機的任意運動。

（2）穩像算法的實時性。現今存在的電子穩像算法多數只能實現基于平移運動模型的實時處理，而這樣的模型不能完整地描述環境復雜情況下攝像機的運動特征。實現多參數運動模型下的實時穩像處理是該領域學者的研究目標之一。

（3）圖像拼接的重影問題。圖像拼接算法是基于兩幅圖像間重疊區域并不存在運動物體的假設前提下的。但在有些情況下，待拼接圖像采集過程中會有運動的物體出現或移動，這將會在合成圖像中產生重影。因此，對圖像運動補償要嘗試一些圖像融合的算法，更大程度地消除運動物體產生的重影。

（4）利用圖像的間接特征進行匹配。圖像的能量、直方圖以及頻譜等信息都是圖像的間接特征，利用這些特征進行圖像匹配的文章還很少見，但這些特征都是圖像的固有特性，這也是電子穩像算法今后努力的方向。

［1］趙紅穎，金宏，熊經武.電子穩像技術概述［J］.光學精密工程，2001，8（4）：353-359. ZHAO H Y，JIN H，XIONG JW.Overview of the electronic image stabilization technology［J］.Opt.Precision Eng.，2001，8（4）：353-359.（in Chinese）

［2］王志民，徐曉剛.電子穩像技術綜述［J］.中國圖象圖形學報，2010，15（3）：470-480. WANG ZH M，XU X G.A survey on electronic image stabilization［J］.J.Image and Graphics，2010，15（3）：470-480.（in Chinese）

［3］鐘平.機載電子穩像技術研究［D］.長春：中國科學院長春光學精密機械與物理研究所，2003. ZHONG P.Study on electronic image stabilization technology for the image sequences of the aero-borne camera system［D］.Changchun：Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，2003.（in Chinese）

［4］孫輝，李志強，孫麗娜，等.基于相位相關的亞像素配準技術及其在電子穩像中的應用［J］.中國光學與應用光學，2010，3（5）：480-485.SUN H，LIZH Q，SUN LN，etal..Sub-pixel registration based on phase correlation and its application to electronic image stabilization［J］.Chinese J.Opt.Appl.Opt.，2010，3（5）：480-485.（in Chinese）

［5］李迪.微型飛行器電子穩像技術研究［D］.長春：中國科學院長春光學精密機械與物理研究所，2012. LID.Study on electronic digital image stabilization technology for the image sequences ofMAV［D］.Changchun：Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，2012.（in Chinese）

［6］王斌，趙躍進.基于電子穩像跟蹤技術的運動濾波算法［J］.光學精密工程，2009，17（1）：202-206. WANG B，ZHAO Y J.Motion filtering algorithm for tracking technology based on image stabilization［J］.Opt.Precision Eng.，2009，17（1）：202-206.（in Chinese）

［7］張坤，許廷發，王平，等.高精度實時全幀頻SURF電子穩像算法［J］.光學精密工程，2011，19（8）：1964-1972. ZHANG K，XU T F，WANG P.Rea-l time ful-l frame digital image stabilization system by SURF［J］.Opt.Precision Eng.，2011，19（8）：1964-1972.（in Chinese）

［8］朱娟娟，郭寶龍.一種魯棒的電子穩像系統［J］.西安電子科技大學學報（自然科學版），2007，34（3）：418-422. ZHU JJ，GUO B L.Electronic image stabilization system based on global features tracking［J］.J.Xidian University（Nature&Science Edition），2007，34（3）：418-422.（in Chinese）

［9］ HUANG JC.Automatic feature-based globalmotion estimation in video sequences［J］.IEEE，2004，50（3）：911-915.

［10］ ANTONIO R K，ROLAND G.A wavelet-based approach to image feature stability assessment［J］.IEEE，206，22：1-25.

［11］ ANDREW L，JANUSZ K，WILIAM C K.Probabilistic video stabilization using Kalman filtering and mosaicking［J］.Image and video Communication and Processing，2003，5022：663-674.

［12］ ERTURK S.Digital image stabilization with sub-image phase correlation based globalmotion estimation［J］.IEEE T. Consumer Electronics，2003，12：1320-1325.

［13］ HO D S，JOON L.Digital image stabilization using simple estimation of the rotational and translationalmotion［C］.Proc. SPIE 5810，Acquisition，Tracking，and Pointing XIX，Orland，Florida，USA，March 2005.

［14］ XU L D，LIN X G.Digital image stabilization based on circular block matching［J］.IEEE T.Consumer Electronics，2006，52（2）：565-574.

［15］ JINHEE L，SANGKEUN L.Digital image stabilization based on statistical selection of feasible regions［J］.IEEE Transactions on Consumer Electronics，2009，55（4）：1748-1755.

［16］ POURREZA H R，RAHMATIM，BEHAZIN F.An electronic digital image stabilizer based on stationary wavelet transform（SWT）image procession［J］.Proceeding of 2003 International Conference on，2003，3：383-386.

［17］ ANGELOSA A，ANDREADIS I.Digital image stabilization by independent componentanalysis［J］.IEEE Trans.Instrumentation and Measurement，2010，59（7）：1755-1763.

［18］ SANJEEV K，HALEH A，MAINAK B，etal..Real-time affine globalmotion estimation using phase correlation and its application for digital image stabilization［J］.IEEE T.Image Processing，2011，20（12）：3406-3418.

［19］ KONSTANTINOS I，IOANNISA A.Digital image stabilization method based on the hilbert huang transform［J］.IEEE T.Instrumentation and Measurement，2012，61（9）：2446-2457.

［20］李迪，陳向堅，續志軍，等.模糊神經網絡在機載相機穩像中的應用［J］.浙江大學學報（工學版），2012，46（8）：1540-1545. LID，CHEN X J，XU ZH J，etal..Fuzzy neural network with self-organizing recurrent intervals for image stabilization of the airborne camera［J］.J.Zhejiang University（Engineering Science Edition），2012，46（8）：1540-1545.（in Chinese）

［21］鐘平，于前洋，金光.基于特征點匹配技術的運動估計與補償方法［J］.光電子·激光，2004，15（1）：73-77. ZHONG P，YU Q Y，JIN G.Motion estimation and motion compensation based on matching technology of feature point［J］.J.Optoelectronics·Laser，2004，15（1）：73-77.

［22］吉淑嬌，朱明，胡漢平，等.基于特征匹配的視頻穩像算法［J］.吉林大學學報（工學版），2013，43（增刊）：322-325. JISH J，ZHUM，HU H P，etal..Video stabilization algorithm based on the characteristicsmatching［J］.J.Jilin University（Engineering and Technology Edition），2013，43（Sup.）：322-325.

［23］ LOWE D G.Distinctive image features from scale-invariant keypoints［J］.International J.Computer Vision，2004，60（2）：91-110.

［24］ BATTIATO S，GALLOG，PUGLISIG，et al..SIFT Feature tracking for video stabilization［C］.International conference on Image Analysis and Processing，Modena 2007.

［25］ BAY H，TUYTELAARST，GOOL L V.SURF：speeded up robust features［C］.The Ninth European Conference on Computer Vision（ECCV）.Graz，Austria：Springer，2006：404-417.

［26］ BINOY P.Video stabilization using speeded up robust features［C］.Communications and Signal Processing（ICCSP），2011：527-531.

［27］王洪，嵇曉強，戴明，等.一種改進的快速魯棒特征匹配算法［J］.紅外與激光工程，2012，41（3）：811-817. WANG H，JIX Q，DAIM，et al..Improved speed up robust feathersmatching algorithm［J］.Infrared and Laser Eng.，2012，41（3）：811-817.（in Chinese）

［28］李小昌，朱丹.采用尺度不變特征和區域選擇的圖像配準方法［J］.紅外與激光工程，2012，41（2）：537-542. LIX CH，ZHUD.Image registrationmethod based on region selection and Scale Invariant feature transform-invariant feature［J］.Infrared and Laser Eng.，2012，41（2）：537-542.（in Chinese）

［29］吳威，許廷發，王亞偉，等.高精度全景補償電子穩像［J］.中國光學，2013，6（3）：378-385. WUW，XU T F，WANG YW，etal..High precision digital image stabilization with full frame compensation［J］.Chinese Optics，2013，6（3）：378-385.（in Chinese）

［30］ STEFAN L C，ROLAND S.BRISK：binary robust invariant scalable keypoints［C］.In proceedings of the IEEE international conference on computer vision（ICCV），2011，2548-2555.

［31］許允喜，蔣云良，陳方.慣性導航系統中基于BRISK的快速鏡像匹配方法［J］.光電子·激光，2012，23（8）：1589-1595. XU Y X，JIANG Y L，CHEN F.Rapid scenematching algorithm based on BRISK for inertial integrated navigation system［J］.J.Optoelectronics·Laser，2012，23（8）：1589-1595.

［32］ ERTURK S.Image sequence stabilization based on kalman filtering of frame positions［J］.Electronics Letters，2001，37（20）：1217-1219.

［33］ GULLU M K，YAMAN E，ERTURK S.Image sequence stabilization using fuzzy adaptive Kalman filtering［J］.Electronics Letters，2003，39（5）：429-431.

［34］ ZHANG F，WANG X T，XU X G，et al..Electronic image stabilization algorithm based on fixed-lag smooth filtering［J］. Optoelectronics Letters，2007，3（4）：308-311.

［35］ YANG JL，SCHONFELD D，MOHAMEDM.Robust video stabilization based on particle filter tracking of projected cameramotion［J］.IEEE Transactions on Circuits and Systems for Video Technology，2009，19（7）：945-954.

［36］ JIN JS，ZHU ZG，XU G.Y.A stable vision system formoving vehicles［J］.IEEE T.Intelligent Transportation Systems，2000，1（1）：32-39.

［37］姚軍，蔣曉瑜，杜登崇，等.使用粒子濾波器實現電子穩像［J］.光學精密工程，2009，17（5）：1105-1110. YAO J，JIANG X Y，DUD CH，etal..Digital image stabilization based on particle filter［J］.Opt.Precision Eng.，2009，17（5）：1105-1110.（in Chinese）

［38］ HUNG Y Q，JIANG X Y.Application of adaptiveα-βfiltering algorithm to electronic image stabilization［C］.2011 International Conference on Mechatronic Science，Electric Engineering and Computer，August 19-22，2011，Jilin，China，322-325.

［39］ MATSUSHITA Y，OFEK E，GEW，et al..Full-frame video stabilization with motion inpainting［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（7）：1150-1163.

［40］楊占龍，郭寶龍.基于興趣點偽澤尼克矩的圖像拼接［J］.中國激光，2007，34（11）：1548-1552. YANG ZH L，GUO B L.An imagemosaic technique based on invariantmoments of interest points［J］.Chinese J·Lasers 2007，34（11）：1548-1552.（in Chinese）

［41］楊占龍，郭寶龍.基于興趣點不變矩的圖像拼接方法［J］.光電子·激光，2007，18（6）：738-740. YANG ZH L，GUO B L.An imagemosaic technique based on invariantmoments of interest points［J］.J.Optoelectronics ·Laser，2007，18（6）：738-740.（in Chinese）

Aero-borne electronic image stabilization based on feature pointmatching

JIShu-jiao1，2，ZHU Ming1*，HU Han-ping1
（1.Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.School of Electronic and Information Engineering，Changchun University，Changchun 130022，China）
*Corresponding author，E-mail：zhu_mingca@163.com

Electronic Image Stabilization（EIS）technology usually is employed to remove the random jitter generated by the imaging equipment and to stabilize its video output.Firstly，the development status of EIS is introduced.Then themotion estimation module is studied in details，which is one of themost importantmodules of EIS.Both the direction motion estimation algorithms and the feature-points-based matching algorithms are discussed.Furthermore，themotion correction and compensation algorithm are presented.Finally，according to the difficulties and the future trends of the EIS，the developing direction for featurematching algorithms of EIS is proposed.

electronic image stabilization；motion estimation；featurematching；Kalman filter

TP391.4

10.3788/CO.20130606.0841