電子穩像中的參考幀選擇策略

黃文娟，王敬東，薛重飛，王 崟

?

電子穩像中的參考幀選擇策略

黃文娟，王敬東，薛重飛，王 崟

（南京航空航天大學 自動化學院，江蘇 南京 210016）

在電子穩像中合理的選擇參考幀是全局運動估計和運動補償的基礎。為了解決傳統參考幀選擇策略帶來的幀間跳變的缺陷，給出一種基于累積變換的參考幀更新策略，通過相鄰幀間運動參數的累積變換得到當前幀相對于第一幀的累積全局運動參數，統一了補償基準，并針對過程中產生的累積誤差問題，通過設定匹配閾值調整參考幀更換條件，減少參數的傳遞次數。實驗結果表明，改進算法能夠有效解決幀間跳變問題，緩解誤差的累積進程，輸出平穩的結果視頻。

全局運動估計；參考幀選取；累積變換參數；累積誤差

0 引言

隨著攝像設備的日益廣泛以及攝像平臺的多樣化，電子穩像技術[1]成為視頻處理應用中不可或缺的一部分。電子穩像的主要部分是運動估計[2]和運動校正[3]兩大模塊，其中最核心的是全局運動參數的估計，它的估計精度決定了系統的抖動校正性能。

在全局運動參數估計和運動補償[4]部分，由于參數計算以及補償過程都具有一定相對性，都是當前幀針對某一幀而言，所以合理的選擇參考幀顯得尤為重要，不同的選擇策略會帶來不同的穩像效果。迄今為止國內外也有很多相應的研究，通常，根據拍攝內容、目的和方式的不同，參考幀選取方式主要分為兩種：固定參考幀模式和相鄰參考幀[5]模式，對此，國外波士頓大學的Andrew Litvin等人對其進行了深入研究[6]，國內長春光學精密機械與物理研究所的鐘平、西安電子科技大學的朱娟娟等人[7-8]也進行了相應的翻譯和應用工作。對于攝像系統保持不動或者運動幅度較小的情況，固定參考幀模型是首選，簡單的說就是在一段視頻中，一直以固定的某一幀作為所有視頻幀的參考幀，進行全局運動估計，這種參考幀選取方式計算量小，不需要實時的變換參考幀，算法的魯棒性好。但是隨著攝像機的運動，圖像會逐漸發生變化，幀間重疊區域慢慢減小，視頻中無定義區域[9]不斷增大甚至導致穩像失敗，這時就需要變換參考幀，而參考幀變換準則的不同，會直接影響到穩像的效果。

本文對全局運動估計進行了深入的研究，針對更換參考幀的原理和存在的問題進行了分析，采用基于累積變換的參考幀選取策略進行了初步改進，解決了穩像過程中出現的視頻幀突變問題，達到了良好的穩像效果；隨后針對改進過程中出現的累積誤差[10]問題，在初步改進基礎上對參考幀更新準則進行了調整，通過設定匹配閾值降低了參考幀更換頻率，大大減少了參數的傳遞，改善了累積誤差。本文算法已通過編程具體實現，并通過實驗對算法的有效性和準確性進行了驗證。

1 視頻穩像中的更新參考幀策略及其存在的問題

圖1(a)為更新參考幀方式，常用的更新準則有兩種，第一種是設定一個最大的運動矢量閾值，當檢測到的運動量超過這個閾值，就放棄原參考幀，將當前幀作為參考幀繼續穩像；第二種是間隔固定幀數重新選取一幀作為參考幀，不管是哪一種變換策略，都會對穩像效果帶來負面的影響。

第一種方法的主要問題在于：在更新參考幀前后，視頻幀中所拍攝的場景在空間位置上會發生相對變化，如果此差異較明顯，視覺上即表現為圖像序列的突變，即一段時間內視頻中的景物在某一位置，更新參考幀后它們就突變到了下一個位置。圖1(b)反映了參考幀更新前后過程，矩形表示視頻幀，射線代表相機的意向運動方向，虛線陰影為第2幀與第1幀的場景重疊部分，實線陰影為第3幀與第1幀的場景重疊部分。首先以第1幀為參考幀，假設第2幀檢測到的運動量在設定閾值范圍之內，則以第1幀為參考幀進行抖動分量的補償；假設第3幀檢測到的運動量超過了設定閾值，則做出實時調整，用第3幀原始圖像代替穩定幀直接輸出，并將其更新為參考幀，繼續進行后續視頻幀的處理直到下一次更換參考幀。可以看出，分別擔任參考幀的第1幀與第3幀之間重疊區域較小，場景空間位置發生明顯變化，此時就會出現視頻幀的“跳變”現象，可參看第3章實驗結果中的示例。

第二種方法的主要問題在于：處理較機械，更新幀數固定，不具有自適應性，若更換前后的兩個參考幀之間重疊區域較小，同樣會出現幀間跳變；否則說明原參考幀對后續幀仍有參考作用，不必更換。

2 基于累積參數的參考幀選取策略

2.1 幀間跳變問題的改進

通過對上述分析可以知道，幀間“跳變”問題之所以存在，是因為在處理過程中相當于將視頻分成了若干段，每一段分別以不同的參考幀為基準進行參數的計算與補償，由于不同的參考幀之間存在場景空間的差異，所以會出現“跳變”，因此解決辦法就是讓所有視頻幀在同一個基準下進行參數的計算和補償，通常將這個“基準”定為視頻的第1幀。具體方法如圖2(a)所示：即對每相鄰的兩幀圖像進行全局運動估計，對這些全局運動矢量進行累積，以累積后的運動矢量作為相對于第1幀的全局運動矢量，然后通過對該矢量的濾波得到意向運動部分，并對當前幀進行運動補償。由于全局運動矢量計算以及運動補償最終都是以第1幀為基準，不存在參考幀之間場景相對位置的變化，因此也就解決了幀間跳變的問題。

2.2 改進過程中累積誤差的出現

但是改進后的方法也存在一定缺陷，由于當前幀的全局運動矢量是所有幀間運動矢量累積的結果，容易出現累積誤差甚至穩像失敗。

圖1 更新參考幀圖示

圖中隨機選取了實驗視頻后半部分中的5幀，第一行為原視頻幀，第二行為穩像后的結果幀，可以看出，隨著處理時長的增加，處理結果視頻中出現了越來越大的無定義區域，累積誤差越來越大，處理結果視頻出現了劇烈的抖動，其抖動程度甚至超過了原拍攝視頻，并最終失穩。

2.3 累積誤差的改善

初步的改進方案雖然解決了幀間跳變的問題，卻導致了累積誤差的出現，為了同時解決這兩個問題，本文在原改進方法的基礎上，設定匹配閾值來調節參考幀的更新，而不是直接對相鄰兩幀進行運動估計。此處更新的參考幀只作為中間量，參與后續視頻幀的全局運動參數計算部分，并不作為補償的基準，所有視頻幀仍以第1幀為基準進行補償，這樣既解決了幀間突變的問題，又降低了參數計算時的參考幀更新頻率，減小了誤差累積的幅度和速度，原理如圖4所示。

首先以第1幀為參考幀進行運動估計和補償，每次更新參考幀之后，后續幀與更新后的參考幀進行匹配并計算兩幀之間參數，然后算出其相對于第1幀的全局運動參數，分離出該參數中的意向運動部分并進行補償。在整個計算過程中，更新后的參考幀擔任匹配和參數計算中間橋梁的作用，第1幀擔任補償基準的作用，而參考幀與當前幀之間的其他幀不參與該過程，避免了連續幀參數計算的誤差累積。在每次判斷參考幀更新與否時本文用匹配閾值來衡量：若當前幀與參考幀的成功匹配點對數小于，則更新當前幀為參考幀。關于匹配閾值的選取：由于在全局運動參數計算時選取六參數仿射模型，理論上需要3對匹配點對，但實際計算時遠遠超過3對，一般計算其最小二乘解。為了充分利用特征點信息，并保證有足夠的匹配點對參與最終的參數計算，這里對進行了下限設定：當參考幀提取到的特征點數＞100時，設為所提取特征點數的一半即0.5，當提取到的特征點數＜100時，設為50。

2.4 基于累積變換的參數計算

關于參數的計算，由于每一幀最終得到的全局運動矢量以及補償矢量都是相對于第一幀而言，其計算過程要經過一個“累積”的步驟，所以這里將這些參數統稱為“累積運動參數”，其在全局運動估計、濾波和補償3個階段分別對應“累積全局運動參數”、“累積意向運動參數”和“累積補償參數”。

圖2 基于累積參數的參考幀選取

則補償參數滿足如下公式：

3 實驗結果及分析

按上述改進后的參考幀選取策略以及推導出的累積參數計算公式，用VS2010＋OpenCV編程實現穩像過程，將改進前后的穩像效果進行對比。

幀間跳變問題改進前后的效果如圖5所示，第791幀為更新后的參考幀。為了方便比較，選取豎直方向為例，在改進前后的第790幀中選取同一個參照點，即建筑物的右上角，并畫一條穿過該點的水平線，可以看出，改進前第791幀中對應的點在直線下方，并與直線有明顯的距離，說明這兩幀之間在豎直方向上出現了較大位移，即幀間跳變在豎直方向上的表現，而改進后的第791幀中，對應的點仍在直線上，說明改進后的兩幀在豎直方向上沒有明顯位移，水平方向同理，綜上，該改進方法有效地解決了幀間跳變問題。

累積誤差問題改進前后的效果如圖6所示，依然選取實驗視頻中的對應5幀，圖中第一行為改進前的穩像結果，第二行為改進后的穩像結果，可以看出，隨著處理時長增加，第一行無定義區域明顯增加，累積誤差慢慢變大，而第二行沒有出現明顯的累積誤差，依舊能夠輸出平穩的處理幀，有效地緩解了累積誤差的問題。

圖5 幀間跳變消除前后對比圖

幀間變換保真度[12]可以有效地測量幀間的平滑度，因此被廣泛用來檢測視頻穩像效果，可以由式(3)計算得到：

式中：frame是視頻的總幀數；PSNR()是連續兩幀(,＋1)的峰值信噪比，可由式(4)計算得到：

其中：max是最大亮度值。由于峰值信噪比PSNR()可以簡單有效地測量兩幅圖像間的相似度，因此，非常適合用來對穩像算法進行定量的評價。

表1是改進前后的ITF結果比較，從結果來看，最終算法的ITF值明顯升高，進一步說明改進后的方法具有更好的運動平滑能力，穩像效果更好。

4 結束語

視頻拍攝過程中往往伴隨著不希望的旋轉、縮放和平移抖動，為輸出平穩視頻必須將抖動從全局運動軌跡中分離，而全局運動估計的精度就顯得尤為重要。本文利用改進后的參考幀選取策略來求取全局運動參數，保證了運動估計的準確性，并解決了幀間跳變問題，改善了由于累積計算產生的誤差問題，實驗表明，本文方法能夠有效去除抖動干擾，達到良好的穩像效果。

圖6 累積誤差改進效果對比圖

表1 穩像效果定量評價（ITF）

[1] 范永杰, 陳華. 基于MEMS陀螺儀的實時電子穩像技術[J]. 紅外技術, 2015, 37(9): 724-727.

FAN Yong-jie, CHEN Hua. Real-time video stabilization system based on MEMS gyroscope[J], 2015, 37(9): 724-727.

[2] TICO M, ALENIUS S, VEHVILAINEN M. Method of motion estimation for image stabilization[C]// 2006,, 2006, 2(2): 277-280.

[3] ICIE P, R. Electronic image stabilization system based on global feature tracking[J].2008, 19(2):228-233.

[4] HUANG J C, HSIEH W S. Automatic feature-based global motion estimation in video sequences[J].2004, 50(3): 911-915.

[5] 張躍飛. 車載攝像機數字穩像技術研究[D]. 成都: 電子科技大學, 2011.

Zhang Yuefei. Research on digital image stabilization for in-car video camera[D]., 2011.

[6] LITVIN A, KONRAD J, KARL W C. Probabilistic video stabilization using Kalman filtering and mosaicking[C]//, 2003, 5022: 663-674.

[7] 鐘平, 于前洋, 金光. 基于特征點匹配技術的運動估計及補償方法[J]. 光電子 激光, 2004, 15(1):73-77.

ZHONG Ping, YU Qianyang, JIN Guang. Motion estimation and motion compensation based on matching technology of feature point[J].·, 2004, 15(1):73-77.

[8] 朱娟娟. 電子穩像理論及其應用研究[D]. 西安: 西安電子科技大學, 2009.

ZHU Juanjuan. Research on Theory and Application of Electronic Image Stabilization[D]. Xi’an: Xidian University, 2009.

[9] 張坤, 許廷發, 王平, 等. 高精度實時全幀頻SURF電子穩像方法[J]. 光學精密工程, 2011(8): 1964-1972.

ZHANG Kun, XU Tingfa, WANG Ping, et al. Real-time full-frame digital image stabilization system by SURF[J].,2011 (8):1964-1972.

[10] 許杰, 楊碩, 王明輝. 基于無累積誤差濾波的數字穩像算法[J]. 計算機應用研究, 2014(7): 2213-2215.

XU Jie, YANG Shuo, WANG Minghui, et al. Low-pass filter based digital video stabilization without cumulative error [J].2014(7): 2213-2215.

[11] WANG C, KIM J H, BYUN K Y, et al. Robust digital image stabilization using the Kalman filter[J]., 2009, 55(1): 6-14.

[12] 黃晨, 王建軍, 高昕, 等. 電子穩像中穩像質量評價方法研究[J]. 激光與紅外, 2013(5): 477-481.

HUANG Chen, WANG Jianjun, GAO Xin, et al. Study on video stabilization performance assessment in electronic image stabilization [J].,2013(5): 477-481.

The Reference Frame Selection Strategy in Electronic Image Stabilization

HUANG Wenjuan，WANG Jingdong，XUE Chongfei，WANG Yin

(,,210016,)

Reasonable selection of reference frames in the electronic image stabilization is the basis of global motion estimation and motion compensation. In order to solve the problem of frame jump caused by the traditional reference frame selection strategy, a reference frame update strategy based on the cumulative transformation is presented in this paper. By the cumulative transformation of the adjacent frames, the cumulative global motion parameter of the current frame with respect to the first frame is obtained, and the compensation standard is unified. Aiming at the problem of cumulative error in the process,the change of the reference frame is adjusted by setting the matching threshold, and the number of parameters is reduced. The experimental results show that this improved algorithm can effectively solve the problem of inter frame jump, alleviate the error accumulation process, and output a smooth video.

global motion estimation，reference frame selection，cumulative transformation parameter，cumulative error

TP391

A

1001-8891(2016)02-0163-05

2015-11-06；

2015-12-10.

黃文娟（1990-），女，江蘇宿遷人，碩士，主要研究方向為數字圖像處理，E-mail：hwjnuaa@163.com。

國家自然基金（U1531110），中央高校基本科研業務費專項資金資助（NZ2015202）。