彩色分層和相位相關的視頻穩像

董利芳，王小鵬，趙國輝，王杰

（蘭州交通大學電子與信息工程學院 甘肅 蘭州 730070）

0 引言

攝像機在移動過程中所拍攝的圖像序列包括攝像機的掃描和無意識運動,這些無意識運動往往是不規則的隨機抖動。隨機抖動嚴重影響圖像序列質量,易造成觀察者疲勞、影響跟蹤效果等問題。穩像系統就是去除視頻圖像序列中不規則運動引起的圖像擾動,使圖像序列穩定的過程.穩像系統主要分為光學穩像、機械穩像和視頻穩像。其中視頻穩像與傳統的光學穩像、機械穩像相比,具有易操作、更精確、更靈活、體積小、價格低、能耗小和高智能化等特點。這些優點使得視頻穩像成為穩像系統的發展方向[1]。

1 視頻穩像原理及數學模型

視頻穩像需要兩大步驟：運動估計和運動補償。運動估計就是找出相鄰幀的偏移量,包括平移、旋轉、縮放等運動參數。運動補償就是在估計出運動矢量后,將掃描和抖動進行區分,在對掃描進行保留的同時對抖動量進行補償。

視頻穩像的模型基本有3種：Translation模型主要針對平移運動;Affine仿射模型主要針對扭轉變化;Similarity模型主要針對含旋轉和變焦的運動[2]。由于Translation模型和Affine仿射模型對視頻運動描述具有局限性,所以本文采用Similarity模型來進行穩像。Similarity模型的函數關系如式（1）所示。

即：

式中p1; p0, 分別是當前幀和參考幀對應的坐標;σ是變焦系數,即圖像的縮放;T,(Δx,Δy)是二維平移量;是正交的旋轉矩陣Re;θ描述圖像的旋轉角度。

即:

2 運動估計和運動補償

視頻穩像的基本過程分為兩大步驟：運動估計和運動補償.運動估計是根據圖像幀之間移動變化計算出精確運動;運動補償是對算出的運動估計按相反的變換進行以達到穩定圖像幀的目的。

本文采用先將待處理的圖像進行彩色分層,之后進行小波變換,然后利用極坐標相位相關法求取圖像的旋轉角度,對圖像進行角度補償后,再利用平面直角坐標的相位相關法求取平移運動矢量,基本流程框圖如圖1所示。

圖1 基本流程框圖

2.1 運動估計

彩色分層技術：攝像機所得的彩色圖像均由三原色組成,不同原色體現的圖像特征不同，對不同原色的圖像分別進行運動矢量的計算,之后對同一幀圖像3幅不同原色圖求取的運動參數進行權值化,便可得到精確的運動矢量。

小波變換的原理：通過小波變換,將自然圖像抽樣為多個不同分辨率的多幀圖像,先對像素級數低的進行處理求取粗略的運動矢量,在粗略估計的基礎上進行進一步精確的估計,得到精確的運動矢量。

相位相關技術是一種非線性、基于傅氏功率譜的頻域相關技術,經常被用來檢測兩幅圖像之間的平移。相位相關是一種受幾何失真影響較小的匹配算法。因為幾何失真對圖像的高頻分量影響大,而對低頻分量影響小,所以采用低通濾波器、以傅里葉頻譜為基礎的相位相關法,可以大大減小幾何失真對匹配性能的影響。相位相關法的具體計算方法見下面詳解。它對噪聲有較高的容忍度,檢測結果與照度無關,是一種強魯棒性的圖像匹配方法。另外只要圖像內容有三分之一是相似的,就可找出最佳匹配位置。

1）彩色分層

用彩色分層技術將圖像分為3幅圖像,對3幅圖像分別進行處理計算出運動參數之后進行加權計算以提高匹配精度[3]。為了達到高精度的圖像匹配結果,通常參與匹配運算的圖像均具有較高的分辨率。然而,基于相位相關的圖像匹配需要進行傅里葉變換,運算量很大,運算時間較長。所以采用小波變換的圖像金字塔式,先對低分辨率的圖像進行相位相關，計算出粗略的運動矢量,再以低像素圖像得到的運動矢量為索引,在高分辨率的圖像中求取精確的運動矢量[3]。

2）小波變換

小波分析的基本原理如圖2所示,其中,2抽樣是保留所有偶行和偶列相交像素組成抽樣后的圖像。旋轉角度對平移矢量求取影響較大,所以求出旋轉角度之后對當前幀進行旋轉補償之后再求取平移矢量。

3.1 實驗數據

表1選擇實驗過程中的匹配計算過程中的一些數據。由表1可以清楚地看到文中所用算法平移矢量的誤差在亞像素水平,旋轉角度的計算誤差可以精確到0.1°以內（由于文中處理的都是日常拍攝的視頻,對于縮放系數近似看作0,如果是遠程的拍攝如航拍等縮放對圖像的匹配影響較大,文中算法也可適用）。

3.2 系統處理過程

在上述的穩像系統處理過程中,將連續兩幀圖像進行處理,其各個階段的圖像如圖3所示。圖3（a）～（f）為該算法處理的過程中的一組圖片。圖3（a）作為參考幀圖像,（b）作為待補償圖像,（c）為穩像后的圖像（d）到（f）為待補償圖像的不同顏色分量圖, （g）到（i）為對應待補償圖像的不同顏色分量圖的頻譜圖。

運算的結果如下：待匹配圖像相對于參考幀圖像順時針旋轉了0.3°,行方向左移了3.3個像素,列方向下移了16.0個像素,從旋轉平移后的圖像（f）和參考圖像（a）的對比可以看出算法的計算的精確性。并且,該算法在VC++環境下[8]每秒可處理28幀圖像能夠達到實時性要求。

圖3 視頻圖像處理過程

表1 關于運動矢量的一些實驗數據

[1]鐘平.機載電子穩像技術研究[D].長春:中國科學院長春光學機密機械與物力研究所, 2003.

[2]Rafael C.Gonzalez,Richard E.Woods.數字圖像處理[M].2版.阮秋琦,阮宇智 譯.北京:電子工業出版社，2003:252-253.

[3]邱慶軍,徐可欣,蔣景英,虞啟璉.結合小波變換與相位相關的圖像匹配方法[J].信號處理, 2003,19(5):469-472.

[4]Hong Zhang,Changsong Deng ,Junwei Li,Fei Yuan,Ruiming Jia.Fast Digital Image Stabilization Algorithm Based on Polar Transform and Circular Block Matching[C].ICSP2008,1124-1127.

[5]Ruiming Jia,Hong Zhang,Lei Wang,Junwei Li.Digital Image Stabilization Based on Phase Correlation[C].2009 International Conference on Artificial Intelligence and Computational Intelligence, Beihang University,National Key Laboratory on Optical Features of Environment and Target,beijing,2009,485-489.

[6]Yi Liang.Phase-Correlation Motion Estimation[R].

[7]杜登崇,蔣曉瑜,姚軍.基于相位相關的電子穩像算法研究[J].激光與紅外,2009, 39（1）：63-66.

[8]胡小峰,趙輝.Visual C++/MATLAB圖像處理與識別實用案例精選[M].北京,人民郵電出版社,2004.8,52-78.