一種空域和頻域相結合的運動圖像亞像素配準技術

孫 輝，李志強，孫麗娜，郎小龍

（中國科學院長春光學精密機械與物理研究所，吉林長春130033）

一種空域和頻域相結合的運動圖像亞像素配準技術

孫 輝，李志強，孫麗娜，郎小龍

（中國科學院長春光學精密機械與物理研究所，吉林長春130033）

針對視頻圖像運動檢測問題，提出了一種結合空域灰度投影和頻域相位相關的亞像素圖像配準方法。首先，采用灰度投影算法在空域對運動圖像進行粗配準，即在圖像行和列方向上計算圖像灰度投影特征數據，根據灰度相關函數最小化準則，估計像素級運動量；然后，在經過粗配準的兩幅圖像中心選取尺寸相同的區域，進行快速傅里葉變換，在頻域采用擴展的相位相關算法對圖像進行精確配準。該方法利用圖像的功率譜信息，減少對圖像內容的依賴，運用基于最小二乘的曲面擬合法，實現亞像素圖像配準參數估計，具有從粗到精的特點，有效提高了圖像檢測精度。文中最后對樣本圖像進行了圖像配準對比實驗，結果表明，該方法可以檢測0.01 pixel的運動量，最大配準誤差為0.004 8 pixel。

灰度投影；相位相關；圖像配準；亞像素；運動檢測

1 引 言

圖像配準是對來自不同場景、不同視點、不同傳感器或不同時間的兩幅或多幅圖像進行對準的過程。近年來，隨著視頻技術、數字圖像技術的廣泛應用，圖像配準技術受到了廣大專家學者的高度重視，并在遙感圖像［1］、航空影像［2］、醫學影像［3～5］、運動檢測［6～8］等方面得到廣泛的應用，目前已成為計算機視覺研究領域發展迅速的圖像處理技術之一。

圖像配準算法有很多，如：基于插值法、擴展的相位相關法、解最優化問題法等［9］。按配準精度劃分，圖像配準可分為像素級和亞像素級。典型的像素級配準技術包括圖像匹配、灰度投影算法、梯度法［10］等，其優點是算法簡單，易于硬件實現，缺點是配準精度較低，僅能檢測像素級或更低的精度。亞像素級配準技術包括擴展的相位相關法［11］、插值法［12］等，文獻［11］對基于傅里葉變換的相位相關法［13］進行了改進，提出了一種擴展的相位相關算法，通過計算兩幅圖像的相位相關函數，實現圖像的精確配準，精度可達1/100 pixel。雖然相位相關法在配準精度上有明顯優勢，但由于采用了頻域相關技術，當待配準的兩幅圖像確實相關時，相關函數存在一個尖銳的峰值，可以實現圖像的精確配準；而當兩幅圖像相關程度較差時，相關函數沒有尖銳的峰值特征，配準誤差較大。在視頻圖像序列中，由于兩幅圖像之間的相對位移，其相關程度會隨著位移量的增大而減小，在這種情況下，直接使用擴展的相位相關法會帶來較大的配準誤差，直接影響運動檢測結果。

本文針對序列圖像的運動檢測問題，提出一種在空域上的灰度投影算法和頻域上的相位相關算法相結合的配準方法，即首先在空域使用灰度投影算法檢測像素級的運動量，根據檢測結果粗略配準兩幅待配準的圖像。然后在兩幅圖像中心選取相同尺寸的區域并進行傅里葉變換，在頻域進行相位相關運算，進而實現運動圖像亞像素級的精確配準。本文方法具有從粗到精的特點，實現了空域和頻域算法的優勢互補，有效提高了圖像檢測精度和效率。

2 二維平移運動模型

根據載體運動的復雜性不同，描述圖像二維運動模型通常包括平移、旋轉、比例縮放及仿射變換等，其中最簡單同時也是最常用的是在x和y軸方向的平移運動。

二維平移運動模型是一種線性變換，可以表示為：

式中，（Xc，Yc），（Xr，Yr）分別表示位移圖像和參考圖像像素點坐標，dx，dy表示位移圖像相對參考圖像的運動量，用來描述圖像在水平和垂直方向上的瞬時運動。圖像位移矢量定義為：

根據平移運動模型，本文通過灰度投影算法和相位相關算法相結合的平移運動復合配準方法估計兩幅圖像之間的位移矢量V，配準精度可實現亞像素，配準流程如圖1所示。

圖1 亞像素配準流程Fig.1 Basic flow chart for sub-pixel registration

3 亞像素圖像配準

3.1 空域灰度投影技術：圖像粗配準

灰度投影算法（Gray Projection Algorithm，GPA）是一種空域特征相關技術，其基本思想是將一幅M×N圖像的二維灰度信息｛f（x，y）}映射成兩個獨立的一維投影序列｛X（x）}和｛Y（y）}作為特征數據，通過兩幅圖像X（x）和Y（y）的相關計算估計位移量。灰度投影數據計算公式如下：

式中，Xκ（x），Yκ（y）分別表示第κ幀圖像｛fκ（x，y）}的第x列和第y行的灰度投影值。

圖2顯示了一幅原始圖像（Milkdrop）及其在行和列方向上的歸一化的灰度投影曲線。

圖2 原始圖像及其投影曲線Fig.2 Original image and its gray projection curves

將行和列方向上的投影數據作為特征，對參考圖像和位移圖像做互相關運算，參考圖像可以是運動過程中某一時刻的圖像，也可以是前一幅圖像。根據最佳匹配準則，采用全局搜索算法，即對搜索寬度范圍內的所有點進行一次相關運算，根據相關曲線的峰值確定位移圖像相對參考圖像的運動量。

本文采用最小均方誤差（MSE）作為最佳匹配準則，構造相關函數如下：

式中（p，q）∈A，A表示全部投影矢量的集合。

根據上述定義，運動矢量估計變成在（p，q）∈A范圍內，求R（p，q）的最小值問題。即：

得到了水平和垂直方向的運動量后，將位移圖像向位移矢量相反的方向移動，就可以粗略地補償圖像之間的運動，實現像素級的粗配準，并為進一步精確配準做準備。

灰度投影算法具有下述顯著特點：

（1）算法簡單，運算量小；

（2）對噪聲干擾不敏感；

（3）配準精度低，只有一個像素或更低。

3.2 頻域相位相關技術：圖像精確配準

相位相關配準算法（Phase Correlation Algorithm，PCA）是一種非線性、基于傅里葉功率譜的頻域相關技術，由于該方法只取互功率譜中的相位信息，對噪聲有較好的容忍度，同時減少了對圖像內容的依賴，具有較好的魯棒性。

設f1（x，y）和f2（x，y）是經過上述粗配準后的兩幅圖像，目的是精確地估計 f2（x，y）相對于f1（x，y）的亞像素級平移運動矢量V0=［x0，y0］T。根據圖像運動模型，f2（x，y）和f1（x，y）滿足如下關系：

設F1（u，υ）和F2（u，υ）分別表示f1（x，y）和f2（x，y）的傅里葉變換，則有：

兩幅圖像之間歸一化的互功率譜可表示為：

將式（8）兩端進行傅里葉逆變換，可得相位相關函數的表達式如下：

式（9）中：δ（x-x0，y-y0）為典型的Dirachlet函數，該函數在中心點（x0，y0）處不為零，在其它位置都是零，相關函數的峰值幅度反映了兩幅圖像匹配程度，理想狀態下，相關函數峰值為1。

圖3顯示了相位相關函數曲線圖，可以看出，隨著位移量的增加，相關函數曲線的尖峰越來越小。

圖3 相位相關函數p（x，y）的3D圖Fig.3 3D plots of phase correlation function p（x，y）

為獲取亞像素級運動量，采用基于最小二乘的二次曲面擬合方法，即通過在相關峰值坐標點附近用曲面擬合相位相關值，擬合曲面的峰值坐標即為位移矢量V0=［x0，y0］T。

4 實驗結果

4.1 樣本圖像

樣本圖像選用標準樣本圖像庫中的lake圖像，圖像分辨率為512×512×8 bit，原始圖像作為參考圖像，如圖4（a）所示，位移圖像通過對原始圖像平移得到，不失一般性，本文只對原始圖像進行水平方向的平移運動，即步長為0.5 pixel的平移操作，一共生成30幅對比圖像，其中第15幀位移dx=7.5 pixel，第30幀位移dx=15 pixel，如圖4（b）、圖4（c）所示。位移圖像的亞像素位移曲線見圖5。

圖4 樣本圖像Fig.4 Sampling images

圖5 亞像素位移曲線Fig.5 Curve of sub-pixel displacement

4.2 圖像配準實驗

首先直接采用頻域相位相關配準算法對樣本圖像進行位移量檢測，計算從第1幀到第30幀位移圖像的亞像素級位移量。為客觀描述位移量的檢測能力，本文將檢測結果位移量與真實位移量的差值作為配準誤差，即：

配準誤差=檢測位移量-真實位移量

由于每幅位移圖像相對原始圖像的真實位移量已知，可以統計配準結果與真實位移量的誤差。頻域相位相關配準結果及配準誤差統計結果分別如圖6（a）、圖6（b）所示，樣本配準最大誤差為17.014 pixel，誤差均方值RMSE=5.79 pixel。

圖6 相位相關配準結果及誤差曲線Fig.6 Experimental curves of registration with PCA

根據前文分析，當兩幅圖像相關程度較差時，相位相關算法效果較差。從圖中的配準結果和配準誤差曲線也可以看出，在第18幅圖像以后（圖像位移量超過8 pixel）時，配準誤差越來越大。

采用本文提出的空域灰度投影算法與頻域相位相關算法相結合的方法進行配準對比實驗，配準位移結果及配準誤差統計結果分別如圖7（a）、圖7（b）所示。配準結果顯示：在30個樣本圖像中，配準誤差最大值為0.004 8 pixel，誤差均方值RMSE=0.001 2 pixel。從配準結果可以看出，該方法具有較高的配準精度。

圖7 本文方法配準結果及誤差曲線Fig.7 Experimental curves of registration with GPA and PCA

5 結 論

域采用相位相關算法進行精確配準，得到高精度的位移參數。

實驗結果表明，本文方法克服了灰度投影算法在配準精度方面的不足，同時解決了直接使用相位相關配準算法不能處理較大運動量的問題，充分發揮了兩種算法的優勢，有效提高了圖像檢測精度和效率。由于灰度投影算法的特征數據來自圖像的灰度統計數據，相位相關算法利用了圖像的互功率譜信息，兩種算法都減少了對圖像內容的依賴，所以本文方法具有較強的抗噪能力，有較好的魯棒性和可行性。

本文針對視頻圖像運動檢測問題，提出了一種結合空域灰度投影算法和頻域相位相關的圖像配準方法，并將該方法應用于視頻序列圖像的亞像素運動檢測。介紹了灰度投影算法和相位相關配準方法的特點，分析了兩種算法在檢測圖像位移量方面的能力。首先采用灰度投影算法檢測兩幅圖像之間的運動量，對圖像進行粗配準。然后對經過粗配準的兩幅圖像進行傅里葉變換，在頻

［1］強贊霞，彭嘉雄，王洪群.基于傅里葉變換的遙感圖像配準方法［J］.紅外與激光工程，2004，33（4）：385-387.QIANG Z X，PENG J X，WANG H Q.Remote sensing image registration algorithm based on FFT［J］.Infrared and Laser Eng.，2004，33（4）：385-387.（in Chinese）

［2］王志強，程紅，孫文邦，等.基于改進Harris算法的航空影像自動配準算法［J］.遙感信息，2008，（6）：18-21.WANG ZH Q，CHENG H，SUN W B，et al..Automatic registration algorithm of aerophotos based on improved harris operator［J］.Remote Sensing Information，2008，（6）：18-21.（in Chinese）

［3］馮林，管慧娟、藤弘飛.基于互信息的醫學圖像配準技術研究進展［J］.生物醫學工程學，2005，22（5）：1078-1081.FENG L，GUAN H J，TENG H F.Advances in medical image registration based on mutual information［J］.J.Biomedical Eng.Res.，2005，22（5）：1078-1081.（in Chinese）

［4］周永新，羅述謙.基于形狀特征點最大互信息的醫學圖像配準［J］.計算機輔助設計與圖形學學報，2002，14（7）：654-658.ZHOU Y X，LUO SH Q.Medical image registration based on mutual information of feature points［J］.J.Computer-Aided Design＆amp;Computer Graphics，2002，14（7）：654-658.（in Chinese）

［5］張紅穎，張加萬，孫濟洲.改進Demons算法的非剛性醫學圖像配準［J］.光學 精密工程，2007，15（1）：145-150.ZHANG H Y，ZHANG J W，SUN J ZH.Non-rigid medical image registration based on improved Demons algorithm［J］.Opt.Precision Eng.，2007，15（1）：145-150.（in Chinese）

［6］吳元昊，于前洋.基于傅里葉相位差的抗噪聲位移估計算法［J］.光學精密工程，2007，15（7）：1137-1142.WU Y H，YU Q Y.Denoising algorithm of displacement estimation based on phase difference of Fourier transform［J］.Opt.Precision Eng.，2007，15（7）：1137-1142.

［7］杜登崇，蔣曉瑜，姚軍.基于相位相關的電子穩像算法研究［J］.激光與紅外，2009，39（1）：63-66.DU D CH，JIANG X Y，YAO J.Electronic image stabilization algorithm based on phase correlation［J］.Laser＆amp;Infrared，2009，39（1）：63-66.（in Chinese）

［8］李治國，安錦文，趙銀鈴.基于相位相關的全局運動估計算法［J］.計算機測量與控制，2008，16（4）：532-534.LI ZH G，AN J W，ZHAO Y L.Global motion estimation algorithm based on phase correlation［J］.Computer Measurement ＆amp;Control，2008，16（4）：532-534.（in Chinese）

［9］黎俊，彭啟民.范植華.亞像素級圖像配準算法研究［J］.中國圖象圖形學報，2008，13（11）：2071-2075.LI J，PENG Q M，FAN ZH H.Asurvey of sub-pixel image registration methods［J］.J.Image and Graphics，2008，13（11）：2071-2075.（in Chinese）

［10］徐寶昌，陳哲，趙龍.一種改進的最小二乘景象匹配算法［J］.北京航空航天大學學報，2005，31（8）：848-852.XU B CH，CHEN ZH，ZHAO L.Inproved least-squares acene matching algorithm［J］.J.Beijing Uniυersity of Aeronautics and Astronautics，2005，31（8）：848-52.（in Chinese）

［11］FOROOSH H，ZERUBIA J，BERTHOD M.Extension of phase correlation to sub-pixel registration［J］.IEEE Trans.Image Processing，2002，11（3）：188-200.

［12］SEITZ P.Optical superresolution using solid-state camera and digital signal processing［J］.Optical Eng.，1988，27（7）：535-540.

［13］KUGLIN C D，HINES D C.The phase correlation image alignment method［J］.Proc.IEEE 1975 Int.Conf.Cybernetics and Society，Sep.1975：163-165.

Sub-pixel registration of special and frequency domains for video sequences

SUN Hui，LI Zhi-qiang，SUN Li-na，LANG Xiao-long

（Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China）

To resolve the problems existed in the estimation of motion in video sequences，a novel method combining the gray projection in a spatial domain and the phase correlation in a frequency domain was proposed.Firstly，the gray projection algorithm was adopted to coarsely register images to entire pixel accuracy，which calculates the gray correlation function for the spatial domain in row and column orientations and obtains the pixel-level motion vector between two sequential images by comparing correlation characters.Then，the phase correlation algorithm was adopted to refinedly register images to sub-pixel accuracy，which uses power spectrum information of images to decrease the image dependence.Furthermore，the fitting method of parabo-loid surface based on least-square was used to fulfill the estimation of image displacement parameters.To verify the algorithm experimentally，some samples were simulated.The results show that this method can detect the displacement parameters accurately and efficiently，and can offer the image displacement in a accuracy of 0.01 pixel and the maximum registration error less than 0.004 8 pixel.

gray projection；phase correlation；image registration；sub-pixel level；motion detection

TP391.4

A

1674-2915（2011）02-0154-07

2010-10-11；

2010-12-13

國家973重點基礎研究發展計劃資助項目（No.2009CB72400607）

孫 輝（1963—），男，吉林柳河人，研究員，主要從事數字圖像處理及計算機仿真方面的研究。

E-mail：sunh@ciomp.ac.cn