基于貝葉斯決策的航空影像自動配準

張帥毅， 李永樹， 蔡國林

(西南交通大學地球科學與環境工程學院，四川 成都610031)

基于影像處理技術的目標監測，按監測平臺的不同可分為固定攝像頭和移動攝像頭.相對于固定攝像頭，移動攝像頭由于平臺振動、旋轉、傾斜等，導致獲取同一區域的影像間存在平移、旋轉、縮放等問題，極大地增加了影像自動配準難度，進而影響運動目標信息的有效提取［1］. 提高移動平臺影像配準精度對于目標的追蹤監測及目標運動參數精確估計等具有重要意義.

目前影像配準方法主要包括區域灰度配準、圖像特征配準等［2］，其中區域灰度配準通過計算局部或全局灰度相關性，估計影像間的變換［3］. 文獻［4］通過計算相鄰航空影像間全局互信息，迭代計算影像全局變換模型，實現影像配準，但區域灰度配準計算量大，且復雜場景下容易失效. 圖像特征配準通過提取影像特征點及特征點匹配，估計影像間變換模型，對于圖像畸變及遮擋具有一定的魯棒性，是影像配準常用的一種方法.

圖像特征配準過程主要有特征提取、特征匹配、影像變換矩陣估計及待配準影像的重采樣［5］.首先應用特征提取算法(傳統Harris、SIFT［6］、SURF［7］等)提取參照影像和待配準影像特征點，并采用FLANN、KNN 等算法，在特征描述子空間中尋找匹配特征點;然后選擇影像配準變換模型，通常在航空影像配準中選取仿射變換、透視變換等;最后基于匹配特征點集，采用最小二乘法［8］、隨機一致性測試法(RANSAC)［9］等方法估計最優變換模型參數，變換校正、重采樣實現影像配準.

還有一些研究通過在影像頻率域計算相位相關的方法，進行影像配準［10］;文獻［1，11］對影像進行極坐標變換，在極坐標空間實現配準;文獻［12］通過直接定向的方法進行航空影像配準，但該方法需要高精度POS 數據支持.

在特征匹配過程中，FLANN、KNN 等匹配主要依賴特征描述子，容易導致誤匹配，通常需要進一步篩選，進行特征精匹配.文獻［13］在航空視頻流配準應用中采用光流法來精確匹配特征點;文獻［14］通過加入特征點的空間鄰近約束關系來實現特征點的精確匹配.目前的特征匹配算法在一般的固定攝像平臺或高幀頻、小視場、短物距的移動攝像平臺影像處理中取得了較好的效果，但對于低幀頻、大視場、長物距(高航高)的航空移動攝像平臺，上述研究由于沒有充分考慮像點對應地面點高程起伏產生的像點投影差異，在基于移動平臺(如無人機、航空遙感等)的目標監測應用中，不同高程面的特征匹配導致航空影像配準精度降低.

基于此，顧及像點投影差對影像配準的影響，本文提出了一種基于貝葉斯決策理論的像點投影差消除方法，并選用KIT AIS 數據［15］進行實驗，比較分析投影差消除前后的配準影像差分視覺效果和信息熵變化，以驗證該方法的有效性.

1 基于貝葉斯決策的投影差消除及影像配準方法

航空影像由于幀頻率較低(2 Hz 左右)，場景變化大，且易受像點投影差影響，使得影像間的配準非常困難.因此，在目標監測過程中，需要事先估計影像的全局運動，實現在基準高程平面或基準面上的影像配準，其中基準面由目標監測過程中待監測目標所在視平面確定.

1.1 像點投影差影響及規律

航攝過程中，由于中心投影模式、姿態變化、地形起伏等因素的影響，使得相鄰影像間存在像點投影差，且投影差隨攝入角等因素的變化而變化，從而導致不同影像的同名像點存在不同的投影差.如圖1 所示，設相鄰攝站影像為A1、A2，S1、S2分別為A1、A2的攝站點(假定兩幅影像航高一致)，地面點為P，θ1、θ2分別為P 點在A1、A2上的攝入角.

圖1 像點投影差變化Fig.1 Change of projection difference

根據中心投影原理，可得P 點在A1、A2上的像點投影差:

由式(1)可得，兩幅影像中P 的投影差變化為

由式(2)可知，基準平面上的點h =0，理想狀態下像點投影差變化為0;在相鄰影像航高相近的情況下，像點投影差變化與相對高程h 及攝入角θ有關.實際上，受隨機誤差的影響，基準平面和非基準平面上均存在不同程度的像點投影差變化，且這種變化具有正態隨機分布特性(已通過統計驗證，見2.2 節).

1.2 基于貝葉斯決策的消除方法

針對像點投影差問題，可根據貝葉斯概率決策原理［16］，首先使用樣本區匹配特征點集的先驗概率分布和類條件概率分布，計算待分類影像特征點匹配在不同模式類下后驗概率分布，然后根據后驗概率的大小對待分類特征匹配點對進行分類，并加以篩選，從而消除投影差問題.

設樣本集Xn×1，即n 個匹配特征點對的集合，其中1 個樣本特征就是匹配特征點對的投影差變化(見式(2)). 樣本有兩類:基準面匹配與非基準面匹配，設為{ω1，ω2}.按貝葉斯決策原理，設P(x∈ωi)為樣本集中匹配點對x 屬于不同類別ωi的先驗概率密度為ωi類匹配點對中樣本x 的概率密度，即類條件概率密度為像點投影差變化為x 時，x 屬于ωi的概率密度，即后驗概率密度.

設xunk為待確定匹配類型的特征點對，在已知的情況下，根據貝葉斯決策原理可知:

取具有最大后驗概率的類別ωi為xunk:

其中，通過統計樣本區域點對集合的概率分布，可計算出離散的P(x∈ωi)，從而得到P(xunk∈ωi).此外，樣本投影差變化經檢驗服從正態分布，即，通過計算類別內像點投影差變化的均值和方差可估算出參數μ、σ2，求得確定樣本點對的類別后，可對非基準面匹配進行篩除，將基準面匹配用于影像配準.

兩條剽悍大漢，把住牡丹池大門。左邊的漢子一言不發，將手中錦緞包袱遞給一旁的門童；右邊的漢子同樣一言不發，將一錠銀子丟給另一個門童；這就表明，接下來的半天，這家浴池只接待一位客人，峋四爺。

1.3 投影差消除的影像配準

影像配準的關鍵是影像變換矩陣的解算，為保證變換矩陣的解算精度，需要準確的特征提取、精確的特征匹配、合理的特征匹配篩選. 通過上述基于貝葉斯決策的投影差消除方法，可獲取合理的匹配篩選標準，用于影像變換的解算，提高影像配準的精度.本文投影差消除的影像配準方法流程如圖2 所示.

首先對原始影像進行預處理，采用SURF 特征算子提取特征點.SURF 是SIFT 的改進，其思想總體上與SIFT 相似，但采取的方法與SIFT 不同.SURF 通過采取一系列的措施提高特征提取速度［7］，然后基于FLANN 進行特征點的快速初匹配，得到樣本區和待匹配影像的初匹配特征點集.按照1.2 節所述方法，在樣本區內，交互剔除錯誤的初匹配，并標記出基準平面區域，得到匹配的分類情況，用于后續的貝葉斯決策訓練.

圖2 本文投影差消除的影像配準方法流程Fig.2 Flowchart of the proposed method for eliminating projection difference

基于上述貝葉斯決策分類的特征點匹配篩選標準，對待匹配影像的初匹配特征點集進行篩選，消除非基準平面匹配，用于后續的影像間變換矩陣計算.航空影像應用中，在相機參數已知的情況下，攝影平臺的移動及三軸擾動會導致影像的平移、縮放、旋轉、斜切變形，因此在匹配特征點集基礎上，本文采用透視變換矩陣T，并進行最小二乘方法求解，得到影像間的變換，采用坐標反算、重采樣的方法得到配準后影像.

2 實驗及討論

2.1 實驗數據及評價指標

實驗選用KIT AIS 數據集作為實驗數據.該數據集空間分辨率約為0. 15 m，由德國宇航中心(DLR)采集，后經德國卡爾斯魯厄理工學院(KIT)攝影測量與遙感研究所(IPF)處理，并用于車輛軌跡監測、行人監測等研究.

KIT AIS 數據集已進行過初步校正，像點投影差依然存在，且由于地物起伏較大，影像之間地物像點投影差變化依舊明顯，影響全局運動估計及影像配準.如圖3 所示，KIT AIS 數據中的慕尼黑高速路立交橋路段，該區域立交橋存在兩個高程平面且移位明顯，像點投影差在不同攝站點航片上表現突出.實驗面向車輛監測應用，取車輛所在高速路高程面為影像配準基準平面，若匹配特征點集中包含立交橋區域的非基準平面特征點，將導致影像配準質量下降.

為驗證影像配準的效果，除了影像視覺效果外，本文還采用信息熵作為評價指標［17］. 一般地，較好的影像配準，影像差分結果的影像灰度復雜度較低，如果灰度值接近于0，則對應的信息熵較小，反之，信息熵越大說明影像的配準效果越差. 因此用信息熵來衡量影像配準效果是可行的.

圖3 實驗區示意Fig.3 Experimental area

2.2 實驗結果與討論

圖4 貝葉斯分類訓練Fig.4 Bayes classification training

實驗采用卡方檢驗的方法分析像點投影差變化的分布特性.首先在基準平面和非基準平面上篩選一定數量的匹配特征點，并使用Whistler 盒圖方法去除離群點，去除離群點后ω1余219、ω2余458;在取顯著性水平α=0.05 的情況下下，基準平面與非基準平面內像點投影差變化的正態分布卡方檢驗的P-值分別為0. 09、0. 12，均大于α =0.05，可以認為像點投影差變化服從正態分布.

然后計算ω1、ω2區域內投影差變化的概率密度分布，對ω1、ω2區域概率密度分布進行正態分布擬合(見圖5(a));按照1.2 節原理后驗概率分布曲線交點C 即為判定標準，如圖5(b)所示為C=(4.37 ×0.15 m，0.5).

圖5 類條件概率與后驗概率分布Fig.5 Conditional probability and posterior probability distribution

進一步地，為驗證方法的有效性，使用實驗區同一批數據中的起、止2 張影像(像點投影差變化最大)，對比進行投影差消除和不進行投影差消除兩種情況下的影像配準效果，待配準影像(圖3 中Img-2)校正結果如圖6 所示，監測平面(即地面主干道路區)差分結果如圖7 所示.

對應的變換矩陣T 及信息熵H 見表1.

由圖7 差分影像和表1 結果可知，經過投影差消除后，視覺上基準平面(即道路區域)影像配準效果得以改善，道路白線差分后基本全部消失. 從影像的熵變化來看，基準平面區域A、B、C內消除后的影像的信息熵較消除前減小約10%.

此外，由變換矩陣T 可以看出，其前后差異主要在影像變換的平移分量，與圖6 影像的校正結果一致，這也是非基準平面匹配導致影像配準的主要誤差.

圖6 影像校正結果(Img-2)Fig.6 Image correction results

圖7 差分影像結果Fig.7 Difference images

綜上所述，本文基于貝葉斯決策的投影差消除方法，可以有效地提高影像配準精度，改善配準效果.

表1 實驗結果Tab.1 Experimental results

3 結 論

本文針對像點投影差對影像配準精度的影響，提出了一種基于貝葉斯決策理論的像點投影差消除方法.采用設置樣本區訓練的方式，獲取像點投影差變化規律，從而消除地形起伏對特征點匹配的影響，提高影像全局運動估計的精度. 實驗選用KIT AIS 數據作為實驗數據，以影像配準差分視覺效果和信息熵為評價指標，通過對比分析投影差消除前后影像配準精度，得出以下結論:

(1)相鄰像對上同一視平面的像點投影差變化呈正態隨機分布.

(2)基于貝葉斯決策理論的像點投影差消除方法，在使不同視平面匹配具有最大后驗概率的準則下，可獲得不同視平面匹配的決策規則，將其應用于同一研究區的其他影像配準能夠獲得較好的配準效果.

［1］ 劉承平，袁飛. 一種基于飛行平臺的數字穩像及目標跟蹤系統［J］. 中國電子科學研究院學報，2012，7(4):380-384.LIU Chengping，YUAN Fei. Flying platform based digital stabilization and target tracking system［J］.Journal of China Academy of Electronics and Information Technology，2012，7(4):380-384.

［2］ ZITOVA B，FLUSSER J. Image registration methods:a survey［J］. Image and Vision Computing， 2003，21(11):977-1000.

［3］ KIM J， FESSLER J A. Intensity-based image registration using robust correlation coefficients［J］.IEEE Transactions on Medical Imaging， 2004，23(11):1430-1444.

［4］ MTIR I H，KAANICHE K，CHTOUROU M，et al.Aerial sequence registration for vehicle detection［C］∥The 9th International Multi-conference on Systems，Signals and Devices (SSD). Chemnitz:IEEE，2012:1-6.

［5］ OLSON C F，ANSAR A I，Padgett C W. Robust registration of aerial image sequences［C］∥The 5th International Symposium on Advances in Visual Computing. Las Vegas:Springer，2009:325-334.

［6］ LOWE D G. Distinctive image features from scaleinvariant keypoints［J］. International Journal of Computer Vision，2004，60(2):91-110.

［7］ BAY H，TUYTELAARS T，Van GOOL L. Surf:speeded up robust features［C］∥Proceedings of the 9th European Conference on Computer Vision. Graz:Springer，2006:404-417.

［8］ CRIMINISI A，REID I，ZISSERMAN A. A plane measuring device［J］. Image and Vision Computing，1999，17(8):625-634.

［9］ FISCHLER M A，BOLLES R C. Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24(6):381-395.

［10］ STONE H S，ORCHARD M T，CHANG E，et al. A fast direct Fourier-based algorithm for subpixel registration of images［J］. IEEE Transactions on Geoscience and Remote Sensing，2001，39 (10):2235-2243.

［11］ WOLBERG G，ZOKAI S. Robust image registration using log-polar transform［C］∥Proceedings of 2000 International Conference on Image Processing.Vancouver:IEEE，2000，1:493-496.

［12］ REDMILL K A，MARTIN J I，OZGUNER U. Aerial image registration incorporating GPS/IMU data［C/OL］∥Proceedings of SPIE，Evolutionary and Bio-Inspired Computation:Theory and Applications III ［2013-08-10］. http://spie. org/Publications/Proceedings/Paper/10.1117/12.820201.

［13］ 劉慧，李清泉，曾喆，等. 利用低空視頻檢測道路車輛［J］. 武漢大學學報:信息科學版，2011，36(3):316-320.LIU Hui，LI Qingquan，ZENG Zhe，et al. Vehicle detection in low altitude aircraft video［J］. Geomatics and Information Science of Wuhan University，2011，36(3):316-320.

［14］ 何敬，李永樹，李歆，等. 基于點特征和邊緣特征的無人機影像配準方法［J］. 西南交通大學學報，2012，47(6):955-961.HE Jing，LI Yongshu，LI Xin，et al. Registration method for unmanned aerial vehicle images based on point feature and edge feature［J］. Journal of Southwest Jiaotong University，2012，47(6):955-961.

［15］ SCHMIDT F. Tracking vehicles in aerial image sequences［EB/OL］. (2012-11-15)［2013-09-01］.http://www. ipf. kit. edu/english/downloads _ 707.php.

［16］ OZUYSAL M，CALONDER M，LEPETIT V，et al.Fast keypoint recognition using random ferns［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(3):448-461.

［17］ 高振宇，楊曉梅，龔劍明，等. 圖像復雜度描述方法研究［J］. 中國圖象圖形學報，2010，15(1):129-135.GAO Zhenyu，YANG Xiaomei，GONG Jianming，et al. Research on image complexity description methods［J］. Journal of Image and Graphics，2010，15(1):129-135.