基于多測度半全局優化的無人機影像密集匹配算法

左志奇　盧坤　黃良

摘 要：文章針對無人機影像的特點，采用互信息和Census兩種相似性測度相結合的方式進行模型密集匹配。由于組合Census 和互信息兩種相似性測度的優點，多測度半全局匹配算法可以得到穩健可靠、高效、精細且保邊緣的密集匹配結果。

關鍵詞：無人機影像；互信息；Census

1 概述

來源于計算機視覺領域的半全局優化密集匹配算法是當前國內外最先進的密集匹配算法之一，在DSM提取、三維建模等領域得到了廣泛應用，該算法的逐像素密度以及子像素精度可以大大提高獲取DSM的精度和可靠性。

半全局優化密集匹配算法采用多個方向的一維平滑約束來近似二維平面上的平滑約束，其基本思想如圖1所示，首先在一維視差范圍內計算每個候選匹配位置的能量代價，得到三維代價矩陣，然后采用多個方向動態規劃對代價矩陣累加，得到累加后的三維代價矩陣，最后根據累加后的代價矩陣計算最優視差曲面。

在無人機影像提取DSM信息過程中，經典的半全局匹配算法采用互信息作為相似性測度，并以此計算匹配代價，但是計算互信息需要先驗的視差初值，通常策略是隨機生成每個像素的視差作為初值，但這種方式會對最終的匹配結果造成一定的影響。針對此問題，本文采用互信息和Census兩種相似性測度相結合的方式來改善模型匹配的結果。

本文第二部分主要介紹半全局優化算法的基本原理，第三部分采用實際數據驗證本文方法的有效性，第四部分為本文的結論。

2 半全局優化密集匹配算法

半全局優化密集匹配算法來源于文獻[2，3]，包括三維代價矩陣計算、代價矩陣累加、最優視差面獲取三個部分，具體如下：

2.1 三維代價矩陣計算

匹配代價由相似性測度計算，相似性測度是衡量立體像對中左右影像上任意兩個像素間的相似程度。常用的相似性測度有灰度絕對差、互信息、Census等，本文首先在金字塔頂層采用Census相似性測度獲得穩定可靠的視差初值，然后將此初值傳至下一層，后面的每一層都以互信息作為相似性測度。由于依靠Census得到了更可靠的視差初值，因此可以顯著改善半全局優化密集匹配結果。

2.2 代價矩陣累加

半全局匹配采用了多個方向的一維平滑來模擬二維平滑的思路，以多個一維方向的結果疊加來近似二維平面上能量函數的最優解。為了顧及匹配場景中的傾斜平面、深度斷裂等，半全局匹配在匹配累加中引入平滑約束，動態規劃累加函數為：

第一項是D的視差下的所有像素匹配代價的總和。對于p鄰域內的所有像素，當視差僅改變一點（例如，一個像素）時，第二項添加了一個常量懲罰。對于那些視差變化很大的情況，第三項增加了一個較大的常量懲罰。對于那些微小變化，采用一個較低的懲罰使得它可以適應于傾斜或彎曲的曲面。對于那些較大變化的情況，常量懲罰保留了不連續性。

2.3 最優視差面獲取

代價聚合完畢后，根據累積的代價矩陣可以對視差進行解算，一般情況下可以根據勝者為王策略得到整像素的匹配結果，對于子像素的匹配結果，可以通過拋物線擬合獲得。

3 實驗結果

為了驗證方法的有效性，本文選取了比較具有代表性的一組核線影像對，影像及匹配結果如圖2所示，其中圖2（a）為左核線影像，圖2（b）為本文算法得到的視差圖，圖2（c）為僅利用互信息相似性測度得到的視差圖，三個橢圓形區域為結果對比區域，可以看出本文方法得到的視差圖更加完整，錯誤區域明顯減少。

4 結束語

本文綜合互信息和Census 兩種相似性測度各自的優點，通過組合兩種相似性測度提高了模型匹配的可靠性。通過無人機影像數據的實驗表明，本文算法可以得到高質量的密集匹配結果，在無人機影像DSM提取方面具有廣闊應用前景。

參考文獻

[1]張祖勛，張劍清.數字攝影測量學[M].武漢：武漢測繪科技大學出版社，1996.

[2]Hirschmuller H. Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information[M].Computer Vision and Pattern Recognition. 2005： 807-814.

[3]Hirschmuller H. Stereo Processing by Semiglobal Matching and Mutual Information[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008， 30（2）： 328-341.

[4]Ernst I， Hirschmuller H. Mutual information based semi-global stereo matching on the GPU[M].Advances in Visual Computing. Springer. 2008： 228-239.

[5]高波，馬利莊.加入結構約束的半全局立體匹配方法[J].計算機應用與軟件，2009，02：244-247，259.