應用于無人機視頻影像密集匹配的特征描述方法

魏云鵬 趙紅穎 辛甜甜 鄭鴻云

?

應用于無人機視頻影像密集匹配的特征描述方法

魏云鵬 趙紅穎?辛甜甜 鄭鴻云

北京大學遙感與地理信息研究所, 北京 100871; ? 通信作者, E-mail: zhaohy@pku.edu.cn

為了降低無人機視頻影像密集匹配的消耗時間, 提高處理效率, 提出快速的特征描述和特征匹配方法。該方法首先利用Harris算子檢測角點, 然后通過特征描述符simplified-DASIY (S-DASIY)對檢測角點進行特征描述, 生成該點的 25 維特征描述符。根據相應的匹配準則對影像對特征點進行匹配, 得到影像對的匹配點。實驗表明, 該方法能夠顯著減少特征點的生成和匹配時間。

無人機; 密集匹配; 特征描述符; 視頻影像

圖像匹配是在兩幅或多幅圖像之間尋找同名匹配點, 是圖像融合、圖像配準、三維重建和模式識別的基礎, 在計算機視覺、數字攝影測量、遙感、地圖學以及軍事技術等諸多領域有廣泛應用[1–4]。圖像匹配的方法一般分為基于灰度相關的匹配算法和基于特征的匹配算法。基于灰度相關的匹配算法中較為常用的是塊匹配法[5]、比值匹配法[6]和網格匹配法[7]。塊匹配法精度受模塊大小影響, 模塊較大時精度較高, 同時時間消耗也很大; 比值匹配法精度比較低; 網格匹配法分為粗匹配和精匹配, 在粗匹配基礎上再進行精匹配, 從而要求粗匹配精度要高, 這樣才能保證精匹配精度。基于灰度相關的匹配算法的計算量比較大, 不同光照條件對圖像灰度的影響非常大, 直接影響匹配精度。基于特征的匹配算法是通過圖像的特征進行匹配, 不僅根據圖像的灰度信息, 也結合圖像中一些點的結構信息。典型的特征提取和特征匹配算法有 Susan 算子[8]、Harris 算子[9]和 SIFT 算子[10]等。SIFT 及其改進的SURF[11]、Affine-SIFT[12]、GLOH[13]、PCA-SIFT[14]、DASIY[15]系列算子通過建立尺度空間以及統計區域極值點的梯度方向直方圖, 構建高維的特征描述符, 其匹配精度最高, 但計算量非常大。DASIY 算子[15]比較適合稠密匹配, 速度比 SIFT 快很多, 但只適用于寬基線的影像稠密匹配。由于無人機拍攝的影像對之間的基線非常小, DASIY 算子不適用。

密集匹配是三維重建的必要前提, 是在兩幅圖像之間為每個像素確定對應的像素, 建立稠密對應場[16]。但是, 對于真實的影像對來說, 由于拍攝位置不同, 使得影像對之間存在遮蔽現象, 即有些像素點在相應的影像對圖像中并不存在對應點。對于此類遮蔽問題, 一般多采用設立約束條件的方法來解決。常見的約束條件有極線約束、相容性約束、唯一性約束、連續性約束、順序性約束、視差梯度約束等[16]。在不同情況下, 不同傳感器獲得的數據特征及存在問題各不相同, 目前還沒有發現一種適合任何數據的通用匹配方法, 因此需根據不同的數據, 選擇與之相適應的約束策略。

在無人機密集匹配方面, 蔡龍洲等[17]通過改進FAST算法來提取特征點, 并利用RANSAC計算單應矩陣, 再利用極線約束和單應約束, 通過歸一化互相關關系, 穩健匹配出所有點; 王競雪等[18]利用像方特征點和物方面元兩種匹配基元, 通過多視影像進行選擇性匹配, 實現密集匹配。由于無人機視頻圖像密集匹配或準密集匹配需要處理的數據量非常大, 因此要完成相應的密集匹配, 必須提高匹配的效率, 減少匹配所消耗的時間。本文提出一種適用于無人機視頻圖像的特征描述和特征匹配方法, 該方法利用 Harris 算子檢測角點, 之后生成角點的特征描述符并完成初匹配, 最后進行密集匹配, 生成密集匹配點對。

1 無人機視頻影像密集匹配

1.1 無人機視頻影像特點

無人機航拍視頻影像與衛星影像數據的區別表現在 3 個方面: 1) 拍攝高度低, 多在幾百米高度飛行, 單幀圖像視場較小, 所包含的地物較少; 2) 視頻圖像幀間重疊度高, 圖像數據量比較大; 3) 圖像的分辨率普遍較高, 對地物內部紋理信息表達清晰, 能夠提供豐富的地物信息。

1.2 無人機視頻影像密集匹配技術流程

密集匹配流程如圖1所示。在無人機視頻影像密集匹配過程中, 首先輸入一對無人機視頻影像(左/右遙感影像); 利用 Harris角點檢測算子, 檢測每幅影像的角點, 并利用 S-DASIY算子, 生成每個角點的特征描述符, 通過相應的匹配規則, 完成左/右影像特征點的初匹配, 得到初匹配特征點對, 以初匹配特征點為種子點, 進行特征點生長, 最終得到密集匹配的特征點對。

在匹配過程中考慮到的技術問題如下。

1) Harris算子提取的角點。角點是圖像的局部特征, 具有旋轉和仿射不變性, 幾乎不受光照條件的影響, 且在圖像中占的比例很小。在沒有嚴重丟失圖像信息的情況下, 角點所處理的信息量很小, 提取角點消耗的時間也很少。本文在對圖像進行Harris 角點檢測時, 設定檢測窗口為 3×3, 如果檢測點為 3×3 鄰域內角點響應函數的極值點, 若該響應函數值大于設定的閾值, 則該點為角點。

2) S-DASIY特征檢測與特征描述。

3) 特征點的匹配規則以及特征點生長和約束條件。

2 S-DASIY特征檢測與特征描述方法

DASIY 算子特征描述可用于寬基線影像的稠密匹配, 能大大提高匹配速度, 并保證匹配精度。但是, 對于無人機視頻圖像來說, 由于數據量非常大, 要想完成密集匹配, 需進一步減少特征提取和匹配所消耗的時間。受 DASIY 描述符的設計啟發, 本文針對無人機視頻影像這一密集圖像數據源, 設計一種快速簡單的特征描述符S-DASIY。

因為無人機視頻圖像幀之間的基線很小, 影像對中特征點變化比較小, 所以 S-DASIY 描述符沒有在尺度空間上進行特征點的提取和描述, 而是直接通過圖像的灰度信息和結構信息對特征進行描述。S-DASIY 特征描述方法如圖 2 所示。計算點特征描述符的步驟如下。

1) 計算點的點梯度:

梯度的模為

, (2)

梯度的方向角為

2) 統計點5×5鄰域內0°, 90°, 180°和 270°共4個方向上的4個點(圖2中B1, B2, B3和B4)的梯度主方向(梯度主方向均分為8個方向), 每個點梯度主方向的統計范圍為每個點的3×3鄰域。

3) 統計點 9×9 鄰域內 0°, 45°, 90°, 135°, 180°, 225°, 270°和315°共8個方向上的8個點(B5, B6, B7, B8, B9, B10, B11和B12)的梯度主方向(梯度主方向均分為8個方向)。

其中,=(1, 2, …, 12) 代表 12 個不同的點,為梯度方向,1, …,8為8個不同的梯度方向。

4) 統計上述12個點的梯度主方向, 得到點的梯度主方向(圖2中箭頭所示)。以點梯度主方向為軸, 對上述 12 個周圍點的梯度主方向進行調整, 得到 12 個點的特征方向, 即 12 個點的梯度主方向與點梯度主方向的夾角(沿順時針方向)。

特征點的梯度主方向T為

獲得T后, 調整, 以消除圖像旋轉對特征描述的影響, 即以T為軸獲得:

, (6)

圖3為特征點梯度主方向統計的過程。

其中,G為點的點梯度,對應于每個點 3×3 區域內()梯度主方向上的像素個數。

在無人機圖像中,

(8)

其中,(,)為點梯度的模,為點的梯度,為圖像點的灰度值。

特征點描述過程中所選的 12 個周圍點均勻分布在特征點各個方向上, 這樣可以很好地統計特征點周圍的特征。以統計的特征點梯度主方向為基準, 重新調整12個點的梯度主方向, 確保生成的特征描述符具有旋轉不變性, 消除圖像旋轉、抖動帶來的影響, 使得對特征點對的描述更具相似性和唯一性。

3 特征點匹配與生長

在密集匹配過程中, 首先利用主運動約束來估計無人機影像對之間的相對運動量, 完成影像對間特征點的初匹配; 然后通過初匹配得到的匹配點計算出影像對之間的單應矩陣和基本矩陣; 最后通過單應約束和極限約束實現特征點生成, 生長的種子點為初匹配所得到的匹配點。

3.1 特征初匹配

3.1.1 主運動約束

對于小型無人機拍攝的視頻圖像, 主運動約束通過視頻圖像幀相對運動來估計無人機的全局運動。主運動約束在無人機電子穩像、運動目標識別等領域應用廣泛。無人機運動估計方法一般分為 3 類: 基于圖像塊、圖像特征和像素灰度值。基于圖像塊的運動估計運算量大; 基于圖像特征的運動估計在特征匹配中存在一些錯誤匹配, 影響匹配精度; 像素灰度值運動估計運用圖像大量灰度信息, 且運算比較簡單。本文采用灰度投影與塊匹配相結合的方法來估計無人機全局運動。

灰度投影法根據圖像灰度的總體分布變化來估計圖像序列的幀間運動量[19]。灰度投影方法只適用于行列方向運動估計, 對于存在旋轉的視頻圖像計算精度不高, 故通過選擇若干個 16×16 個大小的圖像塊來估算視頻圖像幀之間的旋轉角度。

圖 4 中,,,,和為圖像標記物(大小為16×16), 圖像發生旋轉后, 上述 5 個標記位置變為,,,和。

我們利用上述方法估計無人機視頻圖像幀之間的全局運動, 通過該運動來限制圖像對應點的匹配區域。這樣, 既可以減少匹配時間, 還可以提高匹配精度。

圖4 圖像旋轉

Fig. 4 Image rotation

3.1.2 匹配規則

初匹配: 根據兩個特征點的 25 維特征向量的歐氏距離, 判別兩點是否為匹配點。25 維特征描述向量中方向特征向量和數量特征向量分別采用不同的距離閾值來限制。具體規則如下: 1) 計算待匹配特征點之間25維特征向量中前 13 維特征向量的歐氏距離; 2) 計算待匹配特征點間最后12 維特征向量的歐氏距離; 3) 若前兩者計算的歐氏距離都小于規定閾值, 則確認此兩點為匹配點。

初匹配過程中閾值選擇: 規則 1 中閾值取 15, 規則 2 中閾值取 8。閾值的確定主要考慮 25 維特征描述向量中方向特征和數量特征, 相比較的兩個特征點的25維特征描述向量歐氏距離越短(對應閾值越小), 表明特征越相近, 匹配的概率越大, 但閾值太小, 相應的匹配點對數量會降低, 因此閾值確定需要考慮匹配精度和匹配點對數量雙重因素。本文采用的閾值是通過多組無人機視頻影像數據匹配試驗所得到的經驗值, 規則1中閾值(15)比規則1 中閾值(8)大, 主要是受到點梯度特征向量的影響。

3.2 密集匹配

3.2.1 極幾何約束和單應約束

1) 極幾何約束。

極幾何是同一場景兩幅圖像之間的幾何關系, 它獨立于場景結構, 只與相機內、外部參數有關[16]。

對于左圖像極線, 在右圖像上存在對應極線; 對于上一點,在上都存在一點與之對應(), 根據極幾何約束關系, 基本矩陣滿足:

。 (11)

可以得到基本矩陣的關系式:T=0。

2) 單應約束。

計算圖像間變換單應矩陣的目的是實現圖像之間對應點的坐標轉換。相機在不同位置對空間中同一場景進行拍攝, 獲取不同角度的圖像。以兩幅圖像和(視頻中對應為每一幀圖像)為例,和兩幅圖像上相應位置上的點=(1,1, 1)T與=(2,2, 1)T之間存在如下對應關系:

其中,為非零常數,為單應矩陣。

在本文中, 通過初匹配獲得影像對, 再通過RANSAC方法消除部分誤匹配點, 并解算左/右像對對應的基本矩陣以及影像對之間的單應矩陣。通過左/右極線的對應關系(基本矩陣)以及左/右像點對應關系(單應矩陣)來限制影像對特征點的匹配范圍, 減少匹配誤差, 提高后續密集匹配的精度。

3.2.2 特征點生長

密集匹配點對需要從初匹配的點對中生長而來, 在點對生長過程中, 利用極幾何約束和單應約束條件, 縮小影像對之間特征點匹配的搜索區域, 以減少特征點匹配所消耗的時間。以圖 6 為例, 在左圖像中點為初匹配的特征點, 在點 3×3 的鄰域范圍內尋找與點差值最大的兩個點和, 通過基本矩陣和單應矩陣分別計算和在右圖像的位置區域。右圖像中 3 條平行線為點對應的極線,′是通過單應矩陣得到的點對應點。極線垂直方向上 2 個像素區域與′圓形區域(半徑為 2 個像素)間的重疊區域為點在右圖像上的匹配區域, 即在該區域內尋找與點相匹配的點。點也進行相應的處理, 其對應的匹配區域在右圖像上未標出。

特征點匹配的過程中依然采用特征描述符 S-DASIY以及前文所述的匹配規則。將新匹配的點對加入到種子點中, 依次生長, 直到沒有新的匹配點為止。

4 實驗結果

4.1 實驗數據

本文實驗數據為小型無人機拍攝的航空視頻影像。實驗中采用 3 組影像數據(圖 7), 分辨率分別為 1280×720, 1600×1200 和 1920×1088。實驗中使用的計算機配置為: 處理器, Intel(R) Core(TM)2 Duo CPU E7300 @2.66 GHz; 內存(RAM), 4 G; 顯卡, NVIDIA GeForce 9800 GT; 操作系統: windows7 64位; 程序運行平臺, Microsoft Visual Studio 2010。

4.2 實驗步驟

本實驗對無人機視頻圖像進行處理, 實現密集匹配。具體實驗步驟: 1) 首先輸入無人機視頻圖像的相鄰圖像幀, 進行去噪處理; 2) 運用灰度投影與塊匹配相結合的方法來估計主運動; 3) 利用 Harris角點檢測算法檢測角點, 并生成角點的特征描述符; 4) 通過主運動約束完成特征點的初匹配; 5) 利用RANSAC 算法取出異常值, 計算基本矩陣和單應矩陣; 6) 特征點生長, 實現密集匹配。實驗流程如圖8所示。

4.3 實驗結果與分析

通過 3 組實驗數據, 得到相應的密集匹配點對。在主運動約束的情況下, 計算左圖像的每個特征點與右圖像相應區域內(10×10)特征點特征描述符的歐氏距離, 將距離小于閾值(本文取閾值為 15)的特征點確認為匹配點, 最終得到初匹配點對。3組數據中: 1280×720 數據檢測到的角點比較少, 是因為地物背景比較均勻, 建筑物比較少; 在1600×1200 數據和1920×1088數據中, 角點個數在4000 個左右, 甚至更多(本文限制角點數量最多為5000 個)。3 組數據的初步生長點對為 11000。具體的數據對比見表1。

表1 匹配點對個數

圖9為數據1920×1088的密集匹配結果圖。通過初步生長點對為種子點, 進行密集點匹配生長, 在單應約束和極幾何約束的條件下, 3 組數據得到的密集匹配點對分別是1142023, 1421633 和1343420 (見表1)。

在生成特征描述符時間消耗方面, 本文選擇與處理速度比較快的 siftGPU 相比較(表 2)。siftGPU是GPU版本的SIFT描述子提取和匹配的開源程序[20], 利用大量顯卡圖形處理單元并行處理, 其運行速度比 CPU 環境串行處理的 SIFT 提高很多, 在處理批量圖像方面速度也比其他方法快, 是當前處理速度最快的特征提取和匹配算法之一。

對于不同分辨率視頻圖像分辨, 各選取 3 組影像對進行比較。從表2中可以看出, S-DASIY算子在生成特征點消耗的時間比 siftGPU 明顯少很多。siftGPU算子在圖像建立梯度空間時消耗大量時間, 而無人機拍攝的視頻圖像, 幀與幀之間的亮度變化和幾何畸變都比較小, 因此 S-DASIY 算子沒有建立梯度空間, 而是根據特征點周圍的灰度信息來生成相應的特征描述符, 減少了特征生成所消耗的時間。我們發現, 對于分辨率 1280×720 的 3 組數據和1600×1200的 3 組數據, 本文算法效率提高6倍左右; 對于分辨率 1920×1088的 3 組數據只提高2倍左右。通過分析發現, siftGPU處理時間與圖像所生成的梯度空間所占用顯存空間大小相關, 由于受圖像長寬影響, siftGPU 在處理圖像時分配內存不同, 這就是對于 1920×1088 分辨率數據, siftGPU消耗時間少的主要原因。在相同分辨率的 3 組數據中, 處理時間也會有波動, 主要與圖像所檢測到的特征點數量相關, 即檢測到特征點多, 處理時間長,檢測特征點少, 處理時間短, siftGPU 與 S-DASIY一致。

表2 特征檢測和特征描述消耗時間

5 結論

針對無人機視頻影像大量數據的密集匹配, 本文提出快速的特征描述和特征匹配方法。該方法結合 Harris 角點生成特征點的特征描述符, 并通過匹配規則進行匹配。在幾組不同分辨率的無人機影像對的密集匹配實驗中, 該方法明顯減少特征生成所消耗的時間, 對于無人機視頻影像這種高重疊度、大數據量的圖像匹配重建有非常好的效果。初匹配的特征點數據主要受限于 Harris 角點數量, 影像對在極幾何約束和單應約束的條件下進行特征點生長, 得到幾萬個特征匹配點對, 為三維重建、DEM等提供了很好的密集點云數據。

參考文獻

[1]Zitová B, Flusser J. Image registration methods: a survey. Image and Vision Computing, 2003, 21: 977–1000

[2]Bentoutou Y, Taleb N, Kpalma K, et al. An automatic image registration for applications in remote sensing. IEEE Transactions on Geoscience and Remote Sen-sing, 2005, 43(9):2127–2137

[3]Li J M, Yan D M, Wang G, et al. An improved sift algorithm for unmanned aerial vehicle imagery. IOP Conference Series: Earth and Environmental Science, 2014, 17(1): 682–691

[4]Gong M, Zhao S, Jiao L, et al. A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(7): 4328–4338

[5]李忠新. 圖像鑲嵌理論及若干算法研究[D]. 南京: 南京理工大學, 2004

[6]Gupta R, Hartley R I. Linear pushbroom cameras. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19(9): 963–975

[7]李志剛, 紀玉波, 薛全. 邊界重疊圖象的一種快速拼接算法. 計算機工程, 2000, 26(5): 37–38

[8]M. Smith S, M. Brady J. SUSAN — a new approach to low level image processing. International Journal of Computer Vision, 1995, 23(1): 45–78

[9]Harris C, Stephens M. A combined corner and edge detector // Proc of Fourth Alvey Vision Conference. Manchester, 1988: 147–151

[10]Lowe D G. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 2004, 60(2): 91–110

[11]Bay H, Tuytelaars T, Van Gool L. Surf: speeded up robust features // Computer Vision—ECCV 2006. Berlin: Springer, 2006: 404–417

[12]Morel J, Yu G. ASIFT: a new framework for fully affine invariant image comparison. SIAM Journal on Imaging Sciences, 2009, 2(2): 438–469

[13]Mikolajczyk K, Schmid C. A performance evaluation of local descriptors. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615–1630

[14]Ke Y, Sukthankar R. PCA-SIFT: a more distinctive representation for local image descriptors // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC, 2004: 506-513

[15]Tola E, Lepetit V, Fua P. A fast local descriptor for dense matching // IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, AK, 2008: 1–8

[16]鄭志剛. 高精度攝像機標定和魯棒立體匹配算法研究[D]. 合肥: 中國科學技術大學, 2008

[17]蔡龍洲, 余濤, 謝東海, 等. 基于無人機圖像的密集匹配方法研究. 測繪科學, 2013, 38(5): 126-128

[18]王競雪, 朱慶, 王偉璽. 多匹配基元集成的多視影像密集匹配方法. 測繪學報, 2013, 42(5): 691–698

[19]鐘鍵. 基于對極幾何的圖像匹配研究[D]. 長沙: 中南大學, 2010

[20]Wu C. SiftGPU: a GPU implementation of scale invariant feature transform (SIFT) [R]. Chapel Hill, NC: University of North Carolia at Chapel Hill, 2007

Feature Description Method in Dense Matching of UAV Video Images

WEI Yunpeng, ZHAO Hongying?, XIN Tiantian, ZHENG Hongyun

Institute of Remote Sensing and Geographical Information System, Peking University, Beijing 100871; ? Corresponding author, E-mail: zhaohy@pku.edu.cn

In order to reduce the time consumption of UAV video image dense matching, and improve processing efficiency, this paper presents a fast feature description and feature matching method. The method uses Harris operator to detect corners, adopts feature descriptor S-DASIY (DASIY) to characterize detected corners and generate the 25-dimensional feature descriptor for the corners. The feature points of the images are matched in accordance with the appropriate matching criteria, to get the match points between images. Experimental results show that the proposed fast feature description and feature matching method can significantly reduce the time of generating and matching feature points.

UAV; dense matching; feature descriptor; video images

10.13209/j.0479-8023.2016.063

TP751

國家自然科學基金(41371492)資助

2015-05-31;

2015-09-02;

網絡出版日期: 2016-10-18