動(dòng)飛行環(huán)境無人機(jī)航拍圖像拼接技術(shù)研究

摘 要：以實(shí)戰(zhàn)環(huán)境下無人機(jī)航拍圖像的全景拼接為研究目的，提出了一種適用于無人機(jī)在機(jī)動(dòng)飛行條件下的航空?qǐng)D像拼接算法，該算法采用空間變換、特征識(shí)別、匹配相關(guān)和信息融合等圖像處理技術(shù)，可實(shí)現(xiàn)序列圖像空間旋轉(zhuǎn)、變形、尺度變換等特殊情況下的無縫拼接，通過真實(shí)使用環(huán)境試驗(yàn)測(cè)試，該算法具有在多種機(jī)動(dòng)飛行環(huán)境下航拍圖像拼接準(zhǔn)確的特點(diǎn)，取得了良好的效果。

關(guān)鍵詞：無人機(jī)； 航拍圖像； 動(dòng)態(tài)校正； 無縫拼接

中圖分類號(hào)：TN91134； TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004373X（2012）22011003

隨著無人機(jī)技術(shù)的迅速發(fā)展和廣泛應(yīng)用，無人機(jī)搭載光電成像探測(cè)器拍攝戰(zhàn)區(qū)圖像信息，實(shí)現(xiàn)戰(zhàn)區(qū)的綜合情報(bào)感知，在戰(zhàn)場(chǎng)偵察中發(fā)揮了重要作用。但航拍圖像的海量應(yīng)用，使得戰(zhàn)場(chǎng)指揮人員感到情報(bào)信息的雜亂和無序，為提高戰(zhàn)場(chǎng)情報(bào)的綜合利用效率，實(shí)戰(zhàn)環(huán)境下的航拍圖像拼接顯得尤為重要［1］。圖像序列拼接是指將一組有一定重合區(qū)域的圖像序列拼接為一幅能夠更為全面描述場(chǎng)景內(nèi)容的全景圖像的過程，它能夠彌補(bǔ)單幅圖像分辨率低、視野范圍小的缺陷，有助于戰(zhàn)場(chǎng)指揮人員對(duì)戰(zhàn)區(qū)有更全面、更直觀的了解［2］。

傳統(tǒng)的拼接技術(shù)需要圖像的正射影像圖，但在復(fù)雜作戰(zhàn)環(huán)境下，無人機(jī)根據(jù)作戰(zhàn)需要，按照規(guī)劃航路在戰(zhàn)區(qū)上空盤旋機(jī)動(dòng)，不斷調(diào)整飛行高度、飛行姿態(tài)，同時(shí)光電探測(cè)器不斷進(jìn)行搜索和掃描，探測(cè)器不可能按照理想狀態(tài)垂直向下探測(cè)，圖像相對(duì)于地面坐標(biāo)系會(huì)發(fā)生幾何平移、旋轉(zhuǎn)、尺度變換等［3］。而傳統(tǒng)的圖像拼接算法，無法克服圖像旋轉(zhuǎn)、尺度變換等問題，不適合無人機(jī)實(shí)際的作戰(zhàn)使用環(huán)境。在此背景下，本文提出了一種全新的圖像拼接方法。

1 基本原理和工作流程

本文針對(duì)無人機(jī)圖像的幾何畸變，在圖像進(jìn)行拼接前，首先根據(jù)飛行航路、飛機(jī)的姿態(tài)、探測(cè)器指向、運(yùn)動(dòng)趨勢(shì)等信息，得出準(zhǔn)確的投影模型，實(shí)現(xiàn)圖像的動(dòng)態(tài)校正。在圖像拼接的同時(shí)使用合適的圖像融合方法，消除圖像拼接邊緣的模糊和誤差，實(shí)現(xiàn)無縫拼接。具體工作流程見圖1。

1.1 圖像的采集和預(yù)處理

圖像拼接系統(tǒng)同步采集無人機(jī)探測(cè)的戰(zhàn)區(qū)圖像信息和飛行航路、地理坐標(biāo)、飛行姿態(tài)、探測(cè)器狀態(tài)、探測(cè)器指向等各種信息，并采用合適的解碼方式和濾波、增強(qiáng)等處理技術(shù)恢復(fù)圖像和數(shù)據(jù)格式。

1.2 圖像的動(dòng)態(tài)校正

與普通的地面全景圖像拼接不同，無人機(jī)拍攝的圖像都有對(duì)應(yīng)的坐標(biāo)參數(shù)，在進(jìn)行圖像拼接之前需要利用狀態(tài)參量對(duì)圖像信息進(jìn)行分析。圖像的校正將對(duì)像點(diǎn)實(shí)時(shí)量測(cè)，逐幀進(jìn)行處理。針對(duì)無人機(jī)拍攝圖片會(huì)產(chǎn)生幾何畸變的事實(shí)，要根據(jù)飛行航路、飛機(jī)俯仰角、滾轉(zhuǎn)角、航向角，以及機(jī)載圖像探測(cè)器方位角、俯仰角等參數(shù)，獲得準(zhǔn)確的投影模型［4］，使每幅圖像處于相同的坐標(biāo)平面上，實(shí)現(xiàn)圖像校正，同時(shí)估算出相鄰圖像重疊的區(qū)域，這樣能夠縮小后期尋找特征點(diǎn)需要掃描的范圍，減少拼接過程中需要處理的數(shù)據(jù)量。

圖2為不同時(shí)刻無人機(jī)探測(cè)的戰(zhàn)區(qū)圖像，需要解決的主要問題就是圖像的旋轉(zhuǎn)，如果不進(jìn)行校正，直接對(duì)圖像進(jìn)行配準(zhǔn)，將無法實(shí)現(xiàn)圖像的無縫拼接。

圖2 無人機(jī)探測(cè)圖像的截圖 由圖2可見無人機(jī)在目標(biāo)上空盤旋，圖像的旋轉(zhuǎn)可以理解為坐標(biāo)的平移和旋轉(zhuǎn)組合，旋轉(zhuǎn)坐標(biāo)系如圖3所示。

圖3 圖像旋轉(zhuǎn)坐標(biāo)系D0（x0，y0）圍繞中心點(diǎn)O（xa，ya）旋轉(zhuǎn)α（α∈［0，360°）角度后的對(duì)應(yīng)點(diǎn)D（x，y）的坐標(biāo)滿足下列公式：x=（x0－xa）cos α－（y0－ya）sin α+xa

y=（x0－xa）sin α+（y0－ya）cos α+ya 1.3 圖像的預(yù)拼接

校正后的圖像已經(jīng)具備初步拼接的條件，可使用待拼接圖像重疊區(qū)域的特征識(shí)別和相關(guān)運(yùn)算，判斷重疊區(qū)域的相似程度，由此得到待拼接圖像重疊區(qū)域的范圍和位置，實(shí)現(xiàn)圖像拼接［5］。比較經(jīng)典的圖像互相關(guān)系數(shù)計(jì)算公式如下：

C（δ，x，t）=∫Ι（t，ξ）Ι（t+τ，ξ+δ）W（x－ξ）ξ∫（Ι（t，ξ）－Ι（t））2W（x－ξ）ξ∫（Ι（t+τ，ξ+δ）－Ι（t+τ））2W（x－ξ）ξ 依據(jù)上述方法，對(duì)圖2所示的圖片進(jìn)行拼接，效果圖如圖4所示。

圖4 圖像拼接局部效果1.4 圖像的融合與修正

為達(dá)到圖像的無縫拼接，還要考慮無人機(jī)飛行高度變化引起的圖像尺度變化，以及圖像旋轉(zhuǎn)校正的微小誤差。

假設(shè)圖像存在線性的變換畸變u（X，a）=（u（X，a），v（X，a））。其中：X=（x，y），x和y是相對(duì)于圖像中心的像素水平和垂直坐標(biāo)，u和v表示圖像在水平和垂直方向像素的變化量，a表示被估計(jì)的變換6個(gè)參數(shù)（a0，a1，a2，a3，a4，a5），則u（X，a），v（X，a）分別為［67］：u（X，a）=a0+a1x+a2y

v（X，a）=a3+a4x+a5y 存在空間變換情況下的兩幅圖像相似性度量為：E（a）=‖I（X+u（X，a），t+1）－I（X，t）‖

（1） 主要的工作就是估計(jì)最佳的a值，使式（1）數(shù)值最小。代入加權(quán)的圖像相似性度量，略去高階項(xiàng)得到近似的目標(biāo)函數(shù)為［8］：（b）=∑Xρ（I（X+u（X，a0），t）·

u（X，b）+I（X+u（X，a0），t）－I（X，t+1），σ）

（2） 對(duì)式（2）的b的各分量分別求偏導(dǎo)，當(dāng)這一迭代過程收斂或迭代一定次數(shù)時(shí)，也就得到最佳匹配位置的定位參數(shù)。圖5為融合后的全局圖［9］：

1.5 信息的分類和存儲(chǔ)

由于無人機(jī)獲得的戰(zhàn)場(chǎng)圖像信息量非常巨大，為保證圖像的無縫拼接，要求提供大量的飛行狀態(tài)及傳感器參數(shù)等信息并對(duì)之進(jìn)行處理，建立完善的數(shù)據(jù)庫管理模型，及時(shí)把新信息加入到數(shù)據(jù)庫中，并通過建立基于重點(diǎn)內(nèi)容的智能檢索技術(shù)，可有效提高信息處理和融合的速度［1011］。

圖5 某城區(qū)航拍圖像拼接效果圖2 結(jié) 語

本文通過分析無人機(jī)實(shí)戰(zhàn)機(jī)動(dòng)飛行對(duì)航拍圖像的影響，提出通過校正技術(shù)修正圖像的幾何變形和配準(zhǔn)方法，消除圖像拼接邊緣的模糊和誤差，實(shí)現(xiàn)無縫拼接。本文采用的圖像拼接算法經(jīng)過了大量實(shí)際測(cè)試，具有在多種機(jī)動(dòng)飛行環(huán)境下拼接準(zhǔn)確的特點(diǎn)，取得了良好的效果。

參 考 文 獻(xiàn)

［1］ 李寶華，周焰，張朝偉.圖像拼接技術(shù)在軍事監(jiān)控系統(tǒng)中的應(yīng)用［J］.微計(jì)算機(jī)信息，2008（27）：310312.

［2］ 余宏生，金偉其.數(shù)字圖像拼接方法研究進(jìn)展［J］.紅外技術(shù)，2009（6）：348353.

［3］ 顧強(qiáng)，談國軍.數(shù)字化無人機(jī)航空像片拼接技術(shù)研究［J］.影像技術(shù)，2009（1）：4245.

［4］ 李紅，柴洪林，彭嘉雄.基于視覺的無人機(jī)姿態(tài)角估計(jì)［J］.華中科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2007（7）：47.

［5］ 高峰，文貢堅(jiān).利用仿射幾何的仿射不變特征提取方法［J］.中國圖象圖形學(xué)報(bào)，2011（3）：389397.

［6］ 賀柏根，朱明.改進(jìn)的抗全仿射尺度不變特征變換圖像匹配算法［J］.光學(xué)精密工程，2011（10）：24722477.

［7］ 王斌，王偉峰.一種基于局部灰度匹配的無人機(jī)圖像拼接算法［J］.中國石油大學(xué)學(xué)報(bào)，2009（2）：169173.

［8］ 何斌，馬天予，王運(yùn)堅(jiān).Visual C++數(shù)字圖像處理＼[M＼].2版.北京：人民郵電大學(xué)出版社，2002.

［9］ 龐治年，趙新，鄒德金.無人機(jī)航拍圖像糾偏處理研究＼[J＼].電子產(chǎn)品可靠性與環(huán)境試驗(yàn)，2009（2）：1416.

［10］ 藺想紅，王維盛.一種基于特征匹配的全景圖自動(dòng)拼接方法＼[J＼].西北師范大學(xué)學(xué)報(bào)，2005（4）：3134.

［11］ 王鐵建，趙紅領(lǐng)，王宗敏.基于特征點(diǎn)的視頻流拼接幀選擇優(yōu)化算法＼[J＼].計(jì)算機(jī)應(yīng)用，2009（8）：21122115.

作者簡(jiǎn)介： 王 勇 男，1976年出生，河南人，高級(jí)工程師。研究方向?yàn)闊o人飛行器信息處理技術(shù)。

郭博雷 女，1982年出生，河南人，工程師。研究方向?yàn)闊o人飛行器信息處理技術(shù)。

李志強(qiáng) 男，1979年出生，山東人，工程師。主要研究方向飛行控制與航電系統(tǒng)。