紅外與可見光圖像配準(zhǔn)在 EFVS中的應(yīng)用研究

翟 豪,申 冰,李 宜,張光明

(中國民航飛行學(xué)院飛行技術(shù)學(xué)院)

1 引 言

從上世紀(jì) 90年代中期開始,隨著成像技術(shù)的進(jìn)步,人們開始研究能穿透低能見度天氣的機(jī)載紅外或微波圖像傳感技術(shù),研發(fā)了增強(qiáng)視覺系統(tǒng)(EFVS)。EFVS的出現(xiàn),第一次使得機(jī)長在低能見度下都能看到航空器前方場景的動(dòng)態(tài)圖像,極大地改善了機(jī)長的空間感知和情景意識(shí)。該系統(tǒng)在座艙下方外安裝紅外成像儀或微波圖像傳感器,實(shí)時(shí)采集航空器前方場景動(dòng)態(tài)視頻圖像,經(jīng)處理后和相關(guān)的飛行指引符號(hào)疊加在 HUD(平視顯示儀)上顯示。盡管紅外或微波圖像具有分辨率低、圖像內(nèi)容可理解性較差等不足,但由于增強(qiáng)視覺系統(tǒng)采集的是實(shí)時(shí)的場景動(dòng)態(tài)圖像,圖像內(nèi)容具有較高的真實(shí)性和可信性。特別是在航空器最后進(jìn)近階段,因?yàn)榇藭r(shí)航空器已對(duì)準(zhǔn)跑道,圖像傳感器中所能看到的場景主要限于跑道、燈光及附近的場面,圖像內(nèi)容更易分辨和理解。目前投入使用的 EFVS存在只能處理和顯示單傳感器圖像、不能融合顯示多個(gè)波段和不同視點(diǎn)的增強(qiáng)視覺圖像的不足。

國際上自 1996年至今,每年舉行一次“Enhanced and Synthetic Vision”國際會(huì)議;在每年的“IEEE Digital Avionics System”國際會(huì)議上也有大量關(guān)于合成視覺(SVS)和增強(qiáng)視覺(EFVS)的工作報(bào)道。目前,包括美國、英國、加拿大、德國等國的政府和軍方研究機(jī)構(gòu),以及國際上著名的航電廠商(如:Honeywell、Rockwell、Thales等)仍在大力加這方面的研究。

2 EVFS系統(tǒng)中圖像配準(zhǔn)技術(shù)的應(yīng)用

由于機(jī)載傳感器特性和航空器的運(yùn)動(dòng)方式,圖像中的對(duì)象僅是剛性的改變位置、姿態(tài)和刻度,改變的原因往往是由攝影器材運(yùn)動(dòng)引起的。

所以本文擬將基于特征的圖像配準(zhǔn)技術(shù)運(yùn)用于增強(qiáng)視景系統(tǒng)中,在傳感器位置、指向、焦距不同時(shí),通過實(shí)時(shí)逆透視變換處理,將二維圖像還原到三維空間中,并對(duì)還原的各圖像序列逐幀進(jìn)行時(shí)間同步和空間配準(zhǔn)處理,以期為航空器在低能見度下的最后進(jìn)近階段提供更容易分辨和理解的圖像。

在傳感器位置、指向、焦距不同時(shí),通過實(shí)時(shí)逆透視變換處理,將二維圖像還原到三維空間中,并對(duì)還原的各圖像序列逐幀進(jìn)行時(shí)間同步和空間配準(zhǔn)處理,以期為航空器在低能見度下的最后進(jìn)近階段提供更容易分辨和理解的圖像。

合成方案如下。

圖1 視景增強(qiáng)系統(tǒng)圖像合成方案

本文只研究紅外攝像機(jī)所成圖像與航空照相機(jī)所成圖像的融合。

3 圖像配準(zhǔn)仿真實(shí)驗(yàn)

本文使用 ERDAS IMAGINE系統(tǒng)中的圖像預(yù)處理模塊進(jìn)行遙感圖像配準(zhǔn)的。ERDAS IMAGNIE作為遙感圖像處理軟件,最大的特點(diǎn)就是以模塊化的方式提供給用戶的,可使用戶根據(jù)自己的應(yīng)用要求、資金情況合理地選擇不同功能模塊及其不同組合。

本文主要介紹基于圖像特征的配準(zhǔn)算法。基于圖像特

征的方法是圖像配準(zhǔn)中最常見的方法,對(duì)于不同特性的圖像,選擇圖像中容易提取并能夠在一定程度上代表待配準(zhǔn)圖像相似性的特征作為配準(zhǔn)依據(jù)。基于特征的方法在圖像配準(zhǔn)方法中具有最強(qiáng)的適應(yīng)性,而根據(jù)特征選擇和特征匹配方法的不同所衍生出的具體配準(zhǔn)方法也是最多樣的。這類方法的主要共同之處是首先要對(duì)待配準(zhǔn)圖像進(jìn)行預(yù)處理,也就是特征提取的過程,再利用提取到的特征完成兩幅圖像特征之間的匹配,通過特征的匹配關(guān)系建立圖像之間的配準(zhǔn)映射變換。這類方法一般包含 3個(gè)階段:

(1)計(jì)算并提取圖像的特征集(常常是特征點(diǎn)集);

(2)將這些特征作為控制結(jié)構(gòu),尋找兩幅圖像控制結(jié)構(gòu)的映射關(guān)系;

(3)建立控制結(jié)構(gòu)間的空間域的幾何變換,通常利用最小二乘原則建立一個(gè)二維多項(xiàng)式函數(shù)來對(duì)幾何變換進(jìn)行擬合。

圖像配準(zhǔn)按照以下五個(gè)步驟實(shí)施:

第一步,建立紅外傳感器所成圖像的坐標(biāo)系;

第二步,提取紅外圖像中的跑道特征線;

第三步,重新繪制遙感圖像;

第四步,將重新繪制的遙感圖像與紅外傳感器所成的圖像疊加;

第五步,幾何糾正的精度分析。

第一步的目的是為圖像配準(zhǔn)提供一個(gè)參考系統(tǒng)。對(duì)于相對(duì)配準(zhǔn)通常是取一幅圖像的圖像坐標(biāo)系作為偏移圖像坐標(biāo)系,而另一幅圖像的圖像坐標(biāo)系為參考坐標(biāo)系或者校正圖像坐標(biāo)系;對(duì)于圖像相對(duì)網(wǎng)格進(jìn)行的配準(zhǔn),則通常取大地坐標(biāo)系或者地圖坐標(biāo)系作為校正圖像坐標(biāo)系,而分量圖像的圖像坐標(biāo)系作為原始圖像坐標(biāo)系。

第二步是圖像配準(zhǔn)的關(guān)鍵,由于多圖像反映了相同的或者部分相同的地面目標(biāo),因此,圖像上的一部分像素點(diǎn)應(yīng)該在多圖像的其他分量上有代表同一地面點(diǎn)的同名點(diǎn),即地面控制點(diǎn)(GCP:Geography Control Point)。選擇控制點(diǎn)的方式有三種:手工、半自動(dòng)查找和計(jì)算機(jī)自動(dòng)查找。本節(jié)采用的手工查找匹配控制點(diǎn),最終所選擇的GCP的精度、數(shù)量以及它們在圖像上的分布情況在很大程度上決定了配準(zhǔn)的精度。

第三步是用所得到的地面控制點(diǎn)確定圖像間畸變模型的參數(shù),它隨著所采取的糾正方法的不同而不同。在本論文中采用的畸變模型是二次多項(xiàng)式,利用它對(duì)兩幅圖像間的幾何畸變進(jìn)行逼近,它的系數(shù)在糾正時(shí)可以用最小二乘法對(duì)分布在整個(gè)圖像區(qū)域上的控制點(diǎn)進(jìn)行擬合而得到。

第四步是在基于畸變模型的基礎(chǔ)上對(duì)偏移圖像求取輸出圖像各像素的灰度值,即進(jìn)行幾何變換和重采樣。

第五步由于對(duì)于相對(duì)配準(zhǔn)則還沒有很好的客觀的方法進(jìn)行評(píng)價(jià),本文是利用 ERDAS IMAGNIE軟件的窗口地理連接(Geo Link/Unlink)功能及查詢光標(biāo)(Inquire Cursor)功能進(jìn)行目視定性檢驗(yàn)。

4 結(jié) 論

可以看到,航拍圖像和雷達(dá)圖像配準(zhǔn)后,對(duì)道路的特征有明顯加強(qiáng)。按照本文依托的項(xiàng)目的工作計(jì)劃,尚未采集同一機(jī)場的跑道的雷達(dá)圖像、紅外圖像和三維地理圖像,所以不能看到實(shí)際效果。但從以上配準(zhǔn)的效果可以推測,對(duì)進(jìn)近著陸時(shí)只有一條跑道的情況,配準(zhǔn)圖像對(duì)跑道特征的加強(qiáng)是很有效的,從而增強(qiáng)飛行員的情景意識(shí)。

ERDAS IMAGINE作為遙感圖像處理軟件具有強(qiáng)大的模塊功能,它既不需要復(fù)雜的算法,也避免了大量的編程工作,因此用該軟件進(jìn)行圖像配準(zhǔn)比較易于實(shí)現(xiàn),但是這種方式也有它的局限性。如何實(shí)現(xiàn)自動(dòng)選取控制點(diǎn),提高控制點(diǎn)的定位精度和控制點(diǎn)選取的速度,將是今后研究的方向。因?yàn)楹娇掌鬟M(jìn)近著陸時(shí)速度較快,所以對(duì)配準(zhǔn)速度有較高的要求,這也將是下一步研究工作的重點(diǎn)問題之一。

[1] J.J.Arthur and L.J.Kramer.Flight Test Comparison Between Enhanced Vision(FLIR)and Synthetic Vision Systems[R].NASA,2005.

[2] J.J.Arthur and L.J.Prinzel et al.CFIT Prevention Using Synthetic Vision[J].Enhanced and Synthetic Vision 2003,V 5081:16.

[3] 黨安榮,王曉棟,陳曉峰,等.ERADS IMAGINE遙感圖像處理方法[M].清華大學(xué)出版社,2003:220-486.

[4] [美]莫伊克(Moik,J.G)著,徐建平等譯.遙感圖像的數(shù)字處理[M].北京:氣象出版社,1978:301-348.