多源圖像融合技術在無人機中的應用

于君娜，單子力，李方方，李 峰

(中國電子科技集團公司第五十四研究所，河北 石家莊 050081)

0 引言

隨著無人機和傳感器技術的發展，目前無人機上已經可以搭載多種成像傳感器。分析各傳感器的成像特性差異并結合應用目的，獲取多源傳感器的組合模式、數據形式、處理流程，并利用圖像融合技術得到互補的融合圖像[1]，有利于更加準確地獲得目標物體的全面信息。目前，多源圖像融合技術在遙感圖像分析等領域發揮著重要的作用[2]，具有重要的社會價值[3]。1979年Daliy[4]等人將雷達圖像和Landsat MSS圖像用于地址解釋，這是最早的圖像融合。1988年，圖像融合的概念被POHL C.提出[5]。Al-wasszi F.A[6]首次將HIS變換用于圖像融合中，將圖像從RGB空間轉換到HIS空間。但HIS變化導致融合后的圖像產生明顯的光譜失真，不能有效使用光譜信息。2009年，殷立瓊[7]將HIS變換和小波變換相結合進行圖像融合，同時利用小波變化和HIS變換的優勢，減少了光譜扭曲現象。Tetrolet變換能夠精確地表達圖像的結構及紋理特征，2013年延翔[8]將Tetrolet變換用于不同頻譜圖像的融合中。同年，KotwalK[9]提出一種基于貝葉斯高光譜圖像融合方法，實現了高效可視化。2014年，Zhang B.H.[10]結合BEMD分解和雙通道PCNN，將分解策略引入圖像融合。同年，Hua[11]等人提出一種基于圖上游走技術的多聚焦圖像融合方法。雖然進行了大量的研究，但圖像融合方法仍然面臨著很多問題。本文針對HIS變換融合算法中產生的光譜失真問題進行深入研究，引入壓縮感知理論，提高了圖像融合的性能，為后續目標檢測[12]、目標識別[13]與定位應用[14]提供較好的數據保障。

1 傳感器成像特性分析

目前中/遠程無人機上搭載的成像傳感器主要有航空數碼相機、電視攝像機、紅外攝像儀和合成孔徑雷達，成像特點如表1所示。

表1 無人機載成像傳感器成像特性

傳感器類型主要成像特點航空數碼相機分辨率高,圖像尺寸大,搜索面積大,但實時性差電視攝像機分辨率和圖像尺寸比航空數碼相機低,實時性強紅外熱像儀分辨率和圖像尺寸比電視攝像機低,實時性強,主要用于搜集地面目標的紅外輻射信息,晝夜兩用。合成孔徑雷達分辨率高,圖像尺寸大,搜索面積大,可以全天時、全天候工作,穿透力強

其中，航空數碼相機和電視攝像機都是利用光學成像原理成像，所獲取的圖像中含有豐富的光譜信息和完整的目標幾何特征信息，符合人眼感知系統，方便判讀人員進行目標識別和分類，但是受空氣能見度和光照的影響較大；紅外攝像儀主要是搜集地面目標的紅外輻射信息進行成像，適用于在夜間成像以及在白天發現偽裝的熱敏目標，如坦克、士兵等，但是在紅外熱像儀中只顯示了物體表面的溫度分布，不能清晰顯示物體輪廓和具體的形狀信息，不利于人眼識別；機載SAR是利用微波進行成像，具有較強的穿透性，能夠全天時、全天候對目標進行觀測，不受天氣、煙霧、樹林和戰場偽裝的影響，在夜間、氣候惡劣的情況下或在沙塵、煙霧彌漫的戰場上，它的偵察能力尤為突出，但是SAR圖像也不能清晰顯示物體輪廓和具體的形狀信息，給判讀帶來了很大的困難。

綜上所述，各傳感器由于成像原理不同，各有優缺點，如何利用來自其他傳感器的圖像來替代或彌補某一傳感器圖像中丟失的信息，成為多源傳感器應用的重點。

在實際應用中，由于上述4種傳感器的成像尺寸和分辨率特性差異，比較適用的傳感器融合模式為電視攝像機獲得的可見光圖像與紅外熱像儀獲得的紅外圖像進行融合[15]，航空數碼相機獲取的航空相片與SAR圖像進行融合。目前無人機上搭載的電視攝像機和紅外熱像儀已經做到共軸，從而可以方便獲取同一地區、同一時相的可見光圖像和紅外圖像，這樣的一對圖像由于拍攝角度一致，給后續的配準融合帶來了很大的方便，通過融合技術能更容易發現隱藏的熱敏目標。航空數碼相片和SAR圖像由于成像幅面積大、分辨率高，二者進行融合處理能夠在短時間內獲取大范圍內準確的戰場態勢。

2 圖像融合處理流程

在無人機多源圖像融合處理的實際應用中，圖像融合是從數據獲取、處理、展現的一個完整過程，下面將分別針對可見光圖像與紅外圖像融合、航空數碼相片與SAR圖像融合的處理過程進行分析。

無人機下傳的可見光圖像與紅外圖像均以視頻的形式存儲，并疊加遙測數據。由于可見光圖像與紅外圖像是共軸、同時相的，可以從播放的某一傳感器視頻中人工截取單幀靜止圖像作為待融合圖像并獲取對應的遙測數據，根據時間參數從另一個傳感器視頻中獲取單幀靜止圖像作為另一待融合圖像，根據單幀靜止圖像對應的遙測數據分別對待融合圖像進行系統幾何校正完成圖像粗定位，對粗定位后的2幅待融合圖像進行特征點提取、自動配準處理，如果自動配準找不到足夠的同名點對，可以進行人工干預，對配準后的2幅待融合圖像的重疊區域內的數據進行融合計算處理，形成融合結果文件保存到磁盤上，也可以對配準后的2幅待融合圖像進行疊加顯示，人工通過卷簾、透明的方式對重疊區域數據進行分析比對。具體處理流程如圖1所示。

圖1 可見光圖像與紅外圖像融合處理流程

航空數碼相片與SAR圖像都是以本地文件存儲的，以數碼相片為起點，根據遙測數據對待融合的數碼相片進行系統校正獲取圖像地理范圍，根據時間和地理范圍獲取對應的SAR圖像，對SAR圖像進行系統幾何校正，后續處理步驟同可見光圖像與紅外圖像融合處理步驟。

3 圖像融合算法

可見光圖像與航空數碼相片都是3波段RGB彩色圖像，紅外圖像和SAR圖像都是單波段灰度圖像，可用于可見光圖像與紅外圖像融合、數碼相片與SAR圖像融合的經典算法主要為HIS變換法，本文對經典的HIS變換法的原理和缺陷進行分析，將壓縮感知理論應用到無人機數碼照片和SAR圖像融合處理中，很好地解決了無人機多源異構圖像融合問題。

3.1 HIS變換圖像融合

目前常用的彩色模型可分為2類，一類是RGB顏色空間模型，這里的R是紅色，G是綠色，B是藍色，這3個基礎色構成了其他顏色；另一類是IHS顏色空間模型，是由亮度、色度與飽和度構成的，分別用I，H，S表示，其他顏色也是由這3個分量構成，亮度I表示的是由其他物體反射的全部能量和圖像的空間信息，色度H表示的是色彩組成的主波長，反映的是頻譜信息，飽和度S表示的是顏色的純度，主要反映地物的光譜信息。在IHS色彩空間中，I，H，S三個分量相關性很低，因此可以利用這個特點對分量單獨進行處理，并且這種彩色空間更適于人眼的觀察，算法也很簡單，因此被廣泛地應用到圖像融合技術。在HIS變換中，把圖像由RGB空間變換到HIS空間稱為正變換[16]，相反的，由HIS空間變換到RGB空間稱為逆變換[17]。

① HIS正變換公式如下：

② HIS逆變換公式如下：

基于HIS變換的圖像融合的過程：首先將數碼相片/可見光圖像進行HIS正變換，提取I分量；SAR圖像/紅外圖像以I為基準，進行直方圖配準得到I′；用獲得的I′替代I，進行HIS逆變換，得到變換后的RGB影像，即融合后圖像。處理流程如圖2所示。HIS變換法在將SAR圖像/紅外圖像中的紋理特征融合到可見光圖像中時，由于SAR圖像/紅外圖像的成像機理與可見光圖像不同，與可見光圖像強度分量差異大，所以融合后的圖像與原圖像相比會產生較大的光譜失真。

圖2 HIS變換圖像融合處理流程

3.2 壓縮感知圖像融合

傳統HIS變換方法在進行航空數碼相片與SAR圖像融合處理時，在引入SAR圖像紋理信息的同時，也丟失了光學圖像光譜信息。針對傳統算法的這些不足，本文將壓縮感知理論應用到無人機數碼照片和SAR圖像融合處理中，該方法在引入SAR圖像紋理信息的同時，能夠有效地保持可見光圖像光譜信息，取得較好的融合效果。

3.2.1 算法原理

3.2.2 實現過程

基于壓縮感知的圖像融合方法過程如圖3所示。

圖3 基于壓縮感知的圖像融合流程

① 圖像分塊

圖像分塊是一種預處理方法，通常處理大幅或者多幅圖像的時候，數據量會很龐大，導致計算的復雜度比較高，對硬件實現的要求較為嚴格。基于對此問題的思考，提出了一種常用的解決方案：分塊思想。假如存在待融合圖像A，將A分成許多大小為N×N的子圖像塊Au，其中每一塊的大小主要由人為因素決定，每個子塊的順序要進行標記。進而對每個子圖像塊Au分別進行處理，降低了數據的復雜度，利于硬件的實現。

② 轉化為向量

轉化為向量是為了進一步實現處理的簡單化，即將子圖像塊Au轉化為向量fAu。為了形象描述該過程，現以8×8的待融合子圖像塊Au為例，對其進行轉化，轉化后的向量記為fAu：

fAu=(au11，…，au18，au21，…，au28，…，au81，…，au88)′，

式中，u表示待融合圖像所分成的子圖像塊數的標號，u為多少就代表是第多少塊；au11等表示的是子圖像塊Au中元素的元素值。

③ 信號的稀疏表示

信號的稀疏表示是先確定信號的變換域，再得到信號在該變換域上的稀疏系數。通常情況，對向量進行離散余弦變換可以得到較好的稀疏系數，這個變換域上得到的系數也具有較好的稀疏性，因此一般都采用該變換域。對上步得到的向量進行離散余弦變換，得到在余弦基上的稀疏系數，保證信號具有足夠的稀疏性。按照上式中的符號，待融合的向量分別為fAu，fBu，經過離散余弦變換后得到FAu，FBu，過程可表示：

K=0，1，...，N-1。

④ 測量矩陣

測量矩陣要求用與稀疏基不相干的矩陣進行乘積，從而得到測量數據。該測量矩陣與稀疏基越不相干得到的效果越好；同時不相干性也是設計測量矩陣必須要重點考慮的條件之一。通常情況下選用隨機高斯矩陣，它可以滿足與任一矩陣的不相干性，并且具有較好的測量結果，是當前普遍選用的一種測量矩陣。以均值為0，方差為1的隨機高斯矩陣為例，設該矩陣為φ，則有：

φ∈RM×N(M?N)，

φi，j～N(0，1)，

式中，φi，j表示測量矩陣φ中的元素；M表示測量矩陣的維數；N表示測量矩陣的列，即個數；維數是要遠小于個數的。經過這個矩陣，可以得到系數的測量值yAu，yBu：

⑤ 融合規則

融合規則是指將得到的測量值按照某種特定的規則進行運算，得到一個新的數值，這個新數值就是融合后的數值。進行運算的規則稱之為融合規則，它直接決定了圖像的融合效果，選取最為簡單的一種融合方式，即加權的融合規則，對待融合的測量數據進行融合，得到融合后的數據zu：

式中，t表示測量值中的元素個數的標號。之所以選取該融合方式，除了可以使計算較為方面，較為簡單地得到融合值外，還可以充分體現壓縮感知的優越性，利用較為簡單的融合方式就可以得到通常復雜融合算法下的融合效果。本文采用的求取權值系數的公式為取熵法，假定待融合圖像A，B的熵分別為HA，HB，則：

⑥ 圖像重構

⑦ 分塊融合后子圖的重新組合

重新組合是指將重構后的矩陣塊Cu按照原始順序依次放好，組成的矩陣即為融合后的矩陣。該步是一種簡單的線性組合，按照原始順序進行即可，需要注意的是每一個圖像塊的順序即可，組合完后的矩陣即為融合后的圖像C。

4 融合實驗

本文分別利用傳統的HIS變化法和基于壓縮感知理論的圖像融合方法，對無人機獲取的某目標區域數碼照片和SAR圖像進行融合處理。利用光譜扭曲程度對融合后的圖像進行融合效果分析，光譜扭曲程度直接反映了圖像的光譜失真程度，扭曲程度越小，說明融合圖像的光譜失真越小，融合效果越好[18]]，光譜扭曲度定義為：

式中，V′(i，j)，V(i，j)分別表示圖像在點(i，j)處像素的灰度值，前者是融合后圖像灰度值，后者是原圖像灰度值。由于可見光圖像和融合后圖像是彩色圖像，需要將彩色圖像轉換為灰度圖像后再進行光譜扭曲度計算。

圖像融合實驗結果如圖4所示，其中圖4(a)和圖4(b)分別為融合前數碼照片和SAR圖像，圖4(c)為HIS變換融合結果，圖4(d)為壓縮感知融合結果。

圖4 圖像融合實驗結果

HIS變換融合結果圖像光譜扭曲度約為80°，基于壓縮感知的融合結果圖像光譜扭曲度為30°，通過光譜扭曲度和目視效果可以看出，基于壓縮感知的圖像融合方法在進行無人機數碼照片和SAR圖像融合時，在光譜保持方面相對于HIS變換有較大提高。

5 結束語

本文通過對目前無人機搭載的載荷獲取的數據特性進行研究，根據各傳感器的成像特性差異，獲得航空數碼相片、可見光圖像、紅外圖像和SAR圖像的融合組合模式，并利用傳統HIS變換法和基于壓縮感知的圖像融合方法對航空數碼照片和SAR圖像進行融合處理，基于壓縮感知的圖像融合方法在光譜保持方面有較大優勢，得到的融合結果圖像充分保持了航空數碼相片和SAR圖像的優勢信息，表明了此方法的有效性，但依然有可以改進的地方。在構造融合規則時，本文使用了簡單的加權融合，接下來會對融合規則進行改進：首先對SAR圖像進行目標檢測，對檢測出的目標區域增加權重。