基于NSCT 的紅外與可見光圖像融合算法

王躍華，陶忠祥

(空軍航空大學 航空軍械工程系，長春 130022)

圖像融合是指將2 個或2 個以上的傳感器在同一時間或不同時間獲取的關于某個具體場景的圖像或圖像序列信息加以綜合，以生成新的有關此場景解釋的信息處理過程［1］。紅外與可見光圖像融合則是在軍事領域和安全監控領域具有廣泛應用的一種圖像融合方式。紅外圖像一般較暗、信噪比低、無彩色信息、缺少層次感，但卻常有比較明顯的目標信息;可見光圖像光譜信息豐富，動態范圍大，對比度相對較高，包含豐富的細節信息，但在黑暗背景下不易觀察［2］。通過對紅外與可見光圖像的融合，提高紅外目標的可識別度和圖像的清晰度，獲得更加詳細準確的信息，可以使我們能在惡劣的環境下也能準確判斷熱源的位置，在軍事作戰、電子產品檢測、資源探測等眾多領域中都有廣泛的實用價值。

目前，通過多尺度分解對圖像進行融合是研究的熱點。圖像多尺度分解的常用方法主要有金字塔變換、小波變換、Contourlet 變換和非下采樣Contourlet 變換(Nonsubsampled Contourlet Transform，NSCT)等方法。金字塔分解結構中不同分辨率細節彼此相關，算法穩定性差。小波變換克服了金字塔方法的算法不穩定性，但傳統的小波變換雖然能高效處理一維分段連續信號，但由一維小波通過張量積形成的二維小波基只能獲得水平、垂直和對角3 個方向上的信息，無法精確表述圖像邊緣方向信息，也不能最優表示含線或面奇異的二維圖像。Contourlet 變換具有小波變換的多分辨率和時頻局部化特性，還具備高度的方向性和各向異性，能很好地“捕捉”二維圖像的幾何結構，但由于在變換中需要進行上采樣和下采樣操作，因而不具備平移不變性，存在頻譜混疊現象。而NSCT 則不僅具有小波變換的多分辨率和時頻局部化特性，同時還具有很好的方向性和各向異性及平移不變特性，可以獲得圖像任何方向的信息。因此本文采用基于NSCT的方法進行圖像融合。

1 NSCT 理論

NSCT 是一種離散圖像的多尺度、多方向的分解方法，它是在Contourlet 變換的理論基礎上提出的［3-4］。NSCT 變換可以分為非采樣塔式濾波器(nonsubsampled pyramid filter bank，NSPFB)和非采樣方向濾波器組(nonsubsampled directional filter bank，NSDFB)兩部分，它將多尺度分析與多方向分析分開進行，并且取消了對相應信號分量直接進行上采樣和下采樣的操作。NSCT 首先采用NSPFB 對圖像進行多尺度分解，原始圖像經一級NSPFB 分解可產生一個低通子帶圖像和一個帶通子帶圖像，以后每級NSPFB 分解都可在低通子帶圖像上迭代進行，再對每一級NSPFB 分解所獲得的高頻分量采用NSDFB 進行方向分解，從而得到不同尺度、方向的子帶圖像(系數)，最后將分布在同方向上的奇異點連接成輪廓段。其中NSPFB 分解使NSCT 具備了多尺度性，采用à Trous 算法實現NSDFB 又使得NSCT 具備了多方向性，二者的有機結合使得NSCT 具有Contourlet 變換的多尺度和多方向性，同時還具備了平移不變性。圖1 給出了NSCT 的結構示意圖。

2 基于NSCT 的圖像融合

圖像經多尺度幾何分解后，得到的低頻部分代表了圖像的近似分量，主要反應了源圖像的平均特性，包含了源圖像的光譜信息和大部分的能量信息;分解后的高頻子帶代表了圖像的細節分量，如邊緣、直線、區域邊界等，描述了圖像的結構信息。因此，源圖像分解后的高、低頻部分需要分別進行融合，其融合算法的選擇非常重要。

圖1 NSCT

2.1 融合步驟

基于NSCT 的圖像融合具體步驟如下:

1)對紅外與可見光源圖像分別進行J 級NSCT 分解，得到圖像分解后各自的NSCT 系數:

其中:Cj0(x，y) 為低頻子帶系數;Cj，l( x，y) 為j 尺度下l 方向高頻子帶系數;

2)采用一定的融合規則對各分階層上的不同頻率分量進行融合處理，得到融合圖像 F 的 NSCT 系數

3)對融合后的低頻子帶系數和各尺度層的高頻方向子帶系數進行NSCT 逆變換得到融合圖像F。

2.2 融合規則

融合規則是圖像融合中重要的環節，融合規則的好壞會直接影響融合結果的優劣。本文選擇基于區域能量匹配度測度的融合規則，并對圖像的高、低頻子帶分別進行融合。

區域能量定義為

其中M×N 大小為3 ×3、5 ×5 等(本文取3 ×3)，w ( m，n )=為窗口掩模。

區域能量匹配度定義為

設匹配度閾值為α(α 一般為0.5 ～1，本文取0.7)。

2.2.1 低頻部分融合規則

低頻部分是源圖像的近似描述，包含源圖像的大部分信息，其能量占圖像全部能量的比例較大，而圖像區域方差則反映了局部區域內圖像信息量的豐富程度［5-6］，因此采用基于區域能量匹配度的能量方差決策選擇與加權平均相結合的融合方法進行低頻子帶融合系數的選取。

區域方差定義為

能量方差決策值定義為

則若MI，V(x，y) ＜α，則融合后系數為

若MI，V( x，y) ≥α，則采用加權平均進行低頻系數的融合，融合后系數為

其中，p1，p2為自適應調整因子:

2.2.2 高頻部分融合規則

高頻部分代表圖像的細節分量，包含源圖像的邊緣細節信息。對于高頻部分的融合，采用一種混合的融合規則。由于低層反映的是較粗的信息，為更好地維護像素鄰域的相關性，是邊緣線條更加自然，選用基于區域能量匹配度的區域方差選大融合法;高層信息反映的是細節信息，各信息之間有很大的獨立性，因而采用像素點的絕對值取大的方法進行選取［7-8］。具體融合規則為:

1)融合圖像在最高層分解尺度J(本文取J =4)上的各高頻系數為

2)對于分解尺度J 以外的其他(J -1)層的高頻系數，采用基于區域能量匹配度的區域方差選大方法進行融合，融合方法為:

若MI，V( x，y) ＜α，則:

若MI，V( x，y) ≥α，則采用加權平均進行低頻系數的融合，融合后系數為

其中q1，q2為自適應調整因子:

3 融合評價指標及實驗結果分析數

為了驗算法的有效性，基于以上理論和算法，利用Matlab 7.0 編程對紅外與可見光圖像進行驗證。本文提出的方法與以下幾種融合方法進行對比(表1)。

表1 融合實驗使用的融合規則

以下為實驗結果:圖2(a)和圖2(b)分別為紅外與可見光源圖像;圖2(c ～g)是采用表1 中融合規則1 ～5 的融合圖像，實驗采用4 層NSCT 對圖像進行分解。

為定量評價不同融合方法用于紅外與可見光圖像融合的性能，本文采用標準差，信息熵，平均梯度及交叉熵為圖像融合評價指標。圖像的標準差反映了圖像灰度相對于灰度平均值的離散程度。標準差大，則圖像灰度級分散，圖像的反差大，可以看出更多的信息;信息熵反映圖像的信息豐富程度，熵值越大，圖像所包含的信息就越豐富，融合質量就越好;平均梯度(清晰度)反映了圖像的清晰程度，還能反映出圖像中微小細節反差與紋理變化特征，是描述圖像清晰程度的一個物理量，平均梯度越大，圖像越清晰，信息保留越多;交叉熵直接反映了2 幅圖像對應像素之間的差異。交叉熵越小，說明圖像之間的差異越小，融合后的圖片從原始圖片中提取的信息量越多，則融合效果越好。比較結果如表2。

圖2 紅外與可見光圖像及不同融合規則的融合圖像

表2 圖像融合性能評價

由表2 可以看出，使用本文NSCT 變換和融合規則進行融合得到的融合圖像，無論從信息熵、交叉熵，還是平均梯度和標準差，使用本文融合規則得到的實驗結果均要強于使用其他融合規則，其結果基本與視覺特性保持一致。

4 結束語

利用紅外與可見光圖像提供的互補和冗余信息，可以有效改善圖像的信噪比，并且獲得更為可靠的圖像信息。本文提出的基于NSCT 變換的圖像融合規則，通過大量實驗表明，使用此方法獲得的融合圖像具有更多的細節信息，并且能夠表現出較好的融合性能。

［1］莊小嬋. 圖像融合算法研究［D］. 西安:西北工業大學，2007.

［2］葛小青.紅外與可見光圖像融合的研究［D］.重慶:重慶大學，2010.

［3］da Cunha A L，Zhou J P，Do M N.The nonsubsampled contourlet transform:Theory，design and applications［J］.IEEE Transactions on Image Processing，2006，15 (10):3089-3101.

［4］Zhou Jian ping，Cunha A L，Do M N.Nonsubsampled contourlet transform:Construction and application in enhancement［C］//2005 International Conference on I mage Processing.［S.l.］:［s.n.］，2005:469-472.

［5］李鋼，王雷，張仁斌.基于特征能量加權的紅外與可見光圖像融合［J］.光電工程，2010，37(3):83-87.

［6］王樂山，李華鋒，阿主拉且.非采樣Contourlet 域內的區域對比度圖像融合［J］. 計算機工程與應用，2010，46(35):185-187.

［7］林玉池，周欣，宋樂等.基于NSCT 變換的紅外與可見光圖像融合技術研究［J］.傳感器與微系統，2008，27(12):45-47.

［8］王丹，周錦程.基于NSCT 的圖像融合算法［J］.計算機系統應用，2010，19(2):185-189.

［9］宋英姿. 基于第二代Curvelet 變換的多聚焦圖像融合［J］.四川兵工學報，2010(3):115-118.

［10］范永輝，王剛，曲文娟. 基于小波域分類隱馬爾可夫樹模型的圖像融合算法研究［J］.激光雜志，2009(5):32-34.

［11］劉坤，郭雷，陳敬松. 一種有效的紅外圖像融合算法［J］.火力與指揮控制，2010(6):10-13.