基于對比度增強和兩尺度分解的紅外與可見光圖像融合*

羅謹哲，榮傳振，賈永興，楊 宇

（陸軍工程大學通信工程學院，江蘇 南京 210007）

0 引 言

夜視成像技術，是借助于光電成像器件實現夜間觀察的一種光電技術，包括微光夜視和紅外夜視兩方面，在計算機視覺、監控、醫學成像、遙感等許多領域有著重要應用。由于微光夜視與紅外夜視的成像具有較強互補性，且都不適合人眼直觀感知，因而衍生出將可見光與紅外圖像融為一體的圖像融合技術[1]。融合圖像能夠提供比每個單一圖像源更豐富的信息，真正實現夜視場景增強。因此為增強夜間視覺，提高武器裝備在夜間以及不良條件下獲得信息、情況感知、協同機動和戰略支援等效能，國內外不斷研究圖像融合算法，旨在有效結合紅外圖像的目標識別能力和可見光圖像豐富的場景細節信息，從而提高復雜環境下正確進行目標檢測和識別的能力。

紅外與可見光圖像融合技術能夠提取不同波段圖像的特征，增強人們在探測或者檢測領域對圖像的認識和理解能力。近年來，國內外針對像素級圖像融合算法做了大量研究，如基于非下采 樣 Contourlet變 換（Nonsubsampled Contourlet Transform，NSCT）變換的圖像融合方法、基于引導濾波的圖像融合方法（Image Fusion With Guided Filtering，GFF）以及基于混合多尺度信息分解的圖像融合方法（Hybrid Multi-scale Decomposition，HMSD）[2]。大多數融合算法基于多尺度分解的思想以獲得更優異的融合效果，這類算法通常復雜度高，處理時間冗長。且由于原始的夜間可見光圖像中細節的可視程度較低，如果直接參與融合，會使所融合圖像清晰度不足，大量暗處細節模糊，因此在融合之前有必要對可見光圖像進行增強處理。

為有效提高圖像的視覺可視性，實現夜視場景增強，論文提出一種基于對比增強和兩尺度分解的紅外與可見光圖像融合方法。在融合之前，基于引導濾波和動態范圍壓縮對可見光圖像進行增強處理，提高夜晚或低光照條件下圖像的視覺可視性。進而對原始紅外圖像與增強后的可見光圖像進行兩尺度分解，分解成基礎層與細節層。引入視覺顯著性檢測思想構造權重圖，對細節層圖像進行加權融合；采用加權平均的方法對圖像基礎層進行融合；將各層融合圖像進行重構，得到最終的融合圖像。實驗結果表明，本文方法在視覺質量和客觀評價方面要優于其他5種常用的圖像融合方法，且運行效率更快，大幅提高了算法的實用性。

1 可見光圖像自適應增強

論文采用基于引導濾波和動態范圍壓縮算法對可見光圖像進行自適應增強[3]。引導濾波是一種基于局部線性模型的圖像濾波器，能夠保持圖像的邊緣信息，廣泛應用于圖像平滑、壓縮等領域。

首先，假設I是被標準化為[0，255]之間的輸入圖像，設Ib=GFr,e(I)為引導濾波器處理得到的濾波圖像，其中r、e分別是表示濾波器大小和邊緣保持程度的參數，設置如下：r=[0.04max(w,h)]，w和h分別為源圖像的寬和高，e設為0.1。根據以下公式可以得到對數域中基礎層：

和細節層：

在運算中，ξ=1為防止出現的數值為負數。通過處理得到的基礎層以及細節層如圖1所示。

圖1 基于引導濾波的可見光圖像分解

可以發現，圖像基礎層具有較高動態范圍，論文通過設置比例因子β對基礎層進行動態范圍壓縮，再利用修正因子γ修正整體圖像對比度，具體算法為：

從式中可以看出當β＜1時，基礎層對比度降低，而細節層未改變，進而起到突出細節的效果。為正確設置β，通過設定目標基礎對比度T以確定β的值，計算公式如下：

從而，當0＜λ＜1以及β＜1時，得到增強圖像：

圖2 T取不同值時可見光圖像增強效果

通過設置不同的目標基礎對比度T，可見光圖像的增強效果亦不相同。設置不同T值得到的結果如圖2所示，圖2從左到右依次為原始圖像，T為2、4、6時的增強結果。不同T值得到的增強圖像視覺效果有較大差異，T值低于4時整體出現過增強現象，高于4時細節不夠清晰，因此將T設為4。通過實驗測試，上述設置可自適應增強絕大多數可見光圖像，對比源圖像與增強圖像可得，不同場景得到了不同程度的增強，其增強程度取決于背景環境照明條件，該自適應特性能夠防止出現過增強現象，使圖像不適宜人類視覺感知[4]。

2 紅外與可見光圖像融合

論文所采用的圖像融合框架如圖3所示，對增強后的可見光圖像和紅外圖像進行兩尺度分解，分解為基礎層和細節層。引入視覺顯著性檢測思想構造權重圖層，對圖像細節曾進行加權融合；對于圖像基礎層，采用平均加權方法進行融合；最后對各層融合圖像進行重構以獲得最終的融合圖像。

圖3 紅外與可見光圖像融合框圖

2.1 基于低通濾波的兩尺度分解

為提高算法的運行效率，論文引入低通濾波對圖像進行兩尺度分解。文獻[4]利用快速傅里葉變換有效解決了線性變換過程中的正則化問題，設計出了平滑性較好的低通濾波器。假設增強后的可見光圖像與原始紅外圖像分別為IE和IR，通過低通濾波，可獲得基礎層

2.2 顯著性檢測

文獻[5]提出了一種可以檢測或識別圖像中人像、房屋、車輛等顯著性區域的算法。由于這類區域所呈現的場景更能為觀者提供視覺信息，引起視覺注意，因此可利用圖像源的顯著特征建立各尺度水平上的圖像融合規則。圖4給出了圖像視覺顯著性檢測原理。首先利用低通濾波對圖像進行局部平滑與降低噪聲處理，減少圖像像素與其鄰域間的灰度差異。之后，對每幅圖像應用中值濾波，消除偽影。最后，通過求得兩種濾波的輸出差值獲得顯著圖，具體計算公式為：

由圖4可見，顯著性檢測結果能夠突出顯示源圖像中的邊緣輪廓等顯著特征，較好地呈現出人類視覺所捕獲的關鍵信息。

圖4 圖像視覺顯著性檢測原理框圖

2.3 權重圖構建

為突出融合圖像的細節信息，使之更加適合人類視覺感知，本文在顯著性檢測結果的基礎上構建權重圖，通過權重系數的分配，以較高權重突出圖像源中蘊含的顯著特征信息，對于不那么重要的信息分配較低權重，以實現視覺感知增強。權重圖通過處理歸一化顯著檢測結果構建，具體計算方式如下：

2.4 圖像融合

首先，對于各細節層所呈現的重要細節信息，利用權重圖進行加權融合得到融合后的細節層圖像

該方法能夠實現快速有效地將各個尺度水平上的圖像信息相融合，最終融合圖像If通過基礎層與細節層相加重構得到：

3 實驗結果與分析

3.1 實驗準備

為了驗證本文方法的有效性，論文做了大量實驗。實驗所用的可見光與紅外圖像均已配準。實驗所用電腦為華碩筆記本K501LX，CPU為IntelCorei5，主頻2.2 GHz，內存8G，顯卡為NVIDIA GeForce GTX 950M，操作系統為Windows10，編程語言為Matlab R2014a。同時選取基于雙樹復小波變換（Dual-tree Complex Wavelet Transform，DTCWT）、離散小波變換（Discrete Wavelet Transform，DWT）、非下采樣Contourlet變換（NSCT）的融合方法、GFF和HMSD作為對比方法。對實驗結果進行主客觀評價?？陀^評價指標選取常用的3種評價指標：基于圖像特征的評價指標QY和QS，以及基于人類視覺感知效果的評價指標

3.2 圖像融合實驗

實驗結果如圖5、圖6、圖7、圖8所示。圖5為“Road”源圖像的融合結果，圖5（c）為DTCWT方法的結果，可以看出，該方法一定程度上融合了兩種源圖像的信息，但整體亮度較低，提供的視覺信息較少，存在視覺失真現象；DWT（見圖5（d）)只呈現出信息源的部分細節特征，整體圖像偏暗且過于平滑；NSCT（見圖5（e））算法因過度融入紅外信息，使得融合后的圖像趨于紅外圖像，在保留可見光圖像的信息時存在缺陷；GFF（見圖5（f））與HMSD（見圖5（g））是近年來較為熱門的融合算法，整體融合效果較好，但GFF在保留邊緣信息同時卻忽略了基礎信息，使得融合后的圖像介于可見光圖像與紅外圖像之間，較為模糊；HMSD在聚光區的處理效果遠比其低光照區的處理效果更明顯，處理暗光區的圖像融合還存在問題提供較少的視覺信息；圖5（h）是本文算法的結果，在整體視覺感知上，本文算法能夠提供更多暗處細節信息，整體圖像不會出現過亮或過暗的情況，適合人類主觀視覺感知。

圖5 不同方法對“Road”源圖像的融合結果

而在圖6中，DTCWT和DWT方法融入了過多暗紅外光譜信息，導致部分細節不清晰；NSCT和GFF存在邊緣模糊現象。HMSD方法處理結果偏亮，對于提供場景的完整信息仍然有所欠缺，不適宜對目標背景環境的識別。本文方法相對而言能較完整保留背景的暗處細節，且對于高溫變目標也有一定的突出效果。圖7與圖8在比對中亦呈現出類似的結果。通過上述分析，可見本文算方獲得的融合圖像在主觀視覺評價上更適合人眼視覺感知。

圖6 不同方法對“Camp”源圖像的融合結果

圖7 不同方法對“Trees4906”源圖像的融合結果

圖8 不同方法對“Trees4917”源圖像的融合結果

表1給出了4組實驗的客觀評價指標，評價指標值越大說明融合圖像質量越好。從表1中可以看出本文方法在“Road”和“Trees4917”兩組源圖像上在3種評價指標上都獲得了最好的指標值，在另外兩組圖像上QY指標獲得第二好的指標值，在其他兩個指標上都獲得了最優評價指標。整體來看，本文方法要優于其他幾種圖像融合方法。

表2給出了不同融合方法的處理時間，可以看出，本文方法運行效率更快，更具實用性。

4 結 語

常規多尺度圖像融合算法復雜度通常較高，冗長的處理時間使得實用性受到局限。本文設計了一種基于圖像對比度增強和兩尺度分解的圖像融合方法。該方法在融合之前，先在對可見光圖像源進行對比度增強，突出暗處細節，進而運用低通濾波對圖像進行兩尺度分解，引入視覺顯著性檢測構造權重圖對圖像細節層進行融合，對基礎層進行平均加權融合，最終重構出適合人眼視覺感知的融合圖像。實驗結果表明，本文方法在主觀視覺和客觀評價方面要優于目前常用的融合方法，能夠在維持較高融合質量的同時，大幅降低了算法運行時間，更加具有實用性。

表1 不同融合方法的客觀性能指標

表2 不同融合方法的運行時間 /s