基于自適應引導濾波的紅外圖像細節(jié)增強

路 陸，姜 鑫，楊錦程，朱 明，郝志成，王佳榮

（1.中國科學院 長春光學機密機械與物理研究所，吉林 長春 130033；2.重慶嘉陵華光光電科技有限公司，重慶 400000）

1 引 言

紅外成像系統(tǒng)具有良好的隱蔽性、抗干擾性以及可晝夜工作等特性，被廣泛應用于軍事和民用領域［1］。然而，受熱輻射、熱交換等因素影響，紅外圖像常表現(xiàn)出圖像對比度低、邊緣細節(jié)不突出、視覺效果模糊等不足［1］，這將嚴重影響后續(xù)目標探測識別等任務的執(zhí)行。此外，目前紅外探測器常使用12～14 bit模數(shù)轉(zhuǎn)換模塊［2］，輸出圖像動態(tài)范圍遠高于傳統(tǒng)顯示器的256個灰度級，不便于直接顯示觀察。因此，利用圖像處理方法將原始紅外圖像動態(tài)范圍壓縮到顯示器顯示范圍、增強圖像細節(jié)，已成為當前紅外應用中必不可少的圖像處理操作之一。

2005年，美國FLIR公司提出了一種數(shù)字細節(jié)增強技術，同時完成了紅外圖像的高動態(tài)范圍壓縮與細節(jié)增強［3］。2009年，Branchitta等［4］提出了一種基于雙邊濾波［5］和動態(tài)范圍劃分的細節(jié)增強算法（Bilateral Filter and Dynamic Range Partitioning，BF&DRP），該算法基于分層處理架構，將輸入圖像分解成基礎層和細節(jié)層，壓縮基礎層動態(tài)范圍，增強細節(jié)層圖像細節(jié)，然后將處理結(jié)果融合在一起。在此基礎上，Zuo等［2］將雙邊濾波權重系數(shù)作為細節(jié)層自適應增益因子，有效抑制梯度反轉(zhuǎn)偽像。Liu等［6］使用引導濾波［7］代替雙邊濾波，有效避免梯度反轉(zhuǎn)偽像。Zhou等［8］在Liu等［6］的方法基礎上，使用引導濾波線性系數(shù)作為細節(jié)層增益掩膜，進一步抑制平坦區(qū)域噪聲。然而，Liu等［6］和Zhou等［8］算法中都使用固定值作為引導濾波的正則化系數(shù)，同一個正則化參數(shù)很難適應所有應用場景。為此，本文提出一種基于自適應引導濾波的紅外圖像細節(jié)增強算法，自適應選擇引導濾波正則化系數(shù)，進一步提高算法的場景適應性。

2 基礎理論

2.1 引導濾波

引導濾波［7］（Guided Image Filtering，GIF）是一種基于局部線性模型的濾波器，其假設在局部窗口wk內(nèi)引導圖像I與濾波輸出圖像q滿足線性關系：

其中，qi和Ii分別表示輸出圖像和參考圖像的第i個像素灰度值，(ak，bk)是在局部窗口wk內(nèi)為常量的線性系數(shù)。最小化代價函數(shù)為

可獲得

其中，μk和σ2k分別表示參考圖像I在局部窗口wk內(nèi) 的 均值 和 方差，pi和pˉk分 別表 示 輸 入 圖 像p的第i個像素灰度值和局部窗口wk內(nèi)的平均灰度值，|w|表示局部窗口wk內(nèi)的像素數(shù)，ε表示正則化系數(shù)。

輸出像素qi被多個窗口wk覆蓋，可以獲得多個可能值，平均所有可能值是最簡單有效的估計方法：

2.2 平臺直方圖均衡化

平 臺 直 方 圖 均 衡 化［9］（Plateau Histogram Equalization，PHE）是一種直方圖均衡化改進算法，它引入平臺閾值，解決傳統(tǒng)直方圖均衡化過增強問題，在紅外圖像增強領域中有廣泛應用。

PHE計算過程如下：首先，削掉大于平臺閾值T的直方圖：

其中，H(i)為原始直方圖，HT(i)為平臺直方圖。然后，計算歸一化累計分布函數(shù)：

其中，R表示輸入圖像動態(tài)范圍。

最后，PHE的輸出圖像可以表示為

其中，D表示輸出圖像動態(tài)范圍，Iin(i)表示輸入圖像Iin的第i個像素灰度值。

2.3 Otsu法

Otsu法［10］是一種基于最大類間方差的自動閾值選擇方法。設TOtsu為前景與背景的分割閾值，前景像素數(shù)占比p0，平均灰度為μ0。背景像素數(shù)占比p1，平均灰度為μ1。前景和背景的類間方差為

3 本文算法

本文算法流程如圖1所示，具體步驟如下：

圖1 本文所提出的算法流程圖Fig.1 Flowchart of the proposed algorithm

（1）利用自適應GIF將輸入圖像Iin分離成基礎層IB和細節(jié)層ID=Iin-IB；

（2）利用PHE壓縮基礎層動態(tài)范圍獲得IBP；

（3）利用掩膜圖像IM加權和γ變換處理細節(jié)層，獲得IDP；

（4）將IBP和IDP線性加權獲得加權圖像IW=(1-α)IBP+αIDP，其中α為線性加權系數(shù)；

（5）將IW線性拉伸到［0，255］范圍，獲得輸出圖像Iout。

3.1 自適應引導濾波

當輸入圖像p和參考圖像I一致時，GIF變成一種邊緣保護平滑濾波，式（3）可以簡化為：

可以看出，在強邊緣區(qū)域，局部圖像方差σ2k遠大于ε，ak→1，輸出圖像接近輸入圖像，具有邊緣保持功能；在平坦區(qū)域，局部圖像方差σ2k遠小于ε，ak→0，輸出圖像接近局部平均，具有局部平滑功能。

正則化系數(shù)ε是影響細節(jié)增強效果的重要參數(shù)。ε過小，細節(jié)層包含大量噪聲，如圖2（b）所示，輸出圖像噪聲明顯；ε過大，細節(jié)層包含細節(jié)過少，輸出圖像細節(jié)增強不充分。文獻［6，8］將ε設為固定值，缺乏自適應性，不能適應所有場景。文獻［11］提出一種基于全局方差的正則化參數(shù)選擇方法，對于高動態(tài)范圍圖像，全局方差過大，導致ε選擇過大，細節(jié)層細節(jié)過少，如圖2（c）所示。本文提出一種基于Otsu法的正則化系數(shù)自適應選擇方法，可以獲得更合適的ε，使得細節(jié)層保留更有用的邊緣細節(jié)，如圖2（d）所示。

圖2 不同ε細節(jié)層的對比Fig.2 Comparison of detail layers with different ε

正則化系數(shù)ε作用于整幅圖像，就要權衡所有的局部圖像方差本質(zhì)上就是選擇一個ε將所有分割成兩部分，類似于圖像二值化，因此本 文 使 用 最 經(jīng) 典 的Otsu法［10］選 擇ε。然 而，如圖3（a）所示并不滿足高斯分布，不適合用Otsu法計算閾值。相比之下在對數(shù)域更接近高斯分布，如圖3（b）所示，更適合用Otsu法計算分割閾值TOtsu。閾值TOtsu將分成高低兩部分，為了更好抑制低將TOtsu對應的擴大100倍作為最終正則化系數(shù)：

圖3 局部圖像方差直方圖統(tǒng)計Fig.3 Histogram statistics of local image variance

3.2 細節(jié)層處理

為了抑制細節(jié)層噪聲，選擇自適應GIF的線性系數(shù)aˉi作為增益掩膜IM，對細節(jié)層ID加權，獲得掩膜加權細節(jié)層IDM：

其中，“°”表示點乘運算。

為了進一步增強圖像細節(jié)，使用γ變換進一步增強掩膜加權細節(jié)層IDM：

其中，sign（·）表示符號函數(shù)，max（·）表示最大值函數(shù)，γ=1.2可以增強強邊緣，抑制弱邊緣。經(jīng)式（12）和式（13）處理后，細節(jié)層的處理效果如圖4所示，可以看出，在顯著增強建筑邊緣等圖像細節(jié)的同時，也有效地抑制了天空等平坦區(qū)域的噪聲放大。

圖4 細節(jié)層的處理效果Fig.4 Processing effect of the detail layer

4 實驗結(jié)果與分析

為了驗證本文算法，選擇3種場景進行對比實驗，如圖5所示。場景1是具有強烈明暗變化的典型高動態(tài)范圍場景，場景2是紋理復雜的室外場景，場景3是典型的海天場景。實驗使用的紅外圖像分辨率均為640×512，像素位寬14 bit。

圖5 用于測試的3個場景Fig.5 Three scenes for testing

為了驗證本文算法性能，選擇7種傳統(tǒng)和先進算法做對比，包括：自適應增益控制（Adaptive Gain Control，AGC）［12］、BF&DRP［4］、雙邊濾波和數(shù)字細節(jié)增強（Bilateral Filter and Digital Detail Enhancement，BF&DDE）［2］、引導濾波和數(shù)字細節(jié)增強（Guided Image Filter and Digital Detail Enhancement，GIF&DDE）［6］、改 進自適 應細節(jié)增 強（Improved Adaptive Detail Enhancement，IADE）［8］、時間數(shù)字細節(jié)增強2（Temporal Digital Detail Enhancement 2，TDDE2）［13］以 及 改 進 紅 外 圖 像 自適應增強（Improved Infrared Image Adaptive Enhancement，I3AE）算法［11］。本文算法關鍵參數(shù)選擇如下：平臺閾值T設為像素數(shù)0.01%，線性加權系數(shù)α=0.3。其他算法參數(shù)采用默認參數(shù)。所有實驗算法均在PC平臺（操作系統(tǒng)Windows10、Intel-i7處理器、48 GB內(nèi)存）上用Matlab R2020b實現(xiàn)。

4.1 主觀評價

圖6～8展示了不同算法在3個場景中的對比實驗結(jié)果。如圖6所示，場景1是典型高動態(tài)范圍場景，AGC、TDDE2和I3AE對陰影區(qū)域建筑細節(jié)增強不明顯。BF&DRP和IADE都在一定程度上過度增強圖像，而且BF&DRP在強邊緣處會出現(xiàn)“梯度反轉(zhuǎn)”偽像。BF&DDE和GIF&DDE在陰影區(qū)域具有顯著的增強效果，但其在天空區(qū)域卻出現(xiàn)嚴重失真。相比之下，本文算法不僅在天空區(qū)域獲得合理的增強，在陰影區(qū)域也獲得很好的細節(jié)增強，整幅圖像視覺效果更自然。

圖6 場景1的對比實驗結(jié)果Fig.6 Comparison experimental results of sence 1

如圖7所示，場景2是紋理復雜的室外場景，包含建筑、樹木、陰影等諸多細節(jié)。BF&DRP過度增強了圖像對比度，IADE過度增強了圖像細節(jié)，兩者都損失了圖像自然感。BF&DDE和GIF&DDE處理效果嚴重失真。TDDE2損失了陰影區(qū)域圖像細節(jié)。AGC、I3AE和本文算法都獲得了良好的視覺效果，相比之下，本文算法處理效果更清晰，還有效保留了窗口鐵絲網(wǎng)等紋理細節(jié)，如圖7（h）中紅圈所示。

圖7 場景2中的對比實驗結(jié)果Fig.7 Comparison experimental results of sence 2

如圖8所示，場景3是經(jīng)典海天場景，在天海交接處有多只漁船。AGC、BF&DDE、GIF&DDE、TDDE2和I3AE都在海天交接處出現(xiàn)一定程度的過增強，導致部分漁船不可見。BF&DRP雖然完好地保留了漁船影像，但也放大了天空噪聲。IADE和本文算法都很好地保留了漁船影像、抑制了天空噪聲，相比之下，本文算法處理結(jié)果中漁船對比度更高。

圖8 場景3的對比實驗結(jié)果Fig.8 Comparison experimental results of sence 3

4.2 客觀評價

為了進一步客觀評價本文算法的有效性，選擇平均梯度和基于感知的圖像質(zhì)量評價（Perception-based Image Quality Evaluator，PIQE）［14］對各種算法結(jié)果定量評價。

平均梯度在一定程度上反映了圖像細節(jié)多少，平均梯度越大，圖像細節(jié)越多，反之亦然。平均梯度可以表示為：

其中，Gm表示圖像平均梯度，fx和fy表示待測圖像的水平梯度和豎直梯度，N表示梯度圖像像素數(shù)。圖6～8中不同算法的平均梯度計算結(jié)果如表1所示。可以看出，對于場景1和場景2，GIF&DDE平均梯度值最高，然而對于這兩個場景，GIF&DDE都有嚴重失真。除這兩個場景的GIF&DDE結(jié)果外，本文算法的平均梯度最高。相對于目前先進算法IADE，本文算法的平均梯度平均提高了35.3%。

表1 不同算法的平均梯度Tab.1 Average gradient of various algorithms

PIQE通過計算空間顯著區(qū)域的圖像失真來評價圖像質(zhì)量，PIQE越小表示圖像質(zhì)量越高，反之亦然。本文利用Matlab自帶的piqe（）函數(shù)計算各算法結(jié)果的PIQE值。圖6～8中不同算法的PIQE結(jié)果如表2所示。可以看出，在3種場景下本文算法的PIQE值均最小，這表示本文算法處理結(jié)果具有更高的圖像質(zhì)量。相對于目前先進算法IADE，本文算法的PIQE值平均提高10.7%。

表2 不同算法的PIQETab.2 PIQE of various algorithms

表3列出不同算法的運行時間，按平均運行時間從小到大排列，其中運行時間是10次運行的平均時間。可以看出，本文算法運行速度優(yōu)于TDDE2、BF&DRP和BF&DDE，劣 于 其 他4種算法。

表3 不同算法的運行時間Tab.3 Runtime of various algorithms （s）

綜上所述，相比于經(jīng)典和先進算法，本文算法不僅在3種場景下均獲得了視覺效果更好的結(jié)果，還獲得了更好的平均梯度和PIQE值，這說明本文算法處理效果具有更豐富的圖像細節(jié)和更高的圖像質(zhì)量。本文算法如何進一步加速以及如何在嵌入式平臺上實時處理，將是接下來需要研究的內(nèi)容。

5 結(jié) 論

本文提出一種基于自適應引導濾波的紅外圖像細節(jié)增強算法，利用設計的參數(shù)自適應引導濾波將輸入圖像分解成基礎層和細節(jié)層，利用平臺直方圖均衡化壓縮基礎層動態(tài)范圍，利用掩膜加權和γ變換抑制細節(jié)層噪聲并增強圖像細節(jié)。實驗選取了5種經(jīng)典和先進算法做對比，針對高動態(tài)范圍場景、復雜室外場景以及海天場景紅外圖像進行實驗。結(jié)果表明，本文算法具有較強的場景適應性，獲得了更好的增強效果；相比于目前先進算法，本文算法在平均梯度上平均提高35.3%，在基于感知的圖像質(zhì)量評價指標PIQE上平均提高10.7%。