基于引導濾波的高動態紅外圖像增強處理算法

葛 朋，楊 波，毛文彪，陳紹林，張巧燕，韓慶林

?

基于引導濾波的高動態紅外圖像增強處理算法

葛 朋，楊 波，毛文彪，陳紹林，張巧燕，韓慶林

（昆明物理研究所，云南 昆明 650223）

主要論述了一種基于引導濾波器圖像分層的高動態范圍紅外圖像增強算法，通過引導濾波器將原始紅外圖像分解成基本層和細節層，再對它們分別采用相應的γ變換進行壓縮，最后按照一定比例將兩部分重新合成，從而在保留圖像細節的同時有效地使紅外場景得到高動態灰度顯示。引導濾波器不依賴于濾波半徑與圖像灰度值范圍，執行效率更高，計算速度更快；另外，引導濾波器是局部線性模型，邊緣保持特性更好，能克服其他濾波器在圖像灰度變化比較劇烈的邊緣易出現梯度翻轉，造成圖像出現“偽邊緣”的缺陷。實驗結果表明，通過本算法增強后的紅外圖像，不論是人眼的主觀評價還是客觀評價，都具有較強的細節增強能力和較佳的視覺表現，且具有實時處理的前景。

引導濾波；紅外圖像；細節增強；高動態范圍

0 引言

紅外成像系統所面對的應用場景往往處在較大的溫度變化中，而目標與背景或目標局部的溫差卻相對較小，因此需要紅外成像系統不僅具有較高的空間和溫度分辨力，而且具有較大的信號動態范圍[1]。目前，對高性能紅外探測器的輸出信號進行采樣和量化的A/D通常都是14位或16位。這樣，對于一般場景，紅外圖像的灰度分布容易集中在較小的灰度范圍內，而在某些大動態場景中，其灰度往往分布在較大的灰度范圍內。

為了保證最終處理得到的圖像具有適當對比度和亮度，同時兼顧到顯示設備的圖像顯示，往往需要將紅外成像系統獲得的14位或16位原始數據壓縮到8位數據寬度。針對高性能紅外探測器的輸出數據是大動態范圍數據，而顯示器顯示圖像范圍為8位小動態范圍的矛盾問題，對探測器獲取的數據進行動態范圍壓縮就成了顯示圖像的必要環節。如果動態范圍壓縮方法使用不當，將導致原始高動態紅外圖像的某些信息得不到保留，也就是使最終得到的8位圖像難以復原出原始圖像中的某些目標或信號，從而造成高動態紅外圖像的細節丟失；另一方面，紅外成像圖像往往還存在一些缺陷，例如圖像邊緣模糊、整體偏暗、細節較難分辨、對比度低、噪聲較大等，這也對紅外目標識別與跟蹤應用帶來了困難[2]。

綜上所述，基于8位圖像數據的圖像處理已不能滿足高性能紅外探測器的需求，而基于14位或更高位數據的圖像處理技術已經成為高動態紅外圖像細節增強的重要發展趨勢之一。高位寬的原始數據能在最大程度上保存目標場景中的細節信息，但高位寬圖像的數據處理同時也對處理算法的處理速度、效率和有效性提出了更高的要求。

通過深入研究目前紅外圖像的常用細節增強處理算法，本文在圖像分層思想的基礎上提出了一種基于引導濾波的高動態紅外圖像細節增強處理算法。

1 基于引導濾波的紅外圖像增強算法

引導濾波是由He K. M. 等人提出的一種圖像濾波的新方法[3]，指出得益于通過積分圖來實現的盒式濾波器，它本質上具有O()的復雜度（為圖像總像素數），即引導濾波器的時間復雜度不依賴于濾波半徑與灰度值范圍，只與的大小有關。這樣，引導濾波器的執行效率更高，計算速度快；另外，引導濾波是局部線性模型，具有較好的邊緣保持特性，能克服其他濾波器在圖像灰度變化比較劇烈的邊緣易出現梯度翻轉，造成圖像出現“偽邊緣”的缺陷。

1.1 引導濾波

引導濾波是一種基于局部線性模型的邊緣保持平滑濾波器，其思想是將圖像中任一像素點與其部分鄰近像素點定義為線性關系，然后分別進行局部濾波處理，最終將所有局部濾波結果累加從而推導出全局濾波結果[4]。

如式(1)所示，原始圖像通過引導濾波后，將得到反映圖像輪廓部分的基礎層和反映圖像紋理細節和噪聲信息的細節層：

＝＋(1)

基礎層被定義為一個與引導圖像有關的線性模型。將待濾波紅外圖像設為，引導圖像記為，結果圖像記為，則引導濾波的局部線性模型表示如下：

q＝aI＋b,"?(2)

式中：為引導圖像上某一點處的像素；是以中心為點、半徑為的局部窗口；a和b是引導圖像在內的線性系數。對式(2)等式兩邊取導數得：

?＝?(3)

從式(3)可知，輸出圖像與引導圖像擁有相似的梯度，從而驗證了引導濾波具有良好的圖像邊緣保持特性。

引導濾波的核心在于，求得線性函數的兩個系數a和b的最優解，使輸入圖像最接近的輸出圖像，采用線性回歸的方法，使輸入圖像與擬合函數的輸出值之間的差值達到最小，在窗口內，其代價函數為：

式中：為規整化因子，它用于規整掉值很大的a。經計算，對應的a和b分別為：

1.2 基于引導濾波的細節增強算法

傳統的紅外圖像細節增強方法主要有高頻增強和非銳化掩模等，其處理方法可以分別表示為式(8)和式(9)：

out(,)＝(,)＋×H[(,)] (8)

out(,)＝(,)＋×{(,)－L[(,)]} (9)

式中：out(,)為處理輸出圖像，(,)是原始輸入圖像，為強調圖像細節的比例因子，控制細節增強的效果，H和L分別表示圖像銳化和平滑濾波過程。常用的空間平滑濾波器則包括平板濾波器、高斯濾波器等；而常用的銳化濾波器包括Sobel濾波器、拉普拉斯濾波器等。基于高頻增強和非銳化掩模的圖像細節增強方法的優勢在于其處理簡單易行，但是其在增強高頻細節的同時，往往也會放大圖像噪聲，另外，濾波器在獲取圖像高頻信息并疊加的過程中容易在圖像邊緣處產生偽像。

偽像常表現為光暈和梯度反轉兩種現象：光暈現象是指，原始圖像經過某些平滑濾波器后，邊緣灰度變化劇烈的區域往往會被平滑，這樣就會造成在得到的圖像細節層邊緣處產生一個灰度跳變，這個跳變再次疊加到之前經過濾波器得到的平滑層上，就會導致合成圖中的邊緣兩邊比原始圖像更亮或者更暗；梯度反轉是指，圖像邊緣灰度變化劇烈的區域經過某些銳化濾波器處理后，得到的細節層邊緣處的灰度往往會發生翻轉，這個翻轉經過二次疊加，這樣會導致最終增強結果圖的圖像邊緣出現亮暗交替的“圈”[2]。

基于引導濾波的高動態范圍紅外圖像增強算法的處理方法是通過引導濾波器將原始紅外圖像分解成基礎圖和細節圖兩個部分，再對它們分別采用相應的γ變換進行壓縮，最后按照一定比例將兩部分重新合成，從而在保留圖像細節的同時有效地使紅外場景得到高動態灰度顯示。如圖1所示，是基于引導濾波的高動態范圍紅外圖像增強算法流程圖。

圖1 本文增強算法流程圖

假設(,)為原始高動態紅外圖像，基于引導濾波的高動態紅外圖像增強算法可表示為：

out(,)＝(1－)×[base(,)]＋×[detail(,)] (10)

式中：out(,)代表處理后的輸出圖像；base(,)是(,)經過引導濾波器處理后得到的圖像基本層；detail(,)＝(,)－base(,)表示經過本文算法處理后得到的圖像細節層；函數[]表示14位高動態紅外圖像進行非線性映射壓縮到8位灰度范圍；為圖像基本層與細節層合成時細節層所占比例。

2 實際紅外圖像處理與評價

為了驗證本文算法的有效性，對多種紅外圖像增強算法進行對比試驗。如圖2所示，圖中(a)、(b)、(c)、(d)分別為傳統高頻增強、非銳化掩模算法增強效果和引導濾波增強處理效果對比圖，原始圖像為制冷型640×512碲鎘汞中波紅外焦平面探測器對人和烙鐵所成圖像，其ADC分辨率為14位。圖(a)為經過自適應增益控制（Automatic Gain Control，AGC）線性映射后所得到的圖像，圖(b)是采用高斯濾波器（濾波窗口為3×3，標準差為0.9）進行非銳化掩模處理后得到的圖像，圖(c)是采用拉普拉斯濾波器進行高頻增強處理后得到的圖像，圖(d)是采用本文提出的基于引導濾波分層的圖像增強算法處理后得到的圖像。從圖中可以清楚地觀察到，圖(b)和圖(c)經過處理后圖像的細節均得到增強，特別是人的眉毛、頭發、衣服等細節都有較好的體現，但是對于烙鐵四周具有強邊緣處分別出現了“光暈”和“梯度翻轉”現象，這也是上述分析中指出的基于高頻增強和非銳化掩模的圖像細節增強方法容易在邊緣產生偽像；圖(d)是本文算法得到的增強效果圖，其中引導濾波半徑＝3，規整化因子＝0.001，圖像基層和細節層映射到8bit范圍所取伽馬變換的B和D分別為1.5和0.8，圖像基層和細節層合成權重為0.4，從圖中可以看出，不僅人的細節得到了更好的體現，對于烙鐵強邊緣處也沒有出現“光暈”和“梯度翻轉”現象，這是因為引導濾波是局部線性模型，輸出圖像與輸入圖像有相似的梯度，具有較好的邊緣保持特性，能克服其他濾波器在圖像灰度變化比較劇烈的邊緣易出現梯度翻轉，造成圖像出現“偽邊緣”的缺陷。

采用圖像信息熵評價指標對4種處理效果進行客觀評價，結果如表1所示。圖像信息熵是衡量圖像信息的一個重要指標，對于二維灰度圖像而言，若不考慮某灰度在二維空間的具體位置，單從圖像的灰度層次來看，信息熵值越大，圖像所含的信息量越大[6]。從結果中可以發現本文算法的處理結果具有最高的信息熵值，說明經過本文算法處理后，得到的圖像信息量確實變多了，這也與實際主觀感受一致。

表1 不同算法處理結果的信息熵對比

另外，為了進一步驗證本文算法的有效性，對比了在紅外圖像動態壓縮中使用廣泛的雙邊濾波與本文算法的增強效果。雙邊濾波也是一種具有邊緣保持性能的非線性濾波器，其特點是以高斯濾波器為基礎，通過空域鄰近度高斯核函數與值域相似度高斯核函數相乘來構造雙邊濾波核，用對鄰域像素進行加權所得到的像素值來代替當前像素值，從而實現濾波的目的[7]。如圖3所示為本文算法和雙邊濾波壓縮算法對高動態紅外圖像增強效果圖對比，其中雙邊濾波器半徑＝4，空域濾波核均方差s＝2，強度域均方差d＝0.02；引導濾波器半徑＝4，規整化因子＝0.001。對比圖3(a)、(b)、(c)，從圖中可以看出經過雙邊濾波算法和本文算法增強后，相較于原始圖像AGC的圖像細節均得到了較好地增強，特別是建筑物、窗戶等細節都得到更好體現，遠處塔尖輪廓清晰，近處水箱上的“良機”商標清晰可見。雙邊濾波器的一個缺陷就是它跟其他濾波器一樣在圖像灰度變化比較劇烈的邊緣易出現梯度翻轉，如圖3(d)、(e)、(f)所示為3種處理算法增強局部圖，對比后發現雙邊濾波算法處理后在圖中“水管”邊緣處出現了較強的“偽邊緣”，而本文算法具有良好的邊緣保持特點。

圖2 不同算法增強處理結果對比

圖3 雙邊濾波算法與本文算法處理結果對比

雖然雙邊濾波算法和本文算法一樣能取得較好地細節增強效果，但是經過深入研究，雙邊濾波算法的時間開銷遠遠大于本文算法。在Matlab平臺下對引導濾波和雙邊濾波的處理速度分別進行了模擬，表2給出了在不同濾波半徑下雙邊濾波和引導濾波在Matlab 2010平臺下的運行時間。實驗結果表明，隨著濾波半徑的增大，雙邊濾波的計算復雜度會隨之增大，而引導濾波的計算復雜度保持不變；當濾波半徑為6像素時，雙邊濾波處理時間已經超過1s，而引導濾波處理方法的處理時間則可以保持在較少的時間內。鑒于引導濾波的算法復雜度與濾波半徑無關，在處理尺寸較大的紅外圖像的時候將極具優勢。

表2 不同濾波半徑條件下雙邊濾波和引導濾波處理時間

為了進一步測試本文算法的實用性，采集了圖4所示的室內高動態范圍紅外目標場景圖像，其中人物手中的電烙鐵的溫度大約為550K。圖(a)、(b)、(c)、(d)分別表示自動增益控制處理后原始圖像的壓縮圖像、雙邊濾波算法增強圖像、非銳化掩模算法增強圖像和本文引導濾波算法增強圖像。通過對比可以發現經過雙邊濾波和本文算法增強后的圖像，均包含了豐富的細節信息，特別是與烙鐵溫度差異200K的窗戶和轉椅等都能有很好的細節體現。其中雙邊濾波方法較好地提取了目標場景中的人物的細節特征，并且人物的紋理特征等信息清晰可見，但對于目標場景中的強邊緣抑制效果不好，以致人的外輪廓處出現了明顯的“偽邊緣”現象，表現在圖像上是一條明顯的邊界線；而采用本文算法處理后，圖像展現了豐富的場景細節特征和目標輪廓，對比雙邊濾波中人的外輪廓可以發現，本文算法有效地避免了“偽邊緣”的產生，增強后的圖像更為自然；而采用非銳化掩模的算法沒有產生較好的增強效果，場景細節體現不佳。采用圖像信息熵評價指標對這4副圖像進行客觀評價，結果如表3所示，從結果中可以發現本文算法的處理結果具有最高的信息熵值，信息熵值越大表明圖像信息量越多，從而客觀說明了本文算法對目標場景的細節具有良好的增強效果。

圖4 不同算法效果對比

表3 不同算法處理結果的信息熵對比

3 結論

針對傳統的高頻增強和非銳化掩模算法在增強圖像細節的同時，容易造成增強圖像出現“偽邊緣”和“光暈”的問題，提出了一種基于引導濾波的紅外細節增強算法，該算法能克服這種“偽像”缺陷。同時，通過Matlab平臺對實際紅外圖像進行不同算法處理的仿真，結果表明本文算法對于對比度低、動態范圍大、細節豐富的紅外圖像增強效果明顯。

本文采用的引導濾波器與雙邊濾波器具有相當的圖像細節增強效果，但是由于引導濾波器是局部線性模型，具有更好的邊緣保持特性，能克服雙邊濾波器在圖像灰度變化比較劇烈的邊緣易出現梯度翻轉，造成圖像出現“偽邊緣”的缺陷；并且引導濾波器不依賴于濾波半徑與圖像灰度值范圍，執行效率更高，計算速度快，處理尺寸較大的紅外圖像極具優勢，具有實時處理的前景，該方向的應用還有待進一步深入研究。

[1] 金偉其, 劉斌, 范永杰, 等. 紅外圖像細節增強技術研究進展[J]. 紅外與激光工程, 2011, 40(12): 2521-2527.

JIN Weiqi, LIU Bin, FAN Yongjie, et al. Review on infrared image detail enhancement techniques[J]., 2011, 40(12): 2521-2527.

[2] 詹筱. 高動態范圍紅外圖像壓縮的細節增強算法研究[D]. 南京: 南京理工大學, 2014.

ZHAN Xiao. Research on the details of the high dynamic range infrared image compression enhancement algorithm[D]. Nanjing: Nanjing University of Science and Technology, 2014.

[3] HE K, SUN J, TANG X. Guided image filtering[J].e, 2013, 35(6): 1397-1409.

[4] 謝偉, 周玉欽, 游敏. 融合梯度信息的改進引導濾波[J]. 中國圖象圖形學報, 2016, 21(9): 1119-1126.

XIE Wei, ZHOU Yuqin, YOU Min. Improved guided image filtering integrated with gradient information[J]., 2016, 21(9): 1119-1126.

[5] 顏奇歡. CCD圖像寬動態范圍顯示算法研究及其硬件實現[D]. 南京: 南京理工大學, 2015.

YAN Qihuan. Wide dynamic range image display algorithm of CCD and its hardware implementation[D]. Nanjing: Nanjing University of Science and Technology, 2015.

[6] 劉斌, 金偉其, 王嶺雪, 等. 基于空域和頻域處理的紅外圖像細節增強算法[J]. 紅外技術, 2011, 33(8): 477-482.

LIU Bin, JIN Weiqi, WANG Lingxue, et al. Infrared image detail enhancement based on the spatial and frequency domain processing[J]., 2011, 33(8): 477-482.

[7] 都琳, 孫華燕, 張延華, 等. 基于相機響應曲線的高動態范圍圖像融合[J]. 計算機工程與科學, 2015, 37(7): 1331-1337.

DU Lin, SUN Huayan, ZHANG Yanhua, et al. High dynamic range image fusion based on camera response function[J]., 2015, 37(7):1331-1337.

High Dynamic Range Infrared Image Enhancement Algorithm Based on Guided Image Filter

GE Peng，YANG Bo，MAO Wenbiao，CHEN Shaolin，ZHANG Qiaoyan，HAN Qinglin

(,650223,)

This paper analyzes a new high dynamic range infrared image enhancement algorithm, based on a guided image filter with hierarchical techniques. This algorithm adopts a base component and a detail component extracted by the guided image filter, and the two components are compressed through gamma transform to fit the dynamic display range, and then recombined to obtain the output enhancement image. Independence from the filter radius and the image gray value range increases the execution efficiency and calculation speed of the guided filter technique. In addition, guided filter is a local linear model with better edge-keeping, which allows it to avoid in curring gradient flip and causing “pseudo edge” on the edge of the image, where the gray-level change is dramatic, unlike other filters. The experiments described in this paper show that image enhancement using this algorithm results in strong detail enhancement and better visual performance, regardless of subjective(human eyes) or objective evaluation. Moreover, this algorithm also has the potential for use in real-time processing.

guided image filter，infrared image，detail enhancement，high dynamic range

TN911.73

A

1001-8891(2017)12-1092-06

2017-04-21；

2017-05-30.

葛朋（1992-），男，碩士研究生，主要研究方向為紅外圖像處理技術。E-mail：542851112@qq.com。