基于視覺顯著區域的紅外圖像增強算法研究

汪 忱，張寶輝，王 虹，李中文

?

基于視覺顯著區域的紅外圖像增強算法研究

汪 忱1，張寶輝2，王 虹1，李中文2

（1. 南京理工大學 電子工程與光電技術學院，江蘇 南京 210094；2. 北方夜視科技集團有限公司南京研發中心，江蘇 南京 211106）

人眼對于感興趣區域的視覺關注度更高，為了實現對相關區域的圖像增強，本文提出了基于視覺顯著區域的紅外圖像增強算法。本算法通過去霧預處理使圖像在檢測時獲取更加完整的顯著性區域，再對該區域采用分層差分表達理論，把高層的差分向量換算到低層，最終計算顯著性區域的差分向量以及圖像的全局變換函數，實現圖像增強。實驗結果表明，本文算法對顯著性區域的增強效果明顯，合理地突出了顯著性區域，增強圖像的同時對原圖邊緣細節的保持能力很好。

視覺顯著性；分層差分表達理論；紅外圖像增強；去霧

0 引言

由于紅外成像具有環境適應性強、隱蔽性好、抗干擾能力強等優點，被廣泛應用于監控、偵查和醫療等軍民領域，但由于自身硬件設備的限制和環境的干擾，圖像的成像質量不高，通常表現為視覺效果模糊、對比度低、細節和紋理缺乏。因此對紅外圖像進行增強處理是必不可少的[1]。

常見的圖像增強方法可分為空域增強和頻域增強兩大類，其中空域增強算法有灰度變換和直方圖均衡化（Histogram Equalization，HE）以及各種基于此改進的算法，如平臺直方圖增強（Plateau Histogram Equalization，PHE）、對比度受限的直方圖均衡化（Contrast Limited Adaptive Histogram Equalization ，CLAHE）等；頻域增強算法主要有小波變換、基于對數運算的Retinex算法等[2]。直方圖均衡化算法簡單快捷，但其在增強目標細節的同時也增強了圖像中噪聲的對比度，會使增強后的圖像灰度級減少，出現較大的噪聲；平臺直方圖均衡化設置了上下限平臺，對細節有所增強，但其本質還是直方圖均衡化，同樣會導致部分區域出現過增強現象[3]。

對于一幅場景來說，人眼通常會被這個場景中某些與周圍環境有一定差異性的局部所吸引，這些局部對于這個場景來說就屬于顯著性區域。如果能夠在考慮人眼視覺特性的基礎上進行增強處理，那么對圖像處理結果的主觀質量和客觀評價無疑會有明顯的提高[4]。視覺顯著區域檢測一般分為兩類，一種是自下而上的區域檢測，該模型不需要人的主觀認識或習慣進行引導；另一種是自上而下的區域檢測，該模型考慮了人的視覺任務以及人在不同場景下對目標的感知。1998年的itti模型[5]以及本文采用的顯著性濾波（Saliency Filters，SF）算法都是屬于自下而上模型，相比自上而下的模型處理速度會快很多。本文提出一種針對視覺顯著性區域的圖像增強算法，先通過SF算法檢測出圖像中的顯著性區域，再結合該區域和非顯著性區域的圖像信息得到全局函數，增強圖中的顯著性目標。

1 本文算法思路

在實際觀測過程中，人眼對感興趣的區域關注度更高，在計算機視覺中一般稱之為顯著性區域[6]。為了實現對顯著性區域的有效增強，本文采用一種基于顯著性區域紅外圖像增強算法。該算法首先檢測圖像中的顯著性區域，然后分析該區域的差分信息，計算差分向量并對其進行高斯濾波，再把得到的差分向量與非顯著性區域的向量加權融合得到圖像的變換函數，重建后實現對顯著性區域的增強。由于紅外探測器接收鏡頭自身問題以及外界各種物體所產生的散射等影響，造成紅外圖像表面會出現“霧”一樣的現象，表面有霧的紅外圖像會出現視覺效果模糊、對比度低等缺點，導致顯著性檢測準確度降低，因此本文對圖像進行去霧預處理，再檢測其顯著性區域。全文算法模型如圖1所示。

圖1 本文算法流程圖

具體可分為4個部分：紅外圖像預處理、顯著性區域檢測、顯著性區域差分向量計算和獲取、全圖灰度映射。

1.1 紅外圖像預處理

本文結合偽暗通道與大氣散射模型[8]，建立如下紅外去霧模型：

1()＝1()1()＋1(1－1()) (2)

重新定義大氣散射模型中的參數：1()為未進行去霧處理的紅外圖像；1()為去霧處理后的紅外圖像；1()為紅外光的透射率；1為環境大氣光值。

同時對1()和1()進行偽暗通道處理得：

根據式(1)可知去霧后場景區域的偽暗通道值min(())近似為0。進而可以得到透射率1()：

根據式(2)推導出最終去霧后的圖像為：

式中：0是為了防止1()過小，導致1()偏大，從而設置的一個閾值。由于紅外圖像是單通道灰度圖，僅按照參考文獻中取偽暗通道中亮度前1%的像素會導致取值過少，不能很好的表達全圖，因此本文取亮度前3%的像素，對應原圖灰度值中最大的作為1的值。

1.2 顯著性區域檢測

SF算法顯著性區域檢測是把圖像的一些低層特征（如亮度，顏色，方向，形狀等）分別表示出來，屬于一種基于對比度濾波的顯著性區域檢測算法，分為4個步驟：抽象分割，元素唯一性，元素空間分布以及顯著性分配[9]。

在CIELab空間下，SF算法利用鄰近聚類法進行分割，將圖像中局部相似的區域聚合，稱之為元素，把一幅圖像由像素級變換成元素級。接著對于已分割好的圖像進行元素唯一性計算，單個元素與其他元素差異越大，U值越大，那么其顯著性也就越高。背景的顏色一般分布在圖像的各個部分，而前景的顏色會集中在少數的幾個部位。設第個元素的空間分布頻率為D，如果該元素在圖像上出現的頻率小，說明其顯著性比較高，只有當該元素的唯一性大且元素的空間分布頻率小，才會被認為其屬于顯著性區域。通過前兩步得到的U和D，將這兩個顯著性特征值歸一化，融合得到每個元素的最終顯著性S，由于空間分布值D的區分度更高，SF算法將D放在指數位置：

S＝U×exp(－×D) (6)

最后，把圖像由元素級變換回像素級，利用高斯濾波計算每個像素的顯著性：

圖2將SF算法與itti算法對顯著區域檢測效果對比，可見SF算法在邊緣保持方面比itti算法好很多，顯著區域的輪廓基本保持。對圖像去霧后再用SF算法檢測，可以將更多細節部分的邊緣突顯出來，檢測更加完善。

圖2 不同算法檢測顯著性區域的結果

1.3 顯著性區域差分向量計算和獲取

接著對顯著區域進行差分向量分析統計[10]，以8位圖像為例，＝[0;1; …;255]表示將輸入圖像中的灰度級映射到輸出圖像中的x的變換函數。假設圖像中一對相鄰的像素灰度值為和＋1，被映射到輸出圖像上灰度級為x和x＋1，則第層的差分向量d定義式為：

變換函數和差分變量d的關系結構如圖3所示，令(,＋1)為輸入圖像中灰度值為和＋1的相鄰像素對的數量，(,＋1)越大表示這對相鄰灰度級在圖像中出現越頻繁，因此，可以通過增大d的值來突出圖像的對比度，對于每一層來說，d和(,＋1)是成正比例的：

d＝(,＋1) (9)

式中：為第層一個歸一化常量，定義式為：

根據各層的差分直方圖可以計算出d，再通過層與層之間的關系，建立如下線性方程：

＝(11)

本文考慮金字塔結構中層與各層的內在聯系，選取固定層作為基層，并將其他層的差分向量轉換到基層上[11]。然而，這種方法對基層的選擇要求嚴格，如果基層選擇過高，會導致舍棄的低層過多，丟失部分信息，經過大量紅外圖像實驗表明，當基層選擇第二層時，僅舍棄第一層的數據，留下有效的差分信息與原始圖像的最為接近，最終丟失信息不明顯且增強效果最好。聯系式(8)可得其他各層與第二層的轉換公式為：

由于基層選擇的是第二層，只用解一次線性方程就能得到所需要的總體差分向量，即只需要解22＝2，用線性方程表示即為：

通過計算上式，可得總體差分變量y。由于式(7)中的(,＋1)通常隨著層數的變高而變得更加稀疏，當取值較大時，d會變成僅由大多數零和幾個高峰組成的稀疏解。這會使增強圖像出現像傳統HE算法中噪聲放大和對比度過度拉伸的情況，為了消除這個問題，本文對y進行一次高斯濾波：

式中：*代表卷積運算，g是層的高斯核，本文對該高斯核窗口大小取7，標準差取2。

1.4 全圖灰度映射

是通過對顯著性區域進行差分信息分析統計得到的，是針對顯著性區域的差分向量，為了防止非顯著性區域出現過度增強，本文定義一個非顯著性差分向量為1，即由255個1組成的差分向量，再對加權并與其相加，得到總體差分向量為：

式中：在本文中取定值0.15。

最后，累加總體差分變量求得全局變換函數，進行全局灰度變換：

其中令0＝0。

2 實驗結果和算法對比

為驗證本文算法的實用性，引入直方圖均衡化、對比度受限的直方圖均衡化和分層差分表達理論（Layered Difference Representation，LDR）算法分別從客觀評價標準和主觀視覺兩個方面與之對比。同時采用邊緣保持指數（Edge Preservation Index，EPI）[12]、局部對比度（Local Contrast，LC）[13]作為圖像的客觀評價標準，EPI代表增強圖像對原圖像邊緣的保持能力，EPI值越大表示該算法對原圖像的邊緣細節保持能力越好，其函數公式為：

式中：A，C分別代表原圖像的像素點和增強后的圖像像素點；AN，CN表示A,C相鄰像素點的灰度值；局部對比度是將圖像分為若干個×的尺寸相等的區域，然后計算各區域的累加值，其函數定義式為：

式中：(,)為區域局部對比度。

圖4 第一組不同增強算法比較

圖5 第二組不同增強算法比較

表1 圖4、圖5的客觀評價指標比較

由表1可以清晰地看出，HE、CLAHE、LDR三種算法在邊緣保持能力方面遠沒有本文算法好。同時從顯著性區域與整體對比度方面來看，CLAHE對如圖4的近景增強效果略好，而HE和LDR兩種算法沒有能夠將顯著區域與整體的對比度提高，本文算法有效地提高了顯著區域局部對比度，把顯著區域從背景中突出。

圖4、圖5為各算法結果圖，其中顯著性區域圖為去霧后顯著性檢測得到的。經過HE算法處理后的圖像，會出現部分區域增強過度，如圖4左下角和圖5右側的玻璃墻區域，導致了部分區域細節丟失。CLAHE是對HE進行改進，有效限制了輸出圖像的全局對比度，再對局部采取對比度增強，對區域細節的增強效果良好，但是其本質還是HE算法原理，在對目標區域增強的同時，會出現對背景的過度增強，如天空區域等，整體的視覺效果不好。LDR通過統計圖像中灰度差，并放大出現頻率大的灰度差，有效地增強了圖像中的細節部分，但是由于LDR算法在計算差分向量時沒有考慮層與層之間的聯系，變換函數會受到高層差分向量轉換的影響，導致部分細節增強出現偏差，如圖4中右下角和左下角區域，圖5中遠處建筑物中的部分細節。本文算法對檢測到的顯著性區域進行分層差分表達，增強顯著性區域的細節信息，同時保持非顯著性區域的整體特征，得到的增強圖像，顯著性區域細節增強效果好，且與非顯著性區域對比明顯，很好地突出了視覺性顯著性區域的特征。圖6為更多圖像的算法效果對比。

3 總結

為了突出視覺顯著性區域，并對其進行有效的增強處理，使增強后的圖像更加適合人眼觀測。本文提出了一種基于顯著性區域檢測的紅外圖像增強算法，該算法利用去霧模型對圖像預處理，使顯著性區域在檢測時更加完整；再對檢測出的顯著性區域采用分層差分表達算法統計分析，將高層差分向量向低層進行換算，計算出顯著性區域的差分變量，并與保持非顯著性區域特征的向量相加得到全圖差分變量，進而求得全局變換函數，最終實現圖像增強。經過實驗對比，本文算法對圖像的處理更適合人眼觀測，有效地對顯著性區域進行細節增強，同時在增強圖像的過程中很好地保持了原圖的細節邊緣。

圖6 各種算法增強結果

Fig.6 Enhanced results of various algorithms

[1] 陳錢. 紅外圖像處理技術現狀及發展趨勢[J]. 紅外技術, 2013, 35(6): 311-318.

CHEN Qian. The Status and Development Trend of Infrared Image Processing Technology[J]., 2013, 35(6): 311-318.

[2] 張立強. 紅外圖像增強技術發展研究[J]. 艦船電子工程, 2013, 33(3): 17-19.

ZHANG Liqiang.Development of the Infrared Image Enhancement Technology[J]., 2013, 33(3): 17-19.

[3] 郭師虹. 空域紅外圖像增強方法的研究[D]. 西安: 西安建筑科技大學, 2005.

GUO Shihong. Study of Infrared Image Enhancement Methods Based on Spatial Domain[D].Xi'an: Xi'an University of Architecture and Technology, 2005.

[4] 于天河, 郝富春, 康為民, 等. 紅外圖像增強技術綜述[J]. 紅外與激光工程, 2007, 36(z2): 335-338.

YU Tianhe, HAO Fuchun, KANG Weimin, et al.Summarization on the infrared image enhancement technology[J]., 2007, 36(z2): 335-338.

[5] L. Itti, C. Koach, Niebur. A model of saliency-based attention for rapid scence analysis[J]., 1988, 20(11): 1254-1259.

[6] 陳曦. 基于特征點最小凸包與對比度的顯著性檢測算法研究[D]. 重慶: 重慶大學, 2015.

CHEN Xi.Salient Region Detection Algorithm Based on Minimum Convex Hull of Feature Points and Contrast[D]. Chongqing: Chongqing University, 2015.

[7] He K, Sun J, Tang X. Single Image Haze Removal Using Dark Channel Prior[C]//2013,, 2009: 1956-1963.

[8] Nayar S K, Narasimhan S G. Vision in bad weather[C]//, 1999(2): 820-827.

[9] F. Perazzi, P. Krahenbuhl, Y. pritch, et al. Saliency Filters: Contrast Based Filtering for Salient Region Detection[C]//, 2012, 157(10): 733-740.

[10] Lee C, Lee C, Kim C S. Contrast enhancement based on layered difference representation of 2D histograms[J].2013, 22(12): 5372-84.

[11] 耿愛輝, 萬春明, 李毅, 等. 基于分層差分表達理論的圖像視覺增強[J]. 電子與信息學報, 2017, 39(4): 922-929.

GENG Aihui, WAN Chunming, LI Yi, et al. Image Visual Enhancement Based on Layered Difference Representation[J]., 2017, 39(4): 922-929.

[12] 張微, 孫蓉樺, 章孝燦. 基于改進的小波軟閾值法的SAR圖像去噪[J]. 遙感信息, 2004(4): 4-6.

ZHANG Wei, SUN RongHua, ZHANG XiaoCan.Noise Removal of SAR Image Based on Improved Wavelet Soft-Thresholding Method[J]., 2004(4): 4-6.

[13] 李毅, 張云峰, 張強, 等. 基于去霧模型的紅外圖像對比度增強[J]. 中國激光, 2015, 42(1): 306-314.

Li Yi, Zhang Yunfeng, Zhang Qiang, et al. Infrared Image Contrast Enhancement Based on Haze Remove Method[J].2015, 42(1): 306-314.

Research on Infrared Image Enhancement AlgorithmBased on Visual Saliency

WANG Chen1，ZHANG Baohui2，WANG Hong1，LI Zhongwen2

(1.,,210094,; 2.,.,,211106,)

The human eye has a higher degree of visual acuity for regions of interest. In order to enhance such regions in images, this paper proposes an algorithm of infrared image enhancement based on visual saliency. First, the de-fog algorithm detects a more complete salient region in the image. Then, the theory of layered difference representation is applied to the region, and the difference vector of the upper layer is applied o the lower layer. Finally, the vector of the salient region and the global transform function of the image are calculated to obtain the enhanced image. The experimental results show that the proposed method not only highlights the salient region reasonably well, but also enhances it. The method also maintains the boundary of the original image during enhancement.

visual saliency，layered difference representation，infrared image enhancement，De-fog

TP391

A

1001-8891(2017)09-0835-06

2017-06-17；

2017-08-29.

汪忱（1993-），男，安徽合肥人，工程碩士，主要從事圖像處理方面研究。E-mail：sanyuewang@163.com