改進多尺度的Retinex紅外圖像增強

魏然然， 詹偉達， 朱德鵬， 田 永

(長春理工大學 電子信息工程學院，吉林 長春 130022)

1 引 言

近年來，紅外成像系統由于具有良好的隱蔽性、較強的抗干擾能力以及可晝夜工作等特點而被廣泛應用在軍事和民用領域[1-3]。紅外圖像在獲取時由于受到紅外成像系統器件性能及波長等因素的影響，常常會表現出對比度較低、邊緣細節不突出、視覺效果模糊等缺點[4]。這些缺點將嚴重影響到后續紅外圖像的觀察、目標識別和目標探測等工作。因此，利用紅外圖像增強算法增強圖像對比度、細節等已成為一種必不可少的圖像處理操作。

常用的紅外圖像處理算法包括空域算法和頻域算法。空域算法包括直方圖均衡化算法和灰度變換等；頻域算法包括傅里葉變換、小波變換、Culvelet變換和Contourlet變換等[5]。雖然這些算法都可以或多或少地對紅外圖像進行增強，但也存在一些缺點，如直方圖均衡化算法和灰度變換在對紅外圖像增強的同時會放大噪聲。Land等人首次提出Retinex理論，Retinex理論是一種非線性算法，其處理紅外圖像時可以在保留細節信息的同時降低圖像噪聲[6]。在Land的理論基礎上，Jobson等人提出了一種單尺度的Retinex算法(SSR)，因為該方法只有一個參數，故其不能很好地兼顧動態范圍壓縮和色感一致性[7]。為了改進SSR算法，Rahman等人隨后提出了多尺度Retinex算法(MSR)[8]。在該算法的基礎上研究者們提出了一系列的改進算法。劉輝等人改進傳統MSR算法，將算法中的指數用灰度線性拉伸代替，該算法雖然可以提高圖像的對比度，改善圖像的視覺效果，但其在操作過程中會擴大圖像噪聲，同時產生“光暈”現象[9]。張承泓等人使用自適應引導濾波器代替MSR算法中的高斯濾波器，該改進算法可以較好地去除圖像中的“光暈”和噪聲[10]。本文在前人研究的基礎上，將改進引導濾波器模型使用到傳統MSR算法中，以提出一種新的紅外圖像增強算法。

2 基礎理論

2.1 多尺度Retinex理論

根據多尺度Retinex理論，一幅紅外圖像I(x,y)可以由入射分量L(x,y)和反射分量R(x,y)乘積得到，其數學表達式如下所示：

I(x,y)=L(x,y)R(x,y)

(1)

對式(1)兩邊同時取對數可得：

lnI(x,y)=ln(L(x,y)R(x,y))=
lnL(x,y)+lnR(x,y)

(2)

當L(x,y)=I(x,y)*G(x,y)時，反射分量可表示為：

lnR(x,y)=lnI(x,y)-
ln(I(x,y)*G(x,y))

(3)

式中，*表示卷積運算，G(x,y)為高斯濾波函數，其定義為：

(4)

式中，λ為滿足時的歸一化常數，δ為環繞參數。

式(3)又被稱為單尺度Retinex算法(SSR)。由式(3)和式(4)可以看出，SSR只有單一的參數δ，該算法不能同時兼顧動態范圍壓縮和色感一致性。為了解決這一問題，研究者們提出了多尺度Retinex算法(MSR)，其主要思想是對每個尺度的SSR結果進行不同權重的加權平均，其數學表達式為：

(5)

2.2 引導濾波

引導濾波器可以對圖像進行線性濾波，其具有一定的邊緣保持特性[11]。其數學模型如下：

qi=akIi+bk，?i∈ωk

(6)

式中，qi為輸出圖像；Ii為引導圖像；i、k表示像素索引；ωk為半徑為r的局部方形窗口；ak和bk為ωk對應的線性系數。

對式(6)兩邊同時求梯度可得：

qi=aIi

(7)

式中，a為常數。

由式(7)可以看出qi與Ii具有相似的邊緣梯度，而Ii的邊緣平滑程度取決于ak。為了確定其值，需要使qi與pi的差異最小，則其代價函數如下所示[10]：

(8)

式中，ε為防止ak和bk過大的正則化因子。

利用線性回歸法求解式(8)取最小值時，ak和bk的值為：

(9)

(10)

式中，|ω|為ωk中像素的數量；δk和μk為ωk中Ii的標準差和均值。

假設Ii=pi，則式(9)和式(10)可化為：

(11)

bk=μk(1-ak)

(12)

對式(6)、式(11)、式(12)進行分析可得，當ε=0時，ak=1，bk=0，故此時圖像保持不變；當ε?δk時，ak≈0，bk≈μk，qi≈μk，故當ωk處于低方差區域時，原始圖像得到了平滑處理；當ε?δk時，ak≈1，bk≈0，qi≈Ii，故當ωk處于高方差區域時，圖像可以進行邊緣保持操作。由以上操作可以看出,ε大小可以決定圖像被平滑的程度，故ε又被稱為平滑因子，對比高斯濾波的特點，引導濾波器也有決定其大小的尺度因子s。

3 本文算法

紅外圖像在獲取時由于受到紅外成像系統器件性能及波長等因素的影響，常常會表現出對比度較低、邊緣細節不突出、視覺效果模糊等缺點。傳統的MSR在解決這些問題時，會出現光暈現象和放大噪聲等問題。為了解決這些問題，本文提出一種改進的MSR算法對紅外圖像進行圖像增強。設待增強的紅外圖像為F(x,y)，增強后的紅外圖像為f(x,y)，改進引導濾波器輸出的入射分量為L(x,y)，經過MSR計算得到的反射分量為R(x,y)，增強后的入射和反射分量分別為l(x,y)和r(x,y)，其具體算法實現框圖如圖1所示。

圖1 本文算法實現框圖Fig.1 Algorithm block diagram of this paper

3.1 入射分量估計

傳統多尺度Retinex算法在圖像邊緣發生躍變處，不能精確估計光照分量即反射分量，進而產生“光暈”現象。為了解決這一問題，本文采用具有保邊平滑的改進引導濾波器代替傳統的高斯濾波器對光照層進行精確估計。

引導濾波器與高斯濾波器相比，雖然可以改善圖像中的“光暈”現象，但其每個窗口對權重的取值均相同，沒有考慮每個窗口的灰度差異。針對這一不足，對引導濾波器進行改進，具體方法為：首先計算窗內每個像素點的均值、標準差、平均梯度來作為該點特征，然后根據第k次的該點特征來求得權重值，最后對輸出的引導圖像加權平均。

圖像像素點的均值、標準差、平均梯度定義如下：

(13)

(14)

(15)

則權重值為：

(16)

(17)

式中，Uk(i,j)為質量測度，其由上述均值、標準差、平均梯度的一個或多個組成。對不同圖像進行處理時，其側重點不同，α，β，γ取值不同。α，β，γ其值可以為0或1。當α，β，γ中一個或兩個為0時，說明圖像的質量測度不采用此特性；當α，β，γ其中一個或全部為1時，表明此特性占有很大權重，圖像的質量測度采取此特性。ε為一個很小的正數。

改進引導濾波輸出圖像為：

(18)

式中，Lk(i,j)為3次引導濾波對應的輸出圖像。

將原始圖像F和引導圖像I通過改進引導濾波器處理后得到輸出圖像即入射圖像L為：

L=L(F,I)

(19)

式中，L(·)為改進引導濾波器操作。

為了驗證本文改進引導濾波器的優越性，使用本文改進引導濾波器與傳統高斯濾波器處理估計得到的入射分量圖像，如圖2所示(高斯濾波器參數選擇：尺度因子取值為80；引導濾波參數選擇：尺度因子為80，平滑因子取值為0.002)。根據圖2可以看出，本文改進的引導濾波器可以更準確地對入射分量進行估計。

(a)原圖(a)Origin image

(b) 傳統高斯濾波器估計(b) Traditional Gaussian filter estimation

(c)改進的引導濾波器估計(c)Improved guide filter estimation圖2 入射分量估計結果對比圖Fig.2 Comparison of estimated results of incident components

3.2 入射分量自適應灰度拉伸

為了更好地提高入射分量的全局對比度，本文使用全局直方圖均衡化來實現對入射分量的自適應灰度拉伸。對入射圖像進行歸一化處理后的分布函數為：

(20)

式中，Lk為第k級像素的像素值，nk為第k級像素的個數，n為像素總數，N為最大像素級。

若原入射分量的像素值為L，直方圖均衡化后的像素值為l，則其灰度變換公式為：

(21)

式中，Li表示第i級像素的原像素值，p(Li)表示Li的概率。

根據以上理論，用MATLAB對圖2(c)進行入射分量自適應灰度拉伸，結果如圖3所示。

圖3 圖2(c)入射分量自適應灰度拉伸結果圖Fig.3 Result of adaptive grayscale stretching of incident component of Fig.2(c)

3.3 反射分量非線性校正

反射分量中包含豐富的細節信息，但在其輸出時，總體的亮度偏暗，對比度較低。為了調節反射分量的對比度，增強人眼視覺效果，大多數學者選擇使用gamma曲線進行校正，但該校正方法容易產生過增強的現象。為了解決這一問題，本文使用以下非線性公式對其進行校正，具體公式如下：

(22)

(23)

式中，r為校正后的反射分量，RN為歸一化后的反射分量，R為原始反射分量，Rmin和Rmax分別為R中像素最小值和最大值，t為調整參數。

在本次實驗中，當t取值為0.1，gamma曲線參數取值為0.3。如圖4所示，本文非線性校正曲線與gamma曲線校正相比，gamma曲線在低像素區域會出現拉伸過大的情況，進而導致細節信息出現過增強。本文校正曲線相對比較緩和，既可以很好地對圖像中的細節信息進行圖像增強，又可以避免圖像失真。

圖4 本文曲線與gamma曲線對比圖Fig.4 Comparison between the curve in this paper and gamma curve

4 實驗結果與分析

為了驗證本文算法，選取4個紅外圖像場景進行對比實驗(紅外圖像取自OTCBVS數據集)。首先，分別對這3個場景(如圖5所示)使用直方圖均衡化算法(HE)、單尺度Retinex算法(SSR)、多尺度Retinex算法(MSR)、基于引導濾波器的多尺度Retinex算法(未改進引導濾波+MSR)、文獻[10]、本文算法來進行紅外圖像的增強；然后，通過對增強后的紅外圖像進行客觀和主觀評價來驗證本文算法的優越性和可行性。本文所有算法均使用Matlab R2016b編譯環境進行編程實現(DELL系列電腦，操作系統為Windows7，CPU為3.1 GHz，內存為4 GB)。本文算法的改進引導濾波器選用3個尺度，其相應窗口大小分別為20、70、115；SSR選擇的參數σ=80；MSR選取3個尺度，每個尺度的高斯濾波參數為σ1=20，σ2=80，σ3=110，且本文中所有的多尺度MSR均采用相同的3個尺度。

圖5 用于測試的4個不同場景的紅外圖像Fig.5 Infrared images of 4 different scenes for testing

4.1 主觀評價

本文對選取的3幅場景進行不同算法比較，結果如圖6～8所示。

由圖6～8可以看出，HE算法對紅外圖像的對比度、亮度、邊緣都有一定的增強。但圖6、7中后面的背景細節信息嚴重丟失，圖8中的船和人細節信息丟失。同時，圖6～8中的噪聲也很嚴重。SSR算法對紅外圖像中的亮度的到明顯增強，但其增強圖像的對比度較差，且有些地方產生了“光暈”現象，人眼視覺效果較差。圖6中的左邊飛機場窗口出現“光暈”。MSR算法增強的紅外圖像亮度有一定提高，“光暈”現象有所改善，但其對比度較低，部分背景信息丟失，紅外圖像整體視覺較差。圖6和圖7背景模糊，部分細節信息丟失。未改進的引導濾波器+MSR算法增強的紅外圖像邊緣清晰度高，亮度有所增強，但其整體圖像效果比較模糊，如圖6和圖8所示。文獻[10]所得圖像效果相對前面幾種算法亮度有一定提升，有效改善了圖像中的“光暈”現象，但其主要細節信息有所丟失。本文算法在有效去除“光暈”現象的同時，很好地提升了圖像的對比度、細節和清晰度等，人眼整體視覺效果較好。

圖6 場景1的各個算法比較實驗結果Fig.6 Comparison experimental results of various algorithms in scene 1.

圖7 場景2的各個算法比較實驗結果Fig.7 Comparison experimental results of various algorithms in scene 2.

圖8 場景3的各個算法比較實驗結果Fig.8 Comparison experimental results of various algorithms in scene 3.

4.2 客觀評價

為了進一步驗證本文算法的有效性，本文選用圖像標準差(SD)[12]、平均梯度(AVG)[13]、峰值信噪比(PSNR)[14]、信息熵(IE)[15]客觀指標對增強的紅外圖像進行定量評價。

對以上3個場景分別進行客觀指標評價，結果如表1～3所示。

表1 場景1不同算法所得紅外增強圖像的客觀評價指標Tab.1 Objective evaluation indicators of infrared enhanced images obtained by different algorithms in scene 1

表2 場景2不同算法所得紅外增強圖像的客觀評價指標Tab.2 Objective evaluation indicators of infrared enhanced images obtained by different algorithms in scene 2

表3 場景3不同算法所得紅外增強圖像的客觀評價指標Tab.3 Objective evaluation indicators of infrared enhanced images obtained by different algorithms in scene 3

由表1～3可以看出：本文算法并不能同時兼顧SD、AVG、PSNR、IE，但本文算法相對其他算法相對占優。HE算法所得紅外增強圖像的標準差較高，但其得到的增強圖像細節信息丟失，邊緣模糊。本文算法處理得到的紅外圖像與SSR、MSR、未改進引導濾波器+MSR算法、文獻[10]相比平均梯度(AVG)、信息熵(IE)較高，表明本文算法增強后的紅外圖像有更加豐富的信息量，圖像更清晰。同時本文算法處理后的圖像峰值信噪比(PSNR)較高，表明增強后的圖像去除噪聲更徹底，整體處理效果更好，對比度更強，人眼整體視覺效果更好。綜上可以看出本文算法紅外圖像增強效果較好，且具有可行性和優化性。

5 結 論

本文提出一種基于改進多尺度Retinex的紅外圖像細節增強算法。該算法實驗結果表明：利用改進引導濾波器代替高斯濾波器對入射分量進行精確估計，解決了原始算法放大噪聲及產生“光暈”等問題；對反射分量進行校正時，使用一種平緩的非線性曲線代替常用的gamma曲線進行校正，解決了圖像過增強問題，進一步提高了反射圖像細節信息。同時，本文算法與HE、SSR、MSR、引導濾波+MSR算法相比，對紅外圖像的對比度、細節信息、人眼視覺效果都有很好的增強效果。