基于Retinex的自適應非均勻低照度圖像增強算法

曹隴鑫，馬宗方，石 晶

(1.西安建筑科技大學 信息與控制工程學院，西安 710055; 2.空軍預警學院，武漢 430000)

0 引言

光源不充足的狹小昏暗環境下，采集到的圖像視覺效果不佳，相對于光照理想情況下的圖像而言，圖像存在整體陰暗、顏色退化、對比度低等問題；非均勻低照度條件下，亮度信息的減少導致圖像存在光斑，這使得圖像中原本昏暗的區域更加模糊，以上因素極大影響機器視覺對目標檢測分割和分析決策的準確率。因此，為了恢復低照度圖像的顏色，獲得有效的圖像信息，提升機器視覺分析決策的準確率，圖像亮度的增強處理變得至關重要。

現階段用于增強低照度、非均勻圖像的方法主要有直方圖均衡化、色調映射、暗通道先驗、Retinex算法等。文獻[1]提出了一種亮度直方圖局部線性化圖像增強方法來提高彩色遙感圖像的可視效果,首先將圖像進行HSI變換，對I分量進行直方圖均衡，然后利用局部線性化的灰度映射曲線進行增強，有效改善了圖像的可視效果，減少圖像增強后的灰度，但增強后的圖像亮度不均勻，會丟失細節信息。文獻[2]提出基于色調映射圖像的亮度分區的盲質量指標，可以很好地保留圖像細節信息，但整體對比度不高且計算量復雜。文獻[3]提出高斯曲線建模的自適應暗通道先驗(DCP)去霧增強算法，通過計算塊級暗通道獲得像素級暗通道，與其他DCP方法相比，提高了約30倍的處理速度，但恢復圖像的同時放大了噪聲點，降低了圖像的質量。Jobson等提出單尺度Retinex(SSR)[4],主要增強灰度圖像，但是在平衡動態壓縮和顏色恒定方面仍存在問題； 多尺度Retinex(MSR)[5]由不同尺度的SSR線性加權組合形成，適用于彩色圖像增強，但增強后的圖像邊緣細節信息丟失，出現偽光暈;改進后的MSR增加了具有顏色恢復的MSRCR(multi-scale retinex with color restoration)[6]，但它僅在適度范圍內調整亮度和對比度，超出范圍會導致顏色失真，計算過程較復雜。文獻[7]提出改進型Retinex算法的霧天圖像技術，有效提高了霧天圖像的清晰度和對比度;文獻[8]提出了3個引導濾波器代替高斯濾波器以獲得照明分量和反射分量，有效增強低照度圖像的同時保留了細節信息。但以上兩種算法在增強非均勻低照度圖像時存在光斑區域過度增強的問題；針對以上問題，本文提出了一種基于Retinex的自適應非均勻照度圖像的亮度層增強算法，通過對亮度圖的提取及估計入射分量，引入自適應調整參數，校正亮度圖，最后采用圖像融合技術獲得最終增強圖像。為了驗證算法的有效性，實驗中對多張圖像進行算法的增強，驗證本文算法可以有效增強非均勻低照度圖像的亮度和清晰度。

1 Retinex理論

Retinex[9-10]理論也稱色彩的恒常性，1963年由Land等人提出，Retine理論認為人眼對物體色彩的感知取決于物體表面固有的反射特性，與外界入射照度分量的強弱無關，即人眼能夠在復雜的光照條件下正確地記錄景物的真實顏色。該算法提取入射分量L(x,y)，反映低照度圖像的整體結構，從原圖I(x,y)中去除入射分量獲得物體的反射分量R(x,y)。定義如下:

I(x,y)=R(x,y)·L(x,y)

(1)

對式(1)取對數運算，可得：

lg(R(x,y))=lg(I(x,y))-lg(G(x,y)*I(x,y))

(2)

通常L(x,y)可以通過中心/環繞操作來估計，式(2)中*為卷積運算，G(x,y)為高斯環繞函數，定義如下：

(3)

式中，k為歸一化參數，σ為高斯函數的標準差，滿足?G(x,y)dxdy=1。

2 本文算法

在光照不充足的復雜環境中成像，導致截取的視頻圖像存在以下問題：1)照明不均勻，燈光區域光斑多，光亮區域極亮，陰暗的區域極暗；2)因為照度不均勻，圖像色彩失真，細節信息丟失。同時圖像中目標的清晰度會隨著光照的變化不斷改變。因此為了獲取清晰的圖片信息，需要采取措施對照明分量進行估計和校正。

本文針對以上問題，提出基于Retine理論的自適應增強亮度圖像算法，本文算法步驟框圖如圖1所示：1)采用多尺度引導濾波器估計亮度圖像的入射分量；2)計算源圖像素均值，獲得自適應調整參數；3)加權融合兩個增強的亮度圖，權重系數不同，增強后的亮度圖細節信息也不同，本文將權重系數分別設置為3和5，最終得到的增強圖像信息比較完整。

圖1 本文算法步驟框圖

2.1 提取亮度層圖像

文獻[11]通過找到R，G，B通道中最大值來單獨估計每個像素的照度，構建了良好的照明圖，但同時增加了計算時間，無法保證所有通道都按照適當的比例增強或衰減。本文將圖像RGB色度空間轉換為HSI色度空間，HSI色度空間更符合人類視覺特性，其中色調(Hue)、飽和度(Saturation)、亮度(Intensity)彼此獨立，保持H和S都不變的條件下增強I分量。為了保證光斑不會再次被增強，本文對I分量采取自適應亮度增強，根據采集到的圖像自身不同的的照度，將圖像光斑處和昏暗處的像素均值化，獲得適合每張圖像提亮的調整參數，提升整體亮度的同時抑制圖像顏色失真。

2.2 引導濾波算法

入射分量L(x,y)代表照射到物體上的光源能量總和，表示圖像中的低頻成分；反射分量R(x,y)代表了物體自身特性，包含著圖像的高頻細節部分。Retinex算法結合高斯低通濾波器估計入射分量的過程會丟失一些高頻分量，導致圖像細節和邊緣信息不完整。文獻[12]提出的引導濾波可以消除圖像光暈、邊緣平滑、細節增益。假定引導圖像Gi與輸出圖像qi存在局部線性關系，可建立線性模型：

(4)

式中，i為像素索引，Mk代表半徑為r的濾波窗口，k為濾波窗口的中心像素點，|w|為濾波窗口Mk中的總像素個數。本文令引導圖像Gi與輸入圖像Pi一致，所以線性系數ak和bk表示為：

(5)

bk=(1-ak)uk

(6)

(7)

2.3 自適應亮度增強

自適應增強亮度層圖像是根據不同照度的非均勻低照度圖像的入射分量分布輪廓構建亮度增強功能，抑制圖像中光斑區域的亮度值，增加陰暗區域的亮度值。文獻[13]引入韋伯-費希納定律對圖像自適應分區，并提出基于分區的局部色調映射算法，實現了動態壓縮再現圖像細節。本文基于韋伯-費希納定律校正亮度自適應增強，定律表明心理量和物理量的關系，物體反射出的光線撞擊人眼視網膜將產生人眼感知的主觀亮度(心理量)，主觀亮度的感知I′和客觀亮度(物理量)I之間的關系是對數線性關系：

I′=εlg(I)+ε0

(8)

式中，ε0和ε是常數，為避免對數運算所需的計算負擔增加，圖像不同區域過度增強或抑制增強，將對數域的輸出量化到[0,255]區間，如公式:

(9)

式中，255為8位圖的灰度級，k為調整系數，如圖2所示，圖像增強的幅度隨k的增加而減小;式中I′為增強圖像，I為增強前的亮度圖像，L為估計的入射分量。

圖2 亮度調整曲線

(10)

式中，W為源圖像中的像素總數，α為權重系數，輸出圖像的亮度增強程度隨α值減小而增大。如圖3所示，隨α增大圖像亮度增強程度越小。本文通過多次試驗，建議權重系數α的取值為3和5，權重系數數值在一定范圍內相差越大，圖像共有信息量越少，增強后的圖像亮度越高，圖像顏色泛白，細節邊緣信息會丟失。本文權重系數數值取鄰近值，共有信息量較多，融合特有信息量可以增強圖像細節信息。

圖3 權重系數對圖像亮度增強的影響

2.4 圖像融合

圖像融合技術是將多個子圖像的關鍵信息融合在一起的方法，非均勻低照度圖像存在光照不均勻，光斑區域曝，光陰暗區域模糊等問題，圖像亮度通過自適應增強后依舊存在細節信息不均勻。

融合規則的選取，圖像融合過程中的重要部分，直接決定了融合圖像質量的優劣。本文融合規則的要求如下：以保留源圖像中的重要信息為主，盡可能將相互區別并互補的信息兼容融合，無用信息盡可能地避免融入[14]。傳統的基于多尺度變換的圖像融合方法主要有小波變換和拉普拉斯金字塔等，但是這些方法不能很好的表達和提取圖像的細節邊緣信息。文獻[15]提出基于引導濾波和高斯濾波的多尺度融合方法，將紅外信息融入到可見光圖像，有效提高圖像的視覺效果。本文將對圖像不執行多尺度分解，通過自適應調整系數k中的權重系數α的值可獲得不同信息特征的增強圖像，通過計算增強后圖像的權重相加獲得最終的融合圖像。公式如下：

(11)

式中，F為融合圖像，Si為待融合圖像，Wi為加權系數。加權系數通過主成分分析(principal compo- nentsanalysis,PCA)確定，基于所選擇的成分圖像之間的相關性來執行圖像融合。計算方法是通過獲得圖像特征向量和對應特征值，識別相似圖像的主要成分，根據主成分確定待融合圖像的權重。圖像融合過程如圖4所示。

圖4 圖像融合過程

S1和S2為兩個源圖像，假定每個圖像用n維向量Xp表示,則圖像融合步驟如下：

1)構造源圖像矩陣X：

(12)

2)計算矩陣X的協方差矩陣C：

(13)

(14)

4)選擇其中最大的特征值：

P=argmax(λP)P=1,2

(15)

5)使用最大特征值對應的的特征向量計算權重系數：

(16)

6)計算融合圖像：

Ien=w1S1+w2S2

(17)

式中，Ien為融合的亮度圖像。本文融合方法基于信息不同的亮度圖像之間的相關性來執行圖像融合，共有信息特征的數據被壓縮，而獨特信息特征的數據被增強。

3 仿真實驗與分析

3.1 實驗環境

為驗證本文算法的有效性，設計Matlab程序，在臺式計算機(Inetel(R)Core(TM)i5-4200 CPU @2.50 GHz和Windows7操作系統)的測試平臺上進行多次實驗數據對比分析。

經過多次實驗，本文將引導濾波窗口的半徑分別設置為：r1=16，r2=64，r3=128，將自適應調整系數k中的權重系數α分別設置為：α1=3，α1=5，獲得兩張信息特征不等的增強圖像。

3.2 實驗數據分析

為驗證本文算法對低照度視頻圖像增強的有效性，分別和多尺度Retinex算法(MSR)、文獻[16]提出的非均勻照度圖像自然色彩恢復算法(Efficient Naturalness Restoration Algorith- m,ENRA)算法對比，分別從主觀視覺效果和客觀質量兩方面對其進行分析。本文選取圖像信息熵(Information Entropy,IE)和平均梯度(Average Gradient,AG)對算法結果進行客觀評價：

1)信息熵反應圖像所含信息，熵越大表明圖像中信息量越豐富,對比度越高。圖像作為輸出的信息源A，定義為所有可能符號{ai}的集合，并且源符號ai的概率為p(ai)。因此，此圖像中包含的平均信息量表示如下：

(18)

2)圖像平均梯度表達圖像細節的能力，用于測量圖像的相對清晰度。公式如下：

(19)

其中:M和N表示圖像的寬度和高度，?f/?x表示水平梯度，?f/?y表示垂直梯度。

如圖5和圖6所示，圖中(a)為攝像頭拍下的鋼廠作業間工人高危作業的圖像，視覺上圖像整體較暗，圖像左半部分較為昏暗，目標模糊，而右半部分相對而言照度較好，但是圖像中存在較大的光斑；圖(b)，(c)，(d)分別為MSR、ENRA和本文算法對圖像進行增強處理后的結果；圖(b)中MSR算法處理的圖像過于增強，表現在圖像右邊高亮區域被同時增強；圖(c)中ENRA算法避免了過度增強高亮區域，但是圖像整體亮度不高，清晰度不高；圖(d)中本文算法處理結果明顯提高了整體亮度和對比度，增強細節信息的同時避免了高亮區域的過度增強。

圖5 算法比較

圖6 算法比較

圖7中,(a)為原圖，(b)，(c)，(d)分別為MSR、ENRA和本文算法對圖像進行增強處理后的結果。MSR處理結果增強了對比度，但是顏色失真，色彩不均勻，亮度部分提升但不均勻。ENRA處理后的圖像亮度提升且分布均勻，但是顏色失真，淸晰度不夠。本文算法明顯提升了圖像整體亮度，且亮度分布均勻，圖像淸晰度提升，表現在圖像左邊鋼結構部分的細節信息上。綜上所述，本文算法提升低照度圖像的亮度和淸晰度，同時解決了圖像光照不均勻的問題，有效抑制高亮區域的增強。

圖7 算法比較

圖8中，(a)為原圖，(b)，(c)，(d)分別為MSR、ENRA和本文算法對圖像進行增強處理后的結果，MSR處理結果明顯增強了對比度，亮度也有所提升，但是圖像顏色失真，圖像亮度不均勻。ENRA處理后的圖像亮度提升且分布均勻，淸晰度不夠。對比以上兩種算法，本文算法更加有效提升了低照度圖像的亮度和淸晰度，恢復了圖像色彩，增強了視覺效果。

圖8 算法比較

表1、2分別為兩組圖像的信息熵和圖像平均梯度的評估數據，由數據可知，MSR、ENRA和本文算法都能夠有效對圖像進行亮度增強，增強后的圖像在圖像對比度、圖像亮度、圖像信息熵和圖像清晰度方面都高于原圖像。本文算法對圖像的增強效果在在圖像對比度、圖像亮度、圖像信息熵和圖像清晰度方面都優于其他算法，展現了本文算法的優越性。

表1 圖像的信息熵

表2 圖像的梯度

4 結束語

為增強非均勻低照度圖像，提出一種基于Retinex理論的自適應亮度層圖像增強的算法。本文算法主要針對光照不充足環境中采集到的低質量圖像，這些圖像整體昏暗模糊，顏色退化，為提升圖像質量，在HSI色度空間中，只對亮度層I進行處理；根據非均勻低照度圖像的分量的不同，高亮區域光照充足，甚至曝光，根據拍攝角度不同，獲得不同的源圖像的像素均值，引入權重系數α；根據權重系數的兩個不等經驗值可以獲的兩張細節信息特征不一樣的圖像，最后通過主成分分析融合圖像。實驗表明，相比現有的圖像增強算法，本文算法能更好地提升昏暗環境下采集到的非均勻低照度圖像的整體亮度和對比度，強化圖像細節部分，同時保持顏色恢復和抑制高亮區域的增強。展示了本文算法在增強非均勻低照度圖像中的有效性和優越性。