基于Retinex理論的低照度圖像對比度增強算法

張恩齊，孔令勝，郭俊達，劉虹良

（1.中國科學院長春光學精密機械與物理研究所，長春 130033；2.中國科學院大學，北京 100049）

0 引言

由于光照不足，光源來源復雜，光照強度不均，使得攝像機拍攝的圖像經常是亮度值低、對比度低，或者局部光照很強，而其他區域亮度值低，圖像的細節信息無法清晰地顯示，這些低質量、低對比度的圖像會對人們的實際生活產生影響，如夜晚監控、車輛識別、人臉識別和故障檢測等[1]。在現實生活中，無法避免在這種復雜環境下拍攝圖像，因此，對低照度條件下的圖像進行圖像對比度增強是圖像處理領域中的一個熱點問題，并得到廣泛地研究。

隨著圖像增強算法不斷地研究，很多算法取得了不錯的進展，其中最常見的是直方圖均衡化，該方法直接對圖像的直方圖進行處理，從而增強圖像對比度，但該方法是改變圖像的灰度級，會使圖像局部過度增強，從而丟失細節。近年來，基于視網膜-大腦皮層Retinex理論的算法，漸漸成為圖像增強領域的研究熱點。基于Retinex理論[2]的算法主要是將原始圖像分解為照射圖以及反射圖，其算法認為原始圖像中的反射圖像反應圖像的本質特征，從而著重于消除照射圖在原始圖像中的影響。

較為常見的Retinex算法：單尺度Retinex算法（Single-Scale Retinex，SSR）[3]；多尺度Retinex算法（Multi-Scale Retinex，MSR）[4]；具有色彩修復的多尺度Retinex（Multi-Scale Retinex with Color Restoration，MSRCR）[5]；可同時對反射圖和光照圖進行處理的加權變分模型算法（Simultaneous Reflectance andIllumination Estimation，SRIE）[6]；非均勻弱光圖像增強算法（Naturalness-Preserving Enhancement，NPE）[7]；基于照明映射評估的低亮度圖像增強方法（Low-light Image Enhance-ment，LIME）[8]；多偏差融合算法（Multi-deviation Fusion method，MF）[9]等。這些算法都可以對低照度圖像進行圖像增強，提升圖像對比度，但其中MSR、MSRCR算法容易對圖像亮度過于提升，容易得到亮度失真的結果圖，其余算法都不可避免地損失一定程度的原始圖像的細節及紋理信息。

本文提出了一種簡化的基于Retinex理論的低照度圖像對比度增強算法，可對單張低照度圖像進行處理，在圖像對比度增強的同時保證圖像的紋理以及細節。主要工作包括：基于低秩紋理先驗的結構-紋理圖像分解模型于對圖像進行分解，提取原始圖像紋理圖；然后對原圖像進行初始照射圖估計，對初始照射圖進行中值濾波處理，迭代引導濾波處理，將初始照射圖的紋理去除并且保留其邊緣信息；利用亮度變化函數對處理后的照射圖像進行亮度提升，利用增強后的照射圖和Retinex理論得到原始圖像的反射圖，最終將反射圖與紋理圖相融合得到最終融合圖像。實驗結果表明該算法增強圖像全局對比度的同時，還有效地保持了圖像自然度和細節特征。

1 相關工作

1.1 圖像分解

圖像基于各種方法可分為不同圖像層，可以基于頻域的方法將圖像分為高頻和低頻信號，基于Retinex算法將原始圖像分解為照射圖以及反射圖。本文需要原始圖像的紋理信息，所以將圖像分為兩部分結構層和紋理層，利用算法將圖像的紋理信息提取出來。圖像分解的方法有很多，可以使用圖像濾波器進行濾波，也可以采用基于TV（Total Variation）全變分模型[10]，彩色紋理圖像分解的VO（Ves-Osher）模型[11]等方法。

本文采用基于低秩紋理先驗的結構紋理圖像分解模型[12]的方法，該模型以總變分范數和全局核范數分別表征結構和紋理成分。其分解模型不僅非常簡單，而且對于全局模式良好的圖像也非常有效，與其他模型相比，該模型可以恢復更干凈的紋理及細節。可以將原圖像充

分提取紋理信息的同時盡量避免提出結構圖像的邊緣信息，這樣得到的紋理圖像細節更多。

1.2 簡化Retinex模型

Retinex理論是一種自適應圖像增強理論。該理論認為映入人眼中的光是由環境照射分量以及物體反射分量組成，其中反射分量為物體的本質。簡單而言該理論是將原圖像視為帶有噪聲的圖像，和圖像去噪目的類似，基于Retinex理論合理地消除噪聲得到的圖像便為增強圖像，公式可表示為：

式中：I(x)為原始圖像；IL(x)為照射圖像；IR(x)為反射圖像。

Retinex理論的思想是減少照射圖像對視覺效果的影響，保留反射圖像，實現圖像增強。具體方法為：將式（1）轉換為對數域。采用濾波等方式對照射圖像IL(x)進行估計，整體亮度提升后再從對數域還原，從而得到代表了圖像中物體的內在特性反射圖像IR(x)。如圖1所示。

圖1 Retinex原理圖

1.3 亮度變化函數

對于圖像亮度的提升，常常用到的是非線性函數對圖像進行處理，常見的有伽馬校正。

近年來，Ying[13]提出了新的模型：Beta-Gamma的相機響應模型，該模型是在伽馬校正的基礎上進行了改變，在伽馬校正之前對圖像的像素進行了放大，得到了新的亮度變化函數g(I(x),k)。

式中：g(·)為亮度變換函數；k為曝光率；β和γ是和曝光率k相關的兩個參數；u為常數防止曝光率無窮大。

其中，曝光率k計算公式如下：

最后可得，亮度變化函數如下：

經大量實驗數據得知：a=-0.3293；b=1.1258。這種亮度變換函數具有雙參數，更能對圖像的亮度進行有效提升。

1.4 圖像增強算法

本文設計了一種簡化的Retinex模型，從而提高低照度圖像的對比度。首先，基于低秩紋理先驗的結構-紋理圖像分解模型，將原圖像分解為結構圖像和紋理圖像，如式（7）所示，本文只需紋理圖像信息。

式中：IS(x)為結構圖像；IT(x)為紋理圖像；I(x)為原始圖像。

然后，對I(x)原圖像進行處理，基于Retinex理論，將原圖像分為照射圖以及反射圖，如下所示：

式中：I(x)為原圖像；IR(x)為反射圖像；IL(x)為照射圖。

根據Retinex理論，本文需要求取IL(x)照射圖，從而得到IR(x)反射圖像。

初始照射圖可采用Max RGB技術，得到原始圖像中最亮的通道：

式中：(r,g,b)為圖像的3個通道；I(x)為原圖像；IM(x)為初始照射圖。

采用Max RGB技術是由于得到的IM(x)保留了輸入的I(x)結構信息，更利于后續操作。

本文需要得到的照射圖邊緣清晰，紋理模糊，所以需將該照射圖進行處理，將圖中的紋理細節進一步地平滑掉，本文選用中值濾波器進行處理：

其中，M(·)為中值濾波；處理后的照射圖IP(x)能保持圖像中各個物體的邊緣信息，又可以盡可能的去除細小的紋理信息，但只經過中值濾波后，IP(x)的紋理和邊緣信息還會有一定程度的模糊，為了使照射圖邊緣盡可能清晰，本文采用自迭代多次引導濾波方法對照明圖IP(x)進行處理，引導濾波具有細節平滑的同時保持邊緣的優點，相較于雙邊濾波器[14]其時間復雜度更低。

不同于傳統的引導濾波，本文將每一次濾波后的圖像都將作為下一次引導濾波的引導圖，如式（11）所示。這種迭代式的引導濾波方法，可以有效細化照射圖像，得到更為清晰的邊緣信息，以及光滑的紋理信息。

本文經試驗迭代4次左右效果最佳，本文采用亮度變換函數對圖像IN(x)的亮度進行處理，其亮度轉換函數為：

其中，β=eb(1-ka)；γ=ka；g(·)為亮度變換函數；經實驗得知a=-0.3293，b=1.1258；k為曝光率；β和r是和曝光率k相關的2個參數；u為常數防止曝光率無窮大，公式如下：

最終經亮度變換函數后，照射圖IL(x)為：

經本文圖像對比度增強算法，得到低照度原圖像的反射圖像IR(x)為：

最后，本文將增強的反射圖像和紋理層融合在一起得到最終的結果：

算法流程圖如圖2所示。

圖2 本文算法流程

2 實驗結果及分析

2.1 主觀評價

為了驗證本文方法，本文利用公開的DICM數據集以及LIME數據集進行實驗，實驗環境為：i5-6300HQ CPU@2.30 GHz，Matlab 2018a。并將近年來6種圖像增強算法與本文算法進行對比，這6種算法分別為圖像去霧（Dehazing-based，Dong）[15]算法、亮度增強（Illumination Estimation-based Method，LIME）算法、多尺度Retinex融合（Multiscale Retinex，MSR）算法、多偏差融合（Multi-deviation，Fusion，MF）算法、非均勻弱光圖 像 增 強（Naturalness Preserved Enhance-ment，NPE）算法、基于加權變分模型圖像增強（Simultaneous Reflection and Illumination Estimation，SRIE）算法作為實驗對比算法。

圖3所示為本實驗在數據集DICM選取的圖像，原圖為室外低照度圖，峽谷兩側為背光。Dong算法過于區分峽谷和天空的分界處，邊緣輪廓過于清晰；LIME算法對局部區域有過增強；MSR算法處理后的圖像亮度有些失真；MF算法對局部區域有欠增強；NPE算法對圖像有著較好的亮度增強，但是峽谷區域有些不清晰，細節模糊；SRIE算法對峽谷兩側有些欠增強；而本文算法沒有局部欠增強和過增強現象，細節清晰，起到了圖像增強的效果。

圖3 實驗對比結果1

圖4所示為本實驗在數據集LIME選取的圖像，原圖為室內低照度圖像。Dong算法局部細節不是很清晰；LIME算法對局部區域有過增強；MSR算法處理后顏色亮度失真；MF算法處理后圖像對比度得到了明顯增強，但喪失了一定的細節信息；NPE算法處理后圖像的整體自然度較高，但細節光照沒有得到很好補償；SRIE算法處理后圖像整體偏暗；而本文算法在對整體對比度有效增強的同時，保持了局部細節。

圖4 實驗對比結果2

2.2 客觀評價

為了更好地評價圖像質量，本文使用視覺信息保真度（Visual Information Fidelity，VIF）、自然統計特性（Natural image quality evaluator，NIQE）來對結果圖進行評估，表1和表2分別為圖3和圖4對應的客觀評價數據。視覺信息保真度VIF的測量標準為圖像VIF值高，證明圖像質量越好，但圖像VIF值過高，圖像則會的過亮。如LIME、MSR算法處理圖像，圖像亮度會過大，本文算法的VIF值低于LIME、MSR算法，但高于其余算法證明圖像亮度得到提高，同時保持住了圖像質量。

表1 視覺信息保真度（VIF）

表2 自然統計特性（NIQE）

自然統計特性NIQE值越低，圖像質量越好。本文算法的NIQE值在所有方法中是最低的，表明本文方法在增強圖像對比度的同時細節保持較好，整體效果略好于其他方法。

3 結束語

為了對低照度圖像進行圖像增強，并且保持細節，本文將圖像分解、亮度轉化函數及Retinex理論相結合，提出了一種簡化的基于Retinex理論的低照度圖像對比度增強算法。首先基于低秩紋理先驗的卡通-紋理圖像分解模型對圖像進行分解，提取原始圖像紋理圖，對原圖像進行初始照射圖估計，對初始照射圖進行中值濾波處理，迭代引導濾波處理，將照射圖的紋理去除并且保留其邊緣信息，以及利用亮度變化函數對處理后的照射圖像進行亮度提升，基于Retinex理論得到原始圖像的反射圖，最終將反射圖像與紋理圖相融合得到最終融合圖像。

實驗結果表明，本文所提出算法具有更好的圖像質量，證明了本文算法在圖像對比度增強的同時保證圖像的紋理以及細節。相較于近年來各種圖像增強算法，本文算法自然統計特性NIQE值更低，在低照度圖像對比度增強方面有優越的性能。