基于Retinex-Net改進(jìn)的室外場景低照度圖像增強算法*

魯鑫鑫，張榮芬，劉宇紅，李 寬，韓云杰

（1.貴州大學(xué)大數(shù)據(jù)與信息工程學(xué)院，貴陽 550025；2.貴陽信息技術(shù)研究院，貴陽 550081）

1 引言

在室外目標(biāo)檢測過程中，環(huán)境光的影響給計算機視覺帶來巨大挑戰(zhàn)。例如在夜間進(jìn)行室外目標(biāo)檢測任務(wù)時，由于環(huán)境光偏暗或光線亮暗不均，采集到的圖片信息亮度不足、包含大量噪聲，致使部分細(xì)節(jié)無法分辨。這種低照度圖片不僅觀賞質(zhì)量不佳，也無法給計算機視覺系統(tǒng)提供有效信息，給后續(xù)進(jìn)行的目標(biāo)檢測、目標(biāo)追蹤等計算機視覺領(lǐng)域關(guān)鍵技術(shù)的研究也造成阻礙。因此，對低照度圖像增強技術(shù)的研究紛紛出現(xiàn)。目前常見的技術(shù)主要有空間域增強和頻率域增強兩種。空間域增強技術(shù)目前已較為成熟，其中的Retinex理論最為常見。Retinex是基于視網(wǎng)膜與大腦皮層的算法，該理論認(rèn)為：人眼對于物體表面顏色的感知與物體表面的反射特性相關(guān)，不受場景中的光源變化而變化[1]。基于Retinex理論[2]的算法將原始圖像分解為反射圖和光照圖[3]進(jìn)行處理，將原始圖片中的反射圖作為描述圖片實質(zhì)的特征圖像，分解后用于消除光照圖像對原始圖像的影響。Retinex算法分為不同種類，較為常見的有：單尺度算法SSR（Single-Scale Retinex)[4]，但其并不能同時兼顧圖像的色彩和細(xì)節(jié)；多尺度算法MSR（Multi-Scale Retinex)[5]，其在顏色上存在一定程度的失真。帶有顏色恢復(fù)的多尺度算法MSRCR（Multi-Scale Retinex with Color Restoration)[6]，但它易于將圖像亮度提升偏高，使結(jié)果圖亮度失真。Retinex系列算法對圖片處理是分別對R、G、B三個通道單獨進(jìn)行，會破壞RGB三通道間的聯(lián)系，以致處理后的圖片在顏色方面出現(xiàn)失真。針對存在的問題，基于基礎(chǔ)理論，在此設(shè)計一套改進(jìn)算法，利用HSV空間下V通道分解[7]提高增強圖片的效果。

2 基礎(chǔ)理論與改進(jìn)

2.1 Retinex模型

Retinex一詞由retina（視網(wǎng)膜）和cortex（皮層）合成而來。該理論認(rèn)為人眼所觀察到的圖像物體的色彩具有常定性，物體的色彩是由物體自身確定的，與光照強度以及光照色彩無關(guān)。原始圖像由反射圖和光照圖相乘所得，以公式表達(dá)如下：

式中，L(x,y)為太陽光照的照射分量；R(x,y)為物體自身的反射分量；S(x,y)為成像結(jié)果。這一過程對應(yīng)的物理模型示意圖如圖1所示。

圖1 Retinex物理模型圖

在Retinex模型中，光照分量L是自然場景中光線對人眼觀察物體時所產(chǎn)生的干擾；反射分量R則是由受觀察物體本身特質(zhì)決定的。

2.2 改進(jìn)模型

Retinex-Net[8]是一種端到端的可訓(xùn)練的低亮度圖像增強網(wǎng)絡(luò)。該網(wǎng)絡(luò)框架由三部分構(gòu)成，即：分解網(wǎng)絡(luò)（Decom-Net）、增強網(wǎng)絡(luò)（Enhance-Net）和圖像重建（Reconstruction）。Decom-Net包含兩條共享參數(shù)的網(wǎng)絡(luò)，分別以低照度圖像和正常光圖像作為輸入，得到低照度圖像和正常光圖像的反射圖和光照圖，最終根據(jù)Retinex理論重建正常光照下的圖像。

對Retinex-Net網(wǎng)絡(luò)進(jìn)行改進(jìn)的方案如下：將原始圖片由RGB空間域轉(zhuǎn)換到HSV（即色調(diào)H、飽和度S、明度V）空間域，對其中的V分量進(jìn)行處理；將V分量輸入Retinex-Net的分解網(wǎng)絡(luò)獲得反射圖和光照圖，對光照圖中光照不足的情況添加注意力機制進(jìn)行提亮；對反射圖中噪聲偏多的情況用Deam-Net網(wǎng)絡(luò)進(jìn)行去噪；將分別處理過的光照圖和反射圖與原來的H分量和S分量進(jìn)行圖像融合，最后將融合后的圖片的空間域從HSV轉(zhuǎn)回RGB后輸出，得到增強后的圖片。改進(jìn)算法流程如圖2所示。

圖2 改進(jìn)算法流程圖

3 改進(jìn)算法實現(xiàn)

3.1 分解網(wǎng)絡(luò)改進(jìn)

對Retinex-Net的分解網(wǎng)絡(luò)進(jìn)行改進(jìn)，用Leaky ReLu激活函數(shù)對ReLU激活函數(shù)進(jìn)行替換[9]。ReLU激活函數(shù)針對負(fù)數(shù)部分會直接將其置0，會造成梯度消失；而Leaky ReLU函數(shù)針對負(fù)數(shù)部分會對其進(jìn)行f(yi)=aiyi計算，可以杜絕梯度消失的發(fā)生。改進(jìn)后的分解網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 Retinex-Net分解網(wǎng)絡(luò)改進(jìn)圖

分解網(wǎng)絡(luò)對低照圖與清晰圖片同時進(jìn)行分解，首先將圖片由RGB空間域轉(zhuǎn)化為HSV空間域，使用一層Conv從輸入的V分量中提取特征，然后以Leaky ReLU激活函數(shù)的5層Conv卷積將提取到的特征映射到反射分量R和光照分量L，最后使用Sigmoid函數(shù)將R和L的范圍約束在[0,1]之間。改進(jìn)模型用Leaky ReLU激活函數(shù)替換原模型ReLU激活函數(shù)，有助于通過Leaky擴大ReLU函數(shù)的范圍。Leaky ReLU激活函數(shù)公式表達(dá)為：

其中ai是一個固定值，通常為0.01左右。

3.2 增強網(wǎng)絡(luò)改進(jìn)

從分解網(wǎng)絡(luò)分解出來的光照圖亮度相對較低，信息量不夠充足，細(xì)節(jié)也不夠明顯。為確保獲得較為理想的光照圖，需要對獲得的分量圖進(jìn)行修正。在此對Retinex-Net中的Enhance-Net增強網(wǎng)絡(luò)進(jìn)行改進(jìn)，在其中添加空間注意力機制以及通道注意力機制，進(jìn)行細(xì)節(jié)增強并指導(dǎo)網(wǎng)絡(luò)進(jìn)行光照圖的修正。將光照圖輸入空間注意力模塊之后再輸入通道注意力模塊[10]，與直接將光照圖分別輸入這兩個注意力模塊后再融合相比，資源消耗更少。光照圖通過注意力模塊后生成新的注意力權(quán)重再分配特征圖，接著指導(dǎo)修正網(wǎng)絡(luò)對光照不足的光照分量圖進(jìn)行修正。改進(jìn)后的結(jié)構(gòu)如圖4所示。

圖4 添加注意力機制的改進(jìn)

空間注意力模塊如圖4上方虛線框所示。假設(shè)輸入特征圖為F'，分別經(jīng)過最大池化和平均池化后得到兩個通道描述。最大池化和平均池化能夠?qū)⑻卣饔成涞目臻g信息聚合，接著將兩個通道描述通過一個7×7的卷積降維融合在一起，再通過激活函數(shù)得到空間注意力的權(quán)重系數(shù)MS。最后將輸入的特征圖F與權(quán)重系數(shù)相乘，即可得到經(jīng)過空間注意力模塊的輸出，如下式所示：

通道注意力模塊如圖4下方虛線框所示。光照特征圖從空間注意力模塊輸出后進(jìn)入到通道注意力模塊。輸入特征先分別經(jīng)過平均池化和最大池化，得到兩個通道描述，再輸入到一個有兩層共享權(quán)重的神經(jīng)網(wǎng)絡(luò)。其中激活函數(shù)為Leaky ReLU。將輸出的兩個特征相加后再經(jīng)過一個激活函數(shù)，便可得到通道注意力權(quán)重系數(shù)MC，將其與從空間注意力輸出的特征圖相乘即得到從通道注意力模塊輸出的光照圖，如下式：

綜上所述，空間注意力與通道注意力的總的處理流程可歸納如下式：

3.3 反射圖去噪改進(jìn)

由于采集設(shè)備或外界自然環(huán)境等因素的影響，低照度圖像在暗光區(qū)域存在大量噪聲，造成圖像信息減少和圖像質(zhì)量下降。反射分量反映物體特征且包含大量細(xì)節(jié)信息，因此，為了對反射圖進(jìn)行更好的處理，更好地去噪和保持細(xì)節(jié)效果，用Deam-Net網(wǎng)絡(luò)[11]對低照度圖的反射圖進(jìn)行去噪處理。

Deam-Net網(wǎng)絡(luò)是一種新穎的端到端可訓(xùn)練可解釋的深度去噪網(wǎng)絡(luò)，是通過可解釋性來設(shè)計的網(wǎng)絡(luò)。首先，在傳統(tǒng)一致性先驗中引入非線性濾波算子、可靠性矩陣和高維特征變換函數(shù)，使用了一種新的自適應(yīng)一致性先驗（ACP）算法；其次，將ACP項引入最大后驗框架，提出一種基于模型的去噪方法。Deam-Net的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 Deam-Net網(wǎng)絡(luò)結(jié)構(gòu)圖

Deam-Net網(wǎng)絡(luò)主要分為三個部分，分別為特征區(qū)域、去噪模型和重構(gòu)模塊。其中去噪模塊由n個NLO+DEAM模塊組成；NLO由特征編碼模塊FED（Feature Encoding Part)、特征解碼模塊FDP（Feature Decording Part）、雙元素注意力機制DEAM模塊三部分構(gòu)成。DEAM模塊能起到加權(quán)平均的作用，主要作用于跨尺度特征重新校準(zhǔn)和交互。

4 實驗與結(jié)果分析

實驗環(huán)境具體構(gòu)建為：數(shù)據(jù)集選用LOL（Low-Light）；CPU為AMD 3900X;GPU為NVIDIA GTX 3090；內(nèi)存為32GB；操作系統(tǒng)為Ubuntu20.04；編程語言選用Python3.6；開源框架為Pytorch。

所選用LOL數(shù)據(jù)集[12]是一種能夠滿足網(wǎng)絡(luò)對暗圖片增強任務(wù)學(xué)習(xí)的具有正常光照圖和低光照圖成對訓(xùn)練的數(shù)據(jù)集。

為驗證基于Retinex-Net改進(jìn)的算法效果，選取MSRCR與Retinex-Net算法作為對比，從視覺主觀效果與客觀評價指標(biāo)兩個方面進(jìn)行分析。為了更清晰的展示出算法效果，同時附上原始圖。

首先從視覺主觀效果方面進(jìn)行評價，不同算法對比效果圖如圖6所示。選取5組不同場景圖片，其中第一組為室外陽臺場景；第二、三組為室外小區(qū)場景；第四、五組為人文街景。從左到右依次為原始低光照圖片、MSRCR算法、Retinex-Net算法以及本改進(jìn)算法的增強效果圖。

圖6 不同算法增強效果對比

從圖中可以看出，MSRCR算法增強圖像的整體清晰度不足，在圖片顏色保留上也存在一定缺失，諸多物體的色澤泛白，有明顯的褪色現(xiàn)象，視覺效果較差。雖然該算法亮度提升效果顯著，但是由于缺少一致性的約束，增強輸出后圖片的亮度與原始圖片的亮度分布特征無法保持一致，部分區(qū)域出現(xiàn)了亮度失真，如圖片中的天空區(qū)域。

Retinex-Net算法并未考慮到RGB三通道之間的關(guān)聯(lián)性，因此導(dǎo)致了算法增強過程中自然的色彩特性無法被保存，圖像邊緣部分陰影的存在即是算法進(jìn)行細(xì)節(jié)增強過度所造成的。經(jīng)過Retinex-Net算法增強的圖片色彩失真顯著，部分圖像存在較為明顯的油墨感。

本改進(jìn)增強算法處理結(jié)果圖整體輪廓清晰，噪點較少，說明反射圖去噪的有效性，光亮提升也具有明顯效果。與其他算法相比，本改進(jìn)算法增強效果更加可靠，整體視覺效果也更為自然。

基于Retinex-Net改進(jìn)的低照圖增強算法借助了HSV色彩空間的優(yōu)勢，在保持結(jié)構(gòu)的同時，保留了圖像原本的大部分信息，最大程度避免了色彩失真，在亮度、顏色、對比度以及自然性方面都達(dá)到了更為良好的視覺效果。

為更加全面衡量改進(jìn)算法的整體性能，在100對低照度圖像集對上進(jìn)行實驗，采用NIQE（自然圖像品質(zhì)評價）[13]、SD（標(biāo)準(zhǔn)差）、SSIM（結(jié)構(gòu)相似度）、IQA（圖像質(zhì)量評價)[14]這四個指標(biāo)來作為圖片增強效果的客觀評價標(biāo)準(zhǔn)。其中NIQE值越小代表著圖片擁有越好的視覺效果，越適合人眼視覺習(xí)慣；SD是圖片對比度的判定標(biāo)準(zhǔn)，主要針對光照強度，正常光照圖片的對比度比光照不足圖片的對比度更高；SSIM為經(jīng)過增強算法后輸出的圖片與原圖的高亮圖做對比，數(shù)值越高說明相似度越高；IQA是針對輸出后增強圖片質(zhì)量評價，指標(biāo)越高說明圖片質(zhì)量越高，圖片增強過程中對圖片造成的損失越小。

不同算法在100張低照度圖像上的各指標(biāo)的平均值如表1所示。從數(shù)據(jù)可以看出，改進(jìn)算法的NIQE平均值與原圖相比降低2.09%，與MSRCR算法相比降低0.51%；對于SD，改進(jìn)算法較Retinex-Net算法提高17.25%。改進(jìn)后模型輸出的圖片與原圖的相似度指標(biāo)提高大于10%，圖片質(zhì)量在原圖的基礎(chǔ)上也提高了21%。綜上所述，通過四個客觀指標(biāo)數(shù)據(jù)的對比，能夠證明，所提出的基于Retinex-Net算法改進(jìn)的低照度圖像增強算法在光照不足圖片的自然特征屬性、圖像對比度以及保留自然增強的效果等方面均有較為明顯的提高。

表1 各算法100張低照度圖像指標(biāo)平均值單位：%

5 結(jié)束語

研究是在Retinex-Net算法的基礎(chǔ)上加以改進(jìn)，通過將RGB圖片轉(zhuǎn)換到HSV色彩空間進(jìn)行處理，重建后的圖像亮度均勻、細(xì)節(jié)突出、色彩失真小且真實自然，實現(xiàn)了提高低光照圖像增強效果以及對結(jié)果圖像的色彩維護(hù)。通過實驗分析，也證明了改進(jìn)算法在光照不足圖片的亮度增強與色彩恢復(fù)等方面的明顯提升，具有很大的實用價值。在后續(xù)研究中還將繼續(xù)優(yōu)化算法，進(jìn)一步提高算法對色彩增強等方面的保持能力。