多圖像融合Retinex用于弱光圖像增強

馮 維，吳貴銘，趙大興，劉紅帝

(1.湖北工業大學 機械工程學院，湖北 武漢 430068；2.現代制造質量工程湖北省重點實驗室，湖北 武漢 430068)

1 引 言

高質量圖像為圖像的后續處理提供保障，而在弱光照環境中，僅通過設備往往不能直接獲取清晰、高對比度的圖像，因此圖像增強成為了圖像應用于特定場合與系統的重要方法。目前，圖像增強已應用于各種科學和工程領域，如大氣科學、衛星遙感、計算機視覺、人體醫學及交通領域[1-4]等，因此，對于在外界光照不充足或圖像采集設備進光量不足時獲得的弱光圖像進行增強處理，是圖像處理領域一個必不可少而又極為重要的研究內容。目前，基于直方圖均衡化方法、基于Retinex理論方法和基于圖像去霧算法等增強算法已經被廣泛應用于通過設備采集圖像后處理的過程中，以便于后續圖像處理步驟。

基于Retinex算法主要解決分解后照明圖信息的準確估計問題和結構信息的有效保存問題。反射圖包含圖像彩色和紋理信息，其被處理后很容易造成顏色失真，通常是對照明圖估計來得到更好的對比度和細節特征增強，例如經典的單尺度Retinex(Single-Scale Retinex，SSR)、多尺度Retinex(Multi-Scale Retinex，MSR)、帶顏色恢復的多尺度Retinex(Multi-Scale Retinex with Color Restoration，MSRCR)[5-7]，SSR，MSR以及之后的一些對數域照明估計方法及改進方法不能有效保留細節信息和圖像自然度，出現局部欠增強或過增強現象。對于照明圖和反射圖不能有效估計問題，Fu等提出同步反射率和光照估計的加權變分模型(Simultaneous Reflectance and Illumination Estimation，SRIE)[8]，能夠有效估計照度和反射率，保持反射圖細節，但是合成之后的增強有一定的局部欠增強和顏色失真問題。對于圖像自然度保存問題，Wang等[9]提出非均勻弱光圖像自然度保持(Naturalness Preserved Enhancement，NPE)算法，在增強圖像的同時有效地保留圖像照度信息，但是最終增強結果對非均勻光照圖像存在細節模糊現象。隨后，Fu等[10]提出基于多圖像融合的弱光照圖像增強算法同時提高圖像對比度和亮度，多圖像通過不同采樣信息進行融合同時提升對比度和顏色特征提取，但是沒有考慮不同融合圖像結構信息的相似性，在局部光照突變處細節信息不清晰。

基于此，本文提出一種基于Retinex理論的多圖像融合弱光圖像增強算法，通過加權最小二乘濾波方法對多幅照明圖進行加權估計，實驗結果表明該算法增強圖像全局對比度的同時，還有效的保持了圖像自然度和細節特征。

2 相關理論

2.1 Retinex理論

Retinex理論是建立在人對顏色感知的恒常性上，通過將圖像分解為照明圖像和反射圖像，并通過多種方式估計照明圖像，最后去除照明圖像從而得到增強之后的圖像，其基本表達式為：

I(x，y)=L(x，y)*R(x，y)，

(1)

其中：I(x，y)表示原始圖像，L(x，y)表示照明圖像，R(x，y)表示反射圖像。

圖1所示為對數域Retinex照明估計。Retinex可以在動態范圍內壓縮、對比度增強等方面達到平衡，因此對于不同類型圖像有著自適應增強效果。對照明圖像的估計算法，一般是基于對數域實現Retinex算法，將公式(1)轉換到對數域中，采用局部高斯濾波或中心環繞函數對光照進行估計等，整體亮度提升后再從對數域還原，即得增強后圖像。

圖1 對數域Retinex照明估計Fig.1 Log domain illumination estimation of Retinex

對數域照明估計方法，雖考慮了光照強度的非線性變化的特點，卻會產生邊緣偽影，同時沒有考慮真實圖像的反射率要求。在自然條件下，圖像的反射率在區間[0， 1]內。當反射率接近于1時，圖像接近自然光照的最大值，而對數域照明估計對圖像局部區域的反射率有時會達到1.5以上，這就會導致局部區域過增強而顯得不真實。本文通過在圖像R，G和B通道中找到最大值來估計圖像每個像素的亮度，保證圖像反射率在[0， 1]之間，同時由于光照在每個通道的空間光滑性[11]，所以能保持圖像的細節信息。初始照明估計表示為：

(2)

其中：Sc(x，y)表示原始圖像的像素位置，c表示顏色通道，Linit(x，y)表示與原始圖像像素位置相對應的初始照明估計圖。

2.2 伽馬矯正與雙對數變換

伽馬矯正[12]是一種非線性圖像亮度增強方法，輸出圖像是通過輸入圖像的指數變換，使得輸出圖像整體對比度更符合人眼對光線感受，表示如下：

Vout(x，y)=BVin(x，y)γ，

(3)

其中：Vin(x，y)表示原始圖像每一個像素，Vout(x，y)表示伽馬矯正之后的圖像對應像素，B表示系數，γ表示伽馬值。對于弱光照圖像，伽馬值小于1時，圖像的整體亮度值得到提升。本文通過伽馬變換得到照明估計圖，并作為初始照明融合圖。

雙對數變換是一種對數域直方圖規定化處理，對于空間域通過映射函數將均衡化的原始圖像灰度分布對應到某一特定形狀的直方圖分布。而對數域直方圖變換能完成圖像灰度級的擴展和壓縮[13-14]，有利于圖像局部增強處理，從而實現局部亮度增強和細節保持。本文通過雙對數變換得到輸入圖像到細節保持圖像的映射關系以實現局部對比度增強。又因為對數域變換會使得直方圖正規化輸出圖像的亮度變得非常相似，根據文獻[9]，適當增加低灰度值的數量，可得到新的加權直方圖分布為：

(4)

其中：Lr(x，y)表示原始照明輸入圖像，P(x，y)表示脈沖函數，當x=y時，P(x，y)=1，否則P(x，y)=0，log(Lr(i，j))表示原始照明圖像對應的對數域照明圖像，ε表示修正系數，實驗中設置為1。因此可得到修正之后的目標圖像的累計分布函數(Cumulative Distribution Function，CDF)為：

(5)

按照直方圖規定化的定義，概率密度直方圖對應強度值以下的面積相等，因此可得到輸入圖像和目標圖像之間的映射關系，本文利用雙對數變換即可得到局部增強和細節保持的照明增強圖，用式(6)、式(7)可求得：

pr(Ocdf)=Icdf(z)，(z=0，1，2，…，L-1)，

(6)

(7)

其中：Icdf(z)表示輸入圖像對數域直方圖均衡化得到的累計分布函數，Pr(z)表示目標圖像與輸入圖像累計分布函數的映射關系。通過公式(7)映射函數反變換，即得照明圖L1雙對數變換之后的圖像L3。

2.3 加權最小二乘估計

加權最小二乘濾波算法(Weighted Least Square Filtering，WLS)是一種邊緣保持性濾波算法，可表示為：

(8)

其中：p代表像素的位置，up代表濾波輸出圖像，gp代表輸入圖像，ax，ay代表權重系數。公式(8)中第1項代表輸出濾波圖像和輸入圖像的相似度差異；第2項是正則化項，通過對x，y方向求偏導，使得輸出圖像越平滑越好。加權最小二乘濾波通過最小化相似度差異，保留圖像的結構信息。

3 反射圖與照明圖估計

3.1 反射圖估計

圖2所示為反射圖估計，針對原始弱光圖像，在R，G和B通道中找到最大值來估計圖像每個像素的亮度，通過公式(2)得到初始照明圖。為便于在反射圖中保留顏色信息，假設3個通道具有相同的反射率，則反射圖為：

(9)

其中：Rinit表示初始照明估計圖，ε為微小實數，避免分母為0。

初始照明圖是通過通道最大值來獲得的，由于未考慮到R，G和B 3個通道之間的聯系，因此通過公式(9)得到的初始反射圖的局部細節特征粗糙。因此，本文提出采用形態學閉合的方式調整反射圖，彌補反射圖的細節損失，使得反射圖具有更清晰的細節特征，調整反射圖可表示為：

Radjust(x，y)=Rinit(x，y)°Estruc，

(10)

其中：Estruc表示圓盤形結構元素，Radjust(x，y)表示初始反射圖對應像素位置得到的調整反射圖，°表示形態學閉合操作。

(a)原圖(a)Original image(b)初始照明圖(b)Initial illumination map(c)初始反射圖(c)Initial reflection map(d)調整反射圖(d)Adjust reflection map(e)局部放大圖(e)Local amplification image圖2 反射圖估計Fig.2 Reflection map estimation

3.2 加權最小二乘圖像融合照明估計

本文提出的多圖像融合策略中，選擇3幅圖像作為初始融合照明圖，圖3所示為通過最小二乘濾波照明估計圖。第1幅照明圖像I1是初始照明估計圖Iinit，它是整個融合策略的基礎，包含了原始弱光圖像的結構信息和基準色調，結構信息的保留避免了后續處理對原始圖像特征造成扭曲。基準色調保留了圖像復原過程中對比度信息。第2幅照明圖I2是伽馬矯正照明估計圖，通過伽馬矯正提升了初始照明圖的整體對比度，較暗的區域被增強而過亮的區域又能夠被抑制。第3幅照明圖像I3是直方圖規定化照明估計圖，通過雙對數變換處理，保留照明圖更多的自然度信息。本文算法可表示為：

(11)

式中：B是伽馬矯正的調整系數，Pr表示通過雙對數變換得到的映射關系。

(12)

其中：λ表示平滑因子，控制WLS濾波圖像對于原始圖像的平滑程度，λ越大得到的濾波圖像越平滑，但局部細節特征會變得模糊，Ik表示第k個照明圖像，LIk是2.3節中WLS公式的矩陣形式，Dx，Dy分別表示前向差分矩陣，Ax，Ay表示權重分配值。

(13)

其中上標d和s分別表示濾波所得到的細節層和平滑層。

圖3 照明估計與濾波圖Fig.3 Illumination estimation and filtering image

對于平滑層圖像融合，結合對比度和細節融合的特點，本文采用一種根據融合圖像本身和圖像之間的差異性自適應的分配權重策略，使得對比度較高的照明圖像能分配較高的權重，同時對比度有著較大差異的區域融合后有著較高的相似度，保證光照分量平滑過渡。權重有兩部分組成，第一部分是對比度權重，每一幅對比度權重分別由與其對應的照明圖得到；第二部分是相似度權重，由相鄰圖像相似度所共同決定的，如公式(14)所示：

(14)

式中：μ表示均值變換因子，σ表示方差變換因子，A∈(0，1]表示權重調節系數，調節對比度占比，通過對多幅圖像的融合實驗表明對比度權重對圖像增強效果顯著，而相似度對于融合效果的起著微調作用，因此設置權重調節系數改善融合效果。

平滑層WLS自適應加權融合公式如下所示：

(15)

其中分母表示總權重歸一化項。

(16)

結合公式(15)和公式(16)，可得到最終照明估計：

Lfinal(x，y)=Ls(x，y)+Ld(x，y)，

(17)

其中Lfinal即是通過自適應WLS得到的最終照明估計圖，如圖4所示。

當得到調整之后的反射和照明估計圖后，通過Retinex分解原理即可重構之后的增強圖，可表示為：

(18)

(a)平滑層融合(a)Fusion of smooth layer(b)細節層融合(b)Fusion of detail layer(c)最終照明融合(c)Fusion of final illumination(d)局部放大圖(d)Local amplification image圖4 照明融合圖Fig.4 Fusion of illumination image

為了避免圖像采集過程中噪聲因素對后續圖像處理的影響，同時為了減少運算時間，本文首先通過下采樣操作降低圖像分辨率，然后根據上述增強算法得到初始照明和反射圖，最后融合、合成得到最終增強之后的圖像。表1描述了本文算法的流程。

表1 整體算法流程

4 對比實驗

4.1 對比方法及參數設置

本文所提出弱光照增強算法在電腦配置為CPU：Intel Core i5-9300H，主頻：2.40 GHz，內存：4 G環境下的Matlab軟件中運行的。為了表明本文所提算法的優越性，分別與其他6種弱光增強算法進行對比實驗，具體包括兩種基于Retinex的方法： MSR，MSRCR；一種基于灰度直方圖的弱光增強算法：上下文及變分對比度增強算法(Contextual and Variational Contrast Enhancement，CVC)[15]；兩種基于照明估計的增強算法：SRIE，NPE；Fu提出的一種多圖像融合增強算法[10]。通過主觀評價方法和客觀評價方法對增強圖像進行評估，由于與低照度圖像相對應的正常光照圖像未知，針對增強之后的圖像質量，本文采用盲圖像質量評價(Natural Image Quality Evaluator，NIQE)[16]；對于增強圖像與原始弱光照圖像的對比，則采用亮度順序差(Lightness-Order-Error，LOE)[9]指標評價。另外實驗參數設置如表2所示。

表2 實驗參數設置

4.2 主觀對比增強結果對比

圖5所示為對比實驗圖，原圖為弱光自然場景圖，樹木和部分建筑有背光，且和白色的柱子有較高對比度差異。MSR算法對遠景天空色彩失常，且暗光區域效果不明顯；MSRCR算法在顏色增強上有了很大提升，但是對局部區域有過增強，且對比度增強效果依賴由于人工參數調整；CVC算法不能有效增強暗區域，而且高對比度區域增強效果不能有效體現；SRIE算法對光照有較好的提升，但是部分背光區域卻看不清晰；NPE算法對圖像整體自然度有較高保持，但是過增強明顯，而且遠景細節模糊；Fu的算法對于圖像增強對比度和圖像細節有較大提高，但左上角光照突變處邊緣輪廓模糊；而本文算法不僅對整體對比度進行增強，沒有局部欠增強和過增強現象，而且通過對照明的有效估計，對細節區域有自然度保持效果。

(a)原圖(a)Original image(b)MSR(b)MSR(c)MSRCR(c)MSRCR(d)CVC(d)CVC

(e)SRIE(e)SRIE(f)NPE(f)NPE(g)Fu的算法(g)Fu’s algorithm(h)本文算法(h)Our algorithm圖5 典型弱光圖像對比實驗結果Fig.5 Experimental results of typical low light image contrast

圖6為某校圖書館自然弱光圖，背景是傍晚稍暗的天空，全圖不僅整體對比度低而且前后景都存在背光現象。從增強的效果來看，MSR對背景天空產生嚴重的顏色扭曲；MSRCR算法對背景天空和圖書館上部分別產生了過增強和欠增強現象；CVC算法對暗光區域沒起到增強作用而且彩色失真；SRIE算法整體光照和對比度欠增強，而且部分前景，如樹木和雕塑欠增強明顯；NPE算法較原圖對比度有明顯增強作用，且整體自然度較高，但是樹木和雕塑不能有效光照補償；Fu的算法對前后景光照變化(雕塑與臺階)處有邊緣模糊現象；本文算法不僅對整體對比度有效增強、漸變的背景天空很好地保留了自然度，而且前景的樹木、雕塑、花圃都清晰地表現出來，相較于其他方法對弱光圖像的單一屬性的增強，本文算法對對比度、色彩和局部細節特征能同時起到增強的效果。

(a)原圖(a)Original image(b)MSR(b)MSR(c)MSRCR(c)MSRCR(d)CVC(d)CVC

(e)SRIE(e)SRIE(f)NPE(f)NPE(g)Fu的算法(g)Fu’s algorithm(h)本文算法(h)Our algorithm圖6 自然弱光圖像對比實驗結果Fig.6 Experimental results of natural low light image contrast

4.3 客觀評價指標

表3和表4分別為圖5和圖6對應方法的客觀評價數據，為減少計算量，圖5和圖6的分辨率分別為下采樣之后的像素120×80 pixel，120×80 pixel。從表中數據可知，本文算法的LOE值略低于NPE算法，但在所有弱光增強算法中對圖像自然度的保持效果最好。同時，本文算法的NIQE指標在所有方法中是最低的，這表明本文方法在增強圖像對比度的同時沒有較大的細節模糊和顏色失真，在不考慮圖像噪聲情況下，光照增強的過渡相對平滑。在算法運行效率方面，除去只在空間域進行映射增強的CVC算法運行時間最短外，基于多圖像融合的Fu的算法和本文算法較其他方法運行時間更短，但本文算法避免了多次尺寸調整求權，運算效率更高。

表3 圖5對應圖像LOE和NIQE指標

表4 圖6對應圖像LOE和NIQE指標

5 結 論

為了在圖像弱光增強過程中同時提高對比度和保持自然度，本文提出一種基于Retinex的多圖像融合算法，根據Retinex理論和通道最大值分別得到初始照明圖和反射圖，并通過形態學閉合的方式，彌補了圖像細節的損失。對于照明圖，本文通過設計一種自適應加權最小二乘濾波多圖像融合的策略，根據伽馬變換和雙對數變換調整初始照明圖分別得到全局對比度增強圖和自然度保持圖，再對濾波得到的平滑層和細節層分別融合和像素級相加以得到最終照明估計圖，最后將調整反射圖和照明圖合成增強之后的圖像。結果表明，對實驗中實際自然弱光場景的LOE，NIQE值分別降到4.12和3.25，較其他方法有更好的增強效果，表明本文算法在弱光圖像增強方面有優越的性能。