改進Retinex的低光照圖像增強

黃 慧，董林鷺，劉小芳，趙良軍

(1.人工智能四川省重點實驗室，自貢 643000；2.四川輕化工大學 自動化與信息工程學院，自貢 643000；3.四川輕化工大學 計算機科學與工程學院，自貢 643000)

1 引 言

高可見度圖像能夠更清楚地反映目標場景中的細節，在目標識別[1]、跟蹤[2]以及醫學[3]研究等計算機視覺技術方向起著重要的作用。但是受攝像頭系統成本高，拍攝技術人員的技巧等因素的限制，多數情況下選用相對便宜的傳感器進行圖像的采集。低光照圖像在拍攝過程中受到光照不足、噪聲等因素影響，圖像的視覺質量無法令人滿意，可能損害主要用于高可見度輸入的算法性能[4]，圖片的重要信息被隱藏或忽略。圖像增強的主要想法是只突出顯示圖像中人們感興趣的部分或特征，為提高低光照圖像的視覺質量，發掘出被掩藏的有效信息，低光照圖像增強技術具有重要價值和現實意義。

經典的圖像增強技術主要可以分為：空間域法和頻域法[5]。空間域法直接對圖像的像素進行處理，不進行其他域變換，常見方法的有線性增強(Linear Enhancement， LE)[6]和直方圖均衡(Histogram Equalization，HE)[7-8]處理。多研究人員試圖根據原始輸入圖像的統計信息，直接將被埋沒的結構放大到可見狀態，例如線性變換對圖像中的像素值進行增大，是調出暗區可見性的最直觀和簡單的方法，但是帶來的問題是若存在已飽和的較亮的區域，反而會過度增強丟失相應的細節，原本的區域的紋理特征可能變得不可見[9]。HE策略通過歸一化迫使輸出圖像落在[0,1]之間，使原始圖像中較集中的某個灰度區間在全范圍內均勻分布。頻域法將圖像輸入到頻域中，計算圖像的傅里葉變換，對特定圖像的每一個傅里葉變換執行增強操作，隨后執行逆傅里葉變換從而獲取伴隨圖像，主要有高通濾波、同態濾波等方法。以上的算法都是簡單且易實現的，但在低光照的情況下，圖像的信息不規則被隱藏在黑暗中在，簡單的增強的效果并不理想，不能得到較高品質的圖像。研究人員在經典算法上提出許多改進，如通過變分法在直方圖上加入不同的正則化項，從而改善HE的性能。其中通過尋找二維直方圖的分層差異[10]，上下文差異對比增強算法[11]試圖找到差異直方圖映射，雖然在一定程度上避免像素的溢出和過度增壓強制像素值在[0,1]范圍內，但是本質上它們關注于對比度增強，而不是利用真實照明的原因，存在過度增強和增強不足等風險，無法解決色彩飽和度的問題。Retinex理論基于視覺系統，主要假設(彩色)圖像可以分解為反射率和照明度兩個因素。在邊緣增強和保護紋理的過程中，黑暗區域中重疊的成像和噪聲可能同時被放大[12]；針對光線不平衡的情況，需要一個自適應的模型根據不同區域動態的增強圖像；盡量保證圖像的自然性，如果圖像的場景特征在增強后與視覺上失去一致性，那么這樣的算法是失敗的；但是傳統的HE方法和Retinex理論很難同時滿足上述所有要求。

基于Retinex算法又衍生出單尺度Retinex(Single Scale Retinex，SSR)、多尺度Retinex(Multi-Scale Retinex，MSR)[13-14]、多尺度彩色恢復算法(Multi-Scale Retinex with Color Restoration，MSRCR)[15-16]、多尺度色彩保護算法(Multi-Scale Retinex with Color Protection，MSRCP)[17]，將反射率作為最終增強的結果，經常顯得過度增強，反射率看起來不自然。Zhang等[18]提出運用動態隨機共振算法增強非均勻光照圖像，該算法通過隨機共振原理模擬自然情況，解決了弱光問題，但是面臨增強不足和顏色失真的問題。Fu 等[19]提出一種通過多種融合最初估計的照明圖來調節照明的方法，使照明更為自然，但由于照明結構的盲目性，照明圖可能使紋理豐富的區域失真，并且計算復雜度較高。Dong等[20]注意到倒置的弱光圖像視覺上與霧度圖像很相似，由此提出一種將低光照圖片倒置后霧化，去霧后獲得不真實圖像，再將不真實圖像倒置獲得增強圖像，這種方法雖然視覺質量不錯，但是其理論模型缺乏物理解釋。近年來隨著深度學習的發展，一些研究人員期望通過深度學習的方式更高效的實現低光照圖像增強，Chen等[21]在Retinex基礎上建立RetinexNet模型，其模型包括用于分解的Decom-Net和用于調整照明的Enhance-Net兩個部分。本文提出的方法基于Retinex做出改進，通過平滑聚類的方法獲取基礎層，由輸入圖像與基礎層的差異得到細節層。通過估計低照度圖像的照明圖來增強圖像，初始化照明圖后，結合局部一致性和交替方向最小化技術優化照明圖。常見Retinex算法進行Gamma矯正(Gamma Correction，GC)[22]時都是采用固定值或手動調整參數。本文采用自適應Gamma矯正同時本文僅估算照明圖，利用自適應Gamma 矯正可以更好適應圖像的變化，通過對優化的照明圖進行非線性重標，調整較暗區域圖像亮度減小噪聲的影響。僅估算照明圖可以大大縮小求解空間和計算量，最后加入細節融合的步驟。在實驗結果表明與其他幾種經典算法相比較，本文算法獲得的增強圖像細節方面更為豐富，圖像的清晰度高。

2 提出算法

經典的Retinex模型在增強微光圖像方面取得了良好的效果，其主要思想是將圖像I分解為[23]：

L=R°T,

(1)

提出的模型[20]反轉的低光照圖像1-L與霧度圖十分相似，表示為：

(2)

圖1 本文方法結構圖Fig.1 Structure of the method in this paper

2.1 圖像的平滑聚類獲取細節圖

第一階段對低光照圖像進行平滑聚類去除紋理，主要為兩個步驟：式(1)圖像I中像素的檢測，式(2)平滑聚類各區域內的像素點。該窗口中心的像素點(i,j)的灰度值為f(i,j)。窗口內像素點構成的集Si,j和窗口內所有像素值的平均值Avg(Si,j)分別為：

Si,j={f(i+k,j+r)|k,r=-1,0,1},

(3)

(4)

對濾波窗口中心像素點(i,j)做中值平滑，得到的灰度值為：

g(i,j)=med{f(i-n,j-n),

f(i-n+1,j-n+1),...,

f(i,j),...,f(i+n,j+n)}.

(5)

濾波操作使邊界模糊，利用平滑聚類后的圖像Lbase作為基礎層，可以提取出低光照圖像中的細節層Ldetail, 單獨保存圖像的細節層在最后的融合時加入。

Ldetail=L-Lbase，

(6)

2.2 初始化照明圖

(7)

其中c屬于R，G，B三個顏色通道，在這個方程式中，假設每個像素的照度至少是其中三通道中的最大值。根據Retinex理論得到增強的低光照圖像為：

Rc(x)=Ic(x)/(T(x)+∈),

(8)

(9)

將式(9)代入式(2)解出[8]：

(10)

可以看到當a取值為1時，式(8)和式(10)結果相同。但如果a遠離1時，式(8)和式(10)之間的等價性就會打破[26]。

2.3 優化照明圖

由上述可知光照估計從局部一致性中受益，可以使不同區域的增強效果有所不同，代表方式為：

(11)

(12)

(13)

其中：α是使式(13)中兩個項保持平衡的系數,‖·‖F和‖·‖1表示標準范數和1范數，W表示權重矩陣，T代表一個包含水平方向光照hT和垂直關照vT的一階濾波期。在優化式(13)中，第一項考慮到了初始映射和修正映射T間的差異，第二項考慮了平滑度。由此看出在權重矩陣W設置為1會導致式(13)中損耗總變量最小化問題[29]，同時也缺少區分強結構邊緣和紋理的能力[30]。

由此可見，權值矩陣設置非常重要，引出對每一個位置通過如式(14)所示的方式設置權重[26]：

Wh(x)←

(14)

式(13)可以通過交替方向最小化技術有效解決，為加快計算的速率，通過式(14)近似計算式(13)：

(15)

由此看出這個問題只涉及二次項，故可以直接計算解決方案，而不需要任何迭代。以圖像OnGra為例，對比多種算法的照明圖像以及對相應增強后的結果如圖2所示。

圖2 對比多種算法對光照圖像的優化以及對相應增強后的結果Fig.2 Compare the optimization of the illumination image and the corresponding enhanced results by multiple algorithms

圖2中(a)通過max-RGB初始化的照明圖，該方法下光照圖是非常均勻的，只能提高全局照明度，對非均勻照明圖像處理的能力有限；圖2(b)表示利用雙邊濾波對光照圖進行優化，增強結果顯示出不錯的色彩豐富度，但調色板顏色被模糊并且損失了調色板和植物的細節信息；圖2(c)表示用總變分最小法調整照明圖，調色板的細節紋理和清晰程度較高，但是對背景信息造成了明顯的影響，花盆后的場景信息基本丟失；盡管圖2(b)和圖2(c)在一定程度上解決了對非均勻圖像處理的問題，但兩種方法增強后造成不同位置的細節信息的丟失。圖2(d)代表的本文方法，能直觀地感受到增強后的圖像中調色板色彩鮮艷，花盆中的植物栩栩如生，細節豐富，紋理清晰，充分顯示出本文方法的優勢。

2.4 自適應Gamma矯正

傳統Retinex算法使用Gamma矯正用于對改進后的光照圖進行非線性重標，經典的Gamma矯正如下：

(16)

其中：Iin和Iout分別表示輸入圖像的強度和輸出圖像強度，c和γ為控制變換曲線狀態的兩個參數，c是用來提高或降低輸出圖像的亮度，γ控制變換函數的斜率，γ值越大變換曲線越陡，相應的強度分布就越多。但傳統的Gamma矯正靈活性有所欠，針對不同光照情況的參數分類種類繁多，手動設置增大了計算的工作量，并且浪費時間。

引理1中、高對比度圖像，其γ∈[0.9，1.65]范圍內[31]。

由引理1可知在圖像的γ值在1附近范圍，圖像的對比對變化不明顯。在低光照圖像中調高亮度常比對比度增強更為重要，于本文使用自適應Gamma矯正算法[31]，這是一種去除噪聲、增強所有類型圖像的有效方法。

2.5 融合策略

在圖像嚴重曝光不足、低光照的情況下獲取的圖像可見度低，導致很多有效信息被埋藏在黑暗中，成像的效果影響到人的視覺體驗，為更好地提取出隱藏的信息，本文提出以下融合方法：

Lresult=L+Ldetail，

(17)

其中L代表根據最終照圖增強后的低光照圖像。

3 仿真實驗

3.1 對比方法及參數設置

本文所有實驗都建立在windows 10操作系統下的Matlab R2018a平臺，為保證實驗效果的可靠性，所選取的圖像均選自Exclusively Dark數據集[32]，該數據集是從極弱光環境到微光(即10種不同條件下)的7 363幅弱光圖像的集合。為充分評價本文提出方法的性能，更好地體現改進后方法的優勢，實驗會在不同場景的低光照圖像上測試本文方法與經典增強算法：線性增強(LE),Gamma矯正(GC)，HE，SSR，MSR，MSRCR，MSRCP，RetinexNet并在主觀和客觀兩方面進行對比。實驗參數設置及特點如表1所示。

表1 實驗參數設置及特點

表2 方法特點

3.2 確定濾波算法

在本文中對原圖進行預處理分離出細節層也是非常重要的一個步驟，使圖像增強后在保護細節紋理方面有很大提升。實驗選用9×9窗口模板的均值、最大值、最小值、高斯及中值濾波5種濾波方式對圖WaterC進行細節層分離，細節層分離結果如圖 3所示。使用不同濾波算法對圖WaterC，HighB，StreetN，AI，SuburbanB，IndoorT細節層分離，不同濾波算法耗時結果如表3所示。

圖3 細節層分離結果Fig.3 Detail layer separation results

從圖3中看出細節圖(a)未能有效分離出細節信息，包含背景成分過多，細節圖(b)幾乎沒有細節成分，細節圖(c)中雖然包含細節信息豐富，但同時包含大量的背景信息，而且強光區域出現模糊情況，很容易使疊加后的圖像出現過度增強顯現，(d)中僅包含部分強光區域的細節，細節圖(e)保存大量有效信息，并且邊緣輪廓清晰，含有背景成分少。

表3 不同濾波算法耗時結果

表3可以看出，中值濾波在各個算法中表現穩定，時耗上總體僅落后于高斯濾波，結合表3和圖3，從提取效果和時耗兩個因素考慮，本文選用中值濾波作為提取細節層的濾波算法。

3.3 確定濾波模板

由式(1)和式(2)可知對圖像進行平滑操作時，模板窗口的選擇十分重要，平滑窗口越大，平滑效果越明顯。對圖WaterC，HighB，StreetN，AI，SuburbanB，IndoorT分別使用3×3，5×5，7×7，9×9，11×11，13×13平滑提取細節層，并選用邊緣強度(EI)對獲取到的細節層進行質量評估，提取細節層耗時、細節層質量結果分別如表4、表5所示。

盡管中值濾波的運行時間與窗口大小沒有直接聯系，但是一個算法好壞從時間效率上也有所體現，結合表4可知在多個窗口模板中9×9的窗口值是最為穩定的，比另外兩個窗口值較大的模板在耗時上差距較小。

表4 提取細節層耗時

從表5中可知，窗口模板的值越大，圖像的邊緣信息越豐富，實際導致這一現象的原因是：窗口值選擇較小時，平滑力度不夠無法較為完整的獲取細節信息，模板窗口選擇過大時，但輸入圖片與平滑結果差值不僅包含細節信息還包括很多背景信息。綜合上述表4和表5，本文選擇窗口為9*9的模板。

3.4 主觀評價

WaterC增強圖如圖4所示。由這一組圖片可以很明顯感受到，(b)LE的效果并不明顯，統一的增強圖像中的所有像素，雖然能使圖片整體明亮一些，但是不能使黑暗區域中的信息更好的顯示；(c)，(d)，(e)，(f)從視覺效果上已經有明顯提升，能顯示出黑暗區域中建筑物的信息，并且在原圖中肉眼無法看到的空中的云朵能夠較為完整的顯示，但是整體顯得有些假白，不是十分自然；(g)和(h)在本組實驗中未能顯示出算法優勢，閃電對云朵區域的像素點造成影響，遠處的像素點對中心像素點依賴度過高，顯得增強過度；(i)增強后的圖像細節信息豐富，但失真的情況較為嚴重，畫面十分不自然；本文方法(j)呈現的效果較為自然，細節信息明顯，閃電和云朵的層次感分明。

圖4 圖WaterC增強圖Fig.4 WaterC Enhancement map

為驗證本文方法效果的穩定性以及對細節等方面保存性能的優勢，對高山夜景圖進行增強，更直觀地從視覺效果上感受本算法的優勢，圖HighB增強圖如圖5所示。

圖5中的(c)，(d)，(e)，(g)表現的效果還是比較令人滿意，(c)，(d)增強的結果已經能看出是夜晚，但是在云彩的細節上有所欠缺；(e)，(f)在細節上在建筑物的細節上比較有優勢，但是增強后更像是白天，和實際上的光照差距較大，減小了周圍與建筑物周圍的燈光的對比度；(h)效果失真，并未展現其算法優勢；(i)在懸崖的細節上有所模糊，而且植物的顏色存在失真的現象。本文算法效果穩定不僅能較為完整呈現建筑五和云朵等細節信息，還能看出是夜晚的效果。

圖6～圖9列舉出更多的圖片的實驗數據。

圖5 圖HighB增強圖Fig.5 HighB Enhancement map

圖6 圖StreetN增強圖Fig.6 StreetN enhancement map

圖7 圖AI增強圖Fig.7 AI Enhancement map

圖8 圖SuburbanB增強圖Fig.8 SuburbanB Enhancement map

圖9 圖 IndoorT增強圖Fig.9 IndoorT Enhancement map

由圖4～圖9發現其余幾種算法均存在不同程度的增強不足或增強過度的情況，通過這幾組圖片能在視覺上感覺到本文方法的優勢，即使針對不同類型的低光照圖像，它也能揮發穩定的功效，增強后的圖片十分自然，并且細節效果展示充分。

3.5 客觀評價

單從視覺效果或評價指標數值中的一個有時不能完全判定一個圖像增強后的質量，故本文采用EI、平均梯度(AG)、空間頻率(SF)、能量梯度(EG)等4個圖像質量評估函數來對以上幾組增強后的數據進行評估，綜合評價本文方法。各組數據EI質量評估函數結果如表6所示。

表6 EI評估質量函數結果

邊緣作為圖像最基本的特征，指的是周圍像素弧度又節約變化的那些像素的集合，邊緣強度是評價圖像質量重要的指標之一。從表6看出在多幅圖像的實驗中，雖然本文方法在圖HighB，IndoorT中次于RetinexNet算，結合對應圖像可以看出RetinexNet增強后的圖像加強了陰影部分的提取，雖然保留下很多邊緣信息，但也給邊緣附近留下很多噪聲，效果并不理想。本文指標優于其余算法，在圖像的邊緣保護方面表現良好。

平均梯度指圖像邊界或影線兩側的灰度值變化的差異，即表示灰度變化率的大小，它反映了圖像為小細節反差變化，表征圖像的相對清晰程度。表7中指標總體良好，雖然RetinexNet在圖2～圖7的指標表現十分出色，但原因是背景信息與細節信息過度區域發生了光的發散，導致增強后圖像不自然。圖AI中次于HE和MSCRP，原因結合圖7發現HE和MSCRP過度增強，導致背景墻上亮度過高甚至出現光點，本文方法在增強的效果細節上勝過其余算法。

表7 AG評估質量函數結果

空間頻率函數是每度視角內圖像或刺激圖形的明暗度作正弦調制的柵條周數，應用在視覺系統中，為對比感受性函數。是評價圖像在視覺上敏銳度的指標。表8上看出，本文方法在圖SuburbanB上次于MSCRP算法，在結合圖8發現MSCRP顏色保護過度，導致增強后顏色失真。而本文方法增強效果自然，顏色表現良好。

能量梯度函數常被用來提取邊緣信息，對焦良好的圖像，邊緣更尖銳，有更大的梯度值。表9中指標在圖WaterC，HighB中次于RetinexNet算法，在圖AI中次于HE和MSCRP，RetinexNet算法，在圖SuburbanB和IndoorT中次于MSCRP和RetinexNet算法，由圖3～圖9看出都是圖像過度增強導致的。在其余圖像上，本文方法均表現良好。

表8 SF評估質量函數結果

綜上所述可以看出本文方法在各個性能指標上表現良好，比常見的幾種Retinex算法，本文方法類比其他算法具有一定的穩定性，優勢明顯。盡管不是所有的評價函數指標都是最高值，但是指標的數值都在正常范圍內。再結合視覺效果，可以感受到本文方法在對圖像細節信息保留方面有很大提升。

4 結 論

針對低光照情況下獲取的圖像的，本文提出一種結合平滑聚類和改進的Retinex算法的低光照圖像增強方法，運用多種技術盡量多的保存圖像細節，從而達到圖像增強的目的。本方法主要包含四步：第一步對輸入圖像進行分層處理，將輸入圖像進行平滑聚類得到基礎層，通過輸入圖像與基礎層的差異分離出細節層；第二步通過max-RGB技術對輸入圖像的光照圖進行初始化。利用圖像的局部一致性及交替方向最小化技術再優化初始的照明圖；第三步運用自適應Gamma矯正對優化后的照明圖進行重標，平滑曲線自動增強圖像對比度。根據最終的照明圖增強輸入圖像；第四步將增強后的圖像與細節層疊加，使圖像細節更加豐富。低光照圖像經本文方法增強后色彩自然，清晰度高，與其他經典方法相比，在保證增強質量的同時評價指標都相對較高，提出的方法在現實生活和研究中可以廣泛使用。