結合加權引導濾波和小波變換的低照度圖像增強算法

王少東,吳春林,劉永城,謝雨晴,王正家

(1 湖北工業大學機械工程學院, 湖北 武漢 430068; 2 湖北工業大學底特律綠色工業學院,湖北 武漢 430068)

車輛檢測、行車記錄和交通視頻監控等場景都嚴重依賴高質量的圖像[1]。但由于外界環境光線不足和光線照射不均勻等,導致采集到的圖像亮度不高,信噪比偏低且圖像紋理較少,這不但影響了人眼的視覺感官,也增加了圖像中有效信息的使用難度。因此,需要合理增強低照度圖像,使其具有較強的細節表現能力。當前常用的低照度圖像增強算法主要包括直方圖均衡化[2]、圖像亮度反轉去霧[3]、Retinex算法[4]、小波變換[5]和深度學習[6]等方法。直方圖均衡化通過調整灰度值的分布概率進行增強,但容易造成灰度級減少和細節消失。王小元等[3]將低照度圖像進行反轉,使用去霧算法進行增強,但出現了過度增強的現象,造成圖像模糊。Land 在1997年提出Retinex顏色恒常性理論。基于此理論,Jobson等[7]提出的單尺度Retinex(SSR)和多尺度Retinex(MSR)用于圖像增強并取得一定效果,但增強后的圖像存在顏色失真、噪聲放大和 “光暈偽影”等現象。此后研究學者提出不同的改進增強算法。劉曉陽等[8]使用雙邊濾波進行照射分量估計以改善“光暈”現象,但由于雙邊濾波的特性,其算法的改善效果不夠明顯,且存在顏色失真現象。馮紅波等[9]使用自適應因子,根據圖像亮度選擇不同高斯尺度的權重值,減少了增強后圖像的顏色失真。肖創柏等[10]使用引導濾波作為環繞函數進行增強,圖像具有一定邊緣保持能力,但是在圖像邊緣處存在暈影,圖像噪聲也未得到抑制。使用深度學習的方法進行增強需要構造復雜的網絡模型,而且模型的調整參數過多,訓練復雜,設備的性能要求高[6]。

RGB顏色空間中色彩與各通道值緊密關聯,直接對RGB圖像處理容易導致顏色失真。傳統使用高斯濾波的Retinex算法,不能準確地定位邊緣,導致出現了“光暈”現象,增強后圖像細節嚴重丟失,同時無法減少或抑制噪聲。鑒于此,結合HSV空間中各通道互相獨立的特性,本文提出結合加權引導濾波和小波變換的低照度圖像增強算法,對V通道分量進行增強和去噪處理。實驗數據表明,該算法有效增強了低照度圖像亮度,色彩保真,細節較好,有效抑制了“光暈偽影”和噪聲。

1 相關理論

1.1 HSV顏色空間

HSV顏色空間使用色調(H)、飽和度(S)和明度(V)表示圖像。與RGB顏色空間不同,HSV顏色空間各通道互相獨立,這種特性更接近人類對于色彩的感知。由于直接對RGB圖像進行處理容易造成色調變化等問題,從而出現顏色失真的現象,本文首先將圖像轉換至HSV顏色空間處理,然后轉換至RGB顏色空間輸出增強的圖像。HSV與RGB顏色空間的轉換如下:

V=max

(1)

(2)

式中:r,g,b代表圖像在RGB空間中三通道的像素值,max為(r,g,b)中的最大值,min為(r,g,b)中的最小值。

1.2 Retinex理論

Retinex理論是一種色彩恒常性理論,其認為物體表面的顏色不受外界環境光照變化影響,而是由其對光線的反射能力決定。該理論認為圖像由兩個分量組成,即

S(x,y)=R(x,y)L(x,y)

(4)

式中:x和y是圖像中像素的坐標,R(x,y)為反射分量,L(x,y)為照射分量。

單尺度Retinex算法使用高斯濾波器估計照射分量,從而計算出反射分量

L(x,y)=G(x,y)*S(x,y)

(5)

式中:*為卷積運算符;G(x,y)一般選擇為高斯濾波器,其定義為

(6)

其中δ為高斯尺度,C為調整因子,使得G(x,y)滿足在高斯濾波尺度范圍內對其積分的和為1。

將式(4)轉換至對數域運算計算照射分量。

r(x,y)=lgR(x,y)=lgS(x,y)-lg(G(x,y)*S(x,y))

(7)

式中:r(x,y)為得到的反射分量,即增強后的圖像。

多尺度Retinex(MSR)算法在單尺度Retinex算法基礎上發展而來,其結合高、中、低3個尺度的濾波結果估計照射分量。

(8)

式中:K是中心環繞的個數,一般取K=3;ω1=ω2=ω3= 1/3。

2 算法

為解決低照度圖像增強處理后圖像色彩失真、圖像細節差和“光暈偽影”現象等問題,根據HSV顏色空間各通道的獨立性,提出結合加權引導濾波和小波變換的低照度圖像增強算法。采用改進加權引導濾波作為環繞函數的多尺度Retinex算法和改進的閾值函數分別處理V分量小波分解的低頻系數和高頻系數,對小波逆變換重構的V分量進行Gamma校正處理以增強對比度;最后將H、S分量和增強后的V分量轉換至RGB顏色空間。算法流程如圖1所示。

圖1 本文算法流程

2.1 小波分解與重構

小波變換使用一系列的小波函數族表示某一信號,具有正交和雙正交的特性。使用小波變換在對圖像進行分解時,可以很好地消除圖像中像素點間的相關性,有效提取高頻系數和低頻系數。

二維離散小波變換進行分解可實現圖像全局信息與局部信息的分離,公式如下:

(9)

(10)

將增強處理后V分量高低頻系數小波反變換重構:

(11)

2.2 改進的多尺度Retinex算法

傳統Retinex算法使用高斯濾波器作為環繞函數估計入射分量,這種估計來源于假設入射分量是在當前環境光照條件下的平滑圖像。當圖像中存在高對比度區域時,使用高斯濾波器估計出的入射分量仍為平滑圖像,此時增強后圖像的高對比度區域將產生“光暈”。同時由于高斯濾波器的低通特性,對圖像的邊緣保持能力不夠,導致增強后圖像的細節損失較多。

因此一些學者提出使用具有保邊效果的濾波器,如雙邊濾波器和引導濾波器。引導濾波相較于雙邊濾波具有更好的邊緣保持特性,且計算復雜度低。根據引導圖像I的內容計算輸入圖像p經濾波后的輸出圖像。

qi=akIi+bk,?i∈wk

(12)

式中:i和k為索引,wk為以K為中心的正方形窗口,引導圖像I可以與濾波圖像P相同。ak和bk是wk窗口中的常量。最小化q和p之間的差異,則在窗口中有代價函數:

(13)

式中ε為限制ak的正則化參數。通過線性回歸求解:

(14)

(15)

由式(14)可知在不同窗口中參數ε是固定不變的。在圖像的邊緣信息豐富的窗口,計算所得的線性系數ak較大需要對正則化參數ε進行懲罰。鑒于此,文獻[11]提出一種結合方差加權的引導濾波算法[11]。該算法將窗口的局部區域方差作為權重因子,對固定的ε進行懲罰,得到自適應窗口的ε值,相較于原始的引導濾波法可以較好的保護邊緣。但存在方差較大值的某些窗口不對應圖像的邊緣現象,所以用方差作為懲罰因子的方法有待改進。

本文對文獻[11]中加權引導濾波的懲罰因子進行改進,采用局部高斯差分Dog(difference of gaussian)算子的對參數ε進行懲罰。重新定義濾波窗口wk中的權重因子如下:

(16)

式中:N為像素總數,Dog(i)是高斯差分算子,i為中心像素,γ取值為0.066。

則代價函數更改為:

(17)

為驗證改進加權引導濾波的邊緣保持效果,對圖2a進行入射分量估計。明顯可以看出改進的加權引導濾波器的細節保持能力最好,邊緣清晰,相比之下高斯濾波和引導濾波的結果較為模糊。

圖2 入射分量估計結果對比

本文采用改進的加權引導濾波取代高斯濾波進行入射分量估計,則改進的多尺度Retinex算法公式如下:

(18)

式中Gk(x,y)為改進的加權引導濾波。

2.3 改進的閾值函數小波高頻系數去噪

小波分解V分量得到的高頻系數中包含圖像的細節輪廓信息和噪聲[12],因此需要對噪聲進行去除以提高增強后的圖像質量。對噪聲的去除算法需要設定一定的閾值,本文采用固定閾值法確定閾值。

(19)

式中:σ為噪聲標準差,N為圖像大小,median( )為中值函數,λ為閾值。

采用一種改進的三段式閾值函數進行高頻系數去噪。

(20)

小波重構后得到的V通道圖像亮度值較低,需進行調整提高圖像亮度。本文使用Gamma校正進行亮度調整:

(21)

式中:γ為校正參數,且γ≥1,本文中取經驗值2。

3 實驗結果與討論

實驗選取6幅不同場景的低照度圖像,分別用SSR算法、MSR 算法、文獻[10]算法和本文所提算法進行處理,對處理結果使用主觀評價和客觀評價進行分析。實驗環境為Visual Studio 2015,編程語言選用 C++,并基于OpenCV3.4.2版本進行開發。實驗使用的PC配置如下:Windows10操作系統,處理器intel i5-5300U,主頻2.3 GHz,內存8.0 GB,固態硬盤512 G。SSR算法的高斯尺度為80,MSR的高斯尺度為15、80和200。本文算法使用“sym4”小波基,濾波窗口為5、15和30。

圖3 低照度圖像增強結果對比

3.1 主觀評價

圖3中,第1列為不同場景下的低照度圖像,包括普通低照度室外圖像、光照不均勻圖像和亮度極低的室內圖像。第2列為SSR算法增強處理后的圖像,SSR算法處理后的圖像明顯亮度偏高,同時在Image a、Image b、Image c、Image d和Image e中出現“光暈”,且圖像整體區域顏色失真。第3列為MSR算法增強處理后的圖像,圖像整體偏灰亮度較低,增強后的Image d圖像盤子的周圍存在“光暈”,圖像嚴重失真。第4列為文獻[10]算法增強處理結果,圖像較為清晰,有效避免了光暈現象,但是圖像整體較暗,增強后的Image e圖像在屋頂與天空處存在明顯的過渡痕跡,圖像的噪聲較多。

第5列為本文算法處理結果。相較于其他算法,本文算法增強后的圖像亮度適中,色彩鮮艷且圖像細節明顯,未出現“光暈”,增強效果好。

3.2 客觀評價

主觀評價是觀察者的直接視覺感受,依賴于不同的評價標準或個人經驗,缺乏一定的穩定性。客觀評價采用一致的評價方法,結果具有較好的穩定性。本文采用均值、標準差信息熵和峰值信噪比對圖像增強效果進行客觀評價。灰度均值反映了圖像的整體亮度,標準差反應了圖像的對比度,信息熵表示圖像包含的信息量,峰值信噪比反應處理后圖像的質量。

選取圖2中Image c和Image d兩幅圖不同算法的增強結果,使用上述指標對圖像進行客觀分析,結果如表1和表2所示。

表1 image c圖像增強評價數據

表2 image d圖像增強評價數據

根據表1和表2中的評價數據可知,SSR算法增強的圖像均值最高,但是圖像整體偏白,圖像細節模糊。本文算法處理后的圖像亮度均值小于SSR算法的增強結果,但圖像亮度適中,未出現圖像增強過度的現象。本文算法的標準差高于其他算法,表明圖像對比度高,細節表現能力強。另外,本文算法處理圖像的峰值信噪比最高,色彩失真小,噪聲得到了有效過濾。

4 總結

針對低照度圖像增強處理后存在色彩失真、圖像細節差和“光暈偽影”等問題,本文提出一種結合加權引導濾波和小波變換的低照度圖像增強算法。增強后圖像的主觀和客觀評價驗證了本文算法可有效增強圖像質量,消除了光暈偽影,同時圖像細節表現能力較高,有效去除噪聲。實驗過程中發現本文算法對于部分低照度圖像增強后灰度均值不高,在后續對此問題會做進一步研究。