基于引導濾波的微光圖像增強算法研究

陳 婷， 蒲亨飛， 黃治勇， 李良榮， 張豐云

（1 貴州大學 大數據與信息工程學院， 貴陽 550025； 2 遵義市播州區中等職業學校， 貴州 遵義 563000）

0 引言

微光圖像通常是在夜間或光照較弱等低光照條件下所獲取的一類圖像。 在低照度條件下，成像設備獲取的圖像和視頻的質量降低，就會出現圖像亮度低、對比度不足、噪聲大的問題，不僅使得人眼的主觀視覺效果受到影響，也會導致某些特定系統的性能降低，比如公路交通監控、視覺監視和消費電子產品等系統。 因而，開展微光圖像增強技術的研究具有重要意義。

迄今為止，微光圖像增強算法可大致分為6 類：基于直方圖均衡化的增強方法、基于Retinex 理論的增強方法、基于頻域的增強方法、基于圖像融合的增強方法、基于去霧模型的增強方法以及基于深度學習的增強方法。 直方圖均衡化算法運用累積分布函數來調整圖像的輸出灰度，從而使其具有均勻分布的概率密度函數。 通過這種方式，可以使黑暗區域中隱藏的細節重現，并且可以改善輸入圖像在人眼中的視覺效果，然而這種方法易導致細節消失以及局部過度增強［1］；Retinex 理論由美國物理學家Land［2］在1964年提出，也被稱作視網膜皮層理論，是基于人眼對顏色的感知和顏色不變性的建模，即基于光照－反射模型，但是光照估計是基于光照緩慢變化的，而并不是所有微光圖像都滿足此假設。2020年，Wang 等學者［3］提出了一種新的微光圖像增強算法，此算法從空域擴展到頻域。 基于頻域的圖像增強方法是指當圖像在某一個變換域內時，調整變換后的系數，將圖像從空域變換為頻域，使得圖像在頻域內進行濾波，最后將得到的結果反變換回空域。 典型的頻域方法包括同態濾波和小波變換，但是其中濾波器的選取會丟棄某些細節。 基于融合的方法可以使用不同的成像方法將一幅圖像進行處理，包括從單個圖像中以多種方式提取細節，以打破對圖像序列的依賴。 Yamakawa 等學者［4］提出了一種圖像融合技術，該技術使用源圖像和retinex 處理過的圖像，能在亮區和暗區實現高能見度。 2011年，He 等學者［5］提出了圖像暗通道先驗理論，這一理論的提出使得圖像增強技術獲得了進一步發展。2011年，Dong 等學者［6］基于去霧理論提出了一種新的圖像增強算法，也稱為亮通道先驗方法。 但是基于去霧模型的增強算法缺乏可靠的理論支撐，且容易在一些細節領域過度增強。 Lore 等學者［7］在一個框架中采用了堆疊稀疏降噪自動編碼器來訓練LLNet 進行微光圖像增強。 Kim 等學者［8］利用局部光照制作訓練圖像，并使用先進的生成式對抗網絡構建Low Light GAN。 但是，這種方法必須得到大數據集的支持，模型復雜度的增加會使相應算法的時間復雜度顯著變大。

因此，對于微光圖像存在低亮度、細節丟失的問題，本文提出一種基于引導濾波的微光圖像增強算法。 由于HSV 顏色系統比RGB 更接近于人眼的感知，因此首先將圖像從RGB 顏色系統轉為HSV 顏色系統，為提高對比度、亮度，分別采用直方圖均衡化（HE）、改進的伽馬校正及經典的非銳化掩膜（GUM）對V 通道進行處理，其次用合適的融合權重將V 通道進行多尺度融合，然后采用改進的引導濾波對融合后的V 通道進行處理，最后將處理后的圖像從HSV 顏色系統轉回RGB 顏色系統，從而實現圖像增強。

1 基本原理

1.1HSV色彩空間

一般為學界所熟知的是RGB、 即三基色空間［9］，該空間表示一幅彩色圖像可以被分為紅（Red）、綠（Green）、藍（Blue）三幅分量圖像，而HSV是一種通過色調（Hue）、飽和度（Saturation）以及亮度（Value）三種色彩分量來表示彩色圖像的色彩空間，也可稱為六角錐體模型，因其比RGB系統更接近人眼感知系統，所以近年來得到了廣泛使用。RGB空間圖像可以轉換為HSV空間圖像，轉換關系的數學公式具體見如下：

1.2 引導濾波

引導濾波是2013年He 等人［10］提出的一種新的圖像局部濾波算法，具備平滑、保持邊緣，以及提高系統速度的優點。

假設引導圖像為G，待濾波輸入圖像為p，濾波輸出圖像為q，q可表示為G在窗口wk內的局部線性變換，線性模型為：

其中，wk表示以像素i為中心，以k為半徑的一個鄰域，ak、bk是wk中假定為常數的一些線性系數。 為了確定ak、bk的值，建立一個約束條件，輸出q可表示為輸入p減去一些不需要的分量n，例如噪聲或者紋理可由下式進行描述：

為使p和q之間的差值能夠達到最小化，即在窗口wk中最小化損耗函數，損耗函數定義為：

其中，ε是規整化因子，可避免ak系數過大，同時也是一個能夠調節濾波器濾波效果的重要參數。對式（6）進行最小二乘法得到：

其中，μk和是局部窗口wk內引導圖像G的灰度均值和方差；表示窗口內的像素總數；pk表示輸入的待濾波圖像p在窗口內的灰度均值。

2 本文改進算法

本文改進算法框圖如圖1 所示。

圖1 算法框圖Fig. 1 Block diagram of the algorithm

2.1 輸入

在本文算法中，3 個輸入都來自原始微光圖像的V通道。 首先，使用直方圖均衡化來增強圖像的全局對比度，從而得到第一幅輸入圖I1。 因微光圖像的整體亮度很暗，故通過改進的伽馬變換來提高整體亮度，從而得到第二幅輸入圖I2。 Gamma 變換通過γ和c兩個參數來決定［11］。 Gamma 變換公式可寫為：

其中，Iin表示輸入圖像；Iout表示輸出圖像；γ和c都是用于調節伽馬變換函數的參數，不同的γ會產生不同的效果。

然后，經過多次的實驗，本文改進一種能夠自適應的伽馬校正因子［12］，該因子可較好地校正圖像整體亮度且避免亮度過高的情況，使得校正后的圖像在視覺效果上變得更好。 校正因子的計算見式（10）：

其中，σ為圖像像素的標準差，μ為圖像像素的均值。

最后，根據改進的γ值對V通道進行伽馬校正：

I1和I2提高了圖像的對比度以及亮度，因此本文進一步采用廣義非銳化掩蔽算法（GUM）［13］提高圖像的對比度、清晰度和保留細節，生成第三幅輸入圖I3。

2.2 權重

亮度增強和提升對比度是圖像增強的預處理步驟，為了使得最后的增強圖像與人類的視覺感知相契合，本文使用特定的權重圖來測量和提取輸入圖像的更多細節。 由于微光圖像的本質問題與光照有關。 因此，選擇亮度作為權重來融合那些從輸入中獲得良好光照的區域［14］。 一般來說，首先將像素值進行歸一化，然后將像素平均值設置為0.5，這些像素（0.5）通常有很好的光照效果。 為了得到權值，計算每個像素的輸入值I（x，y） 與平均值之間的距離，可由下式計算求出：

其中，Iz（x，y） 為輸入Iz在點（x，y） 的像素值，z是輸入索引，本文設標準差的默認值為σ ＝0.3。 對光照不足的像素點，賦予其較小的權值，而對大多數正常光照強度的像素點，賦予其較大的權值。 為得到一致的處理結果，將Wz（x，y）進行歸一化處理，推得的數學公式為：

2.3 多尺度融合

在獲得3 個輸入Iz和權值映射后，輸出圖像由下式計算：

由于原始圖像融合過程是將不同圖像直接進行加權相加，結果會產生不同程度的光暈現象。 因此本文采用Burt 和Adelson［15］提出的多尺度融合來解決這個問題，即通過使用拉普拉斯算子將輸入分解為一個金字塔和一個高斯金字塔的權重映射，最后通過使用逐層重建的方式來獲得最終的融合圖像。

因此，V（x，y） 的結果是通過將每一層的拉普拉斯輸入和高斯權重映射分別混合而得到：

其中，l表示金字塔的層數，本文設置金字塔層數為5；是歸一化之后的權重映射的高斯金字塔；L｛I｝ 是輸入I的拉普拉斯金字塔。

2.4 改進的引導濾波

由于在引導濾波里，所有的窗口選用的都是固定的規整化因子，這完全忽視了不同窗口內像素之間存在的某些紋理差異。 因此，在對邊緣進行平滑處理時，會將模糊集中在這些邊緣附近，從而產生光暈偽影，導致濾波效果降低。 后來在2015年，Li 等學者［16］提出了加權引導濾波，該濾波和引導濾波一樣快速并且保留邊緣。 為了使得規整化因子能夠自適應調整，使用局部窗口內的方差信息。 按照局部窗口wk內方差的定義，對邊緣權重定義如下：

其中，G為引導圖像；表示以像素點i為中心像素周圍3×3 鄰域內的方差；ε是規整化因子，取值為（0.001×L）2；L表示原始輸入圖像的動態范圍；N表示引導圖像的像素總數。 因此，損耗函數變為：

在引導圖像的邊緣，依據公式（16）可輕易得到，鄰域內像素點i的方差與其對應的邊緣權重WG（i） 成正比，與規整化因子ε成反比，即當方差越大時，邊緣權重WG（i） 越大，而對應的規整化因子則會越小。 所以才能夠更好地保護圖像的邊緣細節信息。

但是通過計算3×3 窗口內的方差作為邊緣權重因子，方差大的像素點并不全是圖像邊緣，會導致所得的邊緣信息與實際存在著較大誤差。 因此，在原有加權引導濾波算法的基礎上加入Sobel 算子［17］，以自適應調節邊緣權重因子，修正后的邊緣權重因子如下：

其中，G為引導圖像；ψG（i） 為邊緣權重因子；S（i） 為像素點i處的Sobel 算子；N為圖像的總像素；ε值和式（16）一樣，取為（0.001×L）2；L是輸入圖像的動態范圍。

ψG（i） 可以一定程度地反映邊緣像素在總像素中的占比，當ψG（i）＜1，此時為平滑處像素，權重較小；當ψG（i）＞1，此時為邊緣處像素，權重較大。

濾波結果如圖2 所示。 可以很明顯看出，改進的引導濾波可以更好地保持圖像的細節，使得圖像更加清晰。

圖2 濾波結果Fig. 2 Filtering results

3 實驗與結果分析

本文所有算法都是計算機在Windows 10 系統下，使用Matlab R2018（b）軟件進行實驗。 電腦配置為Intel（R） Core（TM） i5－7200U CPU ＠ 2.50 GHz，4 GB RAM。

3.1 本文算法的實驗結果

本文算法運行的各步驟效果如圖3 所示。

圖3 本文算法處理各步驟效果圖Fig. 3 Processing renderings of each step

圖3 （d）是經過本文改進的gamma 校正處理后的V通道圖像，可知增強了整體亮度。 圖3（e）為經過本文改進的引導濾波處理后的V通道圖像。 圖3（f）為本文算法最終的增強圖像。 可以看出，與原始微光圖像相比，本文算法處理后的圖像對比度、清晰度以及亮度均有比較明顯的提升，圖像的細節也得到較好的保留。 綜上所述，本文算法能有效提高圖像質量。

3.2 增強效果對比

為了證實本文所提出算法的性能優勢，將選用文獻［18］的Retinex－Net 算法、文獻［19］的對比度受限的自適應直方圖均衡化算法（CLAHE）、文獻［20］以及文獻［21］所提出的微光圖像增強算法分別對相同的微光圖像進行增強處理，最后與本文所提算法的處理結果進行比較。

3.2.1 實驗結果的主觀評價

本文所提算法與選用的4 種算法的處理結果如圖4 所示。 由圖4（b）第3 幅圖像可知，通過文獻［18］增強過的圖像存在亮度提升過度的情況，整體過于模糊，丟失許多細節；通過文獻［19］處理過的圖像，整體顏色過于黯淡，且整體對比度不高。 由圖4（c）第1 幅圖像可看到，花盆旁邊的地板、盆栽以及花朵的顏色不夠鮮明，圖4（c）中第3 幅圖像的地板亮度依舊很暗。 通過文獻［20］算法處理的圖像，在色彩上存在一定失真，由圖4（d）中第1 幅圖像可看到粉色花朵經過增強后變為白色，圖4（d）中第2幅圖像的鮮橙色格子變為淡橙色。 通過文獻［21］處理過的圖像，整體亮度提升不夠，仍然較為黯淡；通過本文所提出算法增強后的圖像，由圖4（f）第1幅圖像可看到圖像的整體亮度提升較好，且盆栽及旁邊的花朵顏色未出現失真，圖4（f）第2 幅圖像的很多暗處的細節都顯現出來，圖4（f）第3、第4 幅圖像的增強效果也較好。 因此，本文算法使增強后的圖像在整體亮度、對比度以及細節保持、清晰度上都有了一定的提升，并且圖像還原度較高，色彩鮮艷自然，總體來講，主觀視覺質量較好。

圖4 5 種算法的結果對比圖Fig. 4 Comparison chart of the results of the five algorithms

3.2.2 實驗結果的客觀評價

本文選用3 個客觀指標來評價算法的優劣，詳述如下。

（1）峰值信噪比（PSNR）［22］：圖像的PSNR是判斷圖像去噪效果最普遍、最常用的客觀評價方法。 數學定義公式具體如下：

其中，fmax是灰度像素最大值，fmax＝255，EMS是均方方差。 從式（19） 可以看出，PSNR值與圖像質量成正比，當PSNR值越大，則表明增強后的結果圖像質量越高。

（2）結構相似度指標（SSIM）［23］： 根據圖像的亮度l（f，fe）、對比度c（f，fe）和結構s（f，fe） 三者的比較，以此來評估處理后的結果圖像相較于原始圖像的質量。 將這3 個值結合起來，就能得到整體的相似度度量。 其值越大，表明結構越相似，數學公式具體如下：

（3）無參考圖像評價指標（NIQE）［24］： 基于一個簡單而成功的空間域自然場景統計（NSS）模型，構建了一個統計特征的“質量感知”集合。NIQE與圖像質量成反比，即NIQE值越低，表明圖像質量越高。

本文算法與選用的4 種算法的3 個客觀評價指標結果見表1～表3。 以圖4（a）中第1 幅圖像為例，本文所提算法與文獻［18］相比較，峰值信噪比、結構相似度分別提高了0.089、0.009，無參考圖像評價指標降低了0.249。相較于文獻［19］，峰值信噪比、結構相似度分別提高了0.0042、0.0001，無參考圖像評價指標降低了0.7163。相較于文獻［20］，峰值信噪比、結構相似度分別提高了0.0003、0.0153，無參考圖像評價指標降低了0.4187。相較于文獻［21］，峰值信噪比、結構相似度分別提高了0.013、0.007，無參考圖像評價指標降低了0.1518。

表1 本文算法和4 種算法的PSNR值比較結果Tab. 1 Comparison ofPSNRvalues between the algorithm in this paper and the four algorithms dB

表2 本文算法和4 種算法的SSIM值比較結果Tab. 2 Comparison ofSSIMvalues between the algorithm in this paper and the four algorithms

表3 本文算法和4 種算法的NIQE值比較結果Tab. 3 Comparison ofNIQEvalues between the algorithm in this paper and the four algorithms

通過客觀數據分析表明，經本文算法處理過的圖像，不論是在峰值信噪比、結構相似度還是無參考圖像評價指標以及各自平均值，與選用的另外4 種算法處理后的圖像相比較，得到的數據結果都是相對比較好的。

4 結束語

針對微光圖像的亮度低、細節丟失的問題，本文提出一種基于引導濾波的微光圖像增強算法。 所提算法使用改進的伽馬校正解決亮度低的問題，改進的引導濾波解決細節丟失的問題。 最后的增強結果不論是從客觀評價、還是主觀評價指標方面看，與本文選用的4 種圖像增強算法的效果相比，本文算法在各方面都有一定的優勢。 最后，盡管本文所提算法在對微光圖像的增強效果方面有了一定提升，但依舊需要對其做更深一步的優化，例如減少算法運行時間以及拓寬算法的應用場景。