基于物理模型與邊界約束的低照度圖像增強算法

陳 勇 詹 帝 劉煥淋

?

基于物理模型與邊界約束的低照度圖像增強算法

陳 勇*①詹 帝①劉煥淋②

①(重慶郵電大學工業物聯網與網絡化控制教育部重點實驗室 重慶 400065)②(重慶郵電大學光纖通信技術重點實驗室 重慶 400065)

針對低照度下圖像降質嚴重的問題，該文提出一種基于邊界約束與圖像亮度的低照度圖像增強算法。該算法首先通過改進的邊界約束對偽霧圖進行透射率估計，并對其進行優化；同時從偽霧圖“霧”的形成原理出發，利用低照度圖像的亮度分量進行偽霧圖大氣光值的估計；最后將增強后的偽霧圖反轉，即得到增強后的低照度圖像。實驗結果表明，針對低照度下的圖像，該算法可以有效地提升對比度和亮度，過增強現象得到改善；效果優于對比算法，且復雜度低。

低照度圖像增強；偽霧圖；邊界約束；物理模型

1 引言

當前針對低照度圖像的優化主要有基于圖像空域變換的方法、基于小波變換的方法、基于直方圖均衡化的方法、基于Retinex理論的方法、基于圖像物理模型的方法等。Mukherjee等人[6]利用HSV空間變換，分別對亮度分量V和色度分量S進行處理, 提升了圖像亮度并改善了飽和度，提出一種基于DCT變換的圖像增強算法。Zhou等人[7]通過構建對比度增強函數對圖像HSV變換后的V分量進行處理，實現了低照度圖像全局亮度增強與局部對比度增強。小波變換因能分離圖像高低頻成分而被廣泛應用于圖像增強，但其存在缺乏平移不變性、分解方向有限等缺陷[8]。李慶忠等人[9]對由離散小波變換分離的圖像低頻分量進行照射分量估計與去除，高頻分量進行紋理信息增強與去噪，并利用鮑威爾與模擬退火相結合的優化算法實現了低照度圖像對比度的快速、自適應增強，但其并未解決小波變換存在的問題。基于直方圖增強算法簡單有效且處理速度快，但對噪聲敏感，細節易丟失。文獻[10]實現了圖像的局部優化增強，圖像的細節信息保留更加完整，增強效果更加明顯，但需要圖像的所有像素點，時間復雜度較高。Jobson等人[11]在Retinex算法[12]的基礎上提出了MSRCR(Multi-Scale Retinex with Color Restoration)算法，引入色彩恢復的概念，利用原圖各波段的色彩比例因子對低照度圖像進行優化，增強效果較好，然而該算法在明暗對比強烈的邊緣處, 會出現光暈偽影及有部分色彩失真現象。在此基礎上，文獻[13]采用自適應高斯濾波來去除光暈偽影等失真現象，實現低照度圖像的優化增強，在增強對比度的同時保留了明亮區域的紋理，但該算法導致圖像飽和度降低，色彩失真現象依舊存在。Dong等人[14]發現低照度圖像經反轉與霧天圖像具一定的相似，采用圖像去霧的思想，利用暗原色先驗理論[15]并結合大氣散射模型[16]進行低照度圖像的復原，取得了較好的增強效果。但其并未考慮到由偽霧圖中大量的白色區域所導致的暗通道理論失效的問題，而直接將暗原色先驗理論應用于偽霧圖“去霧”中，存在一定的局限性。

針對上述問題，本文通過分析偽霧圖特性改進了邊界約束條件，對偽霧圖物理模型中透射率進行了準確估計；根據低照度圖與偽霧圖間的聯系，采用亮度信息進行大氣光值估計；最后通過物理模型對偽霧圖進行“去霧”，并再次反轉得到最終增強圖像，取得了較好的增強效果。

2 低照度圖像反轉質量優化

文獻[14]將低照度圖像與反轉后霧天圖像進行對比，發現兩者具有相似性，提出采用去霧技術來實現低照度圖像的質量優化，將圖像復原與圖像增強兩者結合起來，而該方法的關鍵就在于去霧方法的選擇。

MSRCR算法是當前研究較多且效果較好的基于圖像增強的去霧方法；基于物理模型的去霧算法主要是結合暗原色先驗理論，具有較好的去霧結果。本文從圖像復原的角度進行低照度圖像處理，選擇基于物理模型的去霧方法。

2.1 大氣散射物理模型

大氣散射模型其表達式如式(1)

2.2 邊界約束條件

3 基于邊界約束的低照度圖像復原方法

根據反轉后圖像與霧天圖像的相似性，結合大氣散射物理模型，采用去霧方法對圖像進行復原，關鍵是偽霧圖的透射率估計與大氣光值估計。通過分析偽霧圖的特點，本文提出了基于邊界約束的低照度圖像復原方法，其算法流程如圖1所示。

3.1 邊界約束估計透射率圖的改進

圖1 算法流程圖

圖2 邊界約束透射率估計對比

本文對圖像的暗像素點進行實驗統計是通過像素灰度值來劃分不同區域，所提的算法是根據像素的灰度值來劃分的，不考慮圖像其它因素，適用于一般的低照度圖像；同時該方法僅針對圖像的暗像素點進行統計，針對性強，能針對不同區域進行自適應去霧強度調節，相對于一般直接運用去霧算法進行低照度圖像增強方法更合理，而且降低由于所有像素同強度增強導致的過增強現象，保留更多的圖像信息。

3.2 透射率圖優化

由于上述透射率估計方法的是利用局部塊內有相同景深的假設，在深度突變的邊緣容易產生光暈。同時，偽霧圖是由低照度圖像反轉之后得到的，在不考慮人造光源影響的前提下，低照度圖像中景深越深，亮度越低，偽霧圖則越亮。而理想的透射率圖應該更好地代表圖像場景中的深度信息，場景內深度的變化是分段平滑且缺乏細節的，因此需要在保留邊緣的條件下去除透射率圖的細節信息，否則恢復出來的圖像會出現偏色。目前邊緣保持濾波大多采用雙邊濾波，但由于其是3維空間的濾波，耗時較長，為了提高算法效率，采用降維邊緣保持濾波[19]對透射率估計即細節進行處理。

在3維空間中，一幅2維灰度圖像表示為

首先通過變換將濾波核從3維空間降低到1維空間，變換滿足

式中，為1維濾波核函數。由于變換保持了原始3維空間內的像素距離，在進行邊緣保持濾波時由于像素間的混合強度與距離成反比，因此在1維空間中也具有邊緣保持的特性。降維變換的表達式為

式中，。經邊緣保持濾波即可得到優化的偽霧圖透射率估計。本文優化方法即邊緣保持濾波較雙邊濾波在保持邊緣的同時較好地模糊了細節，如圖3為實驗對比結果。

3.3 基于亮度的大氣光值A的估計

由式(1)可知，若取值較大則去霧后的圖像會整體偏暗，局部對比度也會降低，反之則偏亮，并且會造成天空區域失真。當圖像中有太亮的物體時，文獻[15]方法會出現的錯誤估計，而偽霧圖大多數區域為白色，因此需要優化的估計。

偽霧圖中的“霧”是由光照決定的，大氣光值應該是霧最濃的區域，對應低照度圖像中的最暗區域。對此，本文提出了基于低照度圖像亮度圖的大氣光值估計方法。首先，將低照度圖像由RGB空間轉換到HSV空間，得到亮度分量圖。將亮度圖分成4個子塊，分別計算每個子塊的平均亮度值，選擇最暗的塊再次劃分為4個塊，重復執行直到塊尺寸小于閾值。文獻[14]選擇利用圖像中最亮的前1%的像素點進行估計，經過實驗對比，本文選取閾值為13×13即可得到有效的估計值。為了得到最終的大氣光值，選取與最后得到子塊所對應偽霧圖中與理想的大氣光值(255, 255, 255)距離最小的點，估計大氣光值

4 實驗與分析

在操作系統為旗艦版64位Windows 7，配置為 Intel Core i5-2410M CPU@ 2.3 GHz, 4.00 GB(內存)的計算機，軟件環境為Matlab 2010b；選擇具有代表性MSRCR算法[11]、Dong算法[14]為對比算法。現從圖像庫中選擇具有代表性低照度圖像(圖4(a)來自Color Checker Dataset圖庫；圖4(e)由LIVE圖庫圖像降低亮度得到)并結合實際拍攝的低照度圖像(圖4(i)、圖4 (m))作為實驗測試圖。

4.1 主觀評價

圖4為選用對比算法與本文算法處理低照度圖像的結果。因為大氣光值的估計不夠準確，Dong算法得到的圖像存在明顯的光暈；MSRCR算法結果整體亮度較高，但偏色嚴重，且在高亮區域出現過增強現象；由于透射率估計方法更適合處理具有大面積白色圖像，且基于亮度的大氣光值估計更加準確，經本文算法處理的圖像細節增強較好，而且無明顯的過增強現象。

由圖4(i)與圖4(m)的處理結果可知，Dong算法由于采用He算法進行偽霧圖大氣光值估計，對于存在大面積白色區域的圖像失效，其處理結果信息丟失較多；MSRCR算法由于采用對R, G,B各分量分別濾波后再合成的步驟，使處理結果出現偏色，同時還引入大量噪聲；本文算法采用基于亮度的大氣光值估計，保留了圖像的顏色信息，圖像觀感更自然。由于過增強現象一般出現在低照度圖像中較亮區域，而圖4(i)具有上述特征，為了進一步呈現算法處理效果，現將圖中樹干局部與燈箱局部的處理的放大圖進行對比，如圖5，圖6所示。

如圖5，圖6所示，本文算法處理燈箱局部圖像未出現明顯過增強現象，而經MSRCR與Dong算法處理的圖像存在光暈與細節丟失，有明顯的過(欠)增強現象。而針對色彩恢復部分方面，MSRCR算法與Dong算法處理結果均有一定的偏色，其中MSRCR算法失真明顯，而本文算法較好地避免偏色現象的產生。

4.2 客觀評價

為客觀反映算法的增強效果，采用信息熵、平均梯度、歸一化相對亮度距離NNF[20](Normalized Neighborhood Function), CAF[20](Comprehensive Assessment Function of the optimal quality image)等對增強圖像進行客觀評價。其中，信息熵反映了圖像信息量大小，其值越大則圖像信息越豐富，算法增強效果越好；平均梯度反映了圖像清晰度，平均梯度越大則圖像層次越多、越清晰；NNF是圖像平均亮度與人眼視覺最佳亮度的偏差，越接近1則圖像質量越好；CAF是從人眼視覺特性對圖像質量的評價，其值越大表示圖像質量越好。表1、表2、表3和表4分別是對本文實驗對比算法的客觀評價指標的統計。

圖4 不同光照條件下各算法處理結果

圖5 樹干局部處理圖

圖6 燈箱局部處理圖

表1圖4(a)算法處理結果

算法信息熵平均梯度NNFCAF 測試圖4(a)4.4366 11.94290.0936 1.5436 Dong6.5629 49.48800.4881 7.4136 MSRCR7.7506128.28690.993816.6752 本文算法6.9848 73.38910.5756 9.4435

表2圖4(e)算法處理結果

算法信息熵平均梯度NNFCAF 測試圖4(e)4.5781 9.05030.0709 1.1294 Dong6.3215 41.16910.3228 6.2289 MSRCR7.7512128.10330.995215.3312 本文算法6.9660 52.47250.4115 7.5496

表3圖4(i)算法處理結果

算法信息熵平均梯度NNFCAF 測試圖5(i)6.3163 35.15910.2757 4.5893 Dong6.9849 69.75660.5471 9.2728 MSRCR7.4756127.19660.997617.5316 本文算法6.9544 79.62860.6245 9.7469

表4圖4(m)算法處理結果

算法信息熵平均梯度NNFCAF 測試圖4(m)4.0324 6.36240.0499 1.1467 Dong1.4998 10.58450.0830 0.5597 MSRCR7.7993127.13760.997119.9656 本文算法7.0045 54.15730.4247 9.3002

表5各算法單位信息熵提升量對比

算法圖4(a)圖4(e)圖4(i)圖4(m) Dong5.38986.92102.4635-76.5135 MSRCR3.68143.43291.6059 3.9768 本文算法5.28677.01081.8294 7.9298

從表5可以看出，本文算法相比于MSRCR算法信息增強能力較強，與Dong算法較接近。但Dong算法實際亮度提升小于本文算法，使得其實際信息熵低于本文算法，同時針對過暗圖像(如圖4(m))易出現錯誤估計，導致增強效果不理想；MSRCR算法隨著亮度的提升大量引入噪聲，導致單位信息熵提升量較小；本文算法則在提升亮度的同時較好地挖掘了圖像信息并抑制了噪聲，單位信息熵提升具有明顯優勢。

由于圖4(e)是由圖7(a)進行亮度調整后得到的，因此可將圖7(a)作為參考圖像對各算法實驗結果進行全參考質量評價。本文選擇將各算法處理圖像H(色調)分量與標準圖像的H分量進行結構相似度SSIM(Structural Similarity)比較，以表征各算法對顏色信息的恢復能力，其值越接近1，則表明該算法顏色恢復越好，對比結果如表6所示。

圖7 標準圖像與其低亮度圖像圖4(e)

表6算法實驗結果與圖7色調相似度

圖像算法色調相似度 圖4(f)Dong算法0.9912 圖4(g)MSRCR算法0.9876 圖4(i)本文算法0.9934

從表6可知，本文算法處理結果與標準圖像色調相似程度最高，表明其對顏色信息的保持能力最好。這是由于其根據偽霧圖特性利用低照度圖像亮度對大氣光值估計，與Dong算法相比提高了估計準確性從而色彩恢復能力更好；而MSRCR算法由于是對圖像R, G, B 3個分量分別進行處理，忽略了各分量間的相關性，導致其彩恢復能力較差，處理結果顏色信息丟失。

4.3 算法復雜度

在操作系統為旗艦版64位Windows 7，配置為Intel Core i5-2410M CPU@ 2.3 GHz, 4.00 GB(內存)的計算機，軟件環境為Matlab 2010b進行算法驗證，表7為各算法的處理效率對比。其中，MSRCR算法需要在原始圖像R, G, B 3個分量的對數域分別進行高斯濾波來估計照射分量，故復雜度較高；與Dong算法相比，由于本文算法在透射率估計優化部分采用了快速的邊緣保持濾波，降低了復雜度處理時間得到降低。

表7算法處理時間對比(ms)

圖像大小DongMSRCR本文算法 320×240144 533121 480×3203311257243 720×5407652245567

5 結束語

本文通過分析偽霧圖的特性，提出了基于物理模型與邊界約束的低照度圖像增強算法。通過改進邊界約束條件提高了偽霧圖透射率估計精度，并提出了基于亮度的大氣光值估計方法，最后結合物理模型進行圖像增強。本文算法一定程度上限制了噪聲與過增強現象，保留圖像信息。實驗結果的主客觀分析表明本文算法能更加有效地還原低照度圖像信息，提升圖像質量，避免了偏色、過增強等缺陷。但由于低照度圖像受人造光源影響較大，且實際情況復雜多樣，如何得到適應性更強的圖像區域劃分方法有待進一步研究。

[1] 田暢, 姜青竹, 吳澤民, 等. 基于區域協方差的視頻顯著度局部空時優化模型[J]. 電子與信息學報, 2016, 38(7): 1586-1593. doi: 10.11999/JEIT151122.

TIAN Chang, JIANG Qingzhu, WU Zemin,. A local spatiotemporal optimizationframework for video saliency detection using region covariance[J].&, 2016, 38(7): 1586-1593. doi: 10.11999/JEIT151122.

[2] 王超, 王浩, 王偉, 等. 基于優化 ROI 的醫學圖像分割與壓縮方法研究[J]. 重慶郵電大學學報(自然科學版), 2015, 27(2): 279-284. doi: 10.3979/j.issn.1673-825X.2015.02.025.

WANG Chao, WANG Hao, WANG Wei,. Study of optimized ROI based medical image segmentation and compression method[J].(), 2015, 27(2): 279-284. doi: 10.3979/j.issn.1673-825X.2015.02. 025.

[3] 楊愛萍, 張莉云, 曲暢, 等. 基于加權L1正則化的水下圖像清晰化算法[J]. 電子與信息學報, 2017, 39(3): 626-633. doi: 10.11999/JEIT160481.

YANG Aiping, ZHANG Liyun, QU Chang,. Underwater images visibility improving algorithm with weighted L1 regularization[J].&, 2017, 39(3): 626-633. doi: 10.11999/JEIT160481.

[4] 何林遠, 畢篤彥, 熊磊, 等. 基于亮度反饋的彩色霧霾圖像增強算法[J]. 電子學報, 2015, 43(10): 1978-1983. doi: 10.3969/j. issn.0372-2112.2015.10.015.

HE Linyuan, BI Duyan, XIONG Lei,. Color image haze removal algorithm based on luminance feedback[J]., 2015, 43(10): 1978-1983. doi: 10.3969/ j.issn.0372-2112.2015.10.015.

[5] 戚曹, 朱桂斌, 陽溢, 等. 基于局部自相似性的視頻圖像超分辨率算法[J]. 重慶郵電大學學報(自然科學版), 2015, 27(5): 692-699. doi: 10.3979/j.issn.1673-825X.2015.05.019.

QI Cao, ZHU Guibin, YANG Yi,. Local self-examples based video images super-resolution algorithm[J].(), 2015, 27(5): 692-699. doi: 10.3979/ j.issn.1673-825X.2015.05.019.

[6] MUKHERJEE J and MITRA S K. Enhancement of color images by scaling the DCT coefficients[J]., 2008, 17(10): 1783-1794. doi: 10.1109/ TIP.2008.2002826.

[7] ZHOU Z, SANG N, and HU X. Global brightness and local contrast adaptive enhancement for low illumination color image[J].-, 2014, 125(6): 1795-1799. doi: 10.1016/j.ijleo.2013.09. 051.

[8] SELESNICK I W, BARANIUK R G, and KINGSBURY N G. The dual-tree complex wavelet transform[J]., 2005, 22(6): 123-151. doi: 10.1109/MSP. 2005.1550194.

[9] 李慶忠, 劉清. 基于小波變換的低照度圖像自適應增強算法[J]. 中國激光, 2015, 42(2): 272-278. doi: 10.3788/cjl201542. 0209001.

LI Qingzhong and LIU Qing. Adaptive enhancement algorithm for low illumination images based on wavelet transform[J].2015, 42(2): 272-278. doi: 10.3788/cjl201542.0209001.

[10] CHANG Y C and CHANG C M. A simple histogram modification scheme for contrast enhancement[J]., 2010, 56(2): 737-742. doi: 10.1109/TCE.2010.5505995.

[11] JOBSON D J, RAHMAN Z, and WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]., 1997, 6(7): 965-976. doi: 10.1109/83. 597272.

[12] LAND E H. The retinex theory of color vision[J]., 1977, 237(6): 108-128. doi: 10.1038/ scientificamer- ican1277-108.

[13] XU K and JUNG C. Retinex-based perceptual contrast enhancement in images using luminance adaptation[C]. 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2017: 1363-1367.doi: 10.1109/ ICASSP.2017.7952379.

[14] DONG X, WANG G, PANG Y,. Fast efficient algorithm for enhancement of low lighting video[C]. IEEE International Conference on Multimedia and Expo, Barcelona, 2011: 1-6. doi: 10.1109/ICME.2011.6012107.

[15] HE K, SUN J, and TANG X. Guided Image Filtering[J]., 2013, 35(6): 1397-1409. doi: 10.1109/TPAMI. 2012.213.

[16] NARASIMHAN S G and NAYAR S K. Contrast restoration of weather degraded images[J]., 2003, 25(6): 713-724. doi: 10.1109/TPAMI.2003.1201821.

[17] MENG G, WANG Y, DUAN J,. Efficient image dehazing with boundary constraint and contextual regularization[C]. IEEE International Conference on Computer Vision, Sydney, 2013: 617-624. doi: 10.1109/ ICCV.2013.82.

[18] CHEN Y, XIAO X, LIU H L,. Dynamic color image resolution compensation under low light[J].-, 2015, 126(6): 603-608. doi: 10.1016/j.ijleo.2015.01.032.

[19] GASTAL E S L and OLIVEIRA M M. Domain transform for edge-aware image and video processing[J]., 2011, 30(4): 1244-1259. doi: 10.1145/1964921. 1964964.

[20] 陳勇, 李愿, 呂霞付, 等. 視覺感知的彩色圖像質量積極評價方法[J]. 光學精密工程, 2013, 21(3): 742-750. doi: 10.3788/ OPE.20132103.0742.

CHEN Yong, LI Yuan, Lü Xiafu,. Active assessment of color image quality based on visual perception[J]., 2013, 21(3): 742-750. doi: 10.3788/ OPE.20132103.0742.

陳 勇： 男，1963年生，教授，博士，研究方向為圖像處理與模式識別.

詹 帝： 男，1991年生，碩士，研究方向為圖像處理.

劉煥淋： 女，1970 年生，教授，博士，研究方向為信息處理.

Enhancement Algorithm for Low-lighting Images Based onPhysical Model and Boundary Constraint

CHEN Yong①ZHAN Di①LIU Huanlin②

①(,,,400065,)②(,,400065,)

The aim of this paper is to achieve a low-lighting image enhancement method by using the similarity between fog image and inverted low illumination image. The transmittance estimation of the pseudo-fog image is estimated by the improved boundary constraint, and then it is optimized.Based on the formation principle of pseudo fog, the light intensity of pseudo fog map is estimated by using the brightness component of low illumination image.The enhanced pseudo fog image is reversed to obtain the enhanced low illumination image. Extensive experimental results using natural low-lighting images indicate that the proposed method perform better than contemporary algorithms in terms of several metrics, including the intensity, the contrast. The proposed algorithm can effectively suppress the wrong phenomenon caused by enhanced with low complexity.

Low-lighting image enhancement; Pseudo-fog image; Boundary constraint; Physical model

TN911.73

A

1009-5896(2017)12-2962-08

10.11999/JEIT170267

2017-03-29；

2017-09-18；

2017-10-27

通信作者：陳勇 chenyong@cqupt.edu.cn

國家自然科學基金(60975008)，重慶市研究生科研創新項目(CYS17235)

: The National Natural Science Foundation of China (60975008), Chongqing Graduate Student Science Research Innovation Foundation (CYS17235)

1)圖庫網址：http://www.eecs.harvard. edu/~ayanc/oldcc/dbs.html