基于多尺度小波U型網(wǎng)絡的低光照圖像增強

馬 璐

（宿州職業(yè)技術學院計算機信息系，安徽 宿州 234000）

0 引言

通常，成像系統(tǒng)為了提高低光照場景的圖像照度需要延長曝光時間，這不僅需要保證成像系統(tǒng)的平穩(wěn)性，還降低了圖像采集的實時性，并且含有較多的噪聲。實時采集低光照環(huán)境的圖像存在照度偏暗、部分內容難以辨識等問題（該類圖像通常被稱為低光照圖像），甚至極低光照環(huán)境的圖像照度非常低，以至于圖像全局內容難以依靠人眼視覺進行分辨，并且存在嚴重噪聲（該類圖像通常被稱為極低光照圖像）。而低光照圖像增強算法[1-3]可以通過圖像后期處理提高圖像亮度，降低硬件設備升級成本，具有較好的應用價值

當前，低光照圖像增強主要包括基于直方圖均衡化的方法、基于Retinex 的方法和基于深度學習的方法[1]。基于直方圖均衡化的方法通過調整不同灰度值的像素來達到圖像直方圖分布均勻，并將這種映射關系作為圖像增強函數(shù)。例如，Ibrahim 等人[4]提出亮度保持的動態(tài)直方圖均衡化，根據(jù)局部最大值為不同分區(qū)的直方圖分配新的動態(tài)范圍，再分別進行直方圖均衡化。但是，該方法引入大量噪聲，并且非低光照區(qū)域出現(xiàn)亮度飽和現(xiàn)象。基于Retinex 的方法假設圖像是由受光照影響的照度分量和依賴于物質屬性的反射分量所合成，從而將低光照圖像增強轉化為其反射分量的計算，如單尺度Retinex[5]和多尺度Retinex[6]。但是該類方法容易丟失紋理細節(jié)信息，生成的圖像照度存在失真甚至過曝光。雖然文獻[7-9]通過改進照度分量的約束提高了光照的自然度，但色彩失真和噪聲問題仍然比較顯著。基于深度學習的方法依賴于先驗數(shù)據(jù)信息，通過大量的先驗圖像數(shù)據(jù)集對構建的學習模型進行訓練，學習低光照到正常光照的映射關系。Lore 等人[10]搭建了深度卷積網(wǎng)絡進行圖像對比度增強和去噪。而后，Shen 等人[11]結合多尺度Retinex 方法提出多尺度Retinex 網(wǎng)絡，通過多尺度對數(shù)變換和卷積差分直接學習低光照與高光照圖像間的映射。Wei 等人[12]提出了Retinex 卷積網(wǎng)絡，利用卷積網(wǎng)絡模擬反射分量和照度分量的分解。基于深度學習的方法能夠生成亮度自然和色彩保真度高的圖像，并且具有較好的去噪效果。但是，現(xiàn)有方法將低頻光照映射和高頻噪聲去除進行同步學習，導致圖像紋理細節(jié)丟失嚴重。并且，低光照圖像和正常光照圖像存在顯著差異，其高分辨率特征間的相關性較小，造成網(wǎng)絡訓練收斂較慢和波動較大，最終影響低光照圖像增強的質量。

為了提高低光照圖像增強質量，本文提出一種基于多尺度小波U 型網(wǎng)絡的低光照圖像增強方法。考慮到低光照圖像含有大量噪聲，本文構建了一種小波U型網(wǎng)絡，引入離散小波變換構建特征分頻單元，分離低頻照度特征和高頻紋理特征，增強網(wǎng)絡對低頻照度特征和高頻紋理信息的感知，有效抑制噪聲和增強紋理細節(jié)。此外，構建多尺度感知損失函數(shù)，通過約束不同尺度圖像的損失增強低光照和高光照圖像間特征的相關性，指導網(wǎng)絡從低頻的照度和色彩信息到高頻的紋理信息的逐級重建，加快和優(yōu)化小波U 型網(wǎng)絡的收斂。

1 多尺度小波U 型網(wǎng)絡

本文提出一種基于多尺度小波U 型網(wǎng)絡用于低光照圖像增強，其網(wǎng)絡架構與圖像處理流程如圖1所示。該網(wǎng)絡包括多級編碼器（Enc）、解碼器（Dec）和圖像重建層（image reconstruction,image-Rec）。編碼器由下采樣單元（down-sampling,Dw-S）、特征分頻單元（frequency decomposition of features,FDF）和特征融合單元（feature fusion,F-Fs）組成，而解碼器由特征注意力融合單元（attention fusion,A-Fs）、特征分頻單元和上采樣模塊（Up-Sampling,Up-S）組成。小波U 型網(wǎng)絡采用多尺度感知損失函數(shù)（Multi-scale perceived loss）約束訓練過程，分別對U 型網(wǎng)絡中不同尺度的增強圖像計算其損失值，包括L1 損失、結構損失和內容損失。

圖1 多尺度小波U 型網(wǎng)絡結構Fig.1 The architecture of multi-scale wavelet U-shaped network

輸入圖像先經(jīng)過多級編碼器進行編碼，每級編碼器分別對上一級的輸出特征進行特征下采樣、特征分頻推理和特征融合；然后通過多級解碼器進行解碼，特征注意力融合單元采用通道注意力機制將同級編碼器和前級解碼器的輸出特征進行融合，再依次進行特征分頻推理和上采樣重建高分辨率信息；最后利用由兩個卷積層（Conv）級聯(lián)而成的圖像重建層將解碼器的輸出特征重建為RGB 圖像。

1.1 基于特征分頻的編碼器和解碼器

由于低光照圖像含有大量噪聲，因此圖像去噪是低光照圖像增強任務面臨的重要問題之一。常見的基于深度學習的低光照圖像增強方法對亮度增強和去噪并不加以區(qū)分，直接通過深度卷積網(wǎng)絡學習低光照圖像和參考圖像間的映射關系[10-11]。但是，噪聲作為一種高頻信息則會干擾圖像高頻紋理細節(jié)的保持，導致去噪的同時丟失了大量紋理信息。而小波變換能夠分解圖像高頻信息和低頻信息，被廣泛應用于圖像去噪。因此，本文提出一種基于小波變換的特征分頻推理單元，并聯(lián)合下采樣、特征融合、注意力融合和上采樣模塊組成基于特征分頻的編碼器和解碼器，具體結構如圖2所示。

如圖2所示，下采樣層由一個卷積核為3×3、步長為2 的卷積層（Conv 3×3,s＝2）和兩個殘差塊（ResB）組成，它對編碼器的輸入信息進行下采樣；而解碼器的輸入為上一級解碼器的輸出特征和同級編碼器的輸出特征，它們具有不同的感受野且對圖像增強的貢獻并不相同，因此注意力融合單元采用通道注意力融合方法[13]對這些特征進行自適應加權融合。在通道注意力融合方法中，均值池化層×（Avg Pool）、2 個卷積核為1×1 的卷積層、ReLU 激活層和Sigmoid層級聯(lián)生成各特征通道的權值，這些權值與各通道特征相乘得到通道注意力特征，從而提高較大貢獻的特征響應。編碼器的尾端是由兩個卷積層組成的特征融合層，對特征分頻的高頻信息和低頻信息進行融合；解碼器的尾端是對特征進行2 倍尺度因子的上采樣，而上采樣模塊使用高效的Pixel Shuffle 方法[14]進行上采樣計算，先由兩個卷積層生成通道數(shù)為4×nf的特征，再通過將不同通道特征中的相同空間位置像素進行嵌入排列得到通道數(shù)為nf的上采樣特征，其示意圖如圖3所示。

圖2 基于特征分頻的編碼器（左）和解碼器（右）Fig.2 Encoder (left) and decoder (right) based on frequency decomposition of features

圖3 Pixel Shuffle 和逆Pixel Shuffle 方法示意圖Fig.3 Schematic diagram of Pixel Shuffle and inverse Pixel Shuffle method

特征分頻單元是編碼器和解碼器進行特征推理計算的核心組成部分，主要包括離散小波變換（DWT）、逆離散小波變換（IDWT）以及卷積層和殘差塊級聯(lián)組成的推理層。根據(jù)二維Haar 小波變換可知，輸入特征X被分解為低頻特征XL、水平方向高頻特征XH、垂直方向高頻特征XV和對角方向高頻特征XD，對應的濾波器為：

則各小波分量可表示為：

式中：*表示卷積計算。由公式(1)可知，XL，XH，XV和XD中在(i,j)位置的響應值為：

式中：x(2i,2j)表示X在(2i,2j)位置的響應值，且0≤2i＜h，0≤2j＜w（h和w為X的高和寬）。根據(jù)公式(2)，XL，XH，XV和XD可進一步表示為：

式中：Xa是對X中的偶數(shù)行和偶數(shù)列進行采樣得到；Xb是對X的偶數(shù)行和奇數(shù)列采樣得到；Xc是對X的奇數(shù)行和偶數(shù)列采樣得到；Xd是對X的奇數(shù)行和奇數(shù)列采樣得到。Xa、Xb、Xc和Xd的具體采樣操作如圖3所示，該采樣方法與Pixel Shuffle 上采樣方法相反，因此可以采用逆Pixel Shuffle 方法對X進行采樣，并將采樣結果分解為Xa、Xb、Xc和Xd，計算公式可表示為：

式中：fUPS(·)表示逆Pixel Shuffle 方法。

通過公式(3)和(4)可計算得XL，XH，XV和XD。接著，將XL，XH，XV和XD通過特征分頻單元的推理層進一步進行特征卷積計算。該推理層由兩個卷積層和若干個殘差塊組成，如圖2所示，其公式可表示為：

式中：fL(·)，fH(·)，fV(·)和fD(·)分別為XL，XH，XV和XD對應推理層的卷積計算。由于XH，XV和XD為僅含有紋理細節(jié)特征的高頻分量，信息量較少，因此它們的推理層采用1 個殘差塊。而XL含有照度、顏色和大量低頻結構的信息，信息量較大，因此其推理層采用32 個殘差塊。最后XL＇，XH＇，XV＇和XD＇通過IDWT進行重建。根據(jù)公式(3)和(4)可知，IDWT 可表示為：

式中：fPS(·)表示Pixel Shuffle 方法，Xa＇、Xb＇、Xc＇和Xd＇為：

特征分頻推理單元引入小波變換將輸入特征分解為低頻分量和不同方向的高頻分量。低頻分量包括圖像的照度特征、顏色信息等低頻信息，而高頻分量則只含有輸入特征的邊緣紋理信息。高頻信息與低頻信息的分離減少了顯著變化的低頻照度特征對變化不明顯的高頻紋理特征的干擾，使網(wǎng)絡在進行學習時能夠更好地感知圖像的紋理細節(jié)特征，從而提高增強圖像中紋理細節(jié)的清晰度。同時，被分離的低頻信息減少了對高頻紋理信息的特征表示，從而優(yōu)化照度和顏色等低頻信息的映射關系，提高增強圖像照度和顏色信息的視覺效果。

1.2 多尺度感知損失函數(shù)

在圖像超分辨率重建中，大尺度因子的圖像超分辨率任務可通過若干個小尺度因子的圖像超分辨率任務級聯(lián)完成，并且其效果優(yōu)于大尺度因子的圖像超分辨率[15]。基于此，本文提出一種多尺度感知損失函數(shù)，分別對不同尺度的增強圖像進行約束，從而實現(xiàn)對增強圖像從低頻信息到高頻信息的逐級重建。此外，低分辨率圖像移除了部分高頻信息，不僅有效抑制噪聲，并且簡化亮度和顏色等低頻信息的映射關系，從而加快網(wǎng)絡的收斂。

多尺度感知損失Lt由3 個尺度圖像的損失組成：L×1、L×2和L×4，其中每個尺度圖像的損失是L1 損失、結構損失和內容損失的加權和，Lt的示意圖如圖4所示。

如圖4所示，IE×1、IE×2和IE×4為小波U 型網(wǎng)絡生成的3 種不同分辨率的圖像，IR×1、IR×2和IR×4分別為高光照參考圖像及其2 倍和4 倍下采樣圖像，L×1、L×2和L×4則分別表示這3 種不同尺度下所計算的小波U型網(wǎng)絡損失。通常，高分辨率圖像相比于其低分辨率圖像含有更多高頻紋理信息，而顏色、照度等低頻信息則基本相同，因此高分辨率圖像可表示：

圖4 多尺度感知損失示意圖Fig.4 Schematic diagram of multi-scale perceived loss

式中：ΔR×2和ΔE×2分別表示IR×2和IE×2相對于IR×4和IE×4所多余的高頻信息。根據(jù)公式(8)，L×2可表示為：

式中：s(·)表示計算兩張圖像的距離。同理：

式中：ΔR×1和ΔE×1表示IR×1和IE×1相對于IR×2和IE×2所多余的高頻信息。

由公式(9)和(10)可知，大尺度圖像的損失函數(shù)對網(wǎng)絡學習的約束比小尺度圖像的損失函數(shù)更嚴格。但是，直接采用大尺度圖像的損失函數(shù)會導致高頻噪聲干擾網(wǎng)絡學習對紋理的感知能力，并且高維度的圖像特征間含有較多弱相關性的冗余信息，導致網(wǎng)絡收斂困難。因此，本文以照度增強和紋理重建的優(yōu)先級順序設計多尺度損失函數(shù)Lt：

根據(jù)公式(11)可知，L×4具有最高權重，表示Lt對低頻信息的感知最強，從而驅動網(wǎng)絡模型優(yōu)先學習圖像低頻信息的重建，即圖像照度增強，并避免了高頻噪聲的干擾。其次，和項則表示網(wǎng)絡模型對圖像紋理信息逐級重建，而文獻[15]則證明了小尺度逐級重建高頻紋理的方式優(yōu)于大尺度直接重建的方式。

此外，s(IE,IR)表示為：

式中：IE和IR表示增強圖像和高光照參考圖像；?表示計算梯度圖；lL1(·) 表示L1 損失；lCo(·) 表示內容損失，此處采用文獻[16]中的內容損失函數(shù)，而結構損失lSt(·)表示計算兩張圖像梯度圖的L1 損失。

2 實驗與分析

2.1 實驗配置

實驗平臺為搭載Intel Core i7-7800X CPU，32 G 內存，GTX 1080Ti 顯卡和Windows 7 系統(tǒng)的計算機，實驗主要使用 MATLAB R2014a 仿真軟件以及Tensorflow 1.10 和Pytorch 1.1 深度學習框架。為了學習低光照圖像增強的特征映射關系，采用低光照數(shù)據(jù)集（low-light dataset，LOL）[12]作為訓練集，其中包括485 對低光照和相應的高光照圖像用于網(wǎng)絡的訓練，15對極低光照和正常光照的室內圖像用于網(wǎng)絡的測試。此外，測試數(shù)據(jù)集還包括低光照圖像增強數(shù)據(jù)集（lowlight image enhancement，LIME）[9]、自然保護增強算法數(shù)據(jù)集（naturalness preserved enhancement，NPE）[7]、多曝光融合算法數(shù)據(jù)集（multi-exposure fusion，MEF）[17]、商業(yè)相機數(shù)字圖像（digital images of commercial measures，DICM）[18]和來自Vassilios Vonikakis 的多曝光數(shù)據(jù)集（VV），它們共計101 張低光照圖像，分別存在室內燈光、戶外遮擋光照、陰雨天、日落和夜晚等原因所導致的低光照問題。峰值信噪比（peak signal to noise ratio，PSNR）、結構相似度（structural similarity，SSIM）和亮度順序誤差（lightness order error，LOE）[19]和自然圖像質量評價（natural image quality evaluator，NIQE）[20]圖像質量評價方法被用于增強圖像的客觀評價，其中PSNR、SSIM、LOE 為全參考評價方法，NIQE 為無參考評價方法。并且，所評價圖像的質量越好，PSNR 和SSIM 的數(shù)值則越大，而LOE和NIQE 的數(shù)值則越小。

2.2 客觀評價的比較和分析

為了驗證本文算法的性能，本文分別采用BPDHE[4]、LIME[9]、MF[21]、Retinexnet[12]、BIMEF[22]和KinD[23]作為對比低光照增強方法，其中BPDHE 為基于直方圖均衡的方法，LIME、MF 為基于Retinex的方法，BIMEF 方法在Retinex 基礎上引入相機模型，Retinexnet 和KinD 為基于深度學習的方法。6 種對比方法和本文方法在LOL 數(shù)據(jù)集上的客觀評價結果如表1所示，Low 表示原始低光照圖像的評價結果。

根據(jù)表1可知，本文方法在全參考圖像質量評價PSNR、SSIM 和LOE 上取的結果最優(yōu)，且相對其他方法提高顯著，說明增強圖像更接近正常光照圖像，圖像紋理保持較好，圖像亮度與參考圖像亮度間的相似性也有所提高。而在無參考圖像質量評價指標NIQE 上也取得次優(yōu)結果，且與最優(yōu)方法KinD 的結果非常接近，說明增強圖像引入較少噪聲，亮度和顏色的自然度較好。而基于直方圖均衡的方法BPDHE取得較差的PSNR 和SSIM 結果，但LOE 和NIQE 評價結果整體優(yōu)于基于Retinex 的方法LIME 和MF，因此BPDHE 雖然丟失了大量的圖像紋理細節(jié)，但圖像亮度有所增強且顏色保持較好。基于Retinex 的方法LIME 和MF 相對BPDHE 在PSNR 和SSIM 評價上取得顯著提高，增強圖像紋理結構信息保持較好，但圖像色彩和亮度的失真以及噪聲的引入導致LOE 和NIQE 評價較差，而BIMEF 性能相比于基于直方圖均衡的方法和基于Retinex 的方法取得較折中的性能。針對基于深度學習的方法 Retinexnet 和 KinD，Retinexnet 雖然使用深度卷積網(wǎng)絡實現(xiàn)低光照圖像增強，但性能與基于Retinex 的方法不相上下，KinD 方法則在PSNR、SSIM 和NIQE 評價上取得顯著提高，說明圖像紋理保持較好且圖像色彩和亮度的自然度也有所提高，整體圖像增強性能提高。

表1 不同低光照增強算法在LOL 數(shù)據(jù)集上的結果Table 1 Results of different low light enhancement algorithms on LOL dataset

為了更直觀和詳細地比較這些方法對于單張圖像的增強效果，LOL 中15 張圖像的PSNR、SSIM、LOE 和NIQE 評價結果如圖5所示。從圖中可以看到，大部分圖像取得最佳PSNR 和SSIM 評價，說明增強圖像在全局像素和紋理增強方面提高顯著；而LOE 評價也說明大部分增強圖像的亮度信息在一定程度上也得到改善；在NIQE 評價方面，本文方法則與KinD 方法不相上下，并且它們顯著優(yōu)于其他方法。此外，一些圖像雖然在部分評價上表現(xiàn)較差（如第4、7 和8 張圖像），但在其他評價指標上則表現(xiàn)較好，因此這些圖像質量在整體上也獲得提高。

圖5 LOL 數(shù)據(jù)集的單張圖像客觀評價結果Fig.5 Objective evaluation results of single image in LOL dataset

為了進一步驗證所提方法的有效性，在VV、LIME、NPE、MEF 和DICM 數(shù)據(jù)集上進行測試和比較，并計算各對比方法的NIQE 評價指標，結果如圖6所示。

圖6 不同方法在多個數(shù)據(jù)集上的圖像增強結果Fig.6 Image enhancement results of different methods on multiple datasets

根據(jù)圖6可知，本文方法在LIME、NPE 和MEF數(shù)據(jù)集上取得最佳評價，并且在VV 和DICM 數(shù)據(jù)集上也取的具有競爭力的評價結果。因此本文方法能夠有效增強低光照圖像，生成的增強圖像具有較好的自然度和清晰度，噪聲相對較少。

2.3 主觀評價的比較和分析

考慮到NIQE 評價指標偏向于對圖像自然度、清晰度和噪聲情況的評價，并易受圖像照度影響而產(chǎn)生誤差，因此實驗提供部分增強圖像的可視化結果，從而更直觀地比較各對比方法的性能，可視化結果如圖7～圖9所示。從圖中可以看到，BPDHE 方法亮度增強效果并不明顯，甚至出現(xiàn)局部過亮現(xiàn)象，如圖7增強結果中背景墻；LIME 方法的圖像增強效果比較明顯，但色彩過于飽和導致圖像自然度下降，如圖8中衣服的紅色和人臉的膚色；MF 一定程度上緩解了色彩過于飽和的問題，但整體亮度有所下降，如圖7的背景墻、圖8的前景物體和背景湖面；Retinexnet 不僅加劇了色彩過度飽和問題，還產(chǎn)生大量噪聲，如圖8色彩過度飽和及圖9中引入大量噪聲；BIMEF 相對于MF 方法增強圖像的亮度進一步下降，但噪聲的顯著性有所降低。而KinD 方法在圖像亮度增強和噪聲抑制方面表現(xiàn)都比較好，但色彩飽和度偏低且亮度有些偏暗，如圖7中白色墻壁和紅色衣服的色彩飽和度偏低，圖8和圖9整體亮度偏暗。本文方法不僅抑制了顏色過飽和的問題，并且在保證紋理信息的同時有效提高了圖像亮度，如圖7的紅色衣服和白色墻壁、圖8的膚色和全局亮度以及圖9的夜空和全局亮度，這些增強圖像相對其他方法的結果具有更佳的視覺效果。

圖7 LOL 數(shù)據(jù)集中的146.png 圖像增強結果：(a) Low;(b) BPDHE;(c) LIME;(d) MF;(e) Retinexnet;(f) BIMEF;(g) KinD;(h) OursFig.7 Enhancement results of “146.png” in LOL dataset:(a) Low;(b) BPDHE;(c) LIME;(d) MF;(e) Retinexnet;(f) BIMEF;(g) KinD;(h) Ours

圖8 VV 數(shù)據(jù)集中的P1020044.jpg 圖像增強結果：(a) Low;(b) BPDHE;(c) LIME;(d) MF;(e) Retinexnet;(f) BIMEF;(g) KinD;(h) OursFig.8 Enhancement results of “p1020044.jpg” in VV dataset:(a) Low;(b) BPDHE;(c) LIME;(d) MF;(e) Retinexnet;(f) BIMEF;(g) KinD;(h) Ours

圖9 LIME 數(shù)據(jù)集10.bmp 圖像增強結果：(a) Low;(b) BPDHE;(c) LIME;(d) MF;(e) Retinexnet;(f) BIMEF;(g) KinD;(h) OursFig.9 Enhancement results of “10.bmp” in LIME dataset:(a) Low;(b) BPDHE;(c) LIME;(d) MF;(e) Retinexnet;(f) BIMEF;(g) KinD;(h) Ours

總體來看，在客觀評價方面，本文方法能夠獲得最佳的PSNR、SSIM 和LOE 評價結果，分別相比于次優(yōu)結果高約16%、9%和22%，而在多個測試數(shù)據(jù)集上，本文方法也取得整體上最優(yōu)的NIQE 評價結果。主觀評價上，本文方法能夠顯著提高圖像亮度，充分保持圖像紋理細節(jié)信息，并有效抑制顏色過飽和及噪聲問題，圖像整體視覺效果最佳。

2.4 消融實驗

為了驗證特征分頻和多尺度感知損失函數(shù)的有效性，本文設置編/解碼器的推理層可選擇為特征分頻單元和殘差塊級聯(lián)，損失函數(shù)設置為單尺度感知L1損失函數(shù)和多尺度感知L1 損失函數(shù)。同時，為了減小訓練時間成本，設置網(wǎng)絡的特征通道數(shù)減半，分頻單元中殘差塊數(shù)減半，其它設置與3.2 節(jié)模型一致。不同組合的網(wǎng)絡可分別記為N1、N2、N3和N4，如表2所示。N1、N2、N3和N4的訓練過程如圖10所示，其中圖10(a)為訓練過程中損失值的曲線，圖10(b)為每個epoch 所訓練的網(wǎng)絡在LOL 數(shù)據(jù)集上進行測試的PSNR 值曲線。N1、N2、N3和N4網(wǎng)絡分別在LOL、LIME、NPE、MEF、DICM 和VV 數(shù)據(jù)集上進行測試，并計算增強圖像的NIQE 評價指標，結果如表3所示。

圖10 四種不同組合配置的網(wǎng)絡訓練過程Fig.10 Training process of 4 networks with different configurations

表2 不同網(wǎng)絡的編/解碼器和損失函數(shù)的配置Table 2 Configuration of codecs and loss function for different networks

由圖10可知，在單尺度損失函數(shù)下，N2前期收斂速度快于N1，最終收斂結果優(yōu)于N1，并且N2在驗證集LOL 上的PSNR 值顯著高于N1；在多尺度損失函數(shù)下，N4的損失函數(shù)前期收斂效率和最終收斂結果都優(yōu)于N3，且N4在驗證集LOL 上的PSNR 值也顯著高于N3。同時，根據(jù)表3可知，相比于N1和N3網(wǎng)絡，N2和N4網(wǎng)絡生成的增強圖像在NIQE 評價指標方面分別平均下降約1.22 和0.80。由此可見，特征分頻能夠加速網(wǎng)絡前期的收斂，優(yōu)化網(wǎng)絡收斂和增強網(wǎng)絡的性能。

表3 不同組合網(wǎng)絡的性能比較Table 3 Performance comparison of different combination networks

為了驗證多尺度感知損失函數(shù)的優(yōu)越性，分別將單尺度損失函數(shù)和多尺度感知損失函數(shù)應用于殘差塊級聯(lián)和特征分頻兩種網(wǎng)絡的訓練過程。由圖10可知，在殘差塊級聯(lián)的網(wǎng)絡方面，N3在前期的收斂速度快于N1網(wǎng)絡，其最終的收斂效果和驗證集的PSNR 值略優(yōu)于N1；在特征分頻的網(wǎng)絡方面，N4網(wǎng)絡相比于N2網(wǎng)絡在前期訓練收斂更快且最終收斂效果和平穩(wěn)性更好，同時N4在驗證集上的PSNR 值取得顯著提高。此外，根據(jù)表3中LOL、LIME、NPE、MEF、DICM 和VV 測試數(shù)據(jù)集的NIQE 評價結果可知，N3和N4網(wǎng)絡相比于N1和N2網(wǎng)絡分別平均下降約0.5859和0.1584。由此可見，多尺度感知損失函數(shù)不僅能夠加速和優(yōu)化網(wǎng)絡的收斂，還在一定程度上提高了網(wǎng)絡性能。

2.5 真實低光照圖像增強

為了驗證本文方法對于真實圖像的有效性，本文采集了6 張不同低光照場景的圖像，包括夜晚場景、陰雨天、早晨和傍晚場景，并對這6 張真實低光照圖像進行測試，結果如圖11所示。從圖11中可以看出，低光照圖像的照度被明顯提高，視覺顯著性和視覺效果都獲得明顯的提升。并且，所提方法對夜晚和陰雨天場景的低光照圖像效果更佳，色彩和紋理保持都比較好。而對于早晨或傍晚場景，所提方法能夠有效增強暗光區(qū)域的照度，且色彩保持較好，而明亮區(qū)域會出現(xiàn)輕微的過曝光現(xiàn)象。

圖11 真實低光照圖像增強結果：其中(a)和(b)為夜晚場景，(c)和(d)為陰雨天場景，(e)和(f)為早晨或傍晚場景Fig.11 The results of real low-light image enhancement,where (a) and (b) are night scenes,(c) and (d) are overcast and rainy scenes,and(e) and (f) are morning or evening scenes

總體而言，本文方法能夠有效增強夜晚、陰雨天、早晨或傍晚等不同場景的低光照圖像，提高圖像視覺顯著性和視覺效果。

3 結論

針對成像系統(tǒng)對低光照環(huán)境圖像實時成像結果中存在的照度低和噪聲多的特點，本文提出了一種基于多尺度小波U 型網(wǎng)絡的低光照圖像增強方法。該方法采用由多級編碼器和解碼器組成的U 型網(wǎng)絡，并引入小波變換構建特征分頻單元以用于編碼器和解碼器的特征推理，從而分離高頻紋理信息和低頻照度信息，減小高頻紋理重建和去噪及低頻照度增強的互相干擾。此外，采用多尺度感知損失函數(shù)指導小波U 型網(wǎng)絡進行訓練，實現(xiàn)由低頻到高頻信息的逐級重建。本文方法分別在LOL、LIME、NPE、MEF、DICM 和VV 數(shù)據(jù)集上進行測試，實驗結果表明，所提方法能夠有效增強圖像照度，其客觀評價指標PSNR、SSIM和LOE 分別比其他算法的次優(yōu)結果高16%、9%和22%，主觀視覺效果上有效抑制色彩過度飽和、圖像噪聲和紋理丟失問題。并且，消融實驗表明了特征分頻和多尺度感知損失函數(shù)加速了網(wǎng)絡前期收斂，提高了網(wǎng)絡收斂效果和性能。