面向低照度圖像增強的注意力曝光融合網(wǎng)絡

包易峰，楊德剛

重慶師范大學 計算機與信息科學學院，重慶 401331

高質(zhì)量圖像對于計算機視覺任務至關(guān)重要。例如在視頻監(jiān)控、目標檢測、自動駕駛等領(lǐng)域?qū)Ω哔|(zhì)量圖像的需求越來越高，原因在于高質(zhì)量的圖像能夠提供大量有價值的信息給機器視覺任務利用，從而確保機器視覺任務能夠順利進行。然而，在低光照條件下獲取的圖像可能會在暗部區(qū)域丟失大量關(guān)鍵信息，同時由于噪聲的影響產(chǎn)生顏色失真。低質(zhì)量圖像可能會顯著降低計算機視覺方法的性能[1]。大量的計算機視覺任務越來越依賴于輸入圖像的質(zhì)量。低照度圖像增強工作的重點在于減少顏色偏差并充分挖掘圖像的隱藏信息。因此，低照度圖像增強在計算機視覺領(lǐng)域受到了更多的關(guān)注。

典型的圖像增強方法假設(shè)用戶在拍攝圖像時具有良好的攝影技巧，以便這些方法可以專注于學習調(diào)整圖像的色調(diào)、顏色和對比度，因此忽略了實際低照度環(huán)境拍攝時的噪聲問題。導致這些方法在增強帶有大量噪點的真實低照度圖像時，信噪比較低。盡管一些方法取得了一些進展，但仍然存在很多問題。首先，當?shù)驼斩葓D像中存在曝光不足或曝光過度的區(qū)域時，很難從原始傳感器數(shù)據(jù)到低照度圖像的映射中學習有效的參數(shù)。因此現(xiàn)有方法無法從曝光不足或曝光過度的區(qū)域恢復曝光良好的圖像細節(jié)。其次，如果沒有曝光合理的圖像信息，現(xiàn)有方法可能會因為過度的噪聲產(chǎn)生顏色偏差。

針對以上問題，提出了多尺度注意力曝光融合網(wǎng)絡（multi-scale attention exposure fusion，MAEF）來增強低照度圖像并恢復逼真的圖像細節(jié)。受到自注意力機制相關(guān)研究文獻[2-3]的啟發(fā)，提出了多尺度注意力模塊（multi-scale attention block，MAB），包含殘差上下文模塊（residual context block，RCB）和選擇性內(nèi)核（selective kernel block，SKB）模塊，多尺度注意力模塊利用并行的雙分支提取大小不同的感受野，一條分支利用適當增大網(wǎng)絡感受野捕獲更多的上下文信息，同時另一條分支用小感受野來規(guī)避更大的感受野可能會導致空間上細節(jié)信息的損失、圖像增強質(zhì)量的下降的問題。殘差上下文模塊對輸入特征進行全局上下文建模，獲取豐富的深層特征和淺層特征。選擇性內(nèi)核模塊利用注意力機制結(jié)合具有不同感受野的特征，同時保留了它們獨特的互補特征。融合模塊（fusion block，F(xiàn)B）將一組圖像中每張圖像中曝光良好的部分融合為一張曝光準確的圖像，充分挖掘每張圖像中有價值的信息。

注意力機制通過提取不同感受野的重要特征，并動態(tài)組合不同感受野的獨特特征，融合了豐富的上下文信息。曝光融合機制充分挖掘了豐富的圖像原始信息，多尺度注意力曝光融合網(wǎng)絡通過引入多尺度注意力模塊與融合模塊兼具了兩者的優(yōu)點，一定程度上減少了低照度圖像細節(jié)的丟失，減少了顏色偏差。實驗結(jié)果表明，提出的方法達到了優(yōu)于現(xiàn)有方法的性能。

1 相關(guān)工作

1.1 圖像去噪

圖像去噪是一個基礎(chǔ)和活躍的研究領(lǐng)域，在計算機視覺領(lǐng)域有著悠久的歷史。它去除噪聲，重建結(jié)構(gòu)內(nèi)容細節(jié)，然后生成高質(zhì)量的圖像。其用途廣泛，如醫(yī)學圖像去噪[4]、衛(wèi)星圖像去噪[5]和壓縮噪聲去噪[6]。在許多應用中，自動駕駛車輛中的目標檢測[7]和識別[8]顯著增加了研究人員對圖像去噪的關(guān)注。這是因為去除圖像中的噪聲可以顯著提升圖像質(zhì)量，對提高目標識別性能至關(guān)重要。

已經(jīng)提出了許多方法，使用的技術(shù)有小波域處理[9]、稀疏編碼[10]、3D變換域過濾（BM3D）[11]。這些方法通常基于特定的圖像先驗，例如平滑度、稀疏度、低秩或自相似性。研究人員還探索了深度網(wǎng)絡在圖像去噪中的應用，包括可訓練非線性反應擴散TNRD[12]、多層感知器[13]、深度自動編碼器[14]和卷積網(wǎng)絡[15]。卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）與傳統(tǒng)的手工方法（如非局部平均）[16]和BM3D相比，取得了顯著的性能優(yōu)勢，這得益于大量的圖像數(shù)據(jù)集和深入研究的學習技術(shù)。

1.2 低照度圖像增強

在低光照條件下拍攝的低照度圖像無疑會降低計算機視覺算法的性能。因此，已經(jīng)提出了各種低照度圖像增強方法來恢復高質(zhì)量的圖像。傳統(tǒng)方法可以分為兩大類：一類是基于直方圖的方法[17]與伽馬校正。第二類是基于Retinex的方法[18]。例如，直方圖均衡化[19]試圖將整個圖像的直方圖映射為簡單的數(shù)學分布。然而，這些方法在不考慮周圍像素的情況下單獨恢復每個像素。基于Retinex的方法首先根據(jù)Retinex理論估計光照圖，然后使用構(gòu)建良好的光照圖增強每個像素。文獻[20]提出基于單個圖像動態(tài)調(diào)整曝光時間并使用光照估計技術(shù)融合圖像。然而很難估計具有嚴重噪聲的低照度圖像的光照圖。

最近，基于深度學習的方法在低照度圖像增強方面取得了顯著改進。LLNet[14]由對比度增強模塊和去噪模塊組成。LLCNN[21]應用特殊設(shè)計的卷積模塊來利用多尺度特征圖進行圖像增強。Retinex-Net[22]由一個用于分解的Decom-Net 和一個用于光照調(diào)整的Enhance-Net組成。CAN[23]近似于各種處理運算符。與現(xiàn)有方法對sRGB 圖像的操作不同，Chen 等人[24]采用全卷積網(wǎng)絡[16]基于原始傳感器數(shù)據(jù)進行極低照度圖像增強相對sRGB圖像取得了顯著的性能提升。

2 多尺度注意力曝光融合網(wǎng)絡

多尺度注意力曝光融合網(wǎng)絡是經(jīng)過改進的雙分支U-Net[25]結(jié)構(gòu)，如圖1 所示，兩個U-Net 分支具有完全一致的網(wǎng)絡結(jié)構(gòu)，兩個U-Net分支之間通過融合模塊進行信息的交互與整合，U-Net 分支保留了原始U-Net 結(jié)構(gòu)的基本框架，包括編碼器部分、解碼器部分、跳躍連接。同時添加三種類型的模塊：（1）多尺度注意力模塊；（2）下采樣模塊和上采樣模塊；（3）融合模塊。

圖1 總體架構(gòu)Fig.1 Overall architecture

當輸入圖像進入每個U-Net 分支后，首先執(zhí)行3×3卷積運算，為多尺度注意力模塊生成特征圖。接下來，兩個多尺度注意力模塊的輸出特征圖被下采樣模塊下采樣，其中圖1 中的f表示特征圖的數(shù)量。同時，融合模塊將融合信息傳遞到下一層。網(wǎng)絡重復上述過程三次后輸入到兩個多尺度注意力模塊，然后輸出的特征圖被上采樣模塊上采樣。其中上采樣模塊采用子像素插值方法[26]。重復上述過程三次之后所有U-Net分支的特征圖串聯(lián)到一起，輸入到1×1卷積用于調(diào)整輸出特征圖的深度，當輸出彩色圖像時，深度設(shè)置為3，當輸出灰度圖像時，深度設(shè)置為1。U-Net 分支中通過添加跳躍連接以幫助重建不同尺度的細節(jié)，在編碼器部分，輸入圖像通過下采樣模塊將圖像分辨率降低，但同時會損失大量高分辨率細節(jié)，利用跳躍連接將編碼器部分的特征圖中高分辨率的細節(jié)信息融合到與之對應的解碼器部分的特征圖，跳躍連接為網(wǎng)絡提供了多層次多尺度信息，增強了網(wǎng)絡各層之間的信息交互，提高了信息利用率，有利于低照度圖像恢復細節(jié)豐富的高分辨率信息。同時，跳躍連接的引入緩解了梯度消失問題，使得深層神經(jīng)網(wǎng)絡的訓練更容易。

多尺度注意力曝光融合網(wǎng)絡繼承了U-Net 結(jié)構(gòu)的特點，同時將普通卷積層替換為多尺度注意力模塊增強特征提取、轉(zhuǎn)化能力。并且利用融合模塊充分挖掘隱藏于陰影與高光中豐富的圖像原始信息，提升低照度圖像增強性能。

2.1 多尺度注意力模塊（MAB）

視覺注意力機制是人類視覺通過快速掃描全局圖像，篩選出需重點關(guān)注的區(qū)域，從而獲取需要的有用信息，淡化不需要的無用信息。受到人類視覺注意力機制的啟發(fā)，深度學習領(lǐng)域通過引入注意力機制來實現(xiàn)忽略無關(guān)信息關(guān)注有用信息，提高計算視覺信息處理的效率與準確性。

低照度圖像增強的一個重要課題在于如何充分利用圖像中某個缺失有效信息的像素區(qū)域周圍其他像素提供的信息對圖像進行恢復，因此感受野對低照度圖像增強至關(guān)重要。適當增大網(wǎng)絡感受野能夠捕獲更多的上下文信息，提高圖像增強效果，然而過大的感受野又會導致空間細節(jié)的損失。因而本文提出的多尺度注意力模塊利用不同尺寸卷積提取不同尺寸的感受野。如圖2（a）所示，其采用的雙分支分別利用一個3×3卷積和兩個3×3 卷積，其中兩個3×3 卷積可以等效一個5×5 卷積的感受野，同時比一個5×5 卷積有效降低運算量，提升運算速度，增強非線性表達能力。卷積運算之后分別通過殘差上下文模塊提取其中的重要信息，最后同時輸入選擇性內(nèi)核模塊中動態(tài)地選擇有用的信息。更重要的是，選擇性內(nèi)核模塊結(jié)合了具有不同感受野的特征，同時保留了它們獨特的互補特征。

圖2 多尺度注意力模塊MABFig.2 Multiscale attention block MAB

2.2 殘差上下文模塊（RCB）

殘差上下文模塊可對圖像信息中的重要特征進行提取，同時抑制無關(guān)信息的進一步傳遞。如圖2（b）所示殘差上下文模塊由四部分組成。（1）兩個3×3卷積，用以增大感受野，生成特征矩陣F2。（2）上下文建模，特征矩陣F2∈RH×W×C作為輸入，依次經(jīng)過權(quán)重參數(shù)為W1的1×1卷積、reshape操作和非線性激活函數(shù)softmax，得到特征矩陣F3，接下來將特征矩陣F2執(zhí)行reshape 操作生成F4∈R1×HW×C并與F3執(zhí)行矩陣乘法，得到全局上下文特征矩陣F5∈R1×1×C：

Z為全局注意力池化權(quán)值，W1為1×1卷積的權(quán)重參數(shù)，Xi和Xj表示特征矩陣任意位置，N=H·W表示特征矩陣位置數(shù)量，其中H為圖像的高度，W為圖像的寬度。（3）特征轉(zhuǎn)換，為了獲取通道間的依賴關(guān)系，將特征矩陣F5經(jīng)過權(quán)重參數(shù)為W2的1×1 卷積，生成1×1×C/r的特征矩陣，以減少參數(shù)量降低計算資源需求。在卷積層后加入非線性激活函數(shù)PReLU，后接權(quán)重參數(shù)為W3的1×1 卷積卷積，用以計算每個特征通道的權(quán)重比例。最后輸出特征矩陣F6∈R1×1×C：

其中，W2、W3分別為兩個1×1卷積的權(quán)重參數(shù)，P為非線性激活函數(shù)PReLU。（4）特征融合，將F2和F6利用element-wise addition操作相加，結(jié)果輸入到非線性激活函數(shù)PReLU，輸出結(jié)果再與F1相加，輸出最終結(jié)果F7：

2.3 選擇性內(nèi)核模塊（SKB）

選擇性內(nèi)核模塊利用自注意力機制整合來自不同感受野特征圖的特征，重建增強圖像。如圖2（c）所示，選擇性內(nèi)核模塊通過融合操作融合多感受野特征圖信息以生成全局特征描述，選擇操作根據(jù)不同權(quán)重對不同分支的特征進行重新聚合。

融合操作。首先多分支特征圖用元素求和合并到一個特征：

接下來應用全局平局池化操作（GAP）編碼全局信息，進而產(chǎn)生channel-wise統(tǒng)計信息：

Sc代表S的第c個元素，Lc代表L的第c個元素生成的S∈R1×1×c，然后通過降低維數(shù)來提高效率，使其能夠進行精確和自適應的選擇特征，這是通過一個全連接（fully connected layers，F(xiàn)C）層實現(xiàn)的：

式中，σ表示ReLU 激活函數(shù)；γ表示批歸一化（batch normalization，BN）操作；W∈Rd×C表示全連接層矩陣；d表示壓縮特征的維度，其值設(shè)置為通道數(shù)的一半。

選擇操作。首先，在壓縮特征描述向量z的引導下，使用softmax運算自適應選擇信息的不同空間尺度，得到表征特征圖選擇權(quán)重的通道注意力向量（channel attention vector，CAV）為：

其中，X1、X2表示L1、L2的軟注意力向量A,B∈RC×d表示全連接層矩陣，然后，使用注意力向量與對應分支的特征圖進行逐元素相乘。最后，將選擇后的多分支特征圖逐元素相加，上述過程可表述為：

其中，·表示逐元素相乘。+表示逐元素相加。選擇性內(nèi)核模塊通過引入注意力機制，對不同感受野下提取到的多路特征圖進行了重新選擇、校準，增強有用特征信息的傳遞并且抑制無用信息，提高了網(wǎng)絡對低照度圖像的處理能力。

2.4 下采樣模塊和上采樣模塊

圖3 上半部分顯示了下采樣模塊的結(jié)構(gòu)。下采樣塊由兩層組成：一個2×2最大池化層和一個3×3卷積層，后跟PReLU。當特征圖作為輸入時，步長為2的2×2最大池化操作會減小特征圖的大小。然后，3×3卷積層將特征圖的數(shù)量加倍，以防止信息量嚴重減少。因此，下采樣塊的輸出特征圖的大小是輸入特征圖的二分之一，特征圖數(shù)量是其兩倍。

圖3 下采樣模塊和上采樣模塊Fig.3 Downsampling block and upsampling block

圖3 下半部分顯示了上采樣模塊的結(jié)構(gòu)。下采樣塊由兩層組成：帶有PReLU的3×3卷積層和子像素插值層。與反卷積層不同，子像素插值層能更有效和準確地擴展特征圖的大小。在亞像素插值層擴大特征圖的尺寸之前，3×3 卷積層對特征圖進行細化，使亞像素插值層能夠準確地對特征圖進行插值。因此，上采樣塊的輸出特征圖的大小是輸入特征圖的兩倍，通道數(shù)是輸入特征圖的二分之一。

2.5 曝光融合

通過為不同的區(qū)域分配不同的曝光系數(shù)，從單個低照度圖像生成一組具有不同曝光時間的多重曝光圖像。融合操作以互補的方式組合每個單曝光圖像的中曝光良好的區(qū)域，最后將多張圖像融合為一張曝光合理的高動態(tài)范圍圖像。融合操作通過融合模塊來實現(xiàn)，融合模塊采用一種置換不變技術(shù)[27]，可以從圖像黑暗區(qū)域與高光區(qū)域恢復準確的圖像細節(jié)，減少顏色偏差使顏色分布更接近真實場景，輸出高質(zhì)量圖像。

2.5.1 生成

在曝光生成步驟中，通過不同的曝光比值k來生成一組不同光照條件下的多曝光圖像，其中k表示參考圖像和低照度圖像之間的曝光時間比。圖1 舉例了生成兩張不同曝光圖像K1、K2 的過程。對于給定的一張圖像Iimg∈RH×W×1和一組給定曝光比值k∈{k1,k2,…,kn},可以生成一組多重曝光圖像I∈{I1,I2,…,In}，對于其中的第n張圖像In有以下定義：

該操作執(zhí)行圖像逐像素裁切，*代表乘法操作。考慮到多重曝光圖像中的信息冗余，將所有圖像都進行操作可能不會帶來明顯的性能提升，但是資源需求會顯著提升。因此本文將多重曝光圖像數(shù)量設(shè)定為2。

2.5.2 融合

圖1舉例了兩張不同曝光圖像K1、K2 進行融合操作的過程，融合塊通過獲取不同分支獲得的圖像特征，利用其中有價值的信息，圖4顯示了融合模塊的結(jié)構(gòu)。

圖4 融合模塊Fig.4 Fusion block

每個融合塊以來自n張圖像P1,P2,…,Pn作為輸入，并執(zhí)行最大值和平均值操作以提取有價值的信息：

然后，將特征Pmax和Pavg連接到一起并將它們輸出：

其中，[Pmax,Pavg]表示連接操作，Pout表示輸出特征，W表示學習到的權(quán)重矩陣。最后，所有分支的最后一個特征連接在一起，后接一個1×1卷積層，輸出最終特征圖。

3 實驗及結(jié)果分析

3.1 數(shù)據(jù)集及訓練

本文數(shù)據(jù)集選擇SID[24]數(shù)據(jù)集：此數(shù)據(jù)集包含了5 094張原始的短曝光RAW格式原始圖像，每張都有相應的長曝光時間的參考圖像。這些圖像由兩臺相機進行收集。一個是SONY A7SIⅠ相機，一個是Fujifilm X-T2相機。SONY 相機分辨率為4 240×2 832，F(xiàn)ujifilm 相機分辨率為6 000×4 000。

此數(shù)據(jù)集將長曝光圖像作為無噪聲標準圖像，包含了室內(nèi)、室外多個場景的圖像，其室外圖像一般在月光和街燈條件下獲取，亮度為0.2～5 lux。室內(nèi)圖像亮度為0.03～0.3 lux。其中短曝光圖像的曝光時間為1/30～1/10 s，與之相對應的長曝光圖像的曝光時間是短曝光圖像曝光時間的100到300倍。此數(shù)據(jù)集采集圖像的過程是先采集長曝光圖像，調(diào)節(jié)相機的各項參數(shù)來獲得一張清晰的長曝光圖像，然后用手機遠程改變相機的曝光時間來獲得幾張短曝光時間的圖像。

實驗在Intel e3 1230 v5 3.4 GHz，64 GB RAM，NVIDIA GTX2080TIGPU平臺，Tensorflow1.14框架上完成。在每次訓練的迭代過程中，將數(shù)據(jù)集中提取的圖像隨機裁剪成尺寸為64×64的圖像塊，并且對其進行隨機的翻轉(zhuǎn)和旋轉(zhuǎn)來進行數(shù)據(jù)增強，訓練使用Adam優(yōu)化器[28]和L1損失[29]作為損失函數(shù)，初始學習率10-4，在訓練到4 000 輪后，學習率減小為10-5。訓練總共持續(xù)8 000輪。

3.2 對比實驗

本文方法與現(xiàn)階段主流的方法均做了比較，對比方法有RetinexNet[22]、LIME[30]、Zero-DCE[31]、SID[24]、RED[32]、SGN[33]、LDC[34]。圖5 顯示了一些具有代表性的視覺比較結(jié)果。展示了參考圖像、輸入圖像、傳統(tǒng)方法和基于深度學習的方法及其改進的結(jié)果。Zero-DCE無法恢復極低照度圖像，因為噪聲會使HDR 重建和色調(diào)映射過程難以實現(xiàn)。RetinexNet 也未能恢復這些圖像。由于Retinex 基于將輸入圖像分解為反射率和照明度，因此當輸入圖像為極低照度圖像，它們無法準確分解兩者。LIME 的原理是直接估計光照圖而不分解輸入圖像，它的缺點是雖然它可以增強低照度圖像但同時增強了細節(jié)和噪聲導致圖像噪聲嚴重。因此僅通過LIME 校正曝光可能無法有效恢復帶有噪聲的圖像，因為它很難恢復被噪聲干擾的單像素中的原始細節(jié)。同時該方法不能很好地恢復由噪聲引起的顏色偏差，例如圖中陰影處的紫色。

圖5 視覺效果比較Fig.5 Comparison of visual effects

基于學習的方法和本文方法可以有效抑制噪聲并恢復顏色。其中SID 模型更傾向于同時去除噪聲和細節(jié)，從而導致圖像變得模糊。雖然噪聲被有效去除但細節(jié)會缺失。RED模型為了提高運算速度，犧牲了一定的圖像分辨率，相比之下本文方法有更清晰的細節(jié)和更自然的顏色。除了主觀視覺上的效果以外，采用峰值信噪比（PSNR[35]）、結(jié)構(gòu)性檢驗標準（SSIM[36]）、NIQE[37]、參數(shù)量、GPU 運算時間等客觀評價結(jié)果。如表1 所示，最佳結(jié)果用加粗字體表示，與最近的方法相比，本文方法取得了0.03 dB 的PSNR 和0.02 NIQE 的性能優(yōu)勢，雖然SSIM性能不及LDC方法，但本文方法GPU運算時間顯著短于LDC方法，僅為其四分之一。

表1 與現(xiàn)有方法對比Table 1 Comparison with existing methods

3.3 消融實驗

為了全面了解提出的網(wǎng)絡，進行了消融實驗來探究提出的改進所取得的性能提升。

3.3.1 曝光比率

首先，評估曝光倍率的影響。如表2 所示，曝光比例為k代表輸入為單張曝光率為k的圖像，當曝光比例為k/2+k,1+k/2,1+k時，代表輸入為兩張曝光率為相應數(shù)值的圖像，當曝光比例為1+k/2+k時，代表輸入為三張曝光率分別為1,k/2,k的圖像。當生成更多的多重曝光圖像時，可以獲得更高的性能。性能從單張圖像到兩張圖像再到三張圖像依次提升。詳細研究兩張圖像時的曝光率分配問題，發(fā)現(xiàn)當曝光率分別為1 和k/2時性能最好，考慮三張圖像不能顯著提高性能并且消耗資源明顯多于兩張圖像。因此，本文模型選擇曝光比為1和k/2。

表2 不同曝光比率及其組合對比Table 2 Comparison of different exposure ratios and their combinations

3.3.2 曝光融合模塊

研究曝光融合模塊及其變體的有效性。為此，進行以下實驗：（1）NET1，表示移除曝光生成、曝光融合步驟和曝光融合模塊，將圖像直接送入網(wǎng)絡。（2）NET2，表示一個沒有曝光融合模塊的網(wǎng)絡，在最后一層融合兩個分支的信息。（3）max，表示移除avg 操作只采用max 操作的融合塊。（4）avg，表示移除max操作只采用avg操作的融合塊。（5）max+avg，表示在曝光融合模塊中同時采用max和avg操作。

表3 顯示了曝光融合模塊及其組合的評價結(jié)果。其中所有模型都以曝光比率1和k作為輸入，在移除曝光融合模塊后，網(wǎng)絡性能將受到損失。同時采用max和avg操作的曝光融合模塊性能優(yōu)于單一的max或avg操作，通過組合兩種聚合操作可以充分利用互補信息，進一步提高性能。

表3 曝光融合模塊及其組合對比Table 3 Comparison of exposure fusion blocks and their combinations

3.3.3 多尺度注意力模塊

首先評估多尺度注意力模塊內(nèi)部模塊的影響，如表4所示，RCB1+RCB2 為移除所有殘差上下文模塊的網(wǎng)絡，RCB1 為移除第一個殘差上下文模塊的網(wǎng)絡，RCB2為移除所有殘差上下文模塊的網(wǎng)絡，Complet 為完整的網(wǎng)絡。移除所有殘差上下文模塊將損失0.09 dB的PSNR，移除第一個殘差上下文模塊將損失0.07 dB的PSNR，移除第二個殘差上下文模塊將損失0.06 dB的PSNR。

表4 多尺度注意力模塊及其組合對比Table 4 Comparison of multi-scale attention blocks and their combinations

3.3.4 選擇性內(nèi)核模塊

如表5所示，Sum為移除選擇性內(nèi)核模塊并將其替換為Sum操作的網(wǎng)絡，Concat為移除選擇性內(nèi)核模塊并將其替換為Concat操作的網(wǎng)絡，Complet為完整模塊，與Sum操作和Concat操作相比，所提出的選擇性內(nèi)核模塊獲得了較好的結(jié)果。

表5 選擇性內(nèi)核模塊與其組合對比Table 5 Comparison of selective kernel blocks and their combinations

3.3.5 不同模塊及其組合

為進一步驗證融合模塊、選擇性內(nèi)核模塊、殘差上下文模塊的有效性，對不同模塊與其組合進行消融研究，如表6 所示，Base 表示將注意力曝光融合網(wǎng)絡移除融合模塊、將多尺度注意力模塊替換為3×3卷積層的網(wǎng)絡，Base+FB表示將Base網(wǎng)絡加入融合模塊，Base+FB+RCB 表示將Base 網(wǎng)絡加入融合模塊、多尺度注意力模塊并移除選擇性內(nèi)核模塊將其替換為Concat 操作，Base+FB+SKB 表示將Base 網(wǎng)絡加入融合模塊、多尺度注意力模塊并移除殘差上下文模塊，Base+FB+MAB表示將Base 網(wǎng)絡加入融合模塊、多尺度注意力模塊。通過逐步在Base網(wǎng)絡中加入不同的模塊，性能逐步提升，證明了各模塊的有效性。

表6 不同模塊及其組合對比Table 6 Comparison of different blocks and their combinations

4 結(jié)束語

在這項工作中，提出了一種多尺度注意力曝光融合網(wǎng)絡用于低照度圖像增強。提出的網(wǎng)絡同時結(jié)合注意力機制與曝光融合方法的優(yōu)點，在視覺方面和定量評估優(yōu)于現(xiàn)有的方法，并且可以生成具有細節(jié)豐富、色彩偏差小、干凈無噪點的高質(zhì)量圖像。未來需要研究的方向是：（1）增強網(wǎng)絡的速度，降低網(wǎng)絡對硬件性能的依賴，增加網(wǎng)絡的實用性。（2）考慮將圖像超分辨率網(wǎng)絡和圖像去模糊網(wǎng)絡加入工作中，增強網(wǎng)絡的實用性。