密集連接擴張卷積神經網絡的單幅圖像去霧

劉廣洲，李金寶+，任東東，舒明雷

1.齊魯工業大學（山東省科學院）山東省人工智能研究院，濟南250014

2.黑龍江大學計算機科學技術學院，哈爾濱150080

霧是一種常見的大氣現象，它是由空氣中的水汽凝結物、灰塵、煙霧等微小的懸浮顆粒產生。由于光線在傳播過程中與大量懸浮顆粒發生交互作用，光能被重新分布，使得霧天圖像通常呈現模糊泛白、色彩飽和度下降、觀測目標嚴重退化的現象，導致許多基于視覺的系統和任務性能急劇下降。

圖像去霧是一種不適定逆問題，其目的是從退化圖像中恢復高質量的無霧圖像。盡管經過幾十年的研究，但由于霧傳播的位置變化和未知深度，使得圖像去霧仍然是一個非常具有挑戰性的任務。許多單圖像去霧方法是基于經典的大氣散射模型[1]。

其中，I(x)為退化的有霧圖像；J(x)為無霧圖像；A為全局大氣光；t(x)為透射圖；x為像素位置。

由式（1）可以看出，無霧圖像的求解取決于透射圖和大氣光的估計。人們提出了許多方法來解決透射圖和大氣光的估計問題，主要分為基于手工先驗的方法和基于學習先驗的方法。基于手工先驗的方法通過利用不同的先驗知識來估計透射圖，如暗通道先驗、對比度先驗和模糊先驗等。基于學習先驗的方法則是以數據驅動的方式對透射圖和大氣光進行估計。但這些方法都需要依賴于大氣散射模型，透射圖和大氣光的估計精度對去霧圖像的質量影響很大。

最近，一些基于卷積神經網絡（convolutional neural networks，CNN）的端到端去霧方法被提出，這種方式直接通過CNN 恢復出干凈的無霧圖像，擺脫了大氣散射模型的約束，從而獲得更好的性能和魯棒性。然而，目前的端到端去霧網絡在以下幾個方面還存在一定的局限性。

（1）空間上下文信息聚合：在圖像去霧任務中，更大的感受野可以聚合更多的上下文信息，從而收集和分析更多的鄰近像素間關系，有利于網絡對圖像內容的預測。增加感受野的經典方法是對圖像或特征圖進行下采樣，進而獲得多尺度信息。然而，下采樣可能會丟失一些有用的細節信息，而上采樣方法無法完全恢復這些細節。使用更大的卷積核或更多的卷積層也可以增加感受野，但會大大增加參數量和計算成本。擴張卷積同樣也是一種常用的增加感受野的方法，可以在不需要增加計算成本的情況下聚合更多的上下文信息，并且不會損失空間分辨率。但當擴張率較大時，由于卷積核相鄰兩個單元的信息差異較大，會使去霧結果產生網格偽影，降低了擴張卷積的性能。因此，目前的去霧方法受自身方法的局限性，有效聚合多尺度特征信息的能力依然較弱。

（2）多階段圖像修復：由于自然場景下的環境復雜多變，導致霧的不均勻性和深度未知性，尤其當霧對圖像的損壞程度嚴重時，去霧將變得更加困難，很難一次將霧去除干凈，需要進一步將圖像去霧分解為多個階段。然而，現有的圖像去霧方法多以并行或串行的方式堆疊多個卷積操作，層與層之間的特征傳遞是微弱的，忽略了各個特征圖之間的特征聯系，降低了復雜有霧場景下的去霧效果。

本文采用端到端的卷積神經網絡直接恢復無霧圖像，擺脫了大氣散射模型的約束，從而獲得更好的性能和魯棒性。并針對目前卷積神經網絡方法在圖像去霧任務上的局限性，提出了一個密集連接擴張卷積網絡（densely connected dilated convolutional neural network，DCDN）模型。首先，DCDN 通過密集連接不同擴張率的擴張卷積來聚合多尺度空間上下文信息，使網絡在不增加參數量且不損失空間分辨率的情況下，增加網絡的感受野，并且避免了擴張卷積帶來的網格偽影。其次，由于霧分布的不均勻性，在一個階段不容易完全去除霧，因此進一步將去霧網絡分解為多個階段，并在每個階段都設計了一個可調節的損失約束，從而獲得更精確的特征信息。圖1 是本文方法對圖像去霧的一個例子。

本文主要貢獻如下：

（1）提出了一個端到端的圖像去霧卷積神經網絡，通過使用密集連接的擴張卷積，有效克服了目前方法在空間上下文信息聚合上存在的局限性，增強了網絡對大尺度特征信息的聚合能力。

Fig.1 Example of image dehazing圖1 圖像去霧的一個樣例

（2）將圖像去霧過程分解為多個階段，并在每個階段使用側輸出來近距離約束損失，克服了霧從本質上帶來的不均勻、深度未知的噪聲對圖像的影響。

（3）與已有方法相比，本文提出的密集連接擴張卷積神經網絡，在合成數據集和真實數據集上都取得了良好的去霧效果。

1 相關工作

1.1 基于物理模型去霧

現有依賴于物理模型的去霧方法，主要分為基于手工先驗和基于學習先驗兩類。這兩類方法之間最顯著的區別是，前一種類型的圖像先驗需手工制作，后一種類型的圖像先驗可以自動學習。

基于手工先驗的方法：Tan[2]觀察到無霧圖像比有霧圖像的對比度更高，從而設計了一個模型來最大化圖像的對比度，用于圖像去霧。He 等人[3]提出了一種用于估計透射圖的暗信道先驗方法，該先驗認為無霧圖像暗通道的局部最小值接近于零。Tang 等人[4]在一個回歸框架中系統地研究了各種與霧相關的先驗，以尋找用于圖像去霧的最佳先驗組合。Berman 等人[5]發現一個無霧圖像的顏色可以很好地近似幾百種不同的顏色，然后提出了一個基于此先驗的去霧算法。雖然基于手工先驗的去霧方法取得了良好的效果，但手工先驗對室外無約束環境的魯棒性較差，往往會向去霧圖像中引入大面積偽影。

基于學習先驗的方法：與基于手工先驗的方法不同，基于學習先驗的方法直接估計透射圖或大氣光，而不是依賴先驗知識。Cai等人[6]提出了一種基于卷積神經網絡（CNN）的端到端去霧模型DehazeNet，用于透射圖的估計。Ren 等人[7]提出了一種多尺度深度模型來估計透射圖。Zhang 等人[8]提出了一個單一的去霧網絡DCPDN（densely connected pyramid dehazing network），共同學習傳輸圖、大氣光和無霧圖像，捕捉它們之間的關系。然而，由于對透射圖估計的不準確，這些方法往往會導致低質量的去霧結果。

1.2 基于端到端的去霧

近年來，端到端CNN 被用來直接從輸入霧圖像中學習無霧圖像進行除霧。Yang 等人[9]將霧成像模型約束和圖像先驗學習集成到一個單獨的除霧網絡中進行無霧圖像預測。Li 等人[10]將VGG（visual geometry group）特征和l1 正則化梯度引入條件生成對抗網絡（conditional generative adversarial nets，CGAN）中進行無霧圖像重建。Ren 等人[11]設計了一個編碼-解碼器網絡GFN（gated fusion network for single image dehazing），從三個由不同物理模型生成的霧圖像中學習置信度圖，并將它們融合到最終的去霧結果中來增強去霧效果。Liu 等人[12]將語義分割任務中的GridNet 網絡引入到圖像任務上，提出了一個Grid-DehazeNet 用于端到端圖像去霧。Qu 等人[13]提出了一個增強型Pix2Pix 去霧網絡，通過分階段的去霧模塊來增強去霧效果。Deng 等人[14]提出了一種深度多模型融合網絡，通過將多個物理模型得到的結果融合到不同的層中，提高圖像去霧的性能。

雖然上述端到端的去霧方法比基于物理模型具有更好的去霧效果和魯棒性，然而，這些方法在聚合多尺度空間上下文信息上依然采用圖像或特征圖池化下采樣的方式，導致圖像的高頻細節信息容易丟失。此外，這些網絡模型多為線性拓撲結構，忽略了淺層與深層特征之間復雜的非線性關系。雖然文獻[12]采用格子網絡結構來提取霧圖像的特征信息，但并未考慮重霧場景下的有效去霧，在緩解霧與信號之間糾纏方面的能力依然較弱。

2 本文方法

本文提出的密集連接擴張卷積神經網絡（DCDN）主要分為3 個模塊：預處理模塊、密集擴張模塊和側輸出模塊。DCDN 以密集塊為基礎，可以保持特征的有效傳遞。在密集塊中逐步加入不同擴張率的擴張卷積，有效聚合空間上下文信息，并避免了網格偽影的產生。為了充分利用各層的特征，通過引入側輸出模塊，保證中間特征層的信息不丟失。圖2 給出了該網絡的整體框架。

2.1 網絡結構

預處理模塊首先使用一個卷積操作從有霧圖像中提取相關特征。輸入的特征通道數為3，使用3×3的卷積核，輸出的特征通道16。預處理模塊輸出的特征作為密集擴張模塊的輸入。

密集擴張模塊的目的是從網絡的淺層開始有效利用各層的特征，經過多層的傳遞后依然能夠保持學習過程中細節信息的完整性。該模塊中共串聯了16 個密集塊，每4 個密集塊后面做一個輸出，其中前三個為側輸出，第四個為最終輸出。這里每個密集塊的輸入特征通道數為16，卷積核大小為3×3，增長率為16，輸出的特征通道數也為16。

側輸出模塊是對密集擴張模塊提取的特征進行融合，得到恢復后的無霧圖像。在側輸出模塊把密集擴張模塊輸出的16 個特征通道進行融合得到3 個特征通道，其中選取了3×3 的卷積核，采用ReLU[15]作為激活函數。

2.2 密集擴張模塊

本文使用的密集塊[16]如圖3 所示。每個密集塊包括5 層，前4 層中的每一層都是接收前面所有層的信息，輸出作為下一層的輸入。其中第一層卷積的擴張率為1，第二層卷積的擴張率為5，第三層卷積的擴張率為9，第四層卷積的擴張率為13。第五層把前4 層以通道拼接方式得到的特征圖，通過1×1 的卷積操作，降低輸出信息的冗余，把前4 層提取出來的特征通道降低到初始輸入密集塊的通道數。然后以當前密集塊輸出的信息作為下一個密集塊的輸入，依次類推，第d個密集塊的輸出為第d+1 個密集塊的輸入（d=(1,2,…,15)）。

擴張卷積[17]可以增大接收域，降低層內空間信息的損失，如圖4 所示。擴張卷積可以通過增加擴張率來聚合大尺度空間上下文信息，能夠在保證網絡中參數量不變且不損失細節信息的前提下，可以獲得更大的感受野。

2.3 損失函數

Fig.2 Architecture model of densely connected dilated convolutional neural network圖2 密集連接擴張卷積神經網絡的整體框架

Fig.3 Framework flow of dense blocks圖3 密集塊的框架流程

Fig.4 Schematic diagram of reception domain with convolution kernel of 3×3 and expansion rate of 1,2 and 3圖4 3×3 卷積核擴張率為1、2、3 的接收域示意圖

平滑的L1 損失克服了L1 損失的缺點，消除了局部的不穩定點，使其梯度更加光滑。本文通過引入平滑的L1 損失，有助于降低不穩定點的影響，并有利于優化網絡的性能。感知損失函數[18]利用前饋卷積神經網絡并結合預訓練好的網絡提取高級特征信息，相對單一的前饋卷積神經網絡能更高質量地恢復圖像。本文網絡的3 個側輸出做平滑L1 損失，最終輸出同時做平滑L1 損失和感知損失。通過聯合側輸出和主干網的輸出，同時利用淺層和深層的特征優化整個網絡。平滑L1 損失表示為：

其中，N表示像素的總數；?是有霧圖像；J是無霧圖像；i表示圖像的通道號；x表示圖像中的像素；(x)(Ji(x))表示像素x在有霧圖像（無霧圖像）中第i個通道的強度值。

為了獲得更加豐富的細節信息，使用感知損失聯合優化整個網絡。感知損失表示為：

其中，φ是VGG16[19]基于ImageNet[20]訓練損失網絡，是有霧圖像，J是無霧圖像。是處理有霧圖像J?時，網絡φ的第j層的特征圖；φj(J)是處理無霧（標簽）圖像J時，網絡φ的第j層的特征圖；Cj×Hj×Wj是的三維特征圖，其中j=1,2,3。

總損失由三個側輸出損失和最終輸出損失組成，總損失表示為：其中，L表示總損失，LO為最終輸出損失，L1、L2、L3為前三個側輸出損失，λ1、λ2為加權常數，λ1為0.7，λ2為0.1，加權常數由控制變量實驗產生的最優結果確定。

多階段側輸出損失的設計是為了防止圖像在深層網絡中的特征丟失和梯度消散，從而起到對網絡中各階段進行中繼監督的作用。這種方式不僅適用于圖像去霧，對其他使用深層神經網絡的圖像處理任務也同樣適用。此外，針對各階段損失函數比例常數的設計思路，由于圖像去霧結果為網絡最終輸出的結果，側輸出只是對算法的優化調整，因此本文遵循最終輸出比例大、側輸出比例小的原則。

3 實驗

本章首先介紹實驗的相關配置，然后在合成數據集和真實數據集上與已有方法進行對比分析。在合成數據集上進行了主觀和客觀評估，在真實數據集上，由于沒有無霧參照圖像，故只進行主觀評估。選取峰值信噪比（peak signal to noise ratio，PSNR）和結構相似性（structural similarity index，SSIM）[21]作為合成數據集的客觀評價指標。

3.1 數據集

正常情況下很難采集到大量成對的有霧-無霧圖像的數據集，通常使用合成數據集，即在真實數據集上基于大氣散射模型合成有霧的圖像。RESIDE[22]是一個大規模的合成數據集，由5 個子數據集組成：室內訓練集（ITS）、室外訓練集（OTS）、綜合客觀測試集（SOTS）、真實測試集（RTTS）和混合主觀測試集（HSTS）。其中ITS、OTS、SOTS 為合成數據集，ITS和OTS 分別用于室內和室外環境的訓練，SOTS 用于室內及室外兩種場景的測試；RTTS 為真實數據集，RTTS 用于真實有霧圖像上的測試。ITS 包含1 399張無霧圖像和13 990 張有霧圖像，其中1 張無霧圖像生成10張不同輕重等級的有霧圖像。OTS包含8 477張無霧圖像和296 695 張有霧圖像，其中1 張無霧圖像生成35 張不同輕重等級的有霧圖像。SOTS 包含室內有霧圖像500 張和室外有霧圖像500 張。RTTS包含4 322 張真實的有霧圖像。

3.2 實驗細節

本文的網絡采用端到端的訓練策略，截取大小為240×240 的圖像塊作為網絡的輸入。該網絡基于PyTorch 框架實現，使用ADAM[23]優化整個網絡。在室內和室外情況下，網絡的初始學習率都為0.001。在室內的情況下，每20 輪學習率變為原來的一半，共訓練100 輪（epoch）。室外的情況下，每兩輪學習率減半，共訓練15 輪（epoch）。實驗使用Nvidia GeForce RTX 2080 Ti 訓練整個網絡，并配置NVIDIA 的深度學習庫提升GPU 運算速度。所有的訓練和測試均在python3.7 上進行，訓練的批次大小（batchsize）為8。室內的訓練時長約24 h，室外的訓練耗時約65 h。

3.3 對比分析

在合成數據集和真實數據集上的對比的方法有

DCP（dark channel prior）[3]、DehazeNet[6]、DCPDN[8]、AODNet（all-in-one dehazing network）[24]、GFN[11]、EPDN（enhanced Pix2pix dehazing network）[13]。其中DCP[3]是利用暗通道先驗知識對圖像去霧，其他方法是目前在去霧任務上經典且效果較好的深度學習方法。

3.3.1 合成數據集

表1 為不同去霧方法在SOTS 數據集上的定量評估。可以看出DCP[3]恢復結果的定量評價指標較低，而DehazeNet[6]、DCPDN[8]、AOD-Net[24]這些深度學習方法的評價指標一定程度上有所改善，GFN[11]的評價指標在室外環境中相對較高，EPDN[13]的評價指標在室內環境中相對較高。在室外的情況下，本文方法比GFN[11]在PSNR 和SSIM 上分別高出1.66 dB 和0.013 2。在室內情況下，本文方法比EPDN[13]的PSNR 和SSIM 分別高出2.26 dB 和0.029 9。綜上所述，本文提出的方法在PSNR 和SSIM 兩個指標上均高于對比方法，說明了本文提出方法對圖像去霧后恢復的圖像質量更接近真實的無霧圖像。

Table 1 Quantitative evaluation of different dehazing methods on SOTS data set表1 不同去霧方法在SOTS 數據集上的定量評估

圖5為本文方法與已有方法在合成數據集（SOTS）上的效果，其中上面四行顯示室內圖像的去霧結果，下面四行顯示室外圖像的去霧結果，第一行和第五行分別為室內和室外的重霧去除結果。DCP[3]恢復后的圖像色彩偏暗（如圖5（b）的第1、5、7 幅），且有霧圖像中高亮度區域去霧之后會出現色彩失真現象（如圖5（b）的第6、7、8 幅天空區域）。DehazeNet[6]網絡對圖像去霧后個別圖像存在明顯的霧（如圖5（c）的第2、7 幅），且色彩失真現象較嚴重（如圖5（c）的第3、5、8幅）。AOD-Net[24]網絡對圖像去霧后依然存在較多的霧（如圖5（d）的第2、3、5 幅）。EPDN[13]方法去霧的效果較好，但去霧后依然存在一些霧（如圖5（e）的第1、3、5幅），且第4幅中墻體的顏色和第8幅中樓體顏色恢復的顏色偏差較大（如圖5（e）的第8 幅）。當EPDN[13]方法和本文方法同時和真實無霧圖像比對時，可以明顯看出本文提出的方法在去除霧的同時色彩方面恢復得更自然（如圖5（f）的第7 幅柳樹及湖面區域）。從定量的指標到主觀的評價，可以看出本文恢復的效果較好，相對其他方法更加接近真實的無霧圖像。

值得注意的是，本文方法在室外數據集上的去霧效果要略優于室內數據集上的去霧效果。主要原因是合成數據集的生成是以大氣散射模型為基礎，如式（1），然而室內受干擾光線的影響，全局大氣光的估計并不準確，因此造成室內合成的霧圖像沒有室外合成的霧圖像真實，影響了算法的性能。此外，由于室內圖像內容的相對距離較小，導致透射圖具有更高的靈敏度，使得合成的霧圖像空間受損差異更小，這也是導致室內去霧效果相對較差的一個原因。

Fig.5 Comparison of different image dehazing methods on synthetic data sets圖5 不同圖像去霧方法在合成數據集上的比較

3.3.2 真實數據集

相對于合成數據集，真實數據集是在有霧天氣情況下進行采集的，更具真實性和實用性。然而，同一場景下有霧與無霧的采集需要十分昂貴的成本。因此，目前的端到端圖像去霧方法都是在合成數據集上進行訓練和算法驗證，在真實數據集上進行主觀評估。

圖6 為本文方法與已有方法在真實數據集（RTTS）上的測試效果。DCP[3]恢復的圖像整體偏暗（如圖6（b）的第2、4 幅），且個別圖像出現色彩失真現象（如圖6（b）的第2、3 幅）。DehazeNet[6]網絡對圖像去霧后依然存在較多的霧（如圖6（c）的第2、5、6 幅），且出現了色彩失真現象（如圖6（c）第1、4 幅）。AODNet[24]網絡對圖像去霧后的效果相對較好，但色彩上相對偏暗（如圖6（d）的第1、2、4 幅），且個別圖像恢復后的色彩偏差較大（如圖6（d）的第3、5 幅）。EPDN[13]方法去霧的效果較好，但去霧后圖像的色彩偏差依然較明顯（如圖6（e）的第2、4、5 幅）。與上述方法相比，本文方法在有效降低霧氣，同時恢復后的圖像在色彩上更自然。綜上所述，本文提出的方法無論是在合成數據集上還是在真實數據集上，都取得了較好的去霧效果。

Fig.6 Comparison of different image dehazing methods on real data sets圖6 不同圖像去霧方法在真實數據集上的對比

真實環境下拍攝的有霧圖像具有更大的復雜性和不確定性，這給圖像任務帶來了更大的挑戰。本文提出的多階段去霧方法通過分解問題空間，分階段逐步去除圖像中的霧，因此相對于其他方法在真實環境下具有更優的去霧效果。

4 消融實驗

4.1 網絡參數量

為了進一步證實DCDN 高效的特征利用率，比較了不同方法的參數量和定量去霧結果。如圖7 所示，相比于目前的圖像去霧算法，本文提出的DCDN網絡不僅參數量小，而且去霧圖像的峰值信噪比（PSNR）達到了最優效果。與最近提出的EPDN[13]網絡相比，DCDN 的參數量僅為其3%左右，但PSNR 卻高出了2.26 dB。

4.2 密集網絡擴張率設置

Fig.7 Comparison of parameters and peak signal-to-noise ratio of different methods圖7 不同方法的參數量和峰值信噪比對比

其次，為了證實擴張卷積對網絡性能的影響。分別評估了DCDN 網絡中正常卷積和擴張卷積的去霧效果，以及不同的擴張率對網絡性能的影響。如表2 所示，由于正常卷積（R1）僅在一個小區域內獲取圖像信息，其去霧效果較差。擴張卷積（R2,R3,R4,R5）則在不增加參數量，且不損失空間分辨率的情況下，充分聚合了上下文信息，因此其去霧效果要優于正常卷積。此外，為了確定密集擴張塊中不同層的擴張系數，分別實驗了不同的擴張率組合。如表2 所示，隨著擴張率的增加，去霧結果的PSNR 和SSIM 也在提升，當擴張率超過R4=1,5,9,13 后，由于上下文信息關聯性減弱，去霧結果也降低，因此本文將每個密集擴張塊的擴張率設置為1,5,9,13。

Table 2 Impact of different dilated rates on network performance表2 不同擴張率對網絡性能的影響

4.3 側輸出模塊對網絡性能的影響

為了驗證每個階段均引入側輸出模塊的必要性，實驗了側輸出模塊對網絡去霧性能的影響。如表3 所示，其中S1、S2、S3分別代表各階段的側輸出模塊，隨著側輸出模塊的增加，去霧結果的PSNR 和SSIM 也在提升。此外，由于側輸出模塊只作為網絡各階段的中間特征監督，因此只在訓練時產生少量參數；而在應用測試時不再使用側輸出模塊，因此不會增加額外的計算成本。

Table 3 Impact of side output module on network dehazing performance表3 側輸出模塊對網絡去霧性能的影響

4.4 階段數量設置

表4 為不同階段數量的參數量、PSNR 和SSIM，如表所示，隨著網絡階段的增加，參數量、PSNR 和SSIM 都在逐步增加。然而，當網絡為5 個階段時，PSNR 和SSIM 僅比4 個階段提高了0.04 dB 和0.000 6，但參數量依然增加了11 萬。因此，為了權衡參數量和去霧效果，本文將網絡階段數量設置為4 個。

Table 4 Parameters and quantitative dehazing results in different number of stages表4 不同階段數量的參數量和定量去霧結果

5 結束語

本文提出了一種用于圖像去霧的密集連接擴張卷積神經網絡。該網絡使用密集擴張模塊來增強特征利用率，通過密集擴張卷積克服了目前神經網絡在聚合上下文信息上遇到的瓶頸問題，通過多階段的側輸出模塊增強網絡去霧的魯棒性。實驗表明，本文方法擺脫了大氣散射模型參數的影響，對比合成數據集和真實數據集上去霧的效果可以發現，本文方法恢復的圖像更加接近無霧圖像，并且恢復后的圖像色彩更自然。在客觀指標上也證明了本文方法圖像恢復的質量較優。在接下來的工作中，將進一步提高算法在真實場景上去霧能力。