基于雙尺度特征融合的單幅圖像去霧網(wǎng)絡(luò)

蘭云偉，崔智高，蘇延召，汪 波，王 念，李艾華

（火箭軍工程大學(xué) 研究生院，西安 710025）

0 概述

攝像機(jī)在成像過程中，光線會受到空氣中霧霾和水霧粒子散射與吸收作用的影響，導(dǎo)致圖像細(xì)節(jié)缺失、色彩暗淡、亮度降低。這些降質(zhì)的圖像嚴(yán)重制約了目標(biāo)檢測、目標(biāo)跟蹤、自動駕駛等領(lǐng)域的發(fā)展。因此，近年來圖像去霧算法逐漸成為計(jì)算機(jī)視覺中的熱點(diǎn)研究問題。

目前，通常使用大氣散射模型［1］描述霧天圖像的退化過程，但是大氣散射模型是一個典型的不適定方程，即只有在透射圖和大氣光值先驗(yàn)信息的基礎(chǔ)上才能夠求解。

為解決這一問題，大量圖像去霧算法被提出，主要包括基于先驗(yàn)信息的圖像去霧算法和基于深度學(xué)習(xí)的圖像去霧算法。基于先驗(yàn)信息的圖像去霧算法采用觀察到的統(tǒng)計(jì)規(guī)律提取相關(guān)特征，以此來估計(jì)大氣光和透射圖，進(jìn)而通過大氣散射模型反演出清晰圖像。基于深度學(xué)習(xí)的圖像去霧算法不再估計(jì)大氣散射模型的中間參數(shù)，而是通過網(wǎng)絡(luò)學(xué)習(xí)霧霾相關(guān)特征，直接恢復(fù)出最終的無霧圖像。上述兩類圖像去霧算法均有一定的去霧效果，但基于先驗(yàn)信息的圖像去霧算法需要人為設(shè)定先驗(yàn)知識來約束模型進(jìn)行求解，存在一定誤差和局限性。基于深度學(xué)習(xí)的圖像去霧算法需要成對的有霧圖像和相對應(yīng)的無霧圖像進(jìn)行訓(xùn)練，算法僅在合成有霧圖像時的去霧效果較好［2］。

本文提出一種基于雙尺度特征融合的圖像去霧網(wǎng)絡(luò)，采用堆疊殘差密集塊（Residual Dense Block，RDB）加強(qiáng)圖像局部特征的提取，通過堆疊包含空間注意機(jī)制的特征提取塊提取圖像的全局特征，優(yōu)化去霧圖像的細(xì)節(jié)。為有效結(jié)合圖像的局部特征和全局特征，采用通道注意力機(jī)制對局部特征圖和全局特征圖進(jìn)行通道加權(quán)，并通過卷積操作進(jìn)行特征融合。此外，考慮到網(wǎng)絡(luò)深度的增加容易導(dǎo)致淺層信息丟失，本文通過門控網(wǎng)絡(luò)進(jìn)一步融合3 層不同深度的融合特征圖。

1 相關(guān)工作

基于先驗(yàn)信息的經(jīng)典圖像去霧算法包括暗通道先驗(yàn)（Dark Channel Prior，DCP）理論、顏色衰減先驗(yàn)（Color Attenuation Prior，CAP）理論、非局部去霧（Non-Local Dehaizng，NLD）［3］理論、霧顏色線先驗(yàn)（haze Color-Line Prior，CLP）理論等，后續(xù)陸續(xù)有研究人員在這些算法的基礎(chǔ)上提出新的改進(jìn)。文獻(xiàn)［4］提出一種基于逆通道與改進(jìn)引導(dǎo)濾波的暗通道去霧算法，通過利用藍(lán)色光的逆通道得到霧天圖像的暗通道圖，引入自適應(yīng)引導(dǎo)濾波計(jì)算透射率，最后得到無霧圖像。文獻(xiàn)［5］提出一種結(jié)合暗通道和Retinex 理論的圖像去霧算法，該算法采用四分加權(quán)算法準(zhǔn)確估計(jì)大氣光值，結(jié)合多尺度Retinex 方法進(jìn)行圖像去霧。文獻(xiàn)［6］提出一種基于光幕約束和分段調(diào)整的去霧算法，從大氣光幕基本條件出發(fā)進(jìn)行圖像去霧。文獻(xiàn)［7］提出一種結(jié)合暗亮通道先驗(yàn)的遠(yuǎn)近景融合去霧算法。文獻(xiàn)［8］提出一種基于霧濃度分布與自適應(yīng)衰減的圖像去霧算法。盡管基于先驗(yàn)信息的圖像去霧算法具有較好的去霧效果，但由于單方面的假設(shè)并不適用于復(fù)雜多變的實(shí)際場景，因此該類算法容易過度增強(qiáng)圖像，導(dǎo)致圖像出現(xiàn)光暈、色偏等現(xiàn)象。例如，暗通道先驗(yàn)會過度增強(qiáng)圖像的天空區(qū)域或類似于大氣光的白色物體。

為解決這一問題，REN 等［9］提出基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的圖像去霧算法，該算法將大卷積核估計(jì)的粗略透射圖與小卷積核提取的精細(xì)透射圖進(jìn)行通道融合，有效提升透射圖估計(jì)的準(zhǔn)確度。CAI 等［10］構(gòu)建一種DehazeNet 網(wǎng)絡(luò)，該網(wǎng)絡(luò)采用3×3、5×5、7×7 共3 個卷積核的并行卷積來提取霧霾特征，并利用最大輸出單元（Maxout）和雙邊線性修正單元優(yōu)化透射圖的估計(jì)準(zhǔn)確度。然而，上述2 種算法仍然采用傳統(tǒng)方法估計(jì)大氣光值，導(dǎo)致圖像去霧結(jié)果并不穩(wěn)定。為此，LI等［11］提出AODNet網(wǎng)絡(luò)，通過對大氣散射模型進(jìn)行線性變換，將大氣光和透射圖2 個參數(shù)變換為1 個中間參數(shù)，從而減小2 次參數(shù)估計(jì)的誤差累積。ZHANG 等［12］將大氣散射模型嵌入到網(wǎng)絡(luò)中，通過網(wǎng)絡(luò)學(xué)習(xí)的方式同時估計(jì)透射圖與大氣光，提高估計(jì)的準(zhǔn)確度。上述圖像去霧網(wǎng)絡(luò)雖然取得了相對較好的去霧效果，但仍依賴于傳統(tǒng)的大氣散射模型，而大氣散射模型只是一個簡化的數(shù)學(xué)模型，它假定了光線衰減速率與顏色通道相互獨(dú)立，導(dǎo)致網(wǎng)絡(luò)容易陷入局部最優(yōu)解［13］。

文獻(xiàn)［14］提出一種基于條件生成對抗網(wǎng)絡(luò)的圖像去霧方法，該方法通過設(shè)計(jì)密集塊結(jié)構(gòu)能夠更加充分地提取圖像特征，減少去霧色差較大的問題。文獻(xiàn)［15］提出一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與動態(tài)環(huán)境光的圖像去霧方法，使用動態(tài)環(huán)境光代替全局大氣光，對透射率估計(jì)網(wǎng)絡(luò)的透射率進(jìn)行平滑濾波來進(jìn)行去霧。文獻(xiàn)［16］提出一種基于內(nèi)容特征和風(fēng)格特征融合的單幅圖像去霧網(wǎng)絡(luò)，該方法通過對圖像內(nèi)容和圖像風(fēng)格進(jìn)行提取并融合，在進(jìn)行圖像去霧的同時較好地保留了圖像的原始色彩。REN 等［17］提出GFN 網(wǎng)絡(luò)，通過門控網(wǎng)絡(luò)有效結(jié)合白平衡、對比度增強(qiáng)和伽瑪矯正衍生圖像，從而直接得到最終的無霧圖像。QU 等［18］提出EPDN 圖像去霧網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過生成器與多尺度判別器的對抗訓(xùn)練生成初步的去霧結(jié)果，然后利用增強(qiáng)模塊優(yōu)化去霧圖像的顏色與細(xì)節(jié)信息。但這2 種方法容易過度去霧導(dǎo)致色彩過飽和。不同的是，LIU 等［19］通過搭建1 個深度的多尺度去霧網(wǎng)絡(luò)來最大程度地提取霧霾特征，并利用學(xué)習(xí)到的參數(shù)將不同尺度的特征圖有效融合。該算法的缺陷在于沒有區(qū)別對待局部特征和全局特征，使恢復(fù)的圖像容易丟失細(xì)節(jié)并存在殘余霧霾。此外，DONG 等［20］提出MSBDN 去霧網(wǎng)絡(luò)，利用反投影的方式加強(qiáng)不相鄰編碼層間的信息流動，在合成數(shù)據(jù)集中取得了較好的結(jié)果。但MSBDN 去霧網(wǎng)絡(luò)泛化能力差，在真實(shí)場景中不能有效去霧。因此，SHAO等［21］通過搭建一個循環(huán)的網(wǎng)絡(luò)來彌補(bǔ)合成數(shù)據(jù)和真實(shí)霧霾圖像的差別，提高模型在真實(shí)場景中的去霧效果，雖然該方法具有較好的泛化能力，但是去霧后的圖像對比度較低。

2 雙尺度特征提取與融合

本文基于CNN 設(shè)計(jì)一個基于雙尺度特征融合的單幅圖像去霧網(wǎng)絡(luò)，該網(wǎng)絡(luò)不依賴于大氣散射模型，而是直接從有霧圖像恢復(fù)出無霧圖像。本文所提圖像去霧網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，主要包括雙尺度特征提取與特征融合2 部分。在特征提取模塊中，通過5 個殘差密集塊（RDB1～RDB5）提取圖像的局部特征，殘差結(jié)構(gòu)加強(qiáng)了局部特征在網(wǎng)絡(luò)深度上的流動，同時在梯度反向傳播時能有效防止梯度爆炸。此外，本文網(wǎng)絡(luò)通過5 個包含空間注意機(jī)制的特征提取塊（FEB1～FEB5）提取圖像的全局特征，從而使網(wǎng)絡(luò)能有效去除不均勻的霧霾。在特征融合模塊中，通過2 次下采樣和3 次上采樣操作將圖像局部特征和全局特征統(tǒng)一到一個尺度上進(jìn)行特征融合，在此基礎(chǔ)上采用門控網(wǎng)絡(luò)自適應(yīng)地融合3 層不同深度的融合特征圖，并通過1×1 的卷積層實(shí)現(xiàn)特征圖到無霧圖像之間的非線性映射。

2.1 雙尺度特征提取

2.1.1 局部特征提取

如圖1 所示，為有效提取圖像的局部特征，本文堆疊了5 個殘差密集塊RDB。殘差密集塊結(jié)合了殘差結(jié)構(gòu)和稠密結(jié)構(gòu)的優(yōu)勢，其中：殘差結(jié)構(gòu)能夠確保反向傳播時梯度的流動，促進(jìn)網(wǎng)絡(luò)的收斂；而稠密結(jié)構(gòu)將之前每一次的卷積結(jié)果通道疊加到之后的卷積輸入中，能夠有效防止淺層信息在傳播過程中的丟失。先前研究表明，淺層卷積層能有效提取圖像的邊緣和紋理信息，而紋理信息在傳播到深層卷積層時容易丟失，從而造成去霧圖像的對比度不高。為此，本文設(shè)計(jì)了如圖2 所示的殘差密集塊結(jié)構(gòu)，以有效結(jié)合淺層和深層的局部特征。本文設(shè)計(jì)的殘差密集塊由5 個卷積層組成，其中：前4 個卷積層卷積核大小為3×3，步長為1，激活函數(shù)為ReLU 函數(shù)；最后1 個卷積層卷積核大小為1×1，步長也為1，但無激活函數(shù)。

圖2 殘差密集塊Fig.2 Residual dense block

2.1.2 全局特征提取

圖像的全局特征主要包括顏色特征和亮度特征，顏色特征和亮度特征是基于像素點(diǎn)的屬性，影響最終去霧圖像的視覺效果。此外，霧霾多數(shù)是成片連續(xù)的，也可以近似為全局特征。因此，全局特征對提高最終去霧圖像的質(zhì)量具有至關(guān)重要的作用。

為有效提取圖像的全局特征，本文通過下采樣將輸入圖像的尺寸縮減1/2，即圖像大小從512×512 縮小到256×256，通道數(shù)從16 擴(kuò)大到32，以增大卷積的感受野。同時，設(shè)計(jì)了如圖3 所示的特征提取塊來增強(qiáng)圖像全局特征的表征。該特征提取塊包括2 個殘差結(jié)構(gòu)，能夠有效防止網(wǎng)絡(luò)訓(xùn)練時發(fā)生梯度爆炸。

圖3 特征提取塊Fig.3 Feature extraction block

在圖3 中，第1 層卷積初步提取圖像的特征，其卷積核大小為3×3，步長為1，激活函數(shù)為ReLU 函數(shù)；第2 層卷積進(jìn)一步增強(qiáng)這些特征，其卷積核大小和步長與第1 層卷積相同但不用激活函數(shù)。隨后，采用空間注意機(jī)制關(guān)注圖像的重要區(qū)域（如濃霧區(qū)域）。空間注意機(jī)制通過一層卷積核為1×1、步長為1 的卷積層提取特征信息，該卷積層的激活函數(shù)為ReLU 函數(shù)。接著，利用另一個相同的卷積層增強(qiáng)特征，并通過Sigmoid 激活函數(shù)形成特征圖的權(quán)重圖。最后，該權(quán)重圖與輸入空間注意機(jī)制前的特征圖逐點(diǎn)相乘，從而使?jié)忪F區(qū)域獲得更多的權(quán)重。

2.2 特征融合

為實(shí)現(xiàn)上述圖像局部特征和全局特征的有效融合，本文令通道注意機(jī)制加權(quán)通道疊加后的特征圖。考慮到網(wǎng)絡(luò)越深感受野越大，容易使網(wǎng)絡(luò)更加關(guān)注全局特征而導(dǎo)致局部信息丟失，本文進(jìn)一步采用門控網(wǎng)絡(luò)自適應(yīng)結(jié)合FEB1、RDB3 和RDB5 之后的融合特征圖。這些特征圖包含豐富的顏色、紋理和邊緣信息，可有效避免隨著網(wǎng)絡(luò)深度的增加而出現(xiàn)局部信息丟失問題。

2.2.1 全局特征提取

考慮到不同特征圖之間的重要性差異，本文首先采用通道注意機(jī)制融合2.1 節(jié)提取的圖像局部特征和全局特征。特征融合模塊結(jié)構(gòu)如圖4 所示，其中：Fl和Fg分別表示提取的局部特征和全局特征；Ff表示采用通道注意機(jī)制融合后的特征圖。

圖4 特征融合模塊Fig.4 Feature fusion module

以圖4（a）所示的上采樣為例，首先通過1×1 的卷積將全局特征圖數(shù)量改變?yōu)?6，然后利用上采樣將全局特征圖大小變?yōu)?12×512，并通過通道疊加形成32張?zhí)卣鲌D（局部特征圖和全局特征圖各16 張）。為區(qū)分這些特征圖的重要程度，首先通過池化層將每一通道上的特征圖尺寸進(jìn)行歸一化，形成通道向量。然后利用1×1 的卷積層和ReLU 激活函數(shù)進(jìn)一步增強(qiáng)特征，再通過1×1 的卷積層和Sigmoid 激活函數(shù)生成通道維度的權(quán)重圖，將通道權(quán)重圖與輸入的32 張?zhí)卣鲌D在通道維度上逐點(diǎn)相乘，從而使重要的特征圖獲得更多的權(quán)重。最后，采用一個1×1 的卷積層融合加權(quán)后的特征圖，形成最終的16 張?zhí)卣鲌D。

如圖4（b）所示，在下采樣時，通過1×1 卷積和下采樣將局部特征變換到全局特征的尺度上。此時通道注意機(jī)制輸入的通道數(shù)為64（局部特征圖和全局特征圖各32 張），并利用1×1 的卷積層輸出最終的32 張融合特征圖，以確保這一尺度上的通道數(shù)不變。

2.2.2 門控網(wǎng)絡(luò)特征融合

為進(jìn)一步實(shí)現(xiàn)圖像局部特征和全局特征的有效融合，本文采用門控網(wǎng)絡(luò)自適應(yīng)融合基于通道注意機(jī)制獲得多張?zhí)卣鲌D。門控網(wǎng)絡(luò)是通過卷積操作學(xué)習(xí)特征圖的權(quán)重，能使網(wǎng)絡(luò)自動關(guān)注到重要的特征圖，從而獲得豐富的色彩與結(jié)構(gòu)信息。門控網(wǎng)絡(luò)在相同尺度的特征圖融合過程中表現(xiàn)出良好的性能。例如，GFN 網(wǎng)絡(luò)將有霧圖像預(yù)處理為3 張衍生圖像，通過編碼結(jié)構(gòu)進(jìn)行特征提取，在解碼過程中采用門控網(wǎng)絡(luò)自動得到3 張衍生圖像的權(quán)重，降低了過度增強(qiáng)圖像帶來的負(fù)面影響。GCAN 網(wǎng)絡(luò)［22］通過平滑空洞卷積提取自動編碼結(jié)構(gòu)瓶頸層的語義特征，并利用門控網(wǎng)絡(luò)自適應(yīng)地結(jié)合不同深度的特征圖，提高去霧圖像的清晰度。

不同的是，本文通過門控網(wǎng)絡(luò)結(jié)合通道注意機(jī)制生成的特征圖融合了同一網(wǎng)絡(luò)深度上的局部特征和全局特征，因此這些特征已經(jīng)包含了較豐富的色彩與結(jié)構(gòu)信息。但隨著網(wǎng)絡(luò)深度的增加，卷積核的感受野成倍數(shù)增加，網(wǎng)絡(luò)會更加關(guān)注全局特征，導(dǎo)致結(jié)構(gòu)、紋理信息的丟失，進(jìn)而使去霧圖像對比度下降。具體來說，首先將FEB1 后通道融合的特征圖進(jìn)行卷積操作，使特征圖的數(shù)量變?yōu)?6，并利用上采樣將特征圖的大小改變?yōu)?12×512，得到特征圖Fl。然后，將Fl與RDB3、RDB5 后通道融合的特征圖Fm、Fh進(jìn)行通道疊加，并將其輸入門控網(wǎng)絡(luò)。門控網(wǎng)絡(luò)輸出3 個不同的權(quán)重圖αl、αm、αh，分別對應(yīng)于這3 個不同深度的特征圖。最后，這3 個特征圖與其對應(yīng)的權(quán)重進(jìn)行線性組合，如式（1）和式（2）所示：

本文的門控網(wǎng)絡(luò)由一個3×3 的卷積層組成，其輸入是Fl、Fm、Fh，通道數(shù)為48，輸出的通道為3，對應(yīng)于權(quán)重圖αl、αm、αh。生成的權(quán)重圖αl、αm、αh分別與對應(yīng)輸入Fl、Fm、Fh逐像素相乘并相加，得到最終的融合特征圖。

最后，通過一層卷積層和ReLU 激活函數(shù)將門控網(wǎng)絡(luò)融合后的特征圖映射為最終的無霧圖像。該卷積層的卷積核大小為3×3，步長為1，輸入和輸出通道數(shù)分別為16 和3。

3 損失函數(shù)

大量實(shí)驗(yàn)表明將感知損失函數(shù)和L1 損失函數(shù)結(jié)合能有效訓(xùn)練網(wǎng)絡(luò)，得到更加清晰自然的去霧圖像。L1 損失將去霧結(jié)果與清晰圖像逐像素比較，能迅速將去霧結(jié)果的特征映射到清晰圖像的特征分布中，達(dá)到初步的去霧效果。感知損失將去霧結(jié)果與清晰圖像進(jìn)行特征差異的比較，能夠進(jìn)一步恢復(fù)去霧圖像的細(xì)節(jié)信息，優(yōu)化最終的去霧結(jié)果。

因此，本文采用平滑L1 損失函數(shù)和感知損失函數(shù)訓(xùn)練網(wǎng)絡(luò)，總的損失函數(shù)表達(dá)式如式（3）所示：

其中：Ls代表平滑L1 損失函數(shù)；Lp代表感知損失函數(shù)；λ為權(quán)重系數(shù)，本文取λ為0.05。

3.1 平滑L1 損失函數(shù)

相比于L2 損失函數(shù)（均方誤差），L1 損失函數(shù)（標(biāo)準(zhǔn)差誤差）訓(xùn)練更加穩(wěn)定，因此被廣泛應(yīng)用于超分辨率重建、圖像去霧等圖像恢復(fù)任務(wù)中。然而，L1損失函數(shù)在誤差較小時梯度仍較大，導(dǎo)致模型的收斂速度受到影響。為實(shí)現(xiàn)上述2 種損失函數(shù)的優(yōu)勢互補(bǔ)，本文采用平滑L1 損失函數(shù)，平滑L1 損失函數(shù)在誤差小于1 時采用均方誤差形式，而其余情況均采用標(biāo)準(zhǔn)差誤差形式，從而有效兼顧2 種損失函數(shù)的優(yōu)點(diǎn)，其表達(dá)式如式（4）和式（5）所示：

其中：N代表總的像素個數(shù)；x代表像素點(diǎn)的位置；Ji(x)Δ和Ji(x)分別為霧天圖像和無霧圖像在第i通道上的像素強(qiáng)度；ei代表誤差，即Ji(x)Δ和Ji(x)的差值。

3.2 感知損失函數(shù)

不同于L1 和L2 損失函數(shù)，感知損失函數(shù)沒有將去霧結(jié)果與真實(shí)無霧圖像進(jìn)行逐像素比較，而是從預(yù)訓(xùn)練的深層卷積網(wǎng)絡(luò)中提取中間特征圖，進(jìn)而量化去霧結(jié)果和真實(shí)無霧圖像之間的視覺差異。在具體實(shí)施過程中，本文使用在ImageNet 上預(yù)先訓(xùn)練的VGG16 作為損失網(wǎng)絡(luò)，并從前3 個階段（Conv1-2、Conv2-2 和Conv3-3）的最后一層中提取特征圖。本文采用的感知損失函數(shù)如式（6）所示：

其中：φj(JΔ)和φj(J)分別代表去霧結(jié)果JΔ和真實(shí)無霧圖像J在VGG16 網(wǎng)絡(luò)中的3 張?zhí)卣鲌D；Cj、Hj、Wj分別代表特征圖φj(JΔ)和φj(J)的通道數(shù)、高度和寬度。

4 實(shí)驗(yàn)結(jié)果與分析

本文采用霧天圖像數(shù)據(jù)庫RESIDE［23］中的室內(nèi)訓(xùn)練集ITS 和室外訓(xùn)練集OTS 進(jìn)行網(wǎng)絡(luò)訓(xùn)練，其中ITS 包含13 990 張霧天圖像與其對應(yīng)的無霧圖像，OTS 包含313 950 張霧天圖像與其對應(yīng)的無霧圖像。在測試過程中，本文采用SOTS 測試集（包含室內(nèi)圖像和室外圖像各500 張）和HAZERD 數(shù)據(jù)集［24］驗(yàn)證網(wǎng)絡(luò)在合成霧霾數(shù)據(jù)集中的去霧效果，并采用近年來圖像去霧領(lǐng)域常用的真實(shí)霧霾圖像進(jìn)一步驗(yàn)證本文網(wǎng)絡(luò)對真實(shí)霧天圖像的去霧能力。本文選擇圖像去霧領(lǐng)域的多個經(jīng)典網(wǎng)絡(luò)進(jìn)行比較，包括DCP、DCPDN、GFN、GridDehazeNet、EPDN 和MSBDN 網(wǎng)絡(luò)。在比較過程中，采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似度（Structural Similarity，SSIM）定量評估網(wǎng)絡(luò)在合成霧天圖像上的去霧結(jié)果，該值越高，代表圖像去霧效果越好。由于真實(shí)的霧天圖像沒有參考無霧天圖像，本文采用定性的方法進(jìn)行對比。

4.1 實(shí)驗(yàn)設(shè)置

本文分別利用ITS 和OTS 數(shù)據(jù)集訓(xùn)練室內(nèi)、室外圖像去霧網(wǎng)絡(luò)模型，在訓(xùn)練過程中，將所有圖像的尺寸均調(diào)整為512×512。本文方法基于PyTroch 框架實(shí)現(xiàn)，GPU 選用NVIDIA GeForce RTX 2080 Ti。在訓(xùn)練過程中，采用ADAM 優(yōu)化器優(yōu)化網(wǎng)絡(luò)，衰減系數(shù)采用默認(rèn)值，即β1為0.900、β2為0.999，訓(xùn)練的批處理大小（batch size）設(shè)置為16，初始學(xué)習(xí)率設(shè)定為0.001。室內(nèi)模型訓(xùn)練100 輪次，學(xué)習(xí)率每10 個輪次下降為原來的1/2。室外模型訓(xùn)練10 個輪次，學(xué)習(xí)率每2 個輪次下降為原來的1/2。

4.2 合成霧圖對比實(shí)驗(yàn)

圖5 所示為本文網(wǎng)絡(luò)與其他對比網(wǎng)絡(luò)在合成霧天圖像SOTS 上的對比實(shí)驗(yàn)結(jié)果（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版本）。從圖5 中可以看出，DCP 網(wǎng)絡(luò)所得到的去霧結(jié)果過度增強(qiáng)了圖像的顏色，如圖5（b）第1、第2 和第4 幅圖像的紅色框區(qū)域，這是由于在白色物體和天空區(qū)域等沒有暗通道的地方，DCP 網(wǎng)絡(luò)對透射圖的估計(jì)不夠精確。DCPDN 網(wǎng)絡(luò)雖能較好地去除霧霾，但是卻過高估計(jì)了圖像的亮度，如圖5（c）第1 和第3 幅圖像的紅色框區(qū)域，以及圖5（c）第2 和第4 幅圖像中的綠色框區(qū)域，其原因在于DCPDN 網(wǎng)絡(luò)需要使用合成霧霾圖像來模擬真實(shí)場景中的大氣光和透射率，導(dǎo)致估計(jì)的參數(shù)不夠準(zhǔn)確，進(jìn)而影響了去霧圖像的視覺效果。相比之下，GFN、GridDehazeNet、EPDN、MSBDN 網(wǎng)絡(luò)以及本文網(wǎng)絡(luò)這5 種不依賴大氣散射模型的網(wǎng)絡(luò)具有更好的去霧效果。其中，EPDN 網(wǎng)絡(luò)雖然能有效去霧，但是過度增強(qiáng)了圖像的顏色，如圖5（f）第1 幅圖像中的天空和第4 幅圖像中紅框內(nèi)的地面。GFN 網(wǎng)絡(luò)雖然能在去霧的同時較好地還原無霧圖像的色彩和亮度，但是會導(dǎo)致圖像部分區(qū)域存在暗影，如圖5（d）第3 幅和第4 幅圖像中的紅色框區(qū)域，而GridDehazeNet 網(wǎng)絡(luò)、MSBDN 網(wǎng)絡(luò)和本文網(wǎng)絡(luò)的去霧結(jié)果與真實(shí)無霧圖像最接近，均達(dá)到了較好的視覺效果。

圖5 不同網(wǎng)絡(luò)在SOTS 數(shù)據(jù)集下的去霧結(jié)果對比Fig.5 Comparison of dehazing results of different networks on SOTS datasets

圖6 為本文網(wǎng)絡(luò)與其他對比網(wǎng)絡(luò)在合成霧天圖像HAZERD 數(shù)據(jù)集下的對比實(shí)驗(yàn)結(jié)果（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML版本）。從圖6可以看出，當(dāng)使用訓(xùn)練的模型測試另一數(shù)據(jù)集的霧天圖像時，其去霧圖像的視覺效果普遍降低，特別是對天空等區(qū)域，對比網(wǎng)絡(luò)無法恢復(fù)出天空的顏色。具體地，DCP網(wǎng)絡(luò)的去霧結(jié)果顏色過度飽和，DCPDN網(wǎng)絡(luò)去霧結(jié)果亮度異常，如圖6（c）第2幅圖像中的房屋顏色所示。GFN網(wǎng)絡(luò)和MSBDN網(wǎng)絡(luò)的去霧結(jié)果有明顯的殘余霧霾，導(dǎo)致2幅圖紅框內(nèi)的建筑模糊不清。相比之下，GridDehazeNet網(wǎng)絡(luò)和EPDN網(wǎng)絡(luò)處理后的圖像與真實(shí)無霧圖像更加接近，這是因?yàn)檫@2種方法從多尺度特征中恢復(fù)出無霧圖像，能更好地保留原始圖像的細(xì)節(jié)信息。但如圖6（e）和圖6（f）所示，GridDehazeNet和EPDN兩種網(wǎng)絡(luò)存在顏色失真的問題，如天空部分偏白（見紅框區(qū)域）和建筑物顏色偏深（見綠色框區(qū)域）。從圖6（h）第1幅圖像紅框內(nèi)的天空區(qū)域和第2幅圖像綠框內(nèi)的房屋顏色可以看出，本文網(wǎng)絡(luò)顏色失真較小。綜上可知，本文通過通道注意機(jī)制減小了過度增強(qiáng)特征圖的權(quán)重，且門控網(wǎng)絡(luò)自適應(yīng)地結(jié)合了3個深度的特征圖，增強(qiáng)了網(wǎng)絡(luò)的泛化能力。

圖6 不同網(wǎng)絡(luò)在HAZERD 數(shù)據(jù)集下的去霧結(jié)果對比Fig.6 Comparison of dehazing results of different networks on HAZERD datasets

為進(jìn)一步驗(yàn)證本文網(wǎng)絡(luò)的有效性，選取PSNR、SSIM、模型參數(shù)量和浮點(diǎn)運(yùn)算數(shù)（Floating Point Operations，F(xiàn)LOPs）4 個指標(biāo)對本文網(wǎng)絡(luò)和對比網(wǎng)絡(luò)的圖像去霧效果進(jìn)行量化對比，使用模型參數(shù)量和FLOPs 衡量網(wǎng)絡(luò)的復(fù)雜度，其中，DCP 作為一種傳統(tǒng)的圖像去霧網(wǎng)絡(luò)，其模型參數(shù)量和FLOPs 在此不做比較，實(shí)驗(yàn)結(jié)果如表1 所示，表中加粗?jǐn)?shù)字表示該組數(shù)據(jù)最大值。從表1 可以看出，本文網(wǎng)絡(luò)在SOTS 室內(nèi)、室外數(shù)據(jù)集下的PSNR、SSIM 指標(biāo)均略高于MSBDN 網(wǎng)絡(luò)，并遠(yuǎn)超其他網(wǎng)絡(luò)。其中在室內(nèi)數(shù)據(jù)集的指標(biāo)更高，峰值信噪比為33.04 dB，結(jié)構(gòu)相似度為0.983。在HAZERD 數(shù)據(jù)集下的對比實(shí)驗(yàn)中，本文網(wǎng)絡(luò)的指標(biāo)仍是最好，其PSNR、SSIM 比GridDehazeNet網(wǎng)絡(luò)分別高出1.33 dB 和0.041，并且遠(yuǎn)高于其余5 種網(wǎng)絡(luò)。在網(wǎng)絡(luò)復(fù)雜度方面，本文網(wǎng)絡(luò)的模型參數(shù)量僅為0.34M，浮點(diǎn)運(yùn)算數(shù)為16.06×109frame/s，除傳統(tǒng)圖像去霧DCP 網(wǎng)絡(luò)外，本文網(wǎng)絡(luò)的復(fù)雜度均低于其他網(wǎng)絡(luò)，且在SOTS 數(shù)據(jù)集下的對比實(shí)驗(yàn)中，本文網(wǎng)絡(luò)的復(fù)雜度遠(yuǎn)低于MSBDN 網(wǎng)絡(luò)。在HARZED 數(shù)據(jù)集下的對比實(shí)驗(yàn)中，本文網(wǎng)絡(luò)的復(fù)雜度同樣遠(yuǎn)低于GridDehazeNet 網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，本文網(wǎng)絡(luò)在進(jìn)行圖像去霧時不僅能夠有效恢復(fù)原始圖像的結(jié)構(gòu)、色彩和亮度，而且具有較低的復(fù)雜度和較好的泛化能力。這進(jìn)一步驗(yàn)證了本文通過注意機(jī)制和門控網(wǎng)絡(luò)融合局部和全局特征圖，能夠有效解決去霧過程中的色彩、亮度失真問題。

表1 合成霧霾圖像去霧指標(biāo)對比Table 1 Comparison of dehazing indicators for synthetic haze images

4.3 真實(shí)霧圖對比實(shí)驗(yàn)

若將基于合成霧霾圖像訓(xùn)練的網(wǎng)絡(luò)應(yīng)用于真實(shí)霧霾圖像的去霧過程中，容易存在去霧不徹底、顏色失真等問題，因此在真實(shí)霧圖上的對比實(shí)驗(yàn)更能驗(yàn)證不同網(wǎng)絡(luò)的有效性。基于此，本文選取近年來圖像去霧領(lǐng)域常用的真實(shí)霧圖進(jìn)行對比實(shí)驗(yàn)，結(jié)果如圖7 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。

圖7 真實(shí)霧天圖像去霧結(jié)果對比Fig.7 Comparison of dehazing results of real haze images

從圖7 可以看出，DCP、DCPDN 和EPDN 網(wǎng)絡(luò)雖能取得較好的圖像去霧效果，但均過度增強(qiáng)了圖像，其中DCP 網(wǎng)絡(luò)的圖像去霧結(jié)果顏色失真嚴(yán)重，如圖7（b）第2 幅圖像中的樹林和第3 幅圖像中的天空區(qū)域。DCPDN 網(wǎng)絡(luò)的圖像去霧結(jié)果亮度失真，使得圖7（c）的背景光均明顯過亮。EPDN 網(wǎng)絡(luò)造成了嚴(yán)重的色偏，如圖7（f）第1 和第3 幅圖像中的天空呈現(xiàn)異常的藍(lán)色，且從圖7（f）第2 幅圖像中可以看出，樹林里依舊存在成片的霧霾。相比于上述2 種網(wǎng)絡(luò)，GFN、GridDehazNet、MSBDN 和本文網(wǎng)絡(luò)的圖像去霧結(jié)果更自然，但GFN網(wǎng)絡(luò)雖具有一定的圖像去霧效果，但仍存在殘余霧霾，如圖7（d）第1幅圖像中草堆上方的天空區(qū)域以及圖7（d）第2幅圖像中的樹林區(qū)域。GridDehazeNet網(wǎng)絡(luò)在圖7（e）第1 幅圖像中的去霧效果較好，但是圖像背景變暗，此外，該網(wǎng)絡(luò)在圖7（e）第1 幅圖像中的去霧結(jié)果中仍存在成片的霧霾。更重要的是，MSBDN網(wǎng)絡(luò)泛化能力差，并不能有效去除真實(shí)場景中的霧霾，如圖7（g）第1 幅圖像中的天空和第2 幅圖像中的樹林區(qū)域。相比之下，本文網(wǎng)絡(luò)能夠更好地恢復(fù)原始圖像的亮度與色彩（如如圖7（h）第1幅和第3幅圖像中的天空顏色，以及第5幅圖像中的綠色框放大部分），并且能較好地去除濃霧（圖7（h）第2 幅圖像中的樹林）。此外，由于本文網(wǎng)絡(luò)有效結(jié)合了局部特征和全局特征，因此可以提取更多圖像信息，恢復(fù)出高對比度的圖像（如圖7（h）第4 幅圖像中的綠色框放大部分）。

4.4 消融實(shí)驗(yàn)

為驗(yàn)證本文所提網(wǎng)絡(luò)中每個模塊的有效性，設(shè)計(jì)以下消融實(shí)驗(yàn)：

1）僅提取有霧圖像的局部特征（Local Feature，LF）；

2）提取有霧圖像的局部特征和全局特征（Local Feature and Global Feature，LF+GF）；

3）提取有霧圖像的局部特征和全局特征，并對提取的2 種特征進(jìn)行通道注意機(jī)制融合（Local Feature and Global Feature with Channel Attettion，LF+GF+CA）；

4）本文網(wǎng)絡(luò)，即使用通道注意機(jī)制加權(quán)局部特征和全局特征，并通過門控網(wǎng)絡(luò)融合3 個不同深度的特征圖（Local Feature and Global Feature with Channel Attettion and Gated Network，LF+GF+CA+GN）。

本文在SOTS 室內(nèi)測試集下進(jìn)行了測試，該測試集包含500 張合成霧天圖像，其圖像去霧對比結(jié)果如圖8所示（彩色效果見《計(jì)算工程》官網(wǎng)HTML版），平均PSNR和SSIM 定量評估結(jié)果如表2 所示。從圖8 綠色框內(nèi)的紅墻可以看出，LF 去霧網(wǎng)絡(luò)在圖像去霧時錯誤估計(jì)了墻壁的顏色，這表明其缺乏全局特征，去霧結(jié)果的色彩恢復(fù)并不穩(wěn)定。LF+GF 去霧網(wǎng)絡(luò)雖然結(jié)合了局部特征和全局特征，提取了更豐富的顏色和亮度信息，但由于沒有采用注意機(jī)制有效結(jié)合兩種特征，因此綠色框內(nèi)的紅墻顏色仍偏白。LF+GF+CA 去霧網(wǎng)絡(luò)雖然在圖像去霧時有效避免了顏色失真，但綠色框內(nèi)仍隱約存在白霧。相比之下，本文采用的LF+GF+CA+GN 去霧網(wǎng)絡(luò)得到的無霧圖像效果最佳，墻壁顏色與清晰圖像最為接近。從表2 的客觀指標(biāo)可以看出，本文采用的LF+GF+CA+GN 去霧網(wǎng)絡(luò)恢復(fù)的無霧圖像指標(biāo)最高。此外，本文方法結(jié)合全局特征和局部特征，以及采用通道注意機(jī)制，對圖像去霧效果有較大的促進(jìn)作用。

圖8 消融實(shí)驗(yàn)結(jié)果Fig.8 Results of ablation experiment

表2 消融實(shí)驗(yàn)結(jié)果對比Table 2 Comparison of results of ablation experiment

5 結(jié)束語

本文提出一種基于雙尺度特征融合的單幅圖像去霧網(wǎng)絡(luò)，通過殘差密集塊和包含空間注意機(jī)制的特征提取塊分別提取圖像的局部特征和全局特征。在此基礎(chǔ)上，利用通道注意機(jī)制高效融合局部特征圖和全局特征圖，從而獲得豐富的結(jié)構(gòu)和色彩信息。此外，采用門控網(wǎng)絡(luò)自適應(yīng)結(jié)合不同深度的融合特征圖，并由卷積層映射出最終的無霧圖像。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有網(wǎng)絡(luò)相比，本文網(wǎng)絡(luò)對合成圖像和真實(shí)圖像均可取得理想的去霧效果，且不用依賴于大氣散射模型，有效解決了現(xiàn)有網(wǎng)絡(luò)去霧不徹底、因過度去霧而導(dǎo)致的色彩失真等問題。下一步將進(jìn)行自適應(yīng)圖像域研究，將深度信息和先驗(yàn)信息相結(jié)合，進(jìn)一步增強(qiáng)去霧網(wǎng)絡(luò)對真實(shí)有霧圖像的去霧能力。