基于半監督學習的圖像去霧算法

紀連順 魏偉波 潘振寬 楊霞 朱麗君 程田田

摘要：為使霧天拍攝照片清晰，改善合成數據集泛化能力不足的缺點，提出了一種基于半監督學習的圖像去霧算法。算法包含了監督訓練和無監督訓練兩個部分，分別使用人工合成數據集和真實有霧圖像交替訓練網絡，在網絡中引入了平滑擴張卷積來提高感受野并消除網格偽影。無監督訓練部分將生成對抗網絡作為基礎，采用馬爾可夫判別器以提高網絡對細節的恢復能力。實驗結果表明，所提算法在去霧程度、紋理清晰度等方面都有所提升，提高了算法對真實圖像的泛化能力。

關鍵詞：圖像復原;圖像去霧;深度學習;半監督學習;生成對抗網絡

中圖分類號：TP391.41??????? 文獻標志碼：A

霧是一種常見的自然天氣現象，由于光線在霧天傳播中發生散射、折射、吸收，導致成像設備在霧天的成像質量大幅度下降。目前多數設備都是依賴于清晰圖像而設計的，在霧天中會出現性能快速下降，相關功能受到影響等問題[1-2]，因此將有霧圖像恢復為無霧圖像成為當下研究的熱點。當前去霧算法可分為基于圖像增強的去霧方法、基于物理模型的去霧方法和基于深度學習的去霧方法。如，基于對比度增強的去霧方法，通過局部對比度最大化來恢復圖像的可見性，但恢復后的圖像色彩失真嚴重[3];或基于清晰圖像中單個像素至少有一個顏色通道的值是很小的一個數字的先驗知識，提出了暗通道先驗去霧方法[4];根據有霧圖像的亮度和飽和度之差與霧濃度呈正相關關系，提出了基于顏色衰減先驗的方法[5];而無霧圖像中的每個顏色簇由于不同的透射系數而在相應的有霧圖像中形成霧線，基于此引入了非局部先驗方法[6]。隨著深度學習的發展，卷積神經網絡（CNN）被廣泛應用于去霧領域[7]。如，DehazeNet深度學習網絡[8]，利用大氣散射模型[9-10]恢復無霧圖像;AOD-Net將大氣散射模型公式變形，使算法可以因輸入圖像不同而自適應調節[11]。Zhang等[12]設計了一種密集連接金字塔去霧網絡（DCPDN）聯合估計大氣光、透射率圖和無霧圖像。Ren等[13]提出了一種多尺度門控融合網絡（GFN），將置信度圖與相應的輸入融合得到去霧圖像;將平滑擴張卷積引入網絡，在擴大感受野的同時很好的解決了偽影的問題[14-15];或者利用半監督學習去霧算法，引入了變分損失和暗通道損失作為無監督損失[16]。綜上所述，基于深度學習的去霧方法在近些年來成為主流，該類方法依賴大量成對的數據集[17-18]進行訓練，但上述數據集的有霧圖像均使用算法合成和煙霧機模擬霧天情況，存在霧濃度、數據多樣性等方面與真實有霧圖像差距較大的問題。因此現有基于深度學習的去霧算法通常在數據集上擁有較為良好的表現，卻不能很好地推廣到真實有霧圖像中。為解決上述問題，本文提出了一種基于半監督訓練的去霧算法，核心是交替使用人工合成數據集和真實有霧圖像進行訓練，并且引入了GAN模型進行無監督訓練，提高網絡對真實有霧圖像的去霧效果，增強其泛化能力。

1 基于半監督學習的圖像去霧算法

本文算法分為兩個部分，第一部分是監督訓練，讓去霧網絡快速學習有霧圖像與無霧圖像間的映射關系，以生成高質量的無霧圖像。第二部分是無監督訓練，目標是增強網絡在真實有霧圖像上的泛化能力，使網絡在實際應用上有更好的表現。

1.1 深度學習模型設計

本文去霧網絡采用了encoder-decoder結構，其中降采樣層、升采樣層分別使用兩次，并且使用跳躍連接（Skip Connection）連接降采樣和升采樣層。因為在網絡降采樣和升采樣后會使特征圖損失一些信息，跳躍連接可以保持特征信息的完整性。在Conv1-Conv17層后均銜接批量歸一化（Batch Normalization，BN）和ReLU激活函數，Conv18層僅后使用tanh激活函數，將輸出結果歸一化。網絡輸出僅為有霧圖像和無霧圖像的殘差，因此還需要將輸入圖像與輸出相加得到最終的無霧圖像。整體網絡結構和網絡參數分別如圖1和表1所示。

表1中Res1-Res6層為殘差塊層，在殘差塊中本文采用了平滑擴張卷積[14]來代替普通卷積，前三層和后三層的卷積核擴張系數（Dilation）分別為2和4。

使用平滑擴張卷積可以在不增加參數的情況下擴大網絡感受野，同時有效消除網格偽影。殘差塊的結構如表2所示。

在無監督訓練的部分，本文使用了PatchGAN[19]中的馬爾科夫判別器。判別器的作用是區分圖像的真假，以往的GAN模型判別器只輸出一個[0，1]的值表示圖像為真的概率，只能在圖像全局上進行判別。而馬爾科夫判別器將輸入圖像分成多個N×N大小的矩陣，再分別對每個矩陣進行判別，最后將多個判別值取平均值作為最終輸出。使用馬爾科夫判別器的好處是可以不限制輸入圖像的大小，并且可以增強生成圖像的細節，對生成高分辨率圖像有著更好的效果。研究發現，N=70時馬爾科夫判別器的性能最好[19]。本文中使用的馬爾科夫判別器參數如表3所示。

1.2 損失函數

本文就監督訓練和無監督訓練的兩個部分分別使用了不同的損失函數。

1.2.1 監督訓練損失 （1）監督訓練總損失（Total Loss）。將均方誤差損失、感知損失和結構相似度損失結合起來，此舉有利于加快網絡參數收斂、提升網絡的魯棒性。經多次實驗調試總結后，構建了監督訓練的總損失

LT=Lm+0.001*Lp+0.001*Ls（1）

其中，Lm、Lp、Ls分別為均方誤差損失、感知損失和結構相似性損失。

（2）均方誤差損失（MSE Loss）。均方誤差損失是深度學習中一種常用損失，可以計算有霧圖像和與之成對的無霧圖像之間的像素級差距

Lm（J，J︿）=1N∑Ni=1Ji-J︿i2（2）

其中，J和J︿分別表示無霧圖像和去霧圖像，N表示圖片總數。

（3）感知損失（Perceptual Loss）。為了使無霧圖像J和去霧圖像J︿在深層的語義信息上更加類似，使用經過ImageNet預先訓練的VGG-19網絡[20]來構建感知損失[21]

Lp（J，J︿）=1N∑Ni=1VGG（Ji）-VGG（J︿i）2=LmVGG（Ji，VGG（J︿i））（3）

其中，VGG（Ji和VGG（J︿i）是無霧圖像J和去霧圖像J︿在VGG-19網絡的Conv3-3層輸出的特征圖。

（4）結構相似性損失（SSIM Loss）。結構相似性損失是一種用于比較兩張照片結構相似程度的指標，分別從圖像的亮度、對比度、結構三個方面進行比較[22]

SSIM（J，J︿）=2μJμJ︿+C1μ2J+μ2J︿+C1·2σJJ︿+C2σ2J+σ2J︿+C2（4）

其中，μx和σ2x分別表示x的平均值和方差，σxy是x和y的協方差，C1，C2是兩個常數。SSIM的取值范圍是0到1，因此將SSIM Loss定義為

Ls（J，J︿）=1-SSIM （J，J︿）（5）

1.2.2 無監督訓練損失 為了使去霧網絡在真實有霧圖像上擁有更好的去霧效果，本文使用了生成對抗網絡來進行無監督訓練。真實有霧圖像往往對應的無霧圖像，因此無法應用于監督訓練。因此使用判別器D去分辨圖片是真實有霧圖像經生成器G生成的去霧圖像J︿，還是真實的無霧圖像J，促使去霧網絡生成更加逼真的去霧圖像。其中去霧網絡G和判別器D的損失函數分別為

GLoss=EJ︿log （1-DJ︿）（6）

DLoss=-EJlogDJ+EJ︿log1-DJ︿（7）

其中，E表示數學期望。

2 實驗結果與分析

2.1 訓練過程

在訓練的過程中，去霧網絡和馬爾可夫判別器均使用Adam[23]優化器，其中參數β1=0.9、β2=0.999、eps=10-8，訓練的batchsize大小為4。訓練總計迭代10萬次，去霧網絡的初始學習率為0.000 1，學習率從迭代的第5萬次開始每1萬次衰減10%。而判別器的初始學習率為0.000 1，并且在訓練中保持恒定。在硬件上本文使用了一塊英偉達GTX1080ti顯卡訓練去霧網絡，軟件上選擇了Pytorch深度學習框架。為了提升去霧網絡的魯棒性，對輸入圖像進行了如下預處理操作：隨機裁切圖像為256×256大小;隨機水平和垂直翻轉圖像;像素值歸一化到[0，1]區間。

2.2 數據集

實驗選擇了RESIDE數據集[17]，該數據集包含：室內圖像訓練集（ITS）、室外圖像訓練集（OTS）、合成目標測試集（SOTS）、真實世界圖像測試集（RTTS）、混合主觀測試集（HSTS）、未標注的真實世界有霧圖像集（URHI）。在網絡訓練過程中，監督訓練和無監督訓練兩個部分使用了RESIDE數據集中不同的部分，分別從ITS和OTS數據集中各隨機抽取2 500張成對的圖像用于監督訓練。對于無監督訓練部分，在ITS和OTS數據集剩余圖像中隨機抽取2 500張無霧圖像作為真實無霧圖像，在URHI中隨機抽取2 500張圖像作為真實有霧圖像。

2.3 實驗結果

為了評估所提出的方法的性能，本文與一些性能優秀的去霧方法進行了比較，包括DCP[4]，DehazeNet[8]，AOD-Net[11]，GFN[13]和FD-GAN[24]，除去DCP方法為先驗知識方法，剩余均為深度學習方法。在圖像去霧領域，峰值信噪比（PSNR）和結構相似度（SSIM）被廣泛用于評價圖像質量，因此本文也采用上述兩種指標。測試集方面，本文使用了RESIDE數據集中的SOTS測試集來評估上述各個方法，其中SOTS測試集包含了500張室內和500張室外的有霧圖像。圖2為合成有霧圖像實驗結果，圖3為放大后細節比較結果，表4為不同方法在SOTS數據集上的結果。

由圖2和表4可知，本文提出的半監督訓練模型在SOTS數據集上擁有較好的表現，去霧效果明顯、色彩不失真。由圖3的放大細節可知，本文提出的方法在邊緣細節的處理上更加平滑，天空與建筑物交界處的噪聲較少。

在真實有霧圖像的應用上，本文也與上述5種方法進行了比較，結果如圖4所示。可知，使用本文算法處理后的圖像清晰度高、紋理細節信息豐富、色彩飽和度自然，但在輕軌圖中遠處樓房的去霧效果弱于DCP方法，暴露了本文方法針對遠景去霧不足的缺點。

2.4 運行時間分析

本文計算了所提算法的運行時間，并且與上述5種算法進行了比較。在SOTS數據集中隨機抽取50張圖片并調整為512×512像素，取算法處理單張圖片的平均運行時間作為結果。所有算法均在一臺搭載因特爾i5-8500T CPU的臺式電腦上運行，結果見表5。本文算法的運行時間僅優于部分算法，整體耗時較長，其根本原因是算法的網絡層數多，導致運行時間長。

2.5 GAN模塊有效性分析

為進一步證明本文算法中GAN模塊的有效性，對是否使用GAN模塊進行了定量分析。在保證訓練相關參數相同的情況下，將圖1所示的GAN分支去除且不使用非成對的真實有霧圖像數據集，僅保留監督訓練部分又進行了一次訓練。表6為有無GAN模塊在SOTS數據集上的結果，圖5為GAN模塊的有效性對比結果。加入GAN模塊參與訓練后，PSNR和SSIM指標均在SOTS數據集上得到了小幅度的提升。并且網絡在真實有霧圖像上的泛化能力得到加強，去霧后的圖像細節豐富、清晰，圖像內各部分過度自然，失真較少。

3 結論

本文提出了一種基于半監督訓練的去霧算法，該算法引入了以生成對抗網絡為基礎的無監督學習，并使用合成數據集和真實有霧圖像來共同訓練網絡，使去霧網絡能更好的應用在真實有霧圖像。實驗表明，本文算法在SOTS數據集的圖像質量評價指標和真實有霧圖像的主觀評價上要優于過去的部分算法，處理后的照片細節紋理保留較多、色彩自然無失真，去霧效果明顯，但針對遠景去霧效果不佳且運行時間較長，下一步研究將繼續優化。

參考文獻

[1]蔣華偉， 楊震， 張鑫，等.圖像去霧算法研究進展[J].吉林大學學報（工學版），2021，51（4）：1169-1181.

[2]李帥， 魏偉波， 潘振寬，等.基于逐層搜索法與快速導向濾波的圖像去霧算法[J].青島大學學報（自然科學版），2018，31（4）：83-88+94.

[3]TAN R T. Visibility in bad weather from a single image[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Anchorage， 2008： 2347-2354.

[4]HE K M， SUN J，TANG X O.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2011，33（12）：2341-2353.

[5]ZHU Q S， MAI J M， SHAO L.A fast single image haze removal algorithm using color attenuation prior[J].IEEE Transactions on Image Processing，2015，24（11）：3522-3533.

[6]BERMAN D， TREIBITZ T， AVIDAN S. Non-local image dehazing[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， 2016： 1674-1682.

[7]趙慧， 魏偉波， 王曉麗，等.基于暗原色先驗與OSV分解的圖像去霧算法[J].青島大學學報（自然科學版），2020，33（4）：9-19.

[8]CAI B L， XU X M， JIA K，et al.DehazeNet： An end-to-end system for single image haze removal[J].IEEE Transactions on Image Processing，2016，25（11）：5187-5198.

[9]NARASIMHAN S G， NAYAR S K.Contrast restoration of weather degraded images[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2003，25（6）：713-724.

[10]NAYAR S K， NARASIMHAN S G. Vision in bad weather[C]// IEEE International Conference on Computer Vision. Kerkyra， 1999，2： 820-827.

[11]LI B Y， PENG X L， WANG Z Y，et al. AOD-net： All-in-one dehazing network[C]// 16th IEEE International Conference on Computer Vision （ICCV）. Venice， 2017： 4780-4788.

[12]ZHANG H， PATEL V M. Densely connected pyramid dehazing network[C]// 31st IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Salt Lake City， 2018： 3194-3203.

[13]REN W Q， MA L， ZHANG J W，et al. Gated fusion network for single image dehazing[C]// 31st IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Salt Lake City， 2018： 3253-3261.

[14]WANG Z Y， JI S W. Smoothed dilated convolutions for improved dense prediction[C]// 24th ACM SIGKDD Conference on Knowledge Discovery and Data Mining （KDD）. London， 2018： 2486-2495.

[15]CHEN D， HE M， FAN Q，et al. Gated context aggregation network for image dehazing and deraining[C]// 19th IEEE Winter Conference on Applications of Computer Vision （WACV）. Waikoloa Village， 2019： 1375-1383.

[16]LI L， DONG Y L， REN W Q，et al.Semi-supervised image dehazing[J].IEEE Transactions on Image Processing，2020，29：2766-2779.

[17]LI B Y， REN W Q， FU D P，et al.Benchmarking single image dehazing and beyond[J].IEEE Transactions on Image Processing，2018，28：492-505.

[18]ZHANG Y F， LI D， SHARMA G. HazeRD： An outdoor scene dataset and benchmark for single image dehazing[C]// 24th IEEE International Conference on Image Processing （ICIP）. Beijing， 2018： 3205-3209.

[19]ISOLA P， ZHU J Y， ZHOU T，et al. Image-to-image translation with conditional adversarial networks[C]// 30th IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， 2017： 5967-5976.

[20]RUSSAKOVSKY O， DENG J， SU H， et al. ImageNet large scale visual recognition challenge[J].International Journal of Computer Vision，2015，115（3）：211-252.

[21]JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution[C]// 14th European Conference on Computer Vision. Amsterdam， 2016： 694-711.

[22]WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment ： From error visibility to structural similarity[J]. IEEE Transactions on Image Processing，2004，13：600-612.

[23]KINGMA D P， BA L J. Adam： A Method for Stochastic Optimization[DB/OL]. [2021-06-04]. https：//arxiv.org/abs/1412.6980v4

[24]DONG Y， LIU Y H， ZHANG H，et al. FD-GAN： Generative adversarial networks with fusion-discriminator for single image dehazing[C]// 34th AAAI Conference on Artificial Intelligence， New York， 2020：10729-10736.

Image Dehazing Algorithm Based on Semi-supervised Learning

JI Lian-shuna， WEI Wei-boa， PAN Zhen-kuana， YANG Xiab，

ZHU Li-juna， CHENG Tian-tiana

（a.School of Computer Science and Technology， b.Shandong Provincial Key Laboratory of

Digital Medicine and Computer-assisted Surgery， The Affiliated Hospital of

Qingdao University， Qingdao 266071， China）

Abstract：

In order to make the photos taken in foggy days clear and improve the shortcomings of insufficient generalization ability of synthetic datasets， an image dehazing algorithm based on semi-supervised learning is proposed. The algorithm includes supervised training and unsupervised training， using artificial synthetic data sets and real haze images to alternately train the network. And the smooth dilated convolution is introduced in the network to improve the receptive field and eliminate grid artifacts. The unsupervised training part is based on the generation of adversarial networks， and Markov discriminator is used to improve the network's ability to recover details. The experimental results show that the proposed algorithm has improved the degree of haze removal and texture definition， which improves the generalization ability of the algorithm to real images.

Keywords：

image restoration; image dehazing; deep learning; semi-supervised learning; generative adversarial net

收稿日期：2021-09-05

基金項目：

國家自然科學基金 （批準號：61772294）資助;山東省藝術科學重點課題（批準號：ZD201906108）資助。

通信作者：

魏偉波，男，博士，副教授，主要研究方向為數字圖像處理、生物特征識別、目標識別與跟蹤。E-mail：njustwwb@163.com