多分支修復網絡的沙塵降質圖像增強算法

丁 元，鄔開俊

蘭州交通大學 電子與信息工程學院，蘭州 730070

沙塵現象是由于大氣中大量的懸浮沙塵顆粒對光線產生散射而造成的，由于沙塵顆粒對藍紫光的吸收速度遠快于對紅橘光的吸收速度，因此沙塵圖像不同于霧霾圖像只有不同濃度的白色噪音，沙塵圖像不僅濃度不同而且噪音顏色也是多種多樣，這樣的降質圖像會對計算機視覺工作造成較大的影響。在沙塵天氣中所拍攝到的圖片，會因為大氣中的沙塵影響導致成像效果產生模糊、顏色失真以及對比度降低的問題，如果在計算機視覺任務中采用這樣的數據進行實驗，會使得最終結果產生偏差。

相比較于R、G、B 值相同的霧霾圖像成像條件，沙塵天氣所得到的圖像往往由于R、G、B值的衰減程度不同，而具有明顯的偏置、濃度和先驗特征。所以消除沙塵不僅僅要提高可視性，還要恢復色差，正是由于沙塵圖像這樣的性質，導致這是一項極具挑戰的任務。也正是因為沙塵圖像的色彩色差問題，所以不能直接采用去霧算法對沙塵圖像進行處理，去霧算法往往可以恢復圖像的清晰度但往往也會忽略對圖像色彩的恢復。

為了解決沙塵圖像清晰化以及色彩恢復問題，本文提出了一種融合色彩恢復子網的多分支沙塵降質圖像增強算法，通過不同分支子網絡的不同作用，對沙塵圖像的細節、清晰度以及色彩進行恢復。本文的網絡模型中第一個網絡分支為預訓練好的特征提取網絡，即遷移學習子網（transfer learning subnet，TLSN），由于并沒有大規模沙塵數據集，所以預訓練模型有助于避免網絡訓練過程中產生過擬合現象，增強對當前數據特征提取的有效性。第二個網絡分支的作用是對圖像的色彩進行恢復，即色彩恢復子網（color recovery subnet，CRSN），由金字塔網絡、灰色世界算法、帶有顏色修復功能的歸一化模塊以及注意力機制構成，充分利用位置注意力特征圖對所有像素之間的相似性的計算，獲得特征圖中任意兩個位置之間的空間依賴。在該子網中保持圖像增強之后原有分辨率，避免丟失圖像的色彩特征信息。第三個網絡分支為數據擬合子網（current data fitting subnet，DFSN），該子網針對當前數據進行網絡更新，提高對當前輸入數據的擬合能力。

本文的主要貢獻：（1）提出一種端到端的沙塵圖像增強模型；（2）提出一種新的圖像色彩恢復子網絡；（3）通過大氣散射模型構建了一套不同濃度不同色彩的沙塵圖像數據集；（4）證明了遷移學習在沙塵圖像增強中的有效性；（5）展示了大量的實驗結果，證明了網絡在小數量、大尺度合成沙塵圖像及真實沙塵圖像增強上的有效性。

1 相關工作

由于數據集的缺乏以及任務的挑戰性，沙塵圖像增強任務近年來的發展并沒有去霧領域發展的迅速，許多基于深度學習的去霧方法取得了很好的性能表現；而且去霧領域相關的競賽也在一定程度上推動了這方面的發展。而沙塵圖像增強增強的任務除了要消除沙塵對于圖像清晰度得到影響，還要盡可能恢復圖像的色彩，所以本章內容主要圍繞這兩個任務進行展開。

1.1 沙塵圖像清晰化

朦朧圖像清晰化方法分為兩類：基于先驗知識的方法和基于學習的方法。基于先驗知識的方法通過估計透射圖和大氣光值，然后利用大氣散射模型（atmospheric scattering model，ASM）[1]反演退化過程來實現清晰化朦朧圖像。許多基于先驗知識的方法在清晰化圖像中表現出良好的性能，但是由于先驗知識在實際應用中不容易獲得，所以這類方法并不魯棒。He等[2]提出通過暗通道先驗（dark channel prior，DCP）的方法實現圖像去霧，該方法對于大面積天空圖像的清晰化效果并不好；Gao等[3]提出一種基于反轉藍色通道先驗的沙塵圖像恢復算法，通過DCP理論提高了沙塵退化圖像的可見性。

近年來基于深度學習的圖像清晰化方法發展越加迅速，其中DehazeNet[4]是第一個使用深度學習進行去霧工作的模型，其采用卷積神經網絡（convolutional neural network，CNN）進行特征提取，然后采用ASM得到清晰化圖像。AOD-Net[5]基于重新設計的大氣散射模型，AOD-Net 不是像大多數先前模型那樣分別估算透射圖和大氣光值，而是一次性估算透射圖以及大氣光值。這些依據于ASM的模型在進行沙塵圖像訓練測試之后會出現顏色失真的問題，因此出現了許多方法可以舍棄ASM 恢復圖像，實現端到端的恢復過程。Qin 等[6]提出了帶有注意力模塊的FFA-Net，取得了很好的效果。Dudhane等[7]提出了一種去除濃霧的端到端可訓練殘差生成對抗網絡模型，對于濃霧的清晰化效果得到了提升。Singh等[8]提出采用多UNet網絡分別輸出不同尺度特征再進行疊加操作的方式實現多尺度學習。Das等[9]提出了快速深度多補丁分級網絡，在網絡參數較少的情況下聚合來自不同空間區域的多個特征來恢復非均勻的霧霾圖像。Yu 等[10]提出了雙分支神經網絡來處理去霧問題，在NTIRE2021去霧比賽中得到了第二的成績[11]。

與去霧任務相比，沙塵圖像清晰化算法需要考慮更多的色彩因素，盡管近幾年有許多研究提出，但是結果并不盡如人意。目前的沙塵增強算法可以在一定程度上減輕沙塵對視覺的影響，但處理后的圖像仍存在除塵不徹底、細節信息丟失、顏色失真等問題。劉春月等[12]提出了一種基于卷積神經網絡的沙塵圖像色彩恢復與增強方法，特別提到對沙塵圖像的顏色進行恢復，但采用的數據集較為簡單并且圖像尺寸較小。其他沙塵圖像清晰化算法大多是基于復原的算法和修改圖像像素值以提高視覺質量，比如Gao等[13]提出將RGB沙塵圖像轉移到YUV空間，并首次創新性地使用顏色分量U、V來校正YUV空間中的顏色偏移，然后使用改進的Multiscale Retinex算法對Y分量進行處理，減少空氣中散射光的影響，提高圖像清晰度。Xu 等[14]提出了一種張量最小二乘優化模型，用于分解保留邊緣的基礎層和細節。該模型不僅分解了彩色圖像，而且可以物理地揭示內在的顏色信息。相反基于學習的算法沙塵圖像增強算法并不多，而且性能不如先進的圖像去霧算法。

1.2 沙塵圖像色彩恢復

1.2.1 沙塵圖像的色彩分布

沙塵圖像是一種典型的退化圖像，與霧霾圖像、水下圖像類似，但是色彩分布各有其特點，表1 中展示了各種退化圖像的色彩特點。

表1 退化圖像的顏色特性Table 1 Color characteristics of degraded images

圖1顯示了霧霾圖像、水下圖像和沙塵圖像及其對應的顏色直方圖。圖1（a）中霧霾圖像其直方圖顯示R、G、B顏色分布類似；圖1（b）中水下圖像具有較強的藍色分量；而圖1（c）、（d）中沙塵圖像的直方圖顯示圖像的藍色和綠色分量較弱，具有較強的紅色分量，而沙塵圖像偏紅或者偏黃取決于綠色分量的強弱，綠色分量比藍色分量強很多時圖像偏黃，而綠色分量比藍色分量略強時圖像偏紅。

圖1 退化圖像的顏色直方圖Fig.1 Degraded image with its color histogram

1.2.2 沙塵圖像色彩恢復方法

圖像的色彩信息是圖像增強和修復的重要依據，經過修復之后的圖像色彩是否符合人眼的視覺體驗是評判圖像修復成功與否的一個關鍵因素。現在常見的圖像顏色校正技術包括基于RGB顏色空間的灰色世界法（gray world algorithm，GWA）[15]、基于YUV顏色空間的白色補丁法（white patch algorithm，WPA）[16]。江興方等[17]提出了用小尺度Retinex增強朦朧圖像，利用圖像中相應的像素替代原圖像中陰影的區域，但是由于Retinex算法采用隨機路徑的方法估計像素顏色，因此帶來了較大的計算量。Liu等[18]提出了采用顏色遷移的方法增強沙塵圖像的顏色，但是該方法對于失真嚴重的圖像處理略顯乏力，依然存在一定的顏色失真問題。

雖然現在有許多較為成熟的圖像色彩恢復方法，但大多數對于色彩單一且具有大塊單一顏色的圖像往往會失效。而沙塵圖像存在單一的以黃色或紅色為基調的色彩且范圍較大，因此普通的圖像色彩恢復算法在對沙塵圖像進行恢復的過程中，效果往往不好。

2 本文方法

基于當前沙塵圖像增強算法的不足，本文提出了融合色彩恢復子網的多分支沙塵降質圖像增強算法。本章將詳細說明TLSN、CRSN、DFSN的結構，最后給出損失函數的選擇。

2.1 網絡結構

本方法網絡總體結構由三個子網組成，如圖2 所示。每一個子網都有其特定的作用，TLSN 由于加載了預先訓練好的權重，因此用于從訓練數據集中獲取到更加魯棒的特征表示；CRSN針對普通灰色世界算法的缺點，使得圖像場景顏色并不豐富的時候也可以獲得較好的色彩恢復；DFSN 通過對當前數據的處理，提高在所采用數據集上的表現。最后通過一個融合層將三個子網的結果疊加起來映射得到輸出圖像。

圖2 總體模型結構Fig.2 Overall model structure

三個子網中均加入了具有色彩校正功能的自適應實例歸一化模塊（adaptive instance normalized blocks，AIN），如圖3所示。AIN通過計算輸入特征h的標準差對其進行歸一化處理，然后對色彩校正的圖像(y)進行卷積得到仿射變換參數γ*和β*，最后對歸一化之后的特征進行仿射變換得到hout。訓練過程中AIN 會對網絡所產生的特征進行仿射變換以達到色彩校正的目的，自適應恢復網絡中特征映射所存在的色彩失真問題，得到更好的去沙塵效果。

2.1.1 遷移學習子網

首先，由于沙塵圖像沒有高分辨率的大規模標準數據集，所以必須采用合成數據集并且最大限度地利用小規模數據，因此受到文獻[19]啟發，構建遷移學習子網并采用Res2Net 作為編碼器來實現上述目的。使用Res2Net作為編碼器，只采用了它的16次下采樣層舍棄全連接層，并在殘差塊中加入特征注意力機制[20]。采用PixelShuffle[21]作上采樣操作，將低分辨的特征圖，通過卷積和多通道間的重組得到高分辨率的特征圖。在訓練階段，遷移學習子網的訓練參數通常可以采用加載在ImagesNet 數據集[22]上預訓練好的參數，或者使用一個大規模相關數據集在其中直接訓練參數，但是由于沙塵圖像沒有大規模高質量數據集，所以后一種方式被排除。而前一種方式雖然使用ImagesNet預訓練參數是有效的，但是沙塵圖像因為其色彩等方面的特殊性，本文也沒有采用該方式。

結合上述兩種方式，本文采用一個合成低分辨率大規模沙塵數據集（synthetic low resolution large scale dust images dataset，SLLD）在訓練之前先預訓練Res2Net網絡的參數，該數據集擁有12 000對256×256×3大小的沙塵圖像。在之后的小規模高質量數據集訓練過程中載入在SLLD 上預訓練好的Res2Net 網絡參數，提高對特定圖像的特征提取和表達能力。

2.1.2 色彩恢復子網

沙塵圖像的恢復不僅僅包括對圖像清晰度的恢復，還包括對其色彩的恢復。由于沙塵圖像存在嚴重的色彩失真問題，整體圖像表現為黃色或者紅色，因此加入了色彩恢復子網，初步恢復圖像色彩，提高特征提取的準確性。為此，提出了一種保持顏色分量均值的RGB色彩平衡方法（RGBCbm），采用以R、G、B 三通道分量均值為目標分別對分量進行歸一化，使得顏色直方圖分布更加均勻且貼近自然清晰圖像，以達到顏色校正的目的。實驗中RGBCbm算法處理一張圖像（1 600×1 200×3）的時間僅0.086 s，遠低于傳統的灰色世界算法以及自動色彩均衡算法，后兩者在相同圖像規格的情況下處理時間分別為3.241 s和11.845 s。具體方法如公式（1）所示：

式中，Ic為輸入圖像的顏色通道；m(Ic)為計算顏色通道的均值；h(Ic)和l(Ic)為計算顏色通道的高像素值和低像素值，F為雙邊濾波處理去除噪音，c的取值為r、g、b。

具體過程為：色彩恢復子網首先通過采用一個小規模特征金字塔得到圖像的多尺度結構圖，然后對多尺度結構圖采用RGBCbm 進行色彩校正，再結合AIN 模塊和一個位置注意力模塊進行歸一化和特征映射，最后對處理之后的多尺度特征圖進行特征融合，經過一個殘差塊進行特征提取，達到顏色校正的目的。

2.1.3 數據擬合子網

由于遷移學習子網采用了預訓練模型參數，所以可能導致網絡缺少對當前訓練數據的擬合的信息，因此采用數據擬合子網來解決這一問題，采用通道注意力[23]結合殘差塊構造子模塊。通道注意力有助于網絡提高對訓練數據的擬合能力，提高特征表示能力；殘差塊由于其跳躍連接的結構有助于減輕梯度消失問題。在該網絡模塊中訓練數據的大小不會進行修改，避免上下采樣對于數據特征的損失，全程采用全分辨率進行構建，進一步提高對數據的細節特征的提取，增強擬合能力。

2.1.4 三子網特征融合模塊

本文網絡采用三個子網分別對數據進行處理，因此需要一個特征融合模塊對來自三個子網的不同特征進行融合得到最后的清晰化圖像。具體來說，融合模塊將各分支的輸出結果疊加起來，然后通過卷積運算將融合特征映射為清晰圖像。其結構采用雙層卷積運算和一個Tanh激活函數組成。

2.2 損失函數

2.2.1 對抗損失

本文采用的數據集較小，因此單純采用像素級損失不能很好地提高圖像的全局一致性，而對抗損失（adversarial loss，ADLoss）[24]有助于解決這個問題。網絡中加入使用馬爾科夫判別器實現對輸出圖像和原清晰圖像的對抗損失計算，其損失函數可以表示為公式（2）：

式中，D為判別器；fθ(x)為增強后的清晰圖像；D(fθ(x))為所處理圖像是真實清晰圖像的概率。

2.2.2 Smooth L1損失

使用L1損失可以有效改善對圖像進行不精準估計時所產生的細節丟失問題，并且Smooth L1損失函數相比于L1 損失函數更加魯棒，確保輸出圖像保有更多的細節信息[25]，其損失函數可以表示為公式（3）、（4）：

式中，yi和xi為清晰圖像和預處理圖像在i處的像素；fθ(xi)為以θ為參數的網絡；N為總像素數。

2.2.3 感知損失

感知損失[26]可以通過對輸出圖像和真實圖像的特征進行對比，有效減少它們之間的差異，本文采用預訓練的VGG-19網絡獲得感知損失，其損失函數可以表示為公式（5）：

式中，C、W、H分別為通道數、寬度和高度；x和y分別為預處理圖像和清晰圖像；fθ(x)為處理之后的預處理圖像；V為非線性CNN 變換，由VGG 網絡執行；N為感知損失中使用的特征個數。

2.2.4 全變分損失

全變分損失[27]可以在圖像修復任務中依靠梯度下降流對圖像進行平滑，去除偽影并消除噪聲，其損失函數可以表示為公式（6）：

式中，xi,j為預處理圖像在i、j處的像素，求每一個像素和橫向下一個像素差的平方，加上縱向下一個像素差的平方，然后開β/2 次根，默認β=2。

2.2.5 多尺度結構相似損失

多尺度結構相似損失（multi-scale structure similarity loss，MS-SSIM Loss）[28]的引入可以使得網絡輸出的圖像更加符合人眼視覺體驗，相比于結構相似損失（structure similarity loss，SSIM Loss）相當于基于多層的SSIM 損失函數，考慮了分辨率的影響，增加魯棒性，其損失函數可以表示為公式（7）、（8）：

式中，O、G分別為預處理圖像和清晰圖像中以像素i為中心的兩個大小相同的窗口，對O、G進行高斯濾波并計算結果的均值μO、μG，標準差σO、σG以及協方差σOG。C為兩個常量用來避免分母為零，l為亮度，cs為對比度和結構度量。α和β為默認參數。

最后將總的損失定義公式（9）為：

式中，A為平衡損失比例的超參數，其大小從1～5 分別為0.000 5、1、0.01、0.05、0.5。

3 實驗與結果

對數據集的使用、訓練細節、評估標準進行詳細的闡述。然后將本文方法與其他先進的沙塵圖像修復算法進行比較，但由于沙塵圖像修復算法并不多且性能并不優越，因此加入了一些先進的去霧算法作為對比算法，最后加入消融實驗闡明不同模塊對網絡整體性能的影響。

3.1 數據集

3.1.1 圖像選擇

在深度學習領域，所采用數據的質量關乎最終結果的好壞，而當前很多先進的沙塵圖像清晰化算法采用的均是小分辨率圖像，比如256×256×3，但是這樣規模圖像數據的特征以及提取特征的復雜性較為簡單，與真實沙塵圖像差距過大，會使得所訓練的神經網絡在處理真實沙塵圖像的過程中不具有較強的魯棒性和泛化性。因此本文采用NTIRE-（2020）數據集[29]、NTIRE-（2021）數據集[30]、Dense-Haze[31]和O-HAZE[32]數據集中的清晰圖像進行合成沙塵圖像的操作得到標準沙塵數據集，該數據集中圖像大小為1 600×1 200×3，具有較高的分辨率以及更為復雜的圖像特征，使得網絡更具有魯棒性和泛化性。對VOC數據集中的12 000張256×256×3的圖像進行合成沙塵圖像操作得到預訓練數據集，保存網絡在預訓練數據集上訓練的參數，之后對標準數據集進行訓練的時候首先在TLSN上加載預訓練參數，提高對圖像特征提取的有效性。

NTIRE-（2020）包含45 張圖像，NTIRE-（2021）數據集包含25張圖像，Dense-Haze包含45張圖像，O-HAZE數據集包含35 張圖像，共150 張圖像，根據需要刪除其中的重復以及室內環境圖像最終選擇了112 張圖像合成了沙塵圖像標準數據集。真實沙塵圖像數據集通過網絡采集，共50 張圖像進行測試。合成數據集和真實沙塵圖像數據集定量比較結果均采用統一尺度的圖像。

3.1.2 沙塵圖像合成

由于缺乏配對的標準真實沙塵圖像數據集，因此采用人工合成的方法構造配對的數據集。上一小節介紹了數據集圖像的選擇，這一小節著重介紹數據合成過程。合成沙塵圖像數據類似于合成霧霾圖像，同樣利用大氣散射模型[1]的公式（10）進行操作，如下所示：

式中，J(x)為清晰圖像，I(x)為沙塵圖像，x為像素位置，t(x)為圖像場景透射率，A為大氣光值。其中t(x)=e-βd(x),β為衰減系數，d(x)為場景深度圖。

沙塵圖像與霧霾圖像合成的區別在于，霧霾圖像合成過程中R、G、B 三通道所采用的大氣光值相同，可以得到白色色調的霧霾圖像。而沙塵圖像由于其整體偏向黃色或者紅色，因此在合成過程中R、G、B 三通道所采用的大氣光值不同，通過實驗不同的三通道大氣光值組合，得到14種不同風格和色彩的沙塵圖像，并通過調整衰減系數和中心位置尺寸得到不同濃度的沙塵圖像，不同的風格顏色以及沙塵濃度的圖像可以提高網絡應對不同真實沙塵圖像的魯棒性并提高性能。利用文獻[33]中的方法對圖像場景深度進行估計，代入公式中。圖4展示本次實驗所合成的14種不同顏色風格的沙塵圖像。

圖4 多風格合成沙塵圖像Fig.4 Multi-style synthetic sand dust images

3.2 訓練細節

本文所采用的數據集包含112 張1 600×1 200×3 規格的圖像，由于數據量不大，因此使用了隨機角度翻轉、水平翻轉、垂直翻轉和隨機裁剪對數據集進行數據增強操作。優化器采用Adam優化器[34]，β值采用默認0.9和0.999。訓練1 000輪，初始學習率為0.000 1，600輪之后每200 輪學習率下降一半，有助于網絡的收斂，算法采用Pytorch庫實現。定量評價采用峰值信噪比（PSNR）和結構相似性（SSIM）。

預訓練網絡參數過程只采用遷移學習子網，在SLLD上進行參數預訓練，網絡訓練50次迭代，初始學習率為0.000 2并且每隔10個迭代將學習率縮小為原來的一半。

3.3 實驗結果及對比

本節將展示本文算法在數據集上的表現，并選擇了8種算法進行定性和定量的比較。8種對比算法中分別為4種典型的傳統朦朧圖像增強算法：包括DCP算法[2]，該方法是2009年CVPR最佳論文，開啟了圖像去霧的一個新方法領域，根據暗通道先驗得到大氣散射模型中的參數，反推出清晰圖像；Shi等[35]，該算法包括三個組件：灰色世界理論的LAB 顏色空間中的顏色校正、使用減少光暈的DCP去霧方法的除塵以及改進的對比度限制自適應直方圖均衡化；Park[36]，該算法以獲得一個一致的彩色直方圖為目的，減少增強圖像的偏藍或偏紅偽影；MSRCR[37]，該算法利用彩色恢復因子，調節原始圖像中3個顏色通道之間的比例關系，達到了消除圖像色彩失真的目的。4種先進的基于深度學習的算法：包括BPPNet[8]、FSAD-NET[9]、文獻[10]以及EPDN[38]。EPDN將有霧圖像通過生成網絡得到由透射圖和大氣光值聯合估計的圖像，通過改進的大氣散射模型輸出去霧圖像。表2 給出了所選擇的對比算法和本文算法處理每張圖片（1 600×1 200×3）的網絡參數總數和運行時間，本文算法中大部分參數來源于遷移學習子網，但由于下采樣操作縮小了中間層的特征大小，從而加快了計算速度，所以盡管本文算法具有最多的參數，但運行時間仍然很快。實驗數據集包括了合成數據集以及搜集得到的真實沙塵圖像數據集，在兩個數據集上分別進行定性和定量的比較。

表2 不同方法的參數總數和運行時間比較Table 2 Comparison of total number of parameters and running time for different methods

3.3.1 合成數據集實驗結果

圖5展示了本文算法與傳統算法的定性比較結果，可以看出，DCP方法并不能去除圖像的沙塵并且圖像處理之后整體還是偏黃，但是可以在一定程度上顯示圖像內容；MSRCR方法可以去除圖像的沙塵，但是在偏紅圖像上還是存在圖像色彩失真的問題，并且在大規模綠色背景下會使得處理之后的圖像偏白；Shi 方法可以去除圖像整體偏黃或者偏紅的色彩，但是又會出現類似霧霾圖像的白色噪音；Park方法相較于其他傳統方法取得了最好的結果，但是所恢復圖像相比于原有圖像的色彩較深，可能產生色差，但圖像視覺較好。而本文算法在與這些傳統算法的比較中產生了最符合原圖色彩以及細節的清晰圖像。表3 展示了本文算法與傳統算法的定量比較結果，本文方法在平均PSNR 和平均SSIM 的比較中均取得了最好的結果。

圖5 本文方法與傳統方法在合成數據集上的比較Fig.5 Comparison of our method with traditional methods on synthesized test images

表3 不同方法在合成數據集上的定量比較結果Table 3 Quantitative comparison results of different methods on synthetic test images

圖6 展示了本文算法與基于深度學習算法在合成數據集上的定性比較結果，可以看出，BPPNet所產生的結果可以在一定程度上去除圖像整體偏黃的色彩，但是圖像無論時色彩還是細節恢復都不夠完美，圖像中心產生了明顯的光暈，并且在沙塵顏色較深時尤為明顯；FSAD-Net 較好地去除了圖像中的沙塵，但是整體圖像細節有白色噪音，而且在沙塵顏色較深時存在沙塵去除不徹底的問題；EPDN所產生的結果并沒有去除圖像中的沙塵，只是在一定程度上恢復了圖像的細節；文獻[10]取得了在所對比的基于深度學習的算法中最好的結果，有效去除了沙塵并恢復了圖像細節，但是色彩恢復上存在色差問題。而本文算法在與這些基于深度學習的算法比較中產生了最符合實際色彩以及細節的清晰圖像。表3 展示了本文算法與基于深度學習的算法的定量比較結果，本文方法在平均PSNR 和平均SSIM 的比較中均取得了最好的結果。

圖6 與基于深度學習的方法在合成數據集上的比較Fig.6 Comparison with deep learning-based methods on synthetic datasets

3.3.2 真實數據集實驗結果

為了驗證訓練模型可以對真實沙塵圖像進行清晰化處理，本文采用在網絡上搜集到的50 張真實沙塵天氣圖像對模型進行測試，圖像大小采用雙線性插值或裁剪調整為1 600×1 200×3。對比算法選擇在合成數據集上表現最佳的兩種傳統方法和兩種基于學習的方法，分別是：MSRCR、Park、FSAD-NET以及文獻[10]。

圖7 展示了本文方法與MSRCR、Park、FSAD-NET以及文獻[10]在真實沙塵圖像上的定性比較的結果。可以看出，MSRCR算法在應對真實沙塵圖像時，可以大致將沙塵圖像整體的黃色去除，但是圖像的清晰度并沒有得到較好的提升，整體圖像顏色偏暗，視覺觀感較差；Park的方法可以較好地恢復圖像的顏色和清晰度，但對于黑夜中燈光的處理會出現色彩偏差；FSAD-NET得到的結果圖像顏色過深，整體偏暗，有些圖像并不能很好地去除沙塵；文獻[10]得到的結果較好，可以有效去除沙塵，但是對于偏紅的圖像依然存在色彩失真的問題。而本文算法可以更好地去除圖像的沙塵并恢復圖像的色彩，但是在大面積天空區域存在一定的光環偽影。

對于真實沙塵圖像，由于沒有可對比的清晰圖像，而且現在也沒有對沙塵圖像進行質量定量評價的方法，所以采用自然圖像質量評價（natural images quality evaluator，NIQE）[39]，基于無參考圖像質量評價（no-reference perception-based images quality evaluator，PIQE）[40]，無參考圖像空間質量評價（blind/referenceless images spatial quality evaluator，BRISQUE）[41]以及無參考對比度失真圖像質量評價（no-reference images quality metric for contrast distortion，NIQMC）[42]四種無參考圖像質量評價指標，對于NIQE、PIQE 和BRISQUE，其數值越小，圖像質量越好；對于NIQMC，數值越大，圖像質量越好。

表4 總結了50 張測試圖像的四個平均定量評價指標的比較。本文算法具有最好的平均NIQM、PIQE 指數。對于BRISQUE 指數，本文的方法獲得了第二的平均值，僅次于是文獻[10]。本文算法和Park得到的NIQMC分數相近，NIQMC 通過測量給定圖像的局部細節和全局直方圖來評價圖像質量，特別適用于對比度較高的圖像。綜上所述，本文算法在綜合考慮四個定量評價的得分時具有最好的性能。因此，本文提出的算法能夠在對比NIQE 評分的基礎上生成更自然的增強圖像。另外，從NIQMC 值的比較結果可以判斷，本文算法相比于其他方法對比度失真也較小。

表4 不同方法在真實沙塵數據集上的定量比較結果Table 4 Quantitative comparison results of different methods on real-world images

3.4 消融實驗

本文的消融實驗主要考慮的是色彩恢復子網以及遷移學習子網對于網絡性能的影響。模型1，舍去色彩恢復子網，并采用Batch normalization[43]代替AIN 做歸一化處理，具有其他設置不變，測試網絡性能；模型2遷移學習子網加載在ImagesNet 數據集上預訓練的參數，其他設置不變，測試網絡性能。

表5的定量比較可以看出，色彩恢復子網和預訓練參數的選擇對結果評價指數的變化都有一定影響，而本文模型獲得了最好的評價指數，證明了模型所選擇的各個模塊的重要性。從圖8的定性比較中可以看出，舍去色彩恢復子網和AIN 后，網絡依然可以去除沙塵，但對于色彩的恢復與原網絡存在差距，定性比較中特別采用了色彩艷麗的圖像增加對比的明顯度；而遷移學習子網在加載ImagesNet數據集上預訓練的參數后所得到的結果也是較好的，圖像細節處理與原網絡十分接近，但是也存在顏色的差異，很明顯可以看出原網絡所得到的圖像在色彩表現上更加符合人眼視覺體驗。

圖8 消融實驗定性比較結果Fig.8 Qualitative comparison results of ablation experiments

表5 消融實驗定量比較結果Table 5 Quantitative comparison results of ablation experiments

4 結論

本文所提出的基于多分支修復網絡的沙塵降質圖像增強算法，通過實驗證明了它在沙塵圖像增強任務中的能力。將遷移學習子網、色彩恢復子網和數據擬合子網所得到的特征進行疊加，通過融合層映射出清晰圖像。實驗中采用的數據集不大，但取得了良好的效果，證明方法在小數量數據集上有顯著的優勢，通過測試可以看出算法在所測試的數據集中的表現都超過了所對比的先進方法。并且通過遷移學習子網證明了遷移學習在沙塵圖像增強中的有效性。

基于深度學習的沙塵圖像增強方法發展的局限性主要是由于獲取訓練樣本較為困難，所以本文采用了大規模低分辨率合成數據集進行參數預訓練，然后在小規模高分辨合成數據集上進行訓練和測試，這樣會導致網絡在處理真實沙塵圖像過程中存在性能下降的問題，因此如何構造高質量的真實沙塵圖像和相應的清晰圖像數據集是突破該方向發展瓶頸的難題，也為未來的研究指出了一個明確的方向。