基于級聯生成對抗網絡的遙感圖像去霧方法

孫 瀟，徐金東

（煙臺大學計算機與控制工程學院，山東煙臺 264005）

0 引言

隨著對地觀測技術的快速發展，衛星遙感和航空遙感提供了高空間分辨率和光譜分辨率的遙感圖像［1-4］。但對于任何光學遙感成像傳感器，大氣都是不可避免的噪聲源，如霧、霾、雪、灰塵或廢氣和云。因此，對遙感圖像有效去霧和保持地表原始細節之間的平衡非常重要。

為了提高遙感圖像的質量，解決不適定的去霧問題，提出了許多基于先驗的算法［5-7］。這些方法將霧作為頻率域中的一種特殊低頻成分［8-15］，但在抑制霧成分的同時，無霧區域中的原始低頻信息可能被損壞。因此，基于先驗的算法性能很大程度上取決于霧區域檢測的準確性。也有利用統計學方法進行圖像去霧，例如霧度優化變換（Haze Optimized Transformation，HOT）［16］方法簡單且具有魯棒性，但HOT方法在沒有充分利用原始圖像中空間相關性的情況下性能受到了一定的限制。另外一些基于光譜分析的方法主要依賴于光譜域內的互補信息［17-18］。文獻［19］中提出基于經驗輻射轉移模型尋找可見光和近紅外波段之間的光學數據關系，去除可見光波段中的霧和薄云。當波段有限時，它們通常無法工作。目前已涌現出許多基于深度學習的去霧方法［20-24］，在給定成對的彩色室內帶霧圖像及其真實圖像組成的數據庫上學習去霧，文獻［20］介紹了一種去霧網絡，通過特征提取、局部極值、非線性回歸和多尺度映射形成的端到端的卷積神經網絡系統去霧，最新自然圖像去霧專注于使用生成對抗網絡（Generative Adversarial Network，GAN）［25］或 Conditional GAN［26］訓練模型，但均需大量訓練樣本對。

現有大多數工作都是關于自然圖像去霧，盡管自然圖像去霧的一些模型已有應用于遙感圖像，但自然圖像和遙感圖像之間的成像機理差異致使去霧問題并不能得到很好的解決。對于訓練網絡去霧，有霧圖像和無霧圖像都是必不可少的，但在實際情況中，除了霧還會有多重因素（云、霾、雪、灰塵或廢氣）導致遙感圖像質量不佳，如果無法獲取配對數據，將很難精確建模達到完全去霧等覆蓋物的效果。因此需要設計一種不假定任何特定影響因素類型的去霧方法，通過學習霧的生成過程，達到更好的去霧效果。

基于以上問題，本文提出了級聯生成對抗網絡進行遙感圖像去霧。以U-Net［27］的U型結構為基礎搭建學習霧生成的UGAN（U-Net GAN）和學習去霧的PAGAN（Pixel Attention GAN）。UGAN和PAGAN互為支撐，UGAN使用未配對的清晰圖像和霧圖像進行訓練生成逼真的帶霧遙感圖像，模擬真實霧對遙感圖像的影響，PAGAN模塊增加自我注意機制從前一階段生成的霧遙感圖像中恢復無霧遙感圖像。

1 級聯生成對抗網絡

1.1 模型結構

遙感圖像去霧訓練使用的合成數據并不能模擬真實的遙感圖像，成對遙感數據集的缺失導致深度學習方法訓練困難。為了解決這個問題，級聯GAN可以降低模型對大量訓練數據的需求和對成對數據的依賴，拓寬模型的應用場景。該網絡包含兩種GAN模型，即學習霧分布的UGAN和學習去霧的PAGAN。UGAN模型學習如何使用未配對的霧圖像和無霧遙感圖像集在保留遙感圖像細節的同時對無霧圖像進行加霧處理，然后指導PAGAN正確地對此類圖像進行去霧操作。級聯網絡包含兩個主要模塊，UGAN和PAGAN，UGAN以噪聲和標簽數據圖像作為輸入，輸出生成霧圖像并將其輸入PAGAN學習去霧。圖1給出了算法的整體架構。

圖1 基于級聯對抗生成網絡的遙感圖像去霧算法的整體框架Fig.1 Overall framework of remote sensing image dehazingalgorithm based on cascaded GAN

在訓練階段，將清晰的遙感圖像輸入UGAN生成器中，生成的模擬霧圖像輸入到PAGAN中學習如何去霧，通過對抗學習逐步提高UGAN的霧生成能力和PAGAN的霧去除能力，同時減少對成對數據的依賴性。UGAN和PAGAN模塊中的生成器生成相應的圖像，鑒別器進行鑒別，生成更加逼真的合成圖像。在測試階段，遙感圖像去霧任務只需PAGAN生成器網絡。

1.2 UGAN

UGAN模塊在清晰的遙感圖像上直接生成霧圖像，U型結構和跳躍鏈接操作可以較好地保留邊界、角點等高頻內容，最大限度保留遙感圖像地物細節。UGAN由一個生成器和一個鑒別器組成。

UGAN生成器 UGAN生成器的輸入是來自公共數據集的清晰遙感圖像。考慮到眾多可能導致不理想的霧霾覆蓋因素，本文將輸入圖像與噪聲映射連接起來，以模擬不同的條件在遙感圖像上生成霧。網絡結構包括收縮路徑和擴展路徑，各包含8層卷積，后半部分的前三層卷積使用Dropout。Dropout層在訓練過程中以一定概率隨機去掉一些神經元，起到防止過擬合的作用。卷積層代表的收縮路徑通過下采樣提取高維特征信息，每一次下采樣，圖片大小變為原來的1/2，特征數量變為原來的2倍。對于圖像去霧問題，某些特征并不需要再進入更深層的下采樣層中，而是可以直接跨越網絡到解碼器對應的層。為了實現這樣的功能，在網絡中添加一種特殊的連接——跳躍連接（Skip Connection）。擴張網絡在上采樣操作中，將每一次的輸出特征與相映射的收縮網絡的特征合并在一起，補全中間丟失的邊界信息。最后，加入1×1的卷積操作將之前獲得的特征映射到所屬分類上面。通過這種方法，可以在一幅清晰遙感圖像的基礎上生成帶霧的遙感圖像。UGAN生成器的輸出是與輸入圖像大小相同的圖像。

UGAN判別器 UGAN判別器的輸入是UGAN生成器的輸出。其架構主要包括5個步長為2，卷積核大小為4的卷積模塊，輸出為生成帶霧的遙感圖像被劃分為真實圖像的概率。

1.3 PAGAN

PAGAN不同于UGAN，它的目標是更有效地從霧遙感圖像中恢復清晰遙感圖像。自我注意模塊的加入是對卷積的補充，使生成器協調每個位置的細節和遠端細節，精確地對全局圖像結構執行復雜的幾何約束。

PAGAN生成器 PAGAN生成器的輸入是一個帶霧的遙感圖像。在沿用UGAN生成器的同時加入自我注意機制（Self-Attention）。具體結構如圖2所示。在生成器的卷積過程中，模型嚴重依賴于卷積對不同圖像區域之間的相關性進行建模。由于卷積操作符存在局部接受域，長距離的依賴關系必須經過幾個卷積層才能處理，導致卷積效率低下。自我注意模塊計算一個位置的響應作為所有位置特征的加權和，其中的注意力向量并不會增加計算成本且可以成功捕獲全局依賴關系，有效地對廣泛分離的空間區域之間的關系進行建模。PAGAN生成器的輸出是所需的清晰遙感圖像。

圖2 自我注意機制Fig.2 Self-attention mechanism

PAGAN判別器 PAGAN判別器中同樣加入自我注意機制，檢查圖像中較遠部分的細節特征是否一致。判別器的輸出為生成去霧遙感圖像被劃分為真實圖像的概率。

1.4 損失函數

GAN是生成模型，它將輸入圖像與噪聲映射連接起來，即將觀測到的圖像映射x和隨機噪聲向量z映射到輸出圖像y，G：{x，z}→y。GAN的生成器和判別器分別對合成圖像和真實圖像之間進行對抗損失訓練。UGAN和PAGAN的目標可以表示為：

其中，生成器G試圖最小化這個目標來生成更好的圖片，而判別器D會盡可能最大化目標提高自己的判別能力，如式（2）所示：

將GAN目標函數與更傳統的損失（如L1）混合有益于提升生成質量，判別器只對高頻結構進行建模，讓L1對低頻進行建模。判別器的工作保持不變，但生成器的任務不僅欺騙判別器，而且在L1約束下更加接近真值：

為了平衡不同類型的損失，使用超參數λ（將其設置為100.0）共同計算最終目標：

2 實驗與結果分析

2.1 數據集

為了驗證算法的有效性，采用RICE［28］的兩個基準數據集進行實驗：

1）RICE-Ⅰ數據集。采集自Google Earth，通過設置是否顯示云層，得到相應的云和無云圖像，然后將獲取的圖像裁剪為512×512大小，不含重疊片區。RICE-Ⅰ總共包含500對圖像。

2）RICE-Ⅱ數據集。RICE-Ⅱ數據來自Landsat 8 OLI_TIRS數據集，并且在美國國家地質調查局地球探索者數據庫中使用了具有地理參考的LandsatLook圖像。在數據集中使用了LandsatLook圖像的自然彩色圖像（landsat8 OLI，波段6、5、4）和高質量圖像（Landsat Level-1質量帶生成的8位文件）。云圖像是間隔至少15 d在同一地區截取真實遙感圖像制作。獲取圖像大小為512×512，不含重疊片區。總共包含700對圖像。

2.2 實驗結果與分析

在訓練UGAN和PAGAN時，均將學習率設定為0.000 2、epoch為200、超參數β為0.5、λ為100.0。如圖3所示，霧圖像被大面積均勻的霧及其相關陰影所覆蓋，該圖像數據集包含山川、河流和城鎮遙感圖像。CAP（Color Attenuation Prior）和DCP（Dark Channel Prior）是基于統計學并融合相關先驗信息的去霧算法。結果顯示，CAP對于非均勻的霧并不能完全識別，只能減輕霧的厚度無法達到去除的效果，致使去霧后的圖像不能準確區分細節信息。觀察DCP算法和GCANet（Gated Context Aggregation Network）的去霧圖像，在處理細節及飽和度、對比度方面欠佳。基于深度學習的MOF（Multiscale Optimal Fusion）方法將圖像分為有霧層和無霧層融合多尺度模塊去霧，但過度增強導致結果過飽和，存在光譜失真問題。不同于近景的自然圖像，遙感圖像大量的地物細節信息對去霧算法提出了更高的要求。FFANet（Feature Fusion Attention Network）［29］是2020年提出的基于深度學習模型針對自然圖像去霧算法，但對遙感圖像去霧效果不夠理想。相比之下，本文方法更能反映遙感圖像地面真值且無光譜失真。

圖3 RICE-Ⅰ數據集去霧效果Fig.3 Dehazing effect on RICE-Ⅰdataset

為了進一步探討本文方法對大氣中其他顆粒的處理情況，在薄云遙感圖像上做了對比去除實驗。與霧的均質分布不同，云存在多種分布類型，如大團的積云、大片的層云和纖維狀的卷云，不同形狀的云在遙感圖像形成過程中產生了不同的影響。當云層密度相對較低時，薄云會減弱電磁信號的能量，被薄云遮擋的片區形成陰影。薄厚不一的云覆蓋了圖像的大部分區域，因此，大多數的圖像特征都變得不可見，對于地物細節的恢復一直是遙感圖像處理領域的難題。

實驗結果如圖4所示，多種類型的云覆蓋了大部分像素，因此CAP、GCANet、MOF和DCP均沒有對薄云進行完整去除。與其他算法相比，本文方法能有效地將云移除。

圖4 RICE-Ⅱ數據集去薄云效果Fig.4 Effect of thin cloud removal on RICE-Ⅱdataset

為了對算法進行定量評估，選擇峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和 結 構 相 似 性（Structural SIMilarity，SSIM）兩個指標來評估圖像去霧效果。PSNR數值越大表示失真越小，SSIM的取值范圍［0，1］，值越大表示分離的圖像與源圖像越接近。表1列出了每組實驗的度量指標，可見本文方法在兩組實驗中均取得了最好的指標。

表1 不同數據集圖像去霧指數測量（PSNR，SSIM）Tab.1 Image dehazing index measurement for different datasets（PSNR，SSIM）

3 結語

本文提出了一種新的框架來解決遙感數據缺失問題，通過級聯生成對抗網絡學習霧分布并將帶霧遙感圖像恢復為清晰的遙感圖像。與只專注于學習去霧的相關工作相比，該方法使用未配對的無霧和帶霧遙感圖像來真實地合成云霧效果，從而加強網絡的去霧性能。為了產生更逼真的無霧遙感圖像，PAGAN模塊采用的自我注意機制能夠對全局圖像結構實施復雜的幾何約束，縮小生成和真實無云圖像之間的差距。該方法不僅可以將遙感圖像中的霧有效去除，而且對薄云去除和地物重建也取得了較好的效果。