基于GAN網絡的遙感圖像去云研究

摘要：主要研究了遙感圖像應用中的重要問題，特別是云遮擋可能導致數據準確性下降的情況。為了克服這一問題，采用了組卷積、多頭自注意力機制和生成對抗網絡，構建了一種端到端的遙感圖像去云網絡。通過在RICE數據集上的實驗證明，研究的方法在解決云層遮擋問題方面表現顯著，成功生成了清晰且無云的遙感圖像。總體而言，為水利工程和遙感圖像處理領域提供了一種高效的解決方案，尤其在空間信息利用、計算和參數優化方面具備明顯優勢。

關鍵詞：遙感""生成對抗網絡""自注意力機制""去云

中圖分類號：TP751

Research"on"the"Cloud"Removal"of"Remote"Sensing"Images"Based"on"the"GAN"Network

HUANG"Guangrui""SHEN"Runhan

Zunyi"Survey"and"Design"Institute"of"Water"Conservancy"and"Hydropower"Co.，"Ltd.，"Zunyi，Guizhou"Province，"563000"China

Abstract："This"article"mainly"studies"a"crucial"issue"in"the"application"of"remote"sensing"images，"especially"the"situation"that"cloud"occlusion"can"lead"to"the"degradation"of"data"accuracy."In"order"to"address"this"problem，"this"article"uses"group"convolution，"the"multi-head"self-attention"mechanism"and"the"generative"adversarial"network"to"construct"an"end-to-end"cloud"removal"network"of"remote"sensing"images."Experiments"on"the"RICE"dataset"demonstrate"that"the"proposed"approach"has"a"significant"effect"in"solving"the"problem"of"cloud"occlusion，"and"successfully"generates"clear"and"cloud-free"remote"sensing"images，"which"provides"an"effective"solution"for"the"field"of"hydraulic"engineering"and"remote"sensing"image"processing"overall，"and"especially"has"its"obvious"advantages"in"the"utilization，"computation"and"parameter"optimization"of"spatial"information.

Key"Words："Remote"sensing；"Generative"adversarial"network；"Self-attention"mechanism；Cloud"removal

近年來，遙感圖像廣泛應用于土地勘測等領域。然而，當遙感影像受到云陰影污染時，地面覆蓋信息可能因稀疏而受到影響，甚至會被厚重的云層完全遮擋。因此，如何有效去除遙感圖像中的云陰影問題成為一個重要的研究課題。在處理云陰影問題時，薄云和厚云的區別需要得到充分考慮。去除薄云可以利用自然圖像去霧等方法，而厚云的去除相對較為困難，尤其是在大面積厚云的情況下。當前的云去除方法主要可分為兩類，基于修復的方法通過patch搜索受云污染區域鄰近的有效像素，而基于多光譜的方法則利用同一多光譜圖像的無云帶來估計多云帶和無云帶之間的關系。然而，這些方法在處理厚云時存在一定難度。因此，本文引入了卷積神經網絡和多頭自注意力機制，以提高對遙感影像的特征提取能力，特別是對云陰影孔洞的準確提取。同時，通過引入對抗生成網絡，實現了對無云圖像的生成，為解決遙感圖像云陰影問題提供了一種端到端的解決方案。

1相關工作

現有的云去除方法主要分為三類：傳統的基于統計學的方法、機器學習方法以及深度學習方法。傳統的基于統計學的方法包括主成分分析法（Principal"Component"Analysis，PCA）[1]、最小二乘法（least"sqaure"method，LSM）、多光譜指數法[2]、光譜角度匹配法[3]和閾值法。這些方法在特定場景和特定類型的云遮擋下表現各異，選擇適當的方法需考慮圖像特性和用戶需求。然而，傳統方法需要手工設計特征，在處理復雜的地物覆蓋和不同云遮擋類型時性能可能較差，對遙感圖像中復雜的非線性關系也較難處理。機器學習方法包括支持向量機（Support"Vector"Machine，SVM）[4]和隨機森林[5]，它們能適應不同地物覆蓋和云遮擋類型，具有較好的泛化能力。機器學習方法通常能夠從訓練數據中學到模式，且一些算法的決策過程相對透明，易于解釋和理解。然而，機器學習方法對數據質量較為敏感，噪聲或異常值可能影響模型性能。深度學習方法如卷積神經網絡（Convolutional"Neural"Network，CNN）[6]在處理遙感圖像中表現出色，通過設計適當的網絡結構，CNN能夠學習圖像中的特征，生成對抗網絡（Generative"Adversarial"Networks，GANs）[7]由生成器和鑒別器兩部分組成，通過對抗學習自主學習數據分布，具有通用性和調優能力。例如：CGAN通過聯合使用監督學習和對抗學習方式，使模型能夠獲得更優的處理效果。這種特性使CGAN在圖像去雨、圖像去霧等問題上得到廣泛應用。

2方法

本文設計了端到端基于多頭注意力去云網絡，它是一種encoder-decoder結構，從網絡結構上具體來說首先通過組卷積來提取特征圖，接著經過了一個1×1步長為1的卷積，然后經過了3×3步長為1的卷積，然后再依次經過兩層組卷積，在encoder的最后一層，本文設計了多頭注意力模塊，能夠提取特征之間遠距離的信息，接著便是decoder，同樣是經過一個1×1卷積，一個3×3卷積，然后再通過兩個1×1卷積和一個3×3卷積，最后再經過組卷積，最后輸出生成的結果，即去云的圖像，網絡結構如圖所示。因為在encoder-deocder網絡中，存在大量的冗余信息，本文引入了組卷積，能有效降低參數量。

2.1"組卷積

組卷積是卷積神經網絡中的一種操作，它引入了組的概念。相比標準卷積操作，組卷積將輸入和輸出通道劃分為多個組，每組內的通道共享一組卷積核。具體來說，將輸入通道和輸出通道分為G組，每組有相應的輸入和輸出通道數。每組使用一組卷積核進行卷積，這些卷積核分別處理組內的通道，輸出是每個組內通道卷積結果的疊加。這種設計降低了網絡參數量，提高了計算效率，特別適用于要求模型大小和計算效率的場景。通過選擇適當的組數量，可以在減少參數量的同時保持一定的網絡表達能力。

2.2"多頭自注意力機制

多頭自注意力機制是深度學習模型中處理序列數據的重要組件，尤其在自然語言處理和計算機視覺中廣泛應用。最初引入于Transformer模型，它通過多個注意力頭的引入，提高了模型對序列中不同位置信息的捕捉能力。傳統自注意力機制通過將輸入序列的每個元素與所有其他元素關聯，捕捉序列內部的長距離依賴關系。而多頭自注意力機制則通過多個頭學習不同的關注焦點，增強了對多種關系的感知能力。這使得模型能夠同時關注序列中的多個位置，更好地捕捉序列內部的復雜關系。在遙感圖像去云任務中，多頭自注意力機制使網絡能夠更好地理解云覆蓋區域和無云區域之間的復雜關系，通過同時關注圖像不同位置的特征，有效地處理大范圍的上下文信息，對云的準確去除至關重要。

2.3"生成對抗網絡

生成對抗網絡（GAN）是一種深度學習模型，由生成器和鑒別器兩部分組成。生成器負責生成偽造的數據，而鑒別器則負責區分真實數據和生成器生成的偽造數據。二者通過對抗學習的方式共同提高性能，使生成器能夠生成更逼真的數據，而鑒別器則變得更加準確。在遙感圖像去云中，生成對抗網絡可以被設計為生成無云的遙感圖像。在訓練過程中，生成器努力生成看起來像真實無云圖像的圖像，而鑒別器努力區分真實無云圖像和生成器生成的圖像。這使得生成器學到去除云的特征，可以用于實際遙感圖像的去云。

3"實驗

3.1實驗數據集

深度學習方法在云去除領域應用相對較少的一個重要原因是缺乏用于訓練的數據集。因此為了促進遙感圖像去云技術的研究，提供了一個名為Remote的開源數據集。RICE數據集[8]由兩個子集組成，分別是RICE1和RICE2。RICE1數據集包含500個數據樣本，其中包括多云圖像和無云圖像，分辨率為512×512。該數據集通過Google"Earth收集，并通過設置云層是否顯示來獲取。這一數據集的建立旨在為研究人員提供一個有針對性的、用于深度學習方法培訓的資源，以推動遙感圖像去云技術的發展。

3.2訓練

關于RICE數據集的實驗，本文采用了Nvidia"3060"12GB顯卡。在RICE1數據集中，實驗選擇了400張圖像作為訓練集，以及100張圖像作為測試集。在RICE2數據集中，實驗選擇了500張圖像進行訓練，并使用150張圖像進行測試。在訓練模型的過程中，本研究將學習速率設置為0.000"3，批處理大小設置為1，epoch設置為500。同時，模型選擇了Adam優化器，并設置了beta為0.000"1。這一實驗設置旨在在有限的訓練資源下，有效地訓練模型并在測試集上獲得準確的性能評估。

3.3結果

本文的去云網絡在遙感圖像去云任務中取得了顯著的成果，其效果展示如圖1所示。

通過提出的方法，本文成功解決了云層遮擋問題，為遙感圖像提供了清晰、無云的視野。在這一過程中，特別關注空間信息的考慮，使網絡能夠更好地預測和處理云層的遮擋情況。總體來說，本文的遙感圖像去云網絡在多個方面都展現了優勢。其顯著效果、對空間信息的充分利用以及在計算和參數方面的優化，為遙感圖像處理領域帶來了一種更為有效和可行的解決方案。

4結語

在本研究中，專注于解決遙感圖像中的云陰影問題，采用了卷積神經網絡、多頭自注意力機制和生成對抗網絡構建端到端的遙感圖像去云網絡。通過實驗證明，本文的方法顯著改善了遙感圖像的質量，成功解決了云層遮擋問題。這一研究為遙感圖像實際應用和遙感圖像處理提供了高效的解決方案，凸顯了在空間信息利用、計算和參數優化方面的優勢。未來，將繼續優化模型，拓展數據集，以推動遙感圖像處理技術的進一步發展。

參考文獻

[1] 劉輝，謝天文.基于PCA與HIS模型的高分辨率遙感影像陰影檢測研究[J].遙感技術與應用，2013（1）：7.

[2] 王茹月，周航宇.直方圖雙峰法在遙感影像水體提取中的研究與改進[J].測繪通報，2023（9）：77-81.

[3] 葉昕，秦其明，王俊，等.結合數學形態學與多角度模板匹配的高分辨率遙感圖像救災帳篷識別[J].測繪通報，2015（1）：4.

[4] 宋一明，鞠哲.一種基于動態類中心模型選擇的模糊支持向量機[J].大連理工大學學報，2023，63（2）：199-204.

[5] 帥爽，張志，張天，等.特征優化結合隨機森林算法的干旱區植被高光譜遙感分類方法[J].農業工程學報，2023，39（9）：287-293.

[6] 云濤，潘泉，郝宇航，等.基于HRRP時頻特征和多尺度非對稱卷積神經網絡的目標識別算法[J]."西北工業大學學報，2023，41（3）：537-545.

[7] 吳家皋，章仕穩，蔣宇棟，等.基于狀態精細化長短期記憶和注意力機制的社交生成對抗網絡用于行人軌跡預測[J].計算機應用，2023，43（5）：1565-1570.

[8]LIN"D，"XU"G，"WANG"X，"et"al."A"Remote"Sensing"Image"Dataset"for"Cloud"Removal[J]."ArXiv，"abs，"2019，1901.00600.