基于深度卷積生成對抗網(wǎng)絡的航拍圖像去厚云方法

李從利， 張思雨， 韋哲， 薛松

(陸軍炮兵防空兵學院， 安徽 合肥 230031)

0 引言

航拍圖像在采集過程中容易受到不良天氣的影響，云層是常見的污染源之一。薄云會使地物信息變得模糊，厚云則完全遮蔽了云層下的地物，嚴重影響了航拍圖像的后續(xù)應用，因此航拍圖像的云去除工作具有十分重要的意義。

在過去的幾十年中，學者們已經(jīng)提出了大量的云去除方法，這些方法可以分為3類：基于多光譜的方法[1-3]、基于多時相的方法[4-7]和基于圖像修復的方法[8-10]。基于多光譜的方法利用波段本身的空間結構和不同波段之間的光譜相關性，重建云層覆蓋區(qū)域的信息，但前提要求相對較高，需要冗余頻帶，而且在一般情況下，厚云存在于所有波段，所以這種方法不適用于去厚云。基于多時相的方法利用多張同一場景、不同時刻的無云區(qū)域參考圖像，通過信息替換或重建云覆蓋區(qū)域的信息，但會涉及圖像配準和輻射差異等問題，算法構成復雜。Lin等[6]提出了一種基于塊的全局最優(yōu)信息重構方法，將參考圖像的梯度嵌入到云覆蓋區(qū)域中，利用泊松方程重建云區(qū)域的信息，這種方法能夠產(chǎn)生較好的去云效果，但是基于泊松方程重建的結果會受到邊界條件的影響；Zhang等[7]提出了一種融合多傳感器和多時相數(shù)據(jù)的去云方法，但在異構區(qū)域會出現(xiàn)重建精度降低的現(xiàn)象。由于航拍圖像一般只有可見光波段，而且在軍事偵察等實際應用時受限于客觀條件，難以獲得多時相輔助數(shù)據(jù)，因此基于多光譜和多時相的去云方法不適用于航拍圖像去云。由于被厚云遮擋區(qū)域幾乎不含信息，基于圖像修復的方法將這些區(qū)域視為缺失像素，圖像修復中最常用的是圖像修補方法。圖像修補利用其他區(qū)域的信息，在缺失區(qū)域上合成具有視覺真實和語義上合理的像素，主要可分為兩類：1) 利用低層次特征的擴散傳播和塊填充來修復圖像；2) 基于機器學習。第1類方法中最有代表性的圖像修補方法是Criminisi等[11]提出的基于樣本塊匹配的修復算法，該算法結合了紋理合成和擴散填充的優(yōu)點，可修復較大孔洞的缺失信息，但此算法受限于單張圖像，當找不到相似塊時算法就無法正常進行，因此只適用于補全背景以低頻信息和重復性紋理為主的圖像；Hays等[12]利用互聯(lián)網(wǎng)上存在的大量圖片來提供素材，彌補了Criminisi算法找不到相似塊的缺點，但不能保證參考圖像的語義正確，還存在不同圖像光照等條件不同帶來的視覺差異問題。第2類方法尤其是近年來，得益于大數(shù)據(jù)獲取手段和圖形處理器(GPU)的普及，深度學習在圖像處理和計算機視覺領域取得了長足發(fā)展。利用深層卷積神經(jīng)網(wǎng)絡(CNN)可以學習缺失區(qū)域與其他部分之間復雜的函數(shù)關系，但僅利用前饋CNN往往只能得到模糊的結果。2013年Szegedy等[13]首次提出深度學習對抗樣本的概念，使得深度學習模型在對抗樣本上變得脆弱。進而2014年Goodfellow等[14]提出一種無監(jiān)督學習的訓練方法- 生成對抗網(wǎng)絡(GAN)，該網(wǎng)絡由生成器和鑒別器組成。生成器用于合成缺失部分，而鑒別器則模擬人眼對圖像質量的判決，GAN的兩部分在與對方的對抗中提升性能，使高層次的識別問題和低層次的像素生成問題統(tǒng)一起來。GAN使得學習圖像數(shù)據(jù)集的分布以及缺失部分的函數(shù)關系變得容易，近年內成為國內外學者們的研究熱點[15-18]。但是由于GAN的不穩(wěn)定，容易出現(xiàn)過擬合現(xiàn)象，且GAN生成模型的結果缺乏有效算法加以分析，2016年Radford等[19]針對GAN不穩(wěn)定學習方式進行了重要架構設計和CNN的特定優(yōu)化，提出了深度卷積生成對抗網(wǎng)絡(DCGAN)，將卷積網(wǎng)絡引入到生成式模型當中來做無監(jiān)督的訓練，利用卷積網(wǎng)絡強大的特征提取能力來提高生成網(wǎng)絡的學習效果。

在上述工作基礎上，2016年Pathak等[20]提出上下文編碼器，利用CNN來學習圖像中的高層特征，結合海量數(shù)據(jù)庫和高層特征，指導生成圖像的缺失部分，能修復圖像中缺失的較大孔洞。但有時該方法的修復結果缺乏精細的紋理細節(jié)，在邊界周圍會產(chǎn)生可見的偽跡，該方法選用的原始GAN也存在訓練不穩(wěn)定和較難收斂的缺點。

航拍圖像與陸基拍攝圖像相比，其目標呈現(xiàn)結構信息弱、紋理和細節(jié)分辨力低。而CNN具有強大的圖像特征提取能力，DCGAN結合了GAN和CNN的優(yōu)點。因此本文采用基于DCGAN的圖像修復方法去除厚云，將航拍圖像中的厚云覆蓋區(qū)域視為圖像修復工作中的缺失部分，使用DCGAN替換原始GAN，提升網(wǎng)絡訓練的穩(wěn)定性和生成結果的質量；為抑制生成圖像的噪聲，借鑒并改進了文獻[20]的損失函數(shù)，增加了總變差損失[21]生成聯(lián)合損失函數(shù)。同時，為消除生成區(qū)域與背景間的顏色差異，又引入泊松圖像編輯[22]，較好地保留了修復區(qū)域的細節(jié)特征。與文獻[26-28]方法在航拍圖像上的對比實驗證明，本文方法能得到較為理想的云區(qū)修復效果，為航拍圖像的去云工作提供了新的技術途徑。

1 網(wǎng)絡結構設計及去云模型

1.1 網(wǎng)絡結構

本文設計的用于去云DCGAN結構，其訓練過程采用GAN+CNN方式，與Rasmus等[23]提出的梯形網(wǎng)絡學習方法類似，屬于半監(jiān)督學習。網(wǎng)絡結構如圖1所示，生成器G的輸入為受云污染的圖像z，輸出預測圖像G(z)，然后和真實無云圖像放到鑒別器中進行比較，經(jīng)過不斷地訓練，使得生成器生成的圖像不斷逼近真實圖像。

圖1 去厚云方法框架圖Fig.1 Framework of thick cloud removal

網(wǎng)絡訓練是一個二元極小極大博弈的過程，鑒別器D不斷學習真實無云圖像和生成圖像的區(qū)別并區(qū)分真假，而生成器也盡可能地學習真實圖像的特征去欺騙D，公式為

(1)

式中：Z為被云污染圖像的集合；χ為對應的無污染原圖的集合；D(x)和D(G(z))分別為鑒別器D對原圖像和修復圖像的分類標簽值；為期望值。(1)式為聯(lián)合優(yōu)化，即D將x識別為真(1)，將G(z)識別為假(0)，而G則阻止D做出正確判斷。G和D的性能最終都會提高，G最終能生成接近真實的無云污染圖像。

在訓練時先固定生成器、訓練鑒別器，而后交替迭代進行。

在網(wǎng)絡設置上，生成器G基于編碼器- 解碼器模型，鑒別器D基于CNN. 表1和表2分別給出了生成器和鑒別器的詳細信息，其中Conv、Transconv、BN、s2和p1分別代表卷積、轉置卷積、批標準化、步長為2和填充補0操作，Conv4×4表示用大小4×4的核進行卷積操作，同理Transconv4×4表示相同大小的核進行轉置卷積操作，F(xiàn)ully-Connected 1000表示1 000個神經(jīng)元的全連接層，Relu[24]、tanh和LeakyRelu[19]代表激活函數(shù)。

表1 生成器的網(wǎng)絡結構

表2 鑒別器的網(wǎng)絡結構

為了避免特征映射中的信息丟失，本文取消所有池化層，在鑒別器使用步幅卷積、生成器使用轉置卷積進行替換，增加訓練的穩(wěn)定性；BN將特征層的輸出歸一化到一起，可以加速并穩(wěn)定訓練過程，但在所有層上直接運用BN會導致樣本振蕩和模型不穩(wěn)定，通過在G的輸出層不采用BN可以防止這一問題；在鑒別器中使用LeakyRelu而不是Relu，防止出現(xiàn)梯度稀疏。

生成器G的編碼器模型用學習圖像數(shù)據(jù)集的低維特征表示，在編碼器模型完成時加上一個輸出為1 000個神經(jīng)元的全連接層，隨后接入一個結構對稱的解碼器模型，將學習到的特征映射到樣本標記空間。鑒別器D是一個二分類器，輸入為生成圖像和真實圖像，用CNN逐層降采樣，通過一個全連接層輸出判別為真或假。通過多次實驗，采用每訓練5次生成器、訓練1次鑒別器的訓練策略，可以更好地平衡GAN訓練的穩(wěn)定性。

1.2 構建損失函數(shù)

使用生成圖像和真實圖像在云區(qū)范圍內之差的L2范數(shù)(重建損失)作為整體內容約束，捕獲受污染云區(qū)的整體結構及其與背景的一致性，公式為

(2)

(3)

在圖像修復過程中，噪聲會被放大，給復原結果帶來影響，因此需要在最優(yōu)化問題模型中添加一些正則項來保持圖像的光滑性。這里引入總變差損失Ltv[25]：

(4)

綜上所述，本文采用的聯(lián)合損失函數(shù)為

Ltot=λrecLrec+λadvLadv+λtvLtv，

(5)

式中：λrec、λadv和λtv分別為對應損失函數(shù)的極值，通過交叉檢驗，λrec和λadv分別取0.999和0.001，λtv取1×10-6.

1.3 后處理

通過本文方法雖然可以得到較為合理地云區(qū)填充效果，但有時會在生成區(qū)域和其背景之間產(chǎn)生一些顏色差異或邊界偽跡，使用泊松圖像編輯作為后處理方法來避免這個問題，其主要思想是把原圖的梯度信息賦予到目標圖像上，通過插值重新構建出目標區(qū)域內的像素。

泊松方程[22]可表示為

(6)

本文方法流程如圖2所示。

圖2 本文方法流程示意圖Fig.2 Flow chart of the proposed method

方法步驟如下：

1)人工模擬云區(qū)掩膜，按(2)式作用于訓練樣本，模擬含云圖像，與不含云樣本輸入生成器(見表1)和鑒別器(見表2)；

2)按(5)式構建的損失函數(shù)進行訓練，更新生成器和鑒別器的參數(shù)；

3)訓練結束，將真實含云的測試圖像進行云檢測，得到云區(qū)掩膜，按(2)式作用于圖像，輸入已訓練好的生成器中，得到中間去云結果；

4)將中間結果按(6)式進行泊松圖像編輯處理，得到最終結果。

2 實驗與結果分析

2.1 實驗數(shù)據(jù)與環(huán)境

本文采集了83張尺寸為7 360像素×4 912像素的合肥地區(qū)航拍圖像，將其分割成尺寸為256像素×256像素的小圖像，再根據(jù)土地利用類型將小圖劃分為11 468張建設用地、14 023張土壤、11 170張植被和7 195張水體圖像作為數(shù)據(jù)集分別進行網(wǎng)絡學習，訓練集和測試集按8∶2的比例任意分割。數(shù)據(jù)集已經(jīng)公開，地址為https:∥pan.baidu.com/s/1crVAG3PamwInOTFMfauFbg，可供下載使用。所采用的實驗平臺：操作系統(tǒng)Windows 10，編程軟件Python 3.6，GPU Quadro K2200，CPU Xeon E5-1620.

2.2 模擬云污染圖像

厚云的存在完全遮擋了地面景物信息，因此本文用掩膜直接在原圖上覆蓋一塊區(qū)域模擬被厚云污染圖像，如圖3(b)所示；另外，為了學習到圖像中的更多高層特征，還模擬了中心區(qū)域掩膜作為預訓練，如圖3(a)所示。本文只考慮圖像中只有一朵云的情況，且其尺寸不超過圖像的1/4.

圖3 兩種掩膜策略Fig.3 Two kinds of region masks

2.3 訓練過程

在訓練時，首先訓練中心掩膜圖像作為初始模型，在這種情況下，網(wǎng)絡傾向于學習邊界附近的低層圖像特征，這不足以生成更為精細的圖像，生成的圖像具有明顯的邊界效應。完成中心掩膜圖像的訓練后，保存模型的檢查點，在此基礎上再進行模擬厚云掩膜訓練，提高特征學習的泛化能力。總共進行了200輪訓練，批尺寸為25(隨機抽取)。

表3為建筑用地數(shù)據(jù)集訓練過程，第2列為輸入圖像，第3列是生成圖像。訓練初始階段，圖像修復質量較差；訓練200輪后，修復質量已明顯提高。圖4為訓練200輪的第1幅圖局部放大，此時人眼已難辨認生成圖像的真假。可見，隨著訓練的繼續(xù)，網(wǎng)絡模型不斷優(yōu)化，生成器的預測圖像越來越接近真實樣本，鑒別器判別真假樣本的能力越來越強。

表3 建筑用地數(shù)據(jù)集訓練過程

Tab.3 Building land data set training process

圖4 建筑用地數(shù)據(jù)集的輸入和生成結果Fig.4 Input sample and generated result of building land data set

2.4 實驗結果分析

在將測試圖像進行云去除之前，先對圖像進行云區(qū)自動檢測，這樣無需手動標注，提升了方法的準確性和實時性。

經(jīng)過云檢測的圖像輸入DCGAN模型，得到初步修復結果，但圖像會在生成區(qū)域和其背景之間產(chǎn)生一些顏色差異或邊界偽跡，這里使用泊松圖像編輯作為后處理方法，如圖5所示。

圖5 泊松圖像編輯結果Fig.5 Result of Poisson image editing

為了驗證本文方法的有效性，選取了兩類經(jīng)典的非學習修復方法(文獻[26]方法、文獻[27]方法)和一類基于機器學習的修復方法(文獻[28]方法)進行對比實驗。本文的優(yōu)化算法采用文獻[29]算法，學習率為0.000 2. 在訓練時，使用隨機翻轉數(shù)據(jù)增強操作增加數(shù)據(jù)量。

為了便于對比，本文使用了兩種模擬云掩膜隨機掩蓋4類測試樣本，用本文方法及對比方法進行去云，部分結果如表4和表5所示，表中第3行和第5行是對應的放大圖像。需要注意的是，文獻[28]方法的結果均出現(xiàn)無序紋理，沒有實現(xiàn)云區(qū)的有效填充，原因是本文的數(shù)據(jù)庫是航拍圖像，地面紋理特征復雜，樣本不滿足獨立同分布。

表4 建筑用地和土壤的結果對比

Tab.4 Comparison of processed results of building land and soil

表5 植被和水體的結果對比

表4中第1組對比是一個運動場，模擬云區(qū)遮擋了綠色場地中的紅色半圓。文獻[26]方法的結果錯誤地把上方矩形區(qū)域中的紋理特征填充到缺失部分，文獻[27]方法的結果在圓形輪廓的左上部出現(xiàn)尖狀突起，本文方法完整地填充了缺失的半圓。在表4的土壤對比中，文獻[26]方法和文獻[27]方法的結果使道路變窄，而且文獻[27]方法的結果較為模糊，本文方法的結果邊緣銜接更自然。表5的第1組是植被圖像的對比，所用到的圖像在中間部分有一塊沒有植被，其他對比方法只是簡單地用學習到的植被紋理補充缺失的部分，忽視了語義特征，從原圖可以發(fā)現(xiàn)云區(qū)污染區(qū)域的中間沒有植被，兩側的植被沒有連在一起。本文方法意識到了這一點，通過學習圖像的高層語義特征，給出了更符合原圖信息的修復結果。表5的第2組是水體圖像的修復對比，文獻[26]方法擴大了水草的面積，文獻[27]方法的結果模糊了水草信息，本文方法較為完整地修復了水草信息。綜上，本文方法結果的主觀表現(xiàn)優(yōu)于其他對比方法。

為了衡量本文方法的效果，采用峰值信噪比 (PSNR)和結構相似性 (SSIM)[30]兩種圖像質量評價指標定量分析去云效果，結果如表6所示。PSNR值越大、SSIM值越接近于1，說明兩幅圖像越相似，即恢復圖像越接近于真實圖像。從表6中可以看出，本文方法的總體參數(shù)表現(xiàn)優(yōu)于其他對比方法。

表6 去云效果參數(shù)對比

為進一步驗證方法的有效性，本文又對40幅真實的航拍云污染圖像(256像素×256像素)進行了對比實驗，限于篇幅，選擇了3幅含有不同大小和形狀云區(qū)的圖像進行了對比，結果如表7所示。

表7 航拍含云圖像去云結果對比

Tab.7 Comparison of processed results of aerial image

由于航拍含云圖像無對應的無云圖像作為參考，對真實航拍云污染圖像去云效果的評價，只能采用無參考的圖像質量評價方法。本文采用自然圖像無參考質量評價算法(NIQE)[31]和改進的自然圖像無參考質量評價算法(IL-NIQE)[32]兩項指標作為評價依據(jù)，并對其評價結果用3個參數(shù)指標加以表征：皮爾森線性相關系數(shù)(PLCC)、斯皮爾曼相關系數(shù)(SROCC)、均方根誤差(RMSE)。其中PLCC和RMSE可度量算法的準確性，SROCC則為算法單調性度量，反映了算法測試值與平均主觀得分差(DMOS)值一致的程度。PLCC和SROCC值越大，算法測試值與DMOS值相關性越好，RMSE越小，模型測量誤差越小。實驗結果如表8所示。

表8 無參考圖像質量評價結果對比

由表7和表8可發(fā)現(xiàn)，本文修復方法不僅在視覺主觀感知上優(yōu)于其他對比方法，而且相較于其他3種方法，SROCC和PLCC均取得了最大值，RMSE取得了最小值，評價結果與主觀感知相一致，驗證了本文方法的有效性。

此外，本文對4類方法在不同的數(shù)據(jù)集上進行了運行時間比較，共測試500幅圖像，每類方法對1幅圖像修復的平均運行時間如表9所示。

表9 方法運行時間結果對比

由于文獻[26]方法采用的是圖像金字塔重建的修復方法，所以耗時最長；文獻[28]方法盡管也是機器學習方法，但需要進行二次優(yōu)化，因此耗時較長；文獻[27]方法的耗時主要在sift配準環(huán)節(jié)，性能較佳；而本文方法盡管訓練耗時長，但實際運行時無需再優(yōu)化，只需神經(jīng)網(wǎng)絡的前向運行和泊松編輯處理，具有較高的運算效率，所需時間最短。

3 結論

本文嘗試將航拍圖像中的厚云去除和圖像修復工作中的缺失部分復原聯(lián)系起來，提出了一種基于DCGAN的航拍圖像修復去厚云方法。DCGAN生成器采用編碼器- 解碼器模型，鑒別器為卷積神經(jīng)網(wǎng)絡，以對抗損失作為損失函數(shù)；進而引入泊松圖像編輯平滑修補邊界；在自建數(shù)據(jù)集上的對比實驗驗證方法的可行性。實驗結果表明：相比于傳統(tǒng)的重建恢復方法，DCGAN模型能夠有效地學習圖像的高層語義特征；總變差損失函數(shù)的加入以及泊松編輯處理有助于平滑圖像及其邊界，提高圖像質量；DCGAN模型前向運算速度快，有助于實際應用。

由于圖像修復理論和深度學習技術的發(fā)展，下一步對網(wǎng)絡結構和損失函數(shù)進行優(yōu)化，在搜集大量真實含云圖像樣本的基礎上引入新方法加以實驗對比。