基于全變分模型的多時相遙感影像厚云去除算法

王 睿，黃 微，胡南強

（上海大學通信與信息工程學院，上海 200444）

（*通信作者電子郵箱wr17721415@163.com）

0 引言

光學遙感影像在變化檢測、地物分類、環境監測等領域有著非常廣泛的應用。遙感數據在成像時，難免會受到云層的影響。云層覆蓋區域信息的缺失造成影像質量的退化，降低了遙感影像的利用率。因此，對遙感影像進行去云處理，獲取清晰的無云影像，具有非常重要的價值。

針對遙感影像中云層覆蓋的問題，國內外的學者和研究人員提出了大量的去除厚云的算法。這些算法大致可以分為3 類［1］：基于圖像修復法、基于多光譜法和基于多時相法?；趫D像修復的算法通過利用無云區域的信息重建云和云陰影覆蓋區域的像素，得到在視覺上令人滿意的去云效果，主要通過小波變換［2-3］、支持向量機［4-5］、相似像元替換［6］等方法。由于缺乏充分的輔助信息，易受到圖像缺失尺寸大小的影響，當缺失面積較大時，這類方法無法有效地恢復地物信息?；诙喙庾V的算法通過不同波段數據之間的關聯信息對數據進行恢復。Xu 等［7］利用Landsat8 影像的可見光波段與第9 波段和與近紅外波段的相關性進行去云。Modis 第6 波段通常是不可用的或帶有很多噪聲，研究人員利用其他波段數據與第6波段數據的相關性建立函數模型進行信息重建［8-9］。隨著遙感技術的發展，獲取同一區域的多時相遙感影像成為可能?；诙鄷r相的去云算法是利用其他時相的影像數據作為輔助信息，對大面積厚云覆蓋的區域進行信息重建［10］。胡志勇等［11］通過線性回歸分析減輕多時相影像之間的光譜差異并增強時相相關性，最后利用影像自身信息進行插值修復云污染區域信息。Zeng 等［12］基于線性回歸模型分析多時相數據間的線性關系，以其他時相的圖像為參考信息，通過影像間的線性關系估計像素缺失區域的信息并進行替換，最后利用非參考的正則化算法對重建結果進行優化。Cheng 等［13］基于時空馬爾可夫隨機場（Markov Random Field，MRF）模型替換待恢復影像的缺失像素。Tierney 等［14］基于全變分模型提出了選擇多源全變分圖像重建（Selective Multi-source Total Variation image restoration，SMTV）算法，將多張含噪或局部信息缺失的圖像融合成清晰影像。

雖然現有的算法能夠獲得較理想的厚云去除結果，但是當獲取季節和大氣條件不同時，多時相遙感圖像存在亮度差異，因此基于多時相影像的厚云去除算法對圖像具有較苛刻的時間或季節限制，造成這類算法難以實用。為了解決上述問題，本文提出了一種基于全變分模型的多時相遙感影像厚云去除算法。首先，對多時相遙感圖像進行亮度校正；然后利用選擇多源全變分圖像重建算法對亮度校正后的多時相圖像進行重建；最后，對重建圖像局部區域利用泊松（Poisson）編輯進行優化，得到最終去云結果。實驗結果表明，本文算法能夠有效解決亮度信息不一致和邊界問題。

1 選擇多源全變分圖像重建

全變分模型具有非光滑性和不可微分的優點［15］，在圖像恢復領域有許多的應用。假設待重建圖像的成像模型如下：

其中：A、N、I分別表示原始圖像、高斯噪聲和待重建圖像；P表示如模糊等過程的線性算子。

為了恢復圖像A，使用下面的凸目標方程：

其中：A(i，：)是原始圖像A的第i行像素；TV(A(i，：))為離散全變分；Blh為邊界條件。

全變分變換可以分為兩種類型：各向同性和各向異性。各向同性的全變分變換定義為：

各向異性的全部變分變換定義為：

其中：bx，y是圖像b在(x，y)處的像素值。當x=m+1 和y=n+1時，超出了圖像的邊界，故全變分變換存在下面的邊界條件：

各向異性全變分變換與各向同性全變分變換相比，重建圖像具有更好的恢復質量，故在求解方程時，采用各向異性全變分變換。全變分圖像重建算法能夠對部分信息丟失的影像進行恢復，但是當局部信息完全丟失時便無法適用。當信息完全丟失時，需要借助其他輔助圖像信息進行重建。文獻［14］提出的選擇多源全變分圖像重建算法利用多幅圖像的數據信息互補進行圖像重建，能夠有效解決這個問題。式（2）變為：

其中：Ii為第i幅待重建圖像；Di為Ii的已知損壞像素的對角矩陣，對角矩陣的值為0 和wi，wi是分配給該圖像的權重，一般可設為1。通過Di可以主動選擇需要忽略的損壞或不需要的像素點，并且同時考慮了多幅影像間的相互影像，甚至是每個像素點的相互影像。對式（8）進行求解，便可以得到重建結果。

SMTV 算法對多時相遙感影像的去云結果如圖1 所示。圖1（a）、圖1（b）、圖1（c）為不同時間段獲取的局部厚云覆蓋的遙感影像，它們的厚云覆蓋區域位置和大小不同，無云區域的亮度信息基本相同，重建結果如圖1（d）所示，重建圖像質量很好。圖1（e）、圖1（f）、圖1（g）為另一組遙感影像，與第一組不同，它們的無云區域的亮度差異較大，導致重建圖像的質量急劇退化，存在區域亮度不一致和明顯的邊界問題（如圖1（h）所示）。

圖1 SMTV算法去云結果Fig.1 Cloud removal results of SMTV algorithm

2 本文算法

針對上述亮度差異造成的區域亮度不一致和明顯邊界問題，本文對多時相圖像進行亮度校正預處理，并利用泊松圖像編輯對經選擇多源全變分重建算法處理后的結果中亮度不一致區域進行優化，有效改善了重建圖像質量。下面從亮度校正和泊松圖像編輯兩個部分詳細介紹本文算法。

2.1 亮度校正

雖然多時相遙感影像的厚云覆蓋區域的位置和大小不同，但是它們的無云區域存在共同區域，可以利用該區域的亮度之間的關系對圖像亮度進行校正。本文利用掩膜函數算法（Function of mask，Fmask）［16］對厚云進行檢測，將厚云覆蓋區域記為0，無云區域記為1，得到厚云分布掩膜。共同區域的像素集為：

其中：x代表像素坐標位置；P1是一幅遙感影像的無云區域像素集；P2是另一幅影像的無云區域像素集；Pf為共同遮擋的像素集。

完全無云的圖像可以保證與同組的所有圖像存在共同區域，以該無云影像的亮度為標準亮度，可以完成同組其他圖像亮度的校正，使其盡可能與標準亮度相近，從而減小多時相影像間的亮度差異；但是遙感衛星在獲取數據時無法避免地會受到云層的影響，所以該方法存在很大局限性。為了解決多幅有云遙感影像的亮度校正問題，提出了以校正系數為基準的動態校正方法。本文選取同組無云覆蓋區域面積最大的圖像的亮度作為標準亮度，其他圖像以此亮度為亮度標準進行校正。校正系數定義為圖像與標準亮度圖像在共同區域像素集的比值：

其中：N為像素集的大??；V和Vs分別為該圖像與標準圖像。當輸入圖像與標準圖像存在共同區域時，通過式（12）計算校正系數。當輸入圖像與標準圖像不存在共同區域時，選取已計算得到校正系數的圖像作為參考標準進行計算：

其中：kr為參考校正系數；Vr為參考圖像。

計算得到校正系數，對圖像的亮度進行校正：

本文對多時相遙感影像的各個波段進行亮度校正后，基于選擇全變分模型進行重建，得到初始的重建圖像。

2.2 泊松圖像編輯

亮度校正有效改善了重建圖像中亮度信息不一致問題，但是當無云區域僅存在一幅遙感影像中時，根據式（8），重建圖像的亮度會盡量與該圖像保持一致，從而造成局部區域亮度不一致。因此本文利用泊松編輯對存在這一問題的重建圖像區域進行了優化。泊松圖像編輯算法能夠根據所指定的邊界條件，求解泊松方程，實現重建圖像邊界梯度上的連續［17］。

根據泊松圖像編輯的思想，對重建圖像的局部區域進行優化。首先，獲取每幅圖像的掩膜信息，云層覆蓋區域記為0，無云區域記為1。對掩膜的數值進行計數，統計同組多時相遙感影像中僅出現過一次的區域：

其中：x為像素點坐標位置；Mi為第i張圖像的掩膜；N為多時相遙感影像的數量。M中數值為1 處即為所有圖像中僅出現一次的區域，如圖2 所示。圖2（a）、圖2（b）、圖2（c）為每幅圖像的掩膜，圖2（d）為僅出現過一次的區域。

圖2 僅出現一次區域計算結果Fig.2 Calculation results of areas only appearing once

泊松編輯需要輸入編輯區域的邊界。已知待編輯的區域為G，該區域的邊界可以通過式（16）計算：

其中：G1為膨脹處理結果（如圖3（a））；G2為腐蝕處理結果（如圖3（b））；C為獲得的編輯區域的邊界（如圖3（c））。

圖3 本文算法的各步驟處理結果Fig.3 Results of each step of proposed algorithm

邊界的外部圖像的目的區域、內部的待編輯的圖像區域、區域邊界構成了泊松圖像編輯模型的要素。以重建圖像、區域邊界作為輸入，得到最終優化結果。圖3（d）、圖3（e）、圖3（f）分別為待優化圖像、亮度校正結果、本文算法最終結果。由圖3 可以看出，本文提出的算法有效地解決了重建圖像中存在的區域亮度信息不一致和邊界問題。

3 實驗與結果分析

本文選取了四組不同具有代表性地理特征的遙感圖像進行實驗，其中：圖4、圖5和圖7為landsat8數據，圖6為landsat7衛星數據，影像大小均為400×400。為了驗證本文算法的有效性，將其與SMTV 算法和文獻［11］算法對于四組遙感圖像的去云結果進行了比較，如圖4～7 所示。實驗軟件為Matlab R2018a，計算機配置如下：處理器為Intel Core i3-2384M @2.30 GHz，RAM為8 GB，系統為64位Windows 10家庭版。

第一組多時相遙感影像為山區圖像，包含大量植被和裸土，數據獲取時間分別為2015 年5 月20 日、2017 年6 月2 日、2017 年5 月17 日，分別如圖4（a）、圖4（b）和圖4（c）所示。圖4（d）為SMTV 算法去云重建結果，存在大量因亮度不一致造成的明顯邊界。圖4（e）為文獻［11］算法去云重建結果，雖然也存在亮度不一致問題，但是重建效果明顯優于SMTV 算法。本文算法還原了植被和山地信息，植被色彩真實，山脈的走勢和輪廓細節均能較好體現，去云重建結果最優，如圖4（f）所示。

圖4 山區圖像去云重建結果Fig.4 Reconstruction results of cloud removal for mountain area images

第二組多時相遙感影像為城市區域數據圖像，包含城區、河流和綠地，數據獲取時間分別為2016年8月21日、2018年8月5 日、2017 年8 月24 日，如圖5（a）、圖5（b）、圖5（c）所示。從圖5 結果可以看出，當云量較少時，每種算法都可以獲得較好的去云重建結果，但是SMTV 算法和文獻［11］算法在圖像的右上方的河流區域仍存在少許亮度不一致區域（如圖5（d）和圖5（e）所示）。圖5（f）為本文算法處理結果，可以發現，整個河流區域的亮度基本保持一致，有效改善了上述問題。

第三組多時相遙感影像為山脈圖像，主要地理特征為山脈和溝壑，數據獲取時間分別為2001 年4 月26 日、2002 年8月10 日、2002 年12 月9 日，如圖6（a）、圖6（b）、圖6（c）所示。SMTV 算法結果中存在明顯亮度差異，如圖6（d）所示；文獻［11］算法重建結果整體質量較好，存在局部過渡不自然的情況，如圖6（e）所示；本文算法處理結果地物對比度較高，山脈、溝壑之間過渡自然，如圖6（f）所示。

第四組多時相遙感影像為平原田地圖像，包含田地、河流和房屋，數據獲取時間分別為2014 年8 月13 日、2013 年8 月16 日、2013 年9 月11 日，如圖7（a）、圖7（b）、圖7（c）所示。SMTV 算法和文獻［11］算法處理結果中均存在塊狀亮斑，本文算法結果不存在亮斑問題，并增強了原圖中的地物特征。由以上實驗結果對比可知，本文的改進算法能夠有效消除多時相遙感影像恢復時亮度差異對去云結果的影響。

圖5 城市區域圖像去云重建結果Fig.5 Reconstruction results of cloud removal for urban area images

為了定量地評估去云圖像質量，本文采用標準差（STandard Deviation，STD）作為評估因子。STD 能反映圖像像素值相對于均值的離散程度，標準差越大，表明圖像中灰度級分布越散，圖像質量越好［18］。標準差統計結果如表1所示。

表1 不同算法的標準差統計值對比Tab.1 Comparison of STD statistics of different algorithms

為了定量地評估重建結果的細節反差和紋理變換特征，本文采用平均梯度（Average Gradient，AG）作為評價指標。圖像的平均梯度越大，圖像的細節反差和紋理變換特征效果越好［18］。平均梯度統計結果如表2所示。

表2 不同算法的平均梯度統計值對比Tab.2 Comparison of AG statistics of different algorithms

由表1和表2的數據可知，三種算法的標準差統計數據差異不大。當結果中存在較大亮度差異時，SMTV 算法的標準差最大，這是由于局部過亮造成的，從重建圖像結果可以發現，此時圖像視覺效果較差。文獻［11］算法和本文算法的標準差數據接近。平均梯度數據統計結果中，本文算法結果的AG 值是最優的，SMTV 算法的AG 值最低。結合視覺分析和定量分析結果可知，本文算法不僅有效解決了重建圖像中的亮度不一致和邊界問題，而且有效地提高了圖像的質量，增強了圖像的細節反差和紋理變換特征。

同時，對算法的復雜度進行分析，分別統計了三種算法對每組圖像的處理時間，算法時間復雜度統計結果如表3所示。

表3 時間復雜度統計分析 單位：sTab.3 Statistical analysis of time complexity unit：s

由表3 數據可知，本文算法效率要優于文獻［11］算法。與SMTV算法相比，本文算法在SMTV算法的基礎上增加了亮度校正和泊松編輯優化部分，耗費時間增加了大約三分之一；但是本文算法以增加算法時間復雜度為代價，提高了重建圖像的視覺效果，改善了圖像細節和紋理變換特征，算法執行時間有所增加是可以接受的。

4 結語

本文提出了一種基于全變分模型的多時相遙感影像厚云去除算法，不僅能夠解決多時相圖像重建后的亮度信息不一致和邊界問題，而且能夠有效提高圖像質量，增強圖像的細節反差和紋理變換特征。本文算法主要分為三步：首先，對多時相遙感影像進行亮度校正；然后，基于全變分模型對校正圖像進行重建；最后，對重建圖像的局部區域進行優化，得到最終去云結果。實驗結果表明，本文提出的算法能夠有效解決亮度不一致和邊界問題。本文算法適用于利用多時相圖像重建一幅無云圖像，如何利用多時相圖像對指定場景進行信息重建，提高重建圖像的保真度，同時提高算法效率，將是后續的研究工作。