基于U-Net深度學習方法火星沙丘提取研究

郭曉征， 姚云軍， 賈 坤， 張曉通， 趙 祥

(北京師范大學地理科學學部遙感科學國家重點實驗室,北京 100875)

0 引言

火星風成地貌是由于地面氣流對地表物質的搬運、侵蝕等作用造成的，風成地貌的變化是獲取火星大氣環流模式信息的重要來源[1]。沙丘是火星表面變化最劇烈的風成地貌，對火星沙丘的研究是理解火星大氣與地表交互機制的重要前提[2]。美國在2006年發射的火星偵察軌道器(Mars reconnaissance orbiter, MRO)搭載了不同空間分辨率的遙感傳感器，如高分辨率成像儀(high resolution imaging experiment, HiRISE)和火星彩色成像儀(Mars color imager, MARCI)等，每年都會采集海量的不同空間分辨率遙感影像數據[3]。然而，如何從大量的火星遙感數據中提取沙丘地貌成為了一個難題。

傳統的火星沙丘識別是通過人工目視解譯提取遙感影像中的沙丘，Hayward等[4]2007年結合多種火星遙感數據，通過人工目視解譯的方法生產了火星數字沙丘數據庫(Mars global digital dune database, MGD3)。但這種依靠人工目視解譯的方法對經驗依賴性強且費時費力。隨著火星遙感數據的迅速增加，目視解譯的難度也在逐漸增加。為及時更新火星沙丘數據庫，就迫切地需要一種快速準確識別火星沙丘的方法。

目前，自動提取火星沙丘的方法主要是依靠傳統的機器學習方法，如隨機森林(random forest, RF)、支持向量機(support vector machines, SVM)、提升方法(boosting)等[5-6]。Bandeira等[5]利用boosting和SVM提取火星軌道相機(Mars orbiter camera, MOC)影像中的沙丘，結果表明，boosting和SVM提取火星沙丘的效果較好，且boosting的精度優于SVM。但傳統機器學習需要將遙感影像分割為相同大小的瓦片，每個瓦片的分類結果為沙丘或非沙丘。然而大量瓦片為沙丘與非沙丘的混合，從而導致沙丘分類結果分辨率較差、預測精度偏低。而在圖像分割領域，近年來卷積神經網絡(convolutional nenural network, CNN)由于可自動從圖像中獲取特征，在圖像識別及分割中的應用越來越廣泛[7]。隨著深度學習的發展，不同的圖像分割模型相繼被提出。Long等[8]在2015年提出了全卷積神經網絡(fully convolutional network, FCN)，利用反卷積得到輸入影像的語義分割圖，首次實現了端對端的像素級別分類； Badrinarayanan等[9]提出了SegNet模型，利用編碼-解碼的網絡結構減少了模型中的訓練參數，提高影像分割精度； Ronneberger等[10]在編碼-解碼的網絡結構的基礎上連接編碼信息與解碼信息，生成了U-Net模型，進一步提高了分割精度。

火星沙丘在光譜空間中的差異較小，在提取沙丘的過程中主要依賴沙丘的紋理信息即空間信息。在之前利用機器學習自動提取沙丘的研究中，雖然使用了火星影像中的空間信息，但是提取結果混合現象比較嚴重，尤其在沙丘邊緣地區，分類結果較差。而CNN相對于傳統的機器學習能夠充分利用影像的空間信息，對影像的分割更為精細，能夠實現基于像元的影像分割。因此，本文基于上述研究提出一種高精度的火星沙丘自動提取方法。針對火星沙丘復雜的光譜信息，利用局部二值模式獲取火星影像紋理信息，結合U-Net模型對火星沙丘進行提取，并與傳統的RF方法進行對比分析。

1 數據源

HiRISE是搭載在MRO衛星上的遙感傳感器之一，具有較高的空間分辨率，像元分辨率一般在0.25～0.5 m之間，有400～600 nm，550～850 nm和800～1 000 nm 3個成像波段[11]。該傳感器是目前為止空間分辨率最高的火星遙感傳感器，且具有立體像對，可以制作高精度的數字高程數據。本文所采用的HiRISE影像來自HiRISE管理中心(www.uahirise.org)，數據已經過輻射校正與幾何糾正。本次研究共使用6景HiRISE影像，其中5景影像用于訓練樣本的生成，1景影像用于模型精度驗證。影像覆蓋區域均含有沙丘地貌，且絕大多數為格狀沙丘。格狀沙丘是火星分布最廣的沙丘類型之一[6]，其是多種風向相互作用，導致沙丘之間相互交錯。格狀沙丘因形態較為復雜，自動化提取也更困難，利用模型提取格網沙丘可以驗證模型的魯棒性。本研究使用HiRISE影像的詳細信息如表1所示。

表1 影像數據Tab.1 Image data

2 實驗方法與過程

2.1 紋理特征提取方法

局部二值模式(local binary pattern，LBP)是一種提取圖像紋理信息的算法，具有旋轉、平移不變的特性，為了提取HiRISE影像的紋理信息，需要對影像進行LBP變換。將圖像的每一個像元(x0,y0)與其8鄰域像元進行比較，若鄰域像元值大于像元(x0,y0)值，則標記為1，反之標記為0，比較得到8位有序的二值序列。將得到的8位二值數組轉為十進制，即為經過LBP變換后的像元(x0,y0)的值[12]。LBP變換的數學公式為：

(1)

(2)

式中：in為8鄰域像元的灰度值；i0為像元(x0,y0)的灰度值。

圖1為LBP的計算示例，圖1(a)為原始影像的像元值及其8鄰域像元值，圖1(b)為8鄰域像元與中心像元比較所得到的8位二值序列(01111010)，將二值序列轉換為十進制數字122，即為圖1(c)LBP變換后的像元值。

(a) 原始影像(b) 二值序列(c) 轉換后的像元圖1 LBP變換示例Fig.1 Example of LBP transform

2.2 U-Net深度學習方法

U-Net方法是由Ronneberger等[10]在2015年針對醫學影像所提出的一種圖像分割的方法。U-Net方法具有編碼-解碼的結構： 其網絡左側為編碼，利用卷積與池化提取圖像特征，右側為解碼，通過卷積與上采樣從提取的特征中恢復特征圖。在編碼的過程中，隨著感受野的不斷增加，U-Net方法可以提取到更為復雜抽象的特征。而在解碼的過程中，U-Net方法不僅利用提取好的特征，還整合不同網絡層的信息進而增加預測的精度。U-Net方法網絡結構簡潔、模型訓練收斂速度比較快，既可用于大型訓練數據上，在少量的訓練樣本中的表現也相當好[13-14]。正是由于U-Net方法網絡結構簡單，運行速度快，適用于沙丘的快速識別，因此本文使用U-Net深度學習方法進行火星沙丘的提取。

2.3 RF機器學習方法

Breiman[15]在2001年提出了一種將多個決策樹集成到一起的機器學習方法，稱為RF。RF方法是一種簡單實用的機器學習方法，且在回歸和分類中的效果都較好。RF方法的具體實現步驟為： 對M個訓練樣本進行有放回的抽樣，抽取M次，得到樣本數為M的樣本集進行訓練得到一個決策樹； 將上述過程重復N次，得到N個決策樹，將這N個決策樹集成起來即為RF。在RF機器學習方法分類的過程中，多個決策樹進行投票，得票最多的類別為模型最終輸出類別[16-18]。

2.4 實驗過程

由于HiRISE影像中不同區域及不同成像時間內的沙丘光譜差異較大，且沙丘與其背景的光譜差異較小，利用遙感圖像的光譜信息難以提取沙丘。沙丘與背景在紋理特征上差異較大，沙丘面為波紋狀或者平滑光面，而非沙丘則是不規則的紋理。紋理信息是提取火星沙丘地貌非常重要的信息。因此，首先需要利用LBP變換得到影像的紋理信息。

本文選擇RF機器學習與U-Net深度學習的提取方法進行比較，來研究深度學習與傳統機器學習方法提取結果的差異。在訓練U-Net模型時，需要在提取紋理特征的基礎之上利用Labelme軟件對影像進行標注，再對影像進行分割、數據增強。RF方法是將影像分割為瓦片，采用人工目視解譯的方法將瓦片標記為沙丘與非沙丘。U-Net方法是端對端的像元級別分類，而RF方法是基于瓦片對影像進行分類。在模型訓練完成之后，本文使用獨立的HiRISE影像對2種分類模型進行驗證。實驗具體步驟如圖2所示。

圖2 HiRISE沙丘提取實驗流程Fig.2 Flowchart of HiRISE sand dune extraction experiment

訓練RF模型時，首先將遙感影像分割成大小為100像元×100像元的瓦片，并對每個瓦片進行LBP變換。若直接將瓦片作為特征輸入到RF模型會導致特征數過多、分類精度差，而瓦片的統計直方圖也可準確地描述瓦片的紋理特征。因此將樣本瓦片進行直方圖統計，將統計結果作為特征輸入RF模型進行訓練。圖3為分割為100像元×100像元的沙丘與非沙丘的樣本，可以看出沙丘樣本具有規則的紋理，而非沙丘樣本的紋理比較雜亂。本次實驗中共從5張HiRISE影像中選取了816個瓦片樣本，其中沙丘的樣本為410個，非沙丘樣本為406個。

(a) 沙丘示例樣本1(b) 沙丘示例樣本2(c) 沙丘示例樣本3(d) 沙丘示例樣本4

(e) 非沙丘示例樣本1(f) 非沙丘示例樣本2(g) 非沙丘示例樣本3(h) 非沙丘示例樣本4圖3 RF訓練樣本示例Fig.3 Train examples of samples of RF

為了生成U-Net的訓練數據，本研究借助Labelme軟件對遙感影像進行標注，生成掩模文件，標注中像元值為0代表非沙丘，像元值為1代表沙丘。為了適應U-Net的網絡結構，LBP變換后影像與標簽數據需要分割為512像元×512像元的瓦片，之后將數據輸入U-Net網絡進行訓練。圖4為U-Net訓練樣本示例。由圖4可以看出經LBP變換之后，沙丘與背景的差異得到了明顯增強。在深度學習中，訓練數據越多，模型的預測精度越高。為增加模型精度，本研究對訓練數據進行翻轉和旋轉等增強，有效擴充訓練數據，提升網絡預測精度，以防止過擬合。本次實驗中共選取了5張HiRISE影像，經過影像分割與數據增強，共得到1 026個訓練樣本。本文中采用的平臺為Keras，計算機配置為Intel i7-6700HQ中央處理器，NVIDIA GTX1060顯卡，6 G顯存。

(a) 原始影像(b) LBP變換后影像 (c) 標簽數據圖4 U-Net訓練樣本示例Fig.4 Train example of sample of U-Net

為了定量評價U-Net模型的精度，本文選擇獨立的測試數據對模型進行精度評價，并對比U-Net方法與RF方法之間的差異。利用Labelme軟件對獨立驗證影像進行標注，生成標簽數據，并使用該數據對U-Net方法與RF方法的提取結果進行精度驗證和對比分析。模型的評價指標主要包括假負率(false negative rate,FNR)、假正率(false positive rate, FPR)和準確率(accuracy rate, AR)。評價指標的計算方法分別為：

FNR=FN/(FN+TP)

(3)

FPR=FP/(FP+TN)

(4)

AR=(TP+TN)/(TP+FP+TN+FN) ，

(5)

式中：TP為模型預測為正的正樣本；FP為模型預測為正的負樣本；FN為模型預測為負的正樣本；TN為模型預測為負的負樣本。

3 結果與分析

HiRISE原始影像、人工標注數據、U-Net提取結果和RF提取結果分別如圖5(a)—(d)所示。由圖5可以看出，本文使用的U-Net深度學習方法的提取效果優于RF方法，沙丘邊緣清晰且破碎斑塊較少，與目視解譯結果更吻合。圖5(c)與標簽數據的沙丘空間分布基本一致，并且噪聲較少，說明U-Net方法對火星沙丘的提取效果更好； 圖5(d)為RF提取結果，沙丘邊緣存在明顯的鋸齒，同時RF提取結果中存在較多的噪聲點。從沙丘分類結果的空間分布和整體效果2方面來講，U-Net方法的結果均優于RF方法。

(a) 原始影像(b) 標簽數據(c) U-Net方法提取結果(d) RF方法提取結果

圖5 沙丘提取結果Fig.5 Sand dune extraction results

U-Net與RF這2種方法精度評價結果如表2所示。U-Net方法的FNR與FPR相較于RF方法都偏低，其中RF方法的FNR與FPR分別為3%和12.1%，而U-Net方法僅為0.3%和3.7%。U-Net方法在AR的表現上也要優于RF方法，U-Net方法的AR為96.7%，比RF方法高了3.2個百分點。雖然受算法復雜度的影響，U-Net方法的提取耗時較長，但其相比RF方法精度得到了大幅度提升，且僅需要RF方法耗時的1.74倍，故U-Net方法是優于RF方法的沙丘提取方法。這也說明了深度學習在火星沙丘地貌提取中有較大的應用前景。

表2 沙丘提取模型精度評價對比Tab.2 Comparison of accuracy evaluation of sand dune extraction models

4 結論

本文通過對HiRISE影像進行紋理變換，獲取紋理特征作為模型的分類特征，將其處理為規則大小的瓦片并利用Labelme軟件添加標簽，作為訓練樣本。同時，利用U-Net方法在提取空間信息方面的優勢，通過構建參數合理的深度學習模型實現火星沙丘的自動化提取。

1)由于沙丘與背景在光譜空間中難以區分，本文研究采用HiRISE影像的紋理信息，在一定程度上能夠提高模型在沙丘與背景混雜區域的分類精度。沙丘本身的光譜差異較大，在太陽入射角不同的區域，沙丘在光譜空間的位置也相差甚遠。在紋理信息的基礎上進行分類，能夠有效提高模型普適性，實現對大尺度影像的沙丘提取。

2)本文利用U-Net模型對火星沙丘進行提取，提供了一種新的火星沙丘自動提取方法。同時，該方法對其他火星遙感影像(如MARCI等)的沙丘提取具有一定的借鑒意義。

3)本文的研究結果表明，U-Net模型相較于傳統的RF模型具有明顯優勢，實現了端對端的像素級分類，對火星沙丘的提取效果更好，沙丘提取的AR為96.7%，比傳統的RF方法提高了3.2個百分點，FNR與FPR分別只有0.3%和3.7%，沙丘的輪廓相較于RF方法更為清晰，對破碎沙丘的提取精度也更高。

但是，本研究在模型精度方面還有待提高，模型訓練樣本不足，模型難以在火星全球進行應用。在之后的研究中，應選取更為系統、數據量更大的訓練集，對模型進行優化。