關(guān)于深度學(xué)習(xí)和遙感地物分類的研究

代林沅

摘要：該文介紹了對深度學(xué)習(xí)原理的理解和對深度學(xué)習(xí)中殘差網(wǎng)絡(luò)方法的一些思考。從應(yīng)用深度學(xué)習(xí)分類方法出發(fā)比較了遙感地物分類的特點(diǎn)。分析了現(xiàn)有中高分辨率遙感地物樣本庫的現(xiàn)狀和存在的問題。

關(guān)鍵詞：深度學(xué)習(xí)；遙感；分類

中圖分類號：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號：1009-3044（2018）04-0206-02

1 對深度學(xué)習(xí)的理解

通過算法進(jìn)行分類一般有這樣三步過程：首先定義特征，然后建立分類規(guī)則，最后通過分類規(guī)則完成分類。對于人類大腦來說，分類用到的特征規(guī)則都不是一塵不變的，是隨著外界刺激的不斷增加而不斷訓(xùn)練優(yōu)化的過程。深度學(xué)習(xí)試圖模擬人腦神經(jīng)元傳遞刺激的方式，構(gòu)造盡可能理想的方程，實(shí)現(xiàn)從外界刺激（輸入）到分類結(jié)果（輸出的自動(dòng)轉(zhuǎn)化，如圖1所示。

實(shí)際上，在以往的分類方法中或多或少會(huì)利用已經(jīng)被人類知識(shí)預(yù)選過的“特征”或“規(guī)則”。例如：對于最簡單的線性分類而言，約束輸入和輸出間的一次線性關(guān)系就是這個(gè)預(yù)選的“規(guī)則”；對于各種基于概率的分類法而言，除了通常會(huì)先提取“特征”外，還會(huì)人為規(guī)定這些特征計(jì)算概率的方法以及概率之間的組合方法。

一些研究[2，3]取出訓(xùn)練后的網(wǎng)絡(luò)隱藏層的卷積核和輸出值分別可視化以后發(fā)現(xiàn)：隱藏層輸出值自動(dòng)的由低層次到高層次逐層的學(xué)習(xí)到了不同的特征，而每層的卷積核則會(huì)被訓(xùn)練成為如何提取這些特征的算子。

采用深度結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型成為了當(dāng)前使用的深度學(xué)習(xí)1。深度學(xué)習(xí)網(wǎng)絡(luò)既可以是線性的也可以加入非線性的層或參數(shù)變成非線性的。一個(gè)有三個(gè)輸入的典型神經(jīng)元模型，如圖2所示。

深度學(xué)習(xí)的學(xué)習(xí)能力是依賴于多層/多次帶來的復(fù)雜非線性變化。2006年，Hinton提出深度學(xué)習(xí)這個(gè)概念，他認(rèn)為深度學(xué)習(xí)是一種“使用多層隱變量學(xué)習(xí)高層表示的方法”。以往的人工神經(jīng)網(wǎng)絡(luò)模型（DBN， CNN，RNN等）都是這樣一種深度學(xué)習(xí)的模型，只是層數(shù)和神經(jīng)元個(gè)數(shù)上增加了不少。

目前深度學(xué)習(xí)一部分研究和應(yīng)用的熱點(diǎn)在于對日常生活中接觸物（人臉、指紋、數(shù)字、文字、聲音等）進(jìn)行識(shí)別、標(biāo)注或者分類。就拿CIFAR-10[4]這個(gè)經(jīng)常用到的圖片分類樣本庫來說，其中有10類每類6000張樣本。如圖3所示。這里把這類樣本庫叫做日常生活樣本庫。

2 遙感地物分類的特點(diǎn)

從空中一定距離獲取的地表電磁波反射數(shù)據(jù)，不論是通道數(shù)的多少（可見光影像、多光譜數(shù)據(jù)）還是波段頻率自身反射的特性（可見光、紅外、微波）都體現(xiàn)了跟上面提到的近距離而且非由上至下豎直拍攝的日常生活樣本庫的區(qū)別。

遙感數(shù)據(jù)分辨率越低，地物細(xì)節(jié)就越不清楚。即便是在較高分辨率的遙感數(shù)據(jù)上，地表上覆蓋的大多數(shù)地物都不具備像日常生活樣本庫一樣豐富的特征。

實(shí)際情況是，單個(gè)特征分類的精度（特征本身的類代表性）、特征間的相關(guān)性和特征的數(shù)量一起決定了分類的精度。可以這樣來證明：假設(shè)有 個(gè)特征，單個(gè)特征分類的正確率都為 ，且假設(shè)這些特征間相互獨(dú)立，令 為單個(gè)分類正確的個(gè)數(shù)，通過 的方式?jīng)Q定是否屬于某類，那么最終錯(cuò)誤率為：

那么當(dāng) ，有Hoeffding邊界：

當(dāng) 時(shí)，帶入后得到：

上式顯示，隨著相互獨(dú)立的特征數(shù)目的增加，最終錯(cuò)誤率會(huì)指數(shù)級下降，并趨近于零。與日常生活樣本庫不同的一點(diǎn)，因?yàn)榉直媛实南拗疲b感數(shù)據(jù)本身含有的類別數(shù)量要少一些。美國地質(zhì)勘探局在第一次國土地表覆蓋數(shù)據(jù)庫（National Land Cover Database， NLCD[7]）中采用的是一套有9個(gè)一級類22個(gè)二級類的分類標(biāo)準(zhǔn)[8]，其后這個(gè)標(biāo)準(zhǔn)也在不斷變化，最新公布的的NLCD2011數(shù)據(jù)是采用的16個(gè)類的分類標(biāo)準(zhǔn)。我國第一次地理國情普查中地表覆蓋分類數(shù)據(jù)采集中使用了10個(gè)大類46個(gè)二級類，這些二級類下面還細(xì)分有更多的三級類[9]。在實(shí)際工程應(yīng)用中，大量地物分類需要外業(yè)實(shí)地確定。

近年來，盡管比不上一些深度學(xué)習(xí)應(yīng)用研究領(lǐng)域的熱度，但是對于遙感地物分類的研究，特別是中高分辨率遙感數(shù)據(jù)地物分類研究還是不少。但是，因?yàn)槿鄙僖粋€(gè)統(tǒng)一的實(shí)驗(yàn)數(shù)據(jù)，很多研究也都只給出了結(jié)果而沒有給出具體的參數(shù)、算法和代碼，所以并沒有產(chǎn)生CIFAR-10， IMAGENET， COCO等日常生活樣本庫中形成共識(shí)的評價(jià)標(biāo)準(zhǔn)。早些年像美國的NLCD項(xiàng)目和歐洲的CORINE項(xiàng)目這一類面向全國資源利用概略調(diào)查應(yīng)用的一般都是依靠分辨率較低的影像（10-30米左右）。

3 中高分辨率遙感地物樣本庫現(xiàn)狀

深度學(xué)習(xí)通常需要大量樣本進(jìn)行訓(xùn)練。當(dāng)前分享的中高分辨率遙感地物樣本庫，如：UCMerced Land-use Dataset[10]， RSSCN7 Dataset[11]都不太能滿足深度學(xué)習(xí)研究對樣本數(shù)量的需求，如表1所示。

樣本數(shù)量上的不足只是一個(gè)方面。現(xiàn)有的遙感樣本庫都只有最多30種地物類型，這主要是考慮到地物選擇的典型性和細(xì)節(jié)豐富程度，而沒有考慮需要全面涵蓋遙感影像的地物類型。恰恰地表覆蓋分類的應(yīng)用中需要樣本庫有更全面的地物類型。另一個(gè)需要注意的問題是在樣本庫制作時(shí)要盡量避免不同標(biāo)簽地物的混淆，盡管這種情況很常見，如圖4所示。

避免不同標(biāo)簽地物的混雜一方面需要設(shè)計(jì)更合理的分類，保證類內(nèi)部有一定多樣性的同時(shí)保證類間保持一定的可分性；另外一方面，也可以采用多標(biāo)簽樣本的方案，這可能更適合遙感地物的特點(diǎn)。

4 總結(jié)與討論

對深度學(xué)習(xí)的原理和它為什么有效現(xiàn)在并沒有一個(gè)統(tǒng)一具有說服力的解釋方法。用復(fù)雜非線性系統(tǒng)來解釋深度學(xué)習(xí)可以幫助我們更好的理解訓(xùn)練過程中出現(xiàn)的各種各樣匪夷所思的問題。比如，在對抗性生成網(wǎng)絡(luò)中為什么加入一個(gè)微小的噪聲就可以使得分類的結(jié)果大相徑庭？為什么實(shí)驗(yàn)中更結(jié)構(gòu)更復(fù)雜的網(wǎng)絡(luò)卻不不能比普通的殘差網(wǎng)絡(luò)精度更好？

現(xiàn)有的中高分辨率遙感樣本庫訓(xùn)練的網(wǎng)絡(luò)并不能用于地物分類，但是它們可以用來研究網(wǎng)絡(luò)本身，不過問題是：這樣的遙感樣本庫與CIFAR-10一類樣本庫的區(qū)別在哪里？

注釋：

1. “深度”一詞是相對20世紀(jì)90年代陸續(xù)出現(xiàn)的各種淺層學(xué)習(xí)模型而言的，例如：SVM和Boosting都可以看出帶一層隱藏節(jié)點(diǎn)的學(xué)習(xí)模型，當(dāng)前多數(shù)回歸學(xué)習(xí)都是淺層結(jié)構(gòu)的模型。

參考文獻(xiàn)：

[1] M. D. Zeiler. Visualizing and Understanding Convolutional Networks[C]. ECCV， 2014.

[2] J. Yosinski. Understanding Neural Networks Through Deep Visualization[C]. ICML， 2015.

[3] A. Krizhevsky. Learning Multiple Layers of Features from Tiny Images[D]. Masters thesis， 2009.

[4] R. K. Srivastava et al. Highway networks[C]. ICML， 2015.

[5] K. He et al. Deep Residual Learning for Image Recognition[C]. CVPR， 2016.

[6] J.A.Fry et al. Completion of the National Land Cover Database （NLCD）[R].1992-2001 Land Cover Change Retrofit product： U.S. Geological Survey Open-File Report，2008，1379（18）.

[7] J.R. Anderson et al. A Land Use And Land Cover Classification System For Use With Remote Sensor Data[R]. 1976.

[8] 地理國情普查數(shù)據(jù)規(guī)定與采集要求，GDPJ 03-2013[S].

[9] Y. Yang et al. Bag-Of-Visual-Words and Spatial Extensions for Land-Use Classification[C]. ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems （ACM GIS）. 2010.

[10] Q. Zou et al. Deep learning based feature selection for remote sensing scene classification[J] Geoscience and Remote Sensing Letters， IEEE，2015.

[11] G. Huang et al. Deep Networks with Stochastic Depth[C]. ECCV， 2016.