面向機載高光譜數據的3D-CNN亞熱帶森林樹種分類*

趙 霖 張曉麗 吳艷雙 張 斌

(北京林業大學森林培育與保護教育部重點實驗室 精準林業北京市重點實驗室 北京100083)

樹種精細分類對于提取樹木特征屬性、經營管理以及保護生物多樣性十分重要，是森林資源監測的基礎和關鍵內容之一。傳統的樹種分類主要依靠人力野外調查，成本高，費時費力，且調查信息不夠全面，不利于森林樹種信息的更新。林業中廣泛使用的多光譜遙感數據光譜分辨率較低，也難以獲得精確的樹種分類結果。精細的樹種分類往往依賴于豐富的數據，如多時相/多季相、多數據源融合(雷達、高光譜、高空間分辨率)等，但實際應用中這些數據獲取成本較高，且不容易得到； 同時，樹種分類研究需要對這些數據進行特征提取、特征選擇，工作量較大，且針對某一區域或某些樹種的特征篩選結果不能很好地適用于其他區域。高光譜影像(hyperspectral image，HSI)波譜間隔窄，包含更多的光譜信息，能夠探測、區分出具有細微光譜差異的各類地物。隨著遙感傳感器的快速發展，高光譜數據的獲取和收集更加容易，成本也大幅降低，特別是機載高光譜數據，兼備高空間和高光譜分辨率特征，數據獲取靈活快捷。因此，基于機載高光譜數據的樹種分類研究具有重要意義。

在進行基于高光譜數據的樹種分類時，一般先對數據降維，然后采用支持向量機(support vector machine，SVM)、隨機森林等方法進行分類； 但高光譜影像中包含大量連續的窄波段，簡單的降維不能充分發揮高光譜影像的優勢。近年來，深度學習在計算機視覺和圖像處理領域表現優異，并在圖像分類、物體檢測等方面得到了廣泛應用。基于深度學習的方法一般是構建3層以上的多層網絡學習不同水平數據表示的模型，以充分提取和利用輸入數據(如圖像、語音、文本等)中包含的信息。模型可由低級特征學習到高級特征，實現抽象和不變特征的提取，并進一步實現如分類和目標檢測等任務。目前，深度信念網絡(deep belief network，DBN)(Hintonetal.， 2006a; 2006b)、棧式自編碼器(stacked autoencoder，SAE)(Le Rouxetal.， 2010； Vincentetal.， 2010)、卷積神經網絡(convolutional neural networks，CNN)(Krizhevskyetal.， 2012)等模型已用于高光譜數據分類，研究表明，在分類(Szegedyetal.， 2015； Simonyanetal.， 2014)和目標檢測(Girshicketal.， 2014)任務中，CNN明顯優于其他深度學習模型(如DBN、SAE)。

然而，直接將2D-CNN應用于高光譜數據分類前需對所有各波段原始數據進行2D卷積，每個輸入波段都有一組需要訓練的卷積核。不同于普通RGB 三波段圖像，在網絡輸入的高光譜數據光譜維度通常有上百個，需要大量卷積核(參數)，會導致過擬合，并顯著增加計算成本，因此，在應用2D-CNN進行特征提取和分類前往往采用降維法降低原始數據的光譜維數。Yue 等(2015)通過主成分分析(principal component analysis，PCA)從HSI中提取前3個主成分，使用2D-CNN對壓縮后窗口大小為42×42的高光譜數據提取深度特征并預測每個像素的類別。Makantasis等(2015)在使用2D-CNN進行特征提取和分類前，采用隨機主成分分析(randomized PCA, R-PCA)沿光譜維度壓縮HSI，僅保留前10或前30的主成分用于后續分類任務。此類方法在訓練CNN模型前通過降維將HSI數據壓縮到可管理的規模，不能很好地保留光譜信息，且由于空間特征和光譜特征是分開提取的，無法充分利用空間/光譜聯合特征，進而影響分類性能。為解決這一問題，國內外學者將3D-CNN(Lietal.， 2017； 李竺強等， 2018)引入到HSI分類，但其采用的是年代比較久遠的公開數據集，空間分辨率低、數據量小，且網絡結構簡單，提出的方法并不能適用于機載高光譜數據分類。

鑒于此，本研究在以往研究基礎上，針對機載高光譜數據特點，提出一種新的3D-CNN網絡結構。該模型將全光譜帶作為輸入，不需要額外的預處理或后處理，得到的深度分類器模型以端到端方式進行訓練。在相同規模上，3D-CNN比其他基于深度學習的方法涉及更少的參數，更適合于HSI分類中訓練樣本數量有限的情況。將3D-CNN網絡結構與其他基于深度學習的HSI分類方法以及目前林業中常用的面向對象分割、隨機森林特征篩選方法進行比較，3D-CNN網絡結構能夠實現更高精度、更高效率的森林樹種分類。

1 研究區概況與數據采集

1.1 研究區概況

研究區位于廣西南寧國有高峰林場界牌分場(圖1)，地理位置108°31′E，22°58′N，屬南亞熱帶季風氣候，年均氣溫21.6 ℃，極端最高溫40.0 ℃，極端最低溫-2 ℃，年均降雨量1 304.2 mm，平均相對濕度79%。森林植被以人工林為主，其中針葉林主要包括杉木(Cunninghamialanceolata)、馬尾松(Pinusmassoniana)，闊葉林包括巨尾桉(Eucalyptusgrandis×E.urophylla)、尾葉桉(Eucalyptusurophylla)、紅椎(Castanopsishystrix)、油茶(Camelliaoleifera)等。

1.2 數據收集與處理

1.2.1 機載高光譜數據 研究采用的高光譜數據由中國林業科學研究院機載LiCHy(LiDAR，CCD and Hyperspectral)系統搭載的AISA EagleⅡ衍射光柵推掃式高光譜成像儀獲取。AISA EagleⅡ高光譜數據采集于2018年1月13日和1月30日，共飛行2個架次，實際飛行航高約1 000 m。獲取的高光譜數據包含125個波段，波長范圍400～1 000 nm，光譜分辨率3.3 nm，空間分辨率1 m。LiCHy系統在采集高光譜數據時，同步獲取研究區LiDAR數據、CCD影像以及IMU(慣導)和GPS數據。CCD影像空間分辨率為0.2 m，用于輔助地面真實值的勾畫和驗證； LiDAR數據為高光譜數據預處理過程中提供精確的DEM。LiCHy系統AISA EagleⅡ高光譜主要參數見表1。

圖1 廣西南寧高峰林場界牌分場Fig.1 Jiepai, Gaofeng forest farm, Nanning city of Guangxi

表1 LiCHy系統AISA EagleⅡ 高光譜主要參數Tab.1 The main parameters of AISA EagleⅡ hyperspectral system of LiCHy

對原始AISA EagleⅡ高光譜數據進行預處理，包括輻射定標、幾何校正、影像空間分辨率重采樣、正射校正、大氣校正、地形輻射校正等(莢文等， 2016)。根據SPECIM公司提供的AISA EagleⅡ傳感器定標文件完成輻射定標。 基于LiCHy系統同步獲取的DEM及定位姿態系統(position and orientation system, POS)提供的航跡文件完成幾何校正。大氣校正是為了消除成像時光照和大氣對地物反射率的影響，反演地物本身的反射率，以便于下一步地物特征提取和分類。機載高光譜數據受大氣影響較小，校正相對容易，本研究采用ENVI 5.3 的QUAC快速大氣校正工具進行高光譜數據的大氣校正。為了減弱地形對光譜的影響，采用綜合輻射校正法(integrated radiometric correction，IRC)(Kobayashietal., 2009)完成地形輻射校正。

1.2.2 野外調查數據 研究所用數據包括森林資源二類調查小班數據和2018年1—2月野外調查數據，調查點分布見圖1，各地物類型分別調查10～20個點。外業調查前通過GF-2數據目視解譯，確定調查區域，設置樣地和采樣點位置。2018年1月16日—2月5日開展地面樣地數據調查，主要集中在杉木純林、桉樹純林和闊葉混交林內，共調查19塊樣地，其中6塊為桉樹純林、7塊為杉木純林、其余為其他林分和混交林，樹種主要包括桉樹、杉木、紅椎、馬尾松等，共1 657株。樣地大小為25 m×25 m和25 m×50 m，使用手持GPS實地觀測樣本精確位置，記錄坡度、坡向等樣地信息，進行每木檢尺，包括樹種、樹高、冠幅、枝下高、胸徑等。

結合實地調查情況以及本研究目的，將研究區劃分為尾葉桉、巨尾桉、紅椎、米老排(Mytilarialaosensis)、其他軟闊、濕地松(Pinuselliottii)、杉木、馬尾松、油茶9種森林植被類別和建筑用地、道路、采伐跡地3種非森林植被類別。

2 研究方法

2.1 三維卷積神經網絡

傳統的2D-CNN中，卷積運算僅用于捕獲2D特征圖的空間特征；而在處理3D數據如視頻分析時，需要同時捕獲空間維度和時間維度信息。為了解決這個問題，Ji等(2013)首次提出3D-CNN，即將3D卷積運算應用于3D特征圖以計算3D輸入數據(如視頻數據)的“時空特征”。

在高光譜數據分類中，保留豐富的光譜信息是非常重要的。2D卷積運算是在空間維度對輸入數據進行卷積，無論輸入數據是2D數據還是3D數據，輸出的特征圖都是相對獨立的2D數據，將2D卷積運算應用于高光譜數據，會丟失大量光譜信息； 而3D卷積運算同時在空間維度和光譜維度上對輸入數據進行卷積，輸出的是3D 立方塊(volume)，可以保留高光譜數據輸入的光譜信息。

2D卷積運算可以表示為：

(1)

3D卷積運算可以表示為：

(2)

式中：S表示3D卷積核在光譜維度上的大小；i表示網絡上一層特征塊的數量；j表示該層包含卷積核的個數。對應地，該層(第i層)的輸出包括l×j個3D特征塊(feature volumes)。

2.2 3D-CNN分類框架

高光譜數據同時包括空間信息和光譜信息，本研究將影像中的光譜信息與空間信息整合在一起，以構建空間-光譜聯合CNN分類框架。

不同于一般圖像級別的3D-CNN分類模型(Jietal.， 2013； Tranetal.， 2015)，本研究提出的用于高光譜影像分類的3D-CNN為像元級別分類模型，輸入數據不是整幅高光譜影像，而是像元周圍較小的鄰域空間-光譜立方體。

根據2D-CNN 研究結果，具有更深架構的3×3卷積核的小感受域通常會產生更好的效果。相對于圖像級別的分類模型而言，遙感影像分類模型采用的輸入數據空間大小相對較小，且卷積運算后特征圖的空間大小進一步減小，一般都會使用空間上較小的卷積核以避免輸入信息過多損失。 Tran等(2015)證明小的3×3×3卷積核是時空特征學習中3D-CNN的最佳選擇。Li等(2017)針對常見高光譜公開數據集的3D-CNN研究中同樣采用3×3空間大小的3D卷積內核，且取得了很好效果。受此啟發，本研究將3D卷積內核的空間大小固定為3×3，在此基礎上將內核的光譜深度定為7。模型包含4層卷積層，其中下一層包含的卷積核數量為上一層的2倍，很多著名的CNN模型，如ImageNet(Krizhevskyetal.， 2012)也是采用這樣的比率。

3D-CNN網絡結構如圖2所示，具體過程如下。

1) 樣本數據構建： 以目標像元為中心，提取大小為S×S×B的空間-光譜立方體及對應標簽l作為樣本數據。其中S×S為空間鄰域大小，B為影像波段數，S×S×B尺寸數據作為模型的輸入數據。按比例隨機抽取每類像元，劃分訓練樣本、驗證樣本和測試樣本。

圖2 3D-CNN網絡結構示意Fig.2 3D-CNN network architecture diagram

3) 全連接層： 將最后一層3D卷積層輸出的特征展平，通過全連接層F1將3D立方體變成維度為1×128的特征向量。

4) Logistic回歸： 在全連接層后添加邏輯回歸分類器。Logistic回歸分類器采用針對多分類任務的softmax，將一層輸入特征展平后，輸出屬于類i的輸入特征的概率：

(3)

式中：W為權重；b為偏差；Wi和bi為連接i類輸出單元的權重和偏差；Y為分類結果；s為softmax函數。輸出層中隱藏單元數量等于類別的總數。

模型參數采用隨機初始化，使用隨機梯度下降(stochastic gradient descent，SGD)反向傳播來最小化網絡損失，完成模型訓練。在設置權重更新規則前，需要合適的損失函數。本研究采用mini-batch更新策略，以適用于大型數據集的處理，損失函數的計算基于mini-batch輸入，公式如下：

(4)

采用線性修正單元ReLU(Krizhevsketal.， 2012)作為激活函數，公式如下：

f(x)=max(0,x)。

(5)

ReLU是一種廣泛使用的非飽和激活函數，就梯度下降和訓練時間而言，效率高于其他飽和激活函數。

網絡在最后一層3D卷積層和第1層全連接層中加入Dropout，即按照設定概率將神經元的輸出設定為0，以減少隱藏單元的相互作用，使網絡學習更具魯棒性特征并降低噪聲的影響，通過減少過擬合問題來改善神經網絡(Hintonetal.， 2012)。

技術路線如圖3所示。

2.3 參數設置

完成3D-CNN網絡設計后，配置訓練過程，通過反向傳播損失函數梯度更新三維卷積核參數。由于訓練集相對較小，批量大小(batch size)設置為64，采用SGD優化器完成訓練過程。學習速率用于控制每次訓練迭代的學習進度，不合適的學習速率會導致梯度離散或收斂緩慢，本研究采用網格搜索方法，將學習速率設定為{0.01，0.003，0.001，0.003，0.000 1，0.000 3}，分別對模型進行300個周期的訓練，基于訓練中精度、損失的變化及分類結果，選擇最佳學習速率為0.000 1。根據模型在驗證集的表現及最終分類結果，本研究采用的最佳3D-CNN網絡結構參數如表2所示。

2.4 對比試驗

為驗證3D-CNN在高光譜數據中的分類能力，本研究采用近年來樹種分類研究中應用較多的面向對象分割(毛學剛等， 2017)、隨機森林特征篩選方法(張瑩等， 2018)和2D-CNN(Chenetal.， 2016)進行對比分析。

2.4.1 基于特征選擇的面向對象樹種分類 首先選擇最佳分割參數進行圖像分割，然后采用分層分類方法將非林地去除，避免與各樹種混淆； 從機載高光譜影像中提取特征變量，包括獨立成分分析(independent component analysis,ICA)降維波段、光譜指數、紋理特征及由LiCHy系統同步搭載的LiDAR數據獲取的冠層高度模型(canopy height model,CHM)特征(特征見表3)；利用隨機森林法選擇最優特征變量。

圖3 技術路線Fig.3 Technology roadmap

表2 最佳網絡結構參數(輸入W=11，N=4)Tab.2 Optimal network structure parameters (input W=11, N=4)

采用2種方案完成樹種分類： 1) 將上述所有特征疊加，使用SVM分類器對分割后的對象進行分類； 2) 采用隨機森林特征篩選方法從表3的特征中篩選出18個特征變量用于樹種分類，篩選的特征包括4個ICA變換特征、7個植被指數特征(包括歸一化植被指數NDVI、光化學植被指數PRI、綠度歸一化植被指數GNDVI、植被衰減指數PSRI、結構不敏感色素指數SIPI和花青素反射指數1ARI1)、6個紋理特征(HOM_G550、ENT_G550、CON_G550、COR_G550、DIS_G650和DIS_R650)以及CHM特征。

2.4.2 基于2D-CNN的樹種分類 通過PCA將原始數據的125個波段生成3個主成分，并分別提取27×27×3和9×9×3的數據作為原始特征，網絡中包含3層卷積層和2層池化層。卷積核大小為5×5，每層卷積核個數分別為32、64和128。

表3 面向對象樹種分類中使用的特征Tab.3 Image object metrics used in tree species classification

3 結果與分析

3.1 數據集劃分

考慮實際遙感影像分類時通常難以獲取足夠多的樣本用于模型訓練，為了使模型在實際應用中具有可用性，分別從各類標簽數據中隨機選出10%作為訓練數據用于模型訓練，10%作為驗證數據，在訓練過程中監測模型學習效果、調整模型參數，其余80%作為測試數據，用于完成模型測試及計算分類指標。本研究12種地物選取的訓練樣本、驗證樣本以及測試樣本像元數量如表4所示。

3.2 樹種分類結果

基于特征選擇的面向對象樹種分類在易康軟件中完成，基于2D-CNN和3D-CNN的樹種分類采用Python編程，利用Tensorflow、Keras 開源深度學習框架實現，運行平臺硬件配置包括IntelRXeon(R) E5-2620 v4 @ 2.10 GHZ CPU及2塊nvidia GeForce GTX 1080Ti GPU。表5為不同分類方法的精度對比，基于深度學習的方法模型訓練時間為訓練300個周期(epochs)需要的時間。

面向對象分割方法能夠較好識別出道路、采伐跡地，但馬尾松、濕地松光譜比較接近，混分現象十分嚴重； 隨機森林特征篩選方法可有效提高分類總體精度，但由于一些特征缺失使得米老排、馬尾松等一些總體數量較少的類別分類精度下降。

2D-CNN中，窗口大小為9時無法分出馬尾松、建筑用地，且杉木誤分嚴重， 當設置較大窗口(W=27)時，能實現較高的總體精度；但對于細小地物存在比較嚴重的誤分(圖4)。網絡中W=11、N=8時雖然能夠實現最高的總體精度，但是會引入更多需要訓練的參數，增加訓練、預測時的計算成本； 濕地松、其他軟闊、道路等訓練樣本數量相對少的類別分類精度相對低，模型平均精度不如W=11、N=4。3D-CNN(W=11、N=4)在實現較高精度的同時，訓練、預測速度相對快一些。

表4 地物類別以及訓練樣本、驗證樣本、測試樣本像元數量Tab.4 Summary of samples for training, validation and testing for each land cover class

表5 不同分類方法的精度對比Tab.5 Comparisons of accuracy assessment results among different methods

4 討論

4.1 輸入數據空間大小對模型分類能力的影響

為了評估輸入數據空間大小對模型分類能力的影響，本研究嘗試將每個像元的5×5、7×7、9×9、11×11、13×13鄰域作為輸入對模型進行測試，結果如圖5所示?？梢园l現，適當增加輸入數據空間大小有助于提高分類精度；然而，過大的區域可能產生額外噪聲，尤其當像元位于一個類別的角落或邊緣時，會導致精度下降。此外，過大的輸入也會顯著增加網絡訓練、預測時的計算量，導致需要更長的訓練時間。綜合上述結果，11×11窗口能取得較好效果。

圖5 輸入數據空間大小對模型分類能力的影響Fig.5 The effect of the spatial size of input data on the classification performence of the model

4.2 加入Dropout對模型訓練的影響

李竺強等(2018)提出的三維卷積神經網絡在每層卷積層后加入三維最大池化層，該池化層可有效縮小參數矩陣尺寸，減少最后全連接層中的參數數量。與城市土地覆蓋類型相比，森林樹種之間光譜差異較小，引入光譜維度池化的數據降維方式會使原始細節丟失，導致分類精度下降，所以本研究提出的3D-CNN網絡結構沒有加入此類池化層。但是保持數據維度會造成網絡后幾層參數較多，隨著網絡規模增大，訓練過程中會出現過擬合問題。

本研究在最后一層卷積層和全連接層(即整個網絡中參數最多的2層)加入比率為0.5的Dropout，即在每次批訓練中，忽略掉一半特征檢測器，通過減少特征檢測器間的相互作用，避免模型過于依賴某些局部特征，從而提高模型的泛化性。圖6為加入Dropout與未加入Dropout訓練時精度和損失隨訓練迭代次數的變化情況，可以發現，未加入Dropout時存在較嚴重的過擬合問題，即模型對訓練數據的適應性要優于測試數據，且當迭代次數在150左右時，驗證集上的損失出現上升; 加入Dropout后可較好解決這一問題，并在一定程度上加速了網絡訓練過程。

4.3 訓練樣本數量對模型分類能力的影響

將訓練樣本數量由原來全部數據的10%變為5%、2.5%和20%，檢驗模型在小樣本訓練條件下的分類效果，結果如圖7所示。可以發現，隨著訓練樣本數量減少，模型分類總體精度逐漸降低，但當僅用全部數據的2.5%訓練模型、其余95%進行測試時，總體精度為95.89%，仍高于隨機森林、2D-CNN方法，這說明該模型適用于小樣本情況下的應用。

圖6 訓練時加入Dropout與未加入Dropout對比Fig.6 Impact of adding Dropout on model training

圖7 訓練樣本數量對模型分類能力的影響Fig.7 Effect of the number of training samples on classification performence of the model

5 結論

針對廣西高峰林場機載高光譜數據的樹種分類結果表明，本研究提出的3D-CNN結構可獲得比基于傳統面向對象分割、隨機森林特征篩選和2D-CNN的樹種分類方法更好的分類結果，通過合理的網絡結構設計，并選擇合適的訓練策略，在少量樣本情況下仍可達95.89%的總體分類精度。

3D-CNN模型能夠充分利用高光譜影像中的空間信息和光譜信息，實現高精度區分亞熱帶森林樹種，且不需要對數據進行復雜預處理或后處理，同時也省去人工特征提取、特征篩選的步驟，模型結構相對簡單，模型訓練、優化過程也比較簡單，訓練過程僅需61.5 min，使用訓練好的模型對研究區整幅影像進行分類僅需62 s。