基于深度信念網絡的高光譜影像森林類型識別①

羅仙仙,許松芽,肖美龍,嚴 洪,陳正超

1(泉州師范學院 數學與計算機科學學院,泉州 362000)

2(福建省大數據管理新技術與知識工程重點實驗室,泉州 362000)

3(泉州師范學院 教育科學學院,泉州 362000)

4(泉州市林業局森林資源管理站,泉州 362000)

5(福建省林業調查規劃院,福州 350000)

6(中國科學院 遙感與數字地球研究所,北京 100094)

森林類型分類或樹種識別是森林經營與管理的關鍵環節,高光譜遙感技術用于森林類型或樹種識別取得一系列的成果[1-3].近20年來,以高光譜遙感圖像為數據源的森林類型、樹種類型的識別算法主要分為基于光譜特征[4]、基于光譜匹配[5]和基于統計分析方法[3,4].但由于高光譜圖像數據量大且存在較高的譜間相關性和空間相關性,導致Hughes 現象[6],通常采取特征選擇和特征提取兩種方式進行降維處理.特征選擇的目的是選擇出對分類最有用的參數,壓抑或限制無用信息,使選擇后的特征參數盡可能大地反映類別之間的差異,并且彼此之間的相關性盡可能弱.王玲段等運用最佳指數法、波段指數法對HJ-1A 衛星HIS 影像進行波段選擇,篩選出3 種波段組合(28-40-77、28-54-75、20-40-58)集中在紅光和近紅外波段,對3 種經濟林識別精度達到70%以上[7].李俊明等用光譜混合距離判斷出HJ-1A 影像中波長508.42 nm、696.85 nm、885.18 nm 為區分闊葉林和混交林的最佳波段組合[8].Koedsin 等采取遺傳算法對EO-1Hyperion 高光譜數據進行波段選取7 波段(549、712、732、1034、1235、2073、2083 nm)的“染色體”獲得最高樹種可分性[9].特征提取是建立在各光譜波段間的重組和優化基礎上的運算.通過數學變換的方式將原始數據矢量空間投影到維數低的新的空間中,從而實現降低空間維的目的,但改變了圖像的原有特性.高光譜特征提取和特征壓縮技術主要包括最小噪音分離變換、典范變量分析、獨立成分分析ICA 以及主成分分析PCA.Ballanti等人與Zhang 等人均采用最小噪音分離變換方法對高光譜數據進行特征提取,并取得較好樹種識別精度[3,4].

深度學習是當前機器學習與人工智能研究熱點,是指超過三層的神經網絡模型[10],模仿人類大腦的層次結構,是一組嘗試通過使用體系結構的多個非線性變換組成模型中數據的高級抽象機器學習算法.深度學習由加拿大多倫多大學Hinton 教授于2006年提出的一種有效的特征提取及分類方法[11],被應用到語音識別、圖像識別、計算機視覺等領域,并取得了良好的識別效果.深度學習典型方法包括限制玻爾茲曼機、深度信念網絡、卷積神經網絡和自動編碼器等[12].深度學習新方法包括遞歸神經網絡及其變種模型長短時記憶模型和生成對抗網絡等.深度學習方法用于遙感圖像處理取得快速發展[13-15],由于深度學習方法訓練與測試需要大量樣本數據,大多對現有標準數據集[16]進行研究,實際應用微乎其微[17,18],在林業遙感領域,只見李英杰等人利用線性稀疏自動編碼器用于林業圖像分類研究[19].目前,尚未見文獻報道深度學習方法在林業高光譜遙感分類中應用.因此,論文將研究深度信念網絡用于環境與災害監測預報小衛星HJ-1A 高光譜影像森林類型識別研究,通過深層的學習,可以充分、自動、高效利用高光譜的各個波段進行特征提取,為高光譜林業遙感處理,乃至智慧林業等方向研究提供新的研究視角.

1 研究方法

1.1 受限玻爾茲曼機

1.1.1 受限玻爾茲曼機模型

一個受限制玻爾茲曼機有兩層,如圖1 所示,一層是輸入層v(或說可見層),i 為任意一個節點;另一層是輸出h(或隱藏層),j 是其中的一個節點,可見層與隱藏層為全連接關系.同一層的單元之間沒有連接關系.RBM 是一個無向的生成能量模型,RBM 所具有能量如式(1)所示.

圖1 RBM 模型示意圖

同理,給定隱藏層節點的參數時,可見層任一節點的激活概率為:

其中,σ (x)是由邏輯函數定義的S 型函數,Sigmoid 函數為:

1.1.2 限玻爾茲曼機的訓練

dk表示期輸出或目標輸出,ok表示響應于訓練像素的實際輸出,總共為K 個輸出.為了最小化誤差E,可計算E 相對于網絡中每個權重和偏置值的偏導數,通過對比散度算法(Contrastive Divergence,CD)可以快速進行參數更新,更新規則為[20]:

式中,ε為學習率.〈 ·〉data是對數據分布的期望值,〈·〉recon是對模型分布的期望值.

1.2 深度信念網絡(Deep Belief Network,DBN)

一個深度信念網絡由多層RBM 構成,如圖2 所示.DBN 有兩個關鍵的訓練步驟:一個是預訓練,另一個是微調.

圖2 深度信念網絡的生成模型

1.2.1 預訓練

預訓練DBN 是無監督的過程.采用對比散度算法,自底向上逐層訓練RBM,直到最后的隱藏層為止,這樣使DBN 從原始的輸入數據中提取更多的深層特征.

1.2.2 使用反向傳播算法進行微調

反向傳播算法最初是由Rumbelhart 提出的,是監督分類的過程.在預訓練中,通過逐層訓練,得到最終預測的分類結果.然而,真實的結果與實際預測結果存在誤差,反向傳播算法根據此誤差向后微調DBN 的參數,并通過靈敏度 δk修正網絡參數,對于某一輸出層,若第k 個節點的實際預測為 ok,真實的結果為dk,其靈敏度定義為:

批處理的更新規則如下:

1.3 分類精度指標評價

1.3.1 總體精度

對分類結果質量的總體評價可以用總體精度來表示,總體精度等同于被正確分類的像素總數除以總像素個數的總和.在混淆矩陣的對角線上,分布著被正確分類的像素個數,它能夠匹配正確分類的像素數與真實分類的個數.根據混淆矩陣計算總體精度的公式可以列出如下:

其中,C 表示分類的總體個數,mii表示混淆矩陣對角線上的元素,N 代表測試樣本的總數.

1.3.2 Kappa 系數

Kappa 系數是采用多元離散分析技術來反映分類結果與參考數據之間的一致性的指標.由于它將混淆矩陣中的全部因子都考慮在內,因此將其視為一個更為客觀的評價指標,其定義為:

其中,mi+,m+i分別代表混淆矩陣中第i 行與第i 列的總和,Kappa 系數與分類精度密切相關,呈正比關系.一般來說,Kappa 系數越高,分類精度越高.

2 實驗

2.1 實驗區域與高光譜數據

研究選用HJ-1A 星HSI 數據2 級產品,成像時間為2011年8月24日,共115 個波段,空間分辨率為100 m.研究區為福建省泉州市德化縣西部8 個鄉鎮,其行政區范圍及假彩色合成影像(第105、70、40 波段進行假彩色合成)如圖3.該產品影像數據經過系統幾何校正和輻射校正,校正誤差不小于一個像元,校正后影像統一到指定的地圖投影坐標系下(西安1980 坐標系).HSI 影像數據的部分波段存在明顯的條紋,主要包括第1-29 波段,嚴重影響圖像的質量和應用,因而本研究將前29 個波段剔除,剩余86 個波段,波長區間范圍(529.6350-951.54 nm).

2.2 實驗處理流程

實驗總體處理流程如圖4 所示,先進行數據準備,然后搭建好tensorflow1.11.0 框架開發環境,數據集轉換成Python 程序容易處理的csv 文件,進行訓練集與測試集劃分,再進行實驗對比.實驗基于Windows 10 64 位操作系統,處理器型號為Intel(R)Core(TM)i5-8250U CPU @1.60 GHz 1.80 GHz,實驗在PyCharm 2018.3x64 編輯器中進行編碼與參數調優,加載Python 擴展庫,包括深度學習TensorFlow、numpy、Pandas、Matplotlib 等[21].

圖3 研究區及假彩色合成影像

圖4 實驗處理流程

實驗中,依據二類調查數據,選取帶標簽樣本,同時對86 個波段數據作為DBN 的輸入,并進行歸一化處理,同時對標簽進行獨熱編碼(One-hot 編碼),再對數據集進行隨機打亂,選取訓練、測試兩部分數據.將訓練好的參數保存在Tensorboar 中,對整體數據加載、混淆矩陣輸出,繪制圖像,并將結果與SVM 對比.

2.3 訓練樣本與測試樣本分配

研究區域共97 258 個像素點被分類,為提高DBN 分類效果,通過多次預實驗,選取28 000 個已知類別的像素點作為訓練樣本與測試樣本,其中51 989 個像素點是針葉林,6142 個像素點是闊葉林,16 283 個像素點是混交林,其余28 986 個像素點為非林地.在訓練過程中,針葉林類有10 000 個訓練樣本,其他每個子類有6000 個訓練樣本.如表1.

表1 數據集標簽分類

3 結果與分析

3.1 隱藏層層數對分類結果的影響

目前,由于對于DBN 結構的選擇尚且沒有完善的理論基礎,基本靠實驗調參,給出最優參數.合適的網絡深度影響最終分類結果與運行時間.當DBN 的層數過多,容易過擬合現象.反之,容易產生欠擬合現象.實驗中,首先固定其它超參數,如學習率為0.001,激活函數為Sigmoid,批處理量100,梯度下降方式采取rmsp,迭代次數1000,cd-k 為1.每個隱藏層節點數均采用256.對DBN 的層數是從{3,4,5,6,7}中選取,采用網絡搜索方式進行參數調優,不同隱藏層層數對分類結果影響見圖5.當隱藏層層數為3 時,總體精度與Kappa 系數最大.

圖5 不同隱藏層層數對分類結果的影響

3.2 隱藏層節點數對分類結果的影響

隱藏層節點數量選擇不當常常造成訓練出現“過擬合”現象.隱藏節點過少時,網絡對數據的擬合性能很差,甚至無法有效的完成分類任務;過多時,會造成訓練時間增加,尋找最優解過程中陷入局部最優的機率提高.實驗中,固定DBN 的層數為3,其它超參數也不變,隱藏層的節點數量依次從{16,32,64,128,256,512}中選取,實驗結果如圖6 所示,當隱藏層節點數為256 時,總體精度和Kappa 系數最大.

圖6 隱藏層節點數對分類結果的影響

3.3 與支持向量機分類方法的比較

支持向量機方法采用的核函數為徑向基函數(RBF),懲罰因子C 的范圍在[1,0.1,0.001]上尋找,訓練樣本與測試樣本與DBN 方式保持一致.采用5 折交叉驗證與網絡搜索方法對SVM 進行參數調優,當C 值取1 時獲得最高總體精度,達到73%,Kappa 系數為0.6447.深度信念網絡與支持向量機分類結果比較,見表2 與圖7.圖7 中,綠色為針葉林,闊葉林為黃色,粉紅色為混交林,藍色為非林地.

表2 不同方法分類效果比較

圖7 不同方法分類結果

從表2 可知,DBN 在各森林類型的分類精度以及總體精度、Kappa 系數都略高于SVM.究其原因,深度信念網絡方法將高光譜所有波段特征全部作為輸入,通過受限玻爾茲曼機的無監督學習,自底向上進行預訓練,獲取初始特征參數,對各種森林類型進行深層特征提取;同時,通過自頂向下的有監督學習進行參數調優,更有效挖掘出森林類型地物特征,提高分類效果.

當隱藏層層數為3,隱藏層節點數為256 時,是深度信念網絡的最優參數,此時,DBN 分類結果的混淆矩陣見表3.由表3 可知,闊葉林精度最低,僅為83.0%.混交林精度最高,達到95.4%.

表3 最優參數的DBN 分類方法混淆矩陣

4 結論與討論

4.1 結論

本文借助DBN 模型與HJ/1A 高光譜影像,通過無監督的預訓練和有監督的微調對泉州市德化縣西部8 個鄉鎮進行森林類型識別研究,通過大量實驗調參,層數為3,每層節點數為256 的網絡結構對森林類型識別效果最好,總體精度達85.8%,Kappa 系數為0.785,好于支持向量機的分類結果,證明了深度信念網絡用于森林類型分類的優越性.

4.2 討論

(1)本文利用深度信念網絡方法進行森林類型識別研究,具有研究方法創新,該方法分類結果好于傳統決策向量機,但該方法如何解決“同物異譜”和“同譜異物”的機理尚不明確.

(2)結合二類調查數據,選取近1/3 的樣本作為訓練與測試樣本,才提高了分類效果,但現實研究中,如果樣本量較少,或沒有樣本,如何利用對抗生成網絡進行擴展樣本將是下步研究重點.

(3)本文僅從光譜特征出發,沒有利用空間特征,以及光譜特征與空間特征(空譜聯合特征),而這些特征可以深層次的挖掘數據的內部特征,是否可以提高分類效果值得進一步研究.

(4)最優的網絡結構只是針對森林類型識別而言,二級、三級地類識別的最優網絡結構需要進一步研究,同時,迫切需要建立適用于林業遙感的深度學習分類方法的標準與規范.