面向對象結合深度學習方法的礦區地物提取

蔡祥，李琦，羅言，齊建東

(1.北京林業大學信息學院,北京 100083; 2.國家林業草原林業智能信息處理工程技術中心，北京 100083)

0 引言

煤礦資源在推動經濟發展中具有重要作用，保證礦區的安全生產是采礦作業的重中之重[1]。準確高效地獲取礦區地物信息能有效輔助煤炭礦區生產工作的安排及部署，為安全生產奠定基礎，而礦區地物類型往往特殊且復雜，傳統人工野外調查手段獲取大面積礦區信息耗時耗力[2]。

近年來，國內外學者針對礦區的特點，在礦區地物提取方面進行了大量研究[3-5]。這些研究主要采用面向對象方法對礦區衛星遙感影像進行地物提取，該方法以“同質均一”的多個像元為基礎分類對象，利用影像的形狀、光譜、空間紋理等特征進行分類。其基本分類方法中較為常用的有基于規則分類和最鄰近分類2種，前者對于一些特征相似的地物類別區分效果較差[6]，同時需要在一定專業基礎上多次制定規則和調整閾值進行實驗才能獲得合理的規則集； 后者通過計算地物對象與已知類別樣本在特征空間的距離來判斷類別，分類結果更客觀，但計算量較前者大。荊平平等[7]利用面向對象的多尺度分割技術等對礦區無人機影像進行地物分類，總體精度達89.92%。

隨著遙感技術的迅速發展，無人機低空遙感在礦區的應用越來越多。和衛星遙感相比，無人機遙感成本低，時效性好，操作靈活，分辨率高，且富含更多空間信息[8]。張建勇等[9]利用低空無人機攝影測量快速構建礦區線狀地物信息； 韋國鈞[10]提出了一種無人機影像可疑變化地物快速發現方法； 徐曉萍[11]將無人機攝影測量技術應用于大寶山礦，提高了地形測量的速度與效率； 師文杰等[12]基于實例探討了無人機測量技術在礦山地質環境治理中的應用。

深度學習在分類任務上的高準確率體現了其特征提取的強大能力，為各領域的信息提取提供了新的思路。2010年Minh等[13]首次應用深度學習技術來提取道路信息，此后,深度學習技術逐漸被應用于高分影像的分類、信息提取、變化監測等任務。鄭重等[14]提出了基于深度學習的地面塌陷遙感識別方法用于監測礦區的地面塌陷情況； 向陽等[15]使用改進的U-Net孿生網絡對礦區遙感影像進行變化檢測并取得了較好的檢測效果。

針對現有的衛星遙感影像處理繁瑣，消耗時間長，面向對象方法分類精度不高等問題，本文提出一種通過無人機低空遙感獲取煤炭礦區高清影像，利用基于面向對象分類方法和深度學習的語義分割模型進行高效煤炭礦區地物提取的方法。

1 礦區無人機影像采集與標注

1.1 研究區概況與數據源

本文選擇內蒙古自治區西部烏海市海南區焦化廠為試驗區，地理坐標在E106°53′06″～106°54′07″,N39°26′59″～39°27′33″之間，面積約為1.58 km2。

本研究采用瑞士生產的型號為eBeeAg的固定翼無人機,搭載相機為Sony DSC-WX220，影像數據采集時間為2018年3月，航拍影像包含紅、綠、藍3個波段，空間分辨率為5 cm。

試驗對無人機影像進行拼接和正射校正等預處理操作，生成礦區的正射影像圖。本研究選取6塊典型區域的正射影像(圖1)，每塊大小均為6 720像素×5 760像素，覆蓋面積均約為0.08 km2，其中區域1—5為訓練集數據，區域6為測試集數據,各區域均無交集。

1.2 數據標注

使用深度學習語義分割模型進行地物提取的第一步是對影像數據進行像素級標注，傳統標注方法為人工目視解譯，該方法雖簡單但人力和時間成本較高。本文提出采用面向對象分類方法輔以人工校正進行數據標注。該方法包括3個步驟： ①分割影像； ②對分割影像進行分類； ③人工校正分類結果。

1.2.1 面向對象的分割算法

面向對象分類方法包含兩部分： 影像分割和對象特征提取[16]。影像分割的對象邊界與地物邊界重合度越高，特征提取的結果就越準確。該過程使用從單個像元對象開始自下而上的區域增長法合并相鄰對象生成影像對象，當對象的異質性達到設定閾值，則完成合并，結束對象分割過程。其中，分割方法包括3個重要參數： 分割尺度、形狀因子和緊致度因子。不同分割參數結果示例如圖2所示。

通過控制變量對比實驗選擇最優的異質性度量參數，其中形狀因子越大，分割后的對象形狀越平滑，產生的對象越規整； 緊致度因子越大，分割的對象就越接近矩形。本文最終確定分割尺度為140，形狀值為0.4，緊致度因子值為0.5。

1.2.2 面向對象的最鄰近分類算法

本文定義4種地物類別： 道路、建筑、車輛和礦區地面。每類均選取適量(大約1/3)樣本作為訓練樣本，計算對象的形狀、光譜等特征值，再建立合適的對象特征空間，由特征空間參數指導分類[17]，但過多分類特征可能導致冗余，造成計算量增加，分類效率降低等問題，甚至降低分類精度。經實驗對比，本文取不同類別之間可分性最大的5種特征組成最優特征空間集，這5種特征是： 歸一化灰度矢量反差、亮度、邊界長度、歸一化灰度矢量熵、邊界指數，再運用最鄰近分類器完成地物分類，待分影像對象O與類別Ki的最小距離DKi公式為：

(1)

人工校正完成后將分類結果圖轉為索引圖(圖3)，用于后續語義分割模型訓練?？紤]到實驗設備限制及模型的網絡結構等因素，將6塊實驗區域影像分割成320像素×320像素的圖像集，其中訓練集1 890張，測試集378張，訓練集與測試集樣本數之比為5∶1。

2 基于神經網絡的地物提取方法

本文提出一種基于神經網絡的地物提取方法，首先使用FCN-8s，FCN-32s，U-Net這3種語義分割模型在礦區數據集上訓練，生成相應的神經網絡模型，再基于3種模型采用多數投票法及打分法生成兩種集成模型，最后使用膨脹及腐蝕算法對集成模型的輸出結果進行優化，識別模型結構如圖4所示。

圖4 礦區地物識別集成模型結構Fig.4 Structure of integrate algorithms for surface feature extraction on mining area

2.1 全卷積網絡

全卷積網絡(fully convolutional network，FCN)[18]是一種深度學習神經網絡模型，一般用于圖像的像素級分類。相較于圖像級分類使用的卷積神經網絡(convolutional neural network，CNN)，FCN保留了CNN的卷積層，用于提取圖像特征，將CNN中的全連接層替換成卷積層，并對最后一個卷積層的特征圖進行上采樣，將輸出還原至輸入圖像相同尺寸，從而實現對每一個像素點的類別預測，同時保留原始圖像的空間信息，完成圖像的像素級分類。FCN的卷積層具有很強的圖像特征提取能力，其中較淺層具有較小感受野，能夠獲取局部特征信息，較深層具有較大感受野，能夠獲取更多特征信息。另外跳躍結構可融合網絡中不同卷積層輸出特征，能有效提升地物提取效果。本文使用FCN-32s和FCN-8s模型進行實驗，其中FCN-32s將網絡中最后一個卷積層特征圖進行32倍上采樣后輸出，該方法實現簡單但預測結果較為粗糙，而FCN-8s則融合了多層上采樣的特征圖后輸出(圖5)。

圖5 FCN基本結構Fig.5 Basic structure of FCN

2.2 U-Net模型

U-Net[19]是一種基于FCN改進的模型，使用了編碼-解碼結構(圖6)，由左半邊的壓縮通道(contracting path)和右半邊的擴展通道(expansive path)組成。壓縮通道由卷積層和最大池化層組成，實現特征提取功能。擴展通道先進行反卷積操作，減半特征圖維數，然后拼接對應壓縮通道裁剪得到的特征圖，組成一個2倍大小的特征圖，再采用2個卷積層對其進行特征提取，并重復以上操作。最后的輸出層再進行2次卷積將64維的特征圖映射成2維的圖輸出。

圖6 U-Net結構Fig.6 Structure of U-Net

2.3 模型集成

模型集成(ensemble)是結合多個學習器并使用某種策略來構建完成學習任務的模型，該方法從多個學習器取長補短，較單個學習器能得到更好的預測結果。本文的個體學習器為FCN-8s,FCN-32s,U-Net訓練出來的模型，先取其分類結果，再采用多數投票法及打分法兩種策略進行集成。

1)多數投票法。針對同一像素點，假設3個學習器的輸出為Oj(j=1,2,3)，多數投票法先統計3個學習器中相同分類結果的個數，最終輸出結果為相同分類個數最多的結果。若個數一樣，則選擇學習器中整體準確率最高的輸出結果作為輸出結果。

2)打分法。針對同一像素點，當3個學習器的輸出一致時，將該輸出直接作為結果輸出。否則根據同類別地物的預測準確率對學習器j進行打分Sij(i=1,2,3,4;j=1,2,3)，i類地物預測準確率最高的模型Sij=3，最低的模型Sij=1，輸出結果為總分Pi最高的類別，Pi由預測為i類的各個模型分數相加得到，即

Pi=Si1+Si2+Si3。

(2)

如果存在不同類別Pi一致，則選擇學習器中整體準確率最高的輸出結果作為輸出結果。

3 實驗結果與分析

實驗在Ubuntu 18.04 LTS 64位操作系統下進行，其中神經網絡的搭建、訓練及預測使用Keras深度學習框架，采用GTX1080Ti顯卡進行加速。

3.1 分類效果分析

圖7分別展示了面向對象方法、基于面向對象和深度學習方法，以及2種集成模型方法在測試數據集上的地物提取效果。圖8將面向對象方法的提取結果進行放大分析，可以看出傳統面向對象方法分類效果存在漏分(紅色框放大圖像的灰色區域即為漏分對象)和地物邊界模糊合并的“塊狀”分類現象，且對車輛和建筑的錯分較多(亮綠色框標識出的對象為錯分對象)。而3種神經網絡模型分類結果均不存在漏分對象，且錯分現象均比面向對象方法少。另外從分類結果也可看出，3種神經網絡模型對不同地物表現出不同分類效果，這是因為不同地物表現出的特征不同，而不同神經網絡對不同特征的提取識別能力有差異，其中FCN-8s對建筑物和道路的識別效果最好，FCN-32s對車輛的識別效果最好，U-Net對礦區地面的分類效果最好?；诖?，采用2種策略對3種神經網絡模型結果進行集成，取長補短，提升分類效果。實驗結果表明，2種集成模型識別效果均比3種神經網絡模型好。另外從實驗結果也可看出，各種方法對車輛和碾壓形成的道路的識別均存在不少錯分現象，這和礦區無人機影像中礦區地面部分情況復雜，車輛種類多，相關地物邊界模糊有關。

3.2 分類精度分析

為了合理評估不同方法對礦區地物提取的精度，本文從總體準確率、混淆矩陣、Kappa系數3個方面進行比較分析。

總體準確率為預測正確的像素數量占總像素數量的比例，計算公式為：

(3)

式中:Pc和Pt分別為預測正確的像素數量及像素總數量。

Kappa系數為分類精度的衡量指標之一，基于混淆矩陣進行計算，值越高意味著一致性越高，分類精度越高。假設有n個類別，每一類的實際像素數量分別為a1，a2，…，an，而預測出來的每一類的像素數量分別為b1，b2，…，bn，總樣本個數為m，則Kappa系數的具體計算公式為:

(4)

式中:Po為每種地物類別正確分類像素數量之和與總像素的比值，即總體分類精度；Pe為偶然性因素導致的錯誤解釋比例,公式為:

(5)

由不同方法在測試集上的分類準確率(表1)可知，神經網絡模型的識別準確率均高于傳統面向對象分類方法。說明新方法較傳統方法能有效提高礦區地物識別準確率。集成模型準確率高于單神經網絡模型，說明集成模型能改善單神經網絡模型的識別效果。

表1 不同方法地物分類結果的整體準確率Tab.1 Overall classification accuracy of each method

本文采用隨機采樣的方法進行精度評估，在測試區域選取1 000個樣本點，以標注圖像為標準，采用混淆矩陣進行分析，結果如表2所示。傳統面向對象分類方法對每一類地物的識別精度均低于FCN-32s，FCN-8s及2種集成模型，其Kappa系數為0.597 8，為6種方法中最低，處于一致性較低的水平。2種集成模型方法的Kappa系數均達到了0.81以上，證明其分類結果與人工辨識后的標注圖基本吻合，識別效果較好。實驗結果表明面向對象結合深度學習方法與集成模型均對礦區地物錯分現象改善明顯且有效提高了識別精度，優于傳統的面向對象分類方法。另外，由混淆矩陣可知，模型對礦區車輛和建筑的識別精度一般，這與礦區地面存在不少煤堆、廢石堆及與車體大小相近的臨時建筑有關，同時貨車存在車頭、車架、集裝箱分離的情況，導致人眼也難以辨別車體，增加了錯分的可能性，在未來研究中可加強對這部分地物特征的抽取表達，提升模型識別能力。

表2 不同方法地物分類結果的混淆矩陣Tab.2 Confusion matrix of classification results in test region for different models

(續表)

3.3 膨脹腐蝕優化實驗結果

觀察深度學習方法對地物分類后的結果，發現同一類別地物的像素塊中存在一些錯分類且呈椒鹽分布的像素點，這些像素影響最終的分類結果。鑒于此，使用形態學運算中的膨脹和腐蝕算法消除椒鹽像素，優化地物提取結果。通過統計椒鹽噪聲之間的平均距離、最大距離和最小距離并經對比多次試驗效果，取膨脹及腐蝕的內核參數均為5時優化效果最好。優化前與優化后的準確率對比(圖9)顯示，優化后的總體準確率及道路、建筑、車輛的識別準確率均有所提升，礦區地面的識別準確率有少許下降，這是由于該算法是用來消除被錯誤分類的“噪點”像素，大部分噪點像素開始被模型誤分類為地面，在膨脹腐蝕后，噪點根據周邊像素所屬地物類型被正確轉換為其他非地面類。通過實驗結果可以看出膨脹、腐蝕操作可有效優化分類效果，提升面積較小地物的識別準確率和整體識別準確率。

4 結論

本文利用無人機低空遙感技術獲取煤炭礦區高分辨率影像數據集，提出基于面向對象結合深度學習的方法提取礦區地物，通過實驗和結果分析，得出以下結論：

1)面向對象結合深度學習方法在礦區地物提取效果上比傳統面向對象方法更有效，其識別精度更高，泛化能力更好，可有效地對煤炭礦區地物進行提取。

2)集成模型的總體準確率和Kappa系數均高于所有單體神經網絡和傳統面向對象方法，證明合適的模型集成算法能夠提高單體神經網絡的地物分類效果。

3)實驗結果表明，本文提出的方法滿足礦區地物的快速檢測要求，對礦區安全作業和管理起到良好輔助作用。該方法與傳統野外人工勘測方法相比，節省了時間和人力，與基于衛星遙感的監測方法相比，精度更高，時效性更好。