基于深度學習的村鎮磚(混)木房屋識別①

潘 健,董 翔,楊玉永,婁世平,徐秀杰,王 宇

1(山東省地震局,濟南 250014)

2(山東省國土測繪院,濟南 250100)

1 引言

近年來,我國“高分”系列和各類商用遙感衛星投入使用,無人機平臺的快速普及,各類高分辨率航空航天遙感影像數據變得越來越容易獲取.高分辨率航空圖像為圖像識別提供了足夠的結構和紋理信息,同時也對現有的分割方法提出了新的挑戰[1].近年來,深度學習、卷積神經網絡技術作為機器學習的一個熱門方向,被引入到遙感圖像處理中,在遙感領域得到廣泛關注.在高分辨率遙感圖像分割研究中取得了顯著效果[2,3],同時也在圖像預處理、基于像素的分類、場景理解、目標檢測4 個領域[4],推動了遙感技術應用方法的創新.

目標檢測屬于遙感圖像處理的一個子類,但具有特殊的難點與技術復雜度,深度學習由于其特征提取潛力可以在遙感圖像目標檢測中發揮重要作用.遙感圖像目標由于背景復雜度高、噪聲大、干擾強等的原因,其目標檢測難度,較客觀物體、人體行為等自然圖像更大.Chen 等[5]提出一種基于卷積神經網絡的車輛檢測算法,Zhang 等[6]、Tang 等[7]和YU 等[8]分別實現了基于CNN、RCNN、FCN、U-NET 等深度學習技術的油罐、艦船和飛機目標檢測.

有學者Vakalopoulou 等[9–11]在深度學習識別建筑物輪廓信息領域開展應用研究,拓展了深度學習的應用領域,但以往研究往往局限于城市地區,數據源多選擇正視高分辨遙感影像.黑盒深度學習和無人機傾斜攝影技術方興未艾,兩種技術的交叉應用尚處于起步探索階段,本文以無人機傾斜攝影圖像為數據源,深度學習技術為主要技術手段,對村鎮磚(混)木房屋進行識別研究.

2 圖像提取方法

2.1 卷積神經網絡圖像提取

基于卷積神經網絡CNN 技術的目標檢測識別、圖像分類,豐富了傳統監督分類、非監督分類、面向對象等遙感圖像的解譯方法,提高了遙感圖像后期分類處理準確率[12].Girshick 等于2014年提出了基于候選框的目標檢測分割算法R-CNN[13],使用選擇性搜索策略得到大量目標候選框,利用卷積網絡獲取所有區域特征,然后對所有區域逐一進行分類.這也造成了因候選區域重疊、冗余圖像重復計算,而引發的算力浪費問題.He 等[14]將空間金字塔池化層引入R-CNN,從特征圖中提取特征取代了從原圖獲取特征,解決了R-CNN 重復運算的缺點,提高了運算效率.Girshick 等人在此基礎上提出了Fast R-CNN,每張圖像提取特征圖只通過一次運算,再一次提高了算法的效能.候選區域生成速度緩慢,依然是Fast R-CNN 算法的痛點.為解決此問題,Ren 等[15]又提出了Faster R-CNN,增加了區域建議網絡,使得全局特征圖中的目標可以在各個候選框共享,現了端到端的訓練.在Faster R-CNN的基礎上He 等[16]增加了一個進行語義分割的分支得到了Mask R-CNN,并且將原來的ROI Pooling 改為了ROI Align 策略,使得Mask R-CNN 可以保持Faster R-CNN快速的同時,可以完成包括目標分類、目標檢測、語義分割、人體關鍵動作識別等多種任務,刷新了COCO數據集上的記錄[16].

2.2 Faster R-CNN 圖像提取

本文基于Faster R-CNN 模型,對村鎮磚(混)木房屋進行識別提取的詳細步驟如下:

(1)將磚(混)木房屋訓練集圖片,導入訓練網絡進行訓練,利用特征提取網絡提取磚(混)木房屋的特征圖像,得到的特征圖像由所有候選區域RPN[17]網絡和Fast R-CNN 網絡二者共享.較傳統Fast R-CNN 中Selective Search[18]方法實現了候選框提取,提高了圖像檢測精度,減少了重復訓練次數,節約了計算機硬件資源.

(2)候選區域RPN 網絡中的Softmax 分類器,對特征圖像進行二分類,確定所劃分錨點(anchors)屬于前景還是背景,同時利用錨點回歸規則,得到候選框位置.

(3)Fast R-CNN 結合特征圖和候選框信息,通過多重卷積層和池化層處理,對圖像中候選區域所在部分進行特征提取和學習,識別前景所屬類別,對候選區域進行識別,判斷其是否為磚(混)木房屋目標,隨即產出檢測框所在精確位置.

Fast R-CNN 依據所制作圖片集中訓練圖片的標注屬性,類似機器學習中的訓練樣本的標簽,經過迭代訓練網絡,網絡中的參數趨近最優,增加目標識別精度.技術流程圖,如圖1所示.

2.3 RPN 網絡

因RPN 網絡提取候選框的應用,使得Faster RCNN 克服了多任務模塊串行模式,模型誤差不斷收斂,實現了從輸入端到輸出端的物體檢測.在特征圖傳入全卷積網絡RPN 后,使用3×3的滑窗生成一個n 維長度的特征向量,然后將此特征向量分別傳入回歸層與分類層.在分類層中,使用Softmax 分類器對anchors進行前景或背景的二分判斷.在回歸層中,通過調整錨點邊框的中心坐標與長寬,擬合出候選框位置[19].另外,在訓練過程中,RPN 網絡需要使用損失函數分類層損失函數與回歸層損失函數.

圖1 Faster R-CNN 模型結構

2.4 特征共享模式

RPN和Fast R-CNN 兩個網絡相互獨立,單獨網絡進行訓練很難得到最終的收斂結果,本文采用交替訓練的思路對RPN和Fast R-CNN 兩個網絡進行訓練.

首先采用ImageNet 提供的預訓練模型對RPN 網絡中的卷積層進行參數初始化,獲得磚(混)木房屋圖像通用特征,并生成候選區域框.其次,利用RPN 網絡輸出的特征候選框對Fast R-CNN 進行訓練,得到卷積層實時參數,反作用于RPN 網絡,RPN 訓練結束后,僅更新RPN 中特有網絡層參數.最后固定共享卷積層,并對Fast R-CNN的全連接層進行細微調整.通過以上操作,將RPN與Fast R-CNN 兩個網絡統一一致,相同的卷積層在兩個網絡中得到共享.

3 實驗數據與環境

3.1 原始數據獲取與樣本數據集

為保證樣本集能充分涵蓋不同建筑結構、建筑習俗的村鎮房屋類型,最大限度增加深度學習模型泛化性,采用擴大研究區面積并隨機選取的原則.沿山東境內郯廬斷裂帶兩側10～20 千米,劃定54 行5×5 千米正方形樣本格網,每行格網隨機選取一個格網,并在其內部隨機選取一個村鎮.根據測區環境,使用飛馬F200(原始影像分辨率5456×3632)或大疆精靈(原始影像分辨率5472×3648)無人機進行傾斜攝影航測.實際航測區域,如圖2所示.

圖2 傾斜攝影作業區

因航測現場存在平原、丘陵、山地多種地形,及無人機型號、電量等客觀條件限制,原始航片地面采樣間隔GSD 不一,但最大不超過3 cm.共獲取54 個村鎮駐地的航空遙感影像,原始影像集共計732 GB.

由于無人機傾斜攝影可以從目標正視、左視、后視、后視、俯視5 個方向進行拍攝,故從每個視角各隨機選取1100 個樣本,組成樣本集,共計5500 個樣本,如表1所示.

表1 樣本數據集組成

3.2 實驗平臺

本次實驗使用的處理器CPU Intel i7-8700K,顯卡GPU NVIDIA GTX1080Ti,固態硬盤512 GB,內存32 GB.在開源Caffe (Convolutional architecture for fast feature embedding)深度學習框架[20]上,采用Python 作為編程語言,實現本文磚(混)木房屋識別Faster RCNN 算法.

3.3 實驗結果

本文從多個視角對磚(混)木房屋目標進行檢測,房屋訓練集圖片的大小統一為200×200,并且將檢測出的房屋用紅色框標出,為了驗證該方法檢測準確度,將檢測框概率的閾值設置為0.81,同時避免部分和待檢測目標關聯度較小的區域參與計算,圖像中低于0.81 閾值的目標不被框選.雖然RPN 網絡篩選出的候選區域數量較少,但若全部候選區域都進行分類判定,容易引起過擬合現象.本實驗中,檢測框上部的藍色區域即表示房屋的概率大小,被標注出的房屋目標概率總體高于0.88,如圖3所示.

圖3 磚(混)木房屋識別結果

通過實驗結果可以看出,在拍攝不同角度、光照條件、復雜背景等條件下,絕大多數磚(混)木房屋已被標記識別,但存在少量的漏檢、誤標問題發生.小部分土木、石木結構房屋被標記,被樹木、高大建筑遮擋的房屋不能得到很好的識別.

3.4 實驗結果精度評價

采用平均準確率Ap(Average precision)作為磚(混)木房屋檢測的評價指標,相關計算公式如下:

其中,Pre—精確率,Rec—召回率,TP—被正確劃分為正樣本的數量,FP—被錯誤劃分為正樣本的數量,FN—被錯誤劃分為負樣本的數量.Ap平均精度,平均精度代表模型識別效果,其值越大效果越好,反之越差.

精確率-召回率曲線,平均精度是對精確率-召回率曲線進行積分,曲線的橫軸召回率表示分類器對正樣本的覆蓋能力,縱軸精確率表示分類器預測正樣本的精準度,結果如表2所示.

表2 精度評價結果

綜上研究可知,本文采用的Faster R-CNN 在村鎮磚石木房屋識別應用中取得了良好的效果,在復雜背景目標識別過程中體現了模型較強的魯棒性.隨著對測試集數據進行,人為降低目標大小、提高目標遮擋率等操作,模型識別精度隨之降低,暴露了模型在弱小目標識別、強遮擋等方面的缺陷.同時,針對本文所用訓練數據集、驗證數據集采用Faste R-CNN 進行對比實驗,提升了0.2%左右準確度.

4 結論與展望

本文雖取得了一定的研究成果,但在此研究方法的基礎上,可進一步豐富訓練樣本、改進算法、優化模型參數.提高傾斜攝影圖像建筑物目標分類能力,實現自動識別多類建筑結構,達到產出區域性地震災害風險報告的中長期目標.

推動深度學習技術在地震行業應用,是提升防震減災能力的有力抓手,更是新時代防震減災工作的內在要求.震前和震后開展的各項現場工作,離不開房屋結構數據的支持,本研究可起到減少人力成本,提供精準輔助決策數據的關鍵作用.