基于小樣本的無人機影像城市工地環境要素提取

徐如意 王蘭洲

（1.河南理工大學 測繪與國土信息工程學院，河南 焦作 454003；2.河南省數聯測繪科技有限公司，河南 鄭州 450052）

1 引言

隨著城市化進程的加快，我國城市建設高速發展，城市及城市周邊的建筑工地大量增加，由建筑工地施工造成的環境污染，已經成為霧霾現象加重、PM2.5指數超標的主要原因[1,2]。因此，建筑工地的環境管理對治理大氣揚塵污染有著決定性影響。目前工地環境治理，主要通過噴淋設施和安裝防塵網等方式進行預防和改善。由于工地環境復雜、工作量大等問題，對于防塵網的鋪設具有局限，對于堆積的建筑材料無法提供及時有效的防塵措施。

無人機遙感影像具有快速獲取、高精度、廣視角等特點，利用相關方法能夠獲取關鍵信息，結合地理信息平臺，提供精準的位置服務。近年來，深度學習方法由于能夠自動提取深層抽象特征，在計算機視覺相關領域得到廣泛研究和應用，極大推動了遙感圖像智能解譯[3]。目前，在遙感圖像密集預測、目標檢測、實例分割等細分領域，均有廣泛研究的成熟深度學習模型。例如面向密集預測任務的U-Net[4,5]、DeeplabV3+[6]，面向目標檢測的R-CNN[7]，面向實例分割的Mask R-CNN[8,9]等。以上模型均可應用于遙感圖像地物提取，取得優于傳統方法的效果。

近年來，利用生成對抗網絡（Generative Adversarial Network，GAN）進行對抗學習擴充訓練樣本的思路在遙感圖像解譯領域有著很大潛力[10,11]。GAN 通過深層神經網絡學習圖像本質特征，結合生成器和判別器對抗的博弈過程，可產生和原始標記樣本分布接近的虛擬樣本，這種研究思路給小樣本遙感圖像地物提取問題提供了解決方案。

本文基于城市無人機影像、環保信息、關聯時間和地理位置，采集試驗區工地區域的黃土裸露、建筑材料堆積等多種影響環境的樣本。利用以上方法采集到少量樣本，基于GAN 和SAN 擴充形成樣本數據集，建立工地環境要素的特征模型庫；然后用深層殘差網絡進行特征提取；最后在Mask R-CNN 的基礎上建立能夠準確識別工地環境要素的網絡模型SE R-CNN，實現工地要素提取。本文以河南省某市為例利用無人機巡查采集數據，開展工地環境要素分析，為城市環保的規劃和管理、大氣治理提供幫助。

2 環境要素樣本庫建立

2.1 試驗區域的確定

本文試驗區域為河南省某市，測試數據按照時相信息，選擇兩個不同年份的3 月、6 月、8 月、11 月數據為整個研究的數據集。樣本實際應用效果如圖1所示。

圖1 樣本實際應用效果

城市環境中，基于小樣本的城市工地環境要素提取的主要工作內容包括3 個部分：基礎工地環境要素的定義和樣本標注、基于GAN 網絡的樣本生成、無人機影像工地環境要素提取，提取框架如圖2所示。

圖2 工地環境要素提取框架

2.2 工地環境要素定義與樣本庫建立

（1）工地環境要素。工地環境要素是指在工地建設過程中，通過圖像分析可以獲取的對環境質量具有負面影響的圖像信息。本文利用高精度、多時相的無人機數據，將黃土裸露、建筑材料堆積、建筑垃圾堆積定義為本研究的環境要素。

（2）樣本庫建立。結合數據標簽工具，對城市數據進行全面標簽化。在識別階段，用以消除建筑物、道路、綠地植被等信息的干擾，提高識別精度。城市全要素定義如表1 所示，其中分類8、分類9 為本研究中定義的工地環境要素。人工標記初始樣本集每個類別不超過50個標簽。樣本標注效果如圖3所示。

表1 城市全要素定義

圖3 樣本標注效果

3 樣本庫擴充和環境要素提取方法

3.1 基于GAN 和SAN 的樣本擴充

利用工地環境要素的不規則形狀，在圖像中表現出的顏色和紋理，結合圖像視覺基礎及工地環境的目標特征，采用GAN 網絡方法對工地環境要素的樣本數量進行擴充，數據擴充過程如圖4 所示。

圖4 數據擴充示意圖

3.1.1 GAN 模型

GAN 由兩個網絡組成，生成網絡Generator 和判別網絡Discriminator Generator 負責接收隨機的噪聲z，通過噪聲生成樣本，記為G(z)；Discriminator判定生成的樣本是否真實，接收輸入x，輸出D(x)代表x為真實樣本的概率。其數學表達為公式（1）：

3.1.2 選擇性GAN 模型（SAN）

本研究中，在標注樣本數據集中，由于標注的類別全面，為突出工地環境要素，將分類8、分類9 定義為工地環境要素Gf，利用選擇性對抗網絡Selective Adversarial Networks（SAN），增強其紋理特性。其主體框架如圖5 所示。

圖5 SAN示意圖

本研究定義全要素類別標簽集為全域數據集，類別8、類別9 為子集。Gf是以工地要素的顏色特征、灰度共生矩陣、圖像深度特征構建的特征提取器，用以約束遷移學習的結果表達。

3.2 工地環境要素提取方法

本文在候選區域的卷積神經網絡（mask regionbased convolutional neural network，Mask R-CNN）[12]基礎上，建立能準確識別工地環境要素的網絡模型（Site environment region-based convolutional neural network，SE R-CNN）。 將 深 度 殘 差 網 絡（ResNet50）[3]作為底層的特征提取網絡，并以人工標注3000 張數據集作為目標識別的基礎訓練權重。對于工地環境要素檢測和分割，交并比（Intersection over Union，IoU）＞0.5 為有效分割。依賴Mask R-CNN定位精度高的特性，提升工地要素識別的精準度。本研究設定IoU 為0.7。通過GAN、SAN 增強樣本后，經過遷移訓練得到SE R-CNN 模型的平均精度均值mAP（mean average precision）為85.6%，充分肯定了SE R-CNN 模型對工地環境要素提取的有效性。

4 試驗結果分析

本研究在通過小樣本標注后，利用樣本擴充的方式，結合SE R-CNN 的目標提取驗證。對研究采用的兩種樣本庫擴充方法，進行特征庫構建，然后將人工標定的工地數據集作為真實樣本集，對兩種特征庫提取的工地環境要素結果進行統計和對比，用以評定樣本擴充的有效性和準確性。設Nc為采用本研究算法被正確分類為工地環境要素數量，Nf為被誤檢為工地環境要素數量；Nt為人工標注的工地環境要素數量，因此工地環境要素檢測的定量指標為正確率和虛警率，計算方式如公式（2）和公式（3）：

根據上述評定方法，采用給出的兩種特征庫進行同一方法識別的評定結果，如表2 所示，通過選擇性樣本擴充的工地環境要素特征庫，具有更好的適應性，檢出精度較高。

表2 檢出結果分析

5 結語

針對城市工地環境要素提取，本文建立了小樣本工地環境特征庫，首先利用GAN 和SAN 補充訓練樣本，并增強樣本紋理特性；然后利用ResNet-50 提取深度特征，最后用Mask R-CNN 改進的SE R-CNN 實現要素提取。試驗表明，該方法有效提高了對無人機巡查數據的利用率，增強了環保巡查的精準性和高效性，可為城市環境建設提供參考。后續研究計劃增強工地環境要素的相關特征，提高工地環境要素分割模型SE R-CNN 的泛化能力,利用多時相數據擴展其在變化檢測方向的應用，使工地環境要素特征庫更具實用意義。