融合形態學特征與DeepLabV3+模型的建筑垃圾自動化檢測

采用DeepLabv3+模型進行建筑垃圾識別，并結合形態學算法進行形狀提取作為輔助分類信息，用于標簽制作和模型分類。研究中采用消融實驗和對比分析，研究結果表明：采用形態學處理的特征可快速制作標簽，加入形態學特征的DeepLabV3+可改進建筑垃圾識別的精度。總精度、平均交并比、平均召回率、KAPPA系數分別提高：2.87%、4.56%、1.38%、4.8%。

建筑垃圾； 形態學； 深度學習； DeepLobv3+

TP751A

［定稿日期］2023-04-12

［基金項目］四川省高等學校重點實驗室資金項目（項目編號：SC-QWLY-2021-Y-02）

［作者簡介］劉丹丹（1972—），女，博士，教授，研究方向為空間信息及智慧城市。

0 引言

建筑垃圾是指在生產、建設、拆除和維修過程中產生的廢棄混凝土、廢棄土、廢棄砌筑物，以及工程中由于人為或自然原因產生的垃圾。隨著我國城鎮化進程的加快，城市建筑垃圾的產生量不斷增加。建筑垃圾的科學管理是當前城市管理的重要方面之一，而建筑垃圾堆積區的認定是建筑垃圾科學管理的前提。由于建筑垃圾分布廣泛且不規則，容易與周圍的地物混淆，因此識別建筑垃圾的位置信息是一個很大的挑戰，遙感技術特別是運用無人機已成為獲取建筑垃圾數據的重要來源。建筑垃圾成分復雜，光譜特征也復雜。“異物同譜，同物異譜”現象在建筑垃圾、周邊建筑物、裸露地物等地物之間普遍存在，在識別過程中造成混亂［1］。因此，在自動識別分類中僅靠光譜特征難以識別建筑垃圾堆放區。眾多學者嘗試建立特征庫、波段運算等方法支持下進行建筑垃圾識別［2-3］。深度學習是遙感自動識別分類的主要算法之一，隨著深度學習方法的飛速發展，ResNet［4］等許多性能優異的卷積神經網絡，應用于建筑垃圾識別及垃圾場的檢測中。DeepLab系列網絡在2015年由Chen等人提出，2018年提出的DeepLabV3+網絡，是谷歌公司在DeeplabV 基礎上將金字塔池化模塊（ASPP）與編碼器-解碼器結構相結合一種新的語義分割模型，是現今最優秀的算法之一。文獻［5］對DeepLabV3+在建筑垃圾的識別中，進行了實驗，平均交并比達到了82%。該網絡采用了Encoder-Decoder體系，并強化了Decoder，使模型整體在語義分割的邊緣能夠取得良好效果，但是DeepLabV3+對輸入圖像進行特征提取時，需要進行多次下采樣操作，在相鄰區域中存在易混淆類別像素的準確預測問題［6］。為解決該問題，本文采用形態學特征提取方法，采用形態學處理中開運算-閉運算方法增強圖像的輪廓信息，輔助標簽的制作并用來強化該骨干網絡的提取特征，實現快速有效提取建筑垃圾的邊界信息，實現建筑垃圾標簽的快速制作。將該邊界信息作為建筑垃圾分類的一個通道，進行建筑垃圾分類，以實現建筑垃圾的高效識別，為城市建設中建筑垃圾的精準識別提供理論依據。

1 研究方法

1.1 二值開運算與閉運算

數學形態學（Mathematical Morphology）［7］是圖像處理的基礎方法之一，以集合論和拓撲學為基礎，是一種高效的數據分析與處理的方法，其中的膨脹和腐蝕運算是對二值圖像進行邊緣提取的基本方法，而兩者按照運算的先后順序組成的開運算或閉運算的算法，又可以進行組合運算，本文采取先進行開運算，后進行閉運算的方法，以增強圖像的特征。

開運算運用同一結構元素對圖像先腐蝕再膨脹。開運算通常用來消除小對象物體，在纖細點處分離物體，平滑較大物體邊界的同時并不明顯改變其體積。開運算在粘連目標的分離機背景噪聲（椒鹽噪聲）的取出方面有較好的效果。其數學表達為式（1）。

A·B=（AB）B（1）

閉運算運用同一結構元素對圖像先膨脹再腐蝕，它的主要作用是填平小湖（即小孔），彌合小裂縫，而總的位置和形狀不變。其數學表達為式（2）。

A·B=（AB）B（2）

式（1）、式（2）中，B為結構元素，A為圖像，為腐蝕，為膨脹。

1.2 深度學習模型

DeeplabV3+網絡以DeeplabV3作為編碼器，同時又添加解碼器，該模型采用Xception作為主干特征提取網絡，后連接帶空洞卷積的金字塔池化模塊（ASPP）進行多尺度信息提取。ASPP模塊包括一個1×1卷積、3個采用不同空洞率（例如6，12，18）的3×3空洞卷積和一個全局平均池化操作，在減少下采樣操作和不增加網絡參數的基礎上保證了空間分辨率，增大了感受野，獲取多尺度信息并進行特征融合以更好地實現對多尺度目標分割；通過1×1卷積對通道進行降維處理并將降維后的特征圖利用雙線性插值方法進行4倍上采樣后傳入Decoder中，在Decoder內與主干特征提取網絡提取的低層次特征融合，恢復目標的邊界信息；最后利用3×3卷積恢復空間信息和4倍雙線性插值上采樣獲取圖像的語義分割結果。DeeplabV3+網絡結構如圖1所示。

2 實驗與分析

2.1 數據預處理與標簽制作

本次實驗數據來源某地區無人機遙感RGBA影像，影像大小為54 647×42 881像素，影像空間分辨率為l m。在對影像進行幾何校正、輻射校正等預處理后，采用經驗閾值法確定閾值，對圖像進行二值化處理。采用形態學操作，先開運算去除背景噪聲，然后繼續閉運算填充目標內的孔洞，獲得研究區域的形態學處理后的二值化特征圖，其結構元素的選擇根據影像的實際情況進行嘗試，尺寸大小確定為3×3。實驗的流程如圖2所示。

將標簽確定為建筑垃圾類和非建筑垃圾類，標簽大小為256×256，并將形態學處理得到的特征，作為標簽制作的輔助信息。考慮到標簽的樣本數量有限導致現過擬合現象，研究中對訓練樣本增強：將制作好的每個標簽按照順時針旋轉每60°、鏡像、尺度變換、增加椒鹽噪聲，增大標簽的種類及數量，以提升后續模型的泛化能力。經過處理，共制作標簽14 569張。采用將建筑垃圾數據集按照7∶2∶1的數量比例隨機分配給訓練集，驗證集，測試集。

2.2 實驗過程

使用英偉達的GPU作為運算平臺，PyTorch深度學習框架。在網絡訓練過程中，使用Adam優化器對模型進行優化，初始化學習率為0.000 1。對上述模型進行120輪次的迭代訓練，得到各模型訓練過程的精度和損失值的變化曲線，如圖3和圖4所示。此外針對建筑垃圾數據集類別不平衡問題，引入加權損失函數，給予建筑垃圾、非建筑垃圾與背景類不同的權重，提高模型對建筑垃圾的識別能力。實驗表明：DeeplabV3+網絡的最優學習率為0.007，最優batch-size為32。模型訓練結果比較如下圖，其中灰色線為不加入形態特征的DeeplabV3+分類，黑色線表示加入形態特征的DeeplabV3+分類，可以看出，二者的損失值隨迭代次數的增加而減少，精度隨迭代次數的增加而增加，當訓練迭代次數超過60次時，損失值和精度趨于穩定。但加入形態特征的DeeplabV3+網絡收斂速度更快，后期波動更小。這是由于加入了形態特征，使網絡學習和抗干擾的能力加強，加快了收斂速度。

建筑論壇與建筑設計劉丹丹， 袁清洌： 融合形態學特征與DeepLabV3+模型的建筑垃圾自動化檢測為進一步分析融合形態特征的DeeplabV3+網絡的性能，研究進行對比實驗，設置采用經典的語義分割模型DeeplabV3+進行分類比較。量化分析與可視化表達證明本文提出的方法能夠有效改進建筑物多尺度幾何邊界特征，DeeplabV3+模型訓練時間效率低，且分割邊緣不準確。

2.3 模型評價

本實驗選取分類總精度（PA）［8］、平均交并比（mlou）［8］、平均召回率（mRecall）［8］、KAPPA系數［9］等指標評價網絡分割性能。結果比較如表1所示，加入形態特征的DeeplabV3+的建筑垃圾識別，總精度為94.11%，平均交并比為86.41%、平均召回率為90.25%、KAPPA系數為92.20%，上述指標值均優于不加入形態特征的DeeplabV3+網絡，其提高的百分比依次為：2.87%、4.56%、1.38%、4.8%。

進一步對識別的結果進行分析，如圖5所示，淺灰色表示為建筑垃圾，深灰色表示為非建筑垃圾。圖5（a）、圖5（b）、圖5（c）、圖5（d）分別表示原圖、標簽、不加入形態特征的DeeplabV3+、加入形態特征的DeeplabV3+。黑框內標出了兩種方法識別的建筑垃圾與標簽的對比。加入形態特征后，當非建筑垃圾為房屋和道路時，可以有效識別建筑垃圾與非建筑垃圾的邊界信息，但是也存在一些建筑垃圾誤判現象，產生誤判的主要原因有二，一是建筑垃圾的影像特征較復雜，容易與周圍裸露的土壤、建筑物混淆，二是訓練樣本在樣本數量上存在較大的提升空間。

3 結論

為高效準確識別建筑垃圾，以滿足城市環境的精細化管理，本文采用形態學特征提取的開運算和閉運算方法，將建筑垃圾的輪廓進行特征提取，可快速高效制作標簽，同時將該形態學特征作為分類輔助信息參與DeeplabV3+網絡中，進行建筑垃圾的識別，可有效DeeplabV3+改善提高建筑垃圾的識別精度，總精度、平均交并比、平均召回率、KAPPA系數值均優于不加入形態特征的DeeplabV3+網絡，其提高的百分比依次為：2.87%、4.56%、1.38%、4.8%。實驗表明，該方法高效并有效提高識別精度，可為城市的建筑垃圾精細化管理提供參考依據。

參考文獻

［1］ 李思琦.基于遷移學習的多源遙感影像建筑垃圾識別［D］.北京：北京建筑大學，2020： 15-19.

［2］ 黃惠玲，韓軍，吳飛斌，等.建筑垃圾的顏色特征提取與分類研究［J］.光學與光電技術，2018，16（1）：53-57.

［3］ Zhuang J， Yang J， Fang H，et al. Recognition of Concrete and Gray Brick Based on Color and Texture Features［J］.Journal of Testing and Evaluation，2019，47（4）：20180523.

［4］ 許文稼，蔣慶斌，劉鋼洋.基于機器視覺和深度學習的建筑垃圾智能識別研究［J］.電子器件，2022，45（6）：1489-1496.

［5］ 劉小玉，劉揚，杜明義，等.基于DeeplabV3+的建筑垃圾堆放點識別［J］.測繪通報，2022，No.541（4）：16-19+43.

［6］ 胡偉，高博川，黃振航，等.樹形結構卷積神經網絡優化的城區遙感圖像語義分割［J］.中國圖象圖形學報，2020，25（5）：1043-1052.

［7］ 王鵬程.基于形態學的遙感圖像河流分割方法研究［D］.蘭州：蘭州交通大學，2021.

［8］ 任鴻杰，劉萍，岱超，等.改進DeepLabV3+網絡的遙感影像農作物分割方法［J］.計算機工程與應用，2022，58（11）：215-223.

［9］ 李婧. 基于深度學習的極化SAR圖像去噪與分類研究［D］.阜新：遼寧工程技術大學，2021.