基于改進Faster R-CNN的二維圖紙中建筑構件識別方法

周 權， 趙云凡， 鄧雪原,2

(1. 上海交通大學 船舶海洋與建筑工程學院， 上海 200240； 2. 上海市公共建筑和基礎設施數字化運維重點實驗室， 上海 200240)

自2010年以來，建筑業增加值占國內生產總值的比例穩定在7%左右，進入了緩慢發展階段。2019年，我國建筑業房屋竣工面積約40.24億m2，同比下降2.69%，連續三年負增長[1]，間接反映了既有建筑的占比不斷擴大。然而既有建筑的運維管理階段能源消耗巨大。據統計，建筑業的原材料和能源需求占比超過40%，溫室氣體的排放量占1/3[2]，而絕大部分的消耗來源于運維管理階段。另外，我國的既有建筑普遍面臨著資源浪費嚴重、環境負面影響大、工作生活環境不能滿足需求等問題。在“十三五規劃”期間，我國著力推行供給側結構性改革，致力從過去簡單的增量發展模式逐漸向存量更新與運營的模式轉變[3]。因此，為了降低運維管理階段的能源消耗，滿足綠色環保和節能減排的需求，亟需找到有效的方式，通過提高運維管理的效率以解決既有建筑的當前難題。

目前絕大部分的既有建筑是基于紙質的二維圖紙進行設計和建造的，產生的數據有限，僅適用于傳統的運維管理方式。該方式的手段、理念、工具比較單一，必須依靠各種數據表單來進行管理，導致數據庫與圖紙之間的各種信息相互割裂[4]，容易出現溝通滯后和“信息孤島”現象。建筑信息模型(Building Information Model，BIM)[5]技術的出現為解決當前既有建筑所面臨的問題提供了可行的方案。BIM作為建筑信息數字化產物，整合了各個階段所需要的大量數據，便于管理與使用，并支持各方進行信息共享，可有效地提高建筑業的信息化程度[6]。

然而，既有建筑BIM的手工重建是一項費時費力且經濟效益低的工作，主要原因在于數據采集需要付出很大的努力，并且在復雜的數據輸入和建模過程中容易出現人為錯誤，在模型精確度上也難以保證。鑒于此，本文提出一種新的解決方案：基于改進的Faster R-CNN (Faster Region Convolutional Neural Network)目標檢測算法實現二維圖紙中建筑構件信息的自動提取，提高數據采集的效率，從而克服數據采集階段耗時耗力的難題。

1 國內外研究現狀

既有建筑的模型快速重建方法一直以來都是人工智能在土木工程應用的研究熱點[7]。當前的研究工作主要聚焦于非接觸式技術，如激光掃描[8]和攝影測量[9]。

激光掃描可以在很短時間內收集到數以百萬計的點，用來描述建筑的形狀和內部空間，最后利用數據建立三維場景模型[10]。這種技術具備數據獲取速度快、數據量大、傳輸方便等優勢[11]。而基于攝影測量的三維模型重建技術的核心是利用飛行器拍攝高分辨率圖像，經過一定的處理后生成三維模型，具有數據采集速度快、紋理信息豐富、測量位置信息豐富等優點，并且可以隨時進行測量[12]。然而，攝影測量和激光掃描均存在一些局限性。這兩類技術在建模過程中往往需要耗費大量的時間、購買昂貴的設備以及培訓熟練的工人，高成本是阻礙技術推廣的主要原因[13]。其次，激光掃描生成的點云模型經常出現噪點多、數據丟失嚴重等弊端，并且處理噪點的過程繁瑣而耗時[14]。最后，激光掃描只能獲得表面的幾何信息，無法得到建筑的拓撲信息和語義信息[7]。而攝影測量則受限于細節層次低，通常只能獲取建筑外立面元素[15]。

目前，以建筑文檔資料為研究對象的研究也越來越多，該方法能夠更好地平衡成本與精度之間的關系，不僅能得到建筑元素的幾何信息，還能提取一定的拓撲信息和語義信息[16]。例如，Yin等[17]綜述了基于二維掃描圖和CAD圖紙生成三維模型的方法，總結了建模的一般步驟——圖像解析和三維模型生成，提出各步驟所使用的算法，但未進行驗證。Lu等[13]介紹了一種基于CAD圖紙的半自動識別方法，先利用OCR(Optical Character Recognition)技術識別平面圖中的特殊符號以確定結構構件的位置，再利用MATLAB開發的算法來實現構件信息的提取，最后通過案例驗證其有效性。但該方法存在明顯的局限性：需較多的人工干預，無法實現構件信息的自動化提取；識別準確度不高；Gimenez等[18]提出了基于霍夫變換和模式識別提取建筑構件(墻壁、開口和空間)信息的方法，在一定程度上減少了人工干預。此方法涵蓋圖像預處理、特征提取、模式識別和模型建立的全過程，最后還包含模型的驗證階段。然而，此方法的模式識別必須基于一定的假設條件，只能識別特定的線條，且識別的構件種類是有限的。此外，該文章只涉及幾何信息的提取。可以看出，上述研究主要依靠簡單算法來識別建筑元素，效率低且準確性不高。另外，該類識別算法自動化程度低，識別后的結果仍需要大量手工干預。

基于此，本研究從二維建筑平面圖展開，針對二維圖紙中小目標檢測的難點問題，改進了Faster R-CNN目標檢測算法，使其更適用于圖紙中建筑構件的目標識別，從而在識別軸網、墻、門和窗等小目標構件時更具有先進性和魯棒性。首先采用ResNet-101網絡作為特征提取網絡，避免因池化層過多而造成特征信息丟失嚴重；再通過改進錨框、改進非極大值抑制算法等方式降低模型的漏檢率，提高識別的準確率；最后進行案例研究，通過多策略對比分析證明了改進方法的先進性。另外，在文本信息的識別方面，提出了OCR技術識別的一般步驟，也提高了文本信息識別的準確性。

2 研究方法

2.1 圖像預處理

實際上，建筑平面圖包含大量的混亂信息或建筑構件提取過程中的無關信息，這些信息會增加識別難度。圖像預處理的目的是為了消除由掃描本身引起的噪聲和清理冗雜數據并達到后續階段所需的圖像質量級別以及提高識別效率，如去除背景網格、標題和多余的注釋等。圖像二值化利用Python調用THRESH_BINARY全局閾值函數。

2.2 建筑構件目標識別算法結構

基于候選區域的雙步驟框架目標檢測方法的針對性更強、識別準確性更高[19]。該方法將目標檢測分為兩步，先確定候選區域以提取圖片中可能存在的感興趣區域(Region of Interest，RoI)，將所有的RoI作為輸入，使用卷積神經網絡進行特征提取，再進行檢測分類和邊框回歸修正。作為雙步驟目標檢測的代表，Faster R-CNN提出了可生成候選區域的區域建議網絡(Region Proposal Network，RPN)，并使Faster R-CNN和RPN共享基礎卷積神經網絡實現端到端的檢測，在開源的Pascol VOC數據集上驗證了其在速度和精度方面的先進性，并且可用于復雜圖像的特征提取[20]。因此，本文選用Faster R-CNN進行建筑構件的目標檢測，并使用ResNet-101代替傳統的VGG-16進行特征提取，基于ResNet-101的Faster R-CNN的基本框架如圖1所示。

2.2.1 ResNet-101網絡

傳統的Faster R-CNN配備VGG-16網絡作為特征提取過程的共享卷積神經網絡，在高像素、大目標檢測領域已經表現出了優越性。然而，在面對低像素、小目標時，該網絡的檢測效果仍不理想[21]。VGG-16網絡每經過一次卷積都需要進行一次池化，而池化層會將輸入圖像的尺寸壓縮50%，這意味著特征圖像素將會逐漸遞減，導致在深層次特征圖中小目標的信息內容很少，因此該網絡不適用于小目標的檢測項目。

一般情況下，網絡越深，包含的信息和特征越豐厚。但實驗表明，隨著網絡的加深，分類器的效果反而會越差，這是由梯度消失和梯度爆炸所引起的[22]。ResNet網絡引入了殘值塊和“跳躍連接”的核心思想，所提供的思路是在所有的普通網絡中每n層增加一個“跳躍連接”，構成m個殘值塊，ResNet則由這m個殘值塊構成。在小目標的檢測過程中，ResNet能通過“跳躍連接”保留更多淺層網絡的細節信息[23]。ResNet-101的殘值塊結構如圖2所示。核心3×3卷積層先利用1×1卷積層降維以減少參數，再使用1×1卷積層以恢復維數，不僅保持了精度還減少了計算量[22]。

圖2 ResNet-101的殘值塊結構

2.2.2 算法的改進及優化

(1)改進錨框(Anchors)

Anchors是定義在RPN網絡按固定比例(寬度、大小)的預定義框。在遍歷特征圖的過程中，默認情況下為每個點都配備了9種Anchors作為初試的檢測框。Anchors的初始框大小為(8,16,32)，由于二維圖紙中建筑構件均為小目標，在這種情況下容易引起小目標的信息丟失，影響識別的準確率。大尺寸的Anchors使用效率還造成了一定的浪費。因此，針對建筑構件的檢測，可適當降低初始Anchors的大小。

(2)改進非極大值抑制(NMS)算法

在同一張建筑圖中，建筑構件之間可能會存在較多重疊的情況，從而導致感興趣區域之間可能存在很大部分相互重疊。因此，RPN網絡最后的卷積特征層滑動生成的9種Anchor容易出現相互重疊的情況。采用非極大值抑制的目的是剔除冗余框，避免損失函數值的多重計算[24]。經典非極大值抑制算法的實現過程：在邊框回歸的過程中，計算所有RoI的置信度，并以降序的方式排列；取置信度最大的RoI，計算此RoI與其他所有邊框的交并比(Intersection over Union，IoU)；若大于既定閾值，則舍棄該邊框；循環上述步驟，直至遍歷所有RoI。這種不具備彈性的算法容易造成目標的漏檢。另一方面，NMS((Non-Max Suppression)的閾值也不太容易確定，閾值太小會出現漏檢，設置過高又容易增大誤檢[25]。針對上述問題，提出改進的NMS算法，在原始NMS的基礎上引入線性懲罰機制，加入彈性系數K，降低IoU大于既定閾值的置信度，IoU越大則懲罰力度越大。計算公式為：

(1)

IoU(bi,bj)=Am/(Abi+Abj)

(2)

式中：si為當前RoI的置信得分；K為彈性系數，0

2.2.3 評價指標

(1)精確率(Precision)和召回率(Recall)

精確率是指某類被正確檢測出來的建筑構件占所有被識別為該類建筑構件的比例。召回率反映的是某類被正確檢測出來的建筑構件占該類被檢測建筑構件的比例。

Precision=TP/(TP+FP)

(3)

Receall=TP/(TP+FN)

(4)

式中：TP為正確檢測出來的建筑構件數量；FP為背景被檢測為建筑構件的數量；FN為建筑構件被識別為背景的數量。

(2)平均精準度(Average Precision，AP)和所有類別的平均精準度(mean AP，mAP)

AP指Precision-Recall 曲線與x，y軸所圍成的面積，反映的是單個類別的識別率。mAP指對所有類別AP求平均值，反映的是整個分類器平均精準度水平，通常來說mAP值越高，分類器則越好，用于目標檢測的效果越佳。即

(5)

(6)

式中：p(r)為Precision-Recall曲線方程，0≤r≤1，0≤p(r)≤1；N為驗證集個數。

2.3 文本信息目標識別算法結構

由于建筑圖紙的特殊性，其包含了豐富的文本信息，包括標注、構件名稱、空間屬性以及標題等。這些文本信息對于構建完整的BIM來說是必要的，因此需探究文本識別的有效方法。

Python-tesseract是Python的OCR工具，能夠識別并讀取嵌入圖像中的文本，是谷歌開發并開源的圖像文字識別引擎，具有支持圖像類型多、識別準確性高、識別速度快等優點[26]。本研究將中文字庫載入到Tesseract中用于文本信息識別，識別的一般步驟見圖3。

圖3 OCR文本識別步驟

3 案例驗證與分析

3.1 案例設置

本研究的實驗硬件條件：Intel i7-9700F的CPU、16G+16G的雙通道內存以及RTX2080ti的GPU；軟件條件：tensorflow 2.0架構下Ubuntu18.04的深度學習環境。本實驗基于深度學習領域的遷移學習思想，利用改進的Faster R-CNN目標識別算法和OCR技術完成本次案例研究。本次案例選取公用建筑，包含不同的建筑種類，如小學、實驗樓和辦公樓等。

3.2 實驗過程

3.2.1 訓練準備

根據上述公用建筑的特征，自行構建數據集512張，圖像大小固定為1050×750，格式均為PNG。基于建筑圖紙中常規幾何形狀的建筑構件，本實驗的預定義構件種類包含軸網(axis)、墻(wall)、窗(window)、單開門(door_s)、雙開門(door_d)、蹲便器(sanitary_t)、洗手盆(sanitaty_w)和小便池(sanitaty_m)共八類，預定義構件也是本次實驗的識別對象。每一張圖像經預處理后采用labelImg工具進行手工標注，標注得到相應的XML文件。自定義標注的規則：假設一面墻除了已經識別的門窗以外，則其它未識別的連續部分均是墻體。標注的規則與流程如圖4所示。

圖4 labelImg標注規則及流程

此外，為了降低因數據集過少而引起過度擬合的風險，采用OpenCV的imgaug圖像數據增強庫進行離線增強，在原始基礎上擴大5倍，函數參數設置見表1。本次實驗按照5∶1的比例劃分為訓練集和測試集。

表1 數據增強的函數參數設置

3.2.2 訓練參數設置

首先，初試化經ImageNet數據集預訓練的 ResNet-101網絡權重參數。其次，設置RPN網絡。將Anchors初始框大小設置為(8,16,32)，長寬比例∈{1∶2,1∶1,2∶1}；IoU閾值取0.7；重疊分類閾值設置為0.5，輸出的RoI數量取2000個，并篩選256個RoI進行反向傳播；網絡訓練采用隨機梯度優化方法，總迭代次數設置為50000次，初始學習率設置為0.001，在第35000次迭代后將學習率設置為0.0001。最后，設置動量優化器的優化值為0.9。

3.2.3 訓練執行與模型測試

Faster R-CNN采用交替訓練的方式，分別對Faster R-CNN網絡和RPN網絡訓練，保存模型。訓練結束后，調用Faster R-CNN測試模塊，在預先劃分好的測試集中對模型進行測試，得到各構件種類的AP值與所有構件的mAP值。

3.3 實驗結果分析

3.3.1 Faster R-CNN識別部分

為了更好地證明本研究方法對檢測結果的準確性，本節探究不同的實驗策略對實驗結果的影響。首先研究ResNet-101網絡對于小目標檢測效果的影響，對比了基于VGG-16檢測模型的實驗結果。考慮比較的公平性，采用控制變量法，除了網絡選取的不同，數據集、訓練步驟及參數設置均保持一致，50000次迭代下的實驗結果見表格2。基于表2的訓練結果，兩種網絡的識別效果圖如圖5所示。

圖5 兩種網絡的效果圖/mm

表2 50000次迭代下不同特征提取網絡的檢測效果比較(局部構件) %

由表2可知，與VGG-16網絡相比，ResNet-101網絡的mAP提升了1.6%，且各類建筑構件的檢測效果均有一定的提升。另外，通過兩種網絡的效果圖對比可知，與ResNet-101相比，VGG-16中存在目標丟失的情況，且santary_w的準確率較低。這證明了ResNet-101網絡在小目標檢測中更具有優越性。

其次，基于ResNet-101網絡，通過不同的算法改進策略進一步比較檢測效果。根據錨框和NMS的參數設置不同，訓練模型分成A，B，C，D四個模型，其中D模型采用Faster R-CNN的原始參數。50000次迭代下的實驗記錄如表3所示。

表3 50000次迭代下不同改進策略組合的檢測效果比較

由表3可見，A模型的mAP最高，即錨框大小設計為(4,8,16)和K取1.0組合的檢測效果最佳。與采用(8,16,32)錨框的B模型相比，A模型的mAP提升了3.7%，且各類構件的精確率均有一定提升，這證實了合適的錨框大小能夠提升模型的檢測效果。C模型下調了K值，增大了懲罰力度，導致mAP有輕微下降，說明懲罰力度會影響到模型的精準度，懲罰力度過大反而會降低精準度。最后，B模型的mAP較原始Faster R-CNN的D模型提升了2.9%，這證明了改進的NMS算法對目標檢測的精準度也有一定提升。

綜上所述，作為本研究方法的代表，A模型基于ResNet-101網絡并通過改進錨框和NMS算法，在建筑構件的檢測上表現最為優越，從而充分證明了本研究方法在建筑構件上的先進性。圖6展示了A模型的目標檢測效果圖， 表4列舉了部分目標識別結果。

表4 目標圖像的部分識別結果

圖6 A模型的目標檢測結果示例/mm

3.3.2 OCR識別部分

上述目標圖像執行檢測后，需進行下一步OCR文本識別。先對目標圖像預處理，如反差色、統一字體、剔除干擾信息等，再將中文字庫載入Tesseract，同時參數設置如下：lang設置為“chi_sim”，config賦值為“—psm6”，output類型取“string”。部分文本識別結果見表5。

表5 目標圖像的OCR識別結果

4 結論與展望

本文提出了基于二維圖紙的建筑構件識別框架，利用改進的Faster R-CNN目標檢測算法自動提取建筑構件信息，并利用OCR技術提取文本信息。在Faster R-CNN算法方面，針對二維圖紙中建筑構件目標相對較小的特征，先利用Resnet-101網絡代替傳統的VGG-16網絡，同時通過調整Anchors、優化NMS算法等方式改進Faster R-CNN，使得改進后的Faster R-CNN更適用于建筑構件的識別。也通過案例研究和結果分析，驗證了基于本研究方法的模型在小目標檢測上具有先進性，最佳的mAP達93.8%。在OCR文本識別方面，利用開源的Tesseract進行建筑圖紙的文本識別，也具有很好的效果。從應用價值的角度，本研究方法在建筑構件的目標識別上檢測效果較好，能夠實現構件信息的自動提取，可為后續BIM的重生成提供數據支持。另外，本研究方法克服了激光掃描和攝影測量的局限性，在經濟方面具有可行性。綜上，本文所提出的研究方法為既有建筑的BIM重建開拓了新的思路，在運維管理方面上將具有廣泛的應用前景。

然而，本文的研究還處于初步階段，當前工作展望如下：

(1)本文實驗只針對八類預定義構件類型進行識別研究，未覆蓋到所有的建筑構件類型，后續將進一步增加預定義構件類型的數量，以擴大識別的構件范圍；

(2)由于構件類型和構件坐標由改進的Faster R-CNN獲取，而構件名稱和尺寸信息由OCR得到，需將兩類結果進行匹配，因此需進一步研究信息匹配算法；

(3)目前只聚焦于二維平面圖，因此筆者下一步將繼續研究對立面圖的識別。