基于數字圖像處理技術的建筑預埋件無人化識別技術*

吳杭姿,韓立芳,楊 燕,黃青隆

(中國建筑第八工程局有限公司,上海 200122)

0 引言

經過改革開放四十多年的發展,我國的土木工程建設逐漸從小型化、簡單化向大型化、復雜化轉變,所面對的施工項目普遍具有工程量大、結構復雜的特點。龐大、復雜的工程除了增加建設單位的施工難度外,也給建成后的施工質量把控帶來諸多挑戰。

為保證項目的施工質量,施工質量檢查是必不可少的一個環節。在眾多施工質量檢查中,由于預埋件的施工質量直接影響建筑工程的施工進度、結構安全和建筑使用,因此對預埋件的位置及數量需牢牢把控[1]。與鋼板、螺栓、連接埋件等結構預埋件不同,線盒、接線管等建筑預埋件雖對結構安全影響較小,但其少安、錯安將對建筑的使用功能產生較大影響,因此施工過程中需對相關埋件的數量、位置等進行檢查。

但隨著當前施工項目規模的逐漸變大,建筑預埋件數量多、位置分散成為常態,這導致傳統人工檢查耗時費力、效率低下。與此同時,隨著計算機技術的快速發展,數字圖像處理技術憑借其高效、準確、非接觸等優勢,被廣泛應用于構件特征識別[2]、構件表面缺陷識別[3]、混凝土裂縫檢測[4]、結構損傷檢測[5-6]等無人化、非接觸檢測中,并且都取得了較好效果。這為采用數字圖像處理技術進行建筑預埋件識別和統計提供了思路。

同時,在眾多圖像處理技術中,卷積神經網絡可快速捕獲圖片的局部特征,在數字圖像識別領域具有準確率高、識別速度快等優勢,大力推動了數字圖像處理技術在橋梁工程[7]、混凝土工程[8]、隧道工程[9]等土木工程領域的應用。

基于此,本文提出了一種基于數字圖像處理技術的建筑預埋件識別方法,采用卷積神經網絡建立了建筑預埋件識別模型。經實際應用表明,該模型可快速從待檢對象的圖像或視頻影像中完成對建筑預埋件特征的分析與統計,實現建筑預埋件的高效、無人化檢查。

1 樣本準備

1.1 采集過程

在本文研究中,主要針對建筑常見的預埋件進行識別,如開關預埋盒、電控箱預埋盒、空調洞口管等,并對識別數量進行統計。

因此,為了更好地對建立的神經網絡進行訓練,本文從不同項目中收集了共600張建筑預埋件圖像,埋件具體形式如圖1所示。

圖1 典型建筑預埋件

1.2 圖片預處理

針對所采集的預埋件圖片,采用Mosaic方法進行數據增強,以此進一步擴大樣本中涵蓋的預埋件特征。Mosaic數據增強算法通過將多張圖片按一定比例組合成一張圖片,實現模型在更小范圍內識別目標的目的。

本文根據Mosaic數據增強算法,將4張任意大小的目標圖片,經隨機裁剪、縮放后拼接為一張圖片,具體步驟如圖2所示。

圖2 Mosaic數據增強算法

該方法主要包括以下4步:①確定待拼接圖像大小,并隨機確定一個圖片拼接基準點坐標(xc,yc);②隨機選取4張圖片,并根據基準點進行切割,分別經過適當的尺寸調整和比例縮放后,放置在指定尺寸大圖的左上、右上、左下、右下位置;③根據每張圖片的尺寸變換方式,將映射關系對應到圖片標簽上;④依據指定的橫縱坐標對大圖進行拼接。處理超過邊界的檢測框坐標。

采用Mosaic數據增強算法后,可增加數據多樣性、增大樣本總量,同時增強模型魯棒性,混合多張具有不同語義信息的圖片,可讓模型檢測超出常規語境的目標。

2 建筑預埋件識別模型搭建

2.1 卷積神經網絡結構搭建

卷積神經網絡的主要構成部件包括輸入層、卷積層、激活層、池化層、全連接層、輸出層等,是人工智能發展的最新成果之一,能很好地解決以圖像識別為代表的復雜感知任務。

根據識別目標,構建如圖3所示卷積神經網絡結構,圖中表示特征圖跳躍相加,表示特征圖跳躍拼接,不同子模塊的相關信息如表1所示。

表1 子模塊相關信息

圖3 卷積神經網絡結構

在上述卷積神經網絡結構的基礎上,圖片數據首先經主干網絡7次采樣,隨后對采樣進行特征融合,最后卷積輸出32倍下采樣的特征圖,具體內容為30×22網格及不同網格內的預測信息(5+c):x,y→w,h→confidence→C1,C2,…,Cn。其中,x,y為網格中心的橫坐標和縱坐標(以該網格左上角為原點,并標準化),w,h為檢測框寬度和長度(標準化后取對數),confidence為該網格存在物體的置信度,C1,C2,…,Cn為不同物體類別存在性所對應的標簽(存在該目標為1,不存在為0)。

在搭建上述卷積神經網絡后,采用所形成的圖片樣本對模型進行訓練。在訓練過程中,考慮坐標損失Econtrol、置信度損失Econ和計算分類損失Eclass,并將三者之和作為最終的模型訓練收斂性判別,即損失函數Loss。Loss的計算公式如式(1)所示,其中坐標損失采用IoU(交并比)計算,置信度損失采用MSE(均值平方差)計算,分類損失采用Focal計算。

Loss=Econtrol+Econ+Eclass=

[1-api(c)]·bpi(c)γ·ln[1-bpi(c)]}

(1)

最終,將經過預處理的圖片輸入卷積神經網絡進行訓練,通過20個迭代輪次,模型的損失函數Loss趨于穩定,預測準確率可達到98%。

2.2 預埋件識別

通過攝影、攝像設備獲取待測對象圖片,進一步應用上述訓練得到的建筑預埋件識別模型可實現對建筑預埋件的識別。具體過程包括圖片前處理、卷積神經網絡預測輸出、識別結果后處理。

首先,獲得待檢測圖片或實時視頻的單幀圖片后,對圖片進行前處理。具體地,需將圖片調整為灰度圖,并將圖片長、寬尺寸(像素)調整為128的倍數,同時將像素值標準化。

其次,將述處理后的圖片數據輸入所搭建的卷積神經網絡模型,最終經神經網絡計算輸出30×22網格及對應的網格內的預測信息(5+c)。

最后,基于上述卷積神經網絡模型的輸出結果,遍歷每個網格,去除置信度較低的結果,對剩余結果進行NSM(非極大值抑制)去重,最終將去重后的結果(預測框)繪制在原圖作為預埋件的位置警示,實現預埋件識別及顯示的目標。

3 建筑預埋件的無人化識別技術

本文通過配置相關的機器視覺元件、移動設備及終端顯示設備,形成了1臺可移動式建筑預埋件識別機器人(見圖4)。

圖4 基于建筑預埋件識別模型的可移動式機器人

為保證機器人的自主行走,機器人的行走機構采用精準控制的四輪差速驅動控制方式。該控制方式通過性強、轉彎半徑小、越障能力強,可保證設備在一般室內環境穿梭自如,其中4個輪子可獨立控制轉速,并配置獨立懸掛以減小設備振動。具體行走機構如圖5所示。同時,為實現設備測量過程中的自主導航、自動避障,在機器人中嵌入了基于地圖信息的激光雷達導航技術。機器人內部配備的導航模塊可接收路線信息,然后以二維激光雷達作為主傳感器,在特定的硬件平臺上,自動控制安有輪驅裝備的機器人沿既定導航路線行走,到達指定任務定位點;之后通過任務調度模塊通知外部設備執行測量任務。在機器人行走過程中,激光雷達實時探測周圍的障礙物信息,生成規避動態障礙物的路徑或緊急避障的速度指令。在上述硬件配置下,機器人即可實現自主行走。

圖5 機器人行走底盤

基于此,將建筑預埋件識別模型內嵌至機器人內,通過機器人配備的面陣3D相機采集待檢測工程的圖像信息,然后利用卷積神經網絡模型進行識別和定位。當識別模型識別到預埋件后,將采用即時拍照條留存的方式進行孔洞位置的記錄,待測量項目結束后通過留存的圖像信息匯總最終的埋件數量,實現建筑預埋件的無人化識別。

4 應用與驗證

進一步地,本文將上述機器人應用于實際項目中,以此驗證機器人對建筑預埋件的識別效果,進而評判建筑預埋件識別模型的有效性。

本文將上述裝備應用于海鹽縣理工學校職教中心項目。該項目占地面積約342 352m2,項目包括中職園區、高職園區、競技體育場館,效果如圖6所示。

圖6 項目效果

在該項目中,室內裝修工程量較大,安裝的開關預埋件數量較大,這意味著預埋件檢查工作量較大。因此,在此背景下,將本文基于數字圖像處理技術的建筑預埋件無人化識別技術應用于該項目。此次應用中,主要圍繞項目中建筑形式標準的宿舍樓開展,其中宿舍樓主體已完成施工,進入室內裝飾階段,且墻內預埋件暫未進行處理。

應用時,將項目待測場景的工程圖紙上傳至機器人,并自動執行任務規劃。隨后利用機器人的自動行駛功能,實現了對待測項目不同墻體的無人化檢測目標,實際檢測過程及檢測結果如圖7～9所示。由圖8可看出,本建筑預埋件識別技術可針對機器人采集的圖像信息對預埋件進行有效識別并對位置進行標識(圖中綠色方框);同時,如圖9所示,對于系統識別出的預埋件位置及數量,該技術可直接在交互終端予以反饋(圖中文字信息,預埋件:1)。

圖7 墻體預埋件無人化檢測過程

圖8 墻體預埋件檢測結果

圖9 交互終端與識別數量統計

經應用表明,本建筑預埋件識別技術可有效識別埋件,同時通過內嵌的預埋件統計模塊可實現對預埋件數量的自動化統計。整個識別過程快速、自動,無須人為參與,大大減少了預埋件檢查工作量。

5 結語

當前施工項目規模逐漸變大,導致施工現場建筑預埋件數量大幅度增多、位置分散。上述背景導致施工質量檢查過程中,人工檢查耗時費力、效率低下。為此,本文提出了基于數字圖像處理技術的建筑預埋件無人化識別技術。在技術形成過程中,首先通過搭建并訓練形成了建筑預埋件識別的卷積神經網絡模型,隨后開發了一款可移動式機器人,并將預埋件識別模型內嵌其中,實現了對建筑預埋件的無人化識別。經實際應用檢驗,建筑預埋件無人化識別技術可有效實現對建筑場景中預埋件的檢測,并實現對預埋件數量的自動化統計,大大提高了預埋件安裝的質量檢測效率。