基于計(jì)算機(jī)視覺(jué)的建筑施工期臨時(shí)結(jié)構(gòu)損傷識(shí)別方法

梁振宇，華嘉皓，陳浩龍，鄧逸川,2

基于計(jì)算機(jī)視覺(jué)的建筑施工期臨時(shí)結(jié)構(gòu)損傷識(shí)別方法

梁振宇1，華嘉皓1，陳浩龍1，鄧逸川1,2

(1. 華南理工大學(xué)土木與交通學(xué)院，廣東 廣州 510640；2. 亞熱帶建筑科學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510640)

建筑施工臨時(shí)結(jié)構(gòu)是施工現(xiàn)場(chǎng)的事故主要風(fēng)險(xiǎn)源。以往的基于振動(dòng)的臨時(shí)結(jié)構(gòu)監(jiān)測(cè)方法依賴于在預(yù)先分析確定的監(jiān)測(cè)關(guān)鍵部位放置的加速度傳感器。但由于臨時(shí)結(jié)構(gòu)存在構(gòu)件搭設(shè)不規(guī)范、施工現(xiàn)場(chǎng)不確定性等因素，通過(guò)有限元分析等手段得到的監(jiān)測(cè)關(guān)鍵部位可能與實(shí)際情況相差較大，存在不確定性。為此提出一種基于歐拉運(yùn)動(dòng)放大算法的臨時(shí)結(jié)構(gòu)損傷識(shí)別方法，充分利用計(jì)算機(jī)視覺(jué)技術(shù)的全域覆蓋及監(jiān)測(cè)高效的優(yōu)點(diǎn)。采用數(shù)碼攝像機(jī)采集臨時(shí)結(jié)構(gòu)的數(shù)字圖像序列，經(jīng)過(guò)基于相位的歐拉運(yùn)動(dòng)放大算法處理，獲取運(yùn)動(dòng)放大后的數(shù)字圖像序列；運(yùn)用Canny邊緣識(shí)別算法獲取邊緣圖像序列并消除運(yùn)動(dòng)放大造成的噪聲，通過(guò)基于形心的運(yùn)動(dòng)跟蹤算法獲取臨時(shí)結(jié)構(gòu)的位移時(shí)程數(shù)據(jù)，并利用快速傅里葉變換進(jìn)行頻譜分析；與預(yù)先建立的損傷動(dòng)力指紋庫(kù)進(jìn)行對(duì)比判斷臨時(shí)結(jié)構(gòu)的損傷狀態(tài)。以存在10種損傷狀態(tài)的門(mén)式腳手架為測(cè)試對(duì)象，證明該方法的可行性與適用性。與加速度傳感器測(cè)量進(jìn)行對(duì)比，該方法平均誤差為0.95%，滿足臨時(shí)結(jié)構(gòu)損傷狀態(tài)識(shí)別的精度要求。

歐拉運(yùn)動(dòng)放大；臨時(shí)結(jié)構(gòu)；計(jì)算機(jī)視覺(jué)；結(jié)構(gòu)損傷識(shí)別；損傷動(dòng)力指紋

建筑施工臨時(shí)結(jié)構(gòu)是建筑施工作業(yè)的重要組成部分，為施工任務(wù)提供圍護(hù)、支撐、物料堆放、人員通行等功能。然而，臨時(shí)結(jié)構(gòu)的安全性是工程安全中一個(gè)突出的問(wèn)題。根據(jù)住房和城鄉(xiāng)建設(shè)部辦公廳《關(guān)于2019年房屋市政工程生產(chǎn)安全事故情況的通報(bào)》，較大及以上事故的主要風(fēng)險(xiǎn)源為臨時(shí)結(jié)構(gòu)工程，如基坑工程、腳手架工程、模板工程等，如圖1所示。可見(jiàn)，臨時(shí)結(jié)構(gòu)的安全監(jiān)測(cè)是保障施工安全、減少工程損失的重要舉措。

圖1 2019年全國(guó)房屋市政工程生產(chǎn)安全較大及以上事故類型情況

臨時(shí)結(jié)構(gòu)的結(jié)構(gòu)健康監(jiān)測(cè)可分為基于幾何的監(jiān)測(cè)[1-2]和基于振動(dòng)的監(jiān)測(cè)[3]。前者通過(guò)檢查臨時(shí)結(jié)構(gòu)的構(gòu)件布置、位移等是否符合規(guī)范要求，從而判斷結(jié)構(gòu)的安全性；后者則是監(jiān)測(cè)結(jié)構(gòu)特定部位的振動(dòng)響應(yīng)，將振動(dòng)信息與損傷指紋庫(kù)進(jìn)行比對(duì)，從而判斷結(jié)構(gòu)是否安全。根據(jù)調(diào)查，臨時(shí)結(jié)構(gòu)的破壞，如腳手架，多數(shù)是由于連接扣件的破損、銹蝕、老化所導(dǎo)致。因此扣件的變化難以通過(guò)結(jié)構(gòu)整體的幾何信息反映。而由于扣件變化導(dǎo)致腳手架桿件兩端的約束條件發(fā)生了變化，結(jié)構(gòu)的振動(dòng)響應(yīng)受到影響。因此，基于振動(dòng)的監(jiān)測(cè)更加適合于臨時(shí)結(jié)構(gòu)的監(jiān)測(cè)。

基于振動(dòng)的結(jié)構(gòu)健康監(jiān)測(cè)已在橋梁[4-5]等永久結(jié)構(gòu)中有較多的應(yīng)用。傳統(tǒng)的方法是將加速度傳感器放置若干個(gè)關(guān)鍵部位上，收集其振動(dòng)信息。由于傳感器布設(shè)成本較高，通常應(yīng)用有限元分析法得出需要進(jìn)行監(jiān)測(cè)的關(guān)鍵部位。永久結(jié)構(gòu)在使用過(guò)程中通常不會(huì)發(fā)生較大結(jié)構(gòu)變化，因此有限元分析得到的監(jiān)測(cè)關(guān)鍵部位與實(shí)際情況相差不大。然而對(duì)于臨時(shí)結(jié)構(gòu)，由于存在搭設(shè)不規(guī)范、施工現(xiàn)場(chǎng)不確定性等因素，有限元分析得到的監(jiān)測(cè)關(guān)鍵部位可能與實(shí)際情況相差較大，若仍將加速度傳感器布置在有限元分析得到的關(guān)鍵部位有可能造成監(jiān)測(cè)信息的缺失，影響結(jié)構(gòu)健康監(jiān)測(cè)的效果。臨時(shí)結(jié)構(gòu)自身具有的不確定性使得監(jiān)測(cè)關(guān)鍵部位可能會(huì)隨著時(shí)間發(fā)生改變，損傷和需要監(jiān)測(cè)的部位可能出現(xiàn)在臨時(shí)結(jié)構(gòu)的任意位置。由于加速度傳感器難以遍布整個(gè)臨時(shí)結(jié)構(gòu)，因此人們提出了不依賴于物理傳感器的其他監(jiān)測(cè)方法。

基于計(jì)算機(jī)視覺(jué)技術(shù)的監(jiān)測(cè)技術(shù)已引起國(guó)內(nèi)外研究者們的重視[6-10]。攝像機(jī)中的每一個(gè)像素點(diǎn)均可認(rèn)為是一個(gè)視覺(jué)傳感器，可以高效地監(jiān)測(cè)大面積區(qū)域。將計(jì)算機(jī)視覺(jué)技術(shù)使用在臨時(shí)結(jié)構(gòu)的結(jié)構(gòu)健康檢測(cè)中，可同時(shí)監(jiān)測(cè)臨時(shí)結(jié)構(gòu)所有位置的結(jié)構(gòu)響應(yīng)，有效地解決了物理傳感器所帶來(lái)的布設(shè)問(wèn)題。在眾多計(jì)算機(jī)視覺(jué)技術(shù)中，近年來(lái)快速發(fā)展的運(yùn)動(dòng)放大算法可以有效獲得結(jié)構(gòu)的振動(dòng)信息。2005年，LIU等[11]首先提出了拉格朗日運(yùn)動(dòng)放大算法，結(jié)合光流法進(jìn)行特征點(diǎn)跟蹤并將運(yùn)動(dòng)幅值放大，但存在計(jì)算量大、特征點(diǎn)易遮擋等問(wèn)題。2012年，WU等[12]提出線性歐拉運(yùn)動(dòng)放大算法，將微小運(yùn)動(dòng)等價(jià)為數(shù)字圖像數(shù)據(jù)中的亮度值的微小變化，其無(wú)需進(jìn)行光流估計(jì)，只需放大數(shù)字圖像數(shù)據(jù)像素點(diǎn)的亮度值變化，即可實(shí)現(xiàn)對(duì)微小運(yùn)動(dòng)的間接放大，因此提高了計(jì)算效率。2013年，WADHWA等[13-15]利用相位的歐拉運(yùn)動(dòng)放大算法，并通過(guò)放大圖像相位信息實(shí)現(xiàn)微小運(yùn)動(dòng)放大，不會(huì)放大噪聲而是平移噪聲，進(jìn)一步提升了運(yùn)動(dòng)放大的效果。在此基礎(chǔ)上，運(yùn)動(dòng)放大算法被廣泛地應(yīng)用于非接觸式獲取結(jié)構(gòu)的振動(dòng)信息。CHEN等[16-18]運(yùn)用相位的歐拉運(yùn)動(dòng)放大算法得到懸臂梁的共振頻率和振型、捕捉建筑頂部天線塔的振動(dòng)信號(hào)、獲取橋梁結(jié)構(gòu)的振動(dòng)頻率。SHANG和SHEN[19]開(kāi)發(fā)了基于相位歐拉運(yùn)動(dòng)放大算法的多點(diǎn)振動(dòng)測(cè)量方法并用于人行天橋監(jiān)測(cè)，提高了結(jié)構(gòu)健康監(jiān)測(cè)的效率。LU等[20]運(yùn)用線性歐拉運(yùn)動(dòng)放大算法觀察塔式結(jié)構(gòu)振動(dòng)，從而判斷是否發(fā)生疲勞破壞。雷林[21]改進(jìn)了微小運(yùn)動(dòng)放大技術(shù)并將其應(yīng)用于對(duì)實(shí)際的水電工程監(jiān)測(cè)。張宇航等[22]利用相位的歐拉運(yùn)動(dòng)放大算法獲取橋梁拉索的自振頻率，進(jìn)而得到橋梁的索力值。可見(jiàn)，運(yùn)動(dòng)放大算法已在獲取結(jié)構(gòu)振動(dòng)信息方面得到了一定程度的應(yīng)用。

將臨時(shí)結(jié)構(gòu)的振動(dòng)信息與損傷指紋庫(kù)進(jìn)行比對(duì)從而進(jìn)行判斷，稱為基于模式識(shí)別的損傷診斷方法[23]。該方法以結(jié)構(gòu)損傷前后變化的振動(dòng)信息作為損傷指紋，通過(guò)采集多種損傷工況的損傷動(dòng)力特征建立損傷動(dòng)力指紋庫(kù)。將實(shí)際測(cè)量數(shù)據(jù)與損傷動(dòng)力指紋庫(kù)進(jìn)行比對(duì)，進(jìn)而以最接近的模式確定結(jié)構(gòu)的損傷情況。利用損傷動(dòng)力指紋庫(kù)進(jìn)行結(jié)構(gòu)損傷識(shí)別已有一定程度的運(yùn)用。張楊[24]通過(guò)分析簡(jiǎn)支梁、固接梁和彈性約束梁損傷前后自振頻率的變化，建立了梁損傷定位通用頻率指紋庫(kù)。劉杰等[25]通過(guò)ANSYS仿真實(shí)驗(yàn)提取損傷動(dòng)力指紋，包含前5階頻率和前5階11個(gè)測(cè)點(diǎn)的歸一化振型值，用于斜拉橋的損傷識(shí)別。

針對(duì)臨時(shí)結(jié)構(gòu)的振動(dòng)監(jiān)測(cè)關(guān)鍵部位存在不確定性的問(wèn)題，本文提出一種基于歐拉運(yùn)動(dòng)放大算法的臨時(shí)結(jié)構(gòu)損傷識(shí)別方法，充分利用計(jì)算機(jī)視覺(jué)技術(shù)的全域覆蓋及監(jiān)測(cè)高效的優(yōu)點(diǎn)。該方法首先運(yùn)用基于相位的歐拉運(yùn)動(dòng)放大算法獲取某一頻率范圍運(yùn)動(dòng)放大后的圖像序列，然后通過(guò)Canny邊緣識(shí)別算法[26-28]識(shí)別圖像序列中的邊緣，并消除運(yùn)動(dòng)放大所造成的噪聲。通過(guò)邊緣序列提取結(jié)構(gòu)的位移時(shí)程數(shù)據(jù)，經(jīng)過(guò)傅里葉變換可得臨時(shí)結(jié)構(gòu)的自振頻率。以自振頻率作為損傷動(dòng)力指紋與預(yù)先收集的損傷動(dòng)力指紋庫(kù)進(jìn)行對(duì)比，判斷臨時(shí)結(jié)構(gòu)的損傷狀態(tài)。

1 基于歐拉運(yùn)動(dòng)放大算法的臨時(shí)結(jié)構(gòu)損傷識(shí)別方法

基于歐拉運(yùn)動(dòng)放大算法的臨時(shí)結(jié)構(gòu)損傷識(shí)別流程如圖2所示。

圖2 基于歐拉運(yùn)動(dòng)放大算法的臨時(shí)結(jié)構(gòu)損傷識(shí)別流程圖

1.1 圖像預(yù)處理

通過(guò)攝像機(jī)獲取臨時(shí)結(jié)構(gòu)的圖像序列，為了提升運(yùn)動(dòng)放大效果，需對(duì)采集的圖像序列進(jìn)行一定的預(yù)處理操作，包括轉(zhuǎn)換數(shù)字圖像格式，壓縮圖像比例，以及去除圖像序列中噪聲較大的圖像。

1.2 歐拉運(yùn)動(dòng)放大

采用基于相位的歐拉運(yùn)動(dòng)放大算法對(duì)臨時(shí)結(jié)構(gòu)的圖像序列進(jìn)行運(yùn)動(dòng)放大。首先運(yùn)用復(fù)向可調(diào)金字塔將圖像序列分解為不同位置、方向和尺度的局部空間振幅和相位。其中，高通殘差和低通殘差未通過(guò)時(shí)域帶通濾波和被運(yùn)動(dòng)放大，僅用于重建運(yùn)動(dòng)放大視頻。其次，利用傅里葉變換算法將局部空間相位信號(hào)分解為一系列正弦信號(hào)，對(duì)相位信號(hào)進(jìn)行時(shí)域帶通濾波，獲得目標(biāo)頻率范圍中的相位信息。該相位信息乘以放大系數(shù)并重建圖像序列，便可得到在特定頻率范圍放大的圖像序列。具體流程如圖3所示。

圖3 歐拉運(yùn)動(dòng)放大流程圖

為了清晰地描述該算法，以一維平動(dòng)運(yùn)動(dòng)為例進(jìn)行說(shuō)明[13]。假定(,)為處的圖像亮度值，經(jīng)過(guò)時(shí)間，物體在圖像上平移()，則時(shí)刻圖像的亮度值為

通過(guò)傅里葉變換，分別將()和(+())轉(zhuǎn)換為指數(shù)形式的傅里葉級(jí)數(shù)，得

其中，為諧波振幅；為諧波頻率。

由式(2)和式(3)可知，對(duì)于某一諧波頻率，()和(+())的相位差為

由式(4)可見(jiàn)，相位差j()與位移()相關(guān)，且包含運(yùn)動(dòng)信息。因此將相位差放大倍，調(diào)整為aj()。調(diào)整后的諧波分量為e(x+(1+)(t))，且以此重構(gòu)圖像亮度函數(shù)，可得

對(duì)比式(2)和式(5)，可以得到放大后的運(yùn)動(dòng)信號(hào)(1+)()。

1.3 邊緣識(shí)別

運(yùn)用Canny算子提取放大后的圖像序列的邊緣。Canny算子具有如下的優(yōu)點(diǎn)[23]：①較低的漏檢率和誤檢率，Canny算子能夠檢測(cè)較多的實(shí)際邊緣，且檢測(cè)錯(cuò)誤較少；②良好的定位性，Canny算子檢測(cè)到的邊緣十分接近真實(shí)邊緣的位置；③檢測(cè)邊緣具備唯一性，Canny算子在檢測(cè)一條實(shí)際邊緣時(shí)，能夠抑制結(jié)果中的虛假邊緣，僅得到一條邊緣。Canny邊緣檢測(cè)算法流程如圖4所示。

圖4 Canny邊緣檢測(cè)算法流程圖

1.4 目標(biāo)追蹤、頻譜分析

選擇臨時(shí)結(jié)構(gòu)同一區(qū)域的部分邊緣，計(jì)算邊緣的形心。通過(guò)跟蹤形心的運(yùn)動(dòng)獲取臨時(shí)結(jié)構(gòu)的振動(dòng)位移時(shí)程數(shù)據(jù)。對(duì)位移時(shí)程數(shù)據(jù)進(jìn)行快速傅里葉變換，得到臨時(shí)結(jié)構(gòu)的自振頻率。

1.5 損傷識(shí)別

根據(jù)文獻(xiàn)[29-32]，目前的損傷動(dòng)力指紋歸納為4類：直接模態(tài)參數(shù)類(如頻率、振型)、模態(tài)參數(shù)的函數(shù)類(如頻率平方、模態(tài)應(yīng)變能等)、曲率類(如模態(tài)曲率、柔度曲率等)和振動(dòng)信號(hào)非模態(tài)處理類(如傅里葉變換、盲源分離等)。因?yàn)榻Y(jié)構(gòu)的固有頻率容易通過(guò)測(cè)試得到而且精度較高，同時(shí)振型可以反映結(jié)構(gòu)的局部信息，因此國(guó)內(nèi)外以頻率和振型作為損傷動(dòng)力指紋的研究較多。

損傷動(dòng)力指紋庫(kù)可通過(guò)實(shí)驗(yàn)或有限元仿真分析建立。當(dāng)結(jié)構(gòu)損傷工況種類較多時(shí)適用有限元仿真方法，而結(jié)構(gòu)較為簡(jiǎn)單時(shí)，可使用實(shí)驗(yàn)方法得到精度較高的損傷動(dòng)力指紋庫(kù)。

本文測(cè)試了通過(guò)實(shí)驗(yàn)建立的損傷指紋庫(kù)，分析臨時(shí)結(jié)構(gòu)的自振頻率與頻譜峰值個(gè)數(shù)，將其與損傷動(dòng)力指紋庫(kù)進(jìn)行比對(duì)，最接近的模式即可確定為臨時(shí)結(jié)構(gòu)所處的損傷狀態(tài)。

2 測(cè)試實(shí)驗(yàn)

2.1 損傷識(shí)別

以門(mén)式腳手架為實(shí)驗(yàn)對(duì)象，通過(guò)對(duì)比基于歐拉運(yùn)動(dòng)放大算法和基于加速度傳感器的損傷識(shí)別方法，從而驗(yàn)證基于歐拉運(yùn)動(dòng)放大算法的臨時(shí)結(jié)構(gòu)損傷識(shí)別方法的可行性與適用性。該門(mén)式腳手架由四根柱子、四根斜桿和一個(gè)頂板組成，長(zhǎng)度為1 800 mm，寬度為900 mm，高度為1 700 mm，如圖5所示。通過(guò)保留或拆卸斜桿，結(jié)合門(mén)式腳手架的對(duì)稱性，可以組成10種不同的損傷工況，見(jiàn)表1。

2.2 實(shí)驗(yàn)設(shè)置

在柱1中部安裝加速度計(jì)，同時(shí)由加速度計(jì)和高速攝像機(jī)測(cè)量柱1的運(yùn)動(dòng)。采用東華DH5922D動(dòng)態(tài)信號(hào)測(cè)試分析系統(tǒng)與DHDAS數(shù)據(jù)采集和數(shù)據(jù)分析軟件采集腳手架振動(dòng)的加速度信號(hào)并進(jìn)行頻譜分析。為了獲取具有足夠精度的加速度時(shí)程數(shù)據(jù)，將加速度傳感器的采樣頻率設(shè)置為100 Hz。采用SONY FDR-AX700數(shù)碼攝像機(jī)獲取腳手架振動(dòng)的數(shù)字圖像數(shù)據(jù)，設(shè)置為超慢動(dòng)作模式，將記錄的運(yùn)動(dòng)放慢20倍，輸出的視頻幀率為50 fps，則實(shí)際記錄的幀率為1 000 fps，且圖像分辨率為1920像素×1080像素。攝像機(jī)焦距設(shè)置為10 mm，攝像機(jī)與腳手架的距離為850 mm。攝像機(jī)拍攝范圍如圖6(a)所示。實(shí)驗(yàn)在實(shí)驗(yàn)室完成，日光燈的發(fā)光頻率會(huì)對(duì)運(yùn)動(dòng)放大造成干擾，因此采用2個(gè)255 W的LED補(bǔ)光燈對(duì)腳手架進(jìn)行補(bǔ)光。制作了一個(gè)激勵(lì)裝置，保證每次實(shí)驗(yàn)中鐵錘以相同的速度、高度撞擊腳手架中部，以保證控制變量，如圖6(b)所示。為了消除實(shí)驗(yàn)中結(jié)構(gòu)的不確定性，將所有的節(jié)點(diǎn)部位進(jìn)行固接，采取焊接或螺栓擰緊，如圖7所示。同時(shí)，在腳手架后方布置3.0 m×1.5 m的黑色吸光布，減少運(yùn)動(dòng)放大的噪聲，提高邊緣識(shí)別的準(zhǔn)確度。整體實(shí)驗(yàn)布置如圖8所示。

圖5 門(mén)式腳手架示意圖

表1 門(mén)式腳手架損傷狀態(tài)總結(jié)

2.3 實(shí)驗(yàn)數(shù)據(jù)分析

(1) 歐拉運(yùn)動(dòng)放大。為了提升圖像序列運(yùn)動(dòng)放大的效果，需要對(duì)采集的視頻進(jìn)行格式轉(zhuǎn)換，由.mp4格式轉(zhuǎn)換為.avi格式。為了提高運(yùn)算效率，將視頻壓縮在30 M以下。同時(shí)去除圖像序列中噪聲較大的圖像。

圖6 相機(jī)拍攝范圍與激勵(lì)裝置示意圖((a)攝像機(jī)拍攝范圍示意圖；(b)激勵(lì)裝置示意圖)

圖7 節(jié)點(diǎn)連接示意圖((a)柱子與底板焊接，底板通過(guò)螺栓擰緊在實(shí)驗(yàn)平臺(tái)上；(b)斜桿通過(guò)2個(gè)螺母擰緊在螺絲上；(c)頂板焊接在門(mén)架上)

圖8 實(shí)驗(yàn)布置示意圖

采用基于相位的歐拉運(yùn)動(dòng)放大算法對(duì)預(yù)處理后的圖像序列進(jìn)行空間域分解、時(shí)域?yàn)V波、運(yùn)動(dòng)放大和重構(gòu)處理。針對(duì)合理的頻率范圍內(nèi)的運(yùn)動(dòng)進(jìn)行放大，可以減少放大后的光影噪聲且更加準(zhǔn)確地獲得自振頻率，需要設(shè)定低頻和高頻截止頻率。根據(jù)腳手架的動(dòng)力特征，選擇28～90 Hz頻率范圍內(nèi)的運(yùn)動(dòng)進(jìn)行放大。由于相機(jī)設(shè)置為超慢動(dòng)作模式，記錄的運(yùn)動(dòng)放慢20倍，因此圖像序列運(yùn)動(dòng)放大的低頻和高頻截止頻率分別為1.4 Hz和4.5 Hz。選擇倍頻程帶寬復(fù)向可調(diào)金字塔進(jìn)行空間域分解，F(xiàn)IR濾波器進(jìn)行時(shí)域帶通濾波，放大系數(shù)設(shè)置為25，對(duì)圖像序列進(jìn)行運(yùn)動(dòng)放大。

(2) 圖像序列邊緣識(shí)別。邊緣識(shí)別技術(shù)利用圖像中物體邊緣像素亮度梯度值較大和邊緣連續(xù)性的特點(diǎn)，獲取圖像中的物體邊緣信息。本實(shí)驗(yàn)運(yùn)用Canny算子進(jìn)行腳手架的邊緣提取。為了方便提取腳手架的位移時(shí)程數(shù)據(jù)和提高運(yùn)算效率，對(duì)于運(yùn)動(dòng)放大后的圖像序列，截取同一區(qū)域的圖像，如圖9所示。由于背景為黑色吸光布，排除了環(huán)境中其他物體的邊緣干擾。對(duì)于截取的圖像區(qū)域，調(diào)整Canny邊緣識(shí)別算法的參數(shù)，識(shí)別強(qiáng)邊緣并忽略弱邊緣，防止將算法造成的光影噪聲和柱子表面光線差異識(shí)別為錯(cuò)誤邊緣，保證識(shí)別邊緣的唯一性。邊緣識(shí)別結(jié)果如圖10所示。

圖9 截取圖像序列的同一區(qū)域

圖10 邊緣識(shí)別結(jié)果示意圖

(3) 提取腳手架位移時(shí)程數(shù)據(jù)。由于截取的是同一區(qū)域的原始圖像序列的每張圖像，因此邊緣的運(yùn)動(dòng)即可反映腳手架的運(yùn)動(dòng)。利用已識(shí)別得到的邊緣序列，對(duì)于邊緣圖像的亮度值取算術(shù)平均，即可計(jì)算出邊緣的形心從而跟蹤腳手架的運(yùn)動(dòng)。這一運(yùn)動(dòng)追蹤方法無(wú)需人工標(biāo)記點(diǎn)，節(jié)省了使用成本。以損傷工況1為例進(jìn)行說(shuō)明，其位移時(shí)程數(shù)據(jù)如圖11所示，同時(shí)采集的加速度計(jì)數(shù)據(jù)如圖12所示。通過(guò)對(duì)比可知，經(jīng)運(yùn)動(dòng)放大后的位移并不是真實(shí)的位移，而是特定頻率范圍內(nèi)的位移。

圖11 運(yùn)動(dòng)放大后的位移時(shí)程

圖12 腳手架的加速度計(jì)數(shù)據(jù)

(4) 損傷識(shí)別。分別對(duì)攝像機(jī)獲取的位移時(shí)程數(shù)據(jù)和加速度計(jì)獲取的加速度數(shù)據(jù)進(jìn)行快速傅里葉變換，得到頻譜圖像，分別如圖13和圖14所示。將加速度計(jì)采集的數(shù)據(jù)視為建立損傷動(dòng)力指紋庫(kù)，通過(guò)對(duì)比分析自振頻率和頻譜峰值數(shù)量，即可判斷腳手架所處的損傷工況。將圖13的橫坐標(biāo)放大20倍，統(tǒng)一頻率坐標(biāo)系統(tǒng)，頻譜分析對(duì)比如圖15所示，可見(jiàn)攝像機(jī)得到的自振頻率與加速度計(jì)獲得的自振頻率幾乎一致。10種損傷工況的頻譜分析對(duì)比見(jiàn)表2，各損傷工況的最大誤差為1.96%，平均誤差為0.95%。表明本文方法可實(shí)現(xiàn)加速度傳感器的自振頻率測(cè)量精度，可以滿足臨時(shí)結(jié)構(gòu)的損傷狀態(tài)識(shí)別的精度要求。

圖13 位移時(shí)程數(shù)據(jù)的頻譜分析

圖14 加速度數(shù)據(jù)的頻譜分析

圖15 攝像機(jī)與加速度計(jì)分析結(jié)果對(duì)比

表2 腳手架損傷識(shí)別測(cè)試結(jié)果對(duì)比

3 結(jié)束語(yǔ)

本文開(kāi)展了基于歐拉運(yùn)動(dòng)放大算法的臨時(shí)結(jié)構(gòu)損傷識(shí)別方法的相關(guān)研究，充分利用計(jì)算機(jī)視覺(jué)技術(shù)的全域覆蓋及監(jiān)測(cè)高效的優(yōu)點(diǎn)，綜合運(yùn)用基于相位的歐拉運(yùn)動(dòng)放大算法、Canny邊緣識(shí)別算法、傅里葉變換、損傷動(dòng)力指紋庫(kù)等圖學(xué)技術(shù)，從結(jié)構(gòu)的振動(dòng)信息入手對(duì)臨時(shí)結(jié)構(gòu)進(jìn)行健康監(jiān)測(cè)。相比于以往基于幾何信息的臨時(shí)結(jié)構(gòu)非接觸式結(jié)構(gòu)健康監(jiān)測(cè)，本文方法從損傷導(dǎo)致結(jié)構(gòu)體系改變的角度入手，能夠解決臨時(shí)結(jié)構(gòu)的健康監(jiān)測(cè)中的監(jiān)測(cè)位置難以確定的問(wèn)題，拓展了計(jì)算機(jī)視覺(jué)技術(shù)在臨時(shí)結(jié)構(gòu)的健康監(jiān)測(cè)中的運(yùn)用。腳手架的實(shí)驗(yàn)表明，與加速度傳感器結(jié)果相比，各損傷工況的最大誤差為1.96%，平均誤差為0.95%。本文方法可實(shí)現(xiàn)加速度傳感器的自振頻率測(cè)量精度，滿足臨時(shí)結(jié)構(gòu)的損傷狀態(tài)識(shí)別的精度要求。

本文方法在以下方面還有待改進(jìn)：

(1) 隨著頻率范圍的增加和放大倍數(shù)的增大，光影和噪聲會(huì)越明顯。因此通過(guò)該方法識(shí)別到的自振頻率和頻率峰值個(gè)數(shù)有限。

(2) 計(jì)算效率較低，視頻需要進(jìn)行壓縮到較小的尺寸才能進(jìn)行運(yùn)動(dòng)放大，否則會(huì)造成計(jì)算時(shí)間過(guò)長(zhǎng)。這會(huì)導(dǎo)致細(xì)節(jié)信息的缺失，以及難以進(jìn)行實(shí)時(shí)監(jiān)測(cè)。

綜上，基于歐拉運(yùn)動(dòng)放大算法的臨時(shí)結(jié)構(gòu)損傷識(shí)別方法還有較大地提升空間，還需在優(yōu)化空間域分解的金字塔、提升計(jì)算效率、減少算法導(dǎo)致的光影和噪聲等方面進(jìn)行研究。

[1] 馬國(guó)鑫, 韓豫, 孫佳寧, 等. 基于無(wú)人機(jī)的外腳手架安全性自動(dòng)檢查系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 土木工程與管理學(xué)報(bào), 2018, 35(4): 169-174.

MA G X, HAN Y, SUN J N, et al. Design and implementation of automatic safety inspection system for external scaffold based on UAV[J]. Journal of Civil Engineering and Management, 2018, 35(4): 169-174 (in Chinese).

[2] XU Y S, TUTTAS S, HOEGNER L, et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor[J]. Automation in Construction, 2018, 85: 76-95.

[3] WANG F R, SONG G B. Looseness detection in cup-lock scaffolds using percussion-based method[J]. Automation in Construction, 2020, 118: 103266.

[4] KHAN S M, ATAMTURKTUR S, CHOWDHURY M, et al. Integration of structural health monitoring and intelligent transportation systems for bridge condition assessment: current status and future direction[J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 17(8): 2107-2122.

[5] DONG C Z, CATBAS F N. A review of computer vision–based structural health monitoring at local and global levels[J]. Structural Health Monitoring, 2021, 20(2): 692-743.

[6] SPENCER B F Jr, HOSKERE V, NARAZAKI Y. Advances in computer vision-based civil infrastructure inspection and monitoring[J]. Engineering, 2019, 5(2): 199-222.

[7] 王琳, 趙健康, 夏軒, 等. 基于雙目立體視覺(jué)技術(shù)的橋梁裂縫測(cè)量系統(tǒng)[J]. 計(jì)算機(jī)應(yīng)用, 2015, 35(3): 901-904.

WANG L, ZHAO J K, XIA X, et al. Bridge crack measurement system based on binocular stereo vision technology[J]. Journal of Computer Applications, 2015, 35(3): 901-904 (in Chinese).

[8] 張小偉, 包騰飛, 高興和. 基于計(jì)算機(jī)視覺(jué)的混凝土壩裂縫檢測(cè)方法[J]. 水利水電科技進(jìn)展, 2021, 41(5): 83-88.

ZHANG X W, BAO T F, GAO X H. Crack detection method of concrete dams based on computer vision[J]. Advances in Science and Technology of Water Resources, 2021, 41(5): 83-88 (in Chinese).

[9] 章世祥, 張漢成, 李西芝, 等. 基于機(jī)器視覺(jué)的路面裂縫病害多目標(biāo)識(shí)別研究[J]. 公路交通科技, 2021, 38(3): 30-39.

ZHANG S X, ZHANG H C, LI X Z, et al. Study on multi-objective identification of pavement cracks based on machine vision[J]. Journal of Highway and Transportation Research and Development, 2021, 38(3): 30-39 (in Chinese).

[10] 肖和華, 金鼎沸. 基于機(jī)器視覺(jué)的路基沉降監(jiān)測(cè)方法研究[J]. 鐵道科學(xué)與工程學(xué)報(bào), 2015, 12(6): 1365-1368.

XIAO H H, JIN D F. A subgrade settlement monitoring method based on machine vision[J]. Journal of Railway Science and Engineering, 2015, 12(6): 1365-1368 (in Chinese).

[11] LIU C, TORRALBA A, FREEMAN W T, et al. Motion magnification[J]. ACM Transactions on Graphics, 2005, 24(3): 519-526.

[12] WU H Y, RUBINSTEIN M, SHIH E, et al. Eulerian video magnification for revealing subtle changes in the world[J]. ACM Transactions on Graphics, 2012, 31(4): 1-8.

[13] WADHWA N, RUBINSTEIN M, DURAND F, et al. Phase-based video motion processing[J]. ACM Transactions on Graphics, 2013, 32(4): 1-10.

[14] WADHWA N, CHEN J G, SELLON J B, et al. Motion microscopy for visualizing and quantifying small motions[J]. Proceedings of the National Academy of Sciences of the United States of America, 2017, 114(44): 11639-11644.

[15] WADHWA N, WU H Y, DAVIS A, et al. Eulerian video magnification and analysis[J]. Communications of the ACM, 2016, 60(1): 87-95.

[16] CHEN J G, WADHWA N, CHA Y J, et al. Modal identification of simple structures with high-speed video using motion magnification[J]. Journal of Sound and Vibration, 2015, 345: 58-71.

[17] CHEN J G, DAVIS A, WADHWA N, et al. Video camera–based vibration measurement for civil infrastructure applications[J]. Journal of Infrastructure Systems, 2017, 23(3): B4016013.

[18] CHEN J G, ADAMS T M, SUN H, et al. Camera-based vibration measurement of the world war I memorial bridge in Portsmouth, new Hampshire[J]. Journal of Structural Engineering, 2018, 144(11): 04018207: 1-04018207: 19.

[19] SHANG Z X, SHEN Z G. Multi-point vibration measurement and mode magnification of civil structures using video-based motion processing[J]. Automation in Construction, 2018, 93: 231-240.

[20] LU M C, CHAI Y, LIU Q. Observation of tower vibration based on subtle motion magnification[J]. IFAC-PapersOnLine, 2019, 52(24): 346-350.

[21] 雷林. 微小運(yùn)動(dòng)放大及其在水電工程監(jiān)測(cè)中的應(yīng)用[D]. 宜昌: 三峽大學(xué), 2016.

LEI L. Subtle motion magnification and its application in monitoring of hydropower engineering[D]. Yichang: China Three Gorges University, 2016 (in Chinese).

[22] 張宇航, 蘇成, 鄧逸川. 基于歐拉運(yùn)動(dòng)放大算法的橋梁索力測(cè)試方法研究[J]. 圖學(xué)學(xué)報(bào), 2021, 42(6): 941-947.

ZHANG Y H, SU C, DENG Y C. A eulerian video magnification based cable tension identification method for bridge structures[J]. Journal of Graphics, 2021, 42(6): 941-947 (in Chinese).

[23] 吳向男, 徐岳, 梁鵬, 等. 橋梁結(jié)構(gòu)損傷識(shí)別研究現(xiàn)狀與展望[J]. 長(zhǎng)安大學(xué)學(xué)報(bào): 自然科學(xué)版, 2013, 33(6): 49-58.

WU X N, XU Y, LIANG P, et al. Research status and prospect of bridge structure damage identification[J]. Journal of Chang'an University: Natural Science Edition, 2013, 33(6): 49-58 (in Chinese).

[24] 張楊. 基于自振頻率的梁損傷定位動(dòng)力檢測(cè)理論與試驗(yàn)研究[D]. 上海: 同濟(jì)大學(xué), 2006.

ZHANG Y. Theoretical and experimental study on the damage localization of beams based on natural frequencies[D]. Shanghai: Tongji University, 2006 (in Chinese).

[25] 劉杰, 王海龍, 張志國(guó), 等. 模式識(shí)別的斜拉橋損傷診斷動(dòng)力指紋與識(shí)別算法[J]. 土木建筑與環(huán)境工程, 2016, 38(4): 115-123.

LIU J, WANG H L, ZHANG Z G, et al. Dynamic fingerprint and identification algorithm for damage diagnosis of cable stayed bridge based on pattern recognition[J]. Journal of Civil, Architectural & Environmental Engineering, 2016, 38(4): 115-123 (in Chinese).

[26] CANNY J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(6): 679-698.

[27] 許宏科, 秦嚴(yán)嚴(yán), 陳會(huì)茹. 一種基于改進(jìn)Canny的邊緣檢測(cè)算法[J]. 紅外技術(shù), 2014, 36(3): 210-214.

XU H K, QIN Y Y, CHEN H R. An improved algorithm for edge detection based on canny[J]. Infrared Technology, 2014, 36(3): 210-214 (in Chinese).

[28] 王植, 賀賽先. 一種基于Canny理論的自適應(yīng)邊緣檢測(cè)方法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2004, 9(8): 957-962.

WANG Z, HE S X. An adaptive edge-detection method based on canny algorithm[J]. Journal of Image and Graphics, 2004, 9(8): 957-962 (in Chinese).

[29] 高維成, 劉偉, 鄒經(jīng)湘. 基于結(jié)構(gòu)振動(dòng)參數(shù)變化的損傷探測(cè)方法綜述[J]. 振動(dòng)與沖擊, 2004, 23(4): 1-7, 17.

GAO W C, LIU W, ZOU J X. Damage detection methods based on changes of vibration parameters: a summary review[J]. Journal of Vibration and Shock, 2004, 23(4): 1-7, 17 (in Chinese).

[30] 黃方林, 王學(xué)敏, 陳政清, 等. 大型橋梁健康監(jiān)測(cè)研究進(jìn)展[J]. 中國(guó)鐵道科學(xué), 2005, 26(2): 1-7.

HUANG F L, WANG X M, CHEN Z Q, et al. Research progress made on the health monitoring for large-type bridges[J]. China Railway Science, 2005, 26(2): 1-7 (in Chinese).

[31] 王志堅(jiān), 韓西, 鐘厲, 等. 基于結(jié)構(gòu)動(dòng)力參數(shù)的土木工程結(jié)構(gòu)損傷識(shí)別方法[J]. 重慶建筑大學(xué)學(xué)報(bào), 2003, 25(4): 128-132.

WANG Z J, HAN X, ZHONG L, et al. Review of damage identification of civil engineering structures based on dynamic parameters[J]. Journal of Chongqing Architecture University, 2003, 25(4): 128-132 (in Chinese).

[32] 楊秋偉. 基于振動(dòng)的結(jié)構(gòu)損傷識(shí)別方法研究進(jìn)展[J]. 振動(dòng)與沖擊, 2007, 26(10): 86-91, 100, 190.

YANG Q W. A review of vibration-based structural damage identification methods[J]. Journal of Vibration and Shock, 2007, 26(10): 86-91, 100, 190 (in Chinese).

A computer vision based structural damage identification method for temporary structure during construction

LIANG Zhen-yu1, HUA Jia-hao1, CHEN Hao-long1, DENG Yi-chuan1,2

(1. School of Civil Engineering and Transportation, South China University of Technology, Guangzhou Guangdong 510640, China; 2. State Key Laboratory of Subtropical Building Science, Guangzhou Guangdong 510640, China)

Temporary structure is the main risk source of construction site accidents. Previous vibration-based detection methods mainly focus on setting accelerometers on some pre-defined critical areas. However, due to the factors such as nonstandard component erection and uncertainty of the construction site for the temporary structure, the critical areas of the monitoring obtained from the analysis may vary dramatically from the reality. Therefore, this paper proposed a structural damage identification method for temporary structure based on phased-based Eulerian video magnification algorithm, making full use of the advantages of global coverage and efficient monitoring of computer vision technology. The digital image of temporary structure vibration collected by digital camera was firstly processed by phased-based Eulerian video magnification to acquire motion-magnified image sequence in the particular frequency bands. Then, the canny edge detector was employed to identify the edges in the image sequence and eliminate the noise resulting from the magnification. The edges in the image sequence were utilized to acquire time-history data of temporary structure displacement based on the geometry centroid, from which resonant frequencies could be obtained after Fourier transformation, and finally the damage states were identified based on the pre-established damage dynamic fingerprint database. The applicability of the proposed method was discussed in the context of the frame scaffold experiments with 10 kinds of damage states. By comparing the results between camera measurement and accelerometer measurement, the proposed method can yield satisfactory performance with an average error of 0.95%, fulfilling the accuracy requirements of damage identification.

Eulerian video magnification; temporary structure; computer vision; structural damage identification; damage dynamic fingerprint

22 October，2021；

Natural Science Foundation of Guangdong Province (2022A1515010174); Guangzhou Science and Technology Program (202201010338)

LIANG Zhen-yu (2000-), undergraduate student. His main research interests cover BIM, CV. E-mail：eric.z.y.leung@gmail.com

TP 391

10.11996/JG.j.2095-302X.2022040608

A

2095-302X(2022)04-0608-08

2021-10-22；

2022-01-21

21 January，2022

廣東省自然科學(xué)基金項(xiàng)目(2022A1515010174)；廣州市科技計(jì)劃項(xiàng)目基礎(chǔ)與應(yīng)用基礎(chǔ)研究項(xiàng)目(202201010338)

梁振宇(2000-)，男，本科生。主要研究方向?yàn)榻ㄖ畔⒛Ｐ汀⒂?jì)算機(jī)視覺(jué)。E-mail：eric.z.y.leung@gmail.com

鄧逸川(1989-)，男，副研究員，博士。主要研究方向?yàn)榻ㄖ畔⒛Ｐ汀⒂?jì)算機(jī)視覺(jué)。E-mail：ctycdeng@scut.edu.cn

DENG Yi-chuan (1989-), associate researcher, Ph.D. His main research interests cover BIM, CV. E-mail：ctycdeng@scut.edu.cn