基于Python的房屋安全健康監(jiān)測(cè)數(shù)據(jù)處理與預(yù)測(cè)分析

孫振林, 柳飛*, 陶水忠, 楊曉輝,, 于茜, 張碩,, 周闖

(1.北京市市政工程研究院, 北京 100037; 2.北京市建設(shè)工程質(zhì)量第三檢測(cè)所有限責(zé)任公司, 北京 100037;3.北京城建勘測(cè)設(shè)計(jì)研究院有限責(zé)任公司, 北京 100101)

近幾年中外老舊房屋因各種結(jié)構(gòu)變形引起的經(jīng)濟(jì)損失和人身傷害事故頻發(fā),對(duì)人民群眾的生命財(cái)產(chǎn)安全構(gòu)成較大威脅[1]。為使建筑物滿足居住和使用要求,主要使用結(jié)構(gòu)健康監(jiān)測(cè)手段監(jiān)測(cè)建筑物的變形變化等[2]。結(jié)構(gòu)健康監(jiān)測(cè)可以做到實(shí)時(shí)和全天候監(jiān)測(cè),但每天會(huì)產(chǎn)生大量的監(jiān)測(cè)數(shù)據(jù),數(shù)據(jù)中具有豐富的結(jié)構(gòu)變形信息,因此對(duì)監(jiān)測(cè)數(shù)據(jù)進(jìn)行分析處理,深入挖掘其中的有效信息,在結(jié)構(gòu)安全監(jiān)測(cè)與評(píng)估中具有十分重要的意義。

目前,在結(jié)構(gòu)健康監(jiān)測(cè)技術(shù)的應(yīng)用方面,一些學(xué)者在橋梁、隧道等大型土木工程結(jié)構(gòu)中已成功運(yùn)用,徐哲能等[3]利用物聯(lián)網(wǎng)架構(gòu)融合多網(wǎng)連接技術(shù)對(duì)杭州某典型橋梁開(kāi)展了全部位結(jié)構(gòu)動(dòng)態(tài)健康監(jiān)測(cè),實(shí)現(xiàn)對(duì)橋梁基本信息管理、結(jié)構(gòu)監(jiān)測(cè)數(shù)據(jù)自動(dòng)采集,數(shù)據(jù)分析、自動(dòng)預(yù)警的目標(biāo);黃俊等[4]在水下隧道結(jié)構(gòu)中使用健康監(jiān)測(cè)方法,在上海、南京等地的水下隧道進(jìn)行實(shí)測(cè),系統(tǒng)證明了水下隧道健康監(jiān)測(cè)系統(tǒng)的可實(shí)施性;而在民用小型房屋建筑中,王曉東等[5]根據(jù)房屋建筑的特點(diǎn),設(shè)計(jì)了一種房屋安全在線監(jiān)測(cè)系統(tǒng),實(shí)現(xiàn)房屋安全狀況的實(shí)時(shí)監(jiān)測(cè),進(jìn)行危險(xiǎn)險(xiǎn)情報(bào)警。在監(jiān)測(cè)數(shù)據(jù)處理與分析方面,楊宏印等[6]利用健康監(jiān)測(cè)結(jié)果對(duì)橋梁結(jié)構(gòu)應(yīng)力、結(jié)構(gòu)撓度和結(jié)構(gòu)溫度的相關(guān)性進(jìn)行分析,同時(shí)利用小波變換,削弱溫度對(duì)監(jiān)測(cè)結(jié)果的影響,保證監(jiān)測(cè)數(shù)據(jù)的準(zhǔn)確性;蔡興旭等[7]利用長(zhǎng)短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)識(shí)別異常數(shù)據(jù),并發(fā)現(xiàn)潛在風(fēng)險(xiǎn),相對(duì)于傳統(tǒng)方法精度更高;劉國(guó)超等[8]利用卡爾曼濾波方法對(duì)基坑變形監(jiān)測(cè)數(shù)據(jù)濾波消噪,剔除監(jiān)測(cè)數(shù)據(jù)中的隨機(jī)擾動(dòng)誤差,提高了最終的預(yù)測(cè)精度。已有的結(jié)構(gòu)健康監(jiān)測(cè)多關(guān)注大型土木工程結(jié)構(gòu),而忽視小型土木結(jié)構(gòu);在數(shù)據(jù)處理方面多注重對(duì)影響因素的判別、數(shù)據(jù)濾波處理等[9],而忽視對(duì)原始數(shù)據(jù)的有效性評(píng)估、異常數(shù)據(jù)識(shí)別和替換,缺失數(shù)據(jù)插補(bǔ)等,且缺乏系統(tǒng)的數(shù)據(jù)處理流程和方法。

現(xiàn)利用Python豐富的“庫(kù)”資源構(gòu)建針對(duì)海量自動(dòng)化監(jiān)測(cè)數(shù)據(jù)的預(yù)處理程序。利用北京市東城區(qū)房屋健康安全監(jiān)測(cè)項(xiàng)目的監(jiān)測(cè)數(shù)據(jù),驗(yàn)證程序的高效性和可行性。同時(shí)為說(shuō)明自動(dòng)化監(jiān)測(cè)數(shù)據(jù)的準(zhǔn)確性,提出一種以人工監(jiān)測(cè)數(shù)據(jù)進(jìn)行校核的方法,并利用多項(xiàng)式曲線探討擬合預(yù)測(cè)。

1 預(yù)處理流程設(shè)計(jì)

1.1 設(shè)計(jì)目標(biāo)

設(shè)計(jì)目標(biāo)是高效、自動(dòng)化、可視化處理和展示房屋健康監(jiān)測(cè)數(shù)據(jù),使房屋安全評(píng)估具有可靠的數(shù)據(jù)支撐。

具體實(shí)現(xiàn)以下功能:①?gòu)臄?shù)據(jù)庫(kù)中讀取Excel數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)的批量導(dǎo)入和暫時(shí)存儲(chǔ);②主要步驟分4步:可信度評(píng)估、異常數(shù)據(jù)檢測(cè)與替換、遺漏數(shù)據(jù)插補(bǔ)及平滑濾波;③實(shí)現(xiàn)對(duì)地基沉降、墻壁傾斜、水平位移、裂縫位移、溫濕度等監(jiān)測(cè)數(shù)據(jù)的批量處理和可視化,對(duì)處理后的數(shù)據(jù)進(jìn)行多元化導(dǎo)出和存儲(chǔ)。

1.2 預(yù)處理流程

對(duì)于原始數(shù)據(jù)首先進(jìn)行可信度評(píng)估,通過(guò)則可繼續(xù)處理數(shù)據(jù),未通過(guò)則尋找問(wèn)題來(lái)源;通過(guò)的數(shù)據(jù)進(jìn)行異常數(shù)據(jù)剔除和替換,插補(bǔ)空缺值,處理后進(jìn)行平滑濾波。預(yù)處理流程如圖1所示。

圖1 數(shù)據(jù)預(yù)處理流程圖Fig.1 Flow chart of data preprocessing

1.3 實(shí)現(xiàn)方法

預(yù)處理的實(shí)現(xiàn)基于Python程序語(yǔ)言進(jìn)行編程,與C、Java等相比是一種簡(jiǎn)潔方便的程序語(yǔ)言,數(shù)據(jù)結(jié)構(gòu)較高效,面向?qū)ο蟮木幊炭梢砸院?jiǎn)單高效的方式完成[10-11]。預(yù)處理板塊運(yùn)用Python中豐富的庫(kù)資源進(jìn)行開(kāi)發(fā),本文研究主要運(yùn)用以下庫(kù)[12]。

(1)Numpy庫(kù):具有對(duì)數(shù)組的強(qiáng)大處理能力和高效的廣播機(jī)制,以及對(duì)數(shù)據(jù)快速處理的相關(guān)函數(shù)。本文應(yīng)用其中的“polyfit”和“polyval”函數(shù)對(duì)數(shù)據(jù)進(jìn)行多項(xiàng)式曲線擬合和多項(xiàng)式的生成。

(2)Pandas庫(kù):基于Numpy開(kāi)發(fā)的科學(xué)計(jì)算庫(kù)。其中包含多種快捷的數(shù)據(jù)處理方法,做到對(duì)數(shù)據(jù)的查找、修改等操作。在本文研究中有廣泛的應(yīng)用,尤其在異常值剔除和遺漏數(shù)據(jù)插補(bǔ)中。

(3)Matplotlib庫(kù):數(shù)據(jù)可視化是數(shù)據(jù)處理中必不可少的展示方法,本程序目標(biāo)中也需要對(duì)數(shù)據(jù)進(jìn)行可視化。在Python中,Matplotlib是使用最多的繪圖庫(kù),可以繪制二維和三維的數(shù)據(jù)圖像。本文研究中所有相關(guān)曲線均使用Matplotlib制作。

(4)SciPy庫(kù)[13]:SciPy是一個(gè)在NumPy的基礎(chǔ)上集成數(shù)學(xué)建模、數(shù)值分析等高級(jí)數(shù)學(xué)方法的開(kāi)源算法庫(kù)。本文研究在平滑濾波部分使用S-G濾波器進(jìn)行平滑濾波。

2 監(jiān)測(cè)數(shù)據(jù)預(yù)處理

2.1 可信度評(píng)估

可信度評(píng)估使用鄧氏關(guān)聯(lián)度[14]進(jìn)行數(shù)據(jù)評(píng)估,具體評(píng)估流程如下。

(1)首先選擇一組測(cè)點(diǎn),以一個(gè)月為跨度提取每一組測(cè)點(diǎn)的返回?cái)?shù)據(jù)(溫濕度、應(yīng)力、位移等),每一組數(shù)據(jù)以時(shí)間序列的形式存儲(chǔ)在表格中,導(dǎo)入的數(shù)據(jù)以DataFrame結(jié)構(gòu)存儲(chǔ)在寄存器中。

(2)對(duì)所有列向量X={xi(k)|k=1,2,…,n}進(jìn)行標(biāo)準(zhǔn)化,本文研究中采用式(1)的平均值化方法進(jìn)行標(biāo)準(zhǔn)化。

(1)

式(1)中:n為列向量長(zhǎng)度;k為1～n的自然數(shù)。

(3)選取列向量X0={X0(k)|k=1,2,…,n}作為參考序列,其余的列向量Xi={Xi(k)|k=1,2,…,n}為比較序列,其中n為每列含有的數(shù)據(jù)個(gè)數(shù),則鄧氏關(guān)聯(lián)度計(jì)算關(guān)聯(lián)系數(shù)為

A=minimink|x0(k)-xi(k)|

(2)

B=ρmaximaxk|x0(k)-xi(k)|

(3)

(4)

式中:ρ為分辨率系數(shù),ρ越小分辨率越大,一般ρ的取值區(qū)間為[0,1],通常取ρ=0.5;A、B為中間參數(shù),A為通過(guò)minimink取得∣x0(k)-xi(k)∣中最小值,B為通過(guò)maximaxk取得∣x0(k)-xi(k)∣中最大值;ξi(k)為第i個(gè)比較序列向量中第k個(gè)值與參考序列向量第k個(gè)值的關(guān)聯(lián)系數(shù)。

于是,可求出Xi和X0的關(guān)聯(lián)系數(shù)。

ξi={ξi(k)|k=1,2,…,n}

(5)

則灰色關(guān)聯(lián)度定義為

(6)

式(6)中:γi為第i個(gè)比較序列向量與參考序列的灰色關(guān)聯(lián)度。

(4)關(guān)聯(lián)度閾值為所有的平均值。若符合關(guān)聯(lián)度閾值的要求,則說(shuō)明與基準(zhǔn)序列相比該序列符合要求,可以傳入下一步程序繼續(xù)處理;否則,剔除該序列不再參與接下來(lái)數(shù)據(jù)處理。

2.2 異常數(shù)據(jù)檢測(cè)與剔除

在異常數(shù)據(jù)檢測(cè)方面,主要方法有3σ法、Z分?jǐn)?shù)法、格拉布斯法(Grubbs)和箱形圖法等,箱形圖法與前三種方法相比不需要數(shù)據(jù)滿足正態(tài)分布,可以檢測(cè)任何數(shù)據(jù)集的異常數(shù)據(jù),適用范圍更加廣泛[15],因此本程序使用箱形圖法檢測(cè)異常數(shù)據(jù)。

箱形圖結(jié)構(gòu)示意圖[16]如圖2所示,數(shù)據(jù)序列的中位數(shù)對(duì)應(yīng)箱子的中心位置,上、下四分位數(shù)分別位于箱子的兩端,上下四分位數(shù)的間距(IQR)表示箱子的長(zhǎng)度,最大上限(Q3+1.5IQR)和最小下限(Q1-1.5IQR)分別位于距箱子邊緣1.5倍上下四分位的間距處,則超過(guò)上下限則定義為異常數(shù)據(jù),位于上下限內(nèi)的數(shù)據(jù)則為正常數(shù)據(jù)[17]。

圖2 箱形圖結(jié)構(gòu)示意圖Fig.2 Structure diagram of box-plot

識(shí)別出的異常數(shù)據(jù)以列向量形式記錄其在原始數(shù)據(jù)對(duì)應(yīng)的“Index”和“Columns”屬性,并在原始數(shù)據(jù)位置賦為異常值“NaN”(Pandas庫(kù)中使用“NaN”表示缺失值或異常值),即完成對(duì)異常數(shù)據(jù)的剔除。

2.3 數(shù)據(jù)插補(bǔ)

在異常數(shù)據(jù)剔除后,除了剔除的某些監(jiān)測(cè)值,還有各種原因引起的數(shù)據(jù)缺失,在Python中均以“NaN”形式體現(xiàn),本文研究中使用曲線擬合補(bǔ)充缺失數(shù)據(jù)。

按照幾何定義,曲線擬合是曲線y=p(t)到特定點(diǎn)(ti,yi)|(i=0,1,2,…,m)的距離平方和I為最小的曲線。求I的極小值條件為

j=0,1,…,n

(7)

式(7)中:ai為系數(shù);t為時(shí)間變量;I為曲線y=p(t)到特定點(diǎn)(ti,yi)|(i=0,1,2,…,m)的距離平方和。

解方程組即可求出擬合函數(shù)p(t),將擬合函數(shù)作為實(shí)際函數(shù)即可求出數(shù)據(jù)缺失位置的數(shù)據(jù)值[18]。同時(shí)還可使用該近似函數(shù)預(yù)測(cè)短時(shí)間內(nèi)的變形數(shù)據(jù)。

2.4 平滑濾波

(1)S-G濾波[19]。S-G(Savitzky-Golay)濾波平滑,基于最小二乘法消除數(shù)據(jù)中的無(wú)用噪聲,同時(shí)保留信號(hào)波中的有用信息,其體現(xiàn)方式就是數(shù)據(jù)曲線更加平滑,波動(dòng)有一定程度的減弱。S-G平滑公式為

(8)

(2)Kalman濾波。卡爾曼濾波(Kalman filtering)是線性系統(tǒng)狀態(tài)方程[20-21]的應(yīng)用,其通過(guò)讀取觀測(cè)數(shù)據(jù),輸出系統(tǒng)狀態(tài)最優(yōu)估計(jì)值的算法,可以實(shí)時(shí)計(jì)算濾波。其應(yīng)用非常廣泛,這是因?yàn)樵趯?shí)際的系統(tǒng)當(dāng)中,有許多不確定因素影響系統(tǒng)的穩(wěn)定性:①?zèng)]有據(jù)對(duì)完美的數(shù)學(xué)模型;②不可控的系統(tǒng)擾動(dòng);③傳感器本身的誤差。本文研究使用卡爾曼濾波主要是為了削弱傳感器誤差,和不可控?cái)_動(dòng)的影響以平滑曲線,數(shù)學(xué)表達(dá)式為

(9)

3 工程實(shí)例分析

選取北京市東城區(qū)老舊房屋健康安全智慧監(jiān)測(cè)項(xiàng)目中紅廟街46號(hào)作為分析對(duì)象,驗(yàn)證上述預(yù)處理流程,詳細(xì)過(guò)程及結(jié)果如下。

紅廟街46號(hào)位于北京市東城區(qū),建于1949年,總建筑面積約為31.52 m2,建筑立面照如圖3所示。建筑結(jié)構(gòu)形式為地上2層砌體結(jié)構(gòu),層高3.0 m。樓面板為木質(zhì)樓板,屋面為木屋架兩面坡屋面。主要監(jiān)測(cè)項(xiàng)目包括地基沉降、墻壁傾斜、裂縫位移、水平位移、應(yīng)力應(yīng)變等。本文研究中以地基沉降數(shù)據(jù)為例驗(yàn)證數(shù)據(jù)預(yù)處理流程。

圖3 建筑外立面Fig.3 Building facade

3.1 可信度評(píng)估結(jié)果

沉降數(shù)據(jù)是建筑變形的重要指標(biāo),能夠反應(yīng)房屋結(jié)構(gòu)和地基變形的情況,因此本文研究以沉降變形監(jiān)測(cè)數(shù)據(jù)驗(yàn)證可信度評(píng)估的可靠性。

監(jiān)測(cè)點(diǎn)位示意如圖4和圖5所示,房屋共布設(shè)5個(gè)沉降變形監(jiān)測(cè)點(diǎn),采用靜力水準(zhǔn)方法進(jìn)行監(jiān)測(cè),沉降監(jiān)測(cè)點(diǎn)位的布設(shè)位置綜合考慮現(xiàn)場(chǎng)實(shí)際情況和監(jiān)測(cè)需求,均布設(shè)在東側(cè)二層外墻處。

圖4 監(jiān)測(cè)模型示意Fig.4 Monitoring model

圖5 監(jiān)測(cè)設(shè)備安裝情況Fig.5 Monitoring equipment installation

監(jiān)測(cè)頻率設(shè)置為每30 min自動(dòng)采集一次數(shù)據(jù),以一個(gè)月時(shí)間為跨度選取房屋沉降的監(jiān)測(cè)數(shù)據(jù),以2022年8月監(jiān)測(cè)數(shù)據(jù)為例,每個(gè)測(cè)點(diǎn)采集的數(shù)據(jù)總計(jì)1 487個(gè),從Excel導(dǎo)入的數(shù)據(jù)以DataFrame形式存儲(chǔ)在寄存器中,如圖6所示。

圖6 導(dǎo)入的原始數(shù)據(jù)(Dataframe結(jié)構(gòu))Fig.6 Imported raw data (Dataframe structure)

以沉降序列CJ-00作為參考序列,剩余序列(沉降序列CJ-01、CJ-02、CJ-03、CJ-04)作為對(duì)比序列,通過(guò)編程得到灰色關(guān)聯(lián)度和關(guān)聯(lián)度閾值如圖7所示。關(guān)聯(lián)度閾值為0.818 577 825 945 26,經(jīng)過(guò)比較選取序列CJ-00、CJ-01、CJ-02和CJ-03進(jìn)行下一步處理,剔除序列CJ-04。

圖7 灰色關(guān)聯(lián)度和閾值Fig.7 Grey Relational and threshold

3.2 異常數(shù)據(jù)的剔除與插補(bǔ)結(jié)果

以3.1節(jié)中通過(guò)可信度評(píng)估的沉降序列CJ-00為例說(shuō)明異常數(shù)據(jù)的處理結(jié)果。箱形圖篩選異常數(shù)據(jù)結(jié)果顯示,在第701～800個(gè)數(shù)據(jù)中共出現(xiàn)4個(gè)異常數(shù)據(jù),對(duì)應(yīng)的數(shù)據(jù)分別為(745,36.34)、(746,36.36)、(747,36.58)和(748,36.49)。監(jiān)測(cè)點(diǎn)CJ-00異常數(shù)據(jù)剔除前后的監(jiān)測(cè)數(shù)據(jù)部分曲線圖如圖8和圖9所示。

圖8 異常數(shù)據(jù)剔除前Fig.8 Before removing the abnormal data

圖9 異常數(shù)據(jù)剔除后Fig.9 After removing the abnormal data

使用1次、2次、3次、5次和10次多項(xiàng)式進(jìn)行曲線擬合插值,1次、2次、3次、5次和10次多項(xiàng)式插值結(jié)果與實(shí)際數(shù)據(jù)的相關(guān)系數(shù)如表1所示,比較可知多項(xiàng)式次數(shù)越高,相關(guān)性越好,即更貼近實(shí)際數(shù)據(jù),但隨著次數(shù)的增大計(jì)算量大幅增加,考慮到設(shè)備算力和成本,程序采用3次多項(xiàng)式曲線插值填補(bǔ)空缺值和異常數(shù)據(jù),插補(bǔ)結(jié)果部分曲線如圖10所示。

表1 多項(xiàng)式插補(bǔ)結(jié)果與實(shí)際數(shù)據(jù)的相關(guān)系數(shù)Table1 Coefficient of correlation between polynomial interpolation results and actual data

圖10 異常數(shù)據(jù)曲線擬合插補(bǔ)結(jié)果Fig.10 Abnormal data curve fitting interpolation results

異常數(shù)據(jù)剔除與插補(bǔ)前后監(jiān)測(cè)點(diǎn)CJ-00數(shù)據(jù)散點(diǎn)圖如圖11和圖12所示,處理后數(shù)據(jù)相較原始數(shù)據(jù)波動(dòng)區(qū)間由1.0 mm減小為約0.5 mm,減小幅度約50%,波動(dòng)幅度明顯降低,提高了數(shù)據(jù)的穩(wěn)定性。

圖11 監(jiān)測(cè)點(diǎn)CJ-00未進(jìn)行異常數(shù)據(jù)剔除與插補(bǔ)數(shù)據(jù)散點(diǎn)圖Fig.11 Scatter plot before removing abnormal data and interpolation data of monitoring CJ-00

圖12 監(jiān)測(cè)點(diǎn)CJ-00進(jìn)行異常數(shù)據(jù)剔除與插補(bǔ)后數(shù)據(jù)散點(diǎn)圖Fig.12 Scatter plot after removing abnormal data and interpolation data of monitoring CJ-00

規(guī)范《危險(xiǎn)房屋鑒定標(biāo)準(zhǔn)》JGJ125—2016規(guī)定,評(píng)定危險(xiǎn)狀態(tài)的沉降速率控制值為每月4 mm,監(jiān)測(cè)項(xiàng)目中一般將預(yù)警閾值設(shè)置為控制值的60%～70%,為避免頻繁預(yù)警,波動(dòng)區(qū)間不宜過(guò)大,若波動(dòng)區(qū)間過(guò)大,就會(huì)頻繁觸發(fā)預(yù)警,造成不必要的恐慌和經(jīng)濟(jì)損失。文中處理異常值后的數(shù)據(jù)滿足規(guī)范中的要求,且不會(huì)觸發(fā)預(yù)警。

3.3 平滑濾波結(jié)果

平滑濾波目的是降低數(shù)據(jù)的離散性并凸顯數(shù)據(jù)的趨勢(shì)性。采用S-G濾波和Kalman濾波兩種方法,兩種濾波方法成果與原始數(shù)據(jù)對(duì)比曲線圖如圖13所示,與未處理數(shù)據(jù)相關(guān)系數(shù)分別為0.967 410和0.821 076,則兩種濾波方法均可體現(xiàn)原始數(shù)據(jù)的變化趨勢(shì),標(biāo)準(zhǔn)差表2所示,比較可知,相較于未濾波的原始數(shù)據(jù),兩種方法均可降低數(shù)據(jù)離散性,但Kalman濾波方法相較于S-G濾波方法在降低離散性方面效果更好、更適合本程序要求,因此程序使用Kalman濾波平滑數(shù)據(jù)。

表2 不同濾波方法處理數(shù)據(jù)的標(biāo)準(zhǔn)差Table 2 Standard deviation of data processed by different filtering methods

圖13 S-G濾波、Kalman濾波成果圖Fig.13 S-G filtering and Kalman filtering results

圖14 數(shù)據(jù)比對(duì)流程圖Fig.14 Flow chart of data comparison

經(jīng)過(guò)上述數(shù)據(jù)處理后,數(shù)據(jù)能很好地反映沉降的變化趨勢(shì),在一個(gè)月的時(shí)間內(nèi),自動(dòng)化監(jiān)測(cè)沉降測(cè)量數(shù)據(jù)為-0.137 5 mm(即自動(dòng)化監(jiān)測(cè)得到結(jié)果為下沉0.137 5 mm)。

4 數(shù)據(jù)比對(duì)與擬合預(yù)測(cè)

4.1 數(shù)據(jù)比對(duì)

4.1.1 自動(dòng)化監(jiān)測(cè)數(shù)據(jù)合理性檢驗(yàn)流程

數(shù)據(jù)經(jīng)第3節(jié)處理后,已消除明顯的測(cè)量誤差,為驗(yàn)證自動(dòng)化監(jiān)測(cè)結(jié)果的準(zhǔn)確性和可靠性,需利用人工監(jiān)測(cè)數(shù)據(jù)進(jìn)行數(shù)據(jù)比對(duì)。通過(guò)比對(duì)一段時(shí)間內(nèi)的變化趨勢(shì)和誤差判斷自動(dòng)化監(jiān)測(cè)數(shù)據(jù)是否合理,具體流程如下。

(1)數(shù)據(jù)準(zhǔn)備。①自動(dòng)化監(jiān)測(cè)數(shù)據(jù):使用上述流程處理后的自動(dòng)化監(jiān)測(cè)數(shù)據(jù);②人工監(jiān)測(cè)數(shù)據(jù):采用與自動(dòng)化監(jiān)測(cè)對(duì)應(yīng)時(shí)間內(nèi)的人工監(jiān)測(cè)數(shù)據(jù),并對(duì)兩次人工監(jiān)測(cè)數(shù)據(jù)進(jìn)行插值,使人工監(jiān)測(cè)與自動(dòng)化監(jiān)測(cè)數(shù)據(jù)量相同。

(2)趨勢(shì)分析:變化趨勢(shì)以自動(dòng)化與人工監(jiān)測(cè)數(shù)據(jù)的相關(guān)系數(shù)ρ體現(xiàn),若ρ>0,則變化趨勢(shì)相同,當(dāng)ρ接近1時(shí),說(shuō)明自動(dòng)化監(jiān)測(cè)數(shù)據(jù)和人工監(jiān)測(cè)數(shù)據(jù)相關(guān)性較好,趨勢(shì)符合度更高,且正相關(guān);若ρ<0,則變化趨勢(shì)不同,需檢查自動(dòng)化監(jiān)測(cè)過(guò)程中是否存在其他問(wèn)題影響監(jiān)測(cè)結(jié)果。

(3)誤差分析:以自動(dòng)化監(jiān)測(cè)數(shù)據(jù)作為近似值x*,人工監(jiān)測(cè)數(shù)據(jù)作為準(zhǔn)確值x,求出對(duì)應(yīng)時(shí)間的絕對(duì)誤差e*,若|e*≤0.1|,則認(rèn)為此時(shí)刻自動(dòng)化監(jiān)測(cè)值滿足要求,否則不滿足要求。

(4)若通過(guò)趨勢(shì)分析,且滿足誤差分析要求數(shù)據(jù)達(dá)到90%以上,則認(rèn)為自動(dòng)化監(jiān)測(cè)數(shù)據(jù)有效;否則,需檢查監(jiān)測(cè)設(shè)備及是否存在其他因素對(duì)監(jiān)測(cè)結(jié)果產(chǎn)生影響。

4.1.2 紅廟街46號(hào)樓自動(dòng)化監(jiān)測(cè)數(shù)據(jù)檢驗(yàn)

紅廟街46號(hào)樓自動(dòng)化監(jiān)測(cè)項(xiàng)目每月進(jìn)行兩次人工監(jiān)測(cè)數(shù)據(jù)采集以滿足比對(duì)要求,截至2022年8月25日人工監(jiān)測(cè)數(shù)據(jù)采集如表3所示,選用8月12日和25日兩次人工監(jiān)測(cè)數(shù)據(jù)與對(duì)應(yīng)時(shí)間內(nèi)的所有自動(dòng)化監(jiān)測(cè)數(shù)據(jù),驗(yàn)證自動(dòng)化監(jiān)測(cè)結(jié)果。

表3 人工監(jiān)測(cè)沉降數(shù)據(jù)Table 3 Manual monitoring of settlement data

(1)數(shù)據(jù)準(zhǔn)備。自動(dòng)化監(jiān)測(cè)數(shù)據(jù):經(jīng)預(yù)處理后有4組沉降數(shù)據(jù),選取8月12日12:00至25日12:00所有數(shù)據(jù),并以對(duì)應(yīng)時(shí)刻4個(gè)監(jiān)測(cè)值的平均值作為房屋沉降自動(dòng)化監(jiān)測(cè)值,前10次監(jiān)測(cè)數(shù)據(jù)如表4所示。

表4 自動(dòng)化監(jiān)測(cè)前10次數(shù)據(jù)Table 4 Automatic monitoring of top 10 data

人工監(jiān)測(cè)數(shù)據(jù):取三個(gè)人工監(jiān)測(cè)點(diǎn)數(shù)據(jù)的平均值作為人工沉降監(jiān)測(cè)數(shù)據(jù),對(duì)兩次人工監(jiān)測(cè)數(shù)據(jù)之間進(jìn)行線性插值,插值后需保證與自動(dòng)化監(jiān)測(cè)數(shù)據(jù)量相同,前10個(gè)插值數(shù)據(jù)如表5所示。

表5 人工監(jiān)測(cè)前10個(gè)插值數(shù)據(jù)Table 5 Manual monitoring of top 10 interpolation data

(2)趨勢(shì)分析。對(duì)數(shù)據(jù)進(jìn)行相關(guān)性分析,相關(guān)性檢驗(yàn)散點(diǎn)圖如圖15所示,相關(guān)系數(shù)ρ=0.506 454 82,相關(guān)系數(shù)大于零,則自動(dòng)化與人工監(jiān)測(cè)數(shù)據(jù)正相關(guān),變化趨勢(shì)相同,滿足趨勢(shì)分析要求,可進(jìn)行誤差分析。

紅色虛線為趨勢(shì)線

(3)誤差分析。計(jì)算自動(dòng)化與人工監(jiān)測(cè)數(shù)據(jù)的絕對(duì)誤差,分析結(jié)果如圖16所示,根據(jù)統(tǒng)計(jì)滿足|e*≤0.1|的數(shù)據(jù)共568個(gè),不滿足要求數(shù)據(jù)56個(gè)。有效數(shù)據(jù)占比91.03%,滿足誤差分析對(duì)有效數(shù)據(jù)的要求。

圖16 絕對(duì)誤差結(jié)果散點(diǎn)圖Fig.16 Scatter plot of absolute error results

(4)綜上自動(dòng)化與人工監(jiān)測(cè)數(shù)據(jù)變化趨勢(shì)相同,且有效數(shù)據(jù)占91.03%,滿足對(duì)有效數(shù)據(jù)數(shù)量的要求。可得出結(jié)論,紅廟街46號(hào)樓房屋沉降變形自動(dòng)化監(jiān)測(cè)有效,滿足自動(dòng)化監(jiān)測(cè)預(yù)期要求。

4.2 擬合預(yù)測(cè)

使用多項(xiàng)式曲線擬合進(jìn)行預(yù)測(cè),利用預(yù)處理后的8月自動(dòng)化監(jiān)測(cè)數(shù)據(jù)構(gòu)建擬合曲線,1次、2次、3次、5次和10次多項(xiàng)式擬合曲線如圖17所示,由3.2節(jié)知,次數(shù)越高擬合效果越好,但計(jì)算量大幅增加。

圖17 1次、2次、3次、5次和10次多項(xiàng)式擬合曲線Fig.17 Fit curves to polynomials of degree 1, 2, 3, 5, and 10

因此為保證擬合預(yù)測(cè)準(zhǔn)確率,同時(shí)綜合實(shí)際情況,選擇2次、4次和10次多項(xiàng)式曲線對(duì)沉降監(jiān)測(cè)點(diǎn)CJ-00進(jìn)行預(yù)測(cè)。以2022年9月紅廟街46號(hào)樓房屋沉降變形自動(dòng)化監(jiān)測(cè)CJ-00數(shù)據(jù)驗(yàn)證預(yù)測(cè)準(zhǔn)確性,為2次、4次和10次多項(xiàng)式曲線擬合預(yù)測(cè)示意圖如圖18所示,圖中黑色虛線左側(cè)為8月預(yù)處理后自動(dòng)化監(jiān)測(cè)數(shù)據(jù),右側(cè)為9月預(yù)處理后自動(dòng)化監(jiān)測(cè)數(shù)據(jù),紅色曲線為根據(jù)8月監(jiān)測(cè)數(shù)據(jù)做出的擬合曲線,黑色虛線與紅色點(diǎn)劃線間為有效預(yù)測(cè)數(shù)據(jù)。

圖18 多項(xiàng)式擬合預(yù)測(cè)結(jié)果Fig.18 Polynomial fitting prediction result

經(jīng)統(tǒng)計(jì)得到預(yù)測(cè)精度及有效數(shù)據(jù)結(jié)果如表6所示。

表6 擬合預(yù)測(cè)統(tǒng)計(jì)結(jié)果Table 6 The results of the fitting prediction statistics

對(duì)比發(fā)現(xiàn),不同次數(shù)的多項(xiàng)式曲線擬合預(yù)測(cè)均可在一定精度內(nèi)實(shí)現(xiàn)短期預(yù)測(cè);4次多項(xiàng)式的預(yù)測(cè)精度,誤差平方和(SEE)和有效時(shí)間均優(yōu)于2次多項(xiàng)和10次多項(xiàng)式,因此多項(xiàng)式次數(shù)越高并不一定會(huì)提高預(yù)測(cè)精度和有效時(shí)間,而需要根據(jù)實(shí)際情況不斷優(yōu)化擬合曲線,選取最合適的多項(xiàng)式次數(shù)以提高預(yù)測(cè)精度和有效時(shí)間。

5 結(jié)論

以北京市東城區(qū)老舊房屋健康安全智慧監(jiān)測(cè)項(xiàng)目為背景,使用Python編程語(yǔ)言構(gòu)建數(shù)據(jù)預(yù)處理程序,提出了一種使用人工監(jiān)測(cè)數(shù)據(jù)校核自動(dòng)化監(jiān)測(cè)數(shù)據(jù)的方法,并使用多項(xiàng)式曲線擬合討論擬合預(yù)測(cè),得出如下結(jié)論。

(1)使用Python編程語(yǔ)言構(gòu)建預(yù)處理程序,具有易于修改、高效處理海量數(shù)據(jù)等優(yōu)點(diǎn)且能適應(yīng)不同類(lèi)型數(shù)據(jù),能以可視化方式展示處理結(jié)果,同時(shí)可以直接調(diào)用處理結(jié)果進(jìn)行其他的分析操作,文中的數(shù)據(jù)比對(duì)與擬合預(yù)測(cè)就是直接調(diào)用預(yù)處理結(jié)果進(jìn)行分析。

(2)數(shù)據(jù)預(yù)處理程序采用灰色關(guān)聯(lián)法選擇相關(guān)性較好的數(shù)據(jù),箱形圖檢測(cè)異常數(shù)據(jù),并使用擬合曲線對(duì)異常和空缺數(shù)據(jù)進(jìn)行插值和替換,以濾波效果更好的Kalman濾波方法降低了數(shù)據(jù)的離散性,最終的處理結(jié)果達(dá)到預(yù)期設(shè)計(jì)目標(biāo),處理結(jié)果能清晰反應(yīng)變化趨勢(shì)。

(3)數(shù)據(jù)比對(duì)是為驗(yàn)證自動(dòng)化監(jiān)測(cè)數(shù)據(jù)的準(zhǔn)確性和可靠性而提出,文中以預(yù)處理后紅廟街46號(hào)樓沉降數(shù)據(jù)為例驗(yàn)證了數(shù)據(jù)比對(duì)流程的合理性,結(jié)果顯示紅廟街46號(hào)樓自動(dòng)化監(jiān)測(cè)數(shù)據(jù)符合校核要求,且處理流程簡(jiǎn)潔方便。

(4)文中擬合預(yù)測(cè)通過(guò)對(duì)比不同次數(shù)多項(xiàng)式的預(yù)測(cè)結(jié)果,得知預(yù)測(cè)精度和有效預(yù)測(cè)時(shí)間并不會(huì)隨著多項(xiàng)式次數(shù)增加而提高,但次數(shù)過(guò)低也會(huì)導(dǎo)致預(yù)測(cè)結(jié)果偏離真實(shí)數(shù)據(jù)。通過(guò)比較紅廟街46號(hào)8月自動(dòng)化監(jiān)測(cè)數(shù)據(jù)的最佳擬合預(yù)測(cè)曲線為4次,預(yù)測(cè)精度達(dá)到0.1%,有效預(yù)測(cè)時(shí)間約10 d。