基于多通道數據流在線相關分析及聚類的閘站工程安全監測

包加桐，錢 江，張 煒，唐鴻儒※，湯方平

?

基于多通道數據流在線相關分析及聚類的閘站工程安全監測

包加桐1，錢 江2，張 煒1，唐鴻儒1※，湯方平1

（1. 揚州大學水利與能源動力工程學院，揚州 225127；2. 江蘇省泰州引江河管理處，泰州 225321）

閘站工程自動安全監測可積累大量高質量監測數據，然而對這些數據的在線自動分析手段較為有限。該文提出一種針對多通道實時監測數據流的在線相關分析與聚類方法，以挖掘多個感興趣測點通道數據流之間的聯系。該方法能夠在線快速計算數據流的統計特征，在計算數據流之間相關性度量的基礎上，對多數據流進行自動聚類。以泰州高港閘站工程安全監測系統為例，針對揚壓力、伸縮縫、溫度等多類型共65個通道數據流進行在線相關分析與聚類，一次特征計算、分析與聚類總時長低于1 s，滿足在線處理的實時性要求。該文提出的方法能夠判斷閘站工程滲壓情況、伸縮縫與溫度變化特性等，可有效發現潛在的工程安全問題或傳感器故障。

聚類分析；在線系統；相關方法；閘站工程；安全監測；多數據流

0 引 言

閘站工程通常由分布在較大范圍內的泵站、水閘、堤壩等多座水工建筑物組成。為了保障工程安全可靠運行，需要定期且準確地觀測和分析水工建筑物的沉降、裂縫、滲壓等，以能夠及時掌握工程健康狀況與薄弱環節，為后期加固維修提供可靠資料[1-2]。傳統以人工定期觀測方式為主，室外觀測任務重、測量周期長、人為誤差影響大，監測效率與精度無法保證。隨著信息化與智能化要求的提高，充分利用先進傳感器、網絡、數據庫等信息技術進行各類水工建筑物的安全自動監測成為必然選擇[3-6]。

自動監測在觀測頻次、精度上的顯著優勢可以保證閘站工程安全狀況的連續準確監測要求，能夠長期記錄各類監測數據，通過數據分析和比對，發現可能導致事故的異常參數并及時報警。在工程安全監測數據的在線分析時，通常是設定不同告警等級及相應的上下限閾值，當在線測量數據超出設定閾值范圍時系統會執行相應的告警動作[3,7]。另一方面，由于各類監測數據被長期保存至數據庫，系統一般會提供歷史數據的查詢與數據變化趨勢對比界面或分析工具[8]，采用的是離線查詢與分析方式。例如多利用最小二乘法或改進的方法對工程安全監測數據進行建模[9-10]，剔除離群點，最終用于數據預測[11]等。利用模糊數學對多個監測量的關系進行建模，并用于評估大壩的安全程度[12-13]。使用監測數據基于粗糙集與支持向量機、神經網絡、空間相關系數等方法進行大壩變形分析及構建安全預警模型[14-17]。利用監測數據與安全監測模型進行工程滲流安全監測[18-19]等。可以看出，工程安全監測系統雖然積累了大量數據，對數據中有效豐富信息進行在線自動分析的手段還很有限。

工程安全監測系統從各類通道在線定時采集數據，產生了時間序列上的具有不同類別的多數據流。直接對多數據流進行分析可有效挖掘數據的特性。采用基于聚類的無監督學習方法[20-23]來分析多數據流是常用技術手段。例如文獻[24]在對數據流聚類的基礎上計算數據流全局演化屬性并用于云虛擬主機的在線異常檢測。文獻[25]和文獻[26]則分別采用了在線聚類方法來檢測社交媒體數據流的主題和檢測網絡入侵行為。其他的應用領域包括圖像分類[27]，生物醫學數據分析[28]等，然而相關方法在水利工程領域的應用卻非常少見。因而，本文將多通道數據流的在線相關分析與聚類方法應用于閘站工程安全監測領域，通過在線挖掘多個感興趣測點通道數據流之間的聯系來發現潛在的工程安全問題或傳感器故障，以期豐富基于閾值判斷告警等常用的在線安全監測手段。

1 系統結構

閘站工程常態觀測項目一般包括垂直位移、揚壓力、引河河床變形、伸縮縫、水位以及流量等，觀測工作應按照規定的項目、測次、順序和時間進行現場觀測。為了改進以人工定期觀測為主的閘站工程安全監測工作，前期針對某閘站工程，研究開發了基于網絡的安全監測系統[3]。從數據層面對系統結構進行了劃分，如圖1所示。數據采集層主要從工程安全監測數據采集箱和計算機監控系統中，匯集相關測點的實時數據，并通過數據發布接口提供給上層數據分析層調用和處理。數據服務層則通過開發功能服務及人機界面，供用戶來觀測系統中相關數據及分析結果。如圖2所示，該系統已實現定時采集揚壓力測管水位、伸縮縫、溫度等各類數據，能夠通過人機界面觀測任意時間段內各個測點數據的歷史變化曲線。且能夠在發生測點數據越限或者指定時段內變化值越限時自動通過短信進行報警。

圖1 閘站工程安全監測系統結構

圖2 安全監測系統人機界面

為了能夠進一步挖掘感興趣測點通道數據流之間的聯系，自動發現潛在的工程安全問題或傳感器故障，本文重點研究多數據流的在線相關分析與聚類方法。研究內容處于系統的數據分析層，主要包括多數據流獲取、數據流統計特征計算、在線相關分析與聚類3個過程。多數據流的分析結果可進一步交由監測預警模塊進行推理及執行預警動作。

2 多通道數據流在線分析

2.1 基本概念及數學描述

因此，為提高計算速度與節省存儲資源，只需計算和存儲數據流的統計特征。

2.2 數據流相關分析

2.3 數據流聚類

閘站工程安全監測會涉及眾多不同類型測點的數據流。為在線將相關度高的數據流自動分組，以發現可能存在的工程安全問題或傳感器故障，采用基于密度聚類的DBSCAN算法[30]對多數據流進行聚類，算法偽代碼如下：

begin

end while

end if

end if

end for

end

3 案例及結果分析

3.1 案例簡介

圖3 泰州高港閘站工程安全監測測點布置

試驗中選擇2015年4月29日—2015年11月23日共209 d內存儲于數據庫的65個通道數據流進行在線回放分析。數據存儲的頻度是每個通道每小時記錄1個數據點，因此待分析的每個通道的數據流的總長度為5 016。通過常規上下限值比較手段判斷出YYL_022、YYL_041、YYL_042、WD_YA1_SS通道數據存在大量異常數據，因此不參與數據流的相關分析與聚類。試驗中主要進行2類多數據流的相關分析與聚類：水位數據流（包含揚壓力測管水位與上下游水位）與伸縮縫數據流（包含伸縮縫測點溫度與縫隙大小）。數據流統計特征計算公式中，衰減系數取0.99。聚類算法中閾值取1，鄰域半徑取±0.9。當數據流相關系數>0.9時，稱數據流之間具有強正相關性，相關系數<-0.9時稱數據流之間具有強負相關性。在配置為Intel Core i5 @ 2.3 GHz CPU，4 GB內存的計算機上利用Visual C++ 6.0編程實現在線分析與聚類功能，平均處理1次多數據流的總時長低于1 s，滿足實時性處理要求。

3.2 結果與分析

在線檢測結果如圖4、圖5、表1和表2所示。表1與圖4分別顯示了回放至數據流最后1個數據點對應的離散時間點時，水位數據流的在線相關分析與聚類結果。表2與圖5分別顯示了伸縮縫數據流的相關分析與聚類結果。

表1 水位數據流相關系數矩陣

注：YYL表示揚壓力，SW代表水位，011～XY為測點，見圖3。

Note: YYL and SW represent uplift pressure and water level, respectively, 011-XY is measuring point, see in Fig.3.

圖4 水位數據流聚類結果

注：WD表示溫度，FX表示伸縮縫，SS表示水平東西向，CD表示水平南北向，下同。

從表1可以查看到任意2個水位數據流的相關系數。圖4a中各水位數據流被聚類為強相關的2類，除YYL_023、YYL_043測點外，布置于泵站工程5個斷面上的揚壓力測管的水位，表現出較強的相關性，屬正常地下水滲透現象，并且與上下游水位SW_SY和SW_XY均不相關，表明閘站地基滲壓大小與上下游水位無直接關系。圖4b中的水位數據流被歸為噪聲點，YYL_YA1測點處揚壓力測管安裝于泵站工程右岸，與上游的內河和下游的長江相距較遠，表現出非相關性；YYL_023測點處與下游側長江距離較近，雖未達到強相關，相關系數值也達到0.81；且通過圖4b中所示的波形可以看出，YYL_023測點處揚壓力測管水位波動受長江水位波動影響較大，表明該測點處閘站地基可能出現滲漏，應加強觀測。此外，YYL_043測點處的水位數據變化趨勢較為異常，較大可能性是傳感器測量故障導致，需進一步排查。可以看出，對揚壓力測管水位與上下游水位數據流進行在線相關分析與聚類，可以有效判斷閘站工程滲壓情況及發現傳感器故障。

表2顯示了溫度與各伸縮縫大小數據流的相關系數矩陣。經聚類后，如圖5a所示各測點的溫度數據流均表現為強相關性，圖5b顯示了與溫度表現出強負相關的測點處伸縮縫大小數據流。其中，閘站工程各個斷面連接處的底板向的水平伸縮縫隙大小與溫度多表現出強負相關特性，其余測點處水平伸縮縫隙大小表現為弱負相關特性，相關系數取值均落在(-0.9，-0.8)；除FX_DB2XY_CD和FX_DB4XY_CD外，向的水平錯動縫隙大小與溫度均未表現出強負相關特性。此外，試驗中發現測點FX_XYZY_CD與FX_YA2_CD處縫隙大小變化與溫度變化卻表現出正相關，存在異常，需進一步排查原因。因此，對伸縮縫與溫度數據流進行在線相關分析與聚類，可以挖掘出伸縮縫與溫度的變化特性。對于所有被歸類為噪聲點的數據流，可被直接用于發現各類工程安全監測傳感器的異常情況。

4 結 論

本文提出了一種對閘站工程自動安全監測系統中產生的多數據流進行在線相關分析與聚類的方法，詳細給出了多數據流統計特征快速計算，基于統計特征的相關系數計算以及基于相關系數密度的聚類過程。在泰州高港閘站工程應用與試驗，發現了工程5個斷面上各揚壓力測管水位表現出強正相關，反映出正常地下水滲透現象，其中1個揚壓力測點處位置出現滲漏，1個揚壓力測點處傳感器出現了故障；發現各伸縮縫測點處溫度表現出強正相關，水平伸縮縫隙大小與溫度表現出強負相關，受溫度變化影響明顯，水平錯動縫隙大小則受溫度影響較小。表明了提出的多數據流在線相關分析與聚類方法可以有效挖掘多個感興趣測點通道數據流之間的聯系，自動發現潛在的工程安全問題或傳感器故障，豐富了閘站工程安全監測數據的在線自動分析手段。該方法以數據為驅動，將多數據流進行在線自動分組，用戶無需手動從大量測點列表中選取待分析對比的數據流，即可高效、全面且有針對性地查看異常數據流。數據流的自動分組結果，可直接用于分析得出工程相關特性或客觀規律，以及發現存在的工程安全隱患。多數據流的聚類結果可利用規則庫進行自動推理及執行預警動作，值得進一步研究。

[1] 顧昊，王霞. 自動監測技術在閘站工程變形觀測中的應用[J]. 水利建設與管理，2015，35(3)：56－59.Gu Hao, Wang Xia. Application of automatic monitoring technology in gate station[J]. Water Resources Development & Management, 2015, 35(3): 56－59. (in Chinese with English abstract)

[2] Shao Chenfei, Gu Chongshi, Yang Meng, et al. A novel model of dam displacement based on panel data[J/OL]. Structural Control and Health Monitoring, 2018, 25(1): e2037. doi.org/10.1002/stc.2037.

[3] 錢福軍，唐鴻儒，包加桐，等. 基于互聯網的水利樞紐工程安全監測系統開發[J]. 人民長江，2016，47(5)：98－101. Qian Fujun, Tang Hongru, Bao Jiatong, et al. Development of safety monitoring system for water project based on internet[J]. Yangtze River, 2016, 47(5): 98－101. (in Chinese with English abstract)

[4] 金有杰，周克明，雷雨. 基于移動終端的大壩安全監測信息發布平臺研究[J]. 人民長江，2017，48(8)：92－96. Jin Youjie, Zhou Keming, Lei Yu. Research on dam safety monitoring information publishing platform based on mobile terminal[J]. Yangtze River, 2017, 48(8): 92－96. (in Chinese with English abstract)

[5] Yang Jie, Bao Tiandong, Liang Desheng, et al. Management information system for dam safety monitoring based on B/S structure[C]//International Conference on Information Science and Engineering, 2009: 2332－2335.

[6] Wang Ligang, Yang Xiaocong, He Manchao. Research on safety monitoring system of tailings dam based on Internet of Things[J/OL]. IOP Conference Series: Materials Science and Engineering, 2018, 322(5): 052007. doi.org/10.1088/1757- 899X/322/5/052007.

[7] 桂中華，張浩，孫慧芳，等. 水電機組振動劣化預警模型研究及應用[J]. 水利學報，2018，49(2)：216－222.Gui Zhonghua, Zhang Hao, Sun Huifang, et al. Research and application of early warning model of vibration deterioration for hydroelectric-generator unit[J]. Journal of Hydraulic Engineering, 2018, 49(2): 216－222. (in Chinese with English abstract)

[8] 秦浩，李同春，唐繁，等. 基于MATLAB GUI的水電工程安全監測數據處理界面設計[J]. 水利水電技術，2016，47(4)：70－74.Qin Hao, Li Tongchun, Tang Fan, et al. MATLAB GUI- based design of data processing interface for safety monitoring of hydropower project[J]. Water Resources and Hydropower Engineering, 2016, 47(4): 70－74. (in Chinese with English abstract)

[9] 楊杰，方俊，胡德秀，等. 偏最小二乘法回歸在水利工程安全監測中的應用[J]. 農業工程學報，2007，23(3)：136－140.Yang Jie, Fang Jun, Hu Dexiu, et al. Application of partial least-squares regression to safety monitoring of water conservancy projects[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2007, 23(3): 136－140. (in Chinese with English abstract)

[10] 胡德秀，郭盼，陳詩怡，等. 基于最小截平方和估計的監測數據分析方法[J]. 數理統計與管理，2017，36(4)：632－640.Hu Dexiu, Guo Pan, Chen Shiyi, et al. Analysis method of a water engineering safety monitoring data based on the least trimmed square estimation[J]. Journal of Applied Statistics and Management, 2017, 36(4): 632－640. (in Chinese with English abstract)

[11] 解建倉，王玥，雷社平，等. 基于ARIMA模型的大壩安全監測數據分析與預測[J]. 人民黃河，2018，40(10)：131－134.Xie Jiancang, Wang Yue, Lei Sheping, et al. Analysis and prediction of dam safety monitoring data based on ARIMA model[J]. Yellow River, 2018, 40(10): 131－134. (in Chinese with English abstract)

[12] He Jinping, Shi Yuqun. Dam safety fusion evaluation based on fuzzy pattern recognition[C]// International Conference on Computer Science and Service System, 2011: 1177－1180.

[13] 崔少英，包騰飛，裴堯堯，等. 基于模糊數學的大壩安全監測數據處理方法[J]. 水電能源科學，2012，30(11)：45－48.Cui Shaoying, Bao Tengfei, Pei Yaoyao, et al. Data processing of dam safety monitoring based on fuzzy mathematical approach[J]. Water Resources and Power, 2012, 30(11): 45－48. (in Chinese with English abstract)

[14] Su Huaizhi, Wen Zhiping, Gu Chongshi. An early-warning model of dam safety based on rough set theory and support vector machine[C]// International Conference on Machine Learing and Cybernectics, 2006: 3455－3460.

[15] Su Huaizhi, Chen Zhexin, Wen Zhiping. Performance improvement method of support vector machine-based model monitoring dam safety[J]. Structural Control and Health Monitoring, 2016, 23(2): 252－266.

[16] Gourine B, Khelifa S. Analysis of dam deformation using artificial neural networks methods and singular spectrum analysis[C]// Euro-Mediterranean Conference for Environmental Integration. Cham:Springer, 2017: 871－874.

[17] 胡添翼，游孟陶，陸天琳，等. 一種改進的空間相關系數在水庫高邊坡外觀變形監測中的應用[J]. 長江科學院院報，2017，34(7)：41－47，53.Hu Tianyi, You Mengtao, Lu Tianlin, et al. Application of an improved spatial correlation coefficient to exterior deformation monitoring of high slope in reservoir area[J]. Journal of Yangtze River Scientific Research Institute, 2017, 34(7): 41－47, 53. (in Chinese with English abstract)

[18] Chen Bo, Zhang Li, Qian Qiupei, et al. Research on the seepage safety monitoring indexes of the high core rockfill dam[J]. World Journal of Engineering and Technology, 2017, 5(3B): 42－53.

[19] Santillan D, Fraile-Ardanuy J, Toledo M A. Dam seepage analysis based on artificial neural networks: The hysteresis phenomenon[C]// International Joint Conference on Neural Networks, 2013: 1－8.

[20] Bai Liang, Cheng Xueqi, Liang Jiye, et al. An optimization model for clustering categorical data streams with drifting concepts[J]. IEEE Transactions on knowledge and data engineering, 2016, 28(11): 2871－2883.

[21] Puschmann D, Barnaghi P, Tafazolli R. Adaptive clustering for dynamic IoT data streams[J]. IEEE Internet of Things Journal, 2017, 4(1): 64－74.

[22] Kaneriya A, Shukla M. A novel approach for clustering data streams using granularity technique[C]// International Conference on Advances in Computer Engineering and Applications, 2015: 586－590.

[23] Amini A, Saboohi H, Wah T. A multi density-based clustering algorithm for data stream with noise[C]// International Conference on Data Mining Workshops, 2013: 1105－1112.

[24] Sauvanaud C, Silvestre G, Kaaniche M, et al. Data stream clustering for online anomaly detection in cloud applications [C]// European Dependable Computing Conference, 2015: 120－131.

[25] Comito C, Pizzuti C, Procopio N. Online clustering for topic detection in social data streams[C]// International Conference on Tools with Artificial Intelligence. USA: IEEE, 2016: 362－369.

[26] Yin Chunyong, Xia Lian, Wang Jin. Application of an improved data stream clustering algorithm in intrusion detection system[M]// James J, Park J, Chen S, et al. Advanced Multimedia and Ubiquitous Engineering. Cham: Springer, 2017: 626－632.

[27] Maulik U, Saha I. Automatic fuzzy clustering using modified differential evolution for image classification[J]. IEEE Transactions on Geoscience & Remote Sensing, 2010, 48(9): 3503－3510.

[28] Savkare S S, Narote A S, Narote S P. Comparative analysis of segmentation algorithms using threshold and K-Mean Clustering[C]// International Symposium on Intelligent Systems Technologies and Applications. Springer International Publishing, 2016: 111－118.

[29] Tu Li, Chen Ling, Zou Lingjun. Clustering multiple data streams based on correlation analysis[J]. Journal of Software, 2009, 20(7): 1756－1767.

[30] Ester M, Kriegel H P, Xu X. A density-based algorithm for discovering clusters a density-based algorithm for discovering clusters in large spatial databases with noise[C]//International Conference on Knowledge Discovery & Data Mining. USA: AAAI, 1996: 226－231.

Safety monitoring of sluice-pump station project based on online correlation analysis and clustering of multichannel data streams

Bao Jiatong1, Qian Jiang2, Zhang Wei1, Tang Hongru1※, Tang Fangping1

(1.225127,2225321,)

Sluice-pump station projects usually consist of many widely distributed hydraulic structures, such as pumping stations, sluices and dams. In order to ensure the safe and reliable operation of the project, it is necessary to observe and measure the settlement, expansion joints and seepage flow of hydraulic structures regularly and accurately. In this paper, an online correlation analysis and clustering method for multichannel real-time monitoring data streams was proposed. It aimed at finding the connections between data streams from multiple interested measuring channels, and automatically discovering potential project security problems and sensor failures. Firstly, the real-time data streams were continuously collected by recording sensor data from multiple measuring channels with the same frequency and aligning them on the time axis. Secondly, 3 statistical features of the data streams were incrementally calculated. By employing the statistical features, the calculation of correlation coefficients of any 2 data streams could only run in 0(1) time. Thirdly, the clustering algorithm of density-based spatial clustering of applications with noise was used in order to automatically find grouped data streams with strong correlations and noised data streams with weak or without correlations. By analyzing the clustering results according to project related characteristics and objective laws, potential project safety risks as well as sensor failures could be identified. Based on an earlier developed safety monitoring system for Taizhou Gaogang sluice-pump station project, the experiments were carried out to analyze and cluster multichannel data streams of uplift pressure, expansion joint and temperature online. It took less than 1 s to process multiple data streams for one time. The clustering results of the water level data streams revealed that the water levels in the uplift pressure tubes installed in 5 sections of the project had strong positive relations owing to the normal action of ground water penetration. Exceptionally, the variation of water level in 1 tube was highly affected by water level change of the Yangtze River, which means there existed an abnormal seepage in that position. The failure of 1 uplift pressure sensor was also found according to the clustering results. Besides, the clustering results of the data streams of expansion joint size and temperature could be explained by thermal expansion and contraction. Especially, the expansion joint sizes of most places in the east-west direction of the horizontal plane had strong negative correlations to the environment temperature while the ones in the other directions were less affected. All the data streams classified as the noises could be directly used to discover the abnormal situations of the corresponding sensors. In conclusion, the proposed method could effectively find the connections between the online data streams from multiple interested measuring channels, and discover potential project safety problems and sensor failures. It showed to be an effective way to supplement the online data analysis methods in the hydraulic area.

clustering analysis;online systems; correlation methods; sluice-pump station project; safety monitoring; multiple data streams

包加桐，錢 江，張 煒，唐鴻儒，湯方平. 基于多通道數據流在線相關分析及聚類的閘站工程安全監測[J]. 農業工程學報，2019，35(3)：101－108. doi：10.11975/j.issn.1002-6819.2019.03.013 http://www.tcsae.org

Bao Jiatong, Qian Jiang, Zhang Wei, Tang Hongru, Tang Fangping. Safety monitoring of sluice-pump station project based on online correlation analysis and clustering of multichannel data streams [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 101－108. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.03.013 http://www.tcsae.org

10.11975/j.issn.1002-6819.2019.03.013

TL364+.1;S277

A

1002-6819(2019)-03-0101-08

2018-05-12

2019-01-01

國家自然科學基金項目（51376155）；江蘇省重點研發計劃項目（BE2015734）；江蘇省水利科技項目（2015050）

包加桐，副教授，博士，主要從事水利信息化、測控技術與智能系統研究工作。Email：jtbao@yzu.edu.cn

唐鴻儒，教授，博士，主要從事水利信息化、測控技術與智能系統研究工作。Email：hrtang@yzu.edu.cn