淺析供水調度大數據挖掘與應用

陳松

供水調度大數據來源于供水數據監測和供水調度業務管理，通過對這些海量數據的分析與挖掘，能發現很多有價值的信息與規律，可應用于供水設備運行的精細化管理、供水管網管損預警、分析歷史數據與優化管網系統、進行供水管網狀態評估與維護、實施供水優化調度研究，對城市供水安全保障具有重要的意義。

一、供水調度數據監測

通過收集供水信息監測數據以及調度業務管理數據，將獲得大量與供水安全運行數據和供水設施運行能耗、設備運行性能有關的數據。目前信息技術和通信技術發展迅速，采集儀器設備已逐步智能化，通信技術已經比較成熟，為此，通過對供水數據的長期監測，已形成大數據的集合，奠定了供水調度大數據的基礎。

1.數據采集

最常見的供水數據采集是供水SCADA系統的數據采集，主要包括壓力、瞬時流量、水量、濁度、余氯、機泵開停、電量等，采用的設備主要是通過儀器儀表的模擬或者數字輸出信號傳輸至PLC設備，這些數據都是實時在線的。此外還有檢測數據和審批管理數據，如人工水質采樣點的水質樣本在采樣后，通過專業的水質化驗分析儀表進行檢測后，形成的水質化驗報告數據，各供水設施在工況狀況下對供水規模和供水能力的影響評估數據等。這些都是構成供水調度運行和管理的數據的集合。

2.數據傳輸

供水調度數據的傳輸目前已比較成熟，一般分為無線方式傳輸和有線方式傳輸兩種。對于水廠、泵站的重要供水數據多采用有線方式傳輸。對于管網監測點數據，如管網壓力、管網流量、水量、水質數據以及二次供水數據多用無線傳輸。這些供水調度數據在經過數據預處理之后，將按照一定的形式導入數據庫。對于海量的監測數據宜采用分布式數據庫，并注意數據庫優化設計以及同步策略。

3.數據預處理

無論是在數據采集過程中采用多么高精度的儀器，還是在數據傳輸過程中采用多么好的傳輸方式，數據誤差（即噪聲）總是不可避免的。這種誤差包括各種客觀條件的影響，如測量過程、測量條件和測量儀器。由于在線監測數據的變化性，即可從觀測數據之間變化量判斷造成變形的原因。但對于變化 很小的數據，很難辨別兩次監測獲得的變化量究竟是變形造成的，還是受客觀條件影響造成的，以致不能發現變形信息或出現假的信息，從而造成漏報或虛報。因此，在變形分析和預報之前進行觀測數據的預處理工作，來識別干擾、排除干擾和突出信息。

對于采集和傳輸過程中缺失和失真的數據需要進行數據清洗。數據清洗（Data Cleaning或者Data Scrubbing）的目的是檢測數據中存在的錯誤和不一致，剔除或者改正它們，以提高數據的質量。萊茵達準則可將數值過高或過低的數據剔除，可提高處理主流程獲取到的數據的可利用度。萊茵達準則認為，在測量中若已采用措施消除系統誤差，或已將其減至微小量，測量數據中只含隨機誤差，且服從正態分布，則可認為殘差是以0.9973的概率出現在正常范圍之內，出現在正常范圍以外的概率僅為0.0027，相當微小，可以認為是不可能事件，這就有理由判定它是含有粗差的觀測值，可將該觀測值剔除。

對于供水調度監測數據缺失，視缺失情況可采用不同的方法，如借鑒交通流量數據缺失值的插補方法。若某時刻僅一兩個信號無數據，可采用數據趨勢進行臨近插補或其他信號的相關性進行填補；如果一段時間所有信號都沒有數據，為了后續的數據分析而又不便舍去該時間段的值，那么采用基于前后時間段的數據樣本進行隨機插補，并實現各相關信號的一致與統一。

此外對于信號失真的數據，還需要采用數據賦值進行預處理。如對殘差數據、毛刺數據需要采用滑動開窗的方法對其賦值。即通過建立一個長度為5的滑動窗口，對監測數據的序列滑動處理后可得到一個長度為IV的序列，對序列進行處理后的新序列即為賦值結果。

二、淺析供水調度數據的挖掘與應用

供水調度數據挖掘是從大量的、不完全的、有噪聲的、模糊的數據中提取隱含的、未知的，但也是具有潛在價值的知識和信息，其方法是統計分析方法學的延伸和拓展，可包含分類統計、關聯分析、可視化描述、預測、再驗證的迭代與逼近等過程。

通過收集和對供水調度獲取的數據進行統計分析以及價值挖掘，可以獲得很多有價值的數據信息，如管網的壓力的功率與流量、機泵能耗數據、水壓、水量對供水區域的影響、各種節能措施的節能效果、氣象資料數據和各類設備運行狀態等數據，具有廣泛的用途。

1.設備運行狀態數據

通過不間斷對供水調度數據監測和數據收集，對主要監測設備的運行數據進行挖掘，可判斷設備的運行狀態，結合設備的運行特性，判別設備的故障前兆，確定必要的維護措施等，為設備日常維護、安全管理以及成本管理提供支持。

2.水壓與水量以及管損分析

對于管網水壓、流量的數據以及機泵運行狀態等大量數據的監測和采集，可以得知大的數據波動，通過對管網系統進行全面的檢查，尋找出現數據波動的原因，一般情況下，造成壓力和流量發生變化的主要原因為管道的爆裂和漏損，這樣就可以通過模擬分析技術，對管損情況進行預警預報，并在對管道漏損的地方進行確定，并且對漏損的范圍進行估算。

3.歷史數據分析與系統優化

通過分析最小夜流量等數據，從而對當地用戶的用水量進行確定，另外結合當地居民的整體用水方式，可以對居民的用水習慣進行分析，其主要包括用水高峰期和主要用水區域。在得出用戶的用水習慣之后，可以對部分區域的用水量結構進行適當的調整，以此來優化供水系統，提高供水企業的經濟效益。

4.供水管網狀態評估

利用對大量的歷史數據進行分析和排列，可以對管道壓力、流量和水質的變化情況進行確定，并且能夠根據最終結果，建立相應的變化模型，在其中的數據發生較大波動的情況下，可以結合管網水力、水質模擬，來發現管網中管道老化、閥門破損等問題，并且對其進行及時的修復。

5.優化調度研究

結合通過調度管理系統收集的日常調度方案和供水監測系統收集的管網中水力數據、水質數據的實時狀態，建立管網的實時優化調度模式，以此來保證供水管網系統管理運行的節能性和安全性，提高供水公司的整體經濟效益。

在這個信息技術飛速發展的時代，大數據和數據挖掘技術具有無限的潛能，并且已經被各個行業所認可，通過供水調度大數據挖掘，可以發現非常有價值的供水調度與安全保障方面的知識和信息。在未來，供水行業借助于對數據統計分析和挖掘，將實現管理的智能化，對城市供水安全保障具有重要的意義。

參考文獻：

[1]（美）維克托·邁爾·舍恩伯格，（英） 肯尼思·庫克耶.大數據時代[M].盛楊燕，周 濤，譯.杭州：浙江人民出版社，2013.

[2]秦 蕭，甄 峰，熊麗芳，等.大數據時代城市時空間行為研究方法[J].地理科學進展，2013（9）.