供水生產數據中心的設計與建設

文｜王雷 金程 徐速

蕪湖華衍水務有限公司已經基本建立了比較完備的終端監測設備，通過光纖傳輸或GPRS無線傳輸等方式傳回公司調度中心。但是公司缺乏完善的數據采集機制，也沒有建立統一的數據中心，由各種品牌的終端監測設備和各家軟件開發商建立的系統，這些相關的監測數據、業務數據存儲于不同的服務器，有各自不同的數據格式，彼此孤立，數據管理比較分散。隨著監測數據的日益增多和公司信息化水平的不斷提高，對公司的管理提出了更高的要求，因此公司亟需在數據采集、數據中心建設和生產管理方面進行信息化的集中升級，建立完善的數據采集機制，對分散的數據進行集中整合，并且建立起以大數據技術為依托的企業生產數據中心，以利于對數據進行分析、挖掘和應用。

建設目標

基于大數據理念的生產數據管理體系與分析方法，利用云計算技術，構建供水生產數據中心，打通企業生產型數據的壁壘，全面整合企業各種生產數據。

結合HY水務公司現有自控系統以及其他信息系統建設現狀，充分利用在線監測、數據采集、計算機網絡、自動化控制等技術，對公司下轄各個水廠、泵站及多個獨立遠程儀表產生的海量數據進行標準化統一管理，快速整合來自PLC系統、RTU系統以及其他信息系統的監測、業務等各種數據，輔以傳輸、存儲的優化保障機制，再通過篩選、分析、關聯和挖掘，形成有價值的數據信息，進而實現對多源數據進行高級的利用，為大數據分析奠定技術基礎，為生產管理系統平臺提供強有力的綜合大數據支撐。

總體設計

1.數據中心架構

公司生產管理系統平臺以數據為中心，以虛擬化技術為手段來整合分布在網絡上的大量的服務器集群的處理能力，并利用SOA架構為用戶提供安全、可靠、便捷的各種應用數據服務；用戶可以在任何時間、地點，用任何可以連接到網絡的終端設備來訪問這些服務。

數據中心存儲生產管理平臺的所有數據。本方案采用云數據管理中心，基于網絡為各個用戶提供數據管理與維護服務。將實時數據和歷史數據獨立存儲，提高平臺的訪問性能。實時數據根據現場測試結果確定采用實時型數據庫或者關系型數據庫。

數據中心通過對來自監測設備和其他原有系統數據集成的管理，進行數據的采集入庫，主要包括數據集成管理、數據訪問服務、數據推送管理等，在此基礎上實現數據管理、在線監控、統計分析、綜合查詢等。

數據通過在應用層進行發布與展示。以個性化門戶設計的形式，針對不同用戶角色有針對性的進行數據展現，與此同時，根據生產業務數據類別的劃分，進行深層次挖掘分析，通過在線監控系統、調度分析系統以及報表系統分別進行分析與展現。（如圖1）

2、物理部署架構

若干的廠站數據采集前端服務器用來作為數據采集處理的前端，均采用PC服務器，將各種實時數據平臺上的數據進行歸集，傳輸到實時數據庫中。

數據庫采用主從備用的模式，保證數據的安全性和可用性。實時數據庫采用雙機集群的方式，保證實時數據庫的可用性。應用服務器用來部署生產管理系統平臺的所有系統模塊。由于公司已經具備了虛擬化平臺，所有服務器均采用虛擬化部署的方式，應用服務器的高可用也采用虛擬化的高可用方案來解決。（如圖2）

建設方案

1、多源數據采集

（1）采集方案

根據各水廠及加壓泵站自控系統建設以及設備配置現狀，數據采集分以下4種方式實現。（如圖3）

①新招標RTU設備數據采集

新招標RTU設備采集管網數據，包含正常數據和報警數據。正常數據包括壓力、瞬時流量、正向累計流量（水表讀數）、反向累計流量、余氯、濁度、PH值等數據；報警數據包含上下限、突變、斷電得電、電池低電壓（電池供電）等。RTU提供商根據RTU廠家的數據協議，開發數據接收服務器UDP Socket Server，接收管網監測設備上傳的數據包并根據相應的協議進行數據解析以及后續處理。

②PLC系統數據采集

水廠及加壓泵站的數據通過OPC Server 從PLC進行數據采集，并通過光纖通道進行數據推送。采集對象主要包括原水、加氯、加藥、出廠水等全過程數據，具體參數包含壓力、水位、濁度、余氯、流量、電機開關、電量信息等開關量和模擬量。

圖1 數據中心架構圖

圖2 物理部署結構圖

③流量計、大水表的數據采用現有RTU設備，從現有數據庫進行數據集成。

④預留二次供水泵站的數據采集接口，二次供水泵站采用PLC的方式進行數據采集。

（2）數據采集通信標準

圖3 多源數據采集方案

水廠和泵站通常在現場控制層采用PLC作為控制器，采集各種生產數據，通過傳輸介質和通信協議實現PLC與采集終端的數據交換。由于PLC型號或者控制網絡結構不同，支持的通信機制不盡相同，解決PLC與數據采集端通信的普適性問題是數據采集的關鍵。

本方案選擇 OPC（OLE for Process Control）通信協議實現數據采集，該協議作為通用的工業標準受到絕大多數PLC廠家的支持，包括西門子、施耐德、AB等主流的PLC品牌。在采集終端部署OPC服務器，配合不同PLC、不同網絡結構的驅動程序，即可方便地實現各監測點數據的采集。在客戶端部署采集程序實現水廠及加壓泵站數據的采集。

（3）數據采集傳輸標準

通過采集終端采集后的數據使用安全高效的通信技術，采用SOAP標準傳輸通訊協議上傳至數據服務器進行統一管理。

2、數據存儲

結合數據使用的不同的應用場景，對不同的數據基于其特點以及使用需求，分成三種數據存儲方式：（如圖4）

①實時數據庫。采用Redis內存實時數據庫，用來接收海量實時數據，保證實時數據采集和使用的性能；在實時數據的推送上，采用基于Socket的消息隊列技術，保證數據推送的及時性與性能。

②關系型數據庫。實時采集數據經過處理壓縮存入關系數據庫成為歷史數據；關系型數據庫還保存了包含業務流程、事務操作等業務數據；

③NoSQL數據庫。采用MongoDB進行大數據匯集存儲，便于數據挖掘與深入分析。

3、數據中心功能

圖4 數據存儲方式

數據存儲。數據中心存儲生產管理平臺的所有數據，包含實時數據、歷史數據、報表數據、各類生產業務數據和配置管理數據等。

數據實時計算。數據采集上傳至數據中心后，基于實時數據能夠實時進行計算，可以根據管理需要，統計相關數據的累計值、均值、最大/最小值，也可以根據生產總量數據計算單耗、成本等數據。實時計算后將這些計算數據存入歷史數據，進而最大限度的發揮數據中心的優勢，進行生產統計分析。

資產樹管理。數據中心采用對象的方式管理所有監測對象及屬性，可以建立各種檢測對象模板；從現有的對象模板生成新的對象并可以擴展新的屬性；修改模板時，現有從此模板生成的對象自動進行調整；系統可以創建虛擬對象，對應的屬性可以由現有對象的屬性組合運算而成。

數據分發。數據中心具有數據分發功能，可以通過MQ第一時間推送實時數據消息。

報警和事件管理。數據中心能夠實時生成各種報警信息和事件信息，報警包含各種上下限報警、突變報警、數據不變報警、斷電得電報警、通訊中斷恢復報警，事件包含泵的開停等，并推送給客戶端。

報表數據管理。通過ETL工具分析匯總原始生產數據，匯總時間周期為1分鐘、15分鐘、1小時、1天、1月。并能根據內置算法自動進行統計，計算最大值、最小值、平均值、累計值等，為生產管理提供可靠的數據支撐。

供水生產數據中心融入了大數據分析的理念，全面打通了企業各種生產數據之間的通路，實現了多廠家RTU統一數據接口規范，支持多源數據采集和數據填報，將實時監測數據、業務填報數據、運行管理數據等緊密結合在一起，挖掘形成有效數據，逐步開發各種主題應用，為生產管理系統平臺提供強有力的綜合大數據支撐。