流域梯級水電站電力生產數據中心的架構設計與應用

陳霄逸，宋琳莉，石發太，李文友

(1.中國電建集團成都勘測設計研究院有限公司，四川 成都 610072；2.雅礱江流域水電開發有限公司，四川 成都 610051)

0 引 言

隨著全球新一輪科技革命和產業變革的興起，信息技術、互聯網理念與能源產業深度融合，能源電力新技術不斷涌現新模式和新業態。著力推進互聯網技術、大數據技術、人工智能在清潔能源高效開發利用中的應用，是流域梯級水電站智能化建設的關鍵。

目前，國內幾大流域水電開發公司建設流域梯級水電站集控中心，采集匯聚流域內各水電站的計算機監控系統、繼電保護信息管理系統、故障錄波信息管理系統、主設備狀態監測系統、水調自動化系統、工業電視系統、水工建筑物安全監測系統等綜合自動化信息系統數據，實現了對流域內各水電站的集中監控、聯合優化調度和生產過程集中展示。但是，上述各業務系統采用煙囪式架構搭建，數據之間相互獨立，缺乏統一數據庫模型和數據結構標準，系統間數據共享和智能運用異常困難。特別是隨著泛在物聯網技術、5G技術廣泛運用，水電站電力生產數據呈現出種類多、規模大、增長快、關聯性強等特點[1]。傳統的水電集控中心數據庫管理方法，已難以適應可靠采集、安全存儲、規范化的需要，更難進行數據深度挖掘和智能高級應用。為此，運用互聯網新技術，建設流域梯級水電站電力生產數據中心，是流域水電站智能集控的核心，具有十分重要的工程應用價值。

近年來，關于流域梯級水電站電力生產數據中心的規劃設計案例相對較少，相關體系架構的研究更是十分欠缺。但是，國家電網公司對智能電網及能源互聯網建設的大力推進，其技術方法和路線，為流域梯級水電站電力生產數據中心建設指明了方向。文獻[2-5]重點討論了電力生產數據的機遇和挑戰，并針對智能電網中數據分析應用的共性需求與電力大數據的典型特征，提出了將大數據技術應用于電力系統建設；文獻[6-10]分析了云計算在海量電力大數據分析上的優勢，提出了基于云技術架構的國網調控中心“調控云”的整體架構設計；文獻[11-15]分析了國內外智能電網調度控制技術相關標準，在此基礎上提出在各級調度機構、電力企業及智能電網多個層面建立公共信息模型統一、接口規范和信息對象編碼標準的信息標準化思路，為調度中心之間及調度中心內部各專業之間的模型信息共享問題提供解決方案。

綜上，基于新形勢下流域梯級水電站電力生產數據特點，結合智能水電站建設的需要，本文提出基于Hadoop+MPP架構構建流域梯級水電站電力生產數據中心，對電力生產數據中心的硬件平臺、大數據平臺、業務應用平臺3個方面的規劃設計進行運用探討。

1 流域梯級水電站電力生產數據

1.1 流域梯級水電站電力生產數據信息

按照水電站業務系統分類，流域梯級水電站電力生產數據如下：

(1)計算機監控系統(SCADA)。該系統數據主要包括：電流、電壓等電氣模擬量，溫度、壓力、流量、水位等非電氣模擬量，開關量、SOE量、電度表脈沖量等。該類數據在水電站內通常按照采樣周期1 s進行計算，10 000個遙測點每年將產生3.4 TB數據(12B/幀×1 幀/s×86 400 s/d×365 d×10 000遙測點)。

(2)繼電保護、故障錄波信息管理系統。該系統數據包括水輪發電機、主變、線路等繼電保護繼電保護裝置的保護定值、輸出壓板狀態、設備歷史故障信息以及裝置啟動時刻前后段時區內所采集的電氣量(非電量)信息、開關位置信息等，故障錄波裝置啟動時段的電氣量錄波數據文件。該類數據通常以文檔、日志文件等格式存儲。

(3)主設備狀態監測系統。該系統數據主要包括機組振擺裝置、機組測溫系統、開關柜測溫巡檢系統、主變狀態檢測、GIS狀態檢測等裝置采集的振動、擺度、溫度、壓力、微水等歷時數據和越復限告警數據等。該類數據通常以文檔、日志文件等格式存儲。

(4)水調自動化系統。該系統數據主要包括雨量站、水位站、水文站等遙測站信息，水庫、機組、閘門等靜態曲線及參數衛星云圖，降雨量、水位、流量等水文水情類數據，以及水務計算數據、氣象信息等。該類數據通常以文檔、日志文件等格式存儲。

(5)工業電視系統。該類系統主要包括了水電站重要部位的現場音頻、視頻及自動告警截圖、AI辨識成果表等數據，該類數據通常以音視頻文檔、圖形文件、電子表格等格式存儲。

(6)生產信息管理系統。該類系統主要包括工作票、OA辦公自動化、合同計劃、項目管理等數據，該類數據通常以文檔、電子表格等格式存儲。

1.2 流域梯級水電站電力生產數據結構分類

流域梯級水電站綜合自動化信息系統覆蓋面廣，數據類型繁雜，各類業務系統之間數據相互獨立，呈現出不同的數據結構特性，可分為4類：結構化、非結構化、半結構化，以及采集量測類。

(1)結構化數據。由數據元素匯集而成的每個記錄的結構是一致的并且可以使用關系模型予以有效描述，包括設備名稱、資源標識、機組運行工況、發電量、水情實時數據等各類結構化信息。

(2)非結構化數據。在未定義結構的情況下或并不按照預定義的結構要求捕獲、存儲、計算和管理的數據，如視頻、音頻、圖片、日志文件、報表等，繼承于文檔且與設備有關的信息。

(3)半結構化數據。為介于完全結構化數據和非結構的數據之間的數據，如日志、郵件等。

(4)采集量測類數據。通過采集裝置短時間內被創建、處理、存儲、分析并顯示的數據。該數據主要為設備的相關測點信息和描述設備運行狀態的曲線，如量測點、電量曲線等。從數據特性來看，該類數據可定義為結構化數據，鑒于水電站包含大量的測點類數據，故單獨定義。

將以上4類數據資源有效分類、管理和挖掘，可最大限度地獲取數據價值，制定較為完善的決策管理策略，從而助力于提升企業經營管理水平，提高生產力。

2 關鍵技術

2.1 Hadoop系統平臺

Hadoop是分布式系統基礎架構，用戶可以在不了解分布式底層細節的情況下開發分布式程序，并且充分利用服務器集群進行全面的數據存儲和處理。

(1)分布式文件系統(HDFS)。HDFS是一個高可靠、可擴展，以及可提供高吞吐量的數據訪問能力的分布式文件數據庫。在數據的讀寫時，HDFS能保證文件在該時刻只被一個調用者執行寫操作，同時能被多個調用者執行讀操作。

(2)分布式開源數據庫(Hbase)。Hbase是一個高可靠、高性能、面向列、可伸縮的分布式存儲數據庫，適合存儲海量非結構化、半結構化或結構化數據，利用Hbase技術可通過依靠橫向擴展，不斷增加X86商用服務器，來增加計算和存儲能力。

(3)分布式批處理框架(MapReduce)。MapReduce是Hadoop的核心，可用于大規模數據集的并行運算。基于Map和Reduce函數，寫出的應用可在多臺服務器集群運行，起到將大事務分散到不同設備處理的能力，以一種可靠的容錯方式并行處理數據，實現了對大數據的處理。

除上述核心組件以外，Hadoop還應包括數據接入和共享工具(Flume、Sqoop和ETL)、資源調度管理系統(YARN)、數據倉庫工具(Hive)、大規模并行SQL分析處理引擎(HAWQ)、分布式搜索引擎(Solr)、分布式內存計算引擎(Spark)等。Hadoop平臺架構如圖1所示。采用Hadoop平臺實現半結構化、非結構化數據處理，提供流式計算、離線計算、實時計算與全文檢索服務，形成統一的數據湖。

圖1 Hadoop系統平臺架構

2.2 MPP系統平臺

MPP系統平臺可通過大數據高比例壓縮降低I/O開銷、大規模并行計算支撐高性能的大數據分析和處理能力、靈活的大規模集群擴展能力、高可用性等功能。MPP系統平臺架構如圖2所示。

圖2 MPP系統平臺架構

MPP數據庫由數據庫核心引擎、物理存儲層、接口訪問層以及管理控制臺等組成部分。其中，MPP數據核心引擎提供的無共享MPP架構，為MPP提供了大規模橫向線型擴展能力和高可用性，以可靠地支持深度分析需求能力。

物理存儲層為MPP的存儲引擎提供不同的存儲位置，既可以是節點內本地磁盤文件系統和內存的融合存儲，也可是HDFS等遠程自定義存儲。此外，MPP數據庫接口訪問提供了基于ODBC、JDBC、ADO.NET接口規范的標準SQL訪問，以支持與ETL工具、報表和分析挖掘工具的無縫集成，實現數據裝載、查詢和分析挖掘功能。

相較于傳統關系型數據庫，MPP系統在數據處理方面具有以下特點：

(1)采用分布式架構。傳統的數據庫采用集中管理模式，易造成數據大量堆積，且需要大量的存儲介質，易導致服務器的回應下降乃至于崩潰。MPP數據庫采用分布式架構，由許多松耦合處理單元組成，每個單元內CPU都有各自獨立資源，如總線、內存、硬盤等，每個單元內都有操作系統、管理數據庫的實例復本。

(2)處理數據量大。傳統的數據庫部署不能處理TB級數據。MPP數據庫能處理PB級數據。

(3)I/O處理能力強。傳統的數據庫采用集中式存儲，數據庫的性能問題均歸咎于I/O。而MPP采用無共享的并行處理架構，避免了集群中各節點在并行處理過程中的CPU、I/O、內存、網絡等資源的爭奪，不會造成計算及存儲資源瓶頸。

(4)采用列存儲?？蓪⒎植际綌祿幚硐到y中以記錄為單位的存儲結構變成以列為單位的存儲結構，進而減少磁盤訪問數據，提高查詢處理能力。

為此，本文提出了融合Hadoop和MPP的技術架構，來構建流域梯級水電站電力生產數據中心。

3 基于Hadoop+MPP架構的流域梯級水電站電力生產數據中心建設方案

3.1 系統架構

電力數據中心的系統架構設計不僅需要考慮數據應用業務層面的需求，同時也要滿足系統數據的完整性、一致性，系統性能的穩定性、可擴展性等方面要求。按照分級、分層的設計理念，水電站電力數據中心由三大平臺構成，分別為硬件平臺、大數據平臺、業務應用平臺。硬件平臺是電力生產數據中心的基礎，為大數據平臺、智能應用平臺提供計算、存儲、網絡等硬件網絡支撐。大數據平臺則是電力生產數據中心的核心，為數據中心提供數據采集、存儲計算、分析處理等所需的核心組件，并提供電力生產數據中心的最基本的服務應用。業務應用平臺則對企業電力生產各業務系統數據、模型進行深入挖掘、分析，為公司的電力生產提供重要的服務保障，為公司的智能運維管理決策工作提供有力支撐。系統架構如圖3所示。

圖3 電力生產數據中心系統平臺架構

3.2 大數據平臺架構

3.2.1 數據采集

對于大數據平臺而言，數據采集是指從各業務或跨平臺的信息系統中獲取規范的生產、運行、管理數據，供分析系統使用。

數據采集途徑分為信息內網數據獲取或信息外網數據獲取。數據獲取/轉換裝置部署在信息內網，處于信息外網業務系統的數據需通過安全隔離裝置獲取。數據獲取的整體思路是基于企業服務總線，采集數據接口、數據中心共享、網絡隔離下的安全文件傳輸等方式，通過配置相關策略，定義相關接口、周期、調用頻率和對象等參數，自動從業務系統中抽取數據，解決跨平臺數據庫訪問、跨平臺大數據文件高速并發讀取、跨平臺數據安全傳輸與同步等關鍵問題。數據獲取系統主要包括數據傳感體系、網絡通信體系、傳感適配體系、智能識別體系及軟硬件資源接入系統，可實現對結構化、半結構化、非結構化的海量數據的智能化接入、傳輸、監控和管理等。

3.2.2 數據存儲計算

電力生產數據，除了傳統的結構化數據以外，還包括海量規模的非結構化、半結構化數據。面向非結構化、半結構化數據存儲，傳統的集中式、陣列式存儲模式由于存在擴容不方便、可靠性不高、可用性不佳等問題已然無法應對多重化的電力生產數據類型、數據規模以及異構性方面帶來的挑戰。故而，本文構建關系型數據庫、分布式文件系統、分布式數據庫的混合式數據庫架構，來實現對結構化、半結構化、非結構化海量電力生產數據的集中存儲與統一管理，以滿足大量、多樣化數據的低成本、高性能存儲需求?；旌洗鎯軜嬙O計如圖4所示。

圖4 混合存儲架構設計

3.3 業務應用平臺架構

電力生產數據中心在業務應用設計可從大數據平臺的基礎應用和基于數據平臺進行數據深度挖掘的智能應用兩個方面考慮。

3.3.1 基礎應用

(1)數據服務功能。支持可視化配置Restful API、E文件、Kafaka等方式獲取數據，用戶可簡單、快速、低成本、低風險地實現微服務聚合、前后端分離等服務。

(2)權限服務功能。基于用戶、資源、角色三位一體的設計思想，為系統提供統一的用戶管理、受控資源管理、角色管理、授權管理和安全控制管理。權限管理機制一方面可以在宏觀上控制用戶對功能頁面的訪問權限；另一方面可以在微觀上定制用戶的微觀操作權限。

(3)文件服務功能?？蔀槠脚_內的各級應用提供統一的文件及目錄共享存儲管理功能，包括創建文件、讀取文件、刪除文件、版本管理、創建目錄、羅列目錄、刪除目錄、重命名等功能。此外，還可提供橫向跨安全區、縱向跨調度系統的文件同步功能。

(4)智能報表功能?？蔀楦黝悩I務提供報表編制、管理、查詢、分析與導出服務，實現所見即所得的各類報表的制作、調用、打印等功能。

(5)智能搜索功能。可提供一種面向電力生產全業務海量數據的，智能、高效、準確、全面的信息獲取、發現、推送手段。

(6)可視化展示功能。通過對流域梯級電站基礎運行數據、分析數據、GIS地理信息等運行狀態信息、告警監測信息等大量事物數據的圖形化，將抽象的數據整理成直觀易懂的信息，從而用戶可從復雜海量數據中發現問題。另外，根據已有的數據和規則建模，應用可視化技術進行情景模擬，預測未來的情況。

3.3.2 智能應用

電力生產數據中心的規劃建設旨在為流域梯級電站的智能調度、智能決策、智能發電運行、智能設備維護等智能化應用提供數據支撐。在智能應用模塊，可考慮結合水電站智能化、信息化技術的發展，以及流域發電公司的智能化建設發展戰略規劃，從電力設備運行狀態分析、流域梯級電站優化調度策略研究、電力市場營銷策略研究等方面進行規劃設計，從而完善電力生產數據中心的高級智能應用功能建設。

3.4 硬件平臺架構

電力生產數據中心硬件平臺是承載系統軟件平臺的基礎，通常采用x86物理服務器。同時，根據數據接入量和數據存儲處理量，對服務器性能和數量進行詳細配置。以某流域公司電力生產數據中心建設為例，據該項目接入電力生產數據中心的各業務系統數據量如表1所示。

表1 某流域公司電力生產數據中心各業務系統數據量

從表1可知，電力生產數據中心需要接入現有業務數據量約為20 TB，每年以8 TB的增量考慮，同時預留30%空間用于存儲臨時數據。按照性能滿足未來3年的發展需求，保證平臺穩定、可靠、高效運行，另外上述各業務系統數據按照模型數據、運行數據、非結構化數據、統計分析數據進行分類，可分為MPP架構存儲結構化數據，Hadoop架構存儲歷史數據，HDFS存放歷史備份數據及非結構化數據，如文件、圖片、視頻等。

考慮Hadoop架構和MPP架構分別按照三副本和雙副本進行數據存儲。Hadoop節點單節點采用配置為，2個X86架構CPU，18核，主頻2.6 GHz，512 GB內存；2塊600GB 10K SAS硬盤、12塊4TB 7.2K SATA硬盤。MPP節點單節點采用配置為，2個X86架構CPU，18核，主頻2.6 GHz，512 GB內存；2塊600GB 10K SAS硬盤、24塊1.2TB 10K SATA硬盤。故本項目規劃配置MPP數據庫集群計算節點數為4臺，Hadoop集群計算節點數為8臺。此外，該項目還需配置4臺數據采集及應用服務器，通過虛擬化來部署采集調度器程序、采集執行器程序、服務總線、日志服務程序等應用等數據接入工作以及大數據平臺的基礎業務應用服務等工作。電力生產數據中心的硬件組網架構如圖5所示。

圖5 電力生產數據中心硬件組網架構設計

4 結 論

本文提出了基于Hadoop和MPP融合技術架構的流域梯級水電站電力生產數據中心建設方案，通過構建混合數據庫，對結構化、非結構化、半結構等多類型的電力生產數據的存儲、計算、分析等處理，具有低延時、高并發的查詢和分析能力。同時，從流域梯級水電站實際運管業務出發，設計流域水電站電力生產數據中心的業務功能應用模塊，為智能水電站、智能集控的發展提出了新思路，助力流域水電公司打造信息化、智能化清潔能源基地建設具有重要意義。

為確保水電站電力生產數據模型及數據編碼一致性、規范性，后續還需針對流域梯級水電站電力生產數據中心的數據信息模型編碼規范進行深入研究。