基于大數(shù)據(jù)平臺的新能源企業(yè)智慧中臺搭建

李文燕，石 宇，陳 釗，潘 博，楊成龍，彭順峰

(國電電力內(nèi)蒙古新能源開發(fā)有限公司，呼和浩特 010020)

0 引言

近年來，為改善中國能源結(jié)構(gòu)，新能源行業(yè)扮演著不可或缺的角色，風電作為新能源發(fā)電的重要部分，截至2020年底，在中國，風電的并網(wǎng)裝機容量達28153萬kW，同比增長34.6%，占全國發(fā)電總裝機容量的12.79%[1]。隨著風電行業(yè)的迅猛發(fā)展，風電場規(guī)模不斷擴大，但這也導致其對風電機組的遠程監(jiān)控產(chǎn)生壓力，通常一個風電場需要對上百臺風電機組進行遠程監(jiān)控，人力、物力耗費較大，且監(jiān)控系統(tǒng)積累的大量風電機組運行數(shù)據(jù)無法得到有效利用，降低了風電場的運行效率。

隨著大數(shù)據(jù)時代的到來[2]，機器學習的興起帶動了工業(yè)領(lǐng)域的智能潮[3]。當今，數(shù)據(jù)越來越受到重視，但多元化的數(shù)據(jù)在提供豐富信息量的同時，無形中也增加了對其進行學習、利用的難度。數(shù)據(jù)中臺是一個可以使數(shù)據(jù)更集中、有序并能得到充分利用的平臺，其實現(xiàn)了對現(xiàn)有信息資源和應(yīng)用系統(tǒng)的充分整合，打破了信息孤島，提高了協(xié)調(diào)效率和工作效率[4]。

針對風電場無法有效利用風電機組遠程監(jiān)控系統(tǒng)產(chǎn)生的大量數(shù)據(jù)的問題，本文搭建了一套基于大數(shù)據(jù)平臺的新能源企業(yè)智慧中臺[5]，并對該智慧中臺的業(yè)務(wù)架構(gòu)及技術(shù)構(gòu)架進行了介紹。

1 大數(shù)據(jù)平臺

1.1 大數(shù)據(jù)平臺的基本功能

大數(shù)據(jù)平臺的系統(tǒng)軟件選用國產(chǎn)的成熟的企業(yè)級一站式多模型數(shù)據(jù)管理平臺——TDH套件。大數(shù)據(jù)平臺采用基于Linux操作系統(tǒng)的Hadoop &Spark技術(shù)架構(gòu)，部署在容器云上，可方便快速地實現(xiàn)資源和軟件節(jié)點的擴展，最大能夠擴展至1000個節(jié)點，數(shù)據(jù)量支持可達2000萬個采集點以上。本項目根據(jù)新能源企業(yè)裝機規(guī)模和數(shù)據(jù)情況部署了6個大數(shù)據(jù)節(jié)點，未來隨著數(shù)據(jù)量和業(yè)務(wù)量的增加，可進行平滑擴展。

大數(shù)據(jù)平臺的功能需要包含以下幾個方面。

1)大數(shù)據(jù)接口集群：大數(shù)據(jù)接口主要用于風電機組、電氣設(shè)備、風功率等的實時數(shù)據(jù)的分布式采集，大數(shù)據(jù)平臺負責開發(fā)與其他系統(tǒng)集成的接口，平臺為與集控中心相關(guān)聯(lián)的系統(tǒng)提供數(shù)據(jù)接口支持。

2)大數(shù)據(jù)實時計算集群：主要用于支撐實時數(shù)據(jù)檢索、異常數(shù)據(jù)判別和實時數(shù)據(jù)在線計算。

3)大數(shù)據(jù)存儲集群：主要用于存儲所有的風電歷史數(shù)據(jù)、實時數(shù)據(jù)和關(guān)系數(shù)據(jù)。

4)大數(shù)據(jù)分析集群：對大數(shù)據(jù)進行報表分析、可視化分析和建模分析，實現(xiàn)管理區(qū)的實時監(jiān)視、歷史查詢，以及經(jīng)濟運行的統(tǒng)計分析、大數(shù)據(jù)建模的分析與挖掘。

1.2 數(shù)據(jù)挖掘服務(wù)

大數(shù)據(jù)平臺需提供數(shù)據(jù)挖掘服務(wù)，其應(yīng)包括但不限于以下內(nèi)容：

1)提供多種數(shù)學統(tǒng)計方法與機器學習算法庫，以滿足數(shù)據(jù)分析與挖掘工作的需求；

2)提供可對數(shù)據(jù)進行實時預測的流式機器學習算法；

3)根據(jù)用戶需求，提供人性化的自定義的分布式數(shù)據(jù)挖掘算法；

4)將Tensorflow、MXNet等主流深度學習框架與Hadoop & Spark體系相融合，通過相關(guān)專業(yè)人員搭建深度神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)等模型，并使用海量數(shù)據(jù)樣本訓練模型，得到模型參數(shù)后再輸入到模型，以提升算法的準確度；

5)內(nèi)置豐富的深度學習算子，不僅需涵蓋常用算法，還需支持自定義算法；

6)需支持R語言、python語言接口；

7)需提供圖形化拖拽工具進行模型構(gòu)建、訓練、預測與檢驗，在工具中支持算子與模型管理，降低數(shù)據(jù)挖掘開發(fā)門檻；

8)支持PMML標準，以滿足在不同系統(tǒng)的使用與模型的部署；

9)支持多種算子庫管理，包括分布式數(shù)據(jù)預處理算子庫、分布式特征工程算子庫、分布式機器學習算子庫、深度學習算子庫、自定義算子庫等；

10)支持模型協(xié)作開發(fā)與管理。

1.3 智慧中臺管理開發(fā)工具及服務(wù)能力

大數(shù)據(jù)平臺提供的基礎(chǔ)工具及針對企業(yè)需求提供的數(shù)據(jù)資產(chǎn)目錄服務(wù)具體包括以下幾個方面。

1)搜索功能：基于分布式數(shù)據(jù)倉庫對數(shù)據(jù)進行統(tǒng)一歸集和整理，在數(shù)據(jù)資產(chǎn)目錄服務(wù)可通過數(shù)據(jù)挖據(jù)或搜索引擎對庫表、文件、Schema(即XML Schema，XSD)、業(yè)務(wù)術(shù)語、模型和標簽進行搜索。

2)數(shù)據(jù)的聚合與展示：平臺提供的業(yè)務(wù)功能是由數(shù)據(jù)資產(chǎn)目錄服務(wù)對大數(shù)據(jù)平臺內(nèi)的數(shù)據(jù)進行聚合和展示，并可通過列表、搜索、詳情、標簽、操作歷史等方式展示數(shù)據(jù)信息。

3)數(shù)據(jù)的探索和分析：數(shù)據(jù)資產(chǎn)目錄服務(wù)支持對數(shù)據(jù)集進行數(shù)據(jù)探索，了解更多的數(shù)據(jù)細節(jié)，同時可以將數(shù)據(jù)接入平臺提供的數(shù)據(jù)分析工具、建模工具等進行探索式分析。

4)數(shù)據(jù)的血緣與影響分析：數(shù)據(jù)資產(chǎn)目錄服務(wù)借助大數(shù)據(jù)平臺在數(shù)據(jù)的導入、使用、轉(zhuǎn)換、生成等全鏈路對數(shù)據(jù)進行標定和記錄，可以實現(xiàn)對數(shù)據(jù)的操作歷史進行追蹤，同時也可以做血緣分析和影響分析。

5)數(shù)據(jù)源管理：用戶通過數(shù)據(jù)資產(chǎn)目錄服務(wù)能夠定制策略，添加、管理和刪除各種應(yīng)用系統(tǒng)的數(shù)據(jù)源，可對數(shù)據(jù)進行統(tǒng)計和分析，對數(shù)據(jù)操作進行審計，對數(shù)據(jù)的錄入頻率、管理規(guī)則進行不同的設(shè)置。

6)數(shù)據(jù)權(quán)限管控：數(shù)據(jù)資產(chǎn)目錄服務(wù)需要支持靈活的數(shù)據(jù)權(quán)限管理，支持對數(shù)據(jù)在大數(shù)據(jù)平臺層級、租戶層級等進行細粒度權(quán)限管控；用戶自主申請，數(shù)據(jù)管理人員通過工單進行權(quán)限審批。

7)數(shù)據(jù)質(zhì)量管理：數(shù)據(jù)資產(chǎn)目錄服務(wù)需要支持制定的數(shù)據(jù)質(zhì)量規(guī)則，同時在數(shù)據(jù)傳輸過程中根據(jù)數(shù)據(jù)質(zhì)量規(guī)則進行質(zhì)量管控。

8)業(yè)務(wù)術(shù)語：數(shù)據(jù)資產(chǎn)目錄服務(wù)需要支持業(yè)務(wù)字典功能，支持用戶定義的業(yè)務(wù)術(shù)語、業(yè)務(wù)規(guī)則、數(shù)據(jù)分類等功能；能對業(yè)務(wù)術(shù)語和技術(shù)元數(shù)據(jù)進行管理。

9)數(shù)據(jù)操作審計：數(shù)據(jù)資產(chǎn)目錄服務(wù)需要記錄所有的數(shù)據(jù)操作，方便以后進行審計工作，并且該服務(wù)需具有按照設(shè)定的規(guī)則對危險或禁止的操作進行特別標記或報警的能力。

2 新能源企業(yè)智慧中臺的業(yè)務(wù)構(gòu)架

新能源企業(yè)智慧中臺的業(yè)務(wù)構(gòu)架主要由智能監(jiān)控層、智能平臺、智慧應(yīng)用層組成，具體如圖1所示。

2.1 智能監(jiān)控層

該層需要實現(xiàn)對某個風電場的實時監(jiān)控及之后多個風電場的遠程集中值班監(jiān)控，具體需具備以下功能：1)需與風電場的數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)(SCADA)/風電機組的可編程邏輯控制器(PLC)實現(xiàn)通信的可靠性與反應(yīng)速度；2)可實現(xiàn)全量數(shù)據(jù)的全樣本采集；3)可保證多個風電場SCADA(C/S)控制架構(gòu)的可靠性；4)可實現(xiàn)智能值班(運行狀態(tài)檢測、故障報警、風險預警、智能啟停等)；5) 實現(xiàn)對場站、風電機組的大部件及塔筒的全面智能感知。

2.2 智能平臺

需建設(shè)基于大數(shù)據(jù)的智慧應(yīng)用支持平臺，具體需包括以下內(nèi)容：1)數(shù)據(jù)存儲組件、移動應(yīng)用組件、智能建模組件；2)數(shù)據(jù)管理、數(shù)據(jù)服務(wù)、數(shù)據(jù)集成；3)應(yīng)用開發(fā)組件、配置管理組件、可視化展示組件。

2.3 智慧應(yīng)用層

需建設(shè)新能源企業(yè)的智慧發(fā)電應(yīng)用系統(tǒng)，包括以下組成部分：1)管理區(qū)智能監(jiān)屏，其包括智能監(jiān)視、智能決策、智能值守、智能報表；2)資產(chǎn)管理、領(lǐng)導駕駛艙和移動應(yīng)用等生產(chǎn)運營管理系統(tǒng)；3)智能運行、智能檢修、智能安全、圖像識別等大數(shù)據(jù)人工智能應(yīng)用系統(tǒng)；4)條件供應(yīng)、市場交易、專家支持等智能協(xié)同應(yīng)用系統(tǒng)。

3 新能源企業(yè)智慧中臺的技術(shù)構(gòu)架

新能源企業(yè)智慧中臺選用了中國技術(shù)領(lǐng)先的一體化“互聯(lián)網(wǎng)+”應(yīng)用平臺，采用基于Hadoop & Spark技術(shù)架構(gòu)的微服務(wù)架構(gòu)平臺。為了更好的支撐上層應(yīng)用，智慧中臺會封裝一層基礎(chǔ)服務(wù)，涵蓋流計算引擎、迭代運算引擎、數(shù)據(jù)挖掘引擎、圖計算引擎、并行運算引擎、數(shù)據(jù)可視化引擎、分布式數(shù)據(jù)共享服務(wù)引擎、全文檢索引擎，以及微服務(wù)引擎等；此外，智慧中臺的建設(shè)除了遵照國家標準、行業(yè)標準、企業(yè)標準之外，還重點建立了企業(yè)的新能源數(shù)據(jù)體系規(guī)范。規(guī)范涵蓋數(shù)據(jù)接入、數(shù)據(jù)接口、平臺建設(shè)、數(shù)據(jù)安全等一系列標準規(guī)范。

新能源企業(yè)智慧中臺整體的技術(shù)架構(gòu)包括數(shù)據(jù)源層、數(shù)據(jù)接入層、數(shù)據(jù)支撐層(主題數(shù)據(jù)庫、數(shù)據(jù)處理及分析、數(shù)據(jù)存儲)、應(yīng)用層和展示層，具體如圖2所示。

圖2 新能源企業(yè)智慧中臺的技術(shù)構(gòu)架圖Fig. 2 Technical framework of new energy enterprise smart middle platform

1)數(shù)據(jù)源層。數(shù)據(jù)源層主要涵蓋生產(chǎn)運行領(lǐng)域的自動化設(shè)備與系統(tǒng)的運行數(shù)據(jù)(大多數(shù)為實時類生產(chǎn)數(shù)據(jù)，并主要通過集控系統(tǒng)接入)、經(jīng)營管理領(lǐng)域的信息化系統(tǒng)數(shù)據(jù)(大多數(shù)為企業(yè)經(jīng)營管理類的生產(chǎn)數(shù)據(jù))，以及互聯(lián)網(wǎng)、外部系統(tǒng)數(shù)據(jù)(多數(shù)為外部系統(tǒng)數(shù)據(jù))等。

2)數(shù)據(jù)接入層。數(shù)據(jù)接入層主要負責將數(shù)據(jù)源的數(shù)據(jù)接入數(shù)據(jù)平臺，并進行數(shù)據(jù)的傳輸與清洗。數(shù)據(jù)接入涵蓋數(shù)據(jù)統(tǒng)一接口平臺，包括：配置管理端、采集調(diào)度框架及各種采集驅(qū)動程序，可實現(xiàn)集控系統(tǒng)數(shù)據(jù)、現(xiàn)場數(shù)據(jù)、經(jīng)營管理數(shù)據(jù)、在線填報數(shù)據(jù)和其他數(shù)據(jù)接入數(shù)據(jù)中心。

3)數(shù)據(jù)支撐層。數(shù)據(jù)支撐層即平臺存儲層，可提供平臺的核心功能，存儲介質(zhì)根據(jù)聚焦的數(shù)據(jù)業(yè)務(wù)不同而采用不同的技術(shù)平臺做支撐；海量且需要并行運算的數(shù)據(jù)可存儲在HDFS之類的存儲介質(zhì)上(比如：HIVE倉庫和HBASE數(shù)據(jù)庫等)；需要迭代運算或高速運算的數(shù)據(jù)可存儲在內(nèi)存網(wǎng)格中；實時監(jiān)控類數(shù)據(jù)可存儲在實時數(shù)據(jù)庫中；事務(wù)型OLTP類的業(yè)務(wù)采用Mysql數(shù)據(jù)庫作為支撐。數(shù)據(jù)標準化處理作為數(shù)據(jù)平臺貫穿始終的數(shù)據(jù)標尺，對數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量的管控和提升起著決定性的作用。

4)應(yīng)用層。應(yīng)用層主要為本期實現(xiàn)和后期規(guī)劃建設(shè)的智慧發(fā)電應(yīng)用，并為各業(yè)務(wù)單位提供業(yè)務(wù)支撐能力。應(yīng)用重點集中在實時監(jiān)測、生產(chǎn)分析、功率預測、智能運行、智能檢修、資產(chǎn)管理、智能安全、智能營銷、專家系統(tǒng)、VR培訓、圖像識別和移動應(yīng)用等方面。

5)展示層。展示層以應(yīng)用層為基礎(chǔ)，整合數(shù)據(jù)服務(wù)和技術(shù)組件，以H5/SVG、綜合報表、移動終端、3D等方式展示，能更精準、快速、直觀地將數(shù)據(jù)分層結(jié)構(gòu)及統(tǒng)計分析的結(jié)果進行綜合展示。

4 結(jié)論

本文針對風電場無法有效利用風電機組遠程監(jiān)控系統(tǒng)產(chǎn)生的大量數(shù)據(jù)的問題，搭建了一套基于大數(shù)據(jù)平臺的新能源企業(yè)智慧中臺。該智慧中臺有助于有效、合理的利用數(shù)據(jù)，實現(xiàn)新能源企業(yè)的智慧化運營，并有利于集中存儲海量新能源數(shù)據(jù)、標準化數(shù)據(jù)指標體系、統(tǒng)一管理數(shù)據(jù)資產(chǎn)、實現(xiàn)數(shù)據(jù)融合共享，以支撐各應(yīng)用系統(tǒng)，充分發(fā)揮大數(shù)據(jù)平臺在新能源企業(yè)管理與運營中的優(yōu)勢。