新能源大數據系統平臺建設實踐

河鋼宣鋼計控中心 耿佳節

0 前言

當前，大數據、云計算、智能互聯等前沿信息科學技術已廣泛應用于我國工業生產領域，面對國際經濟社會發展新形勢、國際能源應用及全球環境問題新形態，在新能源生產應用行業，構建區域化、規模化的“大數據+清潔能源”智能管理互聯網，已成為必然趨勢。

新能源大數據系統平臺的建設流程主要包括數據集成、數據存儲、數據挖掘計算、業務應用這四個主要階段，在該流程中融合數據采集、分布式存儲、多類型建模計算、數據挖掘、一體化搜索、可視化展示等信息技術實現數據分析、處理、安全保護的基礎平臺支撐，構建符合新能源企業特點的智能化建模分析及數據使用模式，支撐當地新能源產業發展及應用推廣需求。

新能源大數據系統平臺的建設實施，主要涉及以下幾個關鍵過程及技術。

1 集成網絡及綜合數據采集

構建覆蓋企業乃至區域行業的高速數據傳輸網絡是新能源大數據系統平臺完美運行的基礎。通過以實時數據庫、關系型數據庫、NOsql型數據庫為核心進行物理布局，按照企業關鍵數據源生產裝備的分布情況及重要性等級，進行合理規劃。例如以風電為例，考慮依托硬件接口機采集設備與現場控制系統進行互聯，實現數據采集，然后通過底層交換機匯總至區域數據匯總服務器。各數據服務器作為獨立的區域數據存儲個體，再通過硬件/軟件防火墻進行安全隔離后經過核心匯聚交換機統一傳輸至實時數據庫、應用服務器、WEB服務器等頂層應用數據庫設備中存儲使用。同時，該層頂端可設計為擴展能力強、管理方便、成本最優的磁盤陣列柜，為后續系統運行過程中產生的海量數據提供長期、穩定的存儲空間，也為各個復雜數據模型、工具的運行提供必要保障。

網絡拓撲結構示例如圖1所示。

在網絡線路基礎上，重點構建數據綜合實時采集體系。這也是實現大數據在線分析的基礎。以光伏發電企業為例，主要數據采集設備包括逆變器和智能電表等設備，一般采用485方式通訊，并通過防逆流采集箱采集并網配電室的并網功率等，用于防逆流。數據采集層使用通訊網關采集設備數據，通訊網關采用嵌入式Linux操作系統，具有功耗低、性能強、長期工作穩定的特點。通訊網關各類數據的同時，還會將采集到的數據根據設備協議進行解析，并保存到實時數據庫中，通訊網關通過工業交換機與位于廠房屋頂的無線AP進行通訊，并將數據通過無線WIFI網絡上傳到監控中心服務器。

圖1 網絡拓撲結構示例

針對無線采集應用方式，為了最大程度保證系統可靠性、通訊穩定性及降低成本，可以采用無線工業Mesh網絡。該網絡是基于無線iMESH網絡技術的無線以太網產品，在多重跳臺、高數據吞吐率、快速漫游、自組網自恢復方面都有優越的性能。該無線網絡使用IEEE802.11n進行通訊，理論最大傳輸帶寬為300兆，所使用的產品全部支持MIMO技術（MIMO技術特點將兩條無線通路進行捆綁帶寬翻倍），在主干和需要大帶寬的傳輸路徑中可增加帶寬保障數據傳輸的穩定和可靠。因此，采用無線工業Mesh網絡完全滿足光伏監控需要，并且最大程度降低施工風險。

2 多樣化數據集成及分布式綜合存儲管理能力

新能源行業均為7*24小時不間斷運行工業企業，因此每天產生的數據量是極為龐大的，存儲單位基本以TB甚至是PB為存儲單位。例如常規SCADA系統按采樣間隔3～4S/單測點計算，10000個測點每年將產生12B/幀*0.3幀/S*86400s/d*365d*10000點=1.03TB。

另外，通常企業的大數據結構復雜、種類繁多，除了傳統的結構化數據之外，還包括大量的半結構化、非結構化數據，如視頻數據、語音數據、圖片數據等。這些數據的采樣頻率與生命周期也各不相同，按照業務需求區分，可能從微秒級、分鐘級、小時級，一直到年度級。因此，整體的系統數據存儲處理量就尤為客觀。

面對這些數據的分散性、多樣性及復雜性特征，通常可選用ETL作為企業數據集成的主要解決方案。即數據的抽取、轉換、加載，并依據具體需要進行一定功能擴充，如加入工作流、規則腳本、數理統計等。數據抽取是從設備的散狀源數據系統提煉目的數據源系統需要的數據信息；數據轉換是將這些數據按照業務需求轉換成需要形式，并對錯誤、不符合要求的數據進行邏輯清洗加工；數據加載則是將處理后的數據加載傳遞到目的數據源。

存儲方面，因為數據類型的多樣性，可采用傳統關系型數據庫與分布式文件系統、分布式數據庫結合應用的模式進行管理。其中分布式文件系統主要應對語音、視頻、圖像等非結構化數據，通過將數據存儲在分散的多個存儲節點上，再對這些節點資源進行統一管理分配，并向使用者提供文件系統安全訪問接口。目前大數據領域較為主流的應用工具為Hadhoop旗下的HDFS分布式文件系統。

同時，由于傳統數據庫在數據存儲規模、吞吐量、處理速度等方面存在瓶頸，因此新能源大數據平臺建設需配套引入Hbase等分布式存儲系統。該類系統具有良好的擴展性和協同性，其存儲的數據表多為無模式的，適用于視頻、音頻這一類的非結構化數據。

另外，在新能源大數據系統建設中，關系型數據庫仍是不可或缺的核心。對于新能源企業，標準型結構化數據(如電量、壓力、流量、速度等)仍然是應用數據的主體。針對這部分信息，構建傳統的Oracle、Sqlserver型數據庫進行存儲管理，仍然非常重要。

3 維度數據深層挖掘分析

結合企業運行需求特點，實現數據的多維度深層挖掘分析，是大數據系統的核心。目前主流數據處理技術包括技術分流處理、批處理、內存計算、圖計算等。這些技術都具有高效、快速處理海量數據的能力，并將自動并行、負載均衡、災備管理等處理機制進行一定程度的封裝隱藏，不僅簡化后續的理解、開發工作，便于集群拓展，同時大幅減少數據通信傳輸過程中的冗余動作。

而對于數據挖掘分析層面，主要采用分類、聚類、關聯分析、異常檢測、回歸分析等類別的算法進行高效精準計算，通過對大數據分析結果進行關聯性數據挖掘，以業務需求目標為動力，對大量統計結果進行過濾和提純，有側重計算出不同業務需求形態下的數據分析結果。利用這一系列相關算法和技術從海量數據中提取出為業務服務所需要的信息數據，并將隱藏在數據背后的信息價值，從概念、模型、業務規律、數據既定原則等形式加以呈現。

4 高效友好的綜合管理信息展示發布平臺

基礎數據及挖掘分析結果具備后，最終需要通過統一的信息管理平臺發布以面向用戶使用。該平臺可采用C/S架構或B/S架構搭建，屬于整個系統體系的核心。該平臺部署主要包括監控服務器、操作員站和工業交換機。以光伏企業實施為例，監控服務器、操作站及位于光伏監控室樓頂的通訊層的工業無線AP通過工業交換機連接，采用以太網通訊，監控服務器通過無線WIFI網絡與通訊網關通訊，采集通訊網關采集到的逆變器、匯流箱等數據，并保存實時數據庫中，進行邏輯處理，并保存到歷史數據庫，實現WEB發布及數據上傳功能。操作員站用于通過與監控服務器通訊，實現人機界面展示與交互。

針對新能源企業特點，該平臺功能模塊主要包括數據實時監測、業務指標在線分析、統計電子報表生成、數據曲線分析、數據回放、異常狀態分析、在線聲光報警、短期趨勢預測等功能模塊。通過直觀圖形(例如結合GIS定位的地理圖形展示)、曲線、數據對比等方式逐層遞進的直觀顯示行業區域、企業全局、獨立設備產線等不同單位的綜合生產運行情況。

對于視頻、圖像等非結構化數據的應用，除了傳統的在線監視，還可以通過與結構化數據結合，模型化重現機組設備的歷史/當前運行工況，并支持任意調用歷史時間段內的畫面回放，為故障事故分析、設備檢修保養以及后續階段的生產組織規劃提供必要的分析決策依據。

另外，基于移動設備端的系統應用模式也是一個主要途徑，該種展示方式主要通過手機APP軟件實現。該類型軟件可以實現一定程度的功能定制，可以將用戶關心的企業設備實時運行功率、周期性發電量、節能減排量、設備順行率、當地環境檢測指數等主要參數進行集成在線分析、顯示，并以數據、曲線圖、柱形圖等各種方式進行顯示。在具備登錄口令的前提下，用戶可以在任意互聯網環境下進行快速訪問，查詢所需信息。同時對于一些要求進行快速處理的報警信息、統計數據，也可以通過手機終端軟件實現。

5 結語

通過構建新能源大數據系統平臺，可以從信息化層面有效推動地方清潔能源產業的深度發展，實現傳統管理模式向信息數字化在線分析管理模式的轉變，最大化提煉企業數據價值，使大數據平臺作為承載行業企業發展的重要基礎。

[1]曹軍威,袁仲達,明陽陽,等.能源互聯網大數據分析技術綜述[J].南方電網技術,2015,9(11).

[2]劉世成,張東霞,朱朝陽,等.能源互聯網中大數據技術思考[J].電力系統自動化,2016,40(8).

[3]張鵬,高青,等.大數據環境下的能源互聯網發展趨勢分析[J].媒體技術,2015,11.

[4]邵瑋,歐宜鵬,丁逸峰,等.大數據技術的發展現狀和應用前景[J].科學與財富,2014(9).

[5]董曉霞,呂廷杰.云計算研究綜述及未來發展.北京郵電大學學報,2010,12(5).