面向大數據時代實現綜合能源服務的展望

程曉磊，呂海霞，李曄，南家楠

（內蒙古電力經濟技術研究院，內蒙古呼和浩特，010090）

0 引言

隨著科技水平在不斷提高，大數據技術也隨之提高。綜合能源服務的出現是未來能源服務的動態發展方向。這是一種適應當前趨勢的能源服務。在大數據的支持下，它可以提取更多有用的數據資源。它可以深入分析用戶需求，并掌握一些基本的用戶需求。在企業營銷中，它也可以發揮重要作用。綜合能源服務是一種新形式的能源服務，它集成了不同類型的能源服務，超越了傳統能源服務的范圍，可以滿足各種用戶需求。由于當前與能源有關的互聯網技術快速發展的趨勢，綜合能源服務的計算機化程度相對較弱。因此，有必要使用新興的“移動大云”互聯網技術，來更深入地研究用戶的能源消耗數據資源，掌握企業能源數據，探索基本用戶需求，通過“大云物移”技術實現能源數據服務的綜合管理，不斷提高能源效率，滿足用戶對綜合能源服務不斷增長的需求。

1 大數據技術理論和綜合能源服務

1.1 大數據的特性

大數據是指巨大、高增長率和多樣化的信息資源，需要新的處理模型才能具有更大的決策能力、洞察力和發現能力，以及流程優化能力。大數據不僅與掌握這些海量數據有關，而且與整合和使用這些數據的可能性有關。表1顯示了大數據的主要類型。

表1 大數據的分類

用戶在網上進行有效的操作行為及時間都被系統紀錄下來移動設備數據(MObile Device Data)網絡點擊流數據(Click Stream Data)服務機構可以通過用戶所使用的移動電話的移動電子設備，獲得設備和人員的位置、移動、用戶行為等信息

大數據具有自己獨特的“4V”功能：大小，種類，價值，速度。（1）大是指大量數據。當前數據量級別為PB，此單位很快將被更大的單位所取代，其中很大一部分是非結構化數據。（2）多樣性是指各種各樣的數據，從查看的標題，照片，購買歷史到網絡日志等，均屬于大數據范圍。（3）值是指值的密度，以視頻為例，監控中沒有太多有價值的數據。（4）速度是指處理的速度，而數據處理過程需要一個更快的過程，即從一次輸入數據到一次處理。

顧名思義，大數據本身包含大量數據。從TB級到PB級。數據的類型也各不相同，大型數據集的數據收集速度也很高，這是其與傳統數據處理算法不同的主要特征。物聯網，云計算，移動互聯網，車輛互聯網和其他各種終端可以提供穩定的數據流。隨著Internet的飛速發展，十年來生成的人類數據量遠遠超過了上個世紀的數據量，并且出現了大數據提案。大數據的特征可以概括為4種（即體積，種類，值，速度）。隨著用戶數量的增長，大量數據變得不可避免。變化是指各種各樣的用戶數據，即數據的多樣性，而值是指值的密度，而數據的總量則成反比。速度表示處理速度快。歷史上，數據源是單一的，沒有考慮多樣性，但是隨著大數據時代的到來，已經發現數據源和類型很多。例如，世界上的所有內容實際上都可以轉化為數據。數據收集是大數據處理過程中最基本的步驟，客戶數據可以發送到電子商務平臺數據庫，用戶可以進行初始數據查詢。當前，常用的數據收集方法是傳感器數據收集和射頻識別（RFID）。此過程中最關鍵的部分是，可能會有大量用戶同時瀏覽您的網站。

數據處理和集成包括處理收集的數據并對其進行集成以存儲數據集，終端本身已經具有數據存儲庫，但是無法徹底解析數據。接收到的信息經過預處理，然后發送到另一個更集中的大規模分布數據庫分析。數據處理過程的一個特征是大量的導入數據，有時達到100 MB/s，有時甚至達到100MB/s。數據分析是處理大數據集的重要組成部分。在對數據進行處理和集成之后，獲得了數據分析所需的初始數據，其中使用傳感器技術或云計算技術對輸入數據進行深入分析。數據挖掘使用各種算法在數據分析之后計算數據，以獲得所需的效果并執行下一階段的分析。隨著Internet的發展，數據量逐漸增加，通常的處理，下載和傳輸文本的方法無法獲得預期的數據分析結果。電子商務服務平臺使用數據可視化技術來改善網站背景的性能。常見的可視化技術如下：基于集合的可視化技術，基于圖標的可視化技術和基于圖像的可視化技術。

1.2 大數據分析方法

探索數據的潛在價值是大數據分析的主要重點。為了從大量數據中提取有用的信息，必須充分利用數據，本文總結了數據分析的五種主要方法。（1）數據重用。過去，用戶數據（例如搜索詞）在使用并保存在數據庫中之后就再也沒有使用過。（2）重新組織數據。在大數據時代，數據的整體價值高于其部分價值的總和。多個數據集的重組使得總值大于兩個值之和。最明顯的例子是將吸煙者與引起癌癥的人聯系起來，您會發現吸煙很容易導致癌癥。（3）數據擴展。基本數據通常包含一些基本信息，并且可以通過擴展該信息來發現更多有價值的信息。例如，來自商店監視系統監視的信息可用于識別盜竊，跟蹤流量并分析營銷活動的有效性。（4）利用廢氣數據。有時，錯誤的數據也可以用作有價值的信息，例如搜索引擎的拼寫檢查功能。（5）打開數據。當前，許多先進國家和其他國家的企業正在透露他們收集的一些用戶數據。科學家和工程師可以使用此開放數據進行研究。

1.3 HADOOP云計算平臺

開源云計算技術將Hadoop視為擁有最多開發人員和用戶的云計算平臺。它使用可靠的HDFS共享內存，MapReduce數據處理引擎和Hive數據倉庫工具為用戶提供了低成本，有效的處理大數據的方法。它使人們在處理大型和不規則的非結構化數據時不再無能為力。Apache Lucene的創始人Doug Cutting創建了Hadoop。最初，Hadoop源自開源Apache Nutch Web搜索引擎。但是，隨著Internet上網站數量的增加，普通體系結構無法解決尋找龐大網站（1億個）的問題。正是在這個時候，提出了云計算技術，這激發了科學家們還為Nutch開發了類似的NDFS和MapReduce存儲系統。在發現系統不僅僅是可搜索的之后，開發人員從Nutch移走了NDFS和MapReduce并正式創建了Hadoop子項目。由于其快速增長，Hadoop現在已成為企業的主要實現系統。在業界，Hadoop現在被認為是用于存儲和分析大數據的通用平臺。Hadoop是支持MapReduce分布式應用程序的云計算平臺。分布式計算是一個廣泛而可變的領域，但是Hadoop由于其可用性，容錯性，可伸縮性和簡單性而在近年來發展迅速。Hadoop的最新版本已與Yarn框架集成在一起。Yarn用作MapReduce來解決JobTracker在原始一代中的單點故障問題，它實際上是一種分布式應用程序結構。

1.4 Mahout

Apache Mahout是由Apache Software Foundation開發的開源用戶機器學習項目，該項目實現了許多健壯且可擴展的機器學習算法。Mahout實現了各種機器學習算法，包括分類，分組，推薦等。此外，Hadoop Mahout可以輕松地將算法擴展到云。

（1）Mahout推薦算法介紹

單機算法實現：單機算法主要由cf.taste項目實現，常規的UserCF和ItemCF可以在單機環境中很好地工作，并且可以配置許多其他參數。但是它的計算能力非常有限。

（2）算法評判標準

Mahout提供兩個指標來推薦評級，準確性和可記憶性。搜索引擎經常使用這種測量方法。

圖1 Mahout算法精確度評判標準

表2

A代表檢索到的相關數據，B代表尚未檢索的相關數據，C代表不相關的檢索數據，D代表尚未檢索的不相關數據。下載的數據越多，準確性系數就越高。在所有獲得的結果中，數據越重要越好，召回率越高越好。當數據相對較大時，很難希望兩個指標可以同時得到改善，并且變量需要不斷變化。

1.5 大數據的處理流程

大數據的特征決定了與傳統數據處理的三個差異：基于完整的數據庫分析，高效和挖掘的重要性。當然，有許多處理大數據的特定方法。我已經搜索了許多資源，并編制了處理大數據的一般相關過程。一般處理流程分為四個階段，即收集，處理，計算和數據處理。

（1）數據采集。大型數據收集是指收集有關許多終端的數據并將其離線存儲。例如，電子商務公司將收集的數據存儲在鏈接數據庫中，但是對于無組織的數據，您可以使用RedSQL和MongoDB等NoSQL數據庫。在大數據采集過程中，經常會有大量的并行訪問，例如國內的12306和淘寶，它們的訪問高峰可以達到數百萬，因此對采集背景的數據處理能力有一定的要求。做好壓力平衡和數據庫拆分之間的工作，需要長期的實踐和經驗。

（2）數據預處理。在許多情況下，從首頁發送的數據是無組織的文本數據，并且需要對此類數據進行處理以形成結構化的說明，以便進行后續計算。此外，由于無效數據的可用性，還需要一些ETL方法。導入時，如果公司對實時性能有一定要求，則可以使用Storm Twitter進行流計算。數據處理過程的主要挑戰是大量數據需要較高的數據導入速度。

（3）統計分析。該組件通常使用分布式數據庫來提高性能，或者使用分布式計算機群集來進行分析和匯總。本部分的主要挑戰是大量數據將對I/O性能提出更高的要求。

（4）數據挖掘。目前，Kmean的典型挖掘算法，SVM的統計學習算法和NaiveBayes的分類算法是典型的。Mahout框架是一個實現各種機器學習算法的開源框架。由于挖掘本身的算法非常復雜，因此在計算大量數據時，計算機的性能需要達到更高的水平。

1.6 能源革命的潛力

在分析綜合能源服務的工作之前，我們首先需要對當前狀況及其未來發展潛力有一個簡單的了解。以下是簡要的情況和潛力的介紹，得益于集成的能源服務，可以盡可能合理地分配公司的資源。同時，它也可以替代電力。這樣可以減少公司的用電量。對相關煤炭的需求也將減少。如果減少煤炭的使用，相應的環境污染問題將得到有效緩解。還可以提供節能服務，可以對節能進行適當的監控。通過監控，您可以獲得有關行業節能的重要信息，可以了解當前節能市場的規模。還可以執行維護工作，并減少相關電氣工作的壓力。因此，在未來綜合能源服務的發展中，向節能發展勢在必行。將來，它也將不得不依靠相關的大數據技術。同時，這種發展模式也符合國家發展要求。

1.7 綜合能源服務工作現狀及市場潛力

近年來，國家電網湖南省電力有限公司（以下簡稱公司）以市場開發為主體，充分利用品牌，技術和用戶資源等方面的優勢，加快了體制機制，人才隊伍和平臺的建設，合作并促進了綜合能源服務公司。與市場完全融合。根據公司三年的端到端能源服務路線圖，其核心綜合能源服務業務涵蓋工業園區，醫院，機場，太陽能農場等，涉及100多家主要的能源密集型公司。各個區域的市場潛力分析如下：

（1）交流電。根據《湖南省電力替代計劃》，湖南省2016-2020年的總用電量估計約為550萬噸標準煤。

（2）節能服務。根據省節能監測中心，行業協會和行業聯盟的相關數據，預計2018-2020年節能服務業務市場規模約為750億元。

（3）電源運行維護。據統計，湖南省特種變壓器用戶數約為12萬戶，預計2018-2020年能源運維業務市場規模約為180億元。

（4）分布式光伏發電。根據“湖南省的五年太陽能發展規劃中，預計到2020年已安裝的分布式光伏發電容量將達到200萬千瓦。根據6元/瓦的市場表現估算，2018-2020年分布式光伏發電的業務規模將在78億元左右。

（5）天然氣的分布式冷卻，加熱和三聯產。根據“湖南省的五年能源發展計劃于2017年10月裝機。達到79.4萬千瓦。到2020年，全省分布式天然氣總裝機容量將達到120萬千瓦，估計為每千瓦5000元。從2018年到2020年，商業市場規模約為20.3億元人民幣。

（6）生物質能和熱能的分布式能源生產。根據“13。湖南省的五年“生物質能發展計劃”，預計到2020年將達到80萬千瓦。根據每千瓦800萬元的估算，2018-2020年生物質發電和供熱業務市場規模約為44.6億元。

（7）根據電力提供冷熱。根據新增加的1.74億平方米建筑面積估算，2018-2020年基于電力的冷熱供應業務市場規模約為313.2億元。

（8）能耗監測與分析。根據節能市場潛力和分布式能源市場潛力估算，基于能耗監測與分析，2018-2020年商業市場規模約為15億元。

（9）儲能服務。通過對風能和太陽能光伏的日均產量進行分析，預計2018-2020年儲能業務市場規模約為27.4億元。

2 基于大數據的綜合能源智慧服務平臺建設

2.1 基于大數據的綜合能源智慧服務平臺建設

通過營銷大數據中心的建設和應用，可以積極推進能源綜合服務業務，顯著提高公司盈利能力，加大集約化程度，加強規范化管理；使政府能夠吸引投資，調整產業結構，對需求方作出響應并有序地實現用電。通過節能服務，能耗分析等，為公園和主要能源客戶提供政府支持的數據支持；促進整個業務鏈的縱向聯系和不同系統的橫向整合；進一步優化和提高綜合能源業務項目的最高水平，并通過該計劃實現全面的管理范圍；通過集成的能源業務促進數據集成，例如運輸檢查，市場營銷和運輸。通過對能源數據價值的深入分析，它有力地支持了公司在構建大數據方面的戰略決策，并推動了精益公司的管理和創新增長。

2.1.1 綜合能源大數據應用

綜合能源大數據應用主要包括：能耗分析，用戶標簽，潛在用戶列表，用戶潛力分析，用戶層次管理，比較分析，評估分析，比例分析，節能分析，負載功率預測，電力狀態評估，診斷故障，設備統計，能源組成分析，可再生能源滲透率分析，經濟功率分析，功率損耗分析和能源質量分析。

（1）能耗分析是根據不同的活動類型提取用戶數據和大型數據中心的用電量數據，并顯示用戶的能耗，用電量和電表參數，費用，負荷曲線和變電站位置，線路負載等。

（2）用戶標簽用于搜索和分析大量數據，以創建各種用戶標簽，管理用戶標簽并獲取諸如動態標簽，靜態標簽，鏈接標簽和公司標簽之類的信息。

（3）潛在用戶列表是根據用戶標簽對用戶進行分類，并根據每個標簽的重要性建立一個列表；用戶潛力分析是基于地區，行業，用戶性質，用電量類型，用電量，能耗設備等進行的。信息，進行深入的數據挖掘，評估用戶設計潛力并將分析結果直接提供給用戶。

（4）基準分析涉及市場上運營的綜合能源項目的基準和統計，包括：基準電力替代潛力，基準節能，基準項目的行業分布，基準營銷活動和基準營業收入，基準市場份額，基準在線費率和客戶滿意度基準測試。

（5）評價分析是對綜合能源項目運行效益的綜合評價和分析，主要包括：項目收益評價，社會效益評價，節能比評價，設備利用率和綜合能效。

（6）比例分析是對綜合能源項目績效的綜合統計和分析。

（7）節能分析是根據國家或行業標準對主要能源用戶的節能收益率進行的分析。

（8）電力負荷預測是根據歷史負荷數據，生產計劃，經濟指標，環境氣候等相關數據作出的多維輸出量，負荷預測，發電設備，電氣設備的發電量和用電量，能源用戶和地區。使用各種數學模型來優化和選擇預測結果。中長期預測主要是人工干預，而短期和超短期預測主要是自動系統優化。

（9）電力健康評估旨在基于故障觸發統計數據分析設備和系統可靠性指標，分析超負荷上限統計數據所導致的硬件和系統安全隱患，診斷和定位頻繁發生故障的安全和設備威脅并提供幫助在決定設備的更換和現代化，大修，大修和其他工作計劃時。

（10）故障診斷包括對故障的數量和時間進行統計分析，診斷設備和系統的可靠性，跟蹤故障原因的類型，設備的制造商，分析影響頻繁發生故障的主要因素以及分析設備類型，制造商與故障之間的關系。

2.1.2 綜合能源大數據中心技術架構

基于公司一個全面，統一的數據中心，根據數據倉庫模型和主數據標準實施能源大數據的集成應用程序，使用ETL工具清理和轉換數據，并為公司提供能源數據資源的完整集成服務。

（1）統一的分析服務層。提供外部數據接口，數據挖掘和自助服務分析服務集成的能源服務平臺可以通過統一的分析服務層獲取業務數據。

（2）日期集市。為了滿足特定部門或用戶的需求，可以以多維方式存儲它們，包括定義維度，要計算的指標，維度級別等，以生成用于決策分析的數據立方體。數據倉庫在統一分析服務層中提供基本數據支持。

（3）輕微聚集的層。符合SG-CIM3.0標準，針對特定領域設計集成區域模型，并根據主題領域存儲詳細數據，以實現結構化數據和多維摘要的統一存儲。

（4）詳細的數據層。標準和數據模型的統一。該層模型是由“國家網格模型”頂部設置小組統一設計的，根據模型，設計團隊可以完成數據清理和轉換。

2.2 綜合能源智慧服務的平臺建設

綜合能源服務平臺的建設是現在發展的趨勢之一。如何在大數據的支持下構建全面的智能能源服務平臺，是當前亟待解決的問題。下面是對平臺結構的簡單分析。

（1）營銷數據中心

綜合能源服務平臺的建設，它必須與大數據營銷和心臟建設密不可分。通過營銷數據，內心可以不斷促進公司能源活動的優化。它還可以提高公司的盈利能力，集約化程度將比以前更好。在這個過程中，企業的規范化管理將越來越強大。它可以為政府服務，并引進外國投資或促進政府工作的投資。它還可以對國家目前的產業結構做出適當的改變。它可以為能源企業的能源發展提供適當的指導方針和幫助。可以廣泛發展節能服務。還可以將來自運營檢查，市場營銷的數據以及其他公司數據與集成的能源服務集成在一起。在更深層次上探索能源數據的價值。這對于構建公司的大數據非常有利。它還可以在某種程度上改善公司的管理。

（2）綜合能源大數據應用

綜合能源大數據可以應用在很多方面。其中包括能耗分析，用戶分析，評估分析等。通過采取行動，不僅可以發現企業中的問題和不足，還可以分析研究存在的問題和不足并提出解決方案。在分析能耗時，有幾種因素是基于不同類型的活動。然后，通過大數據集，心臟提取每個用戶的文件。同時，您還可以使用圖表顯示用戶的能耗。它可以分析電線負載曲線和線路狀況。對于用戶分析，您需要使用大量數據進行探索和分析。基于此，分類并創建各種用戶標簽。然后管理這些用戶標簽。在管理期間，您可以使用動態，靜態和其他標簽鏈接方法。為了進行評估和分析，有必要收集有關運營項目的一些綜合收益的數據。然后進行全面的效益分析。在此過程中，評估項目的收益和社會收益至關重要。同時，將估算能量利用率或總利用率。

（3）綜合能源大數據中心的技術架構

可以針對公司業務的情況，建立業務統一的數據開發心。然后利用數據的開發，心進行綜合能源數據的應用。在實施，需要應用到數據倉庫模烈，還有一些數據的標準。可以適當利用ETL工具來對數據進行清洗或者是轉化。這樣才能夠為公司在順利運行，提供更加完備的綜合能源數據服務。其綜合能源大數據，心技術的架構幾要是包括以下這些部分。

①分析服務層。另外，服務層應統一。如果不是用于統一的分析服務層，則在數據分析中獲得的效率將不高。同時，它應該能夠提供以下服務。例如，有提供外部數據的接口服務以及數據挖掘服務。同時，您也可以將收集的數據用于自助服務。最終，集成服務平臺可以通過分析服務層獲取運行其正常業務所需的信息和數據。

②數據集市。這部分是相對獨特的。外觀的目的是滿足特定部門或用戶的不同需求。我幾乎想以多維方式存儲信息和數據。在存儲期間，有必要為其定義，計算指標和尺寸生成數據。生成的數據應能夠支持對公司決策的分析。此外，數據庫是綜合能源服務平臺的核心，它還可以為分析服務層提供數據處理。

③輕度匯總層。在分層設計的情況下，應根據特定標準進行。在規劃期間，必須為子區域集成模型設計。它可以根據區域存儲數據。它還可以允許將數據存儲在特定的結構中。同時，它具有不同的功能，即可以執行多維聚合，它也是柔和的聚集層的特性之一。

④明細數據層。在此設計級別，應使用統一的數據標準。另外，在設計過程中必須注意模型。此級別的模型通常由State Grid的頂級設計團隊設計。然后，在下一個工作中，適當的人員應根據設計的模型清理或轉換項目團隊已完成的某些數據。由于有了這一級別，與數據清理和轉換有關的工作將更加容易。

⑤源歷史區。在數據存儲的情況下，有必要根據不同的業務類別以模塊化方式存儲數據。同時，當需要應用數據時，可以提取信息并要求信息的來源。通常，所有現有數據都有來源。這些主要是作為企業正常營銷或生產活動的一部分收集的數據。這些信息和數據幾乎總是在日常生活中產生的。使用時，您只需要檢索此數據。

（4）綜合能源智慧服務的作用

隨著新時代的到來，企業的內部和外部信息網絡可以通過使用此集成的能源服務平臺進行大數據營銷而彼此交互。讓企業的綜合能源服務項目能夠執行整個管理和監督過程。在數據收集期間，數據被可視化。它還具有在線監視功能。借助一些移動數據收集方法，為企業決策提供了一些數據支持。在決策過程中，可以減少決策錯誤。如果您在工業園區或耗能企業中使用此技術，則可以科學地管理公司的資產。而且，這對政府的工作非常有幫助。為政府提供數據支持以引入投資和產業結構。它還可以為平臺用戶提供全新的服務體驗。讓公司的利潤增長。該技術是互聯網技術和智能能源的結合。它可以帶來一種新的能源發展模式。它可以促進中國能源服務業的復興。他對我國的一些傳統專業和企業產生了很大的影響。特別是，它對達里的一些傳統能源公司產生了巨大影響。將來，這可能會導致新的業務發展形式。將來，它將轉變為一場全國性的能源革命。它將為社會發展帶來新的活力。它還可以為用戶帶來更經濟，高效和節能的能源服務。

3 結語

大數據技術仍在發展和更新中，它向智能能源服務集成平臺引入了新的發展動力，盡管在平臺構建過程中仍然會存在一些問題和不足。相信它將在未來與大數據技術成功集成。市場營銷數據還將在集成的能源服務平臺上越來越多地使用。通過在集成能源服務中使用大數據營銷，改善了內部和外部信息網絡之間的交互，管理集成能源服務項目的整個過程，實現了數據可視化，在線監控和預警，并做出了有效的響應。諸如提高業務管理效率的措施；通過能效分析，數據挖掘和工業園區及用能企業“數據資產”的智能監控，政府吸引了投資，產業結構調整，需求側響應和用電有序執行等。為決策提供數據支持，通過新方法和新模式為用戶提供全新的服務體驗，例如儲能，代理商維護和能效監控。通過提高能源效率，轉變節能，替代電力和開發新能源來創造穩定的收入，擴大公司的利潤來源。該應用程序可以實現“互聯網+智能能源”技術的深度集成，帶來新的能源服務模式，新的商業生態形式，并有力地支持綜合能源服務企業的轉型。它為所有傳統的大型能源公司提供了新的小型和微型能源公司，許多設備供應商都具有更大的影響力，并成為國家能源革命中的重要市場力量，為各地的客戶提供經濟，高效，清潔，可靠，方便，個性化和智能化的交互式能源服務社會。