基于大數(shù)據(jù)的信息能耗管理系統(tǒng)設(shè)計

杜軍龍 周劍濤 江西省信息中心

1 系統(tǒng)設(shè)計需求與架構(gòu)

1.1 系統(tǒng)設(shè)計需求

隨著多技術(shù)系統(tǒng)的研發(fā)和系統(tǒng)功能的不斷豐富，現(xiàn)代大中心信息系統(tǒng)的數(shù)據(jù)量也越來越大，所產(chǎn)生的系統(tǒng)能耗也隨之增多，如何針對大中型信息系統(tǒng)的海量能耗數(shù)據(jù)進行精準有效測算和管理，也逐漸成為能耗管理領(lǐng)域面臨的新課題。基于大數(shù)據(jù)技術(shù)設(shè)計一種針對海量能耗信息的管理系統(tǒng)，能夠有效地解決上述問題，其設(shè)計的核心思想為：借助大數(shù)據(jù)技術(shù)構(gòu)建海量能耗信息數(shù)據(jù)的多層次分布式采集、分析和管理平臺，實現(xiàn)對能耗數(shù)據(jù)的精準采集、分析和有效管理，全面均衡高效地管理海量能耗數(shù)據(jù)，為能量信息的科學使用提供依據(jù)，本系統(tǒng)的設(shè)計正是基于上述需求。

1.2 系統(tǒng)整體架構(gòu)

本系統(tǒng)采用B/S 架構(gòu)設(shè)計，主要由能耗信息采集、分析和管理三個模塊組成，各模塊運行于平臺框架層上，針對能耗信息數(shù)據(jù)的存儲、處理和應用引入Hadoop 分布式文件系統(tǒng)和Oracle 數(shù)據(jù)庫體系，運行平臺為Hadoop 和Tomcat。系統(tǒng)前端以Extjs 技術(shù)創(chuàng)設(shè)人機交互界面，并針對后臺服務(wù)器接口的訪問則應用HTTP 技術(shù)，前端和后端之間以JSON 作為交互通信的數(shù)據(jù)類型，上述系統(tǒng)架構(gòu)能夠使所采集到的能耗信息數(shù)據(jù)被大數(shù)據(jù)系統(tǒng)及時地處理、分析和管理，且大大提升海量數(shù)據(jù)的運維效率，詳細的系統(tǒng)架構(gòu)圖如下：

2 系統(tǒng)主要模塊設(shè)計

2.1 能耗信息采集模塊

能耗信息采集模塊用于采集現(xiàn)場能耗信息，并將采集來的信息上傳至采集數(shù)據(jù)服務(wù)器中，生成專門的能耗數(shù)據(jù)ORC 數(shù)據(jù)集合，這些數(shù)據(jù)集合將集中上傳至系統(tǒng)的能耗數(shù)據(jù)分析層。為實現(xiàn)對現(xiàn)場能耗信息的有效采集，能耗信息采集模塊配置了不同類型的傳感器網(wǎng)絡(luò)，如：溫度傳感器、風力傳感器、流量傳感器等，這些傳感器能夠及時收集能耗運行現(xiàn)場的能量數(shù)據(jù)，并將數(shù)據(jù)轉(zhuǎn)換成數(shù)字信號上傳至采集服務(wù)器中。采集服務(wù)器接收到傳輸來的能耗基礎(chǔ)數(shù)據(jù)后，對數(shù)據(jù)的類型、采集時間、誤差率等基本信息進行識別，將其中有用的能耗大數(shù)據(jù)信息統(tǒng)一歸類整理，生成專屬的采集存儲ORC 數(shù)據(jù)庫，數(shù)據(jù)庫中除了涵蓋所采集能耗的信息外，還包含能耗數(shù)據(jù)采集層FTP 服務(wù)器地址信息、用戶名信息、密碼信息及各類能耗數(shù)據(jù)文件的存儲調(diào)用路徑信息等，各類信息以Hadoop 分布式結(jié)構(gòu)存儲，以確保能夠快速、準確地調(diào)用。整體而言，能耗數(shù)據(jù)采集層包含硬件和軟件兩大體系，是系統(tǒng)獲取現(xiàn)場一手能耗數(shù)據(jù)的關(guān)鍵層。

2.2 能耗信息分析模塊

能耗信息分析模塊的主要功能為：對采集來的能耗信息進行分類性分析處理，實現(xiàn)能耗信息的差異化分類分析歸檔，以便于系統(tǒng)對能耗數(shù)據(jù)的管理和應用。該模塊基于HDFS 大數(shù)據(jù)結(jié)構(gòu)，所分析的數(shù)據(jù)存儲在專門的數(shù)據(jù)庫中。針對能耗信息的主要分析包含以下幾類：（1）基本能耗數(shù)據(jù)分析。主要針對指定時間、類型和結(jié)構(gòu)的能耗信息進行基本的分析，例如：累計總能耗計算、各項能耗占比、能耗產(chǎn)生的時間、能耗產(chǎn)生的位置、有用能耗的數(shù)量等，針對上述能耗的分析基于大數(shù)據(jù)技術(shù)，實現(xiàn)對能耗數(shù)據(jù)的基本分析，之后以數(shù)據(jù)表的形式呈現(xiàn)。（2）自定義能耗數(shù)據(jù)分析。可根據(jù)用戶需求對不同類型的能耗，如：風能、水能、電能等，進行分類差異化分析，應用該分析功能可以差異化地進行分項、分時間、分區(qū)段和分單元的多維度能耗分析計算，分析的結(jié)果可以圖表的形式呈現(xiàn)給用戶。（3）能耗數(shù)據(jù)整理歸檔。對于分析完成的能耗數(shù)據(jù)，能夠根據(jù)數(shù)據(jù)的類型生成不同的ORACLE 庫，各個ORACLE 庫又能夠歸檔至RAC 總庫中，形成分布式的能耗分析數(shù)據(jù)體系，以便調(diào)用。

2.3 能耗信息管理模塊

能耗信息管理模塊實現(xiàn)對各類能耗信息的統(tǒng)一管理和應用處理，確保能夠二次利用的能耗得到最高效的應用，對于不能夠二次利用的能耗則統(tǒng)一處理，以最大化實現(xiàn)節(jié)能減排。該模塊在功能設(shè)計上，基于大數(shù)據(jù)分布式層次結(jié)構(gòu)，并根據(jù)功能應用的需求，分為能耗查詢、能耗計算和能耗應用三個功能體系，現(xiàn)對各體系的功能做如下解讀：（1）能耗查詢。以Hadoop 為技術(shù)核心構(gòu)建的人機交互查詢界面，用戶可登陸界面自助查詢能耗的各類詳細信息。具體設(shè)計上通過圖形化界面生成了自定義查詢數(shù)據(jù)字段和條件字段，系統(tǒng)后臺生成數(shù)據(jù)庫語句，當用戶執(zhí)行查詢指令后，界面上會顯示響應的查詢結(jié)構(gòu)。（2）能耗計算。所采集并進過基本處理的能耗數(shù)據(jù)導入到HDFS 文件系統(tǒng)后，能耗信息管理模塊便會根據(jù)用戶的調(diào)用需求，針對相應的能耗數(shù)據(jù)進行并行分析計算，計算采用大數(shù)據(jù)挖掘算法，如：聚類算法、分類算法、關(guān)聯(lián)規(guī)則算法、社團網(wǎng)絡(luò)分析算法等，不同的算法可得到差異化的類型結(jié)果。（3）能耗應用。用戶可根據(jù)能耗數(shù)據(jù)計算的結(jié)果，自動或手動選擇可二次利用能耗的類型，并決定能耗二次利用的去向。

3 信息能耗測算管理方法

針對能耗的采集和測算是本系統(tǒng)的核心功能，其中對能耗的采集主要通過在耗能裝置上按照差異化的傳感器獲取相應的能耗數(shù)據(jù)，系統(tǒng)會對現(xiàn)場能耗數(shù)據(jù)進行周期性的采樣，并將采集到的原始能耗數(shù)據(jù)通過數(shù)據(jù)分析層的基礎(chǔ)性處理后傳輸至能耗應用管理層。倘若用戶需要調(diào)用某一類能耗數(shù)據(jù)時，只需要登錄能耗數(shù)據(jù)管理平臺，點選相應的能耗應用算法，系統(tǒng)便會應用大數(shù)據(jù)挖掘技術(shù)自動調(diào)用相應的能耗數(shù)據(jù)進行測算，具體的過程為：首先，采用jar 包的方式調(diào)取用戶需求能耗數(shù)據(jù)；其次，根據(jù)用戶需求選擇相應的大數(shù)據(jù)挖掘算法進行計算，產(chǎn)生針對能耗數(shù)據(jù)的詳細分析結(jié)果；最后，結(jié)果以可視化界面的形式呈現(xiàn)給用戶，同時存儲在大數(shù)據(jù)數(shù)據(jù)庫中，以便用戶隨時調(diào)用查看。上述過程涉及到的大數(shù)據(jù)計算方法十分豐富，此處不再累述，相關(guān)的能耗測算管理方法能夠大大提升能耗數(shù)據(jù)的利用效率。

4 結(jié)語

大數(shù)據(jù)技術(shù)的飛速發(fā)展為能耗信息的高效計算和應用提供了全新的平臺，本文所提出的思路能夠為各類能耗管理系統(tǒng)的設(shè)計提供借鑒。在今后的工作中，研發(fā)人員應根據(jù)不同能耗系統(tǒng)的差異化特性，充分利用大數(shù)據(jù)平臺的優(yōu)勢，并結(jié)合本文設(shè)計的精髓構(gòu)建更具針對性的信息能耗管理系統(tǒng)，實現(xiàn)針對能耗數(shù)據(jù)的精準測算和高效利用。