基于電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)的可視化研究

趙小凡, 張夢清, 劉超

(廣東電網(wǎng)有限責(zé)任公司 廣州供電局, 廣東 廣州 510610)

0 引言

隨著電網(wǎng)規(guī)模的不斷擴大和電力企業(yè)信息化水平的提高，數(shù)據(jù)量呈現(xiàn)爆炸式增加，給電力數(shù)據(jù)中心數(shù)據(jù)管理帶來了巨大挑戰(zhàn)，數(shù)據(jù)管理工作的好壞直接影響日常工作的正常開展[1-2]。為克服電力數(shù)據(jù)中心的傳統(tǒng)管理方法的不足，提出一種基于電力數(shù)據(jù)中心的數(shù)據(jù)流轉(zhuǎn)可視化方法，實現(xiàn)對源頭業(yè)務(wù)生產(chǎn)系統(tǒng)數(shù)據(jù)采集到數(shù)據(jù)中心的事務(wù)作業(yè)及作業(yè)進程進行監(jiān)控告警；另一方面，實現(xiàn)對數(shù)據(jù)服務(wù)各環(huán)節(jié)相關(guān)數(shù)據(jù)流轉(zhuǎn)過程進行監(jiān)控，并對數(shù)據(jù)流轉(zhuǎn)過程作業(yè)引發(fā)的問題能及時快速作出影響分析、告警，并以可視化界面快捷友好展現(xiàn)作業(yè)運行情況及異常問題點，快速發(fā)現(xiàn)問題、解決問題，從而為有效支撐各應(yīng)用及時發(fā)現(xiàn)問題、及時解決問題提供有力保障。

1 平臺總體架構(gòu)與技術(shù)架構(gòu)設(shè)計

1.1 平臺總體架構(gòu)設(shè)計

基于電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)的可視化平臺總體框架，如圖1所示。

圖1 平臺總體框架

平臺主要包括源數(shù)據(jù)層、數(shù)據(jù)采集層、數(shù)據(jù)存儲層、應(yīng)用服務(wù)層和用戶層[3-4]。

用戶層：數(shù)據(jù)資產(chǎn)運營管控平臺系統(tǒng)的用戶，實現(xiàn)訪問控制。

應(yīng)用服務(wù)層：數(shù)據(jù)資產(chǎn)運營管控平臺系統(tǒng)部署在該層，實現(xiàn)監(jiān)控指標的展示和系統(tǒng)的管理功能。

數(shù)據(jù)采集層：將源數(shù)據(jù)加工為指標數(shù)據(jù)，實現(xiàn)指標數(shù)據(jù)收集和指標數(shù)據(jù)計算的功能。

數(shù)據(jù)存儲層：存儲計算后的指標數(shù)據(jù)。

源數(shù)據(jù)層：數(shù)據(jù)資產(chǎn)運營管控平臺的基礎(chǔ)數(shù)據(jù)來源，包含：(1) 數(shù)據(jù)資產(chǎn)管理子工具的數(shù)據(jù)，如資產(chǎn)清單，資產(chǎn)申請單等。(2) 大數(shù)據(jù)平臺的各指標數(shù)據(jù)，如平臺CPU、內(nèi)存、存儲使用量等。(3) 各組件作業(yè)運行信息的數(shù)據(jù)，如Workflow調(diào)度工具的作業(yè)信息和作業(yè)運行信息，Ogg數(shù)據(jù)同步工具的任務(wù)信息和任務(wù)執(zhí)行信息等。

1.2 平臺技術(shù)架構(gòu)設(shè)計

電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)可視化平臺的技術(shù)架構(gòu)，如圖2所示。

圖2 技術(shù)架構(gòu)圖

可視化平臺主要包括展示層、應(yīng)用層、模型層和基礎(chǔ)層。(1) 展示層[5]：前端框架采用Vue 2.6.10 + ElementUI 2.13.2 + Echarts 4.8.0。(2) 應(yīng)用層：應(yīng)用層框架采用SpringBoot 2.2.4 + Mybatis 3.3.1 + Quartz 2.3.0 + Druid 1.1.13，集成短信告警服務(wù)，使用AOP技術(shù)實現(xiàn)系統(tǒng)日志服務(wù)，應(yīng)用層是由具體實現(xiàn)各種業(yè)務(wù)邏輯的類實現(xiàn)的，這些類必須實現(xiàn)框架指定的接口方法，主要功能是完成用戶實際的業(yè)務(wù)功能。(3) 模型層：使用UDM建模思想進行數(shù)據(jù)建模[6]。(4)基礎(chǔ)層：支撐UDM模型落地，完成應(yīng)用層的數(shù)據(jù)交互。

2 可視化功能模塊設(shè)計

為實現(xiàn)電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)的可視化，可視化功能模塊設(shè)計如圖3所示。

圖3 可視化功能模塊圖

模塊主要包括：數(shù)據(jù)中心大屏展示模塊、應(yīng)用監(jiān)控模塊、數(shù)據(jù)監(jiān)控模塊、作業(yè)監(jiān)控模塊、專項監(jiān)控模塊、租戶監(jiān)控模塊、平臺監(jiān)控模塊和系統(tǒng)運維管理模塊。

圖3中，各模塊主要功能如下。(1) 數(shù)據(jù)中心大屏顯示模塊：以可視化圖形方式顯示數(shù)據(jù)中心的運轉(zhuǎn)情況：包括接入的數(shù)據(jù)源、接入作業(yè)、數(shù)據(jù)中心各層級表、數(shù)據(jù)中心各層級加工作業(yè)、數(shù)據(jù)服務(wù)接口數(shù)及數(shù)據(jù)服務(wù)接口加工作業(yè)[7-8]。(2) 應(yīng)用監(jiān)控模塊：使用表格和圖形方式展示大數(shù)據(jù)中心和非大數(shù)據(jù)中心應(yīng)用各項指標。(3) 數(shù)據(jù)監(jiān)控模塊：使用表格和圖像方式展示數(shù)據(jù)資產(chǎn)各項指標、數(shù)據(jù)接入表數(shù)量和作業(yè)數(shù)等指標、數(shù)據(jù)服務(wù)各項指標、數(shù)據(jù)質(zhì)量各項指標和數(shù)據(jù)質(zhì)量檢查規(guī)則運行情況等。(4) 作業(yè)監(jiān)控模塊：使用表格和圖像方式展示作業(yè)運行匯總指標、ETL作業(yè)各項指標和異常作業(yè)處理等。(5) 專項監(jiān)控模塊：使用表格和圖像方式展示元數(shù)據(jù)各項指標。(6) 租戶和平臺監(jiān)控模塊：主要展示租戶和平臺的各項指標，并進行租戶和平臺切換查詢。(7) 系統(tǒng)運維管理模塊：主要進行用戶管理、調(diào)度管理、Excel導(dǎo)入、菜單管理、字典管理、角色管理、定時任務(wù)、日志管理和流程管理等[9-10]。

3 數(shù)據(jù)中心可視化設(shè)計

3.1 數(shù)據(jù)流轉(zhuǎn)圖

數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)圖如圖4所示。

圖4 數(shù)據(jù)流轉(zhuǎn)圖

首先，通過采集設(shè)備(電表、終端設(shè)備等)采集原始數(shù)據(jù)并進行二進制預(yù)處理[11]；接著，將預(yù)處理之后的數(shù)據(jù)庫文件分別傳送給大數(shù)據(jù)平臺、服務(wù)總線器和計量自動化平臺等，通過估算、精算、數(shù)據(jù)和分析將產(chǎn)生的指標數(shù)據(jù)下發(fā)給各個數(shù)據(jù)平臺進行生產(chǎn)運營分析、配網(wǎng)決策分析、電費異常分析、大客戶管理分析和輸電線路監(jiān)測分析等[12-13]。

3.2 數(shù)據(jù)中心整體流轉(zhuǎn)圖

數(shù)據(jù)中心整體流轉(zhuǎn)圖，如圖5所示。

圖5 數(shù)據(jù)中心整體流轉(zhuǎn)圖

用戶可選擇源頭業(yè)務(wù)系統(tǒng)下拉框進行單個業(yè)務(wù)系統(tǒng)整體流轉(zhuǎn)監(jiān)控，通過日期選擇器切換日期進行查詢不同日期的作業(yè)運行情況，點擊表個數(shù)跳轉(zhuǎn)至當(dāng)前源頭業(yè)務(wù)系統(tǒng)或數(shù)據(jù)中心層級表詳細信息，點擊作業(yè)數(shù)跳轉(zhuǎn)至當(dāng)前接入工具或加工層級作業(yè)運行信息，優(yōu)先展示失敗作業(yè)。

4 應(yīng)用實例與創(chuàng)新點分析

4.1 應(yīng)用實例

選擇中國南方電網(wǎng)為研究對象，重點展示其應(yīng)用監(jiān)控模塊內(nèi)容，其應(yīng)用總覽和重點應(yīng)用監(jiān)控分別如圖6、圖7所示。

圖6 應(yīng)用總覽圖

圖7 重點應(yīng)用監(jiān)控圖

圖6中，可以顯示應(yīng)用分布情況、部分應(yīng)用分布情況、訪問總數(shù)TOP10、資產(chǎn)申請總數(shù)TOP10和上月新增資產(chǎn)申請TOP10等。

圖7中，作業(yè)總數(shù)：截止當(dāng)前時間，統(tǒng)計數(shù)據(jù)中心為重點應(yīng)用服務(wù)所部署的作業(yè)總數(shù)，點擊作業(yè)總數(shù)可跳轉(zhuǎn)到作業(yè)明細頁面。成功數(shù)：截止當(dāng)前時間，統(tǒng)計數(shù)據(jù)中心為重點應(yīng)用服務(wù)所部署作業(yè)中成功執(zhí)行的作業(yè)總數(shù)，點擊跳轉(zhuǎn)可以跳轉(zhuǎn)到當(dāng)天執(zhí)行成功的作業(yè)明細頁面。待執(zhí)行：截止當(dāng)前時間，統(tǒng)計數(shù)據(jù)中心為重點應(yīng)用服務(wù)所部署作業(yè)中等待執(zhí)行的作業(yè)總數(shù)，點擊跳轉(zhuǎn)可以跳轉(zhuǎn)到當(dāng)天待執(zhí)行的作業(yè)明細頁面。執(zhí)行中：截止當(dāng)前時間，統(tǒng)計數(shù)據(jù)中心為重點應(yīng)用服務(wù)所部署作業(yè)中正在執(zhí)行的作業(yè)總數(shù)，點擊跳轉(zhuǎn)可以跳轉(zhuǎn)到當(dāng)天正在運行的作業(yè)明細頁面。失?。航刂巩?dāng)前時間，統(tǒng)計數(shù)據(jù)中心為重點應(yīng)用服務(wù)所部署作業(yè)中執(zhí)行失敗的作業(yè)總數(shù)，點擊跳轉(zhuǎn)可以跳轉(zhuǎn)到當(dāng)天運行失敗的作業(yè)明細頁面。關(guān)聯(lián)工單數(shù)：根據(jù)作業(yè)、應(yīng)用關(guān)聯(lián)流程管理的未完成工單總數(shù)。訪問數(shù)：應(yīng)用系統(tǒng)的訪問總數(shù)。

4.2 創(chuàng)新點分析

電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)可視化的主要創(chuàng)新點如下。(1) 以電力數(shù)據(jù)中心實際需求為基礎(chǔ)，將可視化和電力數(shù)據(jù)中心管理有機地結(jié)合起開，進行了針對性設(shè)計，將圖像與數(shù)據(jù)庫技術(shù)結(jié)合起來，提高了查詢效率和數(shù)據(jù)處理速度；(2) 將可視化與數(shù)據(jù)庫技術(shù)結(jié)合，實現(xiàn)外部數(shù)據(jù)的可視化拉??；(3) 為提高系統(tǒng)的安全性，設(shè)計出了賬號、角色和設(shè)備組的三級綜合管理方式；(4) 針對用戶的不同需求和習(xí)慣差異，提供了靈活的配置需求。

5 總結(jié)

隨著電網(wǎng)規(guī)模的擴大，電力數(shù)據(jù)中心呈現(xiàn)規(guī)?；蛷?fù)雜化，電力數(shù)據(jù)中心的管理難度急劇增大，對電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)進行可視化管理成為電力行業(yè)當(dāng)前研究的一個重點問題。本研究對電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)進行了可視化研究，實現(xiàn)了電力數(shù)據(jù)中心數(shù)據(jù)流轉(zhuǎn)的高效查詢和處理，具有很強的數(shù)據(jù)集成能力和數(shù)據(jù)展示能力，接口靈活開放、可以根據(jù)用戶的個性化需求進行個性化配置，為電力數(shù)據(jù)中心可視化研究提供了新的參考。