省級電網企業數據全面管控探索與應用

查易藝，袁 燁，陶曄波

(1.國網江蘇省電力有限公司信息通信分公司，江蘇 南京 210024；2.江蘇電力信息技術有限公司，江蘇 南京 210024)

0 引言

隨著經濟轉向高質量發展，企業經營面臨重大變革與挑戰。2019年初，國家電網公司提出“三型兩網、世界一流”的戰略目標，加快推進泛在電力物聯網建設與示范應用，充分運用“大云物移智”等新技術，實現電力系統各個環節的萬物互聯、人機交互，全面提升數據自動采集、自動獲取、靈活應用能力，廣泛連接內外部服務資源和服務需求，企業生產經營由“業務驅動”向“數據驅動”[1]轉變，充分運用大數據時代“數據科學”[2]的理論，打造能源互聯網生態圈。

數據中臺在云平臺統一協管資源的基礎上，構建數據接入和存儲計算能力，再以數據服務目錄的形式實現安全、友好、可控的數據統一訪問服務，提供Restful等各類形式的服務接口實現統一注冊、管理和調度，為各個應用場景提供數據支撐。在打造企業數據中臺、重構企業數據服務體系的征程中，亟需一套數據資產的管理方法與支撐工具[3]。

國網江蘇省電力有限公司(簡稱江蘇公司)以數據資產全生命周期管理體系[4]為基礎，通過數據資產管理工具，全面實現公司數據資產精益化管理，逐步形成企業級統一模型標準[5]，并將數據進行規整化處理。結合智能分析算法，構建數據應用場景微服務，基于統一數據服務支撐業務系統建設，實現“業務數據化、數據業務化”，以產品和服務優化為目的，通過數據驅動公司運營發展。

1 企業數據管理現狀及改進思路

1.1 企業數據管理現狀與需求

省級電網公司數據中心建設可追溯到2009年，2016年開始全面建設全業務統一數據中心。數據中臺技術架構如圖1所示。目前開展的數據中臺建設，在數據互聯互通、融合共享等方面取得了突破性進展，積累了大量業務數據，有效支撐了供電服務指揮、財務管控等重點項目建設。面對海量數據，怎樣查、如何管、怎么用，成為亟待解決的問題。從應用視角看，仍存在數據中心技術門檻高、數據獲取慢、數據共享難等問題。系統間集成關系復雜，完備的數據資源目錄尚未形成，數據應用復用性不強，亟待培養數據管控分析團隊對數據資產進行統一管理分析。

圖1 數據中臺技術架構

隨著數據中心建設不斷深入及業務系統的迭代更新，省級電網企業員工對于數據管理應用提出了各類需求。業務人員偏重于構建分析應用，快速獲取數據資源訪問權限，理清相關系統數據臺賬，支撐各類指標及上層分析應用可視化展現；系統運維人員負責閉環維護各類數據資源臺賬，當夯實底層基礎臺賬后，自動生成鏈路信息，方便運維人員及時掌握故障及數據模型變更狀況；數據管控人員需掌握數據中心全貌，維護數據臺賬，核查異動數據，對整體數據資產進行統計分析；各系統廠商負責協助業務部門開展分析應用及故障排查。目前各業務系統相對獨立，各系統需加強對話及溝通。

1.2 企業數據管理改進思路

江蘇公司深耕數據管理與應用需求，打造專業化數據管控分析團隊，在夯實底層數據臺賬與提升數據運維能力的基礎上，優化數據應用服務，實現對公司數據資源“管控全覆蓋、監測全方位、流程全自動、服務全支撐”的“四全”目標。整個數據一體化管控平臺通過管理好數據后臺，適配數據中臺，從而支撐泛在電力物聯網建設。企業數據管理主要包含資源臺賬管理、數據運維管理和數據應用服務三部分。

1.2.1 資源臺賬管理改進

數據管控人員和系統運維人員采集維護數據、接口、指標和應用四類臺賬信息，對公司數據資產進行全生命周期納管，有效摸清家底。

1.2.2 數據運維管理改進

數據運維人員和系統廠商高效聯動，共享數據支撐服務。包含數據模型版本化管控、數據鏈路全生命周期監測及數據血緣分析，并將其延展到指標及應用層面。同時，依據業務規則校驗納管系統數據質量，全面支撐數據治理等工作開展。

1.2.3 數據應用服務改進

依據客戶畫像，提供給業務人員及數據分析人員相應的數據資源門戶，敏捷提供所關心數據資源的可視化展現。提供統一資源檢索服務，按類別檢索各類臺賬。同時，支持所有流程線上化處理，建立問題閉環管理通道。

數據一體化管控平臺功能架構如圖2所示。

圖2 數據一體化管控平臺功能架構

2 數據管控平臺功能

2.1 資源臺賬管理

省級電網企業數據資源按類別劃分為數據臺賬、接口臺賬、指標臺賬和應用臺賬四類。數據臺賬主要指系統的運行態數據字典和設計態數據模型；接口臺賬主要指系統間數據交互的映射關系及接口任務執行的情況信息，例如數據倉儲技術（extract transform load，ETL）、OGG等；指標臺賬指由數據形成的指標信息；應用臺賬指基于數據建立的分析應用。資源臺賬信息是一個公司賴以生存和發展的數據基礎，相關關系如圖3所示。

圖3 數據一體化管控平臺資源臺賬管理

2.1.1 數據臺賬管理

在數據一體化管理平臺里，形成所有納管系統的信息全集。數據管控人員構建資源目錄管理樹形結構，按域進行系統的分級分類展示，葉子節點對應具體的應用系統，涵蓋系統信息、數據源信息、運行態及設計態模型、映射關系、模型匹配和變更監測。該系統下所有信息及相關干系人能夠快速定位，有利于對業務系統全方位管控分析。

當系統的基本信息維護完畢后，后臺的消息通知機制會自動通知對應系統運維人員進行相關數據源的維護。通過字典篩選和采集操作獲取該系統的運行態模型，支持ORACLE，Mysql，DB2等關系型數據庫和大數據平臺(HDFS/HBase/HIVE)的配置和采集，形成省級電網數據資源全納管。

通過數據源關聯，可納管業務系統的運行態模型，按模型版本查看物理表的詳細情況、字段信息、版本變更信息、表的“血緣”關系以及表樣本數據。后續也可增加該表的脫敏規則、數據質量規則和數據標簽等擴展信息。針對源端業務系統中信息缺失的情況，手動維護表或字段的中文描述和注釋信息，不影響采集版本且便于他人理解和應用。當系統進行檢修操作時，記錄各版本間模型表的變更情況，做到檢修可追溯。

業務系統在前期設計時的邏輯模型，稱之為設計態模型。系統廠商向數據管控人員提交設計態模型的EA文件和XML文件，導入后可查看明細，進行版本比對和差異分析。單純的設計態模型無法體現價值，但對于校驗生產環境的運行態模型能夠起到積極作用，可以有效協助各類人員理解數據及應用構建。

2.1.2 接口臺賬管理

數據在不同業務系統、數據中心之間流轉，流轉的路線和接口信息是數據全生命周期的重要組成部分。平臺基于接口臺賬可以自動構建數據鏈路，有效監測數據流轉狀態，發現并解決各類流轉故障。同時，還可以對數據的上下游進行影響性分析，進一步指導數據建設及運維工作。

通過獲取數據采集工具的配置和日志等信息，實現實時同步類、離線數據類、大數據平臺、web服務等接口工具映射關系和運行狀態解析。按接口類型目錄形成接口臺賬信息，為構建數據流轉鏈路提供基礎支撐。在建立完數據鏈路接口臺賬后自動進行關聯匹配，支持由表級下鉆到字段級查看映射關系，方便日常巡檢，如圖4所示。

圖4 數據一體化管控平臺數據接口管理

2.1.3 指標及應用臺賬管理

其次，由于高中實驗難度較大，對學生的理論知識、實驗技能有較高的要求，學生獨立操作無法有效完成實驗。在這種情況下，教師可以采取分組實驗的方法，讓學生以小組為單位進行實驗任務的分配，充分調動小組內每位成員的積極性，保證實驗人員配置的最優化，集思廣益，取長補短，從而提高化學實驗的操作效率，培養學生的合作意識。

萬維網的創始人Tim Berners-Lee說過，數據才是珍貴的，它會比應用走得更遠。在各大新技術迅猛發展的今天，數據才是核心競爭力。因此，需轉變思維，從簡單記錄到數據分析、預測，將數據轉換為業務，從目標驅動到業務驅動。運用指標分析，對企業評估經營績效、制定戰略決策意義重大。數據一體化管控平臺將企業經營管理指標進行統一納管，維護指標基礎配置、指標維度、溯源關系等信息，自動生成指標溯源分析及指標影響分析。實現指標異常監測跟蹤，全面支撐指標管控。同時，基于數據中心現有數據資源公司積極開展各類應用構建，包括可視化分析場景及數據報表等形式，統一維護管理應用場景可以實現對應用運行監測，保障應用正常運行；通過共享應用構建思路，為構建其他應用提供借鑒，促進分析應用的“百花齊放”。

圖5展示的是應用溯源關系，通過對應用和指標的下鉆，逐層構建出應用和指標的完整視圖。每層間自動關聯溯源鏈路，清晰反映應用和指標的構建原理。同時實時監測指標和應用鏈路的運行情況，確保關聯的應用和指標的數據質量。另外，還可大大簡化運維操作流程，有的放矢提升運維效率。

圖5 數據一體化管控平臺應用和指標

2.2 數據運維管理

夯實底層基礎臺賬后，需實現對模型、接口運行情況、數據質量等監測分析。通過發起在線工作流程，實現問題閉環處理，支撐運維工作開展。數據運維管理主要包含模型變更監測、模型符合度分析、運行態模型主題分析、業務異動數據監測、數據流程管理等。

2.2.1 模型變更管理

省級電網公司按域建立業務系統，滿足現代信息化建設的各類需求。如若所有系統單獨管控，數據沒有建立閉環管理機制，對于后期數據分析及應用十分不利。當業務系統每一次發生檢修時，都會對運行態模型產生影響。數據一體化管控平臺對納管系統模型進行周期性監測，當發現模型變化時，生成報告通知系統干系人。自動分析模型變化影響范圍，提供受影響鏈路的跟蹤視圖，輔助相關人員及時處理變更帶來的影響并阻止問題蔓延。

平臺支持定期出具相關系統的變更統計及分析，通過檢修頻率、模型變更情況、檢修內容符合度等信息對相關系統做更深層次的分析應用，輔助運維人員及管控人員更好地進行全生命周期管理。

2.2.2 運行態和設計態模型匹配

2.2.3 鏈路監測和出錯處理

可視化由接口臺賬實時構建的數據流轉鏈路視圖實現，充分展示系統間的數據流轉關系。通過不同顏色表示鏈路運行狀態，故障信息標識紅色。同時通過系統信息發送給干系人，推送具體告警信息。運維人員下鉆查看具體接口詳情和字段級鏈路視圖，輔助進行溯源和故障影響分析。

2.2.4 數據質量管理

遵循企業架構設計中對數據架構設計方面相關要求，形成企業級整體數據架構設計。實現模型和數據的統一管理，消除數據冗余，避免數據“多處維護”，進行數據有效性、完整性、一致性、準確性和唯一性等方面驗證[6]。數據一體化管控平臺內以自定義校驗場景的方式提供數據質量校驗功能，支持校驗對象和校驗規則自定義的靈活選擇，支撐數據質量檢測的常態化開展，有效保障數據價值的充分發揮。

2.3 數據服務管理

在數據資源管理和運維[7]的基礎上，數據一體化管控平臺通過提供對外資源門戶和統一資源檢索服務，結合線上管理流程，最大程度向業務人員開放及使用數據服務。

2.3.1 資源門戶

針對差異化客戶畫像，提供不同的系統首頁展示角色相關的數據概覽和關鍵指標。對于數據運營角色，展示業務數據主題分布情況和數據質量校驗相關指標；對于系統運維角色，展示系統變更和故障相關指標。用戶可通過資源門戶快速獲得數據資源的全局信息視圖及報表分析。

2.3.2 統一資源檢索

為了高效、便捷利用公司所擁有的數據表、模型、接口等數據資源，打破數據共享壁壘，數據一體化管控平臺對納管的所有資源臺賬信息建立查詢索引，為使用人員提供類似百度搜索的檢索服務。通過構建資源類型、主題域等不同維度的多層級目錄，方便用戶在已知資源類別信息的前提下精確層級查找。

進入資源詳情展示頁面，分類別展示字典信息、關聯關系、映射關系、鏈路信息等，方便用戶全面了解掌握資源情況，支撐數據應用人員開展快速檢索、自助獲取和可視化分析。

2.3.3 數據管理流程線上化

為了保障信息數據安全，省級電網公司數據中心對數據權限有嚴格的管理制度，以優化數據共享和使用流程。建立數據共享負面清單管理機制，根據負面數據的范圍，依托數據管理平臺，落實負面清單。

以往業務部門有數據需求時，需要進行流程的線下審批。由需求業務部門與項目組溝通，梳理需求清單。通過與數據提供業務部門進行溝通，核實已有數據的表結構，并向互聯網部提出數據接入需求。數據接入需求至信通公司后，按要求進行數據接入。由數據需求部門提出轉換邏輯，進行貼源層、明細層、匯總層最終至集市層的結果展示。線下紙質流程的申請、確認、審批涉及復雜繁瑣的流程。之后的流程審批工作都可以集成至平臺流程管理模塊進行線上操作，如數據接入申請、模型變更申請、數據停用申請、數據權限申請等，由業務部門線上審核共享的數據表及有效時限。從而極大地縮短了流程時間，實現閉環管理，提升服務水平。

數據線上管理流程如圖6所示。

3 數據全面管控應用與成效

數據一體化管控平臺作為有效展示窗口，高效對外提供數據中心的數據及服務。通過資源全景展示[8]與報表分析，實現全業務統一數據中心資源臺賬統計、流轉鏈路監控、數據接入統計、數據中心資源統計、資源變更統計、應用場景統計等可視化展示，建立數據中心數據資源的全局信息視圖。通過有效管控數據模型動態更新，對數據模型進行周期性監測。生成報告通知系統干系人，通過數據“血緣”自動分析影響范圍，提供受影響鏈路的可視化跟蹤視圖，輔助相關人員及時處理。從業務視角理清模型的持續變更及數據的上下游關系，更好地夯實數據質量，支撐各類應用有效分析展示。

數據管控體系重點著眼于對外服務，實現數據價值的有效落地。該體系除了提供數據資源目錄檢索服務外，還提供數據資源申請的在線流程管控服務，由申請方在線描述數據資源需求、在線選擇數據資源集合、流程化處理數據資源申請相關服務，對各部門所擁有數據資源權限進行納管。此外，對外提供元數據服務，以接口方式實現第三方分析工具數據資源查詢及分析入口，充分挖掘數據價值。以業務為核心，促進公司分析應用的高效構建。

4 結束語

為增強數據資產管理，江蘇公司結合全業務統一數據中心建設成果，推進省級電網企業數據全面管控探索與應用，研究數據管理的方法和支撐工具。針對不同類型的數據用戶，通過夯實數據資源臺賬、提升運維管理能力、優化資源應用服務，圍繞公司數據資源“管控全覆蓋、監測全方位、流程全自動、服務全支撐”的“四全”目標，全面實現公司數據資產精益化管理。充分運用領域知識及數據思維，重視與用戶間交互及長遠需求，運用數據驅動公司運營發展。