電力大數據高速存儲和檢索關鍵技術淺談

國電南瑞科技股份有限公司 王 均

近年“智能電網”與“能源互聯網”成為電力營銷企業發展的關鍵詞，如何更好發揮多種現代化技術優勢，將能源與信息網絡緊密銜接，加強電力市場有限信息的多重交互與多方參與，構建大數據管理與應用系統，是進一步推進電力營銷企業現代化發展的主要方向。在實際過程中，電力營銷企業考慮“智能電網”對企業市場變化敏感性要求，考慮“能源互聯網”對企業數據變化與內在規律的掌控要求，積極引入大數據、物聯網給技術，加強對高速儲存系統的構建，大量存儲電力系統運行數據，同時運用檢索關鍵技術精準、實時、有效獲取多元化數據資料，為進一步展開電力營銷提供依據[1]。

1 電力大數據發展背景

1.1 電力大數據已有發展成果

2019年國家電網公司明確提出“三型兩網、世界一流”的能源互聯網戰略目標，提出電網狀態全息感知、運營數據全面連接、業務全程在線的階段性戰略目標。為積極響應上級單位戰略思想，鷹潭供電公司通過多次研發提出了在110千伏月云線鐵塔避雷器安裝在線監測裝置的工作理念且已付諸實踐。在裝置安裝中利用窄帶物聯網技術對鐵塔避雷器進行實時在線檢索，目前已對該線路上安裝了數百臺在線監測裝置。

2019年5月22日國網江西省電力分公司召開電力物聯網啟動會，建設電力物聯網綜合示范區，這一舉動推進了電力與物聯網技術之間的融合，開啟了電力大數據之路[2]。如今該地區已實現了HPLC智能電表改造目標，構建電力數據管理系統，全面獲取地區電網運行數據，以數據分析與數據挖掘技術展開同期線損管理、多維度精益管理等，大大提升了電力企業營銷管理水平，將物聯網、云計算技術、大數據技術等多種技術融入電力營銷中，積極開發業務統一的數據中心平臺，致力于開發系統高級應用功能。

1.2 電力大數據發展背景

電力大數據是實現能源互聯網、智能電網建設的主要手段之一，也是目前為止電力企業開發電力營銷數據系統的重要核心。2021年3月國家電網提出《泛在電力物聯網建設大綱》，發布相應建設方案，將推進泛在電力物聯網與電力電網融合作為主要工作目標，致力于打造能源互聯網生態圈。在2021年上半年泛在電力物聯網建設取得顯著成效，各地區電力企業將營配貫通試點停電信息系統、配網故障研判技術等投入電力營銷工作中，同期線損治理取得顯著成果，具體體現為：負損線路已消除9349條；負損臺區已消除9.3萬個。

可以看出，泛在電力物聯網是進一步深化電力大數據的主要方向，其對于發掘電力大數據價值具有重要作用，且對于我國電力行業的發展具有較強的經濟效益價值。基于此，如何把握“泛在”構建技術，積極引入大數據技術，構建基于電力系統運行的數據高速儲存模式，提高電力數據檢索高效性，是充分滿足電力企業營銷管理需求，推進電力營銷現代化的主要手段。

2 新時期背景下電力大數據高速存儲模式構建路徑

根據上述對電力大數據系統發展背景分析，泛在電力物聯網的本質，是借助物聯網、大數據技術搭建具有高速、高效特征的電力數據儲存與檢索模式，發掘數據價值，為電力營銷中的線損管理、業務工作、電力市場分析等提供精準依據。因此，本次可分別從高速儲存模式構建與關鍵檢索技術運用兩個方面入手，搭建電力大數據高速儲存模式，廣泛獲取電力系統運行多元化、多維度數據。

2.1 數據采集與儲存

根據“10千伏月云線在線監測”可看出，搭建業務驅動的數據環境、獲取不同形態的業務數據，是進一步開展電力大數據的主要趨勢；如何進行數據采集、數據傳輸與數據高速儲存是其中關鍵技術。電力大數據系統的數據采集模塊，不僅要滿足海量數據采集與傳輸需求，還需能夠應對集成內容、多維度的動態信息管理工作。在安裝大量線路監測系統、引入移動終端后，大量數據具有明顯的時空特點，這也增加了數據采集的復雜性。因此工作人員要加強對數據采集技術體系的研究，同時加深對數據標準、數據規范的研究，在多維尺度數據環境下設計明確采集與管理標準[3]。

在實際過程中，基于電力大數據系統構建數據采集與儲存模塊，可針對電力數據來源范圍、傳輸特點等進行規劃，從“多源多態”角度入手，設計不同來源數據分類與傳輸渠道；根據不同形態的電力系統運行數據設計采集標準，數據形態包括文字類數據、圖像類數據與視頻類數據。為更好應對網絡流量限制與通信延時問題引入數據壓縮技術，從而提升數據儲存效率，促使數據儲存模塊初步具有高效特征。引入Hadoop 框架，借助其中的分布式文件系統、HBase 數據庫搭建高效儲存數據庫，且提出高性能的實時數據庫、關鍵核心業務數據庫、基礎數據庫等，將大量的電力運行數據以半結構化、非結構化的方式進行儲存與處理。

2.2 基于儲存庫的數據分析

在構建數據庫后要分別引入數據分析技術與數據處理技術，具體過程如下。

數據分析技術的應用。數據分析是在數據采集、儲存之后的工作環節，也是開發數據內在價值的關鍵步驟，是電力企業利用電力數據展開營銷管理、線損管理的重要手段。利用大數據技術展開數據分析，能夠從電力數據中心獲取有價值的信息構建潛在模態，發現隱藏的電力市場發展規律，甚至能發現電力市場與電力環境因素間的關系。展開基于高速儲存的數據分析，需借助具有強大運算能力的云計算技術對海量數據展開并行運算，使用各種算法深入探索電力數據內部價值[4]。

數據處理技術的應用。數據處理技術的基礎條件為離線處理、實時計算、計算機學習、多維度分析、全文檢索等。結合目前的電力大數據——數據梳理模塊，可發現其中包括分布式計算、內存計算與流式計算，這三種計算方法分別滿足大規模計算需求、高效數據處理需求、實時到達的隨機業務數據梳理需求等。

因此，構建基于高速儲存的數據分析與處理模塊，以數據分析構建數據模特，借助可視化形式呈現電力數據規律；同時靈活利用三種計算技術并行完成針對三種不同數據的處理工作，以此實現“高效”目標。

2.3 架構整合實現高效儲存目標

基于大數據采集、儲存、分析與處理環節后，要進一步引入大數據架構整合技術，全面銜接大數據技術各個環節，構建集成了數據采集、數據處理、數據儲存、數據檢索的高效高速儲存框架，為電力大數據的融合應用與精準檢索提供保障。能源互聯網背景下，針對海量數據的大規模并行處理技術大大提升了電力企業系統的業務能力，且泛在電力物聯網的提出再一次推動了電力大數據系統的發展，促使其在以數據價值支持業務方面有質的飛躍[5]。

在架構整合過程中要分別搭建業務中臺、大數據中臺、AI 中臺，明確不同中臺的運行能力，如大數據中臺運行功能包括數據中臺管理、大數據技術（分析算法模型、分布式計算、批量處理、流處理、數據顯示）、數據中臺建設（數據標準、數據規范、數據模型），之后要加強底層建設，以云計算為框架基礎，針對多維度、多源數據展開不同的計算方法，從而優化底層建設，形成具有豐富功能、內部邏輯、高速儲存特性的電力大數據融合架構（圖1）。

圖1 融合架構

3 電力大數據儲存模式的檢索關鍵技術應用路徑

構建電力大數據高速儲存模式是實現“泛在電力物聯網”的基礎工作，在此之后要重點展開檢索關鍵技術的應用，明確現階段電力大數據系統的檢索需求，構建數據檢索平臺，引入針對多維度數據的檢索技術，如單純文字檢索技術、圖像檢索技術與視頻檢索技術，靈活應對多元化的電力監測數據，為之后開展電力營銷管理提供更豐富、真實與準確的依據，充分體現泛在電力物聯網特色。

3.1 明確檢索需求

根據國家電網提出的電網狀態全息感知、運營數據全面連接、業務全程在線戰略目標及泛在電力物聯網建設思路，要分析目前電力大數據系統的運行內外環境需求，明確內部檢索需求為能夠獲取多源多維數據、具有精準檢索功能、能夠滿足內部電力營銷、電力線損管理、市場發展分析等；外部檢索需求為：具有“全息性”，能實時獲取電力系統運行的文字數據、圖像數據與視頻數據，具有多維數據檢索功能；檢索作業能滿足運營數據分析、營銷分析需求；檢索作業能滿足業務需求；能為線損消除與治理提供依據。檢索環節，考慮電力大數據系統中的原始視頻、待檢圖片、待檢數據資料，優化設計具有密集性質的計算模塊，配置相應的高精度計算機，滿足后期系統運行日常檢索的并行檢索、檢索同步數據分析需求，保證在數據量不斷增加的同時兼顧檢索效率[6]。

3.2 構建檢索系統框架

基于電力大數據的高速數據儲存之上運用關鍵檢索技術，需優化設計檢索系統框架，明確數據檢索流程與規范，這樣才能提升系統整體運行水平；在系統中數據是極為寶貴的資源，采用何種方式連接數據儲存模塊、如何更好構建網絡結構是這一環節重點。在檢索系統框架搭建環節要考慮分布式計算、提取數據過程中各網絡節點間的數據傳輸量是巨大的，這對網絡寬帶具有較高的要求。可引入Hadoop 集群技術，通過集群間數據傳輸的方式實現數據傳輸目標，充分發揮局域網絡組的安全性、抗干擾性、傳輸效率較高的優勢，有效提升各網點、設備之間的數據傳輸效率。本次系統框架設計中，首先選擇了多源多維儲存的方法發揮多種儲存技術優勢，之后基于此種多源多維架構引入不同的檢索技術，搭建以Hadoop 技術為主的分布式檢索架構。

在完成基礎框架搭建后，要分別設計視頻檢索部分、圖像檢索部分、基礎數據檢索部分、檢索結果展示部分；可先將海量數據儲存在高速儲存庫中，之后對高速儲存庫中的數據進行預處理，將其按照一定標準、維度與數據源分割成不同的數據類型，將基礎數據（非圖像視頻）按照時間節點劃分，將視頻數據切割形成一個個鏡頭形成圖像數據。之后利用計算模型搭建模態模型，利用LIRE 框架提取數據特征進行索引；若用戶在系統客戶端輸入相應的圖像、視頻元素、數據關鍵字詞時，系統能夠對用戶提交的信息提取特征給你，之后對比分析索引庫中的數據特征，將檢索結果呈現給用戶。

3.3 搭建多維度檢索平臺

多維度檢索平臺的構建是為應對現代社會電力系統運行過程中所產生的多維多源數據，“多維”指多維尺度的數據，包括圖像數據、基礎數據與視頻數據，為提升電力大數據系統的檢索高效性，滿足其不同的檢索需求與業務需求，在檢索與高速儲存模塊進行優化調整形成多維檢索平臺。結合上述檢索方式，借助掃描、特征提取的方式構建索引庫，這種方式改變了以往全盤掃描的方法，有效節省大量CPU 資源且提高了檢索效率。

借助GeidFile 文件設計多維度檢索平臺，引入分布式哈西表，設計多維檢索平臺運行框架為拓展命令行—擴展解析器—索引創建器—索引數據檢索器—Hadoop 計算構架—HDFS 文件系統—索引元數據管理模塊—分布式哈希表呈現。考慮到數據檢索精準定位需求，采用拓展命令與拓展解析器的方法輔助識別檢索命令，實現對數據的快速精準定位；之后將數據傳輸到Hadoop 模塊進行計算，形成檢索記錄、生成檢索記錄表，為之后的檢索提供元數據[7]。

3.4 靈活運用多種檢索技術

多維檢索平臺中，運用關鍵檢索技術可在完成上述基礎數據檢索后引入視頻檢索技術與圖像檢索技術。其中視頻檢索技術的應用可選擇關鍵幀提取技術，就是根據電力系統運行視頻數據，在一個鏡頭內確定關鍵幀數目，通過給定、動態良好總方式提取視頻的鏡頭關鍵幀。在提取過程中需遵循保證關鍵幀的準確性，對視頻中的運動物體、攝像雙色板運動、圖像底層特征底層不同角度進行提取。圖像檢索技術的應用可選擇Lire 圖像檢索技術，這是一種針對圖像的索引庫，能通過顏色柱狀圖、自動色彩分布、多媒體內容描述工具、視覺關鍵詞等不同的方法進行索引，促使獲得所需圖像（圖2）。

圖2 Lire 圖像檢索技術

3.5 完善索引與搜索機制

在完成上述內容后要進一步完善電力大數據的索引與搜索機制，以此滿足后期的使用需求。檢索技術的應用是基于電力大數據高速數據儲存的基礎上，從海量數據庫中提取關鍵數據、視頻關鍵幀、圖像關鍵特征等對數據進行進行對比索引；關鍵幀提取、Lire 等多種檢索技術的應用是讓用戶能通過不同的檢索方法構建索引，提升索引系統操作流暢性與便利性，進一步滿足對電力系統數據檢索的需求，為展開線損管理、業務管理、市場分析等提供精準、實時、有效的數據資料。

綜上，能源互聯網背景下，電力市場呈現出能源流、信息流、業務流的高度融合數據特點，此時引入大數據、物聯網與云計算等技術，對技術進行綜合運用，搭建電力大數據高速儲存系統，能進一步推動電力企業營銷模式的轉型升級，促使其營銷管理重心從市場管理轉變為數據管理，實現了數據內容向生產資料轉變。在今后的電力大數據系統構建中，要以大流量、多為尺度數據形態為基準，通過數據采集、儲存、數據分析、建設架構等方式，構建能滿足廣域數據的數據儲存與檢索提取模式；之后要明確檢索需求，搭建檢索平臺，引入文字、視頻、圖像等多維度數據檢索技術，優化檢索機制，為電力企業的營銷發展提供新的支持。