基于分布式文件系統電力大數據存儲實現

陳行濱　王周　鄭飄飄　林德威　劉青

摘要：基于Hadoop存儲架構設計了電網非結構化數據管理平臺，主要包括存儲分析與搜索讀取2大模塊，整合HDFS、Hbase等存儲設備，利用HDFS實現海量數據的快速讀寫，采用基于ZooKeeper及Solr搭建的開源分布式搜索引擎SolrCloud實現數據檢索，提供了高效便捷的智能化管理手段。

關鍵詞：電網管理;Hadoop存儲;分布式;數據檢索

中圖分類號：TP311.13

文獻標識碼：B文章編號：1001-5922（2022）06-0172-04

Realization of power big data storage based on distributed file system

CHEN Xingbin WANG Zhou ZHENG Piaopiao LIN Dewei LIU Qing

（1. State Grid Fujian Electric Power Co.， Ltd.， Fuzhou 350000， China; 2. Information and Telecommunication Branch， State Grid Fujian Electric Power Co.， Ltd.， Fuzhou 350000， China; 3. State grid Xintong Yili Technology Co.， Ltd.， Fuzhou 350000， China

）

Abstract：This paper designs an unstructured data management platform for power grids based on the Hadoop storage architecture. It mainly includes two modules： storage analysis and search and reading. It integrates storage devices such as HDFS and Hbase. It uses HDFS to achieve rapid reading and writing of massive data and adopts an open-source distributed search engine SolrCloud built by ZooKeeper and Solr to implement data retrieval， providing an effective and convenient method for smart management.

Key words：power grid management; Hadoop storage; distributed; data retrieval

電力行業的非結構化數據存儲的內容包括圖像、視頻、報表、網頁等不同格式，其中70%以上源自人與人之間的協作，可以說是以人為中心產生的數據。其中蘊含著各類經驗與操作方法，是很珍貴的數據資產，如何將所有的非結構化信息加以管理是衡量企業信息化水平以及數據充分利用率的關鍵指標。

1電網非結構化數據管理

1.1電網非結構化數據管理現狀

電網非結構化數據的管理包括存儲、管理以及檢索。由于電力行業數據增長非常快，大部分企業是采用BLOB字段進行存儲，這種方式訪問速度快、維護也比較簡單;但是隨著海量數據的增長，系統性能跟不上，數據共享也存在問題。因此，要實現電網非結構化數據的管理，必須考慮海量數據的存儲方式、安全措施、備份辦法以及檢索機制。

1.2電網非結構化數據管理

（1）提升業務運行效率，實現數字資產管理：將非結構化數據文檔的標準化、規范化統一管理;

（2）降低開發成本，發揮整合效應：在物理存儲層面通過統一存儲使各業務系統不用單獨購買存儲設備，降低實施成本;

（3）體現深度價值，助力智能決策：不僅實現非結構化數據的管理，還可以實現對數據深度挖掘與分析;而統一存儲、統一管理是實現深度利用的前提[1-2]。

2管理需求分析

2.1業務需求概述

電網非結構化數據管理平臺需要負責數據采集、存儲、綜合管理、發布、查閱等功能，具體描述如下：

（1）存儲統一需求：電力企業各部門擁有多個業務應用系統，不同的數據庫、不同的服務器，為提高利用率需要進行統籌管理，整合存儲資源，優化系統配置;

（2）集中管理需求：遵循全局訪問標準，以統一的方式標準實現訪問與交互，提高集約化水平;

（3）數據分析需求：對基礎數據進行再加工，分析數據之間的關聯性，提供檢索以及決策支持。

2.2關鍵業務流程

2.2.1存儲流程

用戶需要進行非結構化數據存儲時，首先要通過客戶端選擇需要處理的文件，封裝為“上傳請求”發送至數據服務層，接收到請求后根據服務器狀態判斷是否將參數信息轉發服務器代理;在負載均衡的基礎上，對文件進行分片及分布處理之后形成決策結果發送至數據訪問層。數據訪問層結合自身需上傳文件與決策信息對文件進行再次處理形成文件片;封裝后傳輸至數據存儲層，返回結果信息，完成存儲流程。

2.2.2[STBZ]讀取流程

主服務器根據數據訪問層下載的命令分析請求消息后，將各項參數傳遞給服務器代理，代理會通過分析元數據來對文件位置進行定位;數據訪問層將其發給數據服務層，最終合并還原為完整的文件，完成讀取流程[3-4]。

2.3安全要求

（1）數據庫安全：采用目前通用的大型關系型數據庫，雙擊備份，出現異常可自動切換;采用先進的軟硬件技術、模塊化的程序結構，制定備份與恢復機制，提升容災性;038469DC-DEA8-4810-A22F-9D82C38F3B98

（2）網絡安全：支持多種網絡協議、維持原有網絡架構、基于網絡拓撲進行系統功能模塊開發，提高網絡安全防護，采用權威認證的安全產品;

（3）應用安全：系統需具備高安全性，利用現有數據及組件支持多用戶訪問，具有異常事故處理能力，確保系統穩定運行。

2.4[STBZ]性能要求

系統在使用性能方面，需要至少滿足300用戶并發訪問、確保存儲數據量每年120 TB、頁面響應速度小于2 s、確保可7×24 h連續工作，出現故障恢復時間不超出1 h。

2.5設計原則

（1）實用性：架構設計需充分考慮實用性，方便管理與掌握;

（2）標準化：提升系統擴展性，也為數據共享提供便利;

（3）可靠性：通過用戶認證、權限管控、數據加密等多種方式確保系統安全、數據安全;

（4）可擴展：避免重復開發，確保各個功能模塊的延展性，適應發展規劃[5]。

3涉及的主要技術

3.1Hadoop存儲

本文設計的管理平臺利用Hadoop實現數據存儲，基于HDFS進行搭建。Hadoop平臺有很多分布式的數據庫服務器采用集群方式進行部署，Hadoop由HDFS、MapReduce、Hbase、Hive以及ZooKeeper構成。

（1）HDFS：分布式文件存儲系統，將文件隨機存儲在不同空間，可以大幅提高存儲空間的利用率，適合用于數據備份;

（2）MapReduce：分布式處理模型，可以建立快速檢索索引，解決并發計算問題;

（3）Hbase：基于HDFS開發的面向列的分布式數據庫，將水平表劃分為多個區域，用歸屬表、起始行以及結尾行進行標識;每個分區都是最小的數據存儲單元。

3.2Lucene檢索

Lucene是一項開源檢索技術，通過嵌入系統中進行全文檢索，支持通用的API擴展接口，小批量緩沖式讀取結果集，支持高負載模糊查詢;對加快搜索效率有極大幫助[6]。

3.3SolrCloud分布式搜索

SolrCloud是基于ZooKeeper和Solr的分布式搜索方案，也可以說是Solr基于ZooKeeper的部署方式，具有集中配置、自動容錯、近實時搜索、自動負載均衡、自動分發索引及索引分片的優點;對電網系統主要大規模，需要容錯的分布式索引來說再合適不過。

4總體設計

4.1總體架構

為適應電網非結構化數據日益增長的趨勢，并滿足兩級部署多級應用，本文設計平臺總體結構如圖1所示。

由圖1可以看出，系統總體架構包括：分布式計算、智能分析引擎、應用平臺3部分內容。分布式計算主要包括CIFS、NFS、SCP等通用協議、數據適配及存儲監控管理以及數據復制、數據備份等系統可用性部分;智能分析引擎主要包括實體提取、自動采集、分類、智能分析等;應用平臺主要包括云存儲、云分析以及平臺運營管理。

4.2技術架構

本平臺的技術結構主要采用全虛擬文件服務器、支持各類標準協議、支持存儲控制、增長預測等功能，支持數據分層存儲、自動去重以及數據備份。

（1）分布式計算：將繁雜、計算量大的問題細分，分散進行運算，提高并行計算能力及速率，最終再進行整合;

（2）分布式存儲：分布式存儲可以將分散存儲空間進行整合，完成存儲服務。

4.3系統模塊

將電網非結構化數據管理平臺劃分為存儲和檢索2個子模塊，存儲模塊實現數據采集、存儲、分析與備份。檢索模塊支持索引構建、智能識別、數據搜索[7]。系統功能模塊組成，具體如圖2所示。

5系統詳細設計

5.1存儲分析模塊

5.1.1[STBZ]存儲對象

電網企業的非結構化數據主要包括：網頁、圖片、視頻、文檔等，這些均可以作為元數據采用feature+xmlBlob模式存儲，將常用特征存儲在feature中，語義信息存儲在xmlBlob中。

（1）網頁：包括類別、內容、標題、關鍵詞等屬性;

（2）視頻：包括字母、所在網址、節目名稱、標題、關鍵詞、上傳者、鏡頭信息等屬性;

（3）圖片：包括圖片的標題、來源、相關描述等屬性。

5.1.2模塊功能

本文選用Hadoop作為數據存儲，建立數據節點，降低成本，并給數字資源提供通用接口，整合HDFS、Hbase、XmlDB等存儲設施。其中HDFS作為分布式計算的核心可以支持海量數據的快速讀寫。系統功能如圖3所示。

5.1.3[STBZ]功能結構

（1）數據采集：采用開放上傳接口方式被動采集數據，采用二進制流進行傳輸，支持壓縮打包、支持分類解碼存儲;

（2）數據存儲：文件備注上傳業務平臺標識，生產文件信息數據存儲到Hbase中;

（3）數據分析：分析數據量、數據高峰周期，進而適當調整存儲策略。

5.2搜索讀取模塊

5.2.1技術方案

非結構化數據的搜索與傳統搜索有很大區別，一般是對標題、具體內容或文字描述進行檢索。SolrCloud是基于ZooKeeper及Solr搭建的開源分布式搜索引擎，具有很好的擴展性，通過配置就可以完成環境部署，是非結構化數據檢索的最優選擇。

5.2.1架構設計

本文設計的搜索模塊通過統一接口進行文件上傳，形成索引;借助SolrCloud引擎實現搜索功能，應用架構如圖4所示。

5.2.3功能結構

（1）索引搭建：利用Solr索引機制，提供標準HTTP接口，使每天數據在管理平臺中生產目錄項，提高搜索效率;

（2）智能識別：利用Lucene、ICR等技術識別隱藏信息;

（3）數據搜索：提供對外接口，支持輸入關鍵字搜索。

6結語

本文采用Hadoop框架的分布式文件系統HDFS及Hbase實現數據存儲，SolrCloud實現數據搜索，實現了電網非結構化數據的集中存儲與實時管理，為相關人員提供了高效便捷的智能化管理手段。但在檢索算法、安全產品選型、業務流程優化等方面還需進一步提高與改進，在結合日常運營情況提供智能分析解決方案方面還需進一步探索研究。

【參考文獻】

[1]付婷，蔡宇翔，李宏發，等.智能電網中非結構化數據可視化技術研究[J].電網與清潔能源，2019（1）：44-48.

[2]馮國平，古明生，吉小恒.電網非結構化數據管理平臺研究與實現[J].南方能源建設，2015（S1）：222-225.

[3]張福錚，黃文琦，趙繼光，等.基于Hadoop的電網非結構化數據智能分析云平臺[J].信息技術與信息化，2020（5）：222-225.

[4]馮宇.非結構化數據管理平臺研究與建設[J].電力信息化，2012（2）：69-72.

[5]高明，陸宏治，梁雪青.電力系統非結構化數據處理方法研究[J].現代信息科技，2019（17）：9-11.

[6]崔立真，史玉良，劉磊，等.面向智能電網的電力大數據存儲與分析應用[J].大數據，2017（6）：42-54.

[7]謝光.數據庫大數據量存儲結構的探索[J].通訊世界，2017（11）：29-30.038469DC-DEA8-4810-A22F-9D82C38F3B98