MongoDB索引的用電信息非結構化數據存儲方法

徐英輝，祝恩國，趙 睿，楊 挺

（1.中國電力科學研究院，北京 100192；2.天津大學智能電網教育部重點實驗室，天津 300072）

MongoDB索引的用電信息非結構化數據存儲方法

徐英輝1，祝恩國1，趙 睿2，楊 挺2

（1.中國電力科學研究院，北京 100192；2.天津大學智能電網教育部重點實驗室，天津 300072）

隨著用電信息采集系統的健全，雙向互動化功能的需求增加，系統所承載的用電信息由最初的規整結構化數據演變成結構化數據和多類型非結構化數據的混雜，且數據量也日益聚增。本文對用電信息采集系統的非結構化數據組成進行了梳理，從數據源角度出發，按照客戶用電信息數據和客戶數據兩大類別，分別對用電信息采集系統涉及的A、B、C、D、E 5類用戶進行了非結構化數據特征分析。本文提出采用MongoDB索引Hadoop分布式文件系統的新型用電信息采集系統非結構化數據存儲方法，實現對系統中混雜非結構化數據的分類存儲和準確實時讀寫，為雙向互動化功能提供了良好底層泛在數據支撐。

非結構化數據；用電信息數據；Hadoop分布式文件系統；MongoDB

Abstract:With the improvement of electricity information acquisition system and the increase of two-way interactive de?mand，the electricity information develops from structured data into a mix of structured and unstructured data with an in?creasing data volume.In this paper，the unstructured data in electricity information acquisition system are studied.From the viewpoint of data source，the data can be classified into electricity consumption data and customer data.The charac?teristics of unstructured data of five user types（A，B，C，D and E）are analyzed with respect to the classification.By us?ing MongoDB to index the Hadoop distributed file system（HDFS），a new unstructured data storage method is proposed，which achieves classified storage as well as accurate reading and writing for the mixed unstructured data of the electrici?ty information acquisition system.The proposed method can provide basic support for the two-way interactive functions satisfactorily.

Key words:unstructured data；electricity information data；Hadoop distributed file system（HDFS）；MongoDB

隨著電網智能化程度的增加，以及用電信息采集系統雙向互動化業務的開展，由采集終端獲取的數據迅速增長，并且數據范圍不僅局限于用電度數、電價信息、用戶繳費信息、客戶資料等傳統的用電信息數據和客戶數據，還包括實時用電信息、異常故障報警信息、設備監控視頻等，以及地理位置信息、天氣交通數據、電動汽車數據等，其數據將趨向復雜、實時性、互動性的方向發展[1-2]。然而當前實際營運的國-網-省-市-縣等用電信息采集系統平臺，僅對電力營銷核心業務需要的電力用戶計費計量的數據進行在線采集、分析和應用，還未涉及更多樣化的客戶文本、圖像、視頻和網頁等非結構化數據信息。然而構建供用電雙方的互動信息系統[3]必須對這些非結構化數據進行存儲技術研究，以此為互動化功能的應用開發提供底層支撐。

國外對于用電信息采集系統研究并不深入，系統實現的功能主要包括遠程管理和抄表，目前還較少涉及用電信息采集系統非結構化數據的存儲。但是在計算機、通信等領域對于非結構化數據存儲方法的研究較為充分，例如Hadoop分布式文件系統HDFS（Hadoop distributed file system）[4]和Mon?goDB[5]技術，可以加以借鑒。

此外，文獻[6]通過融合HDFS、HBase、MySQL等各類存儲設施，構建非結構化數據統一存儲管理平臺，為設計用電信息采集系統非結構化數據統一存儲平臺提供思路。文獻[7]以云存儲和可靠性理論為基礎，建立非結構化數據分布式存儲模型，為用電信息采集系統的數據存儲提供借鑒。文獻[8]提出利用Hadoop云平臺的改進方案，為解決智能電網海量存儲、系統負載不均、存儲效率下降等問題提供思路。文獻[9]使用MongoDB進行非結構化數據的增刪與查詢，在元數據處理時具有明顯優勢。

鑒于非結構化數據存儲技術對于用電信息采集系統雙向互動化功能實現的重要意義，本文詳細分析了用電信息數據和客戶數據的非結構化特征和存儲形式，并設計了MongoDB索引HDFS的用電信息采集系統非結構化數據分類存儲方法，實現用電信息的快速存儲、精確提取。

1 用電采集系統非結構化數據特征分析

用電信息采集系統是集現代數字通信技術、計算機技術、電能計量技術、電力營銷技術和電力負荷管理技術為一體的信息采集、分析處理和數據應用的平臺。通過對配電變壓器和終端用戶用電數據的采集和分析，實現用電監控、負荷管理、線損分析，達到自動抄表、錯峰用電、節約用電成本等目的，滿足客戶能源管理需求。

用電信息采集系統由主站、傳輸信道、采集終端以及智能電表組成，面向A、B、C、D、E 5類電力用戶采集，其非結構化用電信息數據形式包括文本、圖像、視頻和網頁數據，如表1所示。

表1 5類用戶非結構化用電信息數據形式Tab.1 Unstructured electricity consumption data form of five user types

系統除了對5類電力用戶的用電度數、電價信息、電能質量等用電信息數據進行采集，還涉及諸如客戶信息、客戶需求響應、國家政策等與用電客戶密切相關的客戶數據，這些客戶數據同樣以非結構化的形式存在。表2列出了客戶數據及其非結構化形式。

表2 5類用戶非結構化客戶數據形式Tab.2 Unstructured customer data form of five user types

用電信息采集系統采集到的非結構化用電信息數據和客戶數據具有種類繁多、數據量大，數據更新速度極快等特征。如何在現有的存儲硬件設備約束下構建快速、高效的非結構化數據存儲方案成為當務之急，直接決定用電信息采集系統的性能。

2 用電采集系統非結構化數據存儲架構

結合用電信息采集系統非結構化數據特征分析，在Hadoop平臺上搭建MongoDB索引HDFS存儲系統，實現非結構化用電信息數據和客戶數據的存儲，存儲平臺如圖1所示。

圖1 用電信息采集系統非結構化數據存儲平臺Fig.1 Unstructured data storage platform of electricity information acquisition system

2.1 存儲架構優勢分析

HDFS的分布式文件存儲架構使得其具有可存儲大容量數據、可靠性能高、擴展能力強的特征，可滿足用電信息采集系統中非結構化數據的數據量大，數據更新速度極快等特征，故采用HDFS來存儲海量非結構化數據。

然而，由于HDFS采用的是主/從架構，1個HDFS集群通過單獨的NameNode去管理文件系統命名空間和相關的元數據信息。集群啟動之后，與文件系統關聯的元數據將加載到NameNode的內存空間中。當文件系統中存在大量諸如文本、圖片等非結構化小文件時，每個小文件對應1個元數據。當這些小文件達到一定數量級后，文件系統中大量的元數據會對NameNode內存空間造成極大消耗，導致NameNode內存空間不足。融合MongoDB非關系型數據庫的高可靠性、并發和高效存儲特性，同時具有強大的查詢檢索功能，其能夠很好地滿足非結構化數據的元數據存儲需求，本文提出MongoDB索引HDFS存儲系統。

2.2 存儲平臺的MongoDB存儲架構分析

采用MongoDB索引HDFS的用電信息非結構化數據存儲方法既能發揮MongoDB強大的數據查詢檢索功能進行元數據的存儲，又保持HDFS在存儲大容量數據時的強大優勢，二者相互結合，實現用電信息非結構化數據的快速存儲與準確讀寫。新存儲架構如圖2所示。

圖2 非結構化數據MongoDB索引HDFS存儲架構Fig.2 MongoDB index HDFS architecture of unstructured data storage platform

（1）用電客戶Client：包含訪問MongoDB的接口，通過維護緩存數據來加快數據的訪問速度，如緩存5類用戶的文本、視頻、圖像、網頁信息集合位置信息。

（2）協調服務：保證任何時間集群中只有1個控制節點，用來存儲所有非結構化用電信息數據和客戶數據集合的尋址入口；對集合服務的狀態實時監控，同時將集合服務的狀態信息實時發送至控制節點。

（3）控制節點：分配集合空間，負責元數據存儲的負載均衡；發現存在失效的數據節點時，進行故障轉移；處理MongoDB上的schema更新請求和垃圾文件回收。

（4）用電信息數據和客戶數據集合服務：負責數據的I/O請求，自動分片數據。

2.3 存儲平臺的HDFS存儲架構分析

用電信息采集系統非結構化數據存儲平臺中HDFS架構如圖3所示。

圖3 非結構化數據存儲平臺中HDFS架構Fig.3 HDFS architecture of unstructured data storage platform

（1）NameNode作為HDFS中的管理者，負責管理文件系統的命名空間、存儲塊的復制和集群配置信息等。

（2）DataNode是用電信息和客戶信息的非結構化數據實際存儲的基本單元，其將數據以塊存儲的方式存儲在本地文件系統中，同時將所有塊信息間斷性地發送給NameNode。

（3）MongoDB客戶就是獲取分布式文件系統中用電信息數據和客戶數據文件的應用程序。

從圖3中可以看出，A～E 5類用戶的用電信息和客戶信息的文本、圖像、視頻和網頁文件存儲在DataNode上。每個文本文件、圖像文件、網頁文件和視頻文件的數據塊大小設定為64 M，文件塊副本數設定為3，保證可用性。塊的分配和維護仍然由NameNode負責。

3 用電信息采集系統非結構化數據存儲平臺工作原理

用電信息采集系統非結構化數據的存儲以用戶為單位，在HDFS中為每個用戶建立專有的用戶文件userID.file，在文件夾中存放該用戶所有的非結構化數據，用戶文件名與用戶ID相對應。用戶文件中所有文本、圖像和視頻等數據的映射元數據信息存儲在MongoDB中，MongoDB數據結構記錄了每個用戶的所有數據在其對應用戶文件中的偏移值（offset）和大小（length）。

以用戶用電信息中的文本數據為例說明存儲平臺的工作原理。當需要往HDFS某用戶文件夾添加1個用電信息文本文件時，應用服務器獲取該用戶的元數據信息，獲知待存文本文件的大小，作為新添加文件的偏移值。新的用電信息文本文件元數據信息，連同該文本文件的偏移值和大小等信息一起作為1條記錄寫入MongoDB數據結構中。之后，應用服務器獲取HDFS上該用戶文件的輸出流，將新添加的文本文件以追加的方式寫入該用戶用電信息文本文件數據塊中。寫文件的時序圖如圖4所示。

圖4 寫文件時序Fig.4 Timing sequences of writing file

具體操作過程如下：

（1）操作終端向MongoDB元數據服務器發起用電信息文本文件寫請求；

（2）MongoDB元數據服務器依據負載均衡原理，根據其管理的存儲節點的工作和使用情況，在HDFS存儲節點上創建新的文本數據塊；

（3）HDFS存儲節點服務器中用電信息文本數據塊創建成功，將創建的結果返回給MongoDB元數據服務器；

（4）MongoDB元數據服務器一方面備份和同步此文本文件元數據信息，另一方面將相關的存儲節點信息返回給操作終端；

（5）操作終端根據得到的HDFS文本文件存儲節點信息，向對應HDFS文本文件存儲節點發出數據寫請求，并向HDFS存儲節點發送數據；

（6）HDFS存儲節點接收數據同時存儲到相應塊中，并且向其他存儲節點發送備份，保證用戶存儲的用電信息文件的安全性；

（7）當本地寫入和備份均成功后，HDFS存儲節點將成功信息返回給操作終端；

（8）操作終端收到成功信號后，即完成文本文件的存儲。

當需要從HDFS中讀取用電信息文本文件時，先向MongoDB服務器發送讀文件請求，獲取該文本文件的相關元數據信息，依據所讀文件的偏移值和文件大小，獲取HDFS中用戶文本文件的輸入流，從而讀出文本文件，其時序如圖5所示。

圖5 讀文件時序Fig.5 Timing sequences of reading file

由此可知，新型的MongoDB索引HDFS存儲系統的控制流和數據流是相互分離的，一方面能夠降低MongoDB元數據服務的負擔，增加處理能力，另一方面將數據讀寫時的負擔分配到各存儲節點，提高系統的整體性能。

4 結語

本文首先對用電信息采集系統A、B、C、D、E 5類用電客戶的非結構化用電信息數據和客戶數據進行特征分析。之后采用MongoDB索引HDFS存儲海量非結構化數據，其中MongoDB存儲這些海量非結構化數據的元數據，HDFS對具體的數據按照文本文件、圖像文件、視頻文件、網頁文件進行分類存儲。最終實現用電信息采集系統非結構化數據分類存儲和準確實時讀寫。

下一步工作中筆者將繼續對這種存儲方法進行優化，以進一步提高其性能。同時將針對存儲過程中出現的非法訪問、數據泄漏、數據存取故障等安全問題進行進一步研究。

[1]Stojkovic B，Vujosevic I.A compact SCADA system for a smaller size electric power system control—A fast，object-oriented and cost-effective approach[C]//IEEE Power En?gineering Society Winter Meeting.New York，USA，2002：695-700．

[2]Simpson H R.Protocols for process interaction[J].IEE Pro?ceedings Computers and Digital Techniques，2003，150（3）：157-182．

[3]竇健，董俐君，朱新山（Dou Jian，Dong Lijun，Zhu Xin?shan）.結構化用電客戶互動需求信息的比對庫設計（Design of the comparative database for structured inter?active demand information of electricity customers）[J].電力系統及其自動化學報（Proceedings of the CSU-EP?SA），2016，28（6）：80-85．

[4]Borthakur D.The hadoop distributed file system：Architec?ture and design[J].Hadoop Project Website，2007（11）：1-10．

[5]王光磊（Wang Guanglei）.MongoDB數據庫的應用研究和方案優化（MongoDB database of applied research and program optimization）[J].中國科技信息（China Science and Technology Information），2011（20）：93-94，96．

[6]何穎鵬（He Yingpeng）.非結構化數據統一存儲平臺的設計與實現（Design and Implementation of Unstructured Data Unified Storage Platform）[D].杭州：浙江大學計算機科學與技術學院（Hangzhou：College of Computer Sci?enceand Technology，Zhejiang University），2013．

[7]謝華成，陳向東（Xie Huacheng，Chen Xiangdong）.面向云存儲的非結構化數據存取（Cloud storage-oriented un?structured data storage）[J].計算機應用（Journal of Com?puter Applications），2012，32（7）：1924-1928，1942．

[8]孟祥萍，周來（Meng Xiangping，Zhou Lai）.基于hadoop云平臺的智能電網HDFS資源存儲技術研究（Research on resource storage technologies of HDFS for smart grid based on hadoop cloud platform）[J].電測與儀表（Electri?cal Measurement&Instrumentation），2014，51（19）：24-30．

[9]張天宇，賀金鑫，王陽，等（Zhang Tianyu，He Jinxin，Wang Yang，et al）.基于NoSQL數據庫的地學大數據高效存儲方法（Efficient approach to store big earth data based on NoSQL database）[J].吉林大學學報（Journal of Jilin University），2013，31（6）：604-608．

關于論文題名和作者信息

1.題名

（1）題名應以簡明、確切的詞語反映文章中最重要的特定內容，并有助于選定關鍵詞。

（2）中文題名一般不宜超過20個字，必要時可加副題名。

（3）英文題名應與中文題名含義一致。

（4）題名應避免使用非公知公用的縮寫詞、字符、代號，盡量不出現數學式和化學式。

2.作者署名和工作單位

（1）作者姓名署于題名下方，團體作者的執筆人也可標注于篇首地腳或文末。

（2）標明作者的工作單位全稱、所在城市名及郵政編碼。在作者簡介中，標注作者年齡、性別、職稱及專業方向。

摘編于《中國高等學校自然科學學報編排規范》（修訂版）

Unstructured Data Storage Method for Electricity Information Based on MongoDB Index

XU Yinghui1，ZHU Enguo1，ZHAO Rui2，YANG Ting2
（1.China Electric Power Research Institute，Beijing 100192，China；2.Key Laboratory of Smart Grid of Ministry of Education，Tianjin University，Tianjin 300072，China）

TM76

A

1003-8930（2017）09-0093-05

10.3969/j.issn.1003-8930.2017.09.016

2014-07-20；

2016-11-10

徐英輝（1972—），男，碩士，高級工程師，研究方向為電力系統及其自動化、智能用電技術。Email：xcfw@epri.sgcc.com.cn

祝恩國（1978—），男，博士，高級工程師，研究方向為智能用電技術、高級量測體系。Email：zhuenguo@epri.sgcc.com.cn

趙 睿（1992—），男，碩士研究生，研究方向為智能用電、信息數據存儲技術。Email：zhaoruitju@126.com