電力大數(shù)據(jù)高速存儲(chǔ)及檢索關(guān)鍵技術(shù)研究

李旭輝　徐玉生

摘 要：本文首先對(duì)當(dāng)前電網(wǎng)典型業(yè)務(wù)系統(tǒng)大數(shù)據(jù)架構(gòu)進(jìn)行簡(jiǎn)單分析，重點(diǎn)研究而電力大數(shù)據(jù)高速存儲(chǔ)及檢索特征和關(guān)鍵技術(shù)，了解電力大數(shù)據(jù)的重點(diǎn)技術(shù)，在此基礎(chǔ)上深入研究即時(shí)處理技術(shù)對(duì)于大數(shù)據(jù)典型應(yīng)用的有效性，希望通過本文的研究能夠更加全面的掌握關(guān)于電網(wǎng)業(yè)務(wù)系統(tǒng)大數(shù)據(jù)框架結(jié)構(gòu)的基本情況，了解在電力大數(shù)據(jù)系統(tǒng)中應(yīng)用的各種先進(jìn)技術(shù)及主要特點(diǎn)，同時(shí)也為后期更好的研究即使處理技術(shù)及電力大數(shù)據(jù)提供參考。

關(guān)鍵詞：電力大數(shù)據(jù)；高速存儲(chǔ)；檢索

中圖分類號(hào)：TM769 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-2064（2018）03-0038-02

1 引言

近年來隨著我國(guó)電力行業(yè)的不斷發(fā)展，電力系統(tǒng)規(guī)模不斷擴(kuò)大，電力企業(yè)在運(yùn)行中產(chǎn)生的數(shù)據(jù)發(fā)生較大的變化，數(shù)量越來越多、種類愈加復(fù)雜、來源更加多樣化，在系統(tǒng)運(yùn)行訪問中容易出現(xiàn)響應(yīng)不及時(shí)的情況，對(duì)電力企業(yè)的生產(chǎn)、運(yùn)營(yíng)管理等各環(huán)節(jié)的業(yè)務(wù)都產(chǎn)生較大的影響。而且隨著大數(shù)據(jù)時(shí)代的到來，更好的應(yīng)用電力企業(yè)產(chǎn)生的各種數(shù)據(jù)對(duì)于企業(yè)的發(fā)展具有重要的意義。因此在現(xiàn)階段加強(qiáng)對(duì)于電力大數(shù)據(jù)及其高速存儲(chǔ)、檢索等關(guān)鍵技術(shù)的研究具有重要的現(xiàn)實(shí)意義，能夠更加深入的分析研究大數(shù)據(jù)，發(fā)揮大數(shù)據(jù)的價(jià)值，全面掌握電網(wǎng)運(yùn)行中各種典型業(yè)務(wù)系統(tǒng)的數(shù)據(jù)架構(gòu)，更好的發(fā)揮高速存儲(chǔ)、檢索、即使處理等各種先進(jìn)技術(shù)的作用，解決大數(shù)據(jù)系統(tǒng)建設(shè)存在的問題，也為電力大數(shù)據(jù)技術(shù)的應(yīng)用提供指導(dǎo)和支撐。

2 電網(wǎng)典型業(yè)務(wù)系統(tǒng)大數(shù)據(jù)架構(gòu)分析

隨著電網(wǎng)技術(shù)的不斷升級(jí)，大數(shù)據(jù)已經(jīng)成為電力企業(yè)發(fā)展中的重要特征，數(shù)據(jù)的應(yīng)用對(duì)企業(yè)發(fā)展的應(yīng)用的也愈加深刻。在電網(wǎng)運(yùn)行中的典型業(yè)務(wù)就是電力系統(tǒng)用電信息的采集，該系統(tǒng)中存在諸多用戶，基數(shù)比較大，而且每天都會(huì)產(chǎn)生大量的數(shù)據(jù)，在業(yè)務(wù)系統(tǒng)運(yùn)行中，數(shù)據(jù)的統(tǒng)計(jì)分析容易出現(xiàn)響應(yīng)緩慢的情況，用戶在使用系統(tǒng)時(shí)需要等待較長(zhǎng)的時(shí)間。電力大數(shù)據(jù)一方面能夠拓寬電力行業(yè)的深度，對(duì)供給側(cè)、需求側(cè)進(jìn)行整合；另一方面也打破便捷，挑戰(zhàn)壟斷地位。針對(duì)這種業(yè)務(wù)系統(tǒng)，首先要對(duì)用電信息采集業(yè)務(wù)系統(tǒng)中使用的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)檢索以及信息流計(jì)算等各種技術(shù)的架構(gòu)進(jìn)行全面的分析，其次要對(duì)各種不同數(shù)據(jù)使用的存儲(chǔ)檢索技術(shù)的性能及架構(gòu)進(jìn)行分析總結(jié)，包括非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)；在此基礎(chǔ)上，深入研究電網(wǎng)運(yùn)行中各種典型業(yè)務(wù)系統(tǒng)對(duì)即時(shí)信息流的處理技術(shù)的需求及應(yīng)用現(xiàn)狀。應(yīng)用電力大數(shù)據(jù)，能全面掌握電力企業(yè)乃至整個(gè)行業(yè)的發(fā)展?fàn)顩r，預(yù)測(cè)未來的發(fā)展趨勢(shì)，調(diào)整企業(yè)的發(fā)展規(guī)劃，比如并網(wǎng)電價(jià)等，促進(jìn)電力企業(yè)的發(fā)展[1]。

3 電力大數(shù)據(jù)高速存儲(chǔ)及檢索特征和關(guān)鍵技術(shù)

3.1 電力大數(shù)據(jù)高速存儲(chǔ)及關(guān)鍵技術(shù)

大數(shù)據(jù)高速存儲(chǔ)系統(tǒng)體系結(jié)構(gòu)的研究主要幾方面的問題；（1）基于Hadoop分布式存儲(chǔ)系統(tǒng)的副本管理機(jī)制，重點(diǎn)研究在元數(shù)據(jù)服務(wù)器出現(xiàn)異常情況時(shí)需要使用的副本替換和重定向算法，從而避免受單一故障影響出現(xiàn)整個(gè)文件系統(tǒng)癱瘓的情況；（2）研究基于Hadoop分布式文件系統(tǒng)的備份恢復(fù)機(jī)制和動(dòng)態(tài)擴(kuò)展機(jī)制，重點(diǎn)研究如何對(duì)原有SAN網(wǎng)絡(luò)等設(shè)備文件系統(tǒng)與分布式文件系統(tǒng)進(jìn)行兼容，以及如何快速對(duì)分布式文件系統(tǒng)中的文件進(jìn)行恢復(fù)同時(shí)進(jìn)行增量式備份。

面向電力大數(shù)據(jù)的存儲(chǔ)系統(tǒng)自配置自優(yōu)化技術(shù)。基于Hadoop分布式文件系統(tǒng)的存儲(chǔ)系統(tǒng)性能會(huì)受配置參數(shù)的影響產(chǎn)生較大的波動(dòng)，而且系統(tǒng)的配置也比較靈活，各種應(yīng)用數(shù)據(jù)也比較豐富，因此需要深入研究在大數(shù)據(jù)系統(tǒng)運(yùn)行中影響系統(tǒng)存儲(chǔ)性能的各種關(guān)鍵因素，針對(duì)這些因素設(shè)計(jì)合理的算法對(duì)系統(tǒng)進(jìn)行自適應(yīng)動(dòng)態(tài)采樣。同時(shí)要研究如何應(yīng)用多節(jié)點(diǎn)協(xié)同配置優(yōu)化技術(shù)、異構(gòu)分布式跨層配置降維機(jī)制以及性能評(píng)測(cè)數(shù)據(jù)生成技術(shù)，在此基礎(chǔ)上設(shè)計(jì)系統(tǒng)對(duì)面向大數(shù)據(jù)應(yīng)用的存儲(chǔ)系統(tǒng)的性能基準(zhǔn)進(jìn)行測(cè)試[2]。

電力大數(shù)據(jù)的存儲(chǔ)速度要求比較高，但是信息的處理速度要求不高，針對(duì)這種情況在存儲(chǔ)方案中需要引入數(shù)據(jù)緩存單元，一方面能夠滿足信息高速收集的要求，另一方面能夠降低數(shù)據(jù)處理的成本。一種方式是應(yīng)用FIFO存儲(chǔ)器，信息數(shù)據(jù)從一頭進(jìn)入，另一頭流出，而且有順序要求。信息數(shù)據(jù)的傳輸效率比較高，但是只能按照順序進(jìn)行數(shù)據(jù)讀寫，而且成本也比較高。第二種方式是采用雙口PAM，利用兩套獨(dú)立的端口進(jìn)行數(shù)據(jù)的收集緩存，而且彼此可以進(jìn)行數(shù)據(jù)交流，隨時(shí)對(duì)數(shù)據(jù)進(jìn)行讀取。第三種方式是SRAM切換，雖然能夠隨時(shí)讀寫，但是占地面積比較大。

3.2 電力大數(shù)據(jù)檢索特征及其關(guān)鍵技術(shù)

（1）電力大數(shù)據(jù)索引結(jié)構(gòu)分析研究。首先要對(duì)大數(shù)據(jù)檢索體系的結(jié)構(gòu)、查詢方法以及檢索特征等進(jìn)行分析，深入研究檢索系統(tǒng)在電力大數(shù)據(jù)中應(yīng)用的體系結(jié)構(gòu)需求。其次對(duì)各種采集類和檔案類數(shù)據(jù)進(jìn)行采樣分析，并分別研究不同數(shù)據(jù)的特征，根據(jù)其特點(diǎn)的不同，對(duì)使用的檢索方法等進(jìn)行總結(jié)歸類。在此基礎(chǔ)上深入研究電網(wǎng)業(yè)務(wù)中的大數(shù)據(jù)特征以及檢索業(yè)務(wù)的邏輯結(jié)構(gòu)需求等。（2）面向電力大數(shù)據(jù)的多維索引關(guān)鍵技術(shù)研究。目前還沒有形成關(guān)于大數(shù)據(jù)多維索引的成熟技術(shù)，需要針對(duì)電力大數(shù)據(jù)系統(tǒng)設(shè)計(jì)專用的多維索引結(jié)構(gòu)，該結(jié)構(gòu)必須具備基礎(chǔ)的多維區(qū)間查詢功能和多表連接技術(shù)。因此要做好幾方面的研究：一是對(duì)索引存儲(chǔ)方法和壓縮算法的研究，要求存儲(chǔ)方法和壓縮方法能夠滿足自適應(yīng)和動(dòng)態(tài)可擴(kuò)展的要求，而且具備分布式的特點(diǎn)；二是研究故障恢復(fù)方法及負(fù)載均衡算法，電力系統(tǒng)中的數(shù)據(jù)量比較大，在大數(shù)據(jù)環(huán)境下必須保障索引的快速建立及存儲(chǔ)；另外多維索引需要應(yīng)用預(yù)計(jì)算及高速訪問等技術(shù)。（3）要想實(shí)現(xiàn)對(duì)于電力大數(shù)據(jù)的高速采集，需要滿足高采樣頻率，一般可以借助高速數(shù)據(jù)轉(zhuǎn)化芯片來實(shí)現(xiàn)，但是成本比較高，分辨率也比較低，因此需要采用并行采樣技術(shù)，將數(shù)據(jù)采集的時(shí)間進(jìn)行交叉，多個(gè)芯片同時(shí)工作。比如說同時(shí)使用N路芯片進(jìn)行采樣作業(yè)，穩(wěn)定不同路徑的相位差，合并多個(gè)路徑，實(shí)現(xiàn)高倍頻率的采樣，提高信息收集及傳遞的效率。

4 即時(shí)處理技術(shù)對(duì)于大數(shù)據(jù)典型應(yīng)用的有效性

流技術(shù)的即使處理技術(shù)能夠滿足電力大數(shù)據(jù)的各種應(yīng)用需求，主要表現(xiàn)在以下幾方面[3]：

4.1 用戶信息采集

電力大數(shù)據(jù)系統(tǒng)需要在短時(shí)間內(nèi)實(shí)現(xiàn)用電信息數(shù)據(jù)的采集及分析判斷，針對(duì)這種需求，應(yīng)用流計(jì)算即使處理技術(shù)能夠?qū)Σ杉降膶?shí)時(shí)數(shù)據(jù)進(jìn)行預(yù)處理，對(duì)于異常數(shù)據(jù)進(jìn)行準(zhǔn)確的過濾篩選，并發(fā)出警報(bào)。結(jié)合系統(tǒng)運(yùn)行的實(shí)際情況設(shè)計(jì)合理的算法，對(duì)異常數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)測(cè)處理，而且能夠數(shù)據(jù)進(jìn)行均勻化操作。

4.2 數(shù)據(jù)質(zhì)量監(jiān)測(cè)

電力大數(shù)據(jù)系統(tǒng)中需要對(duì)各種業(yè)務(wù)數(shù)據(jù)的質(zhì)量進(jìn)行實(shí)時(shí)監(jiān)測(cè)，借助即時(shí)處理技術(shù)能夠從數(shù)據(jù)的頻度、來源、所屬業(yè)務(wù)、單位等不同的維度對(duì)數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)測(cè)，同時(shí)與數(shù)據(jù)異常監(jiān)測(cè)現(xiàn)結(jié)合實(shí)現(xiàn)對(duì)于數(shù)據(jù)質(zhì)量的綜合通報(bào)，而且有利于對(duì)數(shù)據(jù)質(zhì)量進(jìn)行改進(jìn)。

4.3 視頻圖像處理

借助即時(shí)處理技術(shù)能夠?qū)﹄娏Υ髷?shù)據(jù)中的視頻監(jiān)控圖像進(jìn)行實(shí)時(shí)的計(jì)算，根據(jù)需要提取特定目標(biāo)，并對(duì)其進(jìn)行分割處理，包括光影變化的分析處理等，通過這種分析能夠全面掌握電力設(shè)備運(yùn)行中的各種原始數(shù)據(jù)，實(shí)時(shí)掌握設(shè)備的運(yùn)行狀態(tài)，預(yù)測(cè)可能出現(xiàn)的設(shè)備故障，從而降低電力大數(shù)據(jù)中人工成本，進(jìn)一步提升系統(tǒng)的運(yùn)行效率。

5 結(jié)語

通過本文的分析可知，大數(shù)據(jù)已經(jīng)成為電力企業(yè)發(fā)展的顯著特征，數(shù)據(jù)繁多也深刻影響道電力企業(yè)的發(fā)展，發(fā)展電力大數(shù)據(jù)符合當(dāng)前電力企業(yè)發(fā)展的需求。本文重點(diǎn)研究了電網(wǎng)典型業(yè)務(wù)系統(tǒng)的大數(shù)據(jù)架構(gòu)，高速存儲(chǔ)、檢索等關(guān)鍵技術(shù)，也深刻論證了即時(shí)處理技術(shù)對(duì)于大數(shù)據(jù)典型應(yīng)用的有效性，未來隨著電力企業(yè)的不斷發(fā)展，電力大數(shù)據(jù)將會(huì)對(duì)電力企業(yè)的發(fā)展產(chǎn)生更加深刻的影響，同時(shí)也會(huì)遇到更多更復(fù)雜的問題。當(dāng)前關(guān)于電力大數(shù)據(jù)的研究仍處于起步階段，需要電力企業(yè)不斷加強(qiáng)對(duì)于電力大數(shù)據(jù)的研究，不斷優(yōu)化大數(shù)據(jù)架構(gòu)，研究更加合理的大數(shù)據(jù)方案，充分發(fā)揮各種技術(shù)的優(yōu)勢(shì)，不斷推進(jìn)我國(guó)電力大數(shù)據(jù)的發(fā)展，增強(qiáng)電力企業(yè)的競(jìng)爭(zhēng)力，實(shí)現(xiàn)良好的經(jīng)濟(jì)社會(huì)效益。

參考文獻(xiàn)

[1]齊俊，曲朝陽，婁建樓，等.一種基于Hadoop的電力大數(shù)據(jù)屬性實(shí)體識(shí)別算法[J].電力系統(tǒng)保護(hù)與控制，2016，（24）：52-57.

[2]薛禹勝，賴業(yè)寧.大能源思維與大數(shù)據(jù)思維的融合（一）大數(shù)據(jù)與電力大數(shù)據(jù)[J].電力系統(tǒng)自動(dòng)化，2016，（1）：1-8.

[3]彭小圣，鄧迪元，程時(shí)杰，等.面向智能電網(wǎng)應(yīng)用的電力大數(shù)據(jù)關(guān)鍵技術(shù)[J].中國(guó)電機(jī)工程學(xué)報(bào)，2015，（3）：503-511.