基于大數(shù)據(jù)技術(shù)的量測數(shù)據(jù)處理系統(tǒng)設(shè)計

猶 鋒，曹 健，謝玉波

（國網(wǎng)電力科學(xué)研究院 江蘇瑞中數(shù)據(jù)股份有限公司，江蘇 南京 210000）

基于大數(shù)據(jù)技術(shù)的量測數(shù)據(jù)處理系統(tǒng)設(shè)計

猶 鋒，曹 健，謝玉波

（國網(wǎng)電力科學(xué)研究院 江蘇瑞中數(shù)據(jù)股份有限公司，江蘇 南京 210000）

針對傳統(tǒng)關(guān)系型數(shù)據(jù)庫用于電力信息系統(tǒng)量測數(shù)據(jù)處理效率低的問題，文章設(shè)計并實現(xiàn)了基于大數(shù)據(jù)技術(shù)的量測數(shù)據(jù)處理系統(tǒng)。基于分布式消息隊列技術(shù)，該系統(tǒng)實現(xiàn)了大規(guī)模量測數(shù)據(jù)的緩沖接入；基于流計算技術(shù)，提高了量測數(shù)據(jù)在入庫前的實時處理效率；設(shè)計了量測數(shù)據(jù)列式存儲模型，實現(xiàn)了大規(guī)模量測數(shù)據(jù)的高效存取。

量測數(shù)據(jù)；大數(shù)據(jù)技術(shù)；列式存儲模型

隨著智能電網(wǎng)信息化不斷發(fā)展，調(diào)度自動化和采集監(jiān)測類系統(tǒng)積累了海量的電網(wǎng)量測數(shù)據(jù)[1]，量測數(shù)據(jù)作為電網(wǎng)領(lǐng)域四大數(shù)據(jù)類型之一，是設(shè)備狀態(tài)監(jiān)測、輔助決策分析、大數(shù)據(jù)挖掘的重要基礎(chǔ)，目前其采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫進行存儲。隨著大數(shù)據(jù)技術(shù)的不斷成熟，先進的存儲與計算架構(gòu)與傳統(tǒng)架構(gòu)在性能和擴展性上不斷拉開差距，采用傳統(tǒng)架構(gòu)的關(guān)系型數(shù)據(jù)庫逐漸暴露出技術(shù)不足與局限性，不能夠很好地支撐大數(shù)據(jù)環(huán)境下對量測數(shù)據(jù)的高效計算與深度挖掘。

本文提出一種基于大數(shù)據(jù)技術(shù)的量測數(shù)據(jù)處理系統(tǒng)設(shè)計，解決海量量測數(shù)據(jù)的數(shù)據(jù)接入、存儲、訪問難的問題。

1 電網(wǎng)量測數(shù)據(jù)特點分析

電網(wǎng)量測數(shù)據(jù)是一種具有明顯時序性的半結(jié)構(gòu)……