淺談電力大數(shù)據(jù)平臺(tái)關(guān)鍵技術(shù)研究與應(yīng)用

付盼++劉曉龍

[摘 ?要]近年來(lái)，經(jīng)過(guò)SG186工程、SG-ERP建設(shè)，國(guó)家電網(wǎng)公司積累了豐富的數(shù)據(jù)資源，但隨著公司業(yè)務(wù)系統(tǒng)數(shù)據(jù)量的不斷增大，數(shù)據(jù)價(jià)值挖掘需求的增長(zhǎng)，電力大數(shù)據(jù)平臺(tái)需要橫向擴(kuò)張，進(jìn)一步整合優(yōu)化數(shù)據(jù)資源。本文研究探討了電力大數(shù)據(jù)平臺(tái)關(guān)鍵技術(shù)研究與應(yīng)用，充分分析現(xiàn)有數(shù)據(jù)中心平臺(tái)組件待優(yōu)化點(diǎn)基礎(chǔ)上，開(kāi)展公司大數(shù)據(jù)平臺(tái)基礎(chǔ)組件的研究，以實(shí)現(xiàn)統(tǒng)一為公司各類應(yīng)用建設(shè)提供海量數(shù)據(jù)采集處理、存儲(chǔ)處理、計(jì)算處理、分析挖掘等基礎(chǔ)性支撐功能。

[關(guān)鍵詞]大數(shù)據(jù)平臺(tái);關(guān)鍵技術(shù);數(shù)據(jù)整合;數(shù)據(jù)存儲(chǔ)

中圖分類號(hào)：F426.61 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-914X（2016）24-0194-01

1 引言

隨著國(guó)網(wǎng)公司“三集五大”管理體系和調(diào)控、運(yùn)監(jiān)、客服三中心的全面建設(shè)，信息系統(tǒng)已全面融入公司生產(chǎn)經(jīng)營(yíng)管理業(yè)務(wù)的各個(gè)方面，積累了大量的結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、海量歷史準(zhǔn)實(shí)時(shí)數(shù)據(jù)和地理信息數(shù)據(jù)。按照“統(tǒng)籌規(guī)劃、協(xié)同推進(jìn)、統(tǒng)一平臺(tái)、規(guī)范建設(shè)”的總體策略，在充分繼承現(xiàn)有信息化建設(shè)成果和一期大數(shù)據(jù)平臺(tái)試點(diǎn)建設(shè)經(jīng)驗(yàn)的基礎(chǔ)上，2016年公司將全面推廣大數(shù)據(jù)平臺(tái)建設(shè)工作，以提升公司內(nèi)外部數(shù)據(jù)資源整合處理和價(jià)值挖掘水平，促進(jìn)管理提升和業(yè)務(wù)創(chuàng)新。

2 關(guān)鍵技術(shù)研究

1）關(guān)系數(shù)據(jù)與分布式存儲(chǔ)同步技術(shù)

關(guān)系數(shù)據(jù)庫(kù)與分布式存儲(chǔ)同步技術(shù)是指可以將關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)抽取到分布式存儲(chǔ)中，又可以將分布式存儲(chǔ)中的數(shù)據(jù)回寫到關(guān)系數(shù)據(jù)庫(kù)中。

大數(shù)據(jù)平臺(tái)中的數(shù)據(jù)通常采取分布式存儲(chǔ)技術(shù)進(jìn)行海量數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)主要來(lái)源于公司現(xiàn)有的關(guān)系數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)。在數(shù)據(jù)進(jìn)行傳輸?shù)倪^(guò)程當(dāng)中，既需要保障數(shù)據(jù)能在關(guān)系型數(shù)據(jù)庫(kù)和分布式存儲(chǔ)之間無(wú)縫傳輸，又需要保障大規(guī)模數(shù)據(jù)的傳輸與流轉(zhuǎn)效率，不能影響業(yè)務(wù)系統(tǒng)正常運(yùn)行。而傳統(tǒng)的ETL抽取工具一般只具有關(guān)系數(shù)據(jù)庫(kù)、文件、服務(wù)等數(shù)據(jù)源之間同步功能，缺少關(guān)系數(shù)據(jù)庫(kù)與分布式存儲(chǔ)之間數(shù)據(jù)同步能力。因此需要利用關(guān)系數(shù)據(jù)庫(kù)與分布式存儲(chǔ)同步技術(shù)實(shí)現(xiàn)不同存儲(chǔ)機(jī)制下的數(shù)據(jù)雙向同步。

2）文件采集與處理技術(shù)

數(shù)據(jù)平臺(tái)的數(shù)據(jù)來(lái)源除了傳統(tǒng)的數(shù)據(jù)中心、數(shù)據(jù)倉(cāng)庫(kù)之外，更多的數(shù)據(jù)是來(lái)自之前無(wú)法有效處理的各類文件，如系統(tǒng)日志、數(shù)據(jù)交換文件、現(xiàn)場(chǎng)檢修照片、遠(yuǎn)程監(jiān)視的視頻等。這些文件數(shù)據(jù)結(jié)構(gòu)不明確、清晰，變化頻繁，數(shù)量巨大。通過(guò)大數(shù)據(jù)平臺(tái)的分布式存儲(chǔ)可以低成本存儲(chǔ)文件，也可以將其中的數(shù)據(jù)解析成結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)在大數(shù)據(jù)平臺(tái)中。

3）分布式文件系統(tǒng)

分布式文件系統(tǒng)是指基于客戶機(jī)/服務(wù)器模式，文件系統(tǒng)管理的物理資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。分布式文件系統(tǒng)表現(xiàn)為文件數(shù)據(jù)存儲(chǔ)在分散的低成本存儲(chǔ)介質(zhì)上，對(duì)外提供一致的文件訪問(wèn)接口，具有良好的容錯(cuò)性。分布式文件系統(tǒng)的引入，解決了海量數(shù)據(jù)存儲(chǔ)的難題，其所具備的全分布式架構(gòu)、數(shù)據(jù)塊粒度切分、在線擴(kuò)容減容、復(fù)制備份及普通PC硬件適用性等關(guān)鍵技術(shù)，支撐了安全的PB級(jí)以上規(guī)模數(shù)據(jù)在線存儲(chǔ)，使安全、低成本、可任意擴(kuò)容的大數(shù)據(jù)存儲(chǔ)成為可能。

3 平臺(tái)架構(gòu)內(nèi)容

大數(shù)據(jù)平臺(tái)為業(yè)務(wù)系統(tǒng)大數(shù)據(jù)應(yīng)用開(kāi)發(fā)、運(yùn)行提供統(tǒng)一的平臺(tái)支撐。其架構(gòu)內(nèi)容主要包括數(shù)據(jù)整合、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)分析、平臺(tái)服務(wù)、安全管理、配置管理等模塊，并提供各種形式的服務(wù)對(duì)業(yè)務(wù)應(yīng)用提供支撐。架構(gòu)圖如下圖1所示。

數(shù)據(jù)整合：通過(guò)數(shù)據(jù)抽取、實(shí)時(shí)數(shù)據(jù)采集、文件數(shù)據(jù)采集、數(shù)據(jù)庫(kù)實(shí)時(shí)復(fù)制等多種技術(shù)從外部數(shù)據(jù)源抽取和采集結(jié)構(gòu)化數(shù)據(jù)（關(guān)系數(shù)據(jù)庫(kù)記錄）、半結(jié)構(gòu)化數(shù)據(jù)（日志、郵件等）、非結(jié)構(gòu)化數(shù)據(jù)（文件、視頻、音頻、網(wǎng)絡(luò)數(shù)據(jù)流等），同時(shí)，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)、非實(shí)時(shí)采集。

數(shù)據(jù)存儲(chǔ)：負(fù)責(zé)進(jìn)行大數(shù)據(jù)的存儲(chǔ)，針對(duì)全數(shù)據(jù)類型和多樣計(jì)算需求，以海量規(guī)模存儲(chǔ)、快速查詢讀取為特征，存儲(chǔ)來(lái)自外部數(shù)據(jù)源的各類數(shù)據(jù)，支撐數(shù)據(jù)處理層的高級(jí)應(yīng)用。

數(shù)據(jù)計(jì)算：對(duì)多樣化的大數(shù)據(jù)提供流計(jì)算、批量計(jì)算、內(nèi)存計(jì)算、查詢計(jì)算等計(jì)算功能，允許對(duì)分布式存儲(chǔ)的數(shù)據(jù)文件或內(nèi)存數(shù)據(jù)進(jìn)行查詢和計(jì)算。通過(guò)流計(jì)算技術(shù)提供實(shí)時(shí)分析處理的計(jì)算能力，實(shí)現(xiàn)實(shí)時(shí)決策、預(yù)警等。通過(guò)離線計(jì)算提供落地?cái)?shù)據(jù)的計(jì)算能力，實(shí)現(xiàn)數(shù)據(jù)的批量處理。

數(shù)據(jù)分析：對(duì)多樣化的大數(shù)據(jù)進(jìn)行加工、處理、分析、挖掘，產(chǎn)生新的業(yè)務(wù)價(jià)值，發(fā)現(xiàn)業(yè)務(wù)發(fā)展方向，提供業(yè)務(wù)決策依據(jù)。

平臺(tái)服務(wù)：將底層數(shù)據(jù)分析工具、組件等能力封裝后為業(yè)務(wù)系統(tǒng)的大數(shù)據(jù)應(yīng)用提供平臺(tái)服務(wù)支撐，包含存儲(chǔ)服務(wù)、計(jì)算服務(wù)、分析服務(wù)、展現(xiàn)服務(wù)等。

安全：解決從大數(shù)據(jù)環(huán)境下的數(shù)據(jù)采集、存儲(chǔ)、分析、應(yīng)用等過(guò)程中產(chǎn)生的諸如身份驗(yàn)證、授權(quán)過(guò)程和輸入驗(yàn)證等大量安全問(wèn)題。由于在數(shù)據(jù)分析、挖掘過(guò)程中涉及企業(yè)各業(yè)務(wù)的核心數(shù)據(jù)，防止數(shù)據(jù)泄露，控制訪問(wèn)權(quán)限等安全措施在大數(shù)據(jù)應(yīng)用中尤為關(guān)鍵。

管理配置：實(shí)時(shí)監(jiān)測(cè)大數(shù)據(jù)處理全過(guò)程中的整體運(yùn)行狀態(tài)、資源使用情況和接口調(diào)用情況等性能指標(biāo)并對(duì)關(guān)鍵系統(tǒng)險(xiǎn)情進(jìn)行告警，支持大數(shù)據(jù)組件安裝、配置和狀態(tài)管理，可快速擴(kuò)展應(yīng)用功能和能力，可實(shí)時(shí)性監(jiān)控和調(diào)度任務(wù)計(jì)劃，可對(duì)大數(shù)據(jù)集群的計(jì)算資源和存儲(chǔ)資源進(jìn)行配置和管理。

4 總結(jié)

對(duì)電力大數(shù)據(jù)平臺(tái)關(guān)鍵技術(shù)的研究與應(yīng)用的成功實(shí)施，為公司各類應(yīng)用建設(shè)提供海量數(shù)據(jù)采集處理、存儲(chǔ)處理、計(jì)算處理、分析挖掘等基礎(chǔ)性支撐功能，提升公司內(nèi)外部數(shù)據(jù)資源整合處理和價(jià)值挖掘水平，促進(jìn)管理提升和業(yè)務(wù)創(chuàng)新。