Hadoop大數(shù)據(jù)在智能電網(wǎng)中的應(yīng)用構(gòu)想

唐 安

（玉林供電局，廣西 玉林 537000）

Hadoop大數(shù)據(jù)在智能電網(wǎng)中的應(yīng)用構(gòu)想

唐 安

（玉林供電局，廣西 玉林 537000）

大數(shù)據(jù)時代即將來臨，如何借助大數(shù)據(jù)技術(shù)，實現(xiàn)高度信息化的智能電網(wǎng)，是一項具有實際應(yīng)用價值的課題。本文介紹了國內(nèi)領(lǐng)先的大數(shù)據(jù)技術(shù)——Hadoop分布式計算平臺，并引用百度遷徙的成功案例闡述大數(shù)據(jù)在未來智能電網(wǎng)中的應(yīng)用構(gòu)想。

Hadoop；大數(shù)據(jù)；分布式計算；HDFS；MapReduce

1　大數(shù)據(jù)

大數(shù)據(jù)需要新處理模式才具有更強的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)的核心是預(yù)測，它把數(shù)學算法應(yīng)用到海量數(shù)據(jù)上來預(yù)測事件發(fā)生的可能性。大數(shù)據(jù)同時意味著思維的變革：①小數(shù)據(jù)分析的是隨機樣本，而大數(shù)據(jù)分析的是全體數(shù)據(jù)，全面展示樣本無法表達的細節(jié)信息；②小數(shù)據(jù)分析追求精確性，而大數(shù)據(jù)分析具有混雜性，這意味著大數(shù)據(jù)的簡單算法比采樣數(shù)據(jù)的復(fù)雜算法更有效；③小數(shù)據(jù)分析關(guān)注因果關(guān)系，而大數(shù)據(jù)分析更關(guān)注相關(guān)關(guān)系，通過分析事物之間的關(guān)聯(lián)性，來預(yù)測事件的發(fā)展趨勢。

2　Hadoop大數(shù)據(jù)平臺

Hadoop是Apache發(fā)布的開源分布式計算平臺。受Google大數(shù)據(jù)論文的啟發(fā)，Doug Cutting用JAVA實現(xiàn)了以MapReduce和HDFS為核心的Hadoop，并將源代碼完全貢獻出來。Hadoop充分發(fā)揮集群的計算和存儲能力，快速完成海量數(shù)據(jù)的處理。Hadoop采用分布式存儲來提高讀寫速度和擴大存儲容量；采用MapReduce整合分布式文件系統(tǒng)上的數(shù)據(jù)，實現(xiàn)數(shù)據(jù)高速處理；采用存儲冗余數(shù)據(jù)來保證數(shù)據(jù)的安全性。

2.1HDFS

HDFS是基于流模式訪問和處理超大文件的需求而開發(fā)的，它可以運行于廉價的商用服務(wù)器上，HDFS的主要特點有以下3個方面。①處理超大文件：在實際應(yīng)用中，HDFS已經(jīng)能夠用來存儲管理PB級的數(shù)據(jù)了。②流式訪問數(shù)據(jù)：請求讀取整個數(shù)據(jù)集要比讀取一條記錄更加高效。③運行于廉價的商用機器集群上：HDFS對硬件要求較低，無需昂貴的高可用性機器。

HDFS體系結(jié)構(gòu)中有兩類節(jié)點：NameNode和DataNode，NameNode負責管理集群中的執(zhí)行調(diào)度，DataNode是具體任務(wù)的執(zhí)行節(jié)點。當執(zhí)行任務(wù)時，客戶端訪問NameNode獲取文件數(shù)據(jù)信息，與DataNode進行交互以訪問整個文件系統(tǒng)。HDFS向用戶提供類似POSIX的文件接口，開發(fā)者在編程時無需考慮NameNode和DataNode的實現(xiàn)細節(jié)。

2.2MapReduce

MapReduce是Google公司的核心計算模型。在Hadoop中，用于執(zhí)行MapReduce任務(wù)的機器有兩種角色：JobTracker和TaskTracker，一個Hadoop集群中只有一個JobTracker，用于任務(wù)管理和調(diào)度。一般來說，為了減輕網(wǎng)絡(luò)傳輸?shù)膲毫?，?shù)據(jù)存儲在哪個節(jié)點上，就由哪個節(jié)點進行這部分數(shù)據(jù)的計算。JobTracker監(jiān)控任務(wù)運行情況，當一個TaskTracker出現(xiàn)故障時，JobTracker會將其承擔的任務(wù)轉(zhuǎn)交到另一個空閑的TaskTracker重新運行。TaskTracker用于執(zhí)行具體的工作。

3　大數(shù)據(jù)在智能電網(wǎng)中的應(yīng)用構(gòu)想

通過Hadoop大數(shù)據(jù)平臺，技術(shù)人員可實時觀察到全網(wǎng)范圍內(nèi)的電能流動狀態(tài)、電能負載熱區(qū)、設(shè)備故障高發(fā)區(qū)和客戶集中區(qū)等數(shù)據(jù)，實現(xiàn)更加智能化的電網(wǎng)。具體包括以下4個方面。

3.1電網(wǎng)數(shù)據(jù)可視化

在未來智能電網(wǎng)中，通過大數(shù)據(jù)分析融合調(diào)度、配電、輸電、發(fā)電和用電客戶數(shù)據(jù)，實現(xiàn)實時和非實時數(shù)據(jù)的高度信息化集成，通過實時可視化運算分析，全面展示完整和精細的電網(wǎng)運行狀態(tài)圖，為管理層提供輔助決策支持和依據(jù)。

3.2電網(wǎng)負載趨勢預(yù)測

在未來智能電網(wǎng)中，通過大數(shù)據(jù)分析電網(wǎng)負載的歷史數(shù)據(jù)和實時數(shù)據(jù)，展示全網(wǎng)實時負載狀態(tài)，預(yù)測電網(wǎng)負載變化趨勢，通過現(xiàn)代化管理技術(shù)的綜合應(yīng)用，提高設(shè)備的使用效率，降低電能損耗，使電網(wǎng)運行更加經(jīng)濟和高效。

3.3設(shè)備故障趨勢預(yù)測

在未來智能電網(wǎng)中，通過大數(shù)據(jù)分析電網(wǎng)中部分故障設(shè)備的故障類型、歷史狀態(tài)和運行參數(shù)之間的相關(guān)性，預(yù)測電網(wǎng)故障發(fā)生的規(guī)律，評估電網(wǎng)運行風險，開展實時預(yù)警，提前做好設(shè)備巡檢和消缺工作，為電網(wǎng)安全穩(wěn)定運行保駕護航。

3.4客戶電力需求預(yù)測

在未來智能電網(wǎng)中，通過大數(shù)據(jù)分析電網(wǎng)客戶的用電數(shù)據(jù)，預(yù)測區(qū)域用電和大客戶用電需求變化趨勢，針對客戶需求提前制訂高質(zhì)量的服務(wù)計劃，提升社會滿意度。

4　結(jié) 語

Hadoop充分發(fā)揮集群的計算和存儲能力，完成海量數(shù)據(jù)的實時處理。在未來的智能電網(wǎng)中，大數(shù)據(jù)分析可以應(yīng)用到電網(wǎng)運行全景可視化、電網(wǎng)負載預(yù)測、設(shè)備故障趨勢預(yù)測和客戶需求趨勢預(yù)測等需求，充分挖掘海量數(shù)據(jù)的價值，為智能電網(wǎng)提供技術(shù)參考。

主要參考文獻

［1］［英］維克托·邁爾-舍恩伯格，肯尼思·庫克耶.大數(shù)據(jù)時代：生活、工作與思維的大變革［M］.盛楊燕，周濤，譯.杭州：浙江人民出版社，2012.

10.3969/j.issn.1673 - 0194.2015.20.032

TP308；TP311.13

A

1673-0194（2015）20-0041-01

2015-09-07