水電設(shè)備狀態(tài)監(jiān)測大數(shù)據(jù)處理技術(shù)研究

曾廣移，鞏 宇，李德華，陳澤陽，彭大鵬

（1.調(diào)峰調(diào)頻發(fā)電有限公司，廣東 廣州510000；2.北京華科同安監(jiān)控技術(shù)有限公司，北京100043）

1 引言

隨著科技的發(fā)展和管理水平的提高，水電設(shè)備狀態(tài)監(jiān)測的廣度和深度不斷加強(qiáng)，數(shù)據(jù)量不斷擴(kuò)大。傳統(tǒng)的設(shè)備狀態(tài)監(jiān)測系統(tǒng)通常單獨(dú)建設(shè)，針對單個(gè)領(lǐng)域，解決某類問題，互相獨(dú)立，彼此間沒有關(guān)聯(lián)。隨著數(shù)字化、智能化水電站建設(shè)的推進(jìn)，要求在電站或者集團(tuán)級成立狀態(tài)監(jiān)測數(shù)據(jù)中心，接入并融合各個(gè)狀態(tài)監(jiān)測子系統(tǒng)數(shù)據(jù)，實(shí)現(xiàn)對設(shè)備狀態(tài)的全方位、多維度的監(jiān)測、分析和評價(jià)，為生產(chǎn)管理決策提供全面、準(zhǔn)確的技術(shù)支撐。

狀態(tài)監(jiān)測系統(tǒng)持續(xù)、高頻地產(chǎn)生各種數(shù)據(jù)，數(shù)據(jù)種類多，數(shù)據(jù)量巨大。如何處理好這些數(shù)據(jù)，發(fā)揮其應(yīng)有作用是一個(gè)巨大的挑戰(zhàn)。傳統(tǒng)的狀態(tài)監(jiān)測系統(tǒng)通常獨(dú)立存儲數(shù)據(jù)，由于受存儲條件限制，一般只保存經(jīng)過加工后的特征數(shù)據(jù)，原始數(shù)據(jù)沒有保存，遺漏了隱藏在原始數(shù)據(jù)中的部分信息，且超過一定時(shí)間的歷史數(shù)據(jù)就會被丟棄，不能實(shí)現(xiàn)設(shè)備全生命周期的狀態(tài)監(jiān)測。雖然近年來大數(shù)據(jù)技術(shù)發(fā)展迅速，在金融、醫(yī)療、消費(fèi)等領(lǐng)域均得到了成功應(yīng)用，但是由于水電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)的特殊性，如果照搬其他領(lǐng)域的大數(shù)據(jù)處理方法很難取得理想的效果。為此，需要全面分析水電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)的特征，根據(jù)數(shù)字化、智能化水電站建設(shè)對狀態(tài)監(jiān)測系統(tǒng)的要求，結(jié)合當(dāng)下成熟的大數(shù)據(jù)技術(shù)，設(shè)計(jì)適合的水電設(shè)備狀態(tài)監(jiān)測大數(shù)據(jù)處理方案。

2 水電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)的特點(diǎn)

大數(shù)據(jù)一般具有“3 V”特征，即規(guī)模大Volume、類型多Variety和價(jià)值密度低Value。水電設(shè)備狀態(tài)監(jiān)測系統(tǒng)測點(diǎn)多，數(shù)據(jù)產(chǎn)生頻度高，類型眾多，具有典型的大數(shù)據(jù)特征，是名副其實(shí)的大數(shù)據(jù)，同時(shí)又超越了普適的大數(shù)據(jù)概念，具有其他行業(yè)所無法比擬的體量及內(nèi)涵。

（1）規(guī)模大：水電設(shè)備狀態(tài)監(jiān)測系統(tǒng)測點(diǎn)眾多（單個(gè)電站的測點(diǎn)以數(shù)萬計(jì)），數(shù)據(jù)產(chǎn)生頻率高（通常為秒級甚至毫秒級），且為全天候不間斷采集，數(shù)據(jù)量巨大。

（2）類型多：水電站設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)來源廣，數(shù)據(jù)類型復(fù)雜，既有結(jié)構(gòu)化數(shù)據(jù)，也有半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

（3）價(jià)值密度低：這個(gè)特點(diǎn)在水電設(shè)備狀態(tài)監(jiān)測系統(tǒng)中體現(xiàn)得尤為明顯，大量的數(shù)據(jù)為設(shè)備正常運(yùn)行的狀態(tài)數(shù)據(jù)，對分析和評價(jià)設(shè)備狀態(tài)意義不大，少部分反映設(shè)備狀態(tài)變化的特征數(shù)據(jù)則隱藏在大數(shù)據(jù)中。

水電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)的這些特征，給數(shù)據(jù)的接入、傳輸、處理、存儲和應(yīng)用均帶來了挑戰(zhàn)，需要制定合適的策略來管理這些數(shù)據(jù)，才能最大限度地發(fā)揮其作用。

3 數(shù)據(jù)接入及遠(yuǎn)程傳輸技術(shù)

在大數(shù)據(jù)背景下，需要構(gòu)建狀態(tài)監(jiān)測數(shù)據(jù)中心，接入各個(gè)狀態(tài)監(jiān)測子系統(tǒng)數(shù)據(jù)。這些數(shù)據(jù)產(chǎn)生頻率高、數(shù)據(jù)量大、類型多，需要系統(tǒng)具有極高的吞吐量、實(shí)時(shí)處理能力及可靠性，才能確保對每一條信息都進(jìn)行處理，并無一遺漏地保存下來。傳統(tǒng)的處理方式是把數(shù)據(jù)直接寫入數(shù)據(jù)庫進(jìn)行存儲，由于前端數(shù)據(jù)產(chǎn)生的速度有可能高于后端數(shù)據(jù)處理的速度，這種方式會造成部分?jǐn)?shù)據(jù)遺漏，從而降低數(shù)據(jù)分析結(jié)論的真實(shí)性和可靠性。

基于消息隊(duì)列（如Kafka，ActiveQM等）的數(shù)據(jù)接入方案可以解決上述問題。該方案將數(shù)據(jù)首先寫入消息隊(duì)列，再由數(shù)據(jù)管理程序存儲到數(shù)據(jù)庫中。消息隊(duì)列具有緩存機(jī)制，已經(jīng)寫入數(shù)據(jù)庫的消息會被清除，尚未寫入的數(shù)據(jù)緩存在消息隊(duì)列中。采用這種機(jī)制，在進(jìn)行海量設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)實(shí)時(shí)處理時(shí)，可以解決前端監(jiān)測數(shù)據(jù)產(chǎn)生速度快，而實(shí)時(shí)處理速度跟不上，導(dǎo)致數(shù)據(jù)丟失的問題。同時(shí)，引入消息隊(duì)列之后，后端處理速度就不會影響前端監(jiān)測數(shù)據(jù)的接入，解除數(shù)據(jù)接入和數(shù)據(jù)處理環(huán)節(jié)的耦合，系統(tǒng)各組件異步運(yùn)行，增加系統(tǒng)可靠性。

在進(jìn)行數(shù)據(jù)遠(yuǎn)距離傳輸時(shí)，可以利用消息隊(duì)列機(jī)制控制數(shù)據(jù)的傳輸。在某些情況下，狀態(tài)監(jiān)測系統(tǒng)會突然產(chǎn)生大量數(shù)據(jù)（如故障發(fā)生時(shí)的快速錄波數(shù)據(jù)），由于傳輸帶寬有限，如果這些數(shù)據(jù)不加處理就直接進(jìn)行傳輸，有可能因?yàn)樗查g數(shù)據(jù)傳輸量過大而導(dǎo)致網(wǎng)絡(luò)癱瘓。采用消息隊(duì)列機(jī)制，數(shù)據(jù)管理程序可以根據(jù)帶寬的情況，控制每次數(shù)據(jù)傳輸量，未被傳輸?shù)臄?shù)據(jù)被暫存在消息隊(duì)列中，在帶寬空閑時(shí)再傳輸。這樣的處理方式，當(dāng)數(shù)據(jù)以井噴的方式產(chǎn)生時(shí)，仍然可以確保數(shù)據(jù)能夠穩(wěn)定、完整地進(jìn)行傳輸。

圖1 基于消息隊(duì)列的數(shù)據(jù)接入技術(shù)

4 數(shù)據(jù)存儲策略

在大數(shù)據(jù)背景下，設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)的存儲策略不僅要能讓數(shù)據(jù)完整地“存起來”，更要能讓數(shù)據(jù)“用起來，用得好”。在數(shù)據(jù)存儲技術(shù)如此發(fā)達(dá)的今天，將數(shù)據(jù)完整保存起來已經(jīng)不是難事，但是“存起來”不等于能“用起來，用得好”。大量存儲下來的數(shù)據(jù)不能用，或者不好用，這些數(shù)據(jù)就是毫無價(jià)值的垃圾數(shù)據(jù)，反而會成為生產(chǎn)管理工作的負(fù)擔(dān)。因此，數(shù)據(jù)存儲策略的制定，既要確保數(shù)據(jù)能夠全面、完整地保存，同時(shí)也要考慮各種應(yīng)用對數(shù)據(jù)的需求，能對數(shù)據(jù)訪問做出快速的反應(yīng)。

傳統(tǒng)的狀態(tài)監(jiān)測系統(tǒng)通常采用企業(yè)級關(guān)系數(shù)據(jù)庫來存儲數(shù)據(jù)，數(shù)據(jù)存儲量小，存儲間隔長（通常是分鐘級以上），一般只存儲重要的特征數(shù)據(jù)，且經(jīng)過一段時(shí)間后，歷史數(shù)據(jù)通常會被丟棄。這種存儲方式會造成大量的信息遺漏，不能實(shí)現(xiàn)設(shè)備全生命周期的分析及評價(jià)。因此，需要根據(jù)狀態(tài)監(jiān)測數(shù)據(jù)的特點(diǎn)，結(jié)合各種數(shù)據(jù)庫的優(yōu)缺點(diǎn)，以及當(dāng)前方興未艾的大數(shù)據(jù)技術(shù)，構(gòu)建一套更為合適的數(shù)據(jù)存儲體系。

4.1 各種數(shù)據(jù)庫優(yōu)缺點(diǎn)分析

（1）關(guān)系型數(shù)據(jù)庫：關(guān)系型數(shù)據(jù)庫通過構(gòu)建關(guān)系模型來組織并存儲數(shù)據(jù)，由二維表格及其相互關(guān)系組成，主要用于存儲穩(wěn)定、永久的數(shù)據(jù)。關(guān)系型數(shù)據(jù)庫構(gòu)建了數(shù)據(jù)（測點(diǎn)）之間的關(guān)系，數(shù)據(jù)存取的同時(shí)也存取了它們之間的關(guān)系，便于人們理解和應(yīng)用；同時(shí)，關(guān)系數(shù)據(jù)庫提供了標(biāo)準(zhǔn)的SQL查詢，便于對數(shù)據(jù)進(jìn)行訪問。其缺點(diǎn)是在海量存儲的情況下，數(shù)據(jù)存取速度慢。另外，關(guān)系數(shù)據(jù)庫單個(gè)數(shù)據(jù)表的存儲維度有限，不適用于有大量測點(diǎn)的應(yīng)用場景。

（2）實(shí)時(shí)數(shù)據(jù)庫：實(shí)時(shí)數(shù)據(jù)庫是采用實(shí)時(shí)數(shù)據(jù)模型建立起來的數(shù)據(jù)庫，用于處理不斷更新、快速變化的數(shù)據(jù)，主要應(yīng)用于工業(yè)監(jiān)控領(lǐng)域，如電力、石化、鋼鐵等工業(yè)領(lǐng)域的監(jiān)控。實(shí)時(shí)數(shù)據(jù)庫的優(yōu)點(diǎn)是存取快速，每秒的存取速度可達(dá)100萬個(gè)數(shù)據(jù)點(diǎn)；同時(shí)，實(shí)時(shí)數(shù)據(jù)庫具有在線壓縮機(jī)制，能夠?qū)?shù)據(jù)進(jìn)行壓縮存儲，最大限度降低磁盤占用空間；此外，實(shí)時(shí)數(shù)據(jù)庫是高維數(shù)據(jù)庫，可以支持10萬個(gè)以上測點(diǎn)的存儲。這些優(yōu)點(diǎn)，使得實(shí)時(shí)數(shù)據(jù)庫非常適用來存儲設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)。但是實(shí)時(shí)數(shù)據(jù)庫采用的是“＜時(shí)間+數(shù)值＞”的列存儲機(jī)制，無法存儲橫向測點(diǎn)之間的邏輯關(guān)系，因此無法像關(guān)系數(shù)據(jù)庫那樣通過邏輯關(guān)系來對數(shù)據(jù)進(jìn)行條件查詢。這個(gè)缺點(diǎn)極大地限制了實(shí)時(shí)數(shù)據(jù)庫的應(yīng)用。

（3）內(nèi)存數(shù)據(jù)庫：內(nèi)存數(shù)據(jù)庫利用內(nèi)存的讀寫速度比磁盤快的特點(diǎn)，將數(shù)據(jù)放在內(nèi)存中直接進(jìn)行操作。內(nèi)存數(shù)據(jù)庫可模仿關(guān)系數(shù)據(jù)庫建立表結(jié)構(gòu)和索引，以便對數(shù)據(jù)進(jìn)行管理。相比從磁盤上訪問，內(nèi)存數(shù)據(jù)庫能夠極大地提高數(shù)據(jù)的存取速度。但是由于內(nèi)存空間有限，內(nèi)存數(shù)據(jù)庫的數(shù)據(jù)存儲量受到限制；另外，在機(jī)器關(guān)機(jī)后，內(nèi)存中的數(shù)據(jù)將不復(fù)存在。內(nèi)存數(shù)據(jù)庫的特點(diǎn)，使得其適用于對數(shù)據(jù)進(jìn)行緩存，用于實(shí)時(shí)顯示、快速計(jì)算、預(yù)警報(bào)警等低延時(shí)的應(yīng)用場景。

（4）文檔數(shù)據(jù)庫：文檔數(shù)據(jù)庫以文檔作為處理信息的基本單位，一個(gè)文檔相當(dāng)于關(guān)系數(shù)據(jù)庫中的一條記錄。文檔數(shù)據(jù)庫適用于存儲半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，如報(bào)告、圖像、音頻、視頻等。

4.2 狀態(tài)監(jiān)測大數(shù)據(jù)存儲策略

在大數(shù)據(jù)背景下，使用單一數(shù)據(jù)庫來對設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)進(jìn)行管理及存儲很難取得理想效果。單一數(shù)據(jù)庫，比如關(guān)系數(shù)據(jù)庫或?qū)崟r(shí)數(shù)據(jù)庫，均可滿足將數(shù)據(jù)“存起來”這個(gè)要求，但是要滿足各種應(yīng)用場景，對各個(gè)應(yīng)用軟件的數(shù)據(jù)需求做出快速反應(yīng)，實(shí)現(xiàn)“用得好”這個(gè)目標(biāo)卻并非易事。為此，可以聯(lián)合多種數(shù)據(jù)庫，構(gòu)建數(shù)據(jù)庫群來存儲數(shù)據(jù)，互相取長補(bǔ)短，實(shí)現(xiàn)狀態(tài)監(jiān)測數(shù)據(jù)既“存起來”，又“用得好”這兩個(gè)目標(biāo)。

如圖2所示，在多種數(shù)據(jù)庫聯(lián)合存儲的方案中，系統(tǒng)根據(jù)數(shù)據(jù)特征、作用以及各種應(yīng)用的數(shù)據(jù)需求，對數(shù)據(jù)進(jìn)行分類存儲。實(shí)時(shí)數(shù)據(jù)庫用于存儲狀態(tài)監(jiān)測歷史數(shù)據(jù)，充分發(fā)揮實(shí)時(shí)數(shù)據(jù)庫存儲速度快、高效壓縮的優(yōu)勢，將全部數(shù)據(jù)（包括特征數(shù)據(jù)和原始數(shù)據(jù)）進(jìn)行存儲，保證數(shù)據(jù)存儲的完整性；關(guān)系數(shù)據(jù)庫用于存儲分析統(tǒng)計(jì)結(jié)果、評價(jià)及診斷結(jié)論等，能夠在保存數(shù)據(jù)的同時(shí)保存它們之間的邏輯關(guān)系，便于后續(xù)的查詢及應(yīng)用；內(nèi)存數(shù)據(jù)庫用于緩存一定時(shí)間的數(shù)據(jù)，把部分常用的數(shù)據(jù)載入內(nèi)存庫中，可以充分發(fā)揮內(nèi)存數(shù)據(jù)庫存取快速的特點(diǎn)，為應(yīng)用提供快速的數(shù)據(jù)訪問功能；文件數(shù)據(jù)庫則專門用于存儲報(bào)表、圖片、視頻、音頻等半結(jié)構(gòu)化和非結(jié)構(gòu)數(shù)據(jù)。

5 數(shù)據(jù)預(yù)處理技術(shù)

水電設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)量巨大，但價(jià)值密度低，如何將有價(jià)值的信息從數(shù)據(jù)的汪洋大海中挖掘出來是一個(gè)難題。一個(gè)普遍的認(rèn)識誤區(qū)是：當(dāng)把全部的數(shù)據(jù)都存儲起來后，便可以實(shí)現(xiàn)任何想要功能。但是，如果數(shù)據(jù)沒有經(jīng)過處理就進(jìn)行存儲，或者存儲后沒有再進(jìn)行加工，直接對巨量數(shù)據(jù)進(jìn)行查詢和檢索，系統(tǒng)的反應(yīng)會極其緩慢，再好的應(yīng)用架構(gòu)設(shè)計(jì)也不能解決這個(gè)問題。因此，采用合適的計(jì)算框架，對狀態(tài)監(jiān)測大數(shù)據(jù)進(jìn)行預(yù)處理，提取有價(jià)值的信息，將大數(shù)據(jù)由“大”變“小”，是狀態(tài)監(jiān)測數(shù)據(jù)“用得好”的關(guān)鍵所在。

圖2 數(shù)據(jù)存儲策略

狀態(tài)監(jiān)測大數(shù)據(jù)的預(yù)處理可以從以下3個(gè)方面進(jìn)行（圖 3）：

圖3 數(shù)據(jù)預(yù)處理架構(gòu)

（1）流式計(jì)算：利用分布式流式計(jì)算框架（如Storm等），對狀態(tài)監(jiān)測系統(tǒng)傳送過來的實(shí)時(shí)數(shù)據(jù)進(jìn)行處理、計(jì)算，得出計(jì)算結(jié)果。流式計(jì)算要求事先設(shè)計(jì)好數(shù)據(jù)的處理流程節(jié)點(diǎn)，當(dāng)有新數(shù)據(jù)產(chǎn)生時(shí)按照既定流程對數(shù)據(jù)進(jìn)行處理。流式計(jì)算適用于對當(dāng)前數(shù)據(jù)進(jìn)行簡單運(yùn)算和分析，如閾值報(bào)警判斷，實(shí)時(shí)狀態(tài)評估、模式識別等。

（2）內(nèi)存計(jì)算：利用分布式內(nèi)存計(jì)算框架（如Spark等），對數(shù)據(jù)進(jìn)行處理、計(jì)算，得出結(jié)果。由于是基于內(nèi)存進(jìn)行計(jì)算，數(shù)據(jù)及中間結(jié)果都放在內(nèi)存中，減少了磁盤的I/O操作，因此，內(nèi)存計(jì)算比起基于磁盤的計(jì)算具有明顯的速度優(yōu)勢。內(nèi)存計(jì)算適用于需要快速計(jì)算和復(fù)雜迭代的應(yīng)用場景（如神經(jīng)網(wǎng)絡(luò)運(yùn)算）等。在運(yùn)算前，需要將計(jì)算用到的歷史數(shù)據(jù)從實(shí)時(shí)數(shù)據(jù)庫中載入，再在內(nèi)存中進(jìn)行運(yùn)算。平時(shí)也可將部分常用的數(shù)據(jù)存儲到內(nèi)存中，以提高系統(tǒng)的反應(yīng)速度。

（3）磁盤計(jì)算：磁盤計(jì)算的數(shù)據(jù)及其中間結(jié)果均存入磁盤（如Map/Reduce等），由于是基于磁盤I/O操作的運(yùn)算，其運(yùn)算效率較低。硬盤計(jì)算適用于數(shù)據(jù)量大，運(yùn)算時(shí)間較長，對運(yùn)算效率要求不高的應(yīng)用場景。

狀態(tài)監(jiān)測系統(tǒng)需要綜合運(yùn)用流式計(jì)算、內(nèi)存計(jì)算及硬盤計(jì)算等多種手段對數(shù)據(jù)進(jìn)行預(yù)處理，從大數(shù)據(jù)中提取出有價(jià)值的信息，才能對各種數(shù)據(jù)需求做出快速反應(yīng)，達(dá)到最佳效果。此外，由于計(jì)算結(jié)果數(shù)據(jù)量通常較小，適合于存儲到關(guān)系數(shù)據(jù)庫中，便于檢索及查詢。

6 基于Hadoop的狀態(tài)監(jiān)測大數(shù)據(jù)處理框架

6.1 Hadoop的優(yōu)點(diǎn)

Hadoop是一個(gè)由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，是當(dāng)前比較成熟大數(shù)據(jù)處理技術(shù)，已經(jīng)在醫(yī)療、金融、消費(fèi)等領(lǐng)域得到廣泛應(yīng)用。它實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS被設(shè)計(jì)用來部署在低廉的硬件上，并提供高吞吐量數(shù)據(jù)訪問，適合那些有著超大數(shù)據(jù)集的應(yīng)用場景。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力進(jìn)行高速運(yùn)算和存儲。Hadoop架構(gòu)的優(yōu)點(diǎn)包括：

（1）高可靠性：Hadoop按位存儲和處理數(shù)據(jù)，且采用冗余副本策略，可存儲數(shù)據(jù)的多個(gè)副本，在部分節(jié)點(diǎn)故障的情況下能保持?jǐn)?shù)據(jù)的完整性。

（2）高擴(kuò)展性：Hadoop在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。

（3）高效性：Hadoop能夠在節(jié)點(diǎn)之間動態(tài)地移動數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動態(tài)平衡，因此處理速度非常快。

（4）高容錯性：Hadoop能夠自動保存數(shù)據(jù)的多個(gè)副本，并且能夠自動將失敗的任務(wù)重新分配。

鑒于Hadoop的特點(diǎn)及其優(yōu)勢，它非常適合于用來作為狀態(tài)監(jiān)測大數(shù)據(jù)處理的基礎(chǔ)架構(gòu)。

6.2 Hadoop子項(xiàng)目

Hadoop框架最核心的設(shè)計(jì)包括HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。其子項(xiàng)目包括：

（1）HDFS：分布式文件管理系統(tǒng)，是 Hadoop的核心子項(xiàng)目，它可以將數(shù)據(jù)存儲到多個(gè)節(jié)點(diǎn)上，同時(shí)存儲數(shù)據(jù)的多個(gè)副本，具有高容錯、高可靠性、高可擴(kuò)展性、高吞吐率等特征。

（2）MapReduce：分布式數(shù)據(jù)處理模型，用于大規(guī)模數(shù)據(jù)集（大于1 TB）的多節(jié)點(diǎn)并行運(yùn)算。

（3）Hbase：分布式數(shù)據(jù)庫，可以對數(shù)據(jù)進(jìn)行分布式管理及存儲，具有存取快速、高可靠性、高擴(kuò)展性等特點(diǎn)。

（4）Hive：基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。

圖4 Hadoop子項(xiàng)目

6.3 基于Hadoop的狀態(tài)監(jiān)測大數(shù)據(jù)處理架構(gòu)

本文以Hadoop作為基本架構(gòu)，融合流式處理、內(nèi)存計(jì)算、多數(shù)據(jù)庫聯(lián)合存儲等技術(shù)，設(shè)計(jì)一套適合狀態(tài)監(jiān)測大數(shù)據(jù)處理的技術(shù)方案，如圖5所示。

圖5 基于Hadoop的大數(shù)據(jù)處理架構(gòu)

方案以分布式文件系統(tǒng)HDFS作為數(shù)據(jù)存儲的基礎(chǔ)，利用其分布式存儲、讀取快速、可擴(kuò)展性好、高度可靠的優(yōu)點(diǎn)，為數(shù)據(jù)存儲提供基礎(chǔ)服務(wù)。報(bào)表、聲音、圖像等半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)直接存儲在HDFS中。在HDFS的基礎(chǔ)上，部署HBase數(shù)據(jù)庫，存儲設(shè)備狀態(tài)數(shù)據(jù)，包括全部特征數(shù)據(jù)和原始數(shù)據(jù)等。HBase是一種分布式，面向列、可伸縮的數(shù)據(jù)庫，可為數(shù)據(jù)的存儲提供快速存取服務(wù)。通過構(gòu)建“＜時(shí)間，數(shù)值＞”的存儲模式，實(shí)現(xiàn)類似于實(shí)時(shí)數(shù)據(jù)庫的功能，但比實(shí)時(shí)數(shù)據(jù)庫具有更好的可擴(kuò)展性和更高的可靠性。方案部署分布式內(nèi)存數(shù)據(jù)庫（Redis）和內(nèi)存計(jì)算框架（Spark），從HBase中讀取數(shù)據(jù)，加載進(jìn)內(nèi)存中，利用Spark進(jìn)行分布式計(jì)算，對數(shù)據(jù)進(jìn)行預(yù)處理，為高級應(yīng)用提供有價(jià)值的數(shù)據(jù)。方案部署關(guān)系數(shù)據(jù)（Orcale）來存儲流式處理及內(nèi)存計(jì)算結(jié)果，便于應(yīng)用程序的查詢和訪問。

方案設(shè)置數(shù)據(jù)服務(wù)層為應(yīng)用程序提供數(shù)據(jù)服務(wù)，實(shí)現(xiàn)應(yīng)用層和數(shù)據(jù)存儲層的分離，高級應(yīng)用無需關(guān)心數(shù)據(jù)存儲的細(xì)節(jié)，有利于提高應(yīng)用的獨(dú)立性和可擴(kuò)展性。

6.4 基于Hadoop的狀態(tài)監(jiān)大測數(shù)據(jù)處理架構(gòu)的優(yōu)點(diǎn)

（1）高吞吐量：系統(tǒng)采用分布式消息隊(duì)列、分布式流式計(jì)算以及分布式存儲（HDFS、HBase）等技術(shù)，多節(jié)點(diǎn)并行對數(shù)據(jù)進(jìn)行處理，使得系統(tǒng)具有極高的吞吐量，能夠滿足狀態(tài)監(jiān)測大數(shù)據(jù)實(shí)時(shí)、并發(fā)的處理要求。

（2）高可靠性：系統(tǒng)采用消息隊(duì)列機(jī)制，實(shí)現(xiàn)前端數(shù)據(jù)接入及后端數(shù)據(jù)處理的分離；設(shè)置數(shù)據(jù)服務(wù)層，實(shí)現(xiàn)應(yīng)用和數(shù)據(jù)存儲的分離。這些措施解除了各個(gè)模塊之間的耦合，有利于提高系統(tǒng)的可靠性。此外，Hadoop采用冗余副本策略，可以存儲數(shù)據(jù)的多個(gè)副本，在某些節(jié)點(diǎn)出現(xiàn)故障的情況下仍然能夠保證數(shù)據(jù)的完整性，保證系統(tǒng)的正常運(yùn)行，具有極高的可靠性。

（3）高效性：系統(tǒng)聯(lián)合多節(jié)點(diǎn)并行對數(shù)據(jù)進(jìn)行處理，并采用了內(nèi)存計(jì)算技術(shù)，極大地提高了數(shù)據(jù)處理速度。

（4）高擴(kuò)展性：Hadoop可以根據(jù)需要擴(kuò)展其計(jì)算和存儲節(jié)點(diǎn)，且擴(kuò)展不影響之前的數(shù)據(jù)存儲，具有很好的可擴(kuò)展性。

7 結(jié)語

水電設(shè)備狀態(tài)監(jiān)測系統(tǒng)測點(diǎn)眾多，數(shù)據(jù)產(chǎn)生頻率高，數(shù)據(jù)量巨大，給數(shù)據(jù)的處理、存儲、分析帶來了挑戰(zhàn)。本文對狀態(tài)監(jiān)測系統(tǒng)數(shù)據(jù)特點(diǎn)進(jìn)行了分析，對數(shù)據(jù)接入、存儲及預(yù)處理技術(shù)進(jìn)行了研究，提出了一套基于Hadoop的水電設(shè)備狀態(tài)監(jiān)測大數(shù)據(jù)的處理方案。方案綜合利用消息隊(duì)列、流式計(jì)算、內(nèi)存計(jì)算技術(shù)對數(shù)據(jù)進(jìn)行處理，并根據(jù)數(shù)據(jù)特點(diǎn)以及各種數(shù)據(jù)庫的優(yōu)缺點(diǎn)，綜合運(yùn)行實(shí)時(shí)數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫、文件數(shù)據(jù)庫對數(shù)據(jù)進(jìn)行管理、存儲，最終通過數(shù)據(jù)服務(wù)層對外提供數(shù)據(jù)服務(wù)，實(shí)現(xiàn)水電設(shè)備狀態(tài)監(jiān)測大數(shù)據(jù)“存起來”、“用得好”的目標(biāo)。