基于Hadoop的市政設施監控大數據分析

陳偉鋒++張萍

摘 要：在目前市政設施監控過程中，有效地應用大數據分析技術，不但可以提高監控的整體效果，同時還能夠實現監控數據的快速處理，為市政設施監控提供完善的技術支持和技術保證。結合當前大數據技術的發展實際，Hadoop作為一種有效的大數據技術，在市政設施監控中能夠得到有效的應用，對滿足市政設施監控需要和提高市政設施監控效果具有重要作用。為此，應對Hadoop概念及內容進行全面分析，并了解和掌握Hadoop的體系架構，最后根據Hadoop技術實際，構建基于Hadoop的市政設施監控系統。

關鍵詞：Hadoop 市政設施監控 大數據

中圖分類號：TP31 文獻標識碼：A 文章編號：1674-098X（2016）10（b）-0076-02

Hadoop作為一種有效的大數據技術，在數據處理和網絡系統中得到了有效的應用，對提高大數據分析處理效果具有重要作用。根據Hadoop技術的概念及內容實際，掌握Hadoop的體系架構特點，對于構建大數據處理系統是十分重要的。結合市政設施監控系統的數據處理需求，應用Hadoop構建市政設施監控系統，對于提高市政設施監控系統的運行效果和滿足市政設施監控系統的數據處理需要具有重要意義。為此，應開展Hadoop大數據系統的研究。

1 Hadoop的概念及內容

Hadoop是一個用java語言實現的軟件框架，在由大量計算機組成的集群中運行海量數據的分布式計算，它可以讓應用程序支持上千個節點和PB級別的數據。Hadoop是項目的總稱，主要是由分布式存儲（HDFS）、分布式計算（MapReduce）等組成。

Hadoop作為一種有效的大數據處理技術，其主要優點分為4個方面。

1.1 可擴展

Hadoop技術在實際應用過程中，可以根據所構建系統的需求進行必要的擴展。具體功能可以在原有大數據處理的基礎上進行增減，以滿足所構建系統的實際需求為準。這一功能是Hadoop的主要優勢，擴大了Hadoop技術的應用范圍。

1.2 經濟

Hadoop技術在應用過程中，整體應用成本較低。由于Hadoop具備了較好的可擴展性，在系統的構建中可以作為基礎技術進行應用，在Hadoop基礎上有效接入其他系統，避免了系統重建導致的資源浪費，有效地提高了系統的構建效果。

1.3 可靠

Hadoop技術在多年的應用過程中，被證明是一種可靠的大數據處理技術。這種技術不但可以有效地提高數據的處理速度，同時還能與其他系統進行無縫對接，提高信息數據的處理能力，滿足系統運算和數據處理需要。因此，較高的可靠性保證了Hadoop能夠得到有效應用。

1.4 高效

Hadoop技術的突出優點是數據處理速度較快。其不但可以在較短的時間內加快數據處理速度，同時也會根據系統的現實需求制定個性化的數據處理模式，提高系統的響應速度，保證數據處理速度能夠達到預期目標，提高數據處理的整體效果。

2 Hadoop的體系架構

從Hadoop技術的應用來看，通常Hadoop的體系架構比較特殊，除了要設定功能模塊之外，還要使模塊具備一定的接入特性。

具體的功能模塊特點如下。

Pig是一個基于Hadoop的大規模數據分析平臺，Pig為復雜的海量數據并行計算提供了一個簡易的操作和編程接口。

Chukwa是基于Hadoop的集群監控系統。

Hive是基于Hadoop的一個工具，提供完整的sql查詢功能，可以將sql語句轉換為MapRedce任務進行運行。

ZooKeeper是高效的、可擴展的協調系統，存儲和協調關鍵共享狀態。

HBase是一個分布式文件系統，有著高容錯性的特點。

MapRedce是一種編程模型，用于大規模數據集的并行運算。

基于對Hadoop的了解，Hadoop在體系架構中用到了多種輔助工具和子系統，在整體體系結構上并不復雜，實現難度較低，具備了與其他系統有效集成的優點。在功能系統構建過程中，基本能夠滿足實際需求，對降低系統構建難度具有重要作用。

同時，Hadoop在體系架構中采取了分層架構的方式，這種模式不但具有一定的突出性，同時還能夠解決功能系統構建過程中存在的系統接入問題。對降低功能系統的接入難度和提高功能系統的接入效果具有重要作用。因此，利用Hadoop構建大數據分析系統是重要措施。

除此之外，Hadoop具備了與其他系統對接的優勢，可以在系統構建過程中，根據系統的實際特點和功能需要，構建相對應的大數據處理系統，提高系統的數據處理能力，保證系統在數據處理過程中，能夠在整體有效性上得到全面提升。

3 基于Hadoop的市政設施監控系統的構建

基于Hadoop的特點以及市政設施監控系統的構建需要，利用Hadoop構建市政設施監控系統，應當做好系統的總體設計和功能設定。

在市政設施監控系統構建過程中，基于Hadoop的特點和優勢，應當采取典型的系統架構模式進行系統構建，并根據Hadoop的系統架構需要對系統結構進行調整，使市政設施監控系統在科學性和合理性上滿足實際需要，提高系統的構建質量。

考慮到市政設施監控系統的數據處理量較大的特點，在應用Hadoop技術之后，應當根據Hadoop的算法對市政設施監控系統的數據進行有效處理，保證市政設施監控系統在數據處理速度上能夠達到預期目標，提高數據處理質量。

在此基礎上，應發揮Hadoop大數據處理技術的優勢，根據市政設施監控的實際特點，設置數據處理功能目標，指導Hadoop大數據處理技術的應用，保證Hadoop大數據處理技術在應用過程中能夠提高數據處理效果。因此，在具體的系統構建中，應突出數據處理速度目標。

在市政設施監控系統中，該系統利用先進的視頻監控、智能識別和信息技術手段，增加可管理空間、時間和范圍，不斷提升管理廣度、深度和精細度。整個系統由信息綜合應用平臺、信號控制系統、視頻監控系統、智能卡口系統、電子警察系統、信息采集系統、信息發布系統等組成。

最后，在系統構建完成之后，應對Hadoop大數據技術構建的監控系統與其他監控系統相對比，重點比對數據處理速度和數據處理量，總結Hadoop技術的優勢，為市政監控系統的構建提供良好的系統支持和技術支持。

4 結語

通過該文的分析可知，在市政設施監控系統構建過程中，有效地應用Hadoop技術，不但可以構建完善的大數據處理中心，同時還能解決市政設施監控系統中存在的數據處理速度慢和數據處理量大的問題。因此，應對Hadoop技術有正確的認識，做到正確分析Hadoop的優勢和特點，并在市政設施監控系統的構建中有效應用Hadoop技術，提高市政設施監控系統的構建效果，滿足市政設施監控系統的構建需要。

參考文獻

[1] 廉捷，周欣，曹偉，等.新浪微博數據挖掘方案[J].清華大學學報：自然科學版，2011（10）：1300-1305.

[2] 何忠育.分布式社會網絡分析支撐系統研究與應用[D].廣東工業大學，2011.

[3] 陳旭.基于社會網絡的WEB輿情系統的研究與實現[D].電子科技大學，2010.

[4] 胡進.復雜網絡上的博弈及其在通信網絡資源管理中的應用[D].華中科技大學，2010.