基于Hadoop云存儲(chǔ)高速公路遠(yuǎn)程視頻監(jiān)控系統(tǒng)的研究與設(shè)計(jì)

( ， 710077)

1 引言

高速公路與其它類型公路相比，具有線型好、設(shè)計(jì)標(biāo)準(zhǔn)高、交通流量大、行車速度快等特點(diǎn)，如不采用先進(jìn)的管理措施，在交通量大、氣候惡劣的情況下，極易發(fā)生交通事故和交通阻塞。為此，需要在一些車流量非常大的高速公路上部署全程的監(jiān)控系統(tǒng)，通過(guò)上述監(jiān)控系統(tǒng)能實(shí)時(shí)對(duì)監(jiān)控路段內(nèi)的交通流量和交通運(yùn)行狀況進(jìn)行監(jiān)視，并能對(duì)所監(jiān)控路段的天氣狀況進(jìn)行檢測(cè)，以便交管部門(mén)能及時(shí)、快速地對(duì)關(guān)鍵路段實(shí)施適時(shí)的交通管理措施，及時(shí)發(fā)現(xiàn)各種異常情況并采取應(yīng)急措施，以保證高速公路高速、安全、經(jīng)濟(jì)地運(yùn)營(yíng)管理。

Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，用戶可在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序，充分利用集群的威力高速運(yùn)算和存儲(chǔ)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(Hadoop Distributed File System，HDFS)。HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的硬件上，而且它能提供高傳輸率來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。HDFS放寬了POSIX的要求，這樣可以流的形式訪問(wèn)文件系統(tǒng)中的數(shù)據(jù)。因而，現(xiàn)如今缺少一種結(jié)構(gòu)簡(jiǎn)單、設(shè)計(jì)合理、安裝布設(shè)方便且使用操作簡(jiǎn)便、使用效果好的基于Hadoop的高速公路遠(yuǎn)程視頻監(jiān)控系統(tǒng)，其能簡(jiǎn)便、快速且有效完成對(duì)高速公路上需監(jiān)控路段的交通流量和交通運(yùn)行狀況進(jìn)行實(shí)時(shí)監(jiān)控。

2 云計(jì)算與云存儲(chǔ)

2.1 云計(jì)算

云計(jì)算是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過(guò)互聯(lián)網(wǎng)來(lái)提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。狹義云計(jì)算指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需資源；廣義云計(jì)算指服務(wù)的交付和使用模式，指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)，也可是其他服務(wù)。它意味著計(jì)算能力也可作為一種商品通過(guò)互聯(lián)網(wǎng)進(jìn)行流通[1]。

2.2 云存儲(chǔ)

云存儲(chǔ)是在云計(jì)算概念上延伸和發(fā)展出來(lái)的，是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。當(dāng)云計(jì)算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲(chǔ)和管理時(shí)[2]，云計(jì)算系統(tǒng)中就需要配置大量的存儲(chǔ)設(shè)備，那么云計(jì)算系統(tǒng)就轉(zhuǎn)變成為一個(gè)云存儲(chǔ)系統(tǒng)，所以云存儲(chǔ)是一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)。

3 基于Hadoop的云存儲(chǔ)系統(tǒng)

3.1 Hadoop簡(jiǎn)介

Hadoop 是一個(gè)對(duì)海量數(shù)據(jù)作出分布式處理的軟件框架，是由Apache基金會(huì)開(kāi)發(fā)管理的，開(kāi)發(fā)者在不需要了解具體的底層細(xì)節(jié)的情況下就可以開(kāi)發(fā)分布式應(yīng)用，充分利用Hadoop 提供的海量數(shù)據(jù)存儲(chǔ)和處理能力[3]。作為一個(gè)開(kāi)源的分布式文件系統(tǒng)，可以部署在很便宜的PC機(jī)器上進(jìn)行集群管理。

3.2 Hadoop系統(tǒng)結(jié)構(gòu)

Hadoop 最初是起源于 Apache Nutch 開(kāi)源網(wǎng)絡(luò)搜索引擎項(xiàng)目的一部分，主要實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng) HDFS 和并行運(yùn)算軟件框架 MapReduce[4]。

隨著人們對(duì)Hadoop的關(guān)注越來(lái)越密切，又開(kāi)發(fā)出一些子項(xiàng)目提供配套服務(wù)，逐漸發(fā)展為如下的一些子項(xiàng)目[5]，如圖1所示。

圖1 Hadoop結(jié)構(gòu)框架

Core：主要是分布式文件系統(tǒng)相關(guān)的一系列的通用 I/O 接口和組件[6]。

Avro：是一種跨語(yǔ)言 RPC 數(shù)據(jù)序列系統(tǒng)，提供持久化的數(shù)據(jù)存儲(chǔ)。

HDFS:具有高容錯(cuò)特性的分布式文件系統(tǒng)，提供集群支撐技術(shù)，由數(shù)據(jù)節(jié)點(diǎn)、名字節(jié)點(diǎn)等核心組件構(gòu)成。

MapReduce:一個(gè)分布式數(shù)據(jù)處理框架，在計(jì)算時(shí)先是把一個(gè)任務(wù)分解為多個(gè)子任務(wù)，這些子任務(wù)分別處理后的結(jié)果再匯總在一塊就是最后的分析結(jié)果。

ZooKeeper:一個(gè)分布式高復(fù)用性的協(xié)調(diào)服務(wù)，主要提供分布式鎖之類的輔助服務(wù)，用于構(gòu)建其他的分布式應(yīng)用程序。

Pig:這是一種數(shù)據(jù)流語(yǔ)言和運(yùn)行環(huán)境框架，主要是用來(lái)檢索非常大的數(shù)據(jù)集合，它的正常運(yùn)行主要依賴于 HDFS 和 MapReduce[7-8]。

ChuKwa:一個(gè)分布式數(shù)據(jù)收集和處理系統(tǒng)，主要是運(yùn)行 HDFS 中存儲(chǔ)數(shù)據(jù)的收集器，然后使用 MapReduce 分析生成數(shù)據(jù)報(bào)告。

Hive：一個(gè)分布式數(shù)據(jù)倉(cāng)庫(kù)，主要功能是來(lái)管理 HDFS 中存儲(chǔ)的數(shù)據(jù)，然后提供了基于 SQL 的查詢語(yǔ)句。

HBase：一個(gè)分布式的基于列存儲(chǔ)的數(shù)據(jù)庫(kù)系統(tǒng)，它使用 HDFS 作為底層存儲(chǔ)，同時(shí)也提供了支持 MapReduce 的批量式計(jì)算和點(diǎn)查詢機(jī)制。

3.3 HDFS 設(shè)計(jì)理念

HDFS是一種通過(guò)流式數(shù)據(jù)訪問(wèn)模式進(jìn)行海量數(shù)據(jù)存儲(chǔ)的基于網(wǎng)絡(luò)的文件系統(tǒng)，用戶可以創(chuàng)建、移動(dòng)、刪除和重命名文件。HDFS的設(shè)計(jì)理念如下[9]：

3.3.1 海量數(shù)據(jù)

海量數(shù)據(jù)指的是大小有幾百GB甚至是幾百TB的數(shù)據(jù)文件，隨著信息化辦公的加劇，數(shù)據(jù)的積累必將越來(lái)越大。

3.3.2 小文件眾多

每個(gè)文件的索引目錄以及塊大約上百個(gè)字節(jié)，如果存儲(chǔ)百萬(wàn)數(shù)量級(jí)的文件，每個(gè)文件占有一個(gè)塊大小，就至少需要百兆的內(nèi)存索引，索引超出了目前單個(gè)磁盤(pán)存儲(chǔ)的能力。

3.3.3 數(shù)據(jù)低延遲訪問(wèn)

HDFS的設(shè)計(jì)是針對(duì)高數(shù)據(jù)吞吐量的，就必然會(huì)以延遲訪問(wèn)為代價(jià)，所以一般要求延遲性低的應(yīng)用不適合。

3.3.4 流式數(shù)據(jù)訪問(wèn)

由于HDFS中的數(shù)據(jù)量級(jí)是TB和PB，這些數(shù)據(jù)不會(huì)經(jīng)常的修改，最常用的就是讀取處理。文件只有一個(gè)寫(xiě)入用戶，操作還在文件末尾進(jìn)行，不支持多個(gè)寫(xiě)入者。

3.3.5 容災(zāi)機(jī)制

HDFS不需要專用的高配置硬件，在一般機(jī)器上就可以完成集群的安裝配置，可以快速對(duì)故障進(jìn)行檢測(cè)和自動(dòng)修復(fù)。

3.3.6 透明性

如果HDFS設(shè)置成本地文件系統(tǒng)，那么讀寫(xiě)分布式資源的程序可以不用修改地讀取本地文件，要做修改的就是配置文件。

4 基于Hadoop云存儲(chǔ)高速公路遠(yuǎn)程視頻監(jiān)控系統(tǒng)的應(yīng)用研究

4.1 采用的技術(shù)方案

圖2 基于Hadoop云存儲(chǔ)的高速公路遠(yuǎn)程視頻監(jiān)控系統(tǒng)方案圖

本系統(tǒng)采用的技術(shù)方案，如圖2所示。包括分別布設(shè)在多個(gè)需監(jiān)控高速公路路段上的視頻監(jiān)控裝置、對(duì)多個(gè)視頻監(jiān)控裝置所采集視頻信息進(jìn)行存儲(chǔ)的云存儲(chǔ)平臺(tái)以及布設(shè)在交通管理部門(mén)監(jiān)控室內(nèi)的上位監(jiān)控裝置，多個(gè)視頻監(jiān)控裝置與云存儲(chǔ)平臺(tái)之間均以無(wú)線通信方式進(jìn)行雙向通信；云存儲(chǔ)平臺(tái)為分布式計(jì)算處理服務(wù)器集群，包括多個(gè)分布式計(jì)算處理服務(wù)器，視頻監(jiān)控裝置與多個(gè)分布式計(jì)算處理服務(wù)器之間均以無(wú)線通信方式進(jìn)行通信；視頻監(jiān)控裝置包括外殼和安裝在外殼內(nèi)的電子線路板，電子線路板上設(shè)置有數(shù)據(jù)處理器及分別與數(shù)據(jù)處理器相接的電源模塊和無(wú)線通信模塊一，外殼上安裝有視頻采集單元，視頻采集單元與對(duì)其所采集視頻信息進(jìn)行去噪與增強(qiáng)處理的視頻處理電路相接，視頻處理電路與數(shù)據(jù)處理器相接；多個(gè)分布式計(jì)算處理服務(wù)器上均接有與無(wú)線通信模塊一進(jìn)行雙向通信的無(wú)線通信模塊二；上位監(jiān)控裝置包括與多個(gè)分布式計(jì)算處理服務(wù)器進(jìn)行雙向通信的上位機(jī)和與上位機(jī)相接的電視墻。

4.2 基于Hadoop云存儲(chǔ)高速公路遠(yuǎn)程視頻監(jiān)控系統(tǒng)的特征

(1)視頻監(jiān)控裝置包括移動(dòng)支架和安裝在移動(dòng)支架上且能帶動(dòng)外殼在水平面上進(jìn)行旋轉(zhuǎn)的電動(dòng)旋轉(zhuǎn)座，外殼安裝在所述電動(dòng)旋轉(zhuǎn)座上。

(2)視頻監(jiān)控裝置包括布設(shè)在外殼上的GPS定位單元，GPS定位單元與數(shù)據(jù)處理器相接。

(3)視頻監(jiān)控裝置包括與數(shù)據(jù)處理器相接的計(jì)時(shí)電路。

(4)上位機(jī)與多個(gè)所述分布式計(jì)算處理服務(wù)器之間均通過(guò)ADSL網(wǎng)絡(luò)進(jìn)行雙向通信。

(5)數(shù)據(jù)處理器為ARM微處理器。

(6)上位機(jī)與對(duì)交通管理人員進(jìn)行調(diào)度的調(diào)度主機(jī)相接。

4.3 基于Hadoop云存儲(chǔ)高速公路遠(yuǎn)程視頻監(jiān)控系統(tǒng)的優(yōu)點(diǎn)

本系統(tǒng)與現(xiàn)有技術(shù)相比具有以下優(yōu)點(diǎn)：

(1)結(jié)構(gòu)簡(jiǎn)單、設(shè)計(jì)合理且安裝布設(shè)及接線方便，投入成本較低。

(2)使用操作簡(jiǎn)便且智能化程度高。

(3)使用效果好且實(shí)用價(jià)值高，能實(shí)時(shí)對(duì)監(jiān)控路段內(nèi)的交通流量和交通運(yùn)行狀況進(jìn)行監(jiān)視，并且通過(guò)所采集視頻信息能對(duì)所監(jiān)控路段的天氣狀況同步進(jìn)行檢測(cè)，以便交管部門(mén)能及時(shí)、快速對(duì)關(guān)鍵路段實(shí)施適時(shí)的交通管理措施，及時(shí)發(fā)現(xiàn)各種異常情況并采取應(yīng)急措施，以保證高速公路高速、安全、經(jīng)濟(jì)地運(yùn)營(yíng)管理。

綜上所述，本系統(tǒng)結(jié)構(gòu)簡(jiǎn)單、設(shè)計(jì)合理、安裝布設(shè)方便且使用操作簡(jiǎn)便、使用效果好，能簡(jiǎn)便、快速且有效地對(duì)需監(jiān)控路段的交通流量和交通運(yùn)行狀況進(jìn)行實(shí)時(shí)監(jiān)控。

5 結(jié)語(yǔ)

針對(duì)上述現(xiàn)有技術(shù)中的不足，提供一種基于Hadoop的高速公路遠(yuǎn)程視頻監(jiān)控系統(tǒng)，其結(jié)構(gòu)簡(jiǎn)單、設(shè)計(jì)合理、安裝布設(shè)方便且使用操作簡(jiǎn)便、使用效果好，能簡(jiǎn)便、快速且有效地對(duì)需監(jiān)控路段的交通流量和交通運(yùn)行狀況進(jìn)行實(shí)時(shí)監(jiān)控 。

[1] 徐強(qiáng),王振江. 云計(jì)算：應(yīng)用開(kāi)發(fā)實(shí)踐[M].北京:機(jī)械工業(yè)出版社,2012：1.

[2] Jadeja Y, Modi K. Cloud computing - concepts, architecture and challenges[J].Computing, Electronics and Electrical Technologies (ICCEET), 2012(3): 877 -880.

[3] 申紅芳，羅四維，趙宏.集群計(jì)算系統(tǒng)的模型結(jié)構(gòu)[J].計(jì)算機(jī)應(yīng)用研究，2004(2)：52-55.

[4] Ghemawat S，Gobioff H， Leung S.The Google File System[C]//In Proceedings of the19th ACM Symposium on Operating Systems Principles.Lake George:NY,2003：3-7.

[5] 汪銳.基于 Hadoop 的公安系統(tǒng)信息存儲(chǔ)平臺(tái)[D].上海：上海交通大學(xué)，2012：15-17.

[6] DeClute G，Varda A， Thompson M. File Index System for Mass Storage Device[M].US：Patent，1991：1.

[7] Rajkumar Buyya.高性能集群計(jì)算[M].北京：電子工業(yè)出版社，2008：10-46.

[8] Gibson G，Nagle D，Amiri K,et al. A Cost-effective，High-bandwidth Storage Architecture[M].ACM：SIGPLAN Notices，1998：3.

[9] 趙姍.集群系統(tǒng)作業(yè)調(diào)度優(yōu)化技術(shù)研究與實(shí)現(xiàn)[D].西安：西北工業(yè)大學(xué)，2006：20-52.