基于Hadoop的校園智能視頻分析系統應用

摘 要：隨著校園監控系統的發展促使監控視頻數據呈現出海量增長的趨勢。如何高效可靠地長期存儲監控數據，以及如何對海量視頻數據進行統計分析成為智能視頻監控系統中必須要解決的問題。本文結合校園智能視頻監控需求，針對海量數據存儲和分析的問題，應用云計算和分布式計算技術，闡述了通過Hadoop框架實現海量視頻數據存儲、分析的系統架結構、難點和解決方法。

關鍵詞：Hadoop；云計算；智能視頻分析；大數據

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1674-7712 （2014） 20-0000-01

一、校園視頻監控的困難

校園中安裝的大量攝像監控設備對校園每一個角落進行7天*24小時不間斷的監控，有力地保障了校園內的安全。但是隨著高清攝像頭的普遍使用，監控視頻數據呈現出海量增長的趨勢。例如：1臺高清攝像頭以720P或1080P格式錄制1天的數據量大約為30G～70G，幾百臺攝像頭的數據保存幾周甚至更長時間，其數據量將是巨大的。如何高效可靠地長期存儲監控數據，以及如何對海量視頻數據進行統計分析成為智能視頻監控系統中必須要解決的問題。傳統的集中式存儲視頻數據在使用過程中會遇到很多問題，其中IO能力差問題特別突出，IO能力和機器數量不成正比，難以滿足智能視頻監控系統的容量大、速度快、算法準的要求。

二、Hadoop、MapReduce和Hive

（一）Hadoop框架

Hadoop是一個分布式系統基礎架構。在此框架下，用戶可以充分利用云計算中集群的威力進行高速運算和存儲。Hadoop最核心的設計就是：HDFS和MapReduce。HDFS為海量的數據提供了存儲，則MapReduce為海量的數據提供了計算。

（二）Map/Reduce

Map/Reduce是一種編程模型，用于大規模數據集的并行運算。它的思想是把一堆雜亂無章的數據按照某種特征歸納起來，然后處理并得到最后的結果。Map解析每個數據，提取出相應的key和value。Reduce則在Map基礎上進行計算。

（三）Hive

Hive是基于Hadoop構建的一套數據倉庫分析系統，它提供了SQL查詢方式分析存儲在Hadoop中的數據，可以將結構化的數據文件映射為一張數據庫表，并提供完整的SQL查詢功能。

三、基于Hadoop的校園智能視頻分析系統框架

構建基于Hadoop的校園智能視頻分析系統主要分為三個部分：

（一）通過Hadoop的HDFS平臺分布式存。

（二）通過MapReduce并行化提取和處理視頻內容。

（三）通過Hive SQL/PIg簡化視頻分析處理。

其框架結構如圖1所示。

在整個框架中，HvSink視頻接入負責將各種文件、格式視頻流、以及主流的監控設備的視頻流處理成為hadoop系統能夠處理的格式。HvProcess視頻處理各種算法，可以使用FFmpeg、OpenCV、Tesseract等方案。HvRetrieval視頻檢索借鑒傳統的數據檢索SQL，提供音視頻和傳統數據結合在一起的檢索能力。

四、使用MapReduce實現海量視頻檢索

（一）通過MapReduce實現視頻存儲和處理線性擴展能力

通過MapReduce將存儲在HDFS中的視頻數據化整為零、分片處理，在整個計算過程中進行移動計算而不是進行移動數據，同時通過集群實現并行IO、本地化計算，有效降低了網絡通信量，最終實現了計算能力和機器數量成正比，IO能力和機器數量成正比。MapReduce實現視頻存儲和處理方式如圖2所示。

（二）通過MapReduce實現視頻檢索

使用MapReduce實現海量視頻檢索（分析），需要3個步驟，如圖3所示。

（1）編寫VideoInputFormat通過調用FFmpeg將存儲在HDFS中的視頻內容解析成Key/Value（時間/圖像）。

（2）編寫ImageSerDe將Key/Value轉換成字段，再編寫UDF識別函數識別視頻中的信息。

（3）將識別結果形成SequenceFile文件存儲到HDFS中。

這樣，就實現了非結構化的視頻數據到結構化的識別特征的轉換。

五、結束語

基于Hadoop技術的校園智能視頻分析系統以高擴展性、高容錯性、低成本的形式存儲和處理海量的視頻數據。它通過HDFS實現低成本的分布式存儲，通過MapReduce和Hive高效地實現了視頻提取、分析、處理和檢索，充分地發揮了集群分布式計算的優勢，并且可以實現不同的視頻分析算法，大大地提高了視頻分析處理的效率。

參考文獻：

[1]陳勇.基于Hadoop的海量MP3文件存儲架構[J].計算機應用，2012（06）.

[2]程苗.基于Hadoop的Web日志挖掘[J].計算機工程，2011.

[作者簡介]蔡杰（1977-），男，副教授，研究方向：計算機視覺、物聯網應用、軟件工程?

[基金項目]本文為天津市高等學校科技發展基金計劃項目《基于智能視覺的校園公共安全監控方法的研究》（項目編號：20130817）研究成果。