基于Hadoop大數據技術的視頻監控系統的設計

諶江波

摘 要：大數據時代，“信息爆炸”給傳統的視頻監控提出了巨大的挑戰，隨著科技的發展，采用以Hadoop大數據技術的視頻監控系統可以克服傳統視頻監控所帶來的問題，數據分析和數據挖掘的利用在不同領域改變著我們的生活。

關鍵詞：Hadoop；大數據；視頻監控

1 大數據的背景

Google研發的計算機AlphaGo戰勝了韓國棋手李世石，這件事不僅是人類在機器智能領域取得的一個里程碑式的勝利，而且標志著一個新的時代——智能時代的開始。

計算機之所以能戰勝人類，它不是靠邏輯推理，而是靠大數據和智能算法。在數據方面，Google使用了幾十萬盤圍棋高手之間對弈的數據來訓練AlphaGo，這是它獲得所謂的“智能”的原因。這些算法已經在其他智能應用的領域獲得了成功。今天，計算機已經開始完成很多過去必須用人的智力才能夠完成的任務，比如：醫療診斷，閱讀和處理文件，智能電網，互聯網，智能交通、提前預測犯罪行為、懷孕預測等等。

2 大數據關鍵技術

網絡視頻監控實現最大的價值主要是利用大數據技術，其大數據的來源是視頻監控數據，采用數據分析和數據挖掘的技術，可以更大程度的實現其潛在價值。大數據的基本處理流程與傳統數據處理流程有一定的差異，主要區別在于：因為大量的非結構化數據的存在，大數據就要在每個部分利用并行處理、分布式存儲（HDFS）等技術來處理。大數據所采用的關鍵技術包括：數據采集技術（ETL）、分布式文件系統（HDFS）、分布式數據庫（HBase）、并行計算處理（MapReduce）、大數據的內容分析等。如圖1所示。

3 Hadoop大數據技術

Hadoop作為開源分布式存儲和計算平臺，應用非常廣泛，百度、亞馬遜、Facebook、淘寶等都在用這項技術，HDFS分布式文件系統和MapReduce分布式計算技術都是通過Google產生的，Hadoop是它們的開源平臺，不論是分布式存儲，還是分布式計算架構都要是高要求、高標準，高可靠性、高性能的。

Hadoop的分布式文件系統HDFS主要負責各個節點的數據存儲，實現高效的數據讀寫過程。首先，一個應用程序被Hadoop的MapReduce編程模型和框架所分解，變成眾多微小的工作單元，然后將這些微小的單元分配到集群節點執行，在MapReduce架構下，一個準備提交的應用程序稱為作業（Job），從一個作業劃分出的、運行于各個計算節點的工作單元稱為任務（Task）。

Google的MapReduce模型是由Hadoop來完成的，Google的MapReduce最開始用在的地方是在搜索引擎里的并行計算，它的兩個主要部分是：Map（映射）和Reduce（化簡），MapReduce就是由這兩個詞組合而成的，因此就變成了一個分布式計算框架。在實際過程中，并行計算非常繁雜，而且有些還是運行在龐大的集群上，所以MapReduce就可以將他們抽象出來到這兩個函數中，Map和Reduce進行下一步的處理。MapReduce工作思路是將未處理的數據集（或任務）分解為多個小的數據集（或小任務）然后發送到集群節點中執行，每臺計算機節點再處理自己的那部分信息，MapReduce則迅速整合這些反饋并形成答案，簡單說就是任務的分解和結果的合成。如圖2所示。

輸入數據->Map分解任務->執行并返回結果->Reduce匯總結果->輸出結果

4 大數據與視頻監控

目前全國各個城市都建設了大量的視頻監控系統，如何在海量的攝像頭及錄像數據中預防、發現、調查惡性事件變得非常重要。行業預期通過對視頻數據進行分析，挖掘視頻數據中可疑人員的人臉、行為軌跡、動作、打扮及車輛車牌、車身顏色、號碼、軌跡、違章等信息，以實現對未發事件的提前預防、正發生事件的應急響應及已發事件的快速調查。

海量和非結構化數據是視頻監控數據的兩個核心的特征。隨著視頻網絡化、移動化、高清化、數字化的發展，視頻監控數據是越來越巨大，而且是呈指數級別增加的趨勢。以音視頻及圖片為主的非結構化數據增長的趨勢尤為明顯，傳統的視頻監控數據管理越來越難以滿足這個時代大數據的要求。

4.1 高清視頻監控尚存在的問題

4.1.1 海量數據如何存儲和拓展的問題

視頻監控系統24小時工作的特征使其源源不斷地產生大量數據，高清視頻監控系統視頻數據流量更大，傳統集中存儲模式下，需要基于現狀并考慮未來一段時間擴展需求進行部署，這樣的部署不利于系統后期擴大存儲的設計。視頻監控系統的存儲和拓展必須能夠隨著技術的進步而動態的，而且可以保持現有的系統不容易損失嚴重。存儲若采用分布式存儲架構，則可以進行靈活地擴展部署。

4.1.2 海量數據如何計算和分析的問題

海量視頻數據智能分析的有效性將是未來大型安防監控系統的重要指標。對于地鐵、機場及平安城市等公共安全監控系統，一旦發生事故，成千上萬的攝像機錄像需要檢索或者回放，即使常態下未發生事故時，也需要對視頻數據進行分析、提取及信息挖掘。傳統集中存儲及串行分析的模式下，效率較低，耗時較多而無法滿足事故發生后快速調研判斷的需求。分布式計算系統架構可以并行同時在多個節點進行計算，以解決此問題。

4.1.3 系統高可靠性和冗余問題

海量視頻存儲，尤其是金融及其他重要應用，存儲周期較長，而一旦發生事故，要求視頻錄像數據保證可用，這要求視頻數據的存儲備份具有高可靠性。傳統視頻存儲利用DVR或NVR進行存儲，并利用存儲備份服務器進行二次備份，操作控制監控設備顯得復雜得多。

4.2 大數據視頻監控優勢

以Hadoop為主的大數據技術，核心特點是分布式存儲架構（HDFS）及分布式計算框架（MapReduce）。Hadoop架構非常適合一次寫入，多次讀取、高效計算、海量數據的存儲及分析計算，而高清網絡視頻監控應用正好契合這些特點，視頻監控資源通過網絡進行分布存儲〔到不同節點〕，視頻數據一旦寫入，很少需要修改，但是可能需要多次讀取〔錄像回放〕，并有高效計算需求〔視頻實時分析及二次分析、檢索等需求〕。

基于Hadoop大數據架構，高清視頻監控系統性能大大增強：

4.2.1 擴展更加靈活

基于Hadoop的分布式系統架構，可根據后期需求進行靈活擴展以滿足不同階段的需求，而不必在初期進行大而全的投資，系統節點的添加和刪除、節點任務的轉移非常靈活。

4.2.2 系統延續性高

虛擬化及大數據技術架構對底層硬件設備的要求并不高，在HDFS的集群中，可靈活進行集群及節點的布置，相關的數據節點所需的硬件價格更加低廉，可靠性可以由軟件技術來保障，可以不需要采用價格昂貴的硬件，使之價格大大的降低。

4.2.3 數據分析和數據挖掘技術效率更高

數據分析能讓我們從大數據中分析出很多有價值的信息。數據挖掘則是讓我們能從大數據中發現某種過程，某種關系，某種模式，某種趨勢，某種規律，進而為領導層提供決策的依據，使得高清視頻監控的使用更加高效。常用的數據挖掘方法主要有分類分析、關聯分析、聚類分析、神經網絡等。

5 結束語

隨著視頻監控的發展，再加上IT新技術的應用與融合，以Hadoop大數據技術在視頻監控系統領域的作用更加突顯，保障著各個領域的安全。

參考文獻

[1]巴麗娟.大數據應用架構下視頻監控云存儲發展[J].中國公共安全（綜合版），2014（9）：131-134.

[2]林青.云領安防大數據時代——安防大數據時代下的視頻監控解決之道[J].中國安防，2013（9）：38-42.

[3]李涵.大數據技術：助力視頻監控邁入“智能安防時代”[J].城市建設理論研究（電子版），2015（9）：3720-3721.

[4]西剎子.安防天下：智能網絡視頻監控技術詳解與實踐[M].清華大學出版社：第1版，2010.

[5]雷玉堂.安防&智能化：視頻監控系統智能化實現方案[M].電子工業出版社：第1版，2013.