基于大數據遠程視頻監控Web顯示技術

焦冬冬 尤 穎 賈莉莉

（公安部第三研究所安全防范技術部 上海 200031）

1 大數據時代下的安防監控

全球在2010年正式進入大數據時代，全球數據量大約每兩年翻一番，意味著人類在最近兩年產生的數據量相當于之前產生的全部數據量。爆炸式增長的數據，正推動人類進入大數據的時代。對于視頻監控行業產生的大數據來說，一臺1080P高清網絡攝像機，速度能夠高達每秒 60幀，1.8T的數據就由這樣的攝像機一個月產生，如果攝像頭數量較多或多系統集成造成數據類型較多，長時間存儲的負擔一般企業難以承擔。存儲壓力劇增，一方面對于存儲服務器的承載能力要求很高，除了有能力存儲大量的數據之外，還要面對更多的數據類型，這些數據的來源包括網上交易、網絡社交活動、自動傳感器、移動設備以及科學儀器等等。另一方面對于數據管理尤為重要，數據永遠都在增長之中，當有需求去尋找某一段監控片段的時，必須與智能檢索與智能分析技術相結合，才能更有效的攫取，成本也會相應提高很多。

如果網絡長時間不佳，排隊機制的隊伍會很長，影響Web端視頻顯示的實時性。當采用丟包的方式，雖然從實時顯示的角度看，提高了用戶的實時顯示的體驗度，當用戶需要錄像回放的時候，有些重要的信息就沒有記錄，因為無法判斷哪些應該丟的包數據。基于大數據遠程視頻監控Web顯示技術，利用多地視頻存儲設備和平臺中心組成集散存儲中心，利用Hadoop集散數據分析，在Web端遠程實時顯示最佳視頻。

2 視頻監控顯示技術Web應用

基于大數據遠程視頻監控Web顯示技術，結合視頻監控業務特點，引入 Hadoop的架構，以頂層設計的視角來構建面向大數據視頻監控架構：數據源層、大數據存儲層、大數據計算層、業務及管理層。

數據源層，包括實時數據和非實時數據。實時數據指 IPC和傳感器產生的實時流媒體數據。非實時數據指從DVR、編碼器、第三方系統導入的媒體數據，存儲本地服務器。

大數據存儲層，采用了HDFS和HBASE技術，實現數據低成本、高可靠的管理。把采集的視頻流保存在HDFS集群內，通過HBase建立訪問的索引。把傳統NVR和專用存儲進行重構，把異地的存儲大數據和數據中心組成集群平臺的方式組成云平臺，納入到整體的分布式文件系統中來。

大數據計算層，實現智能分析和數據挖掘。通過MapReduce把對大視頻的分析進行分解，充分利用閑置異地資源，把計算任務交由多臺服務器進行并行計算分析，另外一方面，根據智能分析產生的視頻元數據，通過Hive挖掘視頻元數據的價值信息。

業務及管理層，實現設備和業務管理。基于異地存儲設備和數據中心組成的服務器集群，可以保證業務系統的無故障運營，基于大數據網絡診斷分析實現對攝像頭等設備的監管，達到遠程視頻監控的Web實時顯示。

當網絡傳輸數據到云平臺出現大量并發加上網絡狀態不佳出現傳輸瓶頸。Web遠程客戶端直接連接IPC保證顯示的實時性，然后視頻高清數據存儲于本地，同時采取分層分段傳輸到最佳網絡云平臺服務器，或者到網絡空閑時傳入云平臺存儲，云平臺對后傳入的錄像按錄像時間進行一系列的拼接整合，給用戶的體驗是一段完整的視頻錄像數據。當云平臺存儲到Web遠程客戶端出現網絡傳輸瓶頸，攝像機的數據雖然能實時傳入云平臺，但是Web遠程客戶端不能實時顯示數據。此時云平臺對實時數據源進行處理壓縮和前一幀進行比對算法，采用異步更新、局部替代的方式保證Web遠程客戶端的顯示實時性，最慢以圖片的方式顯示。同時采用主動推送的方式推送到Web遠程客戶端，從而減輕了瀏覽器的主動請求壓力，避免Web瀏覽器不必要的資源消耗，降低瀏覽器假死現象。提高用戶的體驗度。

實時大數據顯示的分段優化比較方法，IPC感知層把大數據傳輸到持久層，持久層的大數據分析比對在研判層，經過研判層的分段優化比較，推送到響應層Web服務器，最后傳輸到交互層web遠程客戶端，可參考圖1實時大數據分段優化對比。所述的研判層分段優化比較包括以下步驟：

a.持久層向研判層傳輸，控制當前推送的實時大數據；

b.持久層等待響應層反饋消息；

c.判斷響應當前控制的實時大數據，若沒有響應，判斷是否超時，若超時，執行步驟a，若沒有超時執行步驟b；若有響應，執行步驟d；

d.分段優化比較，修正成最優大數據；

e.顯示當前的大數據是否完畢，若顯示完畢，結束；若沒有顯示完畢，待優化的大數據片段繼續執行步驟d；

上述研判層包括控制層、分段比較算法、優化算法，響應層包括web服務器和視頻服務器等，持久層是大數據云平臺存放。

圖1 實時大數據顯示的分段優化比對流程

此優化機制只要采用實時大數據顯示的分段對比優化，實現遠程監控的實時性不可或缺，保障后期的回看獲得高清晰流暢畫面的質量。在傳統的安防遠程監控系統中，數據傳遞的流程：先數據獲取或者直接丟包，采用一些機制達到低時延、高并發的交易、高度靈活的數據結構；然后進行數據傳輸；最后對數據進行梳理，進行一些深度分析，保證視頻傳輸。

3 結束語

基于大數據遠程視頻監控 Web顯示技術的發展由于環境因素影響，如由于實際環境中光照變化、目標運動復雜性、遮擋、目標與背景顏色相似、雜亂背景等都會增加分段優化比對的分析與Web瀏覽器的響應欺騙。現在網絡傳輸連續性中斷造成視頻數據丟失，一些歷史工程改造，對系統進行二次或者多次的長周期的開發、部署、升級也是問題，大數據遠程視頻監控Web顯示技術是安防行業發展熱點和難點。基于大數據遠程視頻監控Web顯示技術能更快更廣泛地應用于金融、交通等各個領域中，普及到人們的日常生活當中，給人們的工作和生活帶來安全保障。高清化、網絡化和智能化的安防行業在新的紀元中，雖然會面臨這樣那樣的問題，但是我相信隨著云計算、大數據應用和HTML5等技術的成熟和完善，基于大數據遠程視頻監控Web顯示技術必定會更廣范圍的應用，勢必加快安防行高速發展，降低集成商的集成維護升級成本，降低舊工程改造成本，最大化利用已有的資源，同時為用戶提供更好的的實時體驗。Web端的實時顯示可以達到跨平臺、跨終端，在 4G網絡的越來越普及的環境下，基于大數據遠程視頻監控Web顯示技術在移動端依然同樣可以獲得廣泛的應用。

[1]胡傳平，梅林.視頻監控如何應對深度應用的挑戰.人民公安報，2012，12，27（4）：581-589.

[2]Zhe Sun，Jun Shen，Jianming Yong.Integrated Computer-Aided Engineering，2013，20（1）.

[3]Dalman，T.，Drnemann，T. Juhnke，E. e.g Cloud MapReduce for Monte Carlo bootstrap applied to Metabolic Flux Analysis Future generations computer systems.

[4]Leu，J.-S，Yee，Y.-S，Chen，W.-L.Comparison of Map-Reduce and SQL on large-scale data processing.Journal of the Chinese Institute of Engineers.

[5]Kathleen Ericson，Shrideep Pallickara.On the performance of high dimensional data clustering and classification algorithms.Future generations computer systems.

[6]Cui Jie，Li Taoshen，Lan Hongxing.Design and Development of the Mass Data Storage Platform Based on Hadoop.Journal of Computer Research and Development，2012，49（z1）.（崔杰，李陶深，蘭紅星.基于Hadoop的海量數據存儲平臺設計與開發.計算機研究與發展，2012，49（z1））.

[7]XIAO Qin-yu.Key techniques about video surveillance based on intelligent video.Manufacturing Automation，2012，34（12）.（肖沁雨.智能視頻監控關鍵技術分析.制造業自動化，2012，34（12））.

[8]Lu Jiyuan，Huang Chenghui，Hou Fang，Li Bin.Image Classification and Annotation Based on Hadoop Cloud Computing Platform.Telecommunications Science，2014，30（2）.（陸寄遠，黃承慧，侯昉，李斌.基于Hadoop云計算平臺的圖像分類與標注.電信科學，2014，30（2））.

[9]彭俊.基于內容的圖像分布式處理平臺的設計與實現[碩士學位論文].華中科技大學：2013.

[10]LIU Min-xian，MA Qiang.Research of web real-time recommendation model based on mixed.Computer Engineering and Design，2011，32（10）.（劉敏嫻，馬強.基于混合型的Web實時推薦模型研究.計算機工程與設計，2011，32（10））.