大數據技術在視頻監控中的應用

陳 雁，卿濟民，林必毅

?

大數據技術在視頻監控中的應用

陳 雁，卿濟民，林必毅

（深圳市賽為智能股份有限公司，廣東 深圳 518000）

我國信息技術的發展十分迅速，在一定程度上提高了我國視頻監控的水平。大數據的概念越來越為人們所知，其中大數據技術就是一種先進的信息技術，能夠有效處理大數據，而視頻監控會產生大量的數據信息，這些信息的處理是一項艱巨的工作，將大數據技術應用到視頻監控領域將會提升工作效率。在我國的視頻監控領域大數據技術已經得到了應用，這對視頻監控的影響意義深遠。本文基于大數據技術應用經驗對視頻監控中大數據技術的應用進行分析，為我國視頻監控水平的提升提供了合理有效的建議。

大數據；技術；視頻監控

0 引言

在我國城市的建設中大力促進、加強了視頻監控的建設，視頻監控的建設為人們的生活環境提供了保障依據。國務院總理李克強曾提出城市安全化的建設，這從某種程度上說我國對視頻監控行業的發展還是支持的，而且將其大面積投入到城市建設中非常有必要。視頻監控設備的大量投入無疑增加了監控觀察方面的難度，這對員工的要求非常高，而且員工需要長期保持精神，以備突發狀況的發生，可以說非常耗費人力。而大數據技術可以改觀當前狀況，大力提高監控效率，對我國監控領域的發展有著非常深遠的意義。

1 大數據概念

大數據其實就是采用信息技術的方法對數據進行處理，以往的數據處理方式不能夠進行處理的數據。大數據技術是當前信息技術中最為便捷的一種技術，在很多方面都有著非常重要的應用，比如信息采集方面、信息管理方面、存儲方面、信息分析方面等等。在信息提取中，大數據技術可以更加快捷，有效的、有用的數據能夠被更加快速地提取出來，在信息領域方面提高了效率[1]。雖然大數據技術具有非常重要的意義以及優勢，我國現在對大數據技術的應用仍然不夠熟練，而且我國視頻監控領域存在一定的問題，對這些問題分析對加大大數據技術在視頻監控領域的投入非常重要。

2 我國視頻監控領域存在的問題

完善的視頻監控系統對我國安全的建設有著非常重大的幫助，能夠推動安全化建設。當然安全化建設并非易事，其中有很多的問題，而且這對大數據技術在視頻監控領域的應用也造成了非常大的障礙。首先，我國視頻監控范圍小，因為在視頻建設上存在一定的不足，所以視頻監控設備并沒有大面積覆蓋，我國很多地區都沒有視頻監控設備的建設，造成了監控領域的空白，這對于某些地區的安全不利。另外我國的警力人員不足，通過監控設備可以彌補該情況。視頻監控領域的投入對我國安全建設有著非常積極的影響，而且能夠帶動我國智能化建設的投入。然后是視頻設備的質量問題，視頻設備的質量直接關系到視頻監控的范圍以及可以監控的時間即使用壽命[2]。還有視頻監控設備受到各種影響的抵抗力、視頻設備的清晰度等。視頻設備的清晰度對于視頻監控來說是致命的問題，就好像是食品設備中的瞎子，無法正常監控到運動目標，或者運動目標監控特征不明顯，這些都對很多技術的進行造成非常大的影響。還有視頻監控設備分布不合理，不夠科學，對視頻設備的安裝位置未進行科學化的分析，不能夠保證監控設備位置的合理性、科學性以及有效性。在一定程度上造成了資源的浪費。還有視頻監控信息無法上傳，只有將視頻設備采集到的信息進行分析整理才能夠判斷出一些目標的行為等。一旦視頻設備的信息無法上傳會造成緊急事件的處理延后甚至不進行報警，導致人們利益受到損害。另外在食品設備的管理上存在障礙，因為視頻數據的復雜多樣，所以數據的處理就顯得尤為重要。怎樣從中提取出準確有效的信息非常重要，而無法提取重要信息同樣會造成很多損害。除了這些提到的問題之外還有一些問題，將其重視起來然后采取相應策略肯定能夠改善當前狀況見圖1。

3 大數據處理流程

大數據技術對數據進行處理需要將數據進行分類，然后在采取相應的處理方法，因為數據的豐富與復雜，所以要按照一定過程讀數據進行處理。大數據處理過程一般是這四個階段，感知數據與獲取數據、對數據進行預處理與存儲、將數據進行分解、分析結果[3-4]。

圖1 我國視頻監控領域存在的問題

3.1 感知數據與獲取數據

科技的發展與進步使數據感知與獲取方面的來源更多樣化，比如通過互聯網、傳感器、手機等都可進行數據的獲取或者感知。非結構化數據，這種數據是當前所包含的最為廣泛的數據，其特點突出，具有強噪聲、低價值等特點。該形式的數據感知獲取的方法也有多種，比如網絡探針、日志、ICMP消息等等，這些都是獲取數據的方式。對于數據的獲取與感知其中的重點就是自然、社交數據了，這些數據是大數據中最為重要的部分。機器間的交互而產生自然數據，同樣機器間的交互是產生自然數據最為重要的環節了，其中包括GPS、傳感器、網絡日志等數據，這些包含一定的技術性。對于傳感器則是依托于傳感器技術，當前傳感器的發展也是非常迅速，其正朝著智能、微型、嵌入的方向發展。而社交數據這個相信大家不陌生，就是人們平常經常使用的社交軟件等產生的數據，其產生與互聯網有著密不可分的聯系[5]。在以后的醫療、智能交通控制、工業控制等領域感知數據與獲取數據將會被廣泛應用。

3.2 預處理與存儲

在該階段就要對上一環節得到的數據進行處理，比如清洗、去噪等，最終將這些數據便捷化，更加方便操作。大數據有著一定的特點，就是復雜多樣，而且在數據的分析處理上還具有一定的困難性。其實在采集數據或者獲取數據的過程中會不可避免的加入很多干擾，像噪聲等，這些干擾的讀入對程序存儲空間也會造成浪費，而且嚴重的話對分析得到的結果也會有很大的影響，所以說進行數據的清洗、去噪就顯得非常重要了，而且這些數據能夠更有效，對結果能夠更加有用。通常就是在預處理過程中使用數據過濾器將其進行過濾，這樣處理過的數據就會比較有意義了[6-7]。

預處理包含視頻圖像的增強、特征空間的轉化，這些都包含于背景減除中，經處理，輸入特征將對人眼更好，可以提高人們對機器的理解。該階段包括四個部分見圖2。

圖2 預處理包含視頻

主要特點如下：（1）亮度統一。對增強圖像質量有利，可以有效緩解光照對圖像造成的影響。（2）轉換彩色空間?？臻g模型光照、色度的分離為后續陰影判別、反射判別提供了有利條件。（3）圖像配準。校正攝像頭使其不再抖動，這種方法對于場景變化有利，有效避免對場景產生的影響。如大風導致攝像頭不穩，使圖像抖動的現象。此外，可移動攝像頭在進行運動檢測過程中造成攝像頭抖動。以上情況的處理可進行圖像修正，該方法最常見的為幾何修正法，一般將得到的圖像匹配，疊加。該過程需要進行特征點的提取。首先，進行相似特征點對的匹配查找，然后根據這些特征點確定描繪得到圖像坐標參數，然后進行坐標參數變換，最終配準圖像。（4）對比度特征提取。提取圖像的一些特征，如紋理特征來表達物體全局變化情況，可使場景中的大量噪音有效減弱，此外，對比度直方圖對加強檢測過程的速度有利，使數據的度方面得到有效降低[8]。

預處理過程中光照對圖像產生的影響比較大，需要采取相應措施減緩這一影響。亮度歸一化則能夠在一定程度上減緩這一影響。所謂亮度歸一化其實是背景中將具有相同的均值和方差的亮度值的像素進行歸一化處理，處理過的圖像可通過與原始灰度不同的閾值分割。在這個過程中，特征提取是非常關鍵的一步，特征匹配的正常進行需要準確的特征提取，一般在算法中通過使用Harris角點來進行。該特征選取具有一定的理論依據，首先進行圖像中的角點的提取，接著按照不同的方法建立圖像，并使圖像中角點產生關聯，之后確定同名角點（同名角點為之后過程中的控制點）通過這些控制點進行圖像的配準然后變化。預處理之后將數據進行集成、存儲。通過精準的處理，有助于數據的查找，大幅提高數據查找的效率。此外，還可以建立數據庫，使處理之后的數據能夠更有序的、合理的、科學的進行排放。

3.3 數據分析

數據分析在大數據技術中屬于核心環節，這一環節主要是發掘數據價值。為使人們的決策更加合理、科學以及智能，所以要對數據進行分析，找出其中有價值的規則。大數據分析可以使用BI技術，當然還有人工智能，這兩種技術為大數據中數據分析提供了很多有利條件，技術和方法，其中有機器學習，也就是當前智能化發展的一個重要方向[9]，讓機器像人一樣自主去學習成長，過程中需要進行特征的提取，然后進行運算接著分類，當前的機器學習有著三種方法，監督學習，半監督學習以及不監督學習。該項技術中涉及到三個主要領域，搜索、優化和圖形計算見圖3。

統計學習也是重要的處理技術或者方法，主要是體現在收集、組織、解釋數據。該處理技術采用統計學，具有一定的直觀性、科學性，主要是進行變量間的關系確定。該技術中通常使用R語言工具包，這是一種語言，是基于S語言的一種統計分析語言，其中和它相關的開源R統計分析軟件有很多統計分析算法和繪圖技術，可實現分類、時間序列分析、統計監測等，并能夠根據這些做出相應圖像，比如聚類圖、分類信息圖等見圖4。

3.4 解釋與展示結果

該過程相當于相對用戶來說的，關系到用戶體驗，良好的用戶體驗是該過程重點考慮的。數據信息的大量化使用戶不能夠得到合理的結果，而該過程需要向客戶展示結果，這也是客戶非常關心的內容，是數據分析過程中最為重要的一步，該過程十分重要，需要保證一定的準確性，不然對客戶造成一定的誤導。

視頻監控中有著非常多的數據，這些數據形式也在持續增多，提高數據解釋與展示的能力非常重要，而且能夠滿足分析結果輸出需求。可視化技術已經被大部分的企業引進，這是結果解釋與顯示的重要手段。大數據分析結果可視化對大數據技術有著非常重要的作用，也推動了大數據技術的發展[10]。

圖4 大數據技術處理流程

4 大數據技術與視頻監控

4.1 視頻存儲與轉碼系統

大數據中提到了存儲，同樣在視頻監控中需要對視頻數據進行存儲，這可以為之后的查詢提供資料。同時視頻數據需要進行轉碼，這樣能夠使視頻數據分布存儲以及分布轉碼，大數據中分布處理也是十分關鍵，這不僅能夠提高轉碼的性能，也會為客戶帶來方便。

分布式存儲與分布式轉碼的功能模塊，分布式轉碼采用MapReduce分布計算框架，對流媒體數據讀取模塊進行了設計，這樣實現流媒體數據的轉碼，這樣明顯提高了效率。

4.2 架構設計

該過程的重要思路就是通過流媒體服務器，對來自設備的流媒體數據進行處理，使其傳輸給用戶的同時也能夠進行備份，上傳到HDFS，這樣就實現了視頻數據的冗余備份存儲。這樣的視頻數據格式是H.264，是無法直接播放的數據，所以需要對這些備份的數據文件進行ffinpeg分布式轉碼。

4.3 分布式轉碼流程

H.264文件寫入HDFS后，采用fSnpeg轉碼對H.264在Hadoop上進行分布式轉碼，這樣能夠生成AVI文件，這些文件在用戶下載之后可以進行播放，分布式的轉碼方案提高了轉碼的效率。在HDFS上存儲的數據容量有一定的限制，也就是需要小于64 M，一旦數據超出限定值將會對其進行分割，如果使用MapReduce分布式計算，這樣結果不會受到影響，MapReduce軟件架構適合處理耦合數據，所以分割的數據使用該分布式計算不會受到很大的影響，但是該方法的效率比較低，所以控制H.264的容量對于提升效率以及提高速度有著非常重要的幫助[11]。

該過程中涉及到了網絡流媒體傳輸系統，該系統能夠實現在媒體分發的服務器上面進行對流數據 的處理，一般就是臨時性的保存。錄像的起始時間，以及文件的存儲時間間隔需要由錄像配置計劃來進行決定，這在一定程度上解決了文件過大的情況，具有一定的優勢。這樣就能夠使H.264文件的大小得以控制，控制在HDFS所限制的64M以內，這樣數據不會被切割，也避免轉碼之后需要進行數據合并。在MapTask階段就能實現數據的轉碼，提升轉碼的效率，最后生成AVI格式的視頻文件[12]。MapReduce應用的輸入是存儲在HDFS上的H.264文件，因為錄像配置的存在，將一個H.264文件作為單獨的一個map輸入，所有的H.264文件己經是一個單獨的邏輯分割，不需要再對它進行切割，保證了一個視頻數據的完整性。FilelnputFormat將單獨的輸入文件和系統塊的大小作為逆輯分割的依據，只需在FilelnputFormat的子類中覆寫isSplitableO方法，將返回結果置為為false，即可達到將一個單獨的H.264作為一個邏輯分割的目的，每一個邏輯分割是一個FileSplit，一個FileSplit是一個結構體類。將H.264文件作為一個單獨的邏輯分割之后，我們就可以自己設計FilelnputFormat來操作H.264文件，然后對文件按頓進行讀取，傳輸到轉碼分析模塊，完成H.264格式到AVI格式的轉化[13]。

圖5 分布式轉碼流程圖

5 結束語

人們已經進入了大數據時代，而且大數據對人們生產生活產生了重大影響，通過對大數據的處理流程進行了解，對于以后運用大數據技術處理相關問題有著非常重要的幫助。而且我國視頻監控領域存在一定的不足，有很多方面可以結合大數據技術。大數據技術能夠有效提升視頻監控信息的處理效率，而且視頻監控運用大數據技術也是以后的一大發展方向，這樣對于提高我國視頻監控水平有著深遠意義。

[1] 邵振峰, 蔡家駿, 王中元, 等. 面向智能監控攝像頭的監控視頻大數據分析處理[J]. 電子與信息學報, 2017, 39(5): 1116-1122.

[2] 黃鐵軍, 鄭錦, 李波, 等. 多媒體技術研究: 2013——面向智能視頻監控的視覺感知與處理[J]. 中國圖象圖形學報, 2014, 19(11): 1539-1562.

[3] 劉云恒, 劉耀宗. 基于Hadoop的公安視頻大數據的處理方法[J]. 計算機科學, 2016, 43(s1): 448-451+475.

[4] 徐愛萍, 王波, 徐武平. HBase中基于時空特征的監測視頻大數據關聯查詢研究[J]. 計算機應用研究, 2017, 34(5): 1423-1427.

[5] 崔凌云, 劉春玲, 魏榮華. 大數據技術在船舶監控系統數據管理中的應用[J]. 艦船科學技術, 2018, 40(04): 142-144.

[6] 管皓, 薛向陽, 安志勇. 深度學習在視頻目標跟蹤中的應用進展與展望[J]. 自動化學報, 2016, 42(6): 834-847.

[7] 許粲羚, 趙虹. 智能技術在新能源工程管理中的應用前景[J]. 中國電力, 2016(s1): 166-168.

[8] 周國亮, 朱永利, 王桂蘭, 等. 實時大數據處理技術在狀態監測領域中的應用[J]. 電工技術學報2014, 29(S1): 432-437.

[9] 趙軍鋒, 莊懷東, 趙亮, 等. 大規模數據并發環境下視頻監控系統的研究與實現[J]. 都市快軌交通, 2016, 29(6): 11-15.

[10] Ding S, Li G, Li Y, et al. SurvSurf: human retrieval on large surveillance video data[J]. Multimedia Tools & Applications, 2017, 76(5): 6521-6549.

[11] Shang Q, Zhang S, Wang Y, et al. Efficient large-scale graph data optimization for intelligent video surveillance[C]// 2017: 012091.

[12] 張忠琳, 黃炳良. 基于openstack云平臺的docker應用[J]. 軟件, 2014, 35(11): 73-76.

[13] 程陳. 大數據挖掘分析[J]. 軟件, 2014, 35(04): 130-131.

Application of Big Data Technology in Video Monitoring

CHEN Yan, QIN Ji-min, LIN Bi-yi

(Shenzhen Saiwei Intelligent Co., Ltd., Shenzhen, Guangdong 518000)

The development of information technology in China is very rapid, which improves the level of video monitoring in China to some extent. The concept of large data is becoming more and more known, in which large data technology is an advanced information technology, can effectively handle large data. Video monitoring will produce a large number of data information, the processing of this information is a difficult task, the application of large data technology to video surveillance will enhance the efficiency of the field. Large data technology has been applied in the field of video surveillance in China, which has far-reaching influence on video surveillance. Based on the application experience of large data technology, this paper analyzes the application of large data technology in video surveillance, and provides reasonable and effective suggestions for improving the level of video surveillance in China.

Large data; Technology; Video surveillance

TP274

A

10.3969/j.issn.1003-6970.2018.11.017

2015年技術開發項目“基于海量視頻數據的視頻監控應用系統”(項目編號：CXZZ20150402115235001)

陳雁(1975-)，女，高級工程師，博士，研究方向：計算機視覺、人臉識別、智能視頻監控；卿濟民(1963-)，男，高級工程師，博士，國家一級注冊建造師，研究方向：軌道交通、節能領域、人工智能、神經網絡技術；林必毅(1974-)，男，高級工程師，本科，研究方向：自動控制、軌道交通、節能領域、人工智能、神經網絡技術。

陳雁，卿濟民，林必毅. 大數據技術在視頻監控中的應用[J]. 軟件，2018，39（11）：72-76