基于Hadoop的視頻監控系統開發和應用

張立志，李學文

(1. 西安外事學院，陜西 西安 710077； 2. 西安西科安全技術有限公司，陜西 西安 710054)

0 引言

隨著計算機網絡技術不斷發展，以通信技術、網絡技術等作為平臺的網絡視頻監控成為研究重點，并且應用范圍越來越廣泛。社會經濟的不斷發展使我國城市面貌也出現了一定的變化，對城市治安管理提出了較高的要求，城市視頻監控系統成為研究重點，視頻監控范圍也不斷擴大[1]。所以，如何使監控系統海量視頻數據安全存儲與處理成為安防領域研究中的重點，而云計算為海量視頻數據存儲與處理奠定了基礎。本文提出的基于Hadoop技術的城市視頻監控系統，在現代智能化監控系統發展過程中具有重要意義。

1 視頻監控系統的架構

基于Hadoop的模式與城市監控需求相結合，通過4個方面進行規劃建設，包括應用服務層、展示層、平臺接入層、技術支撐層[2]，圖1為系統總體架構。

圖1 系統總體架構

平臺接入層：前段感知層主要包括轄區內的航道、道路、重要場所、路口等。因為各個監控點大部分都是在室外并且光線環境改變比較大的地區，所以監控點使用勻速一體球結合日夜型一體攝像機，從而保證各不同光線都能夠得到良好圖像質量[3]。根據H.264實現收集視頻信號的編碼，利用多路MPEG-Ⅱ壓縮，使用視頻監控聯網系統安防標準實現網絡傳輸，各個視頻監控設備使用RTSP接口互聯。視頻流壓縮編碼之后封裝在網絡傳輸IP數據包，利用Internet在云資源池中上傳[4]。

網絡層為視頻監控系統和前段監控點控制信號傳輸通道，使用光纜傳輸方式實現前端監控點，以不同地點使用就近原則，多個點共用光纜。監控位視頻資源在監控中心傳輸，并且存儲到部門機房中，利用IP視頻專網和市局、分局的視頻系統，構成三級視頻專網[5]。在分布式監控節點虛擬機中實現流媒體服務器的安裝，虛擬機實現網絡帶寬和計算資源的共享。利用內存映射文件技術對臨時視頻數據進行存儲，對實時監控視頻實現分辨率轉碼與格式轉碼[6]。

應用服務層：能夠提供云視頻的分析服務，比如車輛數據、人臉數據、視頻圖像、聯動報警等分析服務，統一化管理視頻監控數據。

技術支撐層：對不同監控點傳輸視頻信息進行匯聚，云存儲使用MySQL對非關系型數據庫進行存儲。

展示層：監控中心為系統主要管理部門，實施24h監控記錄，主要包括管理軟件、矩陣主機、電視墻等。監控中心要管理所管轄的區域，實現前段圖像調看、錄像、控制等，并且對遠程錄像文件進行備份、調看和檢索。

2 視頻監控系統的設計

2.1 存儲接口設計

為了能夠存儲不同設備，本文設計存儲接口調用上層軟件，利用Adapter適配器模式適配不同存儲設備。Adapter模式使一個類接口轉變成為另外一類接口，因為具體設備可通過不同訪問來實現，所以要實現統一操作。圖2為存儲接口具體設計。

圖2 存儲接口具體設計

存儲模塊與VOD模塊中的接口利用SeorageInterface實現訪問，以不同存儲設備得出不同派生類即可。假如要支持另外分布式文件系統，只需要派生得出另外存儲類型，在派生類中對相應存儲設備進行調用。

2.2 存儲管理模塊

系統視頻流主要對普通PC創建分布式存儲集群進行存儲，系統通過應用層實現云存儲。云存儲管理模塊通過單獨進程在HDFS集群中運行，平臺事物中心對相應業務存儲，并且直接和云存儲模塊交互。云存儲系統屬于HDFS集群中間同心建，對存儲方式屏蔽，平臺服務器只需要和云存儲接入系統進行通信。圖3為云存儲總體架構。

圖3 云存儲總體架構

云存儲服務器包括存儲層、基礎管理層、訪問層和應用接口層。存儲層為基礎，包括NAS網絡存儲設備、SATA等。云存儲系統一般實現水平擴展，在不同地方分布，利用以太網連接。基礎管理層利用HDFS分布式文件系統管理基本存儲設備，實現設備協同工作，使數據訪問性能得到提高。應用接口層為接口部分，對基礎管理層API進行訪問。訪問層能夠實現接口層封裝，系統直接利用訪問層在云系統中存儲數據。圖4為云存儲服務器層次接口。

圖4 云存儲服務器層次接口

2.3 錄像存儲模塊

通過多文件塊構成分布式文件系統中的錄像，通常在存儲接口層包括一個文件。為了能夠對不同視頻流進行存儲，就要實現文件封裝，并且在每個視頻文件開始的地方設置文件原信息，對視頻信息進行記錄，實現接收碼流的切割分片。其中的文件原信息主要對攝像機中視頻信息和錄像開始、結束時間進行記錄。因為分布式系統內部就能夠處理文件，那么要求上層直接寫入即可，不需要考慮文件是否過大。

每個錄像段都包含如下信息，如，錄像段開始的MagicNumber能夠尋找正確錄像段開頭，CRC校驗值能夠校驗錄像段信息，序列號指的是錄像段序列標志，對網絡傳輸過程中出現丟包的問題進行處理，長度指的是錄像段大小，數據段之后MagicNumber能夠結束錄像段。

2.4 實時監控和歷史回放

客戶端在實現前端實時視頻監控過程中并不是利用視頻監控軟件直接交互，而是與HDFS分布式視頻存儲服務器交互，由流媒體服務器使視頻數據流在處理模塊實時監控模塊中發送實現的。實時監控模塊和HDFS分布式存儲服務器master數據接收部分是利用TCP/IP協議實現通信，并且得到空閑slave，然后利用監控視頻的存儲部分和轉發模塊創建連接。實時監控模塊得到空閑slave信息之后，利用TCP協議對此節點發送請求，實時監控某個路前端采集視頻，接收并請求slave確認后，利用標準RTSP實時流傳輸協議使此路前端收集視頻數據流對實時監控部分發送，監控軟件監控端能夠利用網頁實時監控視頻。歷史視頻回放部分利用TCP協議和存儲服務器通信，得出歷史視頻信息，并且對此視頻slave發送視頻調用命令，然后此slave通過確認之后就能夠使歷史視頻文件利用流媒體在歷史視頻錄像查看模塊中轉發，監控端能夠通過web客戶端對此歷史視頻進行播放。圖5為存儲端和監控端通信。實時監控流程如圖6所示，歷史視頻回放流程如圖7所示。

圖5 存儲端和監控端通信

圖6 實時監控流程

圖7 歷史視頻回放流程

實時視頻監控由RTSP流媒體實時流傳輸協議、視頻處理軟件、轉碼部分等實時模塊構成。在某路視頻采集前端視頻到了一定容量的時候，存儲管理系統會重新調度存儲節點，選擇全新的slave節點創建監控軟件的通信，從而提供視頻存儲服務，保證負載均衡，避免某slave持續對某路視頻監控，使系統出現異常，以此使系統穩定性得到提高。歷史視頻調用回放要求客戶能夠提交請求，以用戶請求在HDFS存儲服務器中得到用戶指定視頻文件存儲信息，之后以視頻文件存儲節點IP地址、視頻文件時間、在節點中路徑等信息利用master尋找存儲此slave節點并且發送、得到視頻請求命令，從而找到用戶指定的視頻文件，利用流媒體使視頻到監控軟件監控端回放。

2.5 數據庫設計

視頻監控系統數據實體信息主要包括特殊用戶、各級管理員、視頻與一般用戶。利用MySQL數據庫對數據實體信息進行管理。

首先，對用戶數據庫進行設計。利用字段u_group對用戶級別進行記錄。用戶數據庫包括區管理員、系統管理員、公安、小區管理員等。不同用戶的級別也各有不同，有級別高的，也有較高用戶權限，表1為用戶數據庫。

表1 用戶數據庫

視頻數據庫的設計。利用字段限定視頻地域范圍，比如：v_firsub指的是一級地域，是指某學校或者城市；v_secsub指的是二級地域，是指學校或者城市附屬地。表2為視頻數據庫。

表2 視頻數據庫

然后，對用戶訪問視頻數據庫進行設計。既方便今后統計視頻訪問情況和系統訪問量，還能夠對視頻安全性進行保證，如果視頻受到惡意破壞也能夠對用戶進行追蹤，表3為用戶訪問視頻數據庫。

表3 用戶訪問視頻數據庫

最后，是進行視頻分割數據庫的設計。對無損分割之后的視頻塊信息進行記錄。表4為視頻分割數據庫。

表4 視頻分割數據庫

3 系統測試

針對本次設計的人臉系統展開實時測試，分別對于系統10004與20004類人臉分別進行系統測試，設計了共計5幅不同圖像下的人臉(表5)作為運用本文設計的系統實時監控的人臉識別平均用時。測試后發現，基于Katta分布式搜索耗費時間較少，基本達到了系統預期目標。

表5 人臉圖像識別用時 單位：s

4 結語

在大數據時代中，信息爆炸對傳統視頻監控提出了挑戰。在科技不斷發展的過程中，使用基于Hadoop大數據技術視頻監控能夠解決傳統視頻監控的問題。數據分析和數據挖掘技術的應用，拓展了城市頻視監控的應用范圍，從而保證了各個領域安全性。