公安海量視圖云摘要技術的發展

文/胡明舒

視頻結構化是廣泛應用的視頻智能分析和語義識別技術，如對車牌的識別分析目前已經比較成熟，但這類特定目標分析對于前端場景有嚴格要求；而對于普通的視頻場景，也需要有一種通用、普適的“結構化分析”技術對其中的人車等圖元信息進行簡單摘要和結構化處理、區分歸類對象、和進行標簽特征描述；視頻摘要濃縮就是此類技術的典型代表。

解決方案的現況

視頻圖像數據作為非結構化數據，只有實現結構化處理，才能將其中有價值的信息直觀、高效地提供給各個業務需求部門。

城市公共場所往往有成千上萬路監控攝像頭遍布街頭，晝夜不停地監視和錄像，在改善社會治安的同時，也產生出海量的視頻需要監控管理平臺處理。要對這些海量視頻通過人工進行重點圖像的抓拍，困難很大。特別是在一線警力有限的情況下，面對龐大的視頻數量，即使出動大量警力，采用“人海戰術”，但受制于肉眼識別勞動強度的極限，仍然無法保證視頻人工查找的準確性和時效性，尤其出現突發緊急案件時，往往會貽誤最佳破案時機，導致相關情報研判和案件偵破的響應速度越來越慢。

理想情況是一旦有重要事件發生，系統就可在事后能快速查找到關鍵的“人”、“車”等視圖線索信息。針對海量監控視頻錄像的事后分析，傳統以人海戰術為主的視頻線索查找，顯然不能滿足高效查找，正面臨巨大挑戰，急需一種更為高效的、自動的、智能的系統實現上述需求。

圖1 海量視頻結構化處理邏輯

在安防大數據背景下，大華推出視頻云摘要解決方案，系統可以快速分析提取海量視頻錄像文件，對其中的人、車相關屬性信息進行精細化的標簽和歸類。

通過全局“人、車”目標檢索和濃縮視頻快速預覽-快速定位涉案的視圖線索，縮小查看范圍的功能，可極大地減輕專業圖偵/刑偵隊伍和一線民警的工作負荷，大大提高視頻的分析和利用效率。

系統結構

目前對平安城市的海量監控視頻最典型的公安業務應用就是視頻偵查。視頻偵查業務有這幾個特點：重事后錄像分析；確定時間地點后確定視頻點位范圍和錄像時間進行分析；需要快速排查分析。

基于云計算的大華視頻云摘要系統，利用云計算技術提供分布式數據庫、分布式視頻處理、分布式消息隊列以及資源管理接口。在此基礎上，對接云存儲和智能算法提供視頻智能分析和濃縮摘要服務。結構化數據被存放至云存儲和分布式數據庫，為大數據平臺的通用搜索服務和數據碰撞查詢提供數據來源。系統利用云計算的高性能解決了傳統視頻濃縮摘要的性能問題；利用云計算系統的可靠性設計解決了視頻處理服務的業務持續可用性。

圖2 系統邏輯結構圖

視頻云摘要系統對接大華云存儲系統，在云存儲基礎上實現視頻數據的結構化分析（濃縮、摘要）功能。該系統包括并行計算框架、智能算法庫、接口層、業務功能等部分。

系統功能

功能概述

云摘要系統將視頻文件通過分布式計算框架進行并行計算，極大縮短計算任務的計算時間，提高系統的響應速度；系統整體計算性能可以通過增加集群的數量進行線性增加，從而可以滿足隨著非結構化數據規模的增大而不斷提高的視頻結構化分析的性能要求。

系統的摘要功能可對視頻中的活動目標如人車等進行截?。ń貓D保存），并會自動產生對描述的結構化描述信息；濃縮功能可去掉靜止場景的視頻，將視頻中運動目標壓縮播放；摘要體現的是結構化分析和海量的特征檢索瀏覽，濃縮體現的是對一段長時間錄像的快速觀看。

云摘要系統可獨立部署使用，帶有自有的web應用界面，也可以直接被第三方應用系統集成進行使用。

圖3 云摘要系統登錄界面

視頻摘要-海量視頻秒級處理。云摘要系統的核心價值在于對海量視頻的高效率、彈性可擴展的分析能力。

圖4 云摘要性能優化方式

云摘要通過分布式架構和算法優化對整個摘要方案進行了重定義：通過Hadoop計算框架，切片并發對視頻進行摘要處理，消除視頻分析計算上的瓶頸；通過使用云存儲計算，革新錄像下載、上傳的處理效率，消除存儲IO上的瓶頸；通過優化摘要算法和優化摘要處理機制，實現對不同目標篩選條件的實時結果生成，消除算法上的瓶頸。

最終系統可實現方案中部署1臺云計算一體機設備，便可完成2分鐘時間對1小時1080P高清視頻的端到端摘要處理；同時可以實現性能的線性擴展，如下圖所示-增加云計算節點的數量，就可以實現對系統處理性能的線性擴增（以24小時原始視頻的摘要處理時間為例）。

在實際使用海量視頻秒級處理功能時，系統可支持從云存儲和視頻基礎共享平臺中同步錄像通道，支持離線文件上傳入口，可以方便地手動上需要處理的視頻文件，也可以方便的搜索歷史處理任務。

圖5 云摘要性能線性擴展示例

視頻檢索-人車目標全局定位。完成對海量視頻的摘要處理之后，可以獲取視頻的結構化描述快照，進而對視頻中的人、車進行結構化描述，對快照進行二次檢索。

系統支持根據目標類型（人或者車）、車身顏色、人顏色（上半身或下半身顏色）等結構化數據進行檢索，支持白、黑、紅、黃、綠、青、藍、紫多種顏色的辨別，檢索之后，會將匹配度高的目標提前顯示。

視頻摘要可以根據目標類型、顏色、大小、速度、時間、方向等維度搜索目標對象。

圖6 摘要結果顯示

通過改變運動方向和目標類型，系統實時展現搜索結果，同時摘要圖片可下載保存。

圖7 設置運動方向篩選目標

全局搜索分析：云摘要系統可對所有的視頻摘要結果進行統一的目標檢索，在云摘要系統中，可以根據視頻查看單個文件的摘要結果，也可以根據歷史任務查看多個文件的摘要結果，同時也提供了全局搜索的入口，方便根據條件查找所有已分析過的視頻摘要結果。讓耗時耗力的視頻偵查變為輕松高效的圖片查找，配合關聯視頻播放即可快速定位關鍵線索，進行全局的目標人、車定位和查找。

圖8 青綠色車輛全局搜索結果。

視頻濃縮預覽。視頻濃縮可以根據目標類型、顏色、大小、速度、濃縮密度、運動方向過濾視頻中的運動目標，并且可以選擇是否顯示時間戳。

圖9 濃縮視頻任意條件實時播放

改變過濾條件，濃縮視頻實時呈現，而不需要再次做視頻分析從而真正做到隨想隨用、隨用隨看。

視偵應用集成。系統提供標準的restful接口，可被第三方圖偵應用平臺快速集成。

圖10 融合了云摘要的圖偵系統

云摘要系統的特點

傳統的摘要產品基本上都是單機服務器模式，對于一小時視頻從視頻下載、轉碼、摘要通常要20分鐘左右時間，大大影響了系統的實用性，而對于一些需要排查大量視頻的案件，基本沒有效能。

本方案結合視頻偵查業務需求，使用多臺云計算一體機通過云計算集群軟件對外提供海量視頻的濃縮和摘要服務，系統特點總結如下：

海量視頻接入、資源整合共享

采用hadoop架構的云摘要系統可將視頻文件通過分布式計算框架進行并行計算，極大縮短計算任務的計算時間，提高系統的響應速度；系統整體計算性能可以通過增加集群的數量進行線性增加，從而可以滿足隨著非結構化數據規模的增大而不斷提高的視頻結構化分析的性能要求，最小規模系統即可實現-1080P高清視頻1分鐘端到端處理性能規格。

海量云存儲-高性能、易擴展、高可靠

云摘要整體解決方案通用云存儲技術和視頻分析云計算技術有機結合，進而消除上傳下載的性能瓶頸，實現正在端到端高性能的讀寫能力，以及面向未來更大容量的平滑擴展能力，并能充分滿足視圖大數據處理分析的讀寫性能要求。

海量視頻結構化分析、統一檢索

云摘要具備強大的視頻智能分析功能以及數據處理能力，其能利用自主研發的先進的視頻圖像智能分析算法-包括視頻摘要分析、視頻濃縮等，實現對海量視圖的結構化描述，形成目標影像片段+關鍵特征描述，并提供全局檢索入口，可通過多個條件（人車分類、大小、速度、顏色、特征等）來檢索人車等目標。

圖偵業務集成、業務深度融合

系統支持與主流視頻偵查系統融合和集成，基于云摘要視偵系統可快速構建豐富技戰法應用和智能化平臺、并將云摘要分析結果快速導入警務工作流程、和業務緊密融合，實現有價值結果視圖信息的集中保存和應用；

靈活部署、能力共享、互聯網+

圖11 基于HADOOP架構的開發云摘要服務

對外提供統一IP和通用RESTful接口。系統可以獨立部署使用，也可以對接三方平臺提供更為靈活的摘要業務服務；云摘要基礎設施能夠給上層各類視頻應用以及其他系統提供各種平臺接口服務，推動視頻結構化分析能力在各類業務系統中的廣泛共享和應用，最終改變用戶處理海量視頻的應用模式——從“看視頻”到“搜目標的轉變”。