基于視頻圖像數據交換與共享平臺的研發總結

王 樂

在互聯網、大數據以及人工智能等新一代信息技術發展環境下，越來越多的政府和企事業單位都部署了視頻會議系統和視頻監控聯網平臺，實現視頻會議和視頻監控中的視頻流數據和圖像數據的交換與共享至關重要，因此需要建立一種統一的大數據交換與共享平臺，來支持視頻會議系統和視頻監系統與不同的業務管理系統連接，在權限許可的前提下能夠實現各個業務之間不同結構和格式的數據的交換。數據傳輸與處理的規則由用戶在使用平臺過程中設置，數據交換和共享操作由平臺根據規則統一調度執行。系統在設計方面應盡可能降低數據處理模塊與系統本身的耦合度，提高可擴展性，以降低維護和升級的成本。

1 視頻數據和圖像數據簡介

在視頻會議和視頻監控中，視頻終端通過將視頻流數據及圖像數據進行編碼打包，在網絡的應用下實現傳送，遠端在接受到數據后對其進行拆包及解碼，即可以將接受到的視頻以及圖像信號還原，并實現到外設設備的傳遞。在此過程中傳送的內容包括有視頻流數據以及圖像數據，傳送中使用的硬件包括有攝像頭、顯示器以及路由器等。通過視頻圖像數據的傳輸與共享，能夠實現視頻會議應用中的會議主持、音視頻共享、電子白板、以及共享電腦桌面等多種功能，以及實現視頻監控應用中的治安防控、情報研判、智慧交通、數字城管等功能，從而有效滿足當前信息傳輸共享及分析需求。

2 基于視頻圖像數據交換與共享平臺的主要功能

數據交換與共享平臺主要包括視頻圖像數據資源目錄管理、視頻圖像數據采集、視頻圖像數據質量管理、視頻圖像數據交換共享功能。

1）視頻圖像數據資源目錄的統一管理：支持統一的元數據管理，包括元數據的模型設計、模型審核、模型實施、模型驗證，以及模型版本管理、關系管理等；同時支持資源的檢索與定位，便于服務的重用與維護。

2）靈活全面的視頻圖像數據采集：平臺采用調度中心+管理中心相結合的分布式數據采集處理架構，支持多樣化的采集策略和多種抽取、匯總方式，可視化的任務編排、規則定義和發布。針對結構化和非結構化資源，以數據映射、數據裁剪、數據過濾的工具化手段進行數據處理。

3）視頻圖像數據質量集中式管控：支持數據質量核查規則配置與管理，在數據采集清洗過程中完成數據質量核查與告警；對數據質量告警的監控和數據質量問題的可視化呈現；提供知識庫管理和查詢，支持大數據人車物特征分析和行為分析等。

4）安全便捷的視頻圖像數據交換共享服務：支持以數據服務的形式封裝數據，提供統一的數據開發共享能力；數據服務封裝和開發，支持REST協議、FTP 協議和數據庫等各類接口；支持服務發布、訂閱及審核管理，同時支持對服務調用情況進行監控，以確保平臺采集管理的數據正常實現交換共享。

3 基于視頻圖像數據交換與共享平臺主要研發內容及關鍵技術點

3.1 分布式任務調度平臺的研發

分布式任務調度平臺主要任務是實現視頻數據和圖像數據的收集，采用成熟大數據資源調度系統架構，具有易擴展、快捷、可靠和安全移植的特性，功能包括動態修改任務狀態，啟動/停止任務，注冊中心，彈性擴容縮容，故障轉移，任務超時控制，任務失敗告警，分片廣播任務，數據通信加密，用戶管理和權限控制等。

平臺設計思想中是抽象分析調度行為，并將其建構為“調度中心”公共平臺，只能夠完成調度請求發送工作，本身不具備業務邏輯。針對任務可以將其抽象為分散TaskHandler，“執行器”可以完成調度請求以及管理，同時也可以實現對TaskHandler 中業務邏輯的執行處理。在這一平臺中可以實現“調度”以及“任務”的解耦，這一處理有助于提升系統運行穩定性，也可以提高其擴展性。

平臺由調度管理中心和執行器組成。調度中心負責管理調度信息，依照接收到的調度請求，實現調度管理系統和任務的解耦，在此過程中也就能夠顯著提升系統穩定性。另外任務模塊對于調度管理系統性能不會具有太大影響作用，可實現對可視化及動態調度信息的管理，在平臺上完成系統的新建、刪除等操作，支持監控調度結果以及執行日志，支持執行器Failover，所有上述操作都會實時生效。執行器的主要工作是完成調度請求的接收，也可以實現任務邏輯的執行，任務模塊的主要工作即為執行任務等，在系統運行中便于實施開發以及維護。

3.2 快速開發平臺的研發

快速開發平臺的研發主要是為了規范開發代碼質量，加快開發進度，節約開發成本，從而提升研發人員的開發效率，為公司后續更多的項目開發提供基礎平臺支持。快速開發平臺基于經典技術（Spring Cloud、Spring MVC、Apache Shiro、MyBatis、Beetl、Bootstrap）組合，方便的在線代碼生成功能，核心模塊有組織機構、角色用戶、菜單及按鈕授權、數據權限、系統參數、內容管理、工作流等。采用松耦合設計，界面無刷新，一鍵換膚，眾多賬號安全設置和密碼策略，在線定時任務配置，支持集群，支持SAAS，支持多數據源。

平臺中的模塊分項目，松耦合方便模塊增減和模塊升級。平臺有靈活的權限授權模塊，支持 CAS單點登錄，優化用戶數據權限，不僅僅是角色，顆粒度細化到每個人員的身上。使用Spring Cloud微服務，最小化內核，統一配置中心，統一授權認證中心。平臺中的所有請求參數獲取，均通過 XSS跨站腳本過濾方法。實現樂觀鎖，必要情況下使用，提高數據安全性。支持手機或平板訪問，響應式樣式、響應式布局，根據屏幕分辨率自適應控件布局。支持國際化，輕松實現動態數據的中英文信息展示。

3.3 大數據平臺和視頻結構化技術的研發

大數據平臺基于成熟的Hadoop 基礎框架研發，運用ElasticSearch 搜索引擎和Flink 流計算引擎等前沿技術，來進行視頻會議和視頻監控中產生的PB、EB 乃至ZB 級別的視頻、圖像和文件等數據的存儲、查詢和分析，在應用中的特點主要有價值密度低、數據類型繁多以及處理速度秒級等。使用的關鍵技術包括大數據采集技術、大數據預處理技術、大數據存儲技術、大數據查詢和實時計算技術。

視頻結構化在視頻處理中屬于是一項提取技術，依照語義關系實現對視頻內容的分析，并將其實施文本信息轉化，以能夠被計算機和人理解，主要采用的處理方法為特征提取以及對象識別等。在公共安全監控過程中，視頻結構化能將監控視頻圖像轉化為公安實戰過程中的所需情報，針對視頻數據也就可以實現情報以及信息轉化。在視頻結構技術的應用下，在視頻會議過程中也能夠解析成圖像和結構化的數據，實現參會人員、各會場參會人數等基礎信息的自動識別，被集成到相關業務系統顯著提升視頻圖像大數據的應用作用。

3.4 數據交換共享服務接口的研發

數據交換與共享平臺的接口包括采集接口、數據服務接口、級聯接口和分析接口，采集接口的應用目的是實現視頻圖像信息采集系統等數據交互，數據服務接口的作用是實現平臺和辦公系統等的數據交互，級聯接口的作用是實現平臺中上下級數據交互，分析接口的作用即為平臺與視頻圖像分析系統之間數據的交互。

平臺接口協議結構定義是建立在REST 架構上，采用HTTP 的方法有效實現REST 服務，并可以采用JSON 實現消息體封裝，同時平臺也支持FTP 協議和數據庫接口，支持服務接口發布與訂閱管理，支持對服務調用情況進行監控，以確保平臺的數據準確實現交換共享。

4 結束語

真視通云視頻工程實驗室研發的基于視頻圖像數據交換與共享平臺是集開發、配置、部署、管理、監控、安全于一體的數據交換全生命周期管理的數據交換平臺。平臺可快速構建、運行和管理分布式應用系統之間、云環境下應用系統之間等數據交換共享任務，尤其適用于跨部門、跨地域、跨層級的視頻圖像數據交換共享應用。