視頻圖像分析系統及算法倉庫在視頻圖像庫建設中的應用研究

張鵬飛，藍維旱，高 峰

（中通服咨詢設計研究院有限公司，江蘇 南京 210019）

0 引 言

近幾年，隨著國家對公共安全的重視程度逐漸加強，國家相關部門發布了一系列建設規劃和指導意見，各地“雪亮工程”建設工作不斷推進，視頻前端攝像機的數量急劇增加，前端數據采集技術已經比較成熟。目前充分挖掘視頻圖像信息價值，解決視頻圖像應用領域存在的問題是建設新型智慧視頻圖像庫的重要任務。

1 視頻圖像分析系統定位和作用

視頻圖像分析系統利用視頻分析技術和分析算法，通過采集設備/系統自動從卡口中提取圖像信息數據，提取前端設備所采集圖片的結構化及特征值數據，并從視頻監控聯網等平臺獲取視頻流，經解析后提取視頻圖像信息存入視圖庫，通過對應的分析接口為應用平臺提供分析服務[1]。

視頻圖像分析系統通過構建高性能圖像視頻圖像解析能力支撐智能化應用，提供高效的解析服務，快速挖掘海量圖像視頻資源的中的價值信息。主要通過建立算法倉庫，采用多種算法服務校驗結果數據，具備任務調度和資源調度等功能。此外，算法倉庫提供多算法接入能力，采用SDK接入、RESTful服務接入以及API接入的混合接入模式，解決公安實戰時解析資源不足的問題，提升視頻圖像處理效率及業務協同能力[2]。視頻圖像分析系統架構如圖1所示。

圖1 視頻圖像分析系統架構

2 視頻圖像分析系統設計

2.1 視頻圖像分析系統功能

視頻圖像分析系統主要實現兩方面功能，一方面用于識別和解析視頻專網中的視頻（含聯網視頻和離線視頻）、抓拍的人臉照片以及卡口過車圖片等，生成結構化數據，另一方面用于識別解析聯網視頻和離線視頻文件等，生成結構化數據[3]。

視頻圖像分析系統支持對監控視頻中的人和車等典型目標進行自動檢測與識別，并進行相應的行為分析，形成易于自動判別或人工判別的分析結果。分析結果以圖像描述數據表示，可形成人、車以及物等運動目標的摘要視頻或者快照圖片，為上層業務提供視頻圖像內容和目標特征等相關信息。

圖像內容分析包括人像檢測識別、人像比對、車輛識別、視頻摘要、運動目標檢測、目標分類、行人檢測、遺留物檢測、速度異常檢測、人群密度檢測以及徘徊檢測等。通過視頻圖像分析系統對各類視頻數據（包括視頻、人員圖片以及車輛圖片等）進行結構化處理，并整合該級其他視頻圖像結構化數據，實現車輛和人員結構化數據的全面匯集，建設覆蓋全面且檢索高效的視頻圖像結構化信息資源。視頻圖像分析數據流程如圖2所示。

圖2 視頻圖像分析數據流程

2.2 視頻圖像分析系統設計原則

當前端系統有視圖資源推送到視頻圖像分析系統時，引入任務調度服務、網關服務以及資源中心服務，分別管理和分發解析任務與特征提取服務。當前端系統有視圖資源推送到視頻圖像分析系統時，視頻圖像分析系統的管理中心會將解析任務的配置信息推送給算法倉庫，算法倉庫解碼分析獲取的媒體流數據，并將分析結果通過業務框架反饋給視頻圖像分析系統管理中心，實現布控等業務的比對預警，同時輸出結構化數據和特征值到大數據平臺，提供檢索、聚類以及碰撞等大數據服務能力[4]。

視頻圖像分析系統采用充分解耦設計，軟件與硬件解耦，算法解耦，多算法兼容共存設計，充分調動各廠家的優勢，滿足系統頂層設計對開放和兼容的應用與建設需求。

3 算法倉庫建設

3.1 算法倉庫

算法倉庫應具備可動態部署和擴容的能力，算法的部署與硬件資源解耦，實現業務動態調配資源和實時回收，滿足實戰突發計算，實現多算法和多版本的共存和集成。

通過車牌/車輛特征識別、人臉/人體特征識別以及行為分析等智能化算法服務，分析實時/歷史視頻和圖片，統一存儲結構化數據的海量分析結果，并提供檢索結果，同時存儲半結構向量用于檢索，存儲關聯視頻和摳圖等素材便于二次分析使用。此外，采用統一的主題對象庫，便于解耦存儲資源與計算資源，并將檢索性能發揮到最大。

算法倉庫應能以插件倉或鏡像倉等模式承載不同廠商和不同類別的算法，無論是算法插件還是算法鏡像，都以壓縮包的方式導入算法倉庫。每種算法為一個壓縮包，里面包含算法庫和算法模型文件等信息，壓縮包中的算法接口按照標準文檔封裝好的，算法壓縮包導入算法倉庫后，算法倉庫先對壓縮包進行統一管理，算法壓縮包解壓縮后，才是可使用的算法插件和算法鏡像。

3.2 算法插件倉

算法插件倉包含了所有可以直接提供給基礎業務容器使用的算法插件，基礎業務容器在掛載了算法插件后，從鏡像倉庫里拉起，變成算法插件對應的算法服務。

3.3 算法鏡像倉

算法鏡像倉包含了所有可以與業務容器組合成算法服務的算法鏡像，屬于云管理平臺鏡像倉庫的一部分。鏡像是指容器運行時的前身，即容器鏡像，為鏡像配置好相關計算資源、網絡資源以及存儲資源后，從鏡像倉庫拉起后就可以運行在容器中。

3.4 算法接入

算法倉庫能夠提供算法的多種集成方式，以SDK接入形式或API接入形式集成到視頻分析組件，提供包括視圖資源解析、視圖數據檢索以及人臉車輛布控在內的各種算法基礎服務能力和增強服務能力。

算法SDK接入是在視頻圖像分析系統的業務框架中將人臉、車輛以及視頻結構化等算法壓縮包解壓后統一掛載在算法插件倉的目錄下，將算法插件與視頻圖像分析系統的業務框架運行打包在一個容器中，形成一個算法的運行主題，如人臉識別算法，提供包括人臉采集前端的資源接入、目標檢測、特征提取以及結構化數據輸出等能力。當采集系統有視圖資源推送到視頻圖像分析系統時，視頻圖像分析系統的管理中心將解析任務的配置信息推送給算法運行主題（算法pod），算法運行時，主題中的業務框架基于解析任務獲取音視頻和圖片等媒體流數據，對媒體流解碼后與配置信息一起推送給SDK算法插件。SDK算法插件分析解碼后的視圖資源，提取目標特征值和結構化數據，將分析結果通過業務框架反饋給視頻圖像分析系統管理中心[5]。

算法平臺API接入方式的視圖分析管理（解析管理）包括任務調度、任務管理、資源管理以及業務統計4個模塊。任務調度基于采集系統的流量感知，實現算法與任務的調度匹配，任務管理模塊主要是對各類解析任務進行增、刪、查以及改，資源管理是基于流量感知和任務調度，在任務啟動時實現對底層資源的申請，在任務結束時實現對底層資源的釋放，業務統計主要統計業務響應速度、實時業務量、業務調用次數以及業務故障次數。算法軟件以算法平臺API接入形式與視頻分析管理進行對接，可以以容器化或者虛擬機的方式運行，算法平臺包括算法的分析和檢索功能。

RESTful服務接入是指算法軟件與解析業務框架分別運行在單獨容器，通過RESTful接口組合成一個算法運行主題，其示例如圖3所示。當前端采集系統有視圖資源推送到視頻圖像分析系統時，視頻圖像分析系統的管理中心會將解析任務的配置信息推送給算法運行主題（算法pod），算法運行主題中的業務框架將采集系統的媒體流地址和配置信息推送給算法容器，算法容器獲取媒體流數據進行解碼和分析，并將分析結果通過業務框架反饋給視頻圖像分析系統管理中心，實現布控等業務的比對預警，同時輸出結構化數據和特征值到大數據平臺，提供檢索、聚類以及碰撞等大數據服務能力[5]。

圖3 RESTful服務接入示例圖

4 結 論

隨著科技的發展進步，對視頻圖像數據挖掘的能力要求越來越高，大數據平臺將引入越來越多的AI機器學習、深度學習以及智能圖算法等尖端技術來提高整個系統的智能化水平。借助云計算、大數據、深度學習以及物聯網等技術構筑實現對海量圖像和視頻的接入、轉碼、轉發、存儲以及結構化分析等已經逐漸深入日常工作，通過搭建算法倉庫建設深度視頻圖像分析系統，提供快速準確彈性的解析服務，已經成為實現視頻數據的采集、匯聚、清洗以及整合的基本需求，成為了滿足對基礎資源的靈活調度、滿足現階段不同部門和不同業務的智能解析需求以及深化視頻圖像庫和綜合應用平臺部署的基本要求。