面向城市管理需求的視頻智能化巡查系統平臺建設及應用

王志生

徐州市城市管理運行中心 江蘇 徐州 221000

1 引言

現代城市及其管理是一類開放的復雜巨系統，具有多主體、多層次、多結構、多形態、非線性的城市生命體特征[1]。隨著城市模越來越大，要素越來越多，城市事件、部件類問題層出不窮，只依靠數字城管網格化管理思路，信息采集監督員無法實現全部問題的實時發現并及時監管事件進展。傳統的城市管理和運維發展模式已無法支撐未來城市管理的發展新要求[2]，為突破傳統人員巡查的時空局限，構建動靜互補、遠近交錯的智能化感知網絡，運用現代信息技術賦能城市管理、驅動城市治理方式的變革成為當前城市發展和管理的新趨勢。

傳統的視頻監控系統，通過人員瀏覽視頻發現城市管理問題后進行人工上報，這種行為造成的漏報和誤報是無法避免的[3]。通過視頻智能化巡查系統平臺建設，運用智能化管理手段，對接其他專業考核系統，及時推送發現問題，突出解決一些公共區域的暴露垃圾、機動車亂停放、占道經營、店外經營、亂堆物料等城市管理類問題，實現城市管理問題發現、處置快捷化,推動城市管理效能的提升。

2 建設目標

在已建視頻監控系統平臺（球機，數字高清網絡監控設備）的基礎上，基于國內外先進的視頻分析技術，以較為成熟的突變檢測技術，實現對城市管理多要素區域實施24小時實時監控，并利用人工智能進行視頻行為識別，達到“事中報警、事后取證”的智能化管理模式，使城市管理部門能夠對占道經營、店外經營、機動車亂停放、暴露垃圾等城市管理事件做到及時發現、快速反應，進一步提升城市管理問題的發現率、處置率。

2.1 全天候監測

智能化巡查系統平臺作為發現城市管理問題的眼睛，能夠代替原有的視頻監測人員，將視頻逐幀細分為一張張圖片，經過復雜的計算比對，從而實現對視頻資源所覆蓋區域的全天候實時監測。

2.2 城市管理問題發現快捷化

通過智能視頻分析突變檢測技術，不用視頻巡檢人員報告就可以第一時間報警，快速發現城市管理類問題，極大減少了視頻巡查人員工作量，提高了發現問題的響應速度。

2.3 實時監測設備運行狀態

基于視頻分析后的設備運行參數，能夠及時掌握前端視頻設備的運行情況，極大程度地避免事故誤報、漏報情況，保證了城市管理整體視頻監控的完好率。

2.4 界面化數據分析

對城管事件進行深入挖掘分析，從時間、空間等維度分析事件發生的規律，并通過圖表、GIS等豐富的可視化手段進行展現，輔助管理者開展多角度多層次的分析決策。

2.5 實現與其他系統的無縫對接

系統發現的各類城市管理問題，可自動推送至數字城管系統平臺，通過數字城管系統平臺進行派遣、處置，突出解決人力不足、發現不及時等問題；對問題的處置結果，以視頻智能核查替代人工核查，解決核查不及時問題，實現城市管理問題的全流程智能化處理，減少城市管理的人力投入成本。

2.6 自我診斷與學習，逐步提升準確率

系統根據記錄的已經發生的正確報警事件、誤報事件，通過對誤報場景的深度學習分析，掌握誤報的規律，逐漸調整模型參數和閾值，實現系統的持續優化和升級，提高報警的準確率。

3 系統架構

系統采用分層式架構設計，主要分為前端感知層、基礎架構層、平臺服務層和功能應用層，整個平臺邏輯架構如下：

圖1 系統邏輯架構圖

3.1 前端感知層

由高清監控前端或其他部門關聯的視頻監控資源等構成，實現城市管理的物聯感知，視頻關注的對象是城市管理領域中的事件違章問題。

3.2 基礎架構層

包括承載平臺運行的傳輸網絡、視頻備份存儲設備、基礎應用服務器、智能分析服務器等設備。

3.3 平臺服務層

為功能應用層或第三方業務系統提供視頻數據的采集、存儲、管理和配置等基礎服務，通過智能分析服務器提供占道經營、出店經營、游攤商販、亂堆物堆料等違章事件的智能分析和識別，對發現的違章情況提供告警服務。

3.4 功能應用層

通過智能應用組件，提供違章事件自動告警的審核處置，與業務系統對接形成完整的閉合流程。

系統中前端攝像機主要負責視頻的采集，上傳至巡查平臺的視頻應用服務，前端攝像機建議采用高清攝像機，視頻的清晰度需達到智能分析的要求。平臺的視頻應用組件實現視頻的接入和基礎管理功能，智能分析應用組件實現圖片的視頻提取、告警及審核處置等軟件功能，智能化分析服務器實現圖片的智能分析識別。分析的結果經過審核確認后可作為案件推送數字城管業務系統，形成完整的閉環處置流程。

4 技術實現

技術實現分為需求梳理、視頻分析深度學習的現狀評估、樣本采集方案的制定、樣本采集點的建設、樣本采集與機器學習、算法測試版本的研發、算法正式版本的研發、機器形態的選擇與城管算法的匹配聯調、平臺對接等步驟，通過高性能的GPU視頻分析服務器（每臺支持400路監控視頻），對平臺的高清視頻資源進行智能分析處理。

4.1 樣本采集

前期尋找20個城市管理事件頻發區域的視頻監控。算法開發方面，第一階段需要白天至少20000張，晚間至少10000張，第二階段還需要持續的補充樣本，重新訓練提升效果。

4.2 技術路線

深度學習是機器學習研究中的一個新的領域，其目的在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據，比如自動駕駛、語音識別、圖像識別，都是深度學習的研究范疇[4]。以人腦處理圖像為例，人分析一張圖像，首先通過視網膜進行成像，將畫面轉換成像素，然后依次通過V1-V2-V4最后到AIT層，形成對圖像內容的理解，分析的過程逐漸復雜。

相對傳統基于圖像處理的方法，基于機器學習的視頻數據處理與視頻內容分析技術，能夠通過自主學習訓練自行生成邏輯關系式或算法，對場景內目標進行自動識別，相比人工進行邏輯關系式或算法設計的傳統方式，機器學習方式能夠大幅提高分析及處理的準確率。本項目建設中，希望通過視頻深度學習的機制，發揮其在城市管理違章發現處理過程中的作用。主要技術路線如下圖：

圖2 主要技術路線圖

4.3 關鍵技術

利用時間和空間運動一致性的信息分析城市監控場景下街面秩序事件檢測方法。通過設計目標檢測深度學習網絡，訓練場景識別模型，并計算場景內的運動信息分析其行為狀態，以視頻智能分析領域中靜態視頻幀中目標檢測技術和動態視頻中目標行為分析技術相結合的方式，多條件聯合判定事件，設計出店外經營、占道經營、暴露垃圾及非機動車亂停放等事件的檢測系統，準確快速的完成事件的自動檢測，有效降低了由于場景復雜而導致的事件的誤檢、漏檢問題。

圖3 圖像處理流程

4.4 運行環境要求

不少于1顆Intel Xeon E5-8核處理器,64GB內存，1張Tesla P40、不少于4個千兆網口，支持網絡喚醒，網絡冗余，負載均衡等網絡特性，具有不少于1*128SSD，8*960GB SSD；可通過視頻線連接至現有視頻綜合平臺，可將實時告警信息投到現有大屏上，支持告警的數圖展示，顯示分辨率不低于4K分辨率。

5 主要功能

5.1 實時監測

基于GIS地圖，系統按不同維度統計報警記錄，可以查看今日報警總數、今日報警類型占比、今日報警趨勢、本月報警總數、本月高發時段、本月突出問題、本月頻發點位、最新四條告警列表、地圖上展示告警點位并可以審核，預覽告警點位和回放報警時間前后15秒（可設置）錄像。

圖4 實時監測界面圖

5.2 自動預警

系統對視頻抓拍的圖片進行分析識別，進行自動預警，并通過預警研判進行審核（可人工校正），集中展示出各類違章事件的告警圖片和點位的位置信息。

圖5 自動預警界面圖

5.3 問題派遣處置

巡查系統平臺發現的各類城市管理問題，可自動推送至數字城管系統（考核）平臺，通過與數字城管系統平臺的無縫對接，實現以視頻監控替代人工發現的城市管理案件，解決了人工巡查人力不足、發現不及時等問題；對問題處置情況，可以視頻核查替代人工核查，助力城市管理案件的智能化處理，大幅度提高工作效率。

圖6 問題推送界面圖

5.4 前端視頻監控檢測界面

運用在城市管理中的視頻監控多達上千個，大量的攝像頭給管理部門的運維也帶來麻煩，如何確定每一路視頻是否在正常工作也成為一個難題，設備離線和模糊等質量問題，都不能被迅速的發現，降低了視頻圖像的有效利用率。與此同時，無法精準了解每個前端設備的運行狀態，當設備出現異常時，不能快速的發現和維護。基于巡查系統平臺后的設備運行參數，能夠及時掌握前端視頻設備的運行情況，極大程度地避免事故誤報、漏報情況，保障前端視頻監控的完好性。

圖7 前端視頻監控檢測界面圖

5.5 統計分析界面

對城市管理問題進行深入挖掘分析，從時間、空間等維度剖析事件發生的規律，支持多字段查詢，并通過圖表、GIS等豐富的可視化手段進行展現，輔助開展多角度多層次的探索式分析決策。

圖8 統計分析界面圖

6 實際應用

視頻智能化巡查系統平臺正式部署后，初期挑選城市管理要素較多區域視頻監控800路。經過不斷的數據采集、智能分析、機器學習、算法改進等工作，問題識別準確率不斷提升。2021年9月1日至10月1日，系統平臺共計識別案件23866起，準確率約83.06%。其中，亂堆物堆料15996起，識別率82.72%；店外經營3947起，識別率82.37；違規戶外廣告1763起，識別率85.37%；沿街晾掛720起，識別率84.58%；非機動車亂停放593起，識別率92.41%。其他問題還包括暴露垃圾、垃圾箱滿溢、施工廢棄料、渣土未覆蓋等。23866起案件中，因算法識別問題，交由人工智能再學習案件4043起，約占全部案件的16.94%。該部分案件的數據將作為人工智能機器學習的訓練素材，以進一步提高案件識別率及準確度。

7 結語

通過實施城市管理視頻智能化巡查系統項目建設，對于推動形成智能化的城市管理運行體系具有重要意義，進一步拓展了城市管理問題的來源渠道，充分利用了原有視頻監控資源，無縫對接數字城管系統（考核）平臺，大量的城市管理得到及時發現、派遣、處置，從實際部署運行來看，城市管理智能化水平得到有效提升。