面向科技創城的大數據數字視網膜技術應用與研究

0 引言

隨著人工智能、邊緣計算等技術的發展，DT時代數據呈現爆炸式增長。數字視網膜依托全新升級的仿生物視網膜的計算架構，主要面向政府、委辦局提供視頻數據匯聚、存儲和解析的一體化服務，結合視頻和人工智能技術，可以有效地解決人工智能發展中面臨的海量規模化視頻數據應用下的關鍵性問題。通過大數據分析挖掘數據中隱含的內在規律，全面支撐領導統籌全局、科學決策、創新城市治理模式，努力實現共創共享的文明創建新格局，為全國科技創城建設工作提供技術支撐。

1 研究背景

1.1 科技創城建設背景

黨的十八大以來，以習近平同志為總書記的黨中央高度重視精神文明建設，作出了一系列重大決策部署。全國文明城市作為含金量最高、綜合性最強、影響力最大的城市品牌，是深入貫徹習近平總書記關于精神文明建設的重要論述，是落實黨的十九屆五中全會對精神文明建設的部署要求，是順應文明城市創建新形勢、開啟精神文明建設新征程的迫切需要，關系城市長遠發展和群眾切身利益。目前，各地文明城區創建尚未有專門的信息化系統作為支撐，各類創城措施缺乏科技手段，主要以“上人為主”，難以建立長效常態的創建工作機制。特別是中央文明辦下發的新版測評體系增加了很多測評內容和重要點位，需要各項創城工作更加精細化、常態化。科技創城以“人工智能+大數據”的數據視網膜為主要科技手段，利用已建的公共視頻為城市“眼睛”，打造“視頻網格員”，自動識別各類不文明現象并結合網格化管理及時閉環處置，創新文明創城模式，建立“全域創建、精準創建、全民創建、長效常態創建”的工作機制，確保創建工作不留死角，助力文明城區創建工作[1-2]。

1.2 科技創城建設存在的問題

視頻數據匯聚能力不足，隨著城市的不斷發展以及視頻資源的分散建設、設備選型、網絡架構的差異，導致視頻資源共享難的問題；視頻智能化水平不足，除公安視頻經過結構化解析外，大部分未進行視頻智能分析，還是以人工監視為主，通過人眼發現各類違規事件，工作效率極低。視頻智能分析是未來視頻監控系統發展的必然趨勢，作為從海量數據中獲取有用信息最方便快捷的手段，將會成為視頻監控的主力軍，并且隨著高清化與智能化的有機結合、隨著攝像機與智能分析的一體化發展，其產生的作用及影響會越來越大，最終實現由人防向技防的轉變；針對創城不文明現象發現能力不足，由于全國文明城區創建考核內容涉及交通路口、主次干道、背街小巷、農貿市場、街道社區等幾十種類型的點位，包括遛狗不牽繩、共享單車亂停放、機動車不禮讓行人、行人越線等燈、外賣員不戴頭盔等上百種不文明現象。目前視頻解析平臺已有的算法類型尚不能涵蓋文明城市實地考察測評范圍，仍需要進一步進行擴充，提高創城不文明現象發現的能力[3]。

2 數字視網膜

數字視網膜依托全新升級的仿生物視網膜的計算架構，主要面向政府、委辦局提供視頻數據匯聚、存儲和解析的一體化服務，同時，視網膜集成了視頻管理、推理、算法和視圖庫的一體化平臺，目標是為城市全行業提供通用的視頻解決方案，助推各地科技創城工作更上一層樓。數字視網膜全景圖如圖1所示。

圖1 數字視網膜全景圖

2.1 數字視網膜概念

數字視網膜從物理區域劃分包括邊緣計算模塊和云端計算中心，其構成圖如圖2所示。其中，云端計算中心包括AI中臺和城市視頻管理平臺。AI中臺包括算法工廠、AI算法推理平臺、機器學習建模平臺和AI服務平臺，同時提供了全目標屬性識別、以圖搜圖、交通違法事件識別、交通態勢感知、城管違規事件檢測、社區管理視頻智能分析、應急安監視頻智能分析八大類算法產品，在研算法349種，上線算法116種。城市視頻管理平臺主要提供視頻接入、視頻資源管理、視頻算法任務管理等服務，實現視頻數據的全生命周期管理。[4]

圖2 數字視網膜構成圖

邊緣計算模塊與云端AI中臺及云端數據中臺進行協同，經過數據處理和加工計算為各個行業業務如城市大腦、公安大腦、交通大腦等提供有價值的結構化數據及非結構化數據，幫助業務系統實現價值提升。

2.2 數字視網膜架構

數字視網膜依托全新升級的仿生物視網膜的計算架構，主要面向政府、委辦局提供視頻數據匯聚、存儲和解析的一體化服務，結合視頻和人工智能技術，可以有效地解決人工智能發展中面臨的海量規模化視頻數據應用下的關鍵性問題。

數字視網膜系統包含城市視頻管理平臺、AI算法訓練平臺、AI算法推理平臺、機器學習建模平臺、數據標注平臺和AI服務平臺。

2.2.1 城市視頻管理平臺

視頻類業務運維平臺，為云、邊端提供視頻接入、視頻資源管理、視頻算法任務管理等服務，實現視頻數據的全生命周期管理。

2.2.2 AI算法訓練平臺

AI算法訓練平臺對計算資源進行統一分配調度，基于Kubernetes架構，使用harbor作為算法鏡像倉庫，Redis作為中間件，使用MySQL數據庫，同時使用Grafana、Prometheus等組件為上層應用提供支撐。按功能模塊劃分，服務層主要提供任務管理、模型管理、用戶管理、監控等服務，為算法工程師、管理員提供流程化地算法模型開發訓練。

2.2.3 AI算法推理平臺

算法解析類的運維管理平臺，為項目現場運維工程師提供統一算法基礎運行環境，為云、邊提供算法統一在線管理、發布的基礎環境，是一個高效的多算法管理與大規模任務資源調度平臺。

2.2.4 機器學習建模平臺

從數據服務、任務調度、模塊擴展框架、算法策略管理、數據緩存管理和算法生態六個方面為算法工程師提供工具支持，強化模型算法的可視化，加速數據與業務融合。

2.2.5 數據標注平臺

數據標注平臺支持多場景數據標注，整體架構如圖3所示，底層依賴網絡設施建設、安全設施建設，需提供服務器硬件資源及系統組件。數據資源層包含MySQL、ElasticSearch、FastDFS，管理多種數據。服務支撐層可提供API接口、系統日志、權限管理及查詢引擎。基于上述支撐，服務層可提供數據采集、數據統計、web端標注工具、客戶端標注工具等多種服務。為標注需求者、數據標注員、數據質檢員等多種用戶提供簡單易用的標注工具，生成高質量的標注數據。

圖3 數據標志平臺整體架構圖

2.2.6 AI服務平臺

AI服務平臺是以視頻圖像綜合資源庫為核心的視頻服務平臺，依托AI算法推理平臺及城市視頻管理平臺，旨在為事件類算法提供統一的結果展示模塊。交通場景庫的違法行為識別、城管場景庫的城管違規事件識別、應急場景庫的政府應急管理等事件相關算法，被統稱為事件類算法。平臺支持多種算法結果展示形式，支持多種檢索方式，支持用戶對算法結果進行單個或批量導出，支持對視頻AI解析產生的各類智能事件進行集中審核。為治理中心、大數據局和委辦局提供算法結果與AI能力展示平臺[5-7]。

3 數字視網膜系統價值

3.1 提升城市視頻解析率

數字視網膜可以根據各類AI算法發現的事件，對事件的緊急程度進行分級響應，對緊急事件優先解析，做到資源利用做大化，形成事件處置閉環，提升單臺服務器解析路數。通過邊緣計算節點實時處理邊緣側的分析處理和應用需求，數字視網膜系統應用的邊緣側陣列板服務器可以支持384路攝像頭的實時解析及價值信息提取，通過一臺邊緣計算設備便可以有效地激活一片區域內存量監控設備的智能化水平，進而提升城市視頻的解析率。

3.2 提升數據留存率

通過邊云協同的處理架構，可以實現對視頻數據的逐級濃縮和提純，將有價值的數據信息留存下來，極大地節省了網絡帶寬和存儲空間，提升了數據留存率。同時通過均衡規劃邊緣側與云端的算力資源，極大的緩解了云端的計算壓力，有效地解決了海量視頻數據大規模匯聚、存儲和計算的問題，提升視頻數據留存率。留存后的事件結果可以做二次分析，進一步挖掘留存數據的價值，將海量、多形態的視頻數據，接入數字視網膜系統，有效整合散、雜、繁的城市視頻資源，采用邊端即處理的策略進行價值提煉，通過合理的分層分級架構設計，針對不同分級分類不同價值的視頻數據進行不同的提煉處理，如低價值進行超壓、高價值進行無損轉碼等，匹配城市視頻價值投資需要[8-9]。

4 典型應用

數字視網膜主要應用于城市大腦、雪亮工程、智慧交通、智能社區、智能環保等文明城市創建中的多種行業。基于海量視頻“傳不動，存不起，算不完”的行業痛點，可用來解決海量視頻接入聯網與價值釋放、視頻信息數據內容可獲取性差等問題。數字視網膜系統通過對不同類別不同等級視頻數據的濃縮和提純，均衡規劃邊緣計算與云端計算，提供高質量的視頻信息數據，從源頭解決海量視頻數據大規模匯聚、存儲和計算的問題。

數字視網膜可為業務系統提供高速、準確、穩定的算法服務。包含通用類算法、交通類算法、城管類算法、社區類算法、應急類算法、環保類算法、教育類算法、食藥監類算法、司法類算法、公共衛生類算法等幾十余種算法場景。數字視網膜經過數據處理和加工計算，通過AI服務平臺提供結果數據的可視化查看和中心管理，同時為各個行業業務如城市大腦、公安大腦、交通大腦等提供有價值的結構化數據及非結構化數據，幫助業務系統實現價值提升，助力科技創城建設。

5 結束語

近幾年，隨著黨中央對全國文明城市建設工作的高度重視，各地積極部署科技創城建設工作。在新一輪城市發展中，全國文明城區創建面臨著“硬件”需要繼續建設完善，“軟件”亟待改善提高的要求。基于數字視網膜技術的科技創城可最大程度地實現對城市各部門、各單位實時化動態管控，讓“粗放式管理”成為“精細化管理”，變“臨時突擊”為“長效管理”，使各部門、各單位真正地支持、投入和參與到文明城市建設管理中來，切實提升城市整體文明實力。