數據中臺在城市應急領域中的應用

黃禮成

（南京哈盧信息科技有限公司，江蘇 南京 210000）

0 引言

數據是新的生產要素，隨著信息技術的不斷發展，各領域都會不斷地產生數據，從而驅動處理數據模式的變革。然而，當前大量的交管業務數據散落在不同的系統中，無法立即掌握所有的數據形態，數據質量也參差不齊，僅靠人力經驗難以了解城市數據下隱藏的深層次問題和規律，也難以發揮數據真正的價值。視頻數據、圖片數據等資源處于沉睡狀態，沒有發揮最大的作用。因此，亟需基于數據意識，應用大數據、云計算以及人工智能等前沿科技，通過融合處理數據來改變單個系統、單批設備調用或獲取數據的方式，利用大數據的信息集成優勢和關聯分析構建統一的以信息充分共享、資源高度融合、數據深度挖掘以及部門協調聯動為核心的數據中臺，深度挖掘潛藏在數據中的巨大價值，為各類業務應用提供統一的數據資源。

基于數據中臺4ONE的理念，總結了一套面向應急服務行業的具體的數據治理方法，從價值服務場景角度出發，通過制定數據中臺頂層設計規劃、數據中臺標準體系、理清數據中臺資源、智能化數據加工、價值化數據資產、超市化數據服務以及便捷化服務數據應用助力快速實現整個鏈的數據化、數據智能化的目標，幫助解決數據利用在存、管、通以及用等方面所存在的問題。

1 數據中臺的功能架構

根據功能可以將應急數據中臺分成大數據基礎支撐平臺、應急全息數據模型、應急數據智能引擎、數據治理實施、數據運營管理以及配套的規章制度。

1.1 接入數據源

接入數據源包括接入應急部門內部數據、各委辦局數據、物聯網實時采集數據以及互聯網數據。

1.2 基礎能力

構建應急數據治理的基礎設施，以便快速構建應急行業數據中臺，從而為數據賦能業務提供支撐。包括大數據基礎平臺和數據工廠。大數據基礎平臺采用Hadoop+MPP混搭技術架構保障安全、可靠地存儲與計算海量業務數據，滿足各行各業、各種復雜業務場景下的數據處理需求。數據工廠通過數據標準、數據集成、數據開發、數據融合、數據編排以及數據開放等工具可以輕松實現智能數據精煉、數據資產沉淀以及對外服務等功能。

1.3 應急全息數據模型

應急全息數據模型基于匯集多渠道、多視角且多維度的全量數據，利用各種算法模型對各類數據進行邏輯組織，構建面向行業的“數據-信息-知識-智慧”整體脈絡，具體包括行業數據技術管理層、應急數據融合層和數據資產管理層。通過數據上云、數據融合以及數據資產化3個過程構建面向應急行業的數據資產體系。行業數據技術管理層即數據上云的過程，從“多源+多元+異構”的源數據到精細化數據倉庫的構建，具體數據倉庫的分層設計包括原始層（STG）、資源層（ODS）、主題層（DWT）、專題層（DWS）、DIM層以及EVL層。

應急數據融合層中數據融合是基于數據上云的成果，通過應急基本要素的時空融合和交管數據智能引擎的能力實現精細化管理數據的目標。完善數據資產管理層后，通過構建業務基礎數據目錄結構以及數據指標體系來形成有價值的數據資產體系。

1.4 數據開放

數據開放是實現數據中臺能力的表現，對外提供各類數據服務，形成與外部的開放協同，還可以為各類業務應用提供支撐。

1.5 數據運營服務

通過建立數據運營管理制度和流程規范來構建完整的數據運營體系，對數據中臺的數據態勢進行全景展示并提供數據增值服務，實現提高數據運營質量與效益的目標。

1.6 標準及規范體系

標準及規范體系包括數據標準、技術標準、運營標準、安全標準以及相關部門發布的一些規范要求，可以為建設數據中臺提供指導意見。

2 數據中臺的功能特性

構建應急管理大數據治理體系，實現數據訪問、處理、存儲和應用的全生命周期管理。建設統一的應急大數據資源中心，實現統一的數據標準、數據接入、數據服務、數據深度應用并保障數據安全。通過提供數據共享交換、數據應用等服務來構建“縱向到末端、橫向到邊緣”的數據業務流程模型，為應急管理業務提供有力支撐，其應急數據治理結構如圖1所示。

圖1 應急主題數據服務主線流程圖

2.1 應急數據治理

應急主題數據服務的數據源來自數據接入、匯聚。數據匯聚包括以下7個方面：1） 市應急數據。其主要包括市應急管理局內部系統產生的數據以及各區縣應急生產數據。2）市其他部門數據。其主要包括市自然資源局、水利局、氣象局、林業局、住房保障和房地產管理局、衛生健康委員會以及交通局等單位產生的數據。3） 省應急數據。其主要包括省應急綜合業務管理平臺、省危險化學品安全生產風險監測預警系統等產生的數據。4） 省其他部門數據。由政務網的省數據共享交換平臺統一進行數據接入，市數據共享交換平臺通過與省數據共享交換平臺進行對接來獲取相關數據。5） 市應急感知數據。其主要包括物聯感知數據、視頻感知數據。6） 市其他部門感知數據。其主要包括物聯感知數據、視頻感知數據等市兄弟委辦局單位產生的感知數據。7） 省級感知數據。由政務網的省數據共享交換平臺統一進行數據接入，市數據共享交換平臺通過與省數據共享交換平臺數據進行對接來獲取相關數據。

應急主題數據服務與業務系統的數據治理全鏈路數據處理流程包括以下5個方面：1）數據接入形成原始庫。基于數據接入、匯聚，根據應急項目數據需求按需獲取應急所關注的相關原始數據，數據接入后形成該項目的原始庫。該項目原始庫的數據來源包括市其他部門數據（例如氣象數據、地質災害數據等）、應急管理局垂直內部數據。數據類型包括結構化數據、半結構化數據和非結構化數據。2）數據處理形成資源庫。基于原始庫，通過數據抽取、數據清洗以及數據標準化來形成資源庫。3）數據處理形成主題庫。主題庫是提取分散在資源庫各業務數據表中的要素，根據應急對象要素、要素特征等進行搭建，主要用于對資源庫存儲層中的數據進行深度關聯、整合。主題庫數據包括災害事故主題、管理對象主題、應急環境主題、救援資源主題以及動態感知主題。4）數據處理形成專題庫。專題庫面向應急管理常態與非常態業務需求，通過二次抽取裝載資源庫、主題庫數據的方法重新組織數據，并按照不同事件專題的應用需求重新整合形成專題庫。專題庫是資源庫和主題庫的延伸，專題庫存儲不同來源、不同主題的專項業務數據，是服務于某一專門領域的專題業務應用。專題庫可劃分為危化品事故專題庫、地震專題庫以及地質災害專題庫等。5）數據處理形成業務庫。業務庫是應急管理綜合應用（應急指揮救援系統、應急一張圖等）的數據源。

2.2 數據接入

數據采集支持多源數據的接入，包括異構數據源管理、異構數據采集，支持數據庫接入、文件接入、流式接入、批量數據接入、實時數據接入以及交互式接入。

對現有的系統接入來說，其已與應用集成的系統采用一次性全量接入的方式進行數據遷移，沿用系統全量數據抽取、增量同步的方式接入數據；在規劃新建系統時將根據實時性要求接入、交換數據。

數據采集功能支持通過JDBC/ODBC的方式從異構數據源系統的數據庫表或視圖中采集數據，在采集數據時，可以根據數據量大小、網絡情況以及系統負荷等情況采用不同的方式（全量采集或者增量采集）采集數據（支持Oracle、MySQL等多種數據庫）。

數據采集功能支持Blob、Clob類型的大字段數據。支持Excel、XML、CSV以及純文本等格式。支持來自通信協議的數據采集，例如HTTP、JMS、FTP以及Kafka等接口對接協議，支持自定義協議。

數據采集功能支持多種數據采集模式，每種數據采集模式都可配置不同的數據采集頻率，包括觸發器、時間戳、標志位以及日志分析模式。

2.3 應急數據融合

充分對接和利用省、市大數據管理局數據，有針對性地對各委辦局的監測、預測以及預警等各類數據進行抽取選擇，充分考慮應急管理機構改革，實現消防救援、水利、氣象、自然資源、行政執法、建設以及交通等相關部門資源整合的目標，一方面保證數據層融合可以對單一數據源數據缺失和不完整等問題進行修補，另一方面實現最大限度地擴展數據資源的目的。

應急數據中臺的指標體系建設不僅能夠對現有的基礎數據、業務數據和指標進行整合，而且還能夠形成應急管理行業獨有且能重復使用的指標體系，最大程度地減少重復建設，節約協作成本。指標體系建設后能夠對整個應急行業的指標進行歸類，還能提供高質量的應急管理要素。

3 防汛防臺應用

通過數據加工建立防汛防臺能力評價體系，包括水庫超汛限指標、水庫超防洪高指標、承災體災情指數指標、區域面動態風險指數指標、承災體應轉移人員統計指標以及累計降雨量統計指標。

3.1 等級計算

業務模塊由洪澇判斷模塊和臺風判斷模塊兩個部分組成。2個判斷模塊均將實時數據輸入各自的判斷矩陣，從而得到響應等級結果，將洪澇監測結果和臺風判斷結果進行比較，得到最終的響應等級推薦結果。臺風判斷是對臺風的預測登陸區間、登陸等級以及警報類型進行判斷，從而提出對應的啟動、升級以及解除建議。

洪澇判斷是通過定時監測任務對全市日降雨量、48 h累計降雨量、72 h累計降雨量、市氣象臺預報未來24 h降雨等級以及洪水位進行判斷。

3.2 典型場景

在發生臺風洪澇的過程中，根據接入的降水數據和承災體的信息可以在地圖上動態地展現城市不同承災體的災情指數（用5種顏色分級顯示），清晰地為辨識風險提供依據。

根據歷史臺風發生期間的人員轉移情況、氣象數據以及各區縣人員轉移基數建立模型。在臺風到來期間根據各區縣的應急響應等級、是否休漁期、是否寒暑假以及未來降雨量等因素計算該區縣的建議轉移人數。

4 結語

數據中臺的建設理念是通過大數據賦能管理，利用數據中心將大數據轉化為實際的“可用”事物。隨著云計算技術和新一代人工智能技術的發展，“云”中的數字化建筑已成為發展的主要趨勢。數據中心作為一種新架構、新實踐，其尚處于成長階段，需要通過數字化建設來提高大數據的治理能力，從而解決城市應急領域中所存在的問題。