大數據在社會治安防控體系建設中的應用

尹濤 饒旻

1. 江西省南昌市公安局 2. 北京海致網聚信息技術有限公司

引言

隨著國際國內環境的不斷變化，治安防控信息化建設與應用存在的短板和問題日益凸顯，主要表現在：一是大數據應用意識不強，公安機關內部，大數據、信息化思維不夠，利用科技信息化技術破解難題、提升水平的積極性和主動性有待提高；二是缺乏大數據應用支撐平臺，治安業務條線系統林立，傳統的“煙囪式”業務系統建設不利于開展跨系統數據融合與綜合應用；三是治安數據治理體系不健全，治安要素基礎信息采集不全、底數不清，且未形成以人員、地址、物品、單位、案事件為主要內容的治安數據知識體系；四是大數據應用能力不足，不善于將積累的業務知識轉化為信息模型，對海量數據背后隱藏的客觀規律挖掘不夠。在此背景下，研究如何利用大數據手段，創新警務機制運行模式，改進和完善社會治安防控體系，進一步適應未來社會治安治理需要，顯得極為重要。

一、需求分析

大數據背景下，社會治安防控體系建設面臨著新的任務和要求，主要體現在以下幾個方面：

（一）數據整合匯聚的需求

需要匯聚公安檢查站、街面巡防、安防小區、娛樂場所、特種行業、內保、地鐵、公交、危爆物品、大型活動等業務數據，以及政務網、視頻專網提供的部分結構化數據，從而形成社會治安防控數據匯聚庫。

（二）數據加工治理的需求

在匯聚庫的基礎上，以現有數據治理為核心，融合至公安基礎業務數據，重新形成內容更為豐富的標準庫、專題庫、主題庫、標簽庫以及業務庫，最終梳理形成治安要素庫。

（三）數據分析研判的需求

建設社會治安防控應用支撐平臺，打造基于海量數據的快速建模、圖譜分析、可視化分析、地圖分析能力，并構建一系列滿足治安管理需要的治安模型體系，以模型或者數據支撐的方式對外提供共享。

（四）數據綜合應用的需求

結合社會治安防控業務，按照圈層管理、單元管理、要素管理的思路，打造一系列特色應用，例如核心圈層管理、重點部位管理、智慧社區管理、新業態管控、重點人員管理、重點物品管理等，服務社會治安防控工作。

二、解決方案

通過視頻、人臉、卡口、電子圍欄、Wi-Fi熱點等前端感知設備的建設，全方位采集人、車、電、網、像等各類要素信息，為預警感知與精準打擊提供強大的數據支撐；以大數據平臺為體系核心，強化各類數據資源的整合、匯聚、存儲、加工、分析與應用，為社會治安防控提供數據支撐、計算支撐、模型支撐，通過對重點人員、車輛、物品、場所信息動態掌握和深度分析，構建支撐智慧公安的“最強大腦”，實現對城市社會面治安形勢全面掌握，更好地實現預防和減少犯罪的目標。

（一）系統整體架構

系統整體架構分為IAAS、PAAS、DAAS和SAAS四層。IAAS為基礎設施層，包括硬件、網絡、安全管理等內容；PAAS為平臺服務層，包括數據存儲、數據計算、API網關等內容；DAAS為數據服務層，包括數據接入、清洗、加工、組織、對外服務等內容；SAAS為應用服務層，主要為治安防控的各類應用。其中，數據層和應用層為本平臺的核心。數據層又可細分為：

（1）數據匯聚子系統：數據匯聚子系統采集前端感知設備傳輸的信息，通過統一的采集服務將數據接入到大數據支撐平臺，進行后續的分析處理。基礎網絡服務平臺可滿足各種數據接入，同時支持大量客戶端的并行處理。

（2）數據治理子系統：大數據清洗子系統負責數據清洗和規整，剔除無用、錯誤和冗余的數據，保證數據的質量。

（3）數據分析子系統：大數據計算是整個系統的核心，基于Mapruduce、Hadoop架構的分布式存儲計算以及基于Flink流式計算可滿足不同的計算需求。

（4）數據共享服務子系統：統一消息服務子系統為各種綜合應用提供服務接口，可滿足各種系統的接入查詢。

（二）大數據處理流程

首先是數據接入，前端感知設備采集的數據通過安全邊界發送到大數據支撐平臺采集主機，采集子系統將處理后的數據分別分發給批量同步服務和實時同步服務，利用Flume、Datax等技術將數據同步到大數據存儲/計算集群。

其次是數據管理，其中批量同步服務將數據存儲到Hive、Spark為主的離線存儲/計算集群主機，完成大規模數據集的大數據融合分析、標準化、指標數據等的計算和存儲，包括基于大數據的治安態勢分析、交通態勢分析等。另一部分實時同步服務，將實時數據發給Kafka、Flink為主的實時消息隊列和計算集群主機，完成實時數據規整、清洗、標準化、規則引擎等的計算和處理。

之后是知識管理，經過離線/實時的數據管理后，可以進一步使用數據生產出上層業務所需的具有知識屬性的數據，并交給不同的在線存儲引擎完成存儲，如業務庫MPP、時空庫Geomesa、關系庫Janusgraph等分布式數據庫技術，之后能夠通過統一消息服務平臺將數據以服務和推送的形式提供給各應用子系統。

三、實現功能

社會治安防控體系建設的核心內容為大數據基礎支撐平臺、應用支撐平臺和社會治安防控應用，本文主要闡述前兩個平臺的內容。

（一）大數據基礎支撐平臺

1. 數據接入匯聚

數據接入匯聚主要實現打破數據壁壘，適配多源異構的數據源實現數據統一輸出的目的。公安數據來源廣、格式不一、種類繁多。獲取方式上包括技術手段和管理手段獲取數據等“多源”數據；對接“異構”系統，在數據結構上，來源數據多種類型，如數據庫表、消息數據、文本文件、二進制文件、加壓加密文件等。對接系統上，來源系統涉及文件系統、關系型或非關系型數據庫、消息中間件和FTP系統。通過構建規范的數據接入流程，建立可適配的多源異構數據接入模式，對接入進行統一輸出，為數據處理做好前提準備。用戶可通過頁面進行數據源和任務的配置，管理任務狀態，提高了用戶友好性。主要利用的功能模塊包括：數據探查、數據定義、數據讀取、數據統計、數據對賬、數據質量檢測、任務管理、數據源管理等。

2. 數據處理

數據處理具備對接入的多源異構數據進行標準化處理的能力。通過對接入的源數據按照數據標準的約定進行提取、清洗、比對、關聯、打標等規范化流程處理，以過濾掉業務不關心的數據，提高數據關聯度和業務緊密度，進而提升數據價值密度，實現數據增值。

3. 數據治理

數據治理是數據接入、處理、組織、服務、應用全生命周期的規劃設計、過程控制和質量監督，通過規范化的數據治理，可實現數據資源的透明、可管、可控，理清數據資產、完善數據標準落地、形成完整的數據資源目錄、規范數據處理流程、提升數據質量、保障數據安全使用、促進數據流通與價值提煉。數據治理的內容如圖5所示。

4. 數據組織

按照大數據使用目的分類建庫的要求，對數據資源形成科學分類標準統一、流程規范組織方案，并滿足各業務部門業務專題數據落地建庫需求，支持數據分級分類的機制以及數據使用的優先級策略。考慮將數據從來源逐級提煉，形成分層存儲、全局管理和使用的數據組織，主要包括數據控制分布、創建表與數據老化、PaaS庫定義、平臺庫定義、多維數據展示等關鍵功能，支撐原始庫、資源庫、主題庫、知識庫、業務庫等。通過這類模型將數據進行組織，達到數據融合和知識沉淀的目的，具體詳細的數據組織架構如圖6所示。

5. 數據服務

數據服務是指各類數據資源對外提供的數據訪問和管理能力。對應服務涵蓋的數據范圍包含原始庫、資源庫、主題庫、業務庫、知識庫以及元數據、數據資源目錄等。數據服務可分為查詢檢索服務、比對訂閱服務、模型分析服務、數據推送服務、數據鑒權服務、數據操作服務、數據管理服務等，并支持跨網跨域的服務能力。

（二）應用支撐平臺

應用支撐引擎包括：數據模型構建引擎、多維可視分析體引擎、數據精準推送引擎、業務大屏應用引擎、精細化地圖服務引擎，以及流程管理配置引擎。

1. 數據模型構建引擎

提供靈活可配置的數據建模界面，用戶可以使用拖拉拽方式快速完成復雜的數據建模。通過基于表的關聯挖掘建模進行自由組合，減少數據建模過程中的斷點操作，保證用戶在數據建模過程中的連貫性。

2. 多維可視分析引擎

提供自助式多維數據可視化分析展示環境，不再高度依賴于計算機和數據專家，自助式構建研判分析多維透視數據體系，構建全面數據驅動的規模應用并進行研判經驗共享和知識積累。

3. 數據精準推送引擎

以推送引擎和數據算法為載體，以精準推送為目標，串聯數據和各業務應用系統，形成精準數據推送體系。將各渠道構建的各類模型計算結果或預警信息，推送到各級流程管理平臺中下發、核查、反饋。

4. 業務大屏應用引擎

隨著數據感知體系的不斷完善，如何有效將分析結果進行整體、美觀的呈現，讓信息接受者既能夠掌握全局，也能夠洞察微觀，實現數據“一屏”可視應用，更加直觀地將數據結果進行呈現。

5. 精細化地圖服務引擎

提供基礎地圖服務支撐，在基礎地圖數據（行政區、水系、道路、樓塊街區）基礎上，添加城市自有的治安相關數據、更細粒度的城市建筑物（AOI、樓棟）數據等。

6. 流程管理配置引擎

通過流程管理配置引擎可以快速實現工作流程的快速搭建、應用搭建、應用發布以及數據采集工作。

四、應用效果

XX市公安局通過統一大數據平臺的建設，建立起支撐全市各警種、各部門的大數據服務能力，圍繞治安防控實戰需求，搭建了面向人員管控、車輛管理、場所管理、指揮調度、應急處突、政務服務等業務應用20余個，研發重點人員管控、掃黑除惡、重大安保管控等實戰應用模型100余個，配合移動警務終端，開發信息采集、人車核驗、現場勘驗、信息預警等應用工具40余個，有效支撐了大數據條件下精準“打、防、管、控”警務運行機制的建設。通過智慧小區、智慧檢查站的建設，進一步完善了社會治安防控體系等圈層建設，提高社會治安形勢的駕馭能力。2019年，XX市全年治安警情數量下降21%，刑事警情數量下降38%，八類案件數量下降32%，盜搶騙數量下降29%，電信網絡詐騙立案數與涉案損失金額均實現大幅下降，破案數與追贓挽損金額實現顯著上升，現行命案破案率達到100%。

五、結語

隨著世界多極化、經濟全球化、文化多元化、社會信息化深入發展，經濟社會形勢發生了新的深刻變化，新型違法犯罪打擊難度不斷增加，新業態管控任務逐漸加劇。利用大數據技術推動傳統警務模式向現代警務模式的轉變，是社會治安防控建設變革的必由之路。