情指行一體化體系中大數(shù)據(jù)技術的應用

張金鵬 王菁怡 孫慧超

摘要：作為公安機關提高犯罪偵查和治安防控能力重要的手段，大數(shù)據(jù)在公安工作中發(fā)揮著不可忽視的作用。但隨著公安信息化的不斷發(fā)展，信息量逐漸呈現(xiàn)出了指數(shù)級的增長，不斷加強對公安內(nèi)部的信息數(shù)據(jù)、社會資源和互聯(lián)網(wǎng)資源信息的整合和處理以及對數(shù)據(jù)的深度挖掘，成為公安信息化新的發(fā)展方向。利用大數(shù)據(jù)技術將海量情指行相關的數(shù)據(jù)進行匯聚、清洗、治理、分析、預測，從復雜的數(shù)據(jù)中挖掘隱性規(guī)律和內(nèi)在聯(lián)系，構建立體化、空間化的信息關聯(lián)體系，綜合分析應用并產(chǎn)生巨大價值是構建智慧警務的重要途徑。文章在深入分析情指行一體化建設的現(xiàn)狀和問題的基礎上，研究并設計了大數(shù)據(jù)融合應用平臺，借助大數(shù)據(jù)技術實現(xiàn)情報、指揮、行動等警務活動的一體化協(xié)同運轉，進一步提升公安機關在應急重大突發(fā)事件的處置能力。

關鍵詞：大數(shù)據(jù)；情指行；數(shù)據(jù)挖掘；協(xié)同運轉

doi：10.3969/J.ISSN.1672-7274.2024.03.027

中圖分類號：TP 3? ? ? ? ? 文獻標志碼：A? ? ? ? ? ?文章編碼：1672-7274（2024）03-00-04

0? ?引言

隨著互聯(lián)網(wǎng)特別是移動互聯(lián)網(wǎng)的發(fā)展，一個以信息爆炸為特征的大數(shù)據(jù)時代已到來，這對公安機關來說既是挑戰(zhàn)，也是機遇。傳統(tǒng)警務機制在處置突發(fā)性事件、預防與打擊新型違法犯罪時往往“力不從心”，難以達到機制構建與運行之目的[1]。為此，公安部加快推進全國公安機關深化警務改革工作，要求加快構建適應新發(fā)展階段要求的現(xiàn)代警務體系，深化推進情指勤輿一體化實戰(zhàn)化運行機制改革。

按照公安機關深化警務改革總體要求，2019年6月，公安部成立了情報指揮中心，擔負情報分析、研判預警、指揮調度、應急值守等重要職責，同時牽頭推進情指勤輿一體化實戰(zhàn)化工作機制并下發(fā)了《情指勤輿一體化實戰(zhàn)平臺建設任務書》，各省緊跟公安部的腳步陸續(xù)實現(xiàn)了情報和指揮部門的合并。

近年來，各地公安機關結合區(qū)域實際，積極探索，深入創(chuàng)新，延伸拓展，先行一步，積累經(jīng)驗，在情指勤輿探索和建設方面取得一定成效[2]。在情報會商研判、風險預測預警、指揮調度、輿情監(jiān)測分析等方面已經(jīng)取得了豐碩的成果。但是情報指揮工作仍面臨著警情數(shù)量持續(xù)攀升、情報信息處理工作量井噴式增長，資源壁壘、手段壁壘、信息來源單一化等問題始終困擾著情報指揮工作的進一步提質增效[3]。同時由于情報平臺與指揮平臺都是舊有系統(tǒng)，處于條線建設、分散自治的情況，而且建設標準規(guī)范不一，難以適應新形勢下情指中心的工作模式，主要表現(xiàn)為以下幾個方面。

（1）基礎數(shù)據(jù)支撐薄弱。信息采集、監(jiān)測能力弱，現(xiàn)有基礎數(shù)據(jù)難以支撐業(yè)務有效開展。情報指揮部門在可用信息監(jiān)測、感知、探察方面缺乏基礎數(shù)據(jù)支撐，可應用于預警監(jiān)測、感知、探察的數(shù)據(jù)資源鮮活度、完整性不夠。

（2）數(shù)據(jù)交換共享困難。由于現(xiàn)有情報與指揮業(yè)務系統(tǒng)是各自分散建設的，采取異構設計方式，數(shù)據(jù)建設標準規(guī)范不統(tǒng)一，導致“數(shù)據(jù)孤島”“數(shù)據(jù)壁壘”“數(shù)據(jù)煙囪”等問題普遍存在，數(shù)據(jù)碎片化現(xiàn)象嚴重，信息交換和信息共享困難。

（3）數(shù)據(jù)應用能力不足。情報研判預警、情報協(xié)作的技術支撐能力不足，難以形成合力。一是缺乏統(tǒng)一高效的智能檢索工具。現(xiàn)有智能檢索工具智能化關聯(lián)程度不高，各類數(shù)據(jù)資源需到多個業(yè)務系統(tǒng)查詢。二是缺乏成熟、實用的預警發(fā)現(xiàn)、風險監(jiān)測模型。通過系統(tǒng)分析研判為基層提供預警預判情報的智能預警模型仍然較少，無法進行深度合成研判，無法實現(xiàn)跨部門、跨警種、跨地區(qū)開展情報合成研判工作。

針對上述問題，本文深入研究了大數(shù)據(jù)在情指行一體化中的應用，設計了數(shù)據(jù)融合應用平臺。

1? ?概述

數(shù)據(jù)融合應用平臺為公安機關提供一站式的數(shù)據(jù)交換、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理和數(shù)據(jù)服務能力，將海量、多源異構的數(shù)據(jù)整合并資產(chǎn)化，提升數(shù)據(jù)處理能力和融合能力，增強數(shù)據(jù)的及時性和一致性，解決公安機關內(nèi)部數(shù)據(jù)孤島問題。

2? ?方案設計

2.1 系統(tǒng)架構

數(shù)據(jù)融合應用平臺各組成部分的主要技術框架均基于業(yè)內(nèi)成熟的開源框架進行搭建，集成和擴展，支撐數(shù)據(jù)采集接入、數(shù)據(jù)存儲、數(shù)據(jù)治理、數(shù)據(jù)服務、數(shù)據(jù)應用、安全管控、審計分析等方面的能力。

從分層的角度，平臺分為數(shù)據(jù)集成層、數(shù)據(jù)治理層、數(shù)據(jù)開發(fā)層、資產(chǎn)目錄層、數(shù)據(jù)服務層。

（1）數(shù)據(jù)集成。針對結構化和非結構化數(shù)據(jù)，通過前置機的方式采集，提供文件、數(shù)據(jù)導入；針對互聯(lián)網(wǎng)數(shù)據(jù)，采用互聯(lián)網(wǎng)爬蟲抓取技術進行采集，同時對數(shù)據(jù)采集過程進行監(jiān)控；然后對各種不同類型的海量異構數(shù)據(jù)進行存儲與管理服務。

（2）數(shù)據(jù)治理。數(shù)據(jù)融合應用平臺提供元數(shù)據(jù)服務、數(shù)據(jù)清洗、加工及增值數(shù)據(jù)產(chǎn)品制作的能力，包括元數(shù)據(jù)管理、數(shù)據(jù)清洗加工、數(shù)據(jù)血緣分析、數(shù)據(jù)質量分析等。

（3）數(shù)據(jù)開發(fā)。數(shù)據(jù)融合應用平臺提供圖形化大數(shù)據(jù)分析流程設計方式，用戶可以通過平臺的流程管理界面設計數(shù)據(jù)流（DataFlow）、工作流（WorkFlow）和實時數(shù)據(jù)流（Streamflow）。

（4）資產(chǎn)目錄。數(shù)據(jù)融合應用平臺通過資產(chǎn)目錄樹或多維度檢索條件來查詢數(shù)據(jù)資產(chǎn)信息，支持用戶對資產(chǎn)溯源，查看具體的數(shù)據(jù)源，元數(shù)據(jù)等詳情信息。

（5）數(shù)據(jù)服務。通過服務化的方式，在整合匯聚數(shù)據(jù)資源后，采用主題分類、模型算法、分析展現(xiàn)等數(shù)據(jù)服務方式，提供涵蓋業(yè)務數(shù)據(jù)、共享交換數(shù)據(jù)、音視頻數(shù)據(jù)等范疇的歷史數(shù)據(jù)、離線數(shù)據(jù)、實時數(shù)據(jù)的服務發(fā)布，為上層業(yè)務應用提供數(shù)據(jù)支撐。

2.2 部署架構

數(shù)據(jù)共享平臺采用微服務架構，支持分布式部署，最小支持單節(jié)點部署。

3? ?系統(tǒng)功能

3.1 數(shù)據(jù)集成

公安機關在履行社會管理職責過程中，已經(jīng)掌握、管理、儲存了各類數(shù)據(jù)信息，這使得公安機關掌握的數(shù)據(jù)儲存海量化和類型多樣化。針對這些互聯(lián)網(wǎng)信息、生物特征信息、行為軌跡、圖片影像等海量數(shù)據(jù)進行智能化處理分析，是公安機關應用大數(shù)據(jù)的優(yōu)勢，也是當前公安信息化建設的重點。

按照公安數(shù)據(jù)標準規(guī)范體系，全面匯聚人口管理、110警情、鐵路購票、民航通行、旅店住宿、車輛卡口、人像卡口、出入境等公安系統(tǒng)內(nèi)部異構數(shù)據(jù)，外部對接企事業(yè)單位和政府部門等數(shù)據(jù)資源，采用ETL技術抽取與情指業(yè)務相關的數(shù)據(jù)或調用相關的數(shù)據(jù)服務接口，形成情報類、指揮類、勤務類以及輿情類等4大類業(yè)務專題庫，并以標簽化的形式進行分組管理，為情指行上層業(yè)務應用提供基礎的數(shù)據(jù)支撐。

3.2 數(shù)據(jù)采集

為了方便對大數(shù)據(jù)平臺之外的數(shù)據(jù)源進行采集，除了直接連接各種數(shù)據(jù)庫（Oracle、MySQL、SQL Server、PostgreSQL等），還支持在數(shù)據(jù)源處的前置機上部署采集器程序，通過對采集器進行采集任務下發(fā)、脫敏、數(shù)據(jù)同步等操作獲取數(shù)據(jù)。

與傳統(tǒng)的ETL工具最大的不同在于數(shù)據(jù)采集任務可以充分利用大數(shù)據(jù)平臺的計算能力，采用分布式的方式并行執(zhí)行采集任務，使數(shù)據(jù)采集過程中的數(shù)據(jù)加載和數(shù)據(jù)轉換操作更加高效，保證了大數(shù)據(jù)量和高速數(shù)據(jù)流環(huán)境下的數(shù)據(jù)導入效率。

3.3 數(shù)據(jù)治理

（1）數(shù)據(jù)探查。通過對來源數(shù)據(jù)存儲位置、提供方式、總量及更新情況、業(yè)務含義、字段格式語義、數(shù)據(jù)結構、數(shù)據(jù)質量等進行多維度分析，以達到認識數(shù)據(jù)的目的。

（2）數(shù)據(jù)質量定義。根據(jù)數(shù)據(jù)探查結果，結合情指行實際業(yè)務需求定義數(shù)據(jù)的完整性，格式的有效性、值域的有效性、邏輯的合理性、主鍵的唯一性、數(shù)據(jù)唯一性以及數(shù)據(jù)更新的及時性，從而保障接入數(shù)據(jù)鮮活、實用。

（3）數(shù)據(jù)讀取。在完成數(shù)據(jù)探查及數(shù)據(jù)質量定義后，對抽取數(shù)據(jù)或者推送數(shù)據(jù)中檢查其是否與數(shù)據(jù)質量定義一致，不一致的停止接入，并重新進行數(shù)據(jù)的探查和定義；一致的執(zhí)行進一步接入、處理。

（4）數(shù)據(jù)質量校驗。對讀取后的數(shù)據(jù)進行評估，及時修改接入和處理中出現(xiàn)的問題，使數(shù)據(jù)質量提升形成閉環(huán)。

（5）數(shù)據(jù)質量校驗。由于數(shù)據(jù)來源較為龐雜，海量的原始數(shù)據(jù)中存在許多不完整、不一致、有缺失、有重復、有異常的數(shù)據(jù)，直接進入各庫會大幅降低數(shù)據(jù)質量，會影響基于這些數(shù)據(jù)進行的各類分析的執(zhí)行效率，甚至可能導致分析結果的偏差，所以進行數(shù)據(jù)清洗顯得尤為重要。在數(shù)據(jù)清洗的過程中，需要依據(jù)數(shù)據(jù)質量定義將不合符規(guī)范的原始數(shù)據(jù)轉化為期望的格式、滿足數(shù)據(jù)質量要求的數(shù)據(jù)。

（6）數(shù)據(jù)關聯(lián)。數(shù)據(jù)關聯(lián)以人員為核心，將公安機關內(nèi)部業(yè)務系統(tǒng)數(shù)據(jù)，如?？跀?shù)據(jù)、軌跡數(shù)據(jù)、監(jiān)所數(shù)據(jù)等進行關聯(lián)，并根據(jù)數(shù)據(jù)關聯(lián)信息，將不符合數(shù)據(jù)質量定義的數(shù)據(jù)進行關聯(lián)補充。

3.4 數(shù)據(jù)共享

情指行業(yè)務專題庫的建立需要依賴各種數(shù)據(jù)來源，情指行平臺是其中重要的數(shù)據(jù)來源，這部分數(shù)據(jù)如何安全可控地對接是一個很關鍵的問題。

為解決該問題，設計了數(shù)據(jù)共享架構體系，在數(shù)據(jù)融合應用平臺匯聚上級單位、各業(yè)務警種、鐵路、民航等數(shù)據(jù)的基礎上進行清洗治理，從而形成數(shù)據(jù)資產(chǎn)，通過情指數(shù)據(jù)共享平臺，以數(shù)據(jù)資源目錄的形式共享給其他單位，其他單位可以申請需要的數(shù)據(jù)，申請通過后即可使用這部分數(shù)據(jù)，數(shù)據(jù)的使用和訪問都是全流程記錄的，這樣可以在確保情指數(shù)據(jù)充分共享共用的基礎上，保證數(shù)據(jù)的安全可控。

3.5 數(shù)據(jù)分析

數(shù)據(jù)分析是公安機關情報研判環(huán)節(jié)中重要的支撐手段。一是利用高效的智能檢索工具，將人員、案件、車輛、警情、預警、軌跡等各類治安要素深度聚合后形成統(tǒng)一的知識庫，為實際案件研判分析提供百科式的檢索能力；二是構建算法模型加工廠，結合情指實際業(yè)務場景和公安實戰(zhàn)經(jīng)驗，設計了數(shù)十種技戰(zhàn)法模型。

（1）智能檢索。將人員、案件、車輛、警情、預警、軌跡等各類治安要素深度聚合后形成統(tǒng)一的知識庫，為實際研判分析提供百科式的檢索能力。主要包括以下幾點。

①可視化研判分析平臺：通過直觀的可視、交互手段，將與事件相關的多源數(shù)據(jù)關聯(lián)并可視化展現(xiàn)、交互分析。

②全息檔案：將關聯(lián)的數(shù)據(jù)整合，通過以檔案的方式集中展示人員的基礎信息、管控信息、軌跡信息和關系信息等4大類70多子類的相關信息，并利用大數(shù)據(jù)進行人員的二次網(wǎng)絡拓展，構建人員軌跡和知識圖譜。

③會商研判管理：基于研判主題，構建研判主題、研判任務、研判協(xié)作請求、任務指令、研判結果、研判報告、研判交流的標準化管理體系。

（2）技戰(zhàn)法模型。預防打擊犯罪是我國公安工作的重要任務，講求打防結合，重在預防[4]。在當前公安信息化建設不斷深化的形勢下，將應用模式由事后研判轉向事前預防預警已成當務之急[5]。

情指行平臺構建了豐富的戰(zhàn)法模型，通過對社會治安相關的警情、安保、卡口、違法、事故、事件等多源數(shù)據(jù)的采集，運用大數(shù)據(jù)、機器學習等技術，深度挖掘數(shù)據(jù)背后的隱性規(guī)律，搭建監(jiān)測預警模型，實現(xiàn)涉黃、涉賭、同行人分析、進入預警區(qū)域、離開指定區(qū)域、隱性重點人挖掘、群體異常串聯(lián)等隱性社會風險的預測預警，助力公安各警種的執(zhí)法能力提升、安全保障任務的高效開展。

4? ?結束語

情指行一體化建設是新時代公安改革的重要組成部分，順應了中央深化公安改革的時代潮流，是提升公安整體戰(zhàn)斗力的重要途徑[6]。借助大數(shù)據(jù)技術打破部門警種壁壘，無障礙歸集整合公安機關內(nèi)部數(shù)據(jù)，建立數(shù)據(jù)標準管理體系，對入庫的海量數(shù)據(jù)進行全面分類、清洗、標注，實現(xiàn)數(shù)據(jù)資源有效分流合流，把一個個“數(shù)據(jù)孤島”整合成為一片“共享大陸”，實現(xiàn)數(shù)據(jù)價值最大化，將是推進情指行一體化體系建設的重要支撐手段，更是建設智慧公安，推進公安工作現(xiàn)代化的具體體現(xiàn)。

參考文獻

[1] 王彬．論“情指勤輿”一體化運行機制之構建[J]．遼寧警察學院學報，2022（03）：1-7.

[2] 齊立偉．情指勤輿一體化實戰(zhàn)化運行體系研究[J]．公安研究，2022（08）：34-39.

[3] 黃愛國．“情指行”一體化運行機制建設的實踐與思考[J]．公安研究，2022（12）：20-24.

[4] 張鶴飛．大數(shù)據(jù)技術與公安工作：應用于挑戰(zhàn)[J]．北京警察學院學報，2015（03）：77-81.

[5] 金吉．大數(shù)據(jù)背景下公安積分預警系統(tǒng)設計研究[J]．中國安全防范技術與應用，2019（01）：58-62

[6] 趙峰．新時代背景下“情指行一體化”建設的思考[J]．遼寧警察學院學報，2020（05）：12-15.