鄭博 熊姍姍
南京萊斯信息技術股份有限公司 江蘇 南京 210014
隨著城市化進程的加快,機動車保有量激增,各類交通事故頻發,城市交通安全形勢嚴峻,如何有效地提高交通安全水平是迫切需要解決的課題。在這樣的背景下,利用大數據技術分析發現存在交通安全隱患的車輛、違規處理的事故和違法業務等,是一種行之有效的手段,可以指導交警部門合理的制定交通安全管理措施、規范交警的執勤執法行為。
公安交警部門承擔著城市交通安全的管理工作,提高交通安全風險預防能力一直是交警部門的核心需求。因此大數據技術的應用,能夠為交警部門構建“一車一檔、一駕一檔、一路一檔”信息豐富的交通管理基礎數據庫,并在此基礎上,結合卡口過車、車輛定位數據,對在城市內行駛的車輛的運行規律進行分析,指導交警開展事故預防工作。
同時,為了加強對警員隊伍的監管、提升交警工作的規范性,交警部門也需要利用大數據技術,對民警執法執勤、車駕管業務辦理、考試業務情況、違法處理、事故處理等業務數據進行分析,發現異常情況并預警,及時糾正錯誤、防止問題擴大化。
搭建HDFS通用的分布式文件存儲系統,基于具有高穩定性、高容錯性等特點,實現結構化大文件的存儲。并提供了WebDAV、Thrift、FTP和FUSE等眾多的訪問接口。采用多副本的存放策略,將副本分別存放在本地機架節點、同一個機架的另一個節點、不同機架的節點,減少了機架間的數據傳輸,提高了寫操作的效率。
搭建全文檢索存儲,構建可擴展的分布式大規模搜索引擎,實現大規模數據的快速搜索,以及海量數據上的統計分析能力。并具備標準的SQL接口。并具備標準的SQL接口,以及兼容Oracle擴展標準的全文檢索的SQL擴展。
基于NoSQL列式數據庫存儲半結構/非結構化數據,提供支持SQL語法的批處理和高并發查詢。并提供智能索引功能提高查詢效率,滿足半/非結構化數據存儲與檢索的需要。采用JSON/BSON數據格式存放半結構化數據,操作人員可以直接將JSON/BSON格式的數據存儲在分布式NoSQL數據庫之中,并對JSON/BSON的任意字段進行查詢,創建索引以及刪改。對于非結構化的文檔類數據,分布式NoSQL數據庫通過對象存儲技術可以將海量的小文件作為表中的一列進行存儲,并通過支持二級索引以及全文索引技術,使得用戶可以通過SQL由文檔中關鍵字或者相關文件屬性,綜合搜索得到對應的文檔。
采用Redis內存數據存儲,支持key-value、list、set、zset、hash等數據結構的存儲。既保留key-value數據庫簡單快捷特點,又吸收了關系數據庫的部分優點,完成數據快速的檢索和訪問。
提供低延時高吞吐的分布式消息隊列Kafka,支持對主題生產或消費數據整個生命周期的監控,同時能夠監控隊列運行過程中的資源使用情況、延時情況等。
搭建實時流計算引擎。通過對完整SQL的支持,幫助用戶更方便的構建實時數倉業務。提供實時引擎上的流程控制,幫助用戶開發復雜的業務流程,實現從業務流程控制到底層計算邏輯的全覆蓋;提供高效可擴展的計算引擎來應對大數據量計算;提供實時引擎上的復雜事件處理和規則引擎,幫助用戶更方便的定義業務規則和處理邏輯[1]。
搭建離線計算引擎。提供SQL語法支持以及PL/SQL過程語言擴展,并且可以自動識別HiveQL、SQL2003和PL/SQL語法,在保持跟Hive兼容的同時提供更強大的SQL支持。支持在事務中執行一個或多個子事務。提供兩種執行子事務的方式:嵌套事務和自治事務。
提供基于圖形化的工作流調度設計與管理工具。支持Shell、SQL、JDBC、HTTP等任務類型,以及自定義Java任務。支持對任務的啟動、執行到結束整個生命周期的監控。支持多種調度策略,如定時調度、依賴調度、實時調度等。
采用元數據采集適配技術,接收、解析各種不用類型數據源的數據,將有效的元數據存入模型并建立關系。可以接入Hive、HDFS、Hbase、Mysql、Oracle、SqlServer、DB2、Inceptor、TeraData、Hyperbase、Teradata、SmartBI、FineReport等數據源。提供元數據常規管理能力,包括元數據基本信息、關系、版本的管理維護,以及元數據檢核。
提供對基礎標準、維度標準、指標標準等數據標準的維護、施行和監控功能。
定義數據質量檢核規則,可包括空值、值域、規范、數據集比對、分組檢查、記錄一致性、邏輯、自定義等。質量任務執行后會生成質量報告,質量報告包括質量規則、增長趨勢、規則類型分布、規則明細等內容。
對信息資源目錄、指標目錄、數據標準詞典目錄、DBMS目錄、信息資源建議標準目錄、數據采集對應關系目錄、數據采集規則目錄、數據質量規則目錄、服務資源目錄、服務更新情況、服務訂閱情況、元數據采集源目錄等信息進行管理和展示。
主題庫主要包括機動車、人員、事件、道路、企業等主題數據庫建設。
1)機動車主題主要記錄機動車相關基本信息和軌跡信息,并通過與駕駛人、交通違法、交通事故、氣象等多維數據碰撞關聯。
2)人員主題包括與道路交通管理信息系統產生關聯的駕駛人或者法人機構等。其中針對駕駛人,可從多個方面對其劃分,從駕駛人類別上,可以將其分為自然人,與非自然人,從組織形式上,駕駛人又可分為國內及非國內等。
3)事件主題記錄了當事人在某地發生的行為信息。通過事件主題,可以了解到是誰,在什么時間,通過什么物品,發生了哪些行為或活動。
4)道路主題記錄與道路相關的信息,如道路擁堵信息、交通事故信息等,是分析道路運行狀態非常重要的一類數據。
5)企業主題記錄企業的各項信息,包括企業的名稱、法人、地址、經營主題、營業執照信息、違法記錄、企業名下所屬車輛檢驗率、報廢率、所屬駕駛人違法率、審驗率、違法率、事故率等情況,對企業、企業名下的車輛、駕駛人等信息進行全面管理。
專題庫主要包括車輛積分、車輛行為分析、交通態勢研判分析、隱患排查分析等專題數據庫建設。
1)車輛積分專題庫建立針對重點車輛、重點駕駛人、重點客貨企業的積分模型。基于重點車輛基本信息(客貨運、報廢日期、荷載人數/荷載承重等),以及關聯的駕駛人、違法、事故、卡口過車等數據,建立重點車輛積分體系;基于重點駕駛人駕駛證基本數據(駕駛人年齡、駕齡、駕照類型、違法積分、教育約談次數等)、以及關聯的機動車、違法、事故等數據,建立重點駕駛人積分體系;基于重點客貨運企業基本數據(經營范圍、法人信息等),以及企業名下的駕駛人、機動車、關聯違法、事故等數據,建立重點客貨運企業積分體系。
2)車輛行為分析專題庫主要基于卡口過車、車輛衛星定位等數據,對車輛軌跡進行分析,發現車輛常走路線、出發點、落腳點、駐留區域、出入城記錄等行駛軌跡規律,以實現對車輛運行軌跡的預測。
3)交通態勢研判分析專題庫主要基于卡口過車、車輛衛星定位等數據,分析卡點之間不同時間段(高峰/平峰/低峰)的車輛旅行時間、識別高峰期車輛出行O/D規律、不同時段/不同類型/不同歸屬地車輛的遷徙規律等。并可以結合歷史擁堵數據、實時卡口流量、車輛定位等數據,對路段當前擁堵狀態進行分析。
4)隱患排查分析專題庫基于車輛出行軌跡,對夜間紅眼運營車輛、頻繁出入指定區域車輛、疲勞駕駛車輛、區間超速車輛、高危地運行車輛等進行分析。
對涉醉駕的駕駛人及其機動車、吸毒人員及其機動車、套牌假牌車輛、多次違法車輛、高污染車、非法營運的營轉非車輛、報廢車輛的出行軌跡特征進行研判,包括出行區域、出行時段、停留地點等信息,形成執勤執法、警力部署的對策。
按照“整合執法數據、強化監督考核、提升分析研判”為目標,“以執法監督與執法數據應用為主線,開展個人綜合考核評價,提升執法基礎數據的綜合應用效能,推動交警執法大監督體系的建立。基于警員基本信息、警員定位數據、違法查出記錄、執法視頻、執勤工作記錄等,對民警執法規范、履職能力、違法處罰記錄、執法視頻記錄、警員工作勤奮度、執法質量等方面工作進行監管和考評[2]。
1)考試業務:對考試系統時間異常、項目考試時間過短、非工作時間考試科目一、考試5分鐘內合格、考場考試合格率異常、考試設備重疊、考試誤判率異常、異地駕駛人,滿分學習考試比例異常等情況進行監管分析和異常預警。
2)駕駛人業務:對于駕駛人業務辦理數據進行關聯核查分析,包括領證后短期轉出的涉嫌駕駛證數據分析、考試合格率數據分析、異地駕駛證審驗業務數據分析、軍警駕駛證換證業務數據分析、業務歸檔數據分析、駕駛人手機電話重復數據分析、駕駛人檔案異常情況數據分析等。
3)機動車業務:對于機動車業務辦理數據進行關聯核查分析,包括違規替檢車輛數據分析、異地車輛檢驗率數據分析、初檢通過率數據分析、異地車輛報廢率數據分析、核發臨時號牌異常數據分析、逾期未報廢車輛數據分析、車輛異地報廢數據分析、車輛行駛軌跡查詢、業務歸檔數據分析、檔案更正數據分析、同一人員崗位流程操作數據分析、號牌補領數據分析、機動車車主手機號碼重復數據分析、機動車檔案異常數據分析。
對違法的駕駛人、機動車的違法信息進行不同維度進行數據分析,可查看監管違法處理事項(如2次超分處罰、超20分處罰、一車三證處罰、滿分未扣證、滿分繼續使用、一年一證五車、一年一車五證、人像未采集等),同時對窗口、窗口自助、銀行自助等業務辦理渠道的業務總量數據進行統計。
可以根據單位、預警量、處置量、審核量、完成率、屬實量、不屬實量、屬實率數據項統計分析
事故處理安全監管覆蓋接警、處警、簡易程序,一般程序、刑案、歸檔、復核等完整的事故流程。通過采集接處警系統、事故快處系統、公安交通管理綜合應用平臺、警務信息綜合應用平臺等系統的業務數據,同時采集警車警員定位數據、執法記錄儀數據、酒精檢測數據等與事故處理業務有關的各類數據,對這些數據中的關鍵監管點進行統計分析,生成監管點狀態和監管點預警。
對重點車輛、“兩客一危一貨”車、網約車、超員面包車等機動車、駕駛人及其違法、事故等基礎數據統計及其同比、環比、排名變化情況分析,掌握交通安全形勢宏觀情況及變化趨勢;對事故違法行為、交通事故高發區、交通事故成因、重點違法事故、交通違法車輛類型、大公安涉車案件、跨區域車輛特征軌跡等的大數據統計分析,以把握交通事故誘因。建立對人、車、路等交通因素的安全風險等級研判模型,開展事故預防重點區域、路段、時間、車輛、天氣等影響因素特征及規律分析。主要包括:“兩客一危一貨”車輛運行安全分析、網約車輛運行安全分析、超員面包車運行安全分析、事故違法行為分析、交通事故高發區分析、交通事故成因分析、重點違法事故分析、交通違法車輛類型分析等[3]。
對道路路網的整體擁堵趨勢分析、交通擁堵時段分析、交通擁堵日分析、高峰時段擁堵分析、各圈層交通運行概況分析、各等級道路交通運行概況進行分析,包括城區交通、周邊高速、景區商圈、重點區域等交通路網的運行情況,形成路網擁堵指數分析。
結合智能交通數據、浮動車數據、社會渠道交通資源數據等,對城區主干道、城市快速路、高架橋等主要路段及重點區域進行擁堵評判,并結合預測性分析、可視化分析、實時性分析方式,對于工作日高峰期、平峰期以及節假日情況進行擁堵評判。
通過對各類交通安全設施的設備數量、設置點位、故障上報、故障處置以及交安設施施工進度等相關數據進行綜合性分析研判,整合交安設施設備資源的同時,以便對交安設施綜合性規劃合理布置,掌握交安設施故障上報、交安設施問題處置情況并對施工單位施工進程進行監督管理[4]。
1)尾號限行交通組織應用分析:根據機動車數據、過車數據等,對尾號限行機動車的注冊區域分布、行駛區域分布、行駛路徑、車輛在途量等進行研判分析。并結合車輛用途,分析城市交通出行、城市通勤等規律,對尾號禁行、限行措施的政策實施進行評估。
2)異地車輛交通組織應用分析:根據過車數據,對異地車輛的行駛區域、行駛時段、行駛路徑進行研判分析,對異地車輛的交通管理政策實施進行評估。
3)專用車道管理應用分析:對公交車道、單行道、潮汐車道、HOV車道等交通組織情況進行研判分析,包括禁限措施分析、車道分配情況分析、左轉待轉分析、直行待轉分析、非機動車管理分析等。
本方案利用大數據技術對機動車、駕駛人、事故、違法、過車、車輛定位等數據進行分析,發現問題車輛和駕駛人,并評估交通安全風險,指導交警部門開展治理行動,提升城市交通安全水平。同時,針對事故處理、違法處理、車駕管業務辦理等進行全流程監管預警,發現警員隊伍內部問題,推動交警監督管理體系的升級。