大數(shù)據(jù)在公安交通管理行業(yè)的應(yīng)用

蔣雄　沈平　常彬

摘 要： 當(dāng)前通過(guò)交通基礎(chǔ)設(shè)施采集的信息越來(lái)越復(fù)雜。應(yīng)用一種改進(jìn)版的TDH Hadoop大數(shù)據(jù)技術(shù)，通過(guò)采集異構(gòu)、動(dòng)靜結(jié)合的交通基礎(chǔ)信息數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行分析挖掘，在公安交通管理方面運(yùn)用，改善了交通運(yùn)行狀況。

關(guān)鍵詞： TDH Hadoop； 交通基礎(chǔ)信息數(shù)據(jù)； 大數(shù)據(jù)技術(shù)； 交通誘導(dǎo)； 數(shù)據(jù)分析

中圖分類號(hào)：U491 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2016）10-40-03

Application of big data in public security traffic administration industry

Jiang Xiong， Shen Ping， Chang Bin

（The traffic police detachment of Huzhou public security bureau， Huzhou， Zhejiang 313000， China）

Abstract： At present， the information collected by means of transport infrastructure is becoming more and more complex. Application of an improved version of the TDH Hadoop big data technology， which collects the heterogeneous， dynamic and static traffic basic information data， analyzes and mining the data， put it to use in public security traffic administration to improve the traffic operating condition.

Key words： TDH Hadoop； traffic basic information data； big data technologies； traffic guidance； data analysis

0 引言

步入汽車普遍使用社會(huì)，道路擁堵幾乎是我們每個(gè)人都要面對(duì)的問(wèn)題。而引發(fā)道路擁堵的原因有多方面因素，如道路設(shè)計(jì)，信號(hào)配時(shí)，交通事故、節(jié)假日、早晚高峰等時(shí)段性常發(fā)問(wèn)題等。緩解以上問(wèn)題，一是借助交通長(zhǎng)遠(yuǎn)規(guī)劃，加強(qiáng)路網(wǎng)建設(shè)、改造，二是借助科技、優(yōu)化交通組織，強(qiáng)化交通管理，提高道路通行與管控能力。下文是我們的工作實(shí)踐，希能拋磚引玉。

1 相關(guān)技術(shù)研究

1.1 系統(tǒng)框架

交通基礎(chǔ)信息數(shù)據(jù)的采集有其行業(yè)特征，一是采集方式多樣，例如通過(guò)手機(jī)信令、攝像機(jī)、微波、雷達(dá)、地感線圈、地磁棒等設(shè)備等采集到的文本、圖片、視頻數(shù)據(jù)；二是數(shù)據(jù)容量龐大，目前地市級(jí)交警支隊(duì)每年的數(shù)據(jù)量已從原來(lái)的TB級(jí)向現(xiàn)在的PB、甚至ZB數(shù)量級(jí)增長(zhǎng)；三是數(shù)據(jù)種類廣泛，不但包括駕駛?cè)恕④囕v等基本信息，還有的各種行車數(shù)據(jù)等，以及其他部門的接入數(shù)據(jù)等。面對(duì)海量異構(gòu)數(shù)據(jù)，如何進(jìn)行準(zhǔn)確高效的分析和處理，對(duì)存儲(chǔ)、查詢和計(jì)算能力都提出了很高的要求。大數(shù)據(jù)技術(shù)有快速、實(shí)時(shí)的優(yōu)勢(shì)，但Hadoop技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行分析和利用效率很低，這就需要完備的決策分析工具集運(yùn)行在Hadoop架構(gòu)之上，TDH Hadoop技術(shù)應(yīng)運(yùn)而生。系統(tǒng)框架圖如圖1所示。

1.2 大數(shù)據(jù)技術(shù)介紹

TDH Hadoop是針對(duì)大規(guī)模分布式數(shù)據(jù)而開發(fā)的軟件框架，inceptor采用專有的高效列式內(nèi)存存儲(chǔ)格式和為內(nèi)存優(yōu)化的Spark計(jì)算引擎，相比Map-Reduce框架消除了頻繁的磁盤I/O。Spark引擎還采用了輕量級(jí)的調(diào)度框架和多線程計(jì)算模型，具有極低的調(diào)度和啟動(dòng)開銷，執(zhí)行速度更快，系統(tǒng)MTTR大大縮短。實(shí)時(shí)在線應(yīng)用方面，Hyperbase構(gòu)建了全局索引、輔助索引和全文索引，擴(kuò)展了SQL語(yǔ)法，滿足在線存儲(chǔ)和在線業(yè)務(wù)分析系統(tǒng)（OLAP）的低延時(shí)需求。Discover高效快速的數(shù)據(jù)挖掘能力與TDH對(duì)主流可視化和BI工具的支持，綜合在執(zhí)行引擎及數(shù)據(jù)存儲(chǔ)層上的優(yōu)化，使得TDH性能全面領(lǐng)先開源Hadoop 2.0，比主流MPP數(shù)據(jù)庫(kù)快1.5到10倍。軟件邏輯架構(gòu)[1]如圖2所示。

1.2.1 HDFS分布式文件處理系統(tǒng)

HDFS是一個(gè)高效的分布式算法，將數(shù)據(jù)的存儲(chǔ)和訪問(wèn)分布在大量服務(wù)器之中，在可靠地多備份存儲(chǔ)的同時(shí)，還能將訪問(wèn)分布在集群中的各個(gè)服務(wù)器上，是傳統(tǒng)存儲(chǔ)構(gòu)架的一個(gè)顛覆性的發(fā)展。

Namenode登記采集到的基礎(chǔ)交通信息作為元數(shù)據(jù)，將不同來(lái)源的基礎(chǔ)數(shù)據(jù)按塊，分配到服務(wù)器，例如：數(shù)據(jù)塊a放在datenode3中……，實(shí)現(xiàn)基礎(chǔ)信息的分布式處理。

1.2.2 Hbase數(shù)據(jù)庫(kù)

Hbase是運(yùn)行在Hadoop上的NoSQL數(shù)據(jù)庫(kù)，是一個(gè)分布式、可擴(kuò)展的大數(shù)據(jù)倉(cāng)庫(kù)，也就是說(shuō)HBase能夠利用HDFS的分布式處理模式，并從Hadoop的MapReduce程序模型中獲益。這意味著在一組硬件上存儲(chǔ)著具有數(shù)十億行和上百萬(wàn)列的大表。同時(shí)，除Hadoop本身具有的優(yōu)勢(shì)外，HBase還是十分強(qiáng)大的數(shù)據(jù)庫(kù)，它能夠融合key/value存儲(chǔ)模式具有實(shí)時(shí)查詢的能力，以及通過(guò)MapReduce進(jìn)行離線處理或者批處理的能力。總之，Hbase能夠滿足在大量的數(shù)據(jù)中查詢記錄[2]。

1.2.3 Hive數(shù)據(jù)倉(cāng)庫(kù)技術(shù)

它提供了類似于傳統(tǒng)SQL的編程模型，為海量機(jī)動(dòng)車軌跡分析過(guò)程提供了友好的編程模型和方法，同時(shí)能利用Map/Reduce的高并發(fā)特性。

1.2.4 Storm

是一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)，可以方便地在一個(gè)計(jì)算機(jī)集群中編寫與擴(kuò)展復(fù)雜的實(shí)時(shí)計(jì)算。Storm保證每個(gè)消息都會(huì)得到實(shí)時(shí)處理，每秒可以處理數(shù)以百萬(wàn)計(jì)的消息。

1.3 交通網(wǎng)絡(luò)平衡

面對(duì)擁堵的路網(wǎng)狀態(tài)，要達(dá)到路網(wǎng)的平衡，流量分配也至關(guān)重要。交通流中的wardrop平衡原理：假設(shè)道路使用者都知道各條道路的行駛時(shí)間，并選擇行駛時(shí)間最短的路徑作為自己的出行路徑，也就是動(dòng)態(tài)交通分配模型，即總路段的阻抗最小，為交通流誘導(dǎo)提供最佳的流量分配，以路網(wǎng)總行程時(shí)間最小為目標(biāo)，同時(shí)兼顧路網(wǎng)流量的均衡。模型粗略描述如下[3]。

J-系統(tǒng)總阻抗；

xa（t）-t時(shí)刻弧段a上的交通流量（兩節(jié)點(diǎn)之間道路稱為弧）；

ca（x，t）-t時(shí)刻弧段a上的行程時(shí)間。

在實(shí)際應(yīng)用中，我們只需通過(guò)對(duì)研判分析反應(yīng)出來(lái)的交通運(yùn)行狀態(tài)進(jìn)行評(píng)價(jià)，利用手機(jī)端、誘導(dǎo)屏、廣播、互聯(lián)網(wǎng)等載體發(fā)布誘導(dǎo)信息，進(jìn)而對(duì)交通流進(jìn)行誘導(dǎo)，優(yōu)化民眾出行路徑、時(shí)間、方式等，緩解交通擁堵，降低總出行成本。

2 公安交通管理行業(yè)應(yīng)用

運(yùn)用TDH Hadoop技術(shù)，實(shí)現(xiàn)全市交通流量、車輛平均通行速度等信息的匯聚、查詢、統(tǒng)計(jì)、分析、預(yù)測(cè)等，為社會(huì)化服務(wù)提供實(shí)時(shí)流量數(shù)據(jù)，主要在以下方面：

⑴ 交通運(yùn)行狀態(tài)分析

按照時(shí)間、空間規(guī)律對(duì)指定的道路進(jìn)行平均速度、平均旅行時(shí)間、交通路況等信息的綜合統(tǒng)計(jì)，通過(guò)歷史變化規(guī)律對(duì)比分析，對(duì)交通運(yùn)行狀態(tài)變化趨勢(shì)進(jìn)行評(píng)價(jià)。交通運(yùn)行狀態(tài)分析時(shí)間跨度1周，單道路查詢響應(yīng)時(shí)間5秒內(nèi)。

⑵ OD分析

通過(guò)對(duì)采集到的數(shù)據(jù)進(jìn)行OD分析，分析每個(gè)交通參與者的出行習(xí)慣，統(tǒng)籌交通信號(hào)控制，提高出行者的整體出行效率。

⑶ 指揮調(diào)度

以事件為觸發(fā)的交通警情調(diào)度，通過(guò)中心平臺(tái)的信息共享，形成類似事件的模版化預(yù)案。包括日常交通管理調(diào)度、道路施工交通調(diào)度、交通管制交通調(diào)度、警力定位、協(xié)調(diào)調(diào)度等。

⑷ 交通誘導(dǎo)

通過(guò)匯總交通流量、車輛平均通行速度等信息，實(shí)現(xiàn)按道路、按車道、方向、時(shí)間范圍、等進(jìn)行交通流量和速率的分析、預(yù)測(cè)等，提供海量數(shù)據(jù)下道路交通狀態(tài)判別功能，提供實(shí)時(shí)、有效的出行信息。情報(bào)板誘導(dǎo)發(fā)布如圖3所示。

⑸ 交通運(yùn)行指數(shù)[4]

通過(guò)計(jì)算得到路網(wǎng)中各路段的運(yùn)行車速，再按各道路的擁堵權(quán)重將所有道路的運(yùn)行狀況以簡(jiǎn)潔直觀的數(shù)字圖形描述，實(shí)現(xiàn)對(duì)道路交通運(yùn)行的量化評(píng)價(jià)，為市民出行提供及時(shí)準(zhǔn)確的信息，為政府決策提供數(shù)據(jù)支撐。根據(jù)浙江省評(píng)價(jià)指標(biāo)體系[5]開發(fā)的運(yùn)行指數(shù)系統(tǒng)如圖4。

⑹ 交警大數(shù)據(jù)實(shí)戰(zhàn)查緝毒駕應(yīng)用成效

支隊(duì)自2015年11月部署實(shí)戰(zhàn)應(yīng)用查緝毒駕以來(lái)，短短幾個(gè)月，就發(fā)揮了大數(shù)據(jù)實(shí)戰(zhàn)緝查優(yōu)勢(shì)，查獲一批毒駕人員。2015年底，公安部交管局刊載《湖州支隊(duì)以信息化引領(lǐng)精確警務(wù)嚴(yán)查毒駕違法行為》，詳細(xì)介紹了我市公安交警以信息化引領(lǐng)嚴(yán)查毒駕取得的成效。

3 結(jié)束語(yǔ)

汽車社會(huì)、海量數(shù)據(jù)，運(yùn)用TDH Hadoop技術(shù)，探索在公安交通管理的應(yīng)用，目前還在探索階段，仍然存在一些問(wèn)題。今后需要在數(shù)據(jù)接入的統(tǒng)一性、數(shù)據(jù)與視頻的海量存儲(chǔ)擴(kuò)展性、大數(shù)據(jù)的可管理性、與業(yè)務(wù)結(jié)合的可用性上加強(qiáng)研究與應(yīng)用。

參考文獻(xiàn)（References）：

[1] http：//www.cnblogs.com/xia520pi/archive/2012/05/28/

2520813.html Hadoop集群（第8期）_HDFS初探之旅.

[2] http：//wenku.baidu.com/view/d1c2a780ec3a87c24028-

c4d0.html Hbase分布式數(shù)據(jù)庫(kù).

[3] 武文斌.路網(wǎng)交通流量分配模型[J].山西交通科技，2002.6：

15-16

[4] 浙江省交通運(yùn)輸廳.城市道路交通運(yùn)行狀態(tài)評(píng)價(jià)規(guī)范.

（DB33/T998-2016）.