基于大數(shù)據(jù)的機(jī)動(dòng)車(chē)緝查布控平臺(tái)構(gòu)建*

方艾芬 蔡崗 繆新頓

1．公安部交通管理科學(xué)研究所 2．道路交通安全公安部重點(diǎn)實(shí)驗(yàn)室

一、引言

為進(jìn)一步推進(jìn)公路交通安全管理科技建設(shè)，提升動(dòng)態(tài)化、信息化條件下公路交通安全管控水平，2012年10月以來(lái)，公安部交通管理局組織研發(fā)推廣了全國(guó)機(jī)動(dòng)車(chē)緝查布控系統(tǒng)聯(lián)網(wǎng)應(yīng)用。通過(guò)整合共享各地車(chē)輛智能監(jiān)測(cè)記錄系統(tǒng)（以下簡(jiǎn)稱(chēng)卡口系統(tǒng)）信息資源，建立橫向聯(lián)網(wǎng)、縱向貫通的全國(guó)機(jī)動(dòng)車(chē)緝查布控系統(tǒng)，實(shí)現(xiàn)大范圍車(chē)輛緝查布控和預(yù)警攔截、車(chē)輛軌跡和交通流量分析研判、重點(diǎn)車(chē)輛管控、交通違法行為甄別查處、偵破涉車(chē)案件等應(yīng)用。截止目前，全國(guó)31個(gè)省（區(qū)、市）已完成緝查布控系統(tǒng)聯(lián)網(wǎng)工作，接入卡口14000多個(gè)，匯聚機(jī)動(dòng)車(chē)通行數(shù)據(jù)70多億條，在偵破肇事逃逸案件、查處涉車(chē)違法行為以及治安防控、反恐維穩(wěn)等方面開(kāi)始發(fā)揮重要作用。

隨著聯(lián)網(wǎng)單位和接入卡口的不斷增加，當(dāng)前各省、市部署的機(jī)動(dòng)車(chē)緝查布控系統(tǒng)積聚了海量的過(guò)車(chē)數(shù)據(jù)等信息，開(kāi)始面臨以下挑戰(zhàn)：

（1）數(shù)據(jù)越來(lái)越海量。卡口系統(tǒng)7×24小時(shí)不斷上傳過(guò)車(chē)數(shù)據(jù)和圖片，以一個(gè)中等規(guī)模省市為例，每地市每日采集過(guò)車(chē)信息150萬(wàn)條，每年采集過(guò)車(chē)信息5億條，全省每年將匯聚100億條過(guò)車(chē)信息，數(shù)據(jù)從GB級(jí)發(fā)展到TB級(jí)、PB級(jí)。如何將如此海量的數(shù)據(jù)用好、管好成為一大難題。

（2）數(shù)據(jù)應(yīng)用越來(lái)越復(fù)雜。各地充分利用海量數(shù)據(jù)資源，組織研發(fā)各類(lèi)分析軟件，研判轄區(qū)道路通行流量、大客車(chē)、危化品車(chē)等重點(diǎn)車(chē)輛通行情況，排查套牌假牌、逾期報(bào)廢仍上路行駛等嫌疑車(chē)輛。數(shù)據(jù)應(yīng)用的需求從分類(lèi)、聚類(lèi)到復(fù)雜多系統(tǒng)碰撞及各種分析、研判、評(píng)估。如此復(fù)雜的應(yīng)用對(duì)運(yùn)算方式提出了極高的要求，傳統(tǒng)系統(tǒng)架構(gòu)很難滿(mǎn)足需求。

（3）查詢(xún)響應(yīng)速度越來(lái)越慢。目前機(jī)動(dòng)車(chē)緝查布控核心系統(tǒng)采用ORACLE關(guān)系型數(shù)據(jù)庫(kù)，關(guān)系型數(shù)據(jù)庫(kù)在數(shù)據(jù)量增大的情況下，執(zhí)行檢索（尤其是模糊檢索、關(guān)聯(lián)查詢(xún)）的速度會(huì)發(fā)生幾何級(jí)下降（表1）。由于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)缺乏分布式計(jì)算能力，所以面向大數(shù)據(jù)時(shí)只能越來(lái)越慢，即便經(jīng)過(guò)優(yōu)化也還是不能滿(mǎn)足大數(shù)據(jù)應(yīng)用的要求，造成嚴(yán)重的性能瓶頸。

為應(yīng)對(duì)以上挑戰(zhàn)，筆者單位對(duì)大數(shù)據(jù)技術(shù)在機(jī)動(dòng)車(chē)緝查布控系統(tǒng)中的應(yīng)用進(jìn)行了深入研究，預(yù)研了一套基于大數(shù)據(jù)技術(shù)的機(jī)動(dòng)車(chē)緝查布控平臺(tái)，并通過(guò)了實(shí)際應(yīng)用驗(yàn)證。本文在此重點(diǎn)介紹平臺(tái)的構(gòu)建技術(shù)和應(yīng)用案例。

二、大數(shù)據(jù)技術(shù)

大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。業(yè)界用4個(gè)V概括大數(shù)據(jù)的基本特征，即volume（量大）、variety（多樣化）、value（價(jià)值密度低）和velocity（處理要求快）[1]。量大是指數(shù)據(jù)規(guī)模至少在TB級(jí)；多樣化，一方面指數(shù)據(jù)有不同的來(lái)源，另一方面指數(shù)據(jù)類(lèi)型有結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化等多種形式；價(jià)值密度低指這些數(shù)據(jù)的單一來(lái)源或單一維度并不能帶來(lái)有效的價(jià)值，只有形成一定規(guī)模并關(guān)聯(lián)起來(lái)，才能體現(xiàn)大的價(jià)值；處理要求快主要指數(shù)據(jù)分析的實(shí)時(shí)性要求很高。機(jī)動(dòng)車(chē)緝查布控系統(tǒng)采集的流式過(guò)車(chē)數(shù)據(jù)完全符合大數(shù)據(jù)的基本特征。

大數(shù)據(jù)技術(shù)被設(shè)計(jì)用于在成本可承受的條件下，通過(guò)非常快速的采集、發(fā)現(xiàn)和分析，從大量化、多類(lèi)別的數(shù)據(jù)中提取價(jià)值，是IT領(lǐng)域新一代的技術(shù)與架構(gòu)。其中，以Hadoop為代表的分布式計(jì)算平臺(tái)正在被大量互聯(lián)網(wǎng)公司、企業(yè)采用，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的運(yùn)行和管理。

Hadoop分布式計(jì)算框架主要包含以下關(guān)鍵技術(shù)：

（1）HDFS 分布式文件系統(tǒng)。它可以構(gòu)建從幾臺(tái)到幾千臺(tái)常規(guī)服務(wù)器組成的集群，并提供高聚合輸入輸出的文件讀寫(xiě)訪問(wèn)。

（2）MapReduce并行計(jì)算組件。用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算（分布式計(jì)算），由Map（映射）和Reduce（化簡(jiǎn)）兩部分組成，為數(shù)據(jù)的高并發(fā)讀寫(xiě)提供了全新的、水平可擴(kuò)展的（Scale out）、經(jīng)濟(jì)的技術(shù)架構(gòu)。

（3）HBase列存儲(chǔ)技術(shù)。它是一個(gè)建立在HDFS之上提供高可靠性、高性能、列存儲(chǔ)、可伸縮、實(shí)時(shí)讀寫(xiě)的分布式數(shù)據(jù)庫(kù)系統(tǒng)，主要用來(lái)存儲(chǔ)非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)。HBase提供的列存儲(chǔ)NoSQL技術(shù)，能提供比傳統(tǒng)行存儲(chǔ)的RDBMS成百上千倍的快速檢索效率。

（4）Hive數(shù)據(jù)倉(cāng)庫(kù)技術(shù)。它提供了類(lèi)似于傳統(tǒng)SQL的編程模型，為海量機(jī)動(dòng)車(chē)軌跡碰撞和分析過(guò)程提供了友善的編程模型和方法，同時(shí)能利用Map/Reduce的高并發(fā)性特性。

三、平臺(tái)構(gòu)建

（一）建設(shè)要求

針對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)難以支撐海量機(jī)動(dòng)車(chē)通行軌跡信息的存貯、處理、分析等現(xiàn)狀，基于X86架構(gòu)的通用服務(wù)器，構(gòu)建新型架構(gòu)的機(jī)動(dòng)車(chē)緝查布控系統(tǒng)平臺(tái)，具備分布式海量存儲(chǔ)能力、高性能并發(fā)讀寫(xiě)能力以及分布式計(jì)算及分析挖掘能力，同時(shí)要求具備良好的擴(kuò)展性，平臺(tái)按需擴(kuò)容后，存儲(chǔ)、查詢(xún)和分析性能需要保證近線性變化，系統(tǒng)總吞吐能力近線性增加。

（二）平臺(tái)架構(gòu)

平臺(tái)總體架構(gòu)分為數(shù)據(jù)接入層、數(shù)據(jù)存儲(chǔ)層、大數(shù)據(jù)引擎層、業(yè)務(wù)應(yīng)用層等四個(gè)層次，主要內(nèi)容包括車(chē)輛通行海量數(shù)據(jù)接入、存貯、大數(shù)據(jù)分析引擎和緝查布控業(yè)務(wù)應(yīng)用等。

1．信息接入層

實(shí)時(shí)接入各類(lèi)車(chē)輛通行信息數(shù)據(jù)資源信息，通過(guò)數(shù)據(jù)采集、數(shù)據(jù)轉(zhuǎn)換、結(jié)構(gòu)重組等過(guò)程后，統(tǒng)一上傳到數(shù)據(jù)存儲(chǔ)層。

2．?dāng)?shù)據(jù)存儲(chǔ)層

采用ORACLE數(shù)據(jù)庫(kù)和Hadoop /HBase分布式存儲(chǔ)數(shù)據(jù)庫(kù)相結(jié)合的方式。對(duì)于數(shù)據(jù)量可控、訪問(wèn)頻繁的數(shù)據(jù)資源，仍然采用ORACLE關(guān)系數(shù)據(jù)庫(kù)進(jìn)行管理，充分發(fā)揮關(guān)系數(shù)據(jù)庫(kù)在一定數(shù)據(jù)量范圍內(nèi)高效、訪問(wèn)便捷的優(yōu)勢(shì)；對(duì)于數(shù)據(jù)量爆發(fā)性增長(zhǎng)、且內(nèi)部聯(lián)系緊密的數(shù)據(jù)資源，采用HDFS/HBASE存儲(chǔ)與管理；對(duì)于需實(shí)時(shí)提取訪問(wèn)的采用內(nèi)存數(shù)據(jù)庫(kù)從HBASE和ORACLE數(shù)據(jù)庫(kù)中通過(guò)ETL工具進(jìn)行準(zhǔn)實(shí)時(shí)換入和換出。海量車(chē)輛通行數(shù)據(jù)和圖片采用大數(shù)據(jù)技術(shù)進(jìn)行存貯，并提供面向大數(shù)據(jù)引擎層和業(yè)務(wù)應(yīng)用層的數(shù)據(jù)訪問(wèn)服務(wù)。其它布、撤控等業(yè)務(wù)處理信息仍采用ORALCE關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行存貯。

3．大數(shù)據(jù)引擎層

采用Map/Reduce技術(shù)，實(shí)現(xiàn)海量數(shù)據(jù)分布式計(jì)算分析，并通過(guò)業(yè)務(wù)處理接口實(shí)現(xiàn)和業(yè)務(wù)應(yīng)用層的數(shù)據(jù)交換；通過(guò)基于JMS的消息處理引擎，實(shí)現(xiàn)對(duì)黑名單和重點(diǎn)車(chē)輛的實(shí)時(shí)分析和處理。

4．業(yè)務(wù)應(yīng)用層

面向終端用戶(hù)提供信息交互的應(yīng)用層面。通過(guò)Web頁(yè)面展示的方式實(shí)現(xiàn)機(jī)動(dòng)車(chē)緝查布控系統(tǒng)的智能化、綜合性應(yīng)用。

（三）平臺(tái)功能

平臺(tái)主要提供卡口實(shí)時(shí)監(jiān)控、車(chē)輛緝查布控、預(yù)警簽收處置、信息分析研判等功能。其中分析研判功能是基于數(shù)據(jù)檔案化、應(yīng)用搜索化的理念，在大數(shù)據(jù)環(huán)境下，實(shí)現(xiàn)基于機(jī)動(dòng)車(chē)過(guò)車(chē)信息的不同主體數(shù)據(jù)挖掘分析。主要分析研判功能包括：

1．過(guò)車(chē)軌跡查詢(xún)分析

精確查詢(xún)：通過(guò)號(hào)牌種類(lèi)、號(hào)牌號(hào)碼、時(shí)間等條件查詢(xún)機(jī)動(dòng)車(chē)通行數(shù)據(jù)；模糊查詢(xún)：通過(guò)模糊的號(hào)牌號(hào)碼、卡口、時(shí)間、車(chē)身顏色等條件查詢(xún)機(jī)動(dòng)車(chē)通行數(shù)據(jù)。也可以通過(guò)模糊條件查詢(xún)出機(jī)動(dòng)車(chē)基本數(shù)據(jù)，進(jìn)而關(guān)聯(lián)查詢(xún)機(jī)動(dòng)車(chē)軌跡數(shù)據(jù)。

2．?dāng)?shù)據(jù)碰撞分析

跨地區(qū)的海量機(jī)動(dòng)車(chē)過(guò)車(chē)數(shù)據(jù)碰撞，分析出假套牌車(chē)輛；重點(diǎn)車(chē)輛、報(bào)廢車(chē)輛與過(guò)車(chē)數(shù)據(jù)的分析碰撞，發(fā)現(xiàn)未按規(guī)定時(shí)間、路線、已報(bào)廢仍在路面行駛的車(chē)輛信息。

3．車(chē)輛出入統(tǒng)計(jì)分析

挖掘統(tǒng)計(jì)一段時(shí)間內(nèi)在某個(gè)區(qū)域內(nèi)（可以設(shè)定中心城區(qū)、地市區(qū)域、省市區(qū)域、高速公路網(wǎng)等區(qū)域）、進(jìn)出區(qū)域、主要干道的經(jīng)常行駛車(chē)輛、“候鳥(niǎo)”車(chē)輛、過(guò)路車(chē)輛的數(shù)量以及按車(chē)輛類(lèi)型、車(chē)牌發(fā)證地的分類(lèi)統(tǒng)計(jì)。

4．重點(diǎn)車(chē)輛分析

挖掘統(tǒng)計(jì)一定地域范圍內(nèi)客運(yùn)、危險(xiǎn)品運(yùn)輸?shù)戎攸c(diǎn)車(chē)輛通行數(shù)量，研判發(fā)現(xiàn)通行規(guī)律。對(duì)在路段行駛時(shí)間異常的車(chē)輛、首次在本路段行駛、逾期報(bào)廢、未年檢仍在道路行駛的重點(diǎn)車(chē)輛、2～5點(diǎn)仍在道路行駛的客運(yùn)車(chē)輛等進(jìn)行預(yù)警提示。

5．嫌疑車(chē)輛分析

挖掘在不同地點(diǎn)多次同行的車(chē)輛。根據(jù)確認(rèn)的車(chē)輛，尋找同行車(chē)。挖掘不同時(shí)間段通過(guò)一個(gè)或多個(gè)卡口的車(chē)輛篩選分析。分析判斷部分車(chē)輛經(jīng)常白天某個(gè)時(shí)間點(diǎn)進(jìn)城后不出城或是晚上某個(gè)時(shí)間點(diǎn)進(jìn)城或出城，篩選有規(guī)律性車(chē)輛。

6．道路通行信息服務(wù)

基于卡口車(chē)輛通行數(shù)據(jù)，實(shí)時(shí)對(duì)外發(fā)布公路道路擁堵、車(chē)流量、平均速度等通行狀況。

7．圖像二次甄別

通過(guò)對(duì)機(jī)動(dòng)車(chē)過(guò)車(chē)圖像的二次識(shí)別，識(shí)別車(chē)輛品牌等特征信息，比對(duì)車(chē)輛登記信息，發(fā)現(xiàn)套牌假牌車(chē)輛，并進(jìn)行實(shí)時(shí)預(yù)警。

（四）關(guān)鍵技術(shù)

在海量數(shù)據(jù)處理方面，主要應(yīng)用以下三方面的關(guān)鍵技術(shù)：

1．HDFS分布式文件系統(tǒng)構(gòu)建

在數(shù)據(jù)接入層，為保障文件寫(xiě)入效率，采用基礎(chǔ)的HDFS文件管理接口，實(shí)現(xiàn)對(duì)車(chē)輛過(guò)車(chē)全景圖片和特征圖片的存儲(chǔ)；在業(yè)務(wù)應(yīng)用層，采用HDFS中的FTP接口，實(shí)現(xiàn)緝查布控系統(tǒng)的統(tǒng)一圖片訪問(wèn)。

2．HBASE分布式數(shù)據(jù)庫(kù)構(gòu)建

HBASE表結(jié)構(gòu)和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)表差別較大，它由主鍵（Rowkey）、版本（Timestamp）、列族（Column Family）三部分組成[2]，HBASE不存在除主鍵和版本列之外的索引，僅能通過(guò)主鍵和主鍵及時(shí)間戳的range來(lái)檢索數(shù)據(jù)。車(chē)輛通行信息庫(kù)中，將卡口編號(hào)、方向、號(hào)牌號(hào)碼等關(guān)鍵信息納入主鍵，再疊加12位序列號(hào)生成全國(guó)唯一軌跡信息；版本信息采用過(guò)車(chē)時(shí)間戳代替，可提高針對(duì)時(shí)間段的查詢(xún)分析速度；列族信息中存儲(chǔ)號(hào)牌顏色、車(chē)輛品牌、車(chē)輛型號(hào)等相關(guān)信息。

3．Map/Reduce分布式計(jì)算

通過(guò)Map/Reduce分布式計(jì)算引擎，將業(yè)務(wù)應(yīng)用層提出假套牌分析、伴隨車(chē)輛分析等具體任務(wù)分解至各HBASE節(jié)點(diǎn)服務(wù)器進(jìn)行并行計(jì)算，進(jìn)而提高數(shù)據(jù)分析的效率。

四、應(yīng)用案例

筆者單位采用Hadoop2.2、Hbase0.94在實(shí)驗(yàn)室搭建機(jī)動(dòng)車(chē)緝查布控平臺(tái)大數(shù)據(jù)運(yùn)行環(huán)境，同時(shí)導(dǎo)入了20多億條實(shí)際通行車(chē)輛記錄，開(kāi)展了車(chē)牌檢索、套牌車(chē)分析、重點(diǎn)車(chē)輛逾期未報(bào)廢、未年檢仍上路行駛，凌晨2～5點(diǎn)仍上路行駛等試驗(yàn)測(cè)試，測(cè)試結(jié)果表明，大數(shù)據(jù)技術(shù)的引入，能很好的解決ORACLE無(wú)法實(shí)現(xiàn)的功能。

平臺(tái)基礎(chǔ)硬件環(huán)境如表2所示；各種車(chē)牌檢索響應(yīng)耗時(shí)如表3所示。

下面對(duì)嫌疑套牌車(chē)分析過(guò)程進(jìn)行簡(jiǎn)要說(shuō)明。

（1）建立套牌車(chē)分析算法模型。對(duì)比同一車(chē)牌經(jīng)臨兩個(gè)卡口地理距離和時(shí)間差，基于同一車(chē)輛不可能在短時(shí)間內(nèi)出現(xiàn)在兩地的原理，判別嫌疑套牌車(chē)輛，其中，兩卡口之間的地理距離通過(guò)卡口備案的經(jīng)緯度信息進(jìn)行計(jì)算。

（2）建立基于HBASE的過(guò)車(chē)信息庫(kù)。過(guò)車(chē)信息表主鍵設(shè)計(jì)為號(hào)牌種類(lèi)+號(hào)牌號(hào)碼+序列值，版本信息設(shè)計(jì)為過(guò)車(chē)時(shí)間戳。將各地緝查布控系統(tǒng)實(shí)際運(yùn)行中采集的20多億條過(guò)車(chē)數(shù)據(jù)寫(xiě)入HBASE數(shù)據(jù)庫(kù)，合計(jì)花費(fèi)11.5小時(shí)，平均每秒4.8萬(wàn)條。

（3）套牌車(chē)分析測(cè)試。開(kāi)發(fā)Map/Reduce分布式計(jì)算任務(wù)進(jìn)行套牌車(chē)分析，篩選出套牌嫌疑車(chē)4358輛，花費(fèi)11分鐘。

五、結(jié)束語(yǔ)

目前各地已匯聚了海量的機(jī)動(dòng)車(chē)通行信息，由于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)難以支撐當(dāng)前海量信息的存貯、處理、分析等應(yīng)用需求，嚴(yán)重制約了機(jī)動(dòng)車(chē)緝查布控系統(tǒng)的進(jìn)一步深化應(yīng)用。大數(shù)據(jù)應(yīng)用平臺(tái)以其高性能、低成本、高可靠性、高可伸縮性等特性決定了未來(lái)在機(jī)動(dòng)車(chē)緝查布控領(lǐng)域必能有很大的發(fā)展和應(yīng)用，本文提出的基于大數(shù)據(jù)的機(jī)動(dòng)車(chē)緝查布控平臺(tái)構(gòu)建技術(shù)有重要的現(xiàn)實(shí)意義。

[1]王俊修,譚林.智能倉(cāng)儲(chǔ)物聯(lián)網(wǎng)云平臺(tái)設(shè)計(jì)與研究[J]．警察技術(shù), 2013 (2):16-18.

[2]張榆,馬友忠,孟小峰．一種基于HBase的高效空間關(guān)鍵字查詢(xún)策略[J]．小型微型計(jì)算機(jī)系統(tǒng),2012,33(10):2141-2146.