基于大數(shù)據(jù)的智能交通資源中心體系建設(shè)研究

吳小剛 彭文惠＊ 申圣兵

（1．北京易華錄信息技術(shù)股份公司，北京 100043；2．陽江職業(yè)技術(shù)學(xué)院，廣東 陽江 529500；3．湖南高速鐵路職業(yè)技術(shù)學(xué)院，湖南 衡陽 421002）

20世紀(jì)80年代，我國開始公路收費(fèi)系統(tǒng)的應(yīng)用，這是我國第一次將計(jì)算機(jī)技術(shù)、通信技術(shù)和電子技術(shù)用于交通監(jiān)控和管理系統(tǒng)[1]。從此以后，我國全面推進(jìn)智能交通系統(tǒng)的建設(shè)，同時(shí)，我國在衛(wèi)星定位、GPS車輛定位、道路車流檢測設(shè)備、視頻檢測設(shè)備、RFID設(shè)備、車輛信息化管理等系統(tǒng)逐漸應(yīng)用與完善。21世紀(jì)初期，隨著網(wǎng)絡(luò)技術(shù)與智能化硬件技術(shù)的跨越式發(fā)展，助推了智能交通在我國迅速發(fā)展[2]。

21世紀(jì)初至今，在交通基礎(chǔ)設(shè)施規(guī)模飛速發(fā)展的同時(shí)，交通管理和服務(wù)的信息化、智能化水平也有顯著提高，智能交通在許多城市和交通運(yùn)輸?shù)母鱾€(gè)行業(yè)得到了廣泛的應(yīng)用，并開始進(jìn)入快速發(fā)展的軌道。初步形成了智能交通基礎(chǔ)建設(shè)遍地開花、科技引領(lǐng)智能交通發(fā)展的局面，智能交通應(yīng)用發(fā)展顯著。

1 大數(shù)據(jù)與智能交通

隨著數(shù)據(jù)存儲技術(shù)與數(shù)據(jù)處理技術(shù)的發(fā)展，為大數(shù)據(jù)應(yīng)用奠定了軟硬件基礎(chǔ)，大數(shù)據(jù)技術(shù)的逐步成熟助推了智能交通應(yīng)用創(chuàng)新，對智能交通的應(yīng)用業(yè)務(wù)形成內(nèi)在的強(qiáng)大驅(qū)動力，推動智能交通應(yīng)用服務(wù)的升級與改革。交通大數(shù)據(jù)從廣義上講，具有以下幾種內(nèi)涵[3]：一是數(shù)據(jù)量巨大，結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)需長期存儲；二是數(shù)據(jù)形態(tài)多樣，來源廣泛，類型豐富，結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)并存；三是處理快速，交通數(shù)據(jù)具有時(shí)變性，交通管理與服務(wù)具有時(shí)效性數(shù)據(jù)處理的及時(shí)性，對數(shù)據(jù)處理速度要求極高；四是真假數(shù)據(jù)共存，數(shù)據(jù)存在冗余、遺漏、錯(cuò)誤等現(xiàn)象。五是價(jià)值豐富，具有時(shí)間（過去、現(xiàn)在與未來）、空間（點(diǎn)、線、面）等多維特征。目前，大數(shù)據(jù)在教育、醫(yī)療、政務(wù)等各個(gè)領(lǐng)域產(chǎn)生革命性的影響，在信息技術(shù)發(fā)展的基礎(chǔ)上成長起來的交通智能化，將在大數(shù)據(jù)時(shí)代發(fā)生質(zhì)的改變。

1.1 交通大數(shù)據(jù)定義

所謂交通大數(shù)據(jù)按狀態(tài)可分為靜態(tài)數(shù)據(jù)與動態(tài)數(shù)據(jù)。靜態(tài)交通數(shù)據(jù)主要包括交通設(shè)備、設(shè)施，道路等；動態(tài)交通數(shù)據(jù)主要包括通過各種手段采集的數(shù)據(jù)，如：視頻、線圈、微波、地磁、浮動車、GPS、卡口、違法等數(shù)據(jù)，以及城市交通相關(guān)的行業(yè)和領(lǐng)域?qū)氲臄?shù)據(jù)（氣象、環(huán)境、人口、規(guī)劃等數(shù)據(jù)），還包括來自互聯(lián)網(wǎng)的數(shù)據(jù)（通過互聯(lián)網(wǎng)地圖服務(wù)商、交通參與者、廣播電臺等提供的文字、圖片、音視頻等數(shù)據(jù)）。交通大數(shù)據(jù)中同時(shí)包含了來自交通行業(yè)的和交通行業(yè)之外的格式化和非格式化數(shù)據(jù)。按數(shù)據(jù)來源可以劃分為交通領(lǐng)域直接產(chǎn)生的數(shù)據(jù)、公眾互動交通狀況數(shù)據(jù)、相關(guān)行業(yè)數(shù)據(jù)和重大社會經(jīng)濟(jì)活動關(guān)聯(lián)數(shù)據(jù)這三大類。用傳統(tǒng)技術(shù)難以在合理時(shí)間內(nèi)管理、清洗、挖掘、分析交通研判的數(shù)據(jù)集。

交通大數(shù)據(jù)具有數(shù)據(jù)量巨大、數(shù)據(jù)種類多樣、蘊(yùn)含價(jià)值豐富等特征[4]。在智慧城市的建設(shè)背景下，交通大數(shù)據(jù)與各行各業(yè)的數(shù)據(jù)相互共享、相互關(guān)聯(lián)，為智能交通的管理提供了更廣闊的研究課題，從而探索交通參與者的規(guī)律，提供更多人性化的管理應(yīng)用服務(wù)?；跀?shù)據(jù)關(guān)聯(lián)性特性與變化趨勢特性，對于挖掘分析交通大數(shù)據(jù)自身的價(jià)值，指導(dǎo)交通應(yīng)用服務(wù)，是智能交通大數(shù)據(jù)的研究重點(diǎn)和方向。

1.2 大數(shù)據(jù)環(huán)境下的問題

1.2.1 去偽存真問題

交通大數(shù)據(jù)匯集動態(tài)采集數(shù)據(jù)與靜態(tài)數(shù)據(jù)、行業(yè)內(nèi)數(shù)據(jù)與行業(yè)外數(shù)據(jù)，數(shù)據(jù)來源廣泛，形態(tài)多樣，存在無效、冗余、錯(cuò)誤、時(shí)間點(diǎn)漂移及丟失大量的臟數(shù)據(jù)[5]。臟數(shù)據(jù)的存在直接影響對交通狀態(tài)的分析結(jié)果，導(dǎo)致錯(cuò)誤的決策。因此如何對臟數(shù)據(jù)進(jìn)行清洗、修復(fù)，去偽存真，是交通大數(shù)據(jù)應(yīng)用研究的基礎(chǔ)。在分析影響數(shù)據(jù)質(zhì)量問題原因的基礎(chǔ)上，給出交通大數(shù)據(jù)清洗的概念，研究“臟數(shù)據(jù)”的清洗規(guī)則與清洗步驟。

1.2.2 存儲問題

交通大數(shù)據(jù)具有存在時(shí)間長、存儲容量大的基本特征，特別是長時(shí)間、非結(jié)構(gòu)化數(shù)據(jù)的存儲給數(shù)據(jù)存儲帶來了巨大的壓力。由于傳統(tǒng)的磁存儲設(shè)備的投入導(dǎo)致智能交通投入成本直線攀升，因此，目前各智能交通應(yīng)用單位主要采取短時(shí)間存儲、周期性覆蓋舊數(shù)據(jù)的方式來降低存儲成本，但直接后果就是數(shù)據(jù)流失量大，用于大數(shù)據(jù)挖掘應(yīng)用的樣本小，影響了大數(shù)據(jù)應(yīng)用價(jià)值挖掘[6]。光磁融合存儲技術(shù)的發(fā)展為交通大數(shù)據(jù)帶來的新的存儲解決方案，既能低成本實(shí)現(xiàn)海量數(shù)據(jù)冷熱融合存儲，也大大降低存儲設(shè)備長期運(yùn)行的能耗。對最新產(chǎn)生、使用頻率高的數(shù)據(jù)可定義為熱數(shù)據(jù)，一般采用磁存儲。優(yōu)點(diǎn)是速度快，輕便；而缺點(diǎn)是容量低、成本高、能耗高、壽命短；而大量歷史的、低頻使用的數(shù)據(jù)定義為冷數(shù)據(jù)，一般采用光存儲的方式，光存儲方式具有存儲量大、能耗低、壽命長、安全性高等特點(diǎn)。用磁存儲保存熱數(shù)據(jù)，以光存儲保存冷數(shù)據(jù)，使冷、熱數(shù)據(jù)得以完美結(jié)合，將成為智能交通大時(shí)代數(shù)據(jù)存儲的最優(yōu)選擇。

1.2.3 時(shí)效性問題

交通數(shù)據(jù)具有時(shí)效性，要求智能交通應(yīng)用系統(tǒng)具有較高的計(jì)算效率。如：交流實(shí)時(shí)流量檢測、交通態(tài)勢分析、交通信號干預(yù)策略、交通應(yīng)急指揮調(diào)度策略、交通誘導(dǎo)信息發(fā)布等均對交通大數(shù)據(jù)應(yīng)用的計(jì)算處理效率提出較高的要求。大數(shù)據(jù)、云技術(shù)的發(fā)展為數(shù)據(jù)計(jì)算的時(shí)效性提供了解決方案。智能交通云概念的提出[7]，基于云計(jì)算技術(shù)，使用存儲設(shè)備、服務(wù)器設(shè)備、應(yīng)用軟件等得到充分的利用，為提升智能交通系統(tǒng)的運(yùn)行效率奠定了基礎(chǔ)。

1.2.4 應(yīng)用開發(fā)

所有的研究都?xì)w于智能交通的應(yīng)用。去偽存真算法、大數(shù)據(jù)光磁一體存儲、云計(jì)算技術(shù)都為智能交通大數(shù)據(jù)的應(yīng)用研發(fā)提供了基礎(chǔ)。傳統(tǒng)的智能交通應(yīng)用存在交通流判態(tài)缺乏時(shí)效性與準(zhǔn)確性、各系統(tǒng)關(guān)聯(lián)性低、系統(tǒng)聯(lián)動性差，對未來交通狀態(tài)預(yù)判缺乏可靠性、系統(tǒng)智能化低等特征。未來基于大數(shù)據(jù)搭建的智能交通應(yīng)用能提供更優(yōu)質(zhì)的綜合服務(wù)，更具時(shí)效性、準(zhǔn)確性、可靠性與聯(lián)動性；更能感知現(xiàn)在、預(yù)測未來；實(shí)現(xiàn)多數(shù)據(jù)源的匯聚、清洗、融合、挖掘，進(jìn)而為交通渠化規(guī)劃、交通信息發(fā)布、交通分流控制、重點(diǎn)違法監(jiān)測、查控分析、交通應(yīng)急指揮等提供決策支持。

2 大數(shù)據(jù)環(huán)境下的智能交通框架

交通大數(shù)據(jù)通過對交管業(yè)務(wù)數(shù)據(jù)進(jìn)行匯聚、清洗、關(guān)聯(lián)、碰撞和挖掘，實(shí)現(xiàn)貼合實(shí)戰(zhàn)的業(yè)務(wù)應(yīng)用、靈活性的技戰(zhàn)法、智能化分析研判、可視化展示，滿足交管部門實(shí)戰(zhàn)的需要。

采用云計(jì)算、大數(shù)據(jù)技術(shù)考慮和破解交通管理難題，建立“數(shù)據(jù)驅(qū)動交通管理精準(zhǔn)決策”現(xiàn)代化交通管理工作機(jī)制新常態(tài)，提高海量數(shù)據(jù)的核查比對、數(shù)據(jù)查詢、分析性能和數(shù)據(jù)管理的應(yīng)用水平，可開展全方位、深層次、多視角的交通管理信息的分析研判，智能發(fā)掘交通安全隱患、工作薄弱環(huán)節(jié)，為車輛緝查、案件偵破、排堵保暢、事故預(yù)防、效能改進(jìn)等實(shí)戰(zhàn)需求提供數(shù)據(jù)支撐。

交通大數(shù)據(jù)邏輯框架如圖1所示。在邏輯上劃分為4個(gè)層次，分別為：數(shù)據(jù)接入層、資源中心層、業(yè)務(wù)應(yīng)用層及用戶層[8]。

圖1 交通大數(shù)據(jù)邏輯框架

數(shù)據(jù)接入層：主要完成數(shù)據(jù)的匯聚接入，接入的數(shù)據(jù)主要包括公安六合一數(shù)據(jù)、卡點(diǎn)過車數(shù)據(jù)、電警設(shè)備數(shù)據(jù)、電子標(biāo)識數(shù)據(jù)、違法數(shù)據(jù)、氣象數(shù)據(jù)、規(guī)劃數(shù)據(jù)、停車場數(shù)據(jù)、浮動車數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等。

資源中心層：主要完成交通大數(shù)據(jù)存儲、處理及管理。由分布式消息隊(duì)列、搜索引擎ElasticSearch、調(diào)度服務(wù)Zookeeper、分布式流處理引擎、離線計(jì)算引擎等實(shí)現(xiàn)對接入數(shù)據(jù)的處理；根據(jù)應(yīng)用邏輯需要，采用內(nèi)存數(shù)據(jù)庫Redis、分布式文件系統(tǒng)Hdfs、分布式數(shù)據(jù)庫Hbase、關(guān)系型數(shù)據(jù)庫Oracle等進(jìn)行接入數(shù)據(jù)的存儲。并基于交通業(yè)務(wù)模型，針對業(yè)務(wù)應(yīng)用，提供基于交通大數(shù)據(jù)的功能服務(wù)接口及數(shù)據(jù)服務(wù)接口，支撐上層業(yè)務(wù)應(yīng)用系統(tǒng)。提供的服務(wù)接口主要有數(shù)據(jù)查詢、數(shù)據(jù)接入、統(tǒng)計(jì)分析、緝查布控、比對報(bào)警、研判分析、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)可視化等。

業(yè)務(wù)應(yīng)用層：交通大數(shù)據(jù)的處理就是要對數(shù)據(jù)進(jìn)行深層分析、挖掘數(shù)據(jù)所蘊(yùn)含的深層知識，尋找數(shù)據(jù)內(nèi)部隱藏的規(guī)律[9]，這里主要包含居民日常出行行為、居民的出行模式、依據(jù)城市特點(diǎn)的交通運(yùn)營決策及規(guī)劃、城市的動態(tài)性特征、城市的空間分布規(guī)律等。采用模塊化設(shè)計(jì)，注重展現(xiàn)與人機(jī)交互，提供車輛通行監(jiān)控、緝查布控、實(shí)戰(zhàn)分析、綜合研判、擁堵分析、OD分析、信息發(fā)布、業(yè)務(wù)辦理、信號優(yōu)化等業(yè)務(wù)應(yīng)用功能。

用戶層：所有的研究都將應(yīng)用服務(wù)，大數(shù)據(jù)為智能交通的進(jìn)一步發(fā)展起到了極大的促進(jìn)作用，同時(shí)，為交管、治安、刑偵、技偵等用戶綜合提供交通信息服務(wù)，完成日常業(yè)務(wù)工作。在智能交通方面主要產(chǎn)生了以下幾個(gè)方面的應(yīng)用：交通擁堵自動檢測分析，道路通行狀態(tài)分析，道路規(guī)劃決策支持，交通通行預(yù)測，交通異常檢測，智能停車誘導(dǎo)，出行信息服務(wù)，對外業(yè)務(wù)辦理等[10]。

3 交通大數(shù)據(jù)資源中心設(shè)計(jì)

（1）技術(shù)架構(gòu)。從技術(shù)架構(gòu)分為數(shù)據(jù)接入層、數(shù)據(jù)緩沖層、數(shù)據(jù)存儲計(jì)算層、數(shù)據(jù)服務(wù)層。主要采用Hadoop、Spark等分布式技術(shù)，滿足計(jì)算能力線性擴(kuò)展、數(shù)據(jù)匯總能力。資源中心架構(gòu)如圖2所示。

圖2 資源中心架構(gòu)圖

（2）接入系統(tǒng)功能?？紤]到交通數(shù)據(jù)量大且具有高并發(fā)特性，使用分布式隊(duì)列機(jī)制完成，目前采取Kafka消息訂閱機(jī)制，通過WebService或者其他方式將數(shù)據(jù)發(fā)送給Kafka，使用數(shù)據(jù)時(shí)，可以在Kafka中訂閱不同的主題數(shù)據(jù)。

在接收數(shù)據(jù)層，考慮不同的接入方式，包括Webservice，JDBC，文件等方式，并支持Kettle、Sqoop工具導(dǎo)入。并為不同的數(shù)據(jù)源進(jìn)行適當(dāng)適配，形成可靠的數(shù)據(jù)接入通道。并對通道增加監(jiān)控，提供不同的指標(biāo)，例如對接成功率，錯(cuò)誤排查等。

接入數(shù)據(jù)流按照四層設(shè)計(jì)：數(shù)據(jù)采集層、存儲計(jì)算層、對外接口層，數(shù)據(jù)從數(shù)據(jù)采集層向上傳遞，分別經(jīng)過數(shù)據(jù)層，并最終提供給應(yīng)用層，詳細(xì)數(shù)據(jù)流如圖3所示。

圖3 接入數(shù)據(jù)流向圖

數(shù)據(jù)接入層根據(jù)數(shù)據(jù)源的已有存儲形式，通過一定的適配工作，對數(shù)據(jù)進(jìn)行采集。存儲計(jì)算層根據(jù)不同業(yè)務(wù)與種類的數(shù)據(jù)源，選擇合適的存儲類型，目前，存儲類型包括HDFS、HBASE、ElasticSearch、ORACLE、FASTDFS。 在使用存儲類型時(shí)，可以根據(jù)自己的需要對數(shù)據(jù)進(jìn)行存儲，比如過車數(shù)據(jù)存儲在HDFS，ElasticSearch用于后續(xù)離線分析與原始數(shù)據(jù)過濾查詢。對外接口層的主要目的是為應(yīng)用提供以HTTP接口的成果數(shù)據(jù)或者原始數(shù)據(jù)檢索，包括一些算法模型產(chǎn)生的結(jié)果數(shù)據(jù)。

（3）分布式混合計(jì)算功能設(shè)計(jì)。針對不同交通應(yīng)用對于計(jì)算的實(shí)時(shí)性、計(jì)算量的要求，資源中心采用實(shí)時(shí)計(jì)算和離線分析計(jì)算混合計(jì)算架構(gòu)。

實(shí)時(shí)運(yùn)算采用流式數(shù)據(jù)處理框架和內(nèi)存數(shù)據(jù)庫，主要采用Spark作為流式處理框架、采用Redis作為分布式緩存隊(duì)列服務(wù)，采取流式數(shù)據(jù)處理框架保證數(shù)據(jù)處理無積壓，分布式緩存隊(duì)列服務(wù)采用內(nèi)存數(shù)據(jù)庫機(jī)制，保證數(shù)據(jù)訪問、查詢比對效率。

離線分析采用Spark、MR，開源Spark目前支持RDD、SQL、Mlib與HIVE，MR可以很好地支持離線計(jì)算，并用于大數(shù)據(jù)的定期結(jié)轉(zhuǎn)、分揀、匯總研判分析。

（4）分布式混合計(jì)算功能設(shè)計(jì)。針對不同交通應(yīng)用對于計(jì)算的實(shí)時(shí)性、計(jì)算量的要求，資源中心采用實(shí)時(shí)計(jì)算和離線分析計(jì)算混合計(jì)算架構(gòu)。

實(shí)時(shí)運(yùn)算采用流式數(shù)據(jù)處理框架和內(nèi)存數(shù)據(jù)庫，主要采用Spark作為流式處理框架、采用Redis作為分布式緩存隊(duì)列服務(wù)，采取流式數(shù)據(jù)處理框架保證數(shù)據(jù)處理無積壓，分布式緩存隊(duì)列服務(wù)采用內(nèi)存數(shù)據(jù)庫機(jī)制，保證數(shù)據(jù)訪問、查詢比對效率。

分布式數(shù)據(jù)庫采用Hadoop開源系統(tǒng)的HBase[11]。實(shí)現(xiàn)海量數(shù)據(jù)存儲，數(shù)據(jù)存儲容量可以線性擴(kuò)容，數(shù)據(jù)量可達(dá)到PB級，用于快速檢索。

（5）分布式混合存儲功能設(shè)計(jì)。交通數(shù)據(jù)可分為靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)兩個(gè)大類，其中，靜態(tài)數(shù)據(jù)指代非實(shí)時(shí)更新的數(shù)據(jù)，例如機(jī)動車數(shù)據(jù)、駕駛?cè)藬?shù)據(jù)等，動態(tài)數(shù)據(jù)指代持續(xù)性插入的數(shù)據(jù)，例如過車數(shù)據(jù)、交通流數(shù)據(jù)等。

由于數(shù)據(jù)的多樣性和對數(shù)據(jù)庫的可擴(kuò)展性的需求，在數(shù)據(jù)存儲層面，使用了關(guān)系型數(shù)據(jù)庫與非關(guān)系型數(shù)據(jù)混合部署的模式，以應(yīng)對海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲和快速處理的需求。

4 結(jié)語

數(shù)據(jù)是驅(qū)動智能交通發(fā)展的基礎(chǔ)，大數(shù)據(jù)技術(shù)的開發(fā)利用將為智能交通的進(jìn)一步發(fā)展帶來質(zhì)的飛躍[12]。本文對智能交通大數(shù)據(jù)存在的去偽存真問題、存儲問題、時(shí)效性問題、應(yīng)用開發(fā)等問題進(jìn)行了探討，建立了基于大數(shù)據(jù)環(huán)境下的智能交通邏輯體系框架與數(shù)據(jù)資源平臺架構(gòu)，該體系能夠兼顧交通數(shù)據(jù)處理的強(qiáng)實(shí)時(shí)性和高效性，也兼顧了交通數(shù)據(jù)量大、異構(gòu)且分散的特點(diǎn)，提出了分布式混合計(jì)算功能設(shè)計(jì)與分布式混合存儲功能設(shè)計(jì)的觀點(diǎn)。有望通過大數(shù)據(jù)技術(shù)解決這些關(guān)鍵問題，這也是各個(gè)大城市正在建設(shè)規(guī)劃的智慧城市研究的重要內(nèi)容。