城市交通大數(shù)據(jù)資源中心平臺的設計與實現(xiàn)

李旭芳

(廈門衛(wèi)星定位應用股份有限公司，福建 廈門 361000)

1 引 言

城市交通系統(tǒng)是一個復雜的巨系統(tǒng)，涉及了人車路環(huán)等因素，它具備了一般大數(shù)據(jù)4V(規(guī)模大、種類多、價值密度低、速度快)的特點和痛點，如何有效搭建數(shù)據(jù)資源中心平臺來管理并釋放交通數(shù)據(jù)價值，全生命周期的追蹤和監(jiān)控交通數(shù)據(jù)，保障數(shù)據(jù)安全，實現(xiàn)跨層級、跨地域、跨系統(tǒng)、跨部門、跨業(yè)務的協(xié)同管理和服務，支撐城市交通應用，是難點，也是必然趨勢。

本文設計的交通數(shù)據(jù)資源中心平臺，構建了交通數(shù)據(jù)從“接數(shù)據(jù)→存數(shù)據(jù)→管數(shù)據(jù)→用數(shù)據(jù)”整個數(shù)據(jù)生命周期的統(tǒng)一可擴展的數(shù)據(jù)資源中心平臺。它是以交通數(shù)據(jù)標準化為基礎，整合城市交通管理部門、交通運輸部門及交通企業(yè)的交通類數(shù)據(jù)，引入?yún)^(qū)塊鏈技術，實現(xiàn)多源交通數(shù)據(jù)的統(tǒng)一接入、融合處理、存儲管理、交換共享、可視化展現(xiàn)等服務，將數(shù)據(jù)應用于交通業(yè)務場景，提升數(shù)據(jù)服務管理效率，強化監(jiān)管能力，促進業(yè)務協(xié)同，提升服務水平，為城市的交通管理工作提供數(shù)據(jù)支撐。

2 平臺架構

平臺在標準規(guī)范體系、網(wǎng)絡安全體系與平臺運行管理保障體系的基礎之上，建設城市交通數(shù)據(jù)資源中心平臺，提供統(tǒng)一的數(shù)據(jù)接入、融合處理、存儲管理、數(shù)據(jù)管理、數(shù)據(jù)共享、數(shù)據(jù)可視化應用、標準數(shù)據(jù)接口等服務，滿足內部業(yè)務應用數(shù)據(jù)支撐需求，同時為外部數(shù)據(jù)交換提供支撐，達到“用數(shù)據(jù)管理、用數(shù)據(jù)說話、用數(shù)據(jù)決策、用數(shù)據(jù)創(chuàng)新”。如圖1的體系結構圖，展示整個交通數(shù)據(jù)資源中心對數(shù)據(jù)全生命周期數(shù)據(jù)管理的過程示意圖。

圖1 平臺體系結構圖

3 平臺各子系統(tǒng)的設計

整個平臺設計了十一大子系統(tǒng)，分別是標準規(guī)范管理系統(tǒng)、匯聚接入系統(tǒng)、融合處理系統(tǒng)、數(shù)據(jù)存儲中心、數(shù)據(jù)監(jiān)測管理系統(tǒng)、數(shù)據(jù)質量管理系統(tǒng)、任務調度管理系統(tǒng)、數(shù)據(jù)監(jiān)測管理系統(tǒng)、數(shù)據(jù)綜合查詢系統(tǒng)、數(shù)據(jù)可視化系統(tǒng)、數(shù)據(jù)共享交換系統(tǒng)。接下來，將按照平臺對數(shù)據(jù)從匯聚接入到應用共享整個生命周期進行闡述。

圖2 平臺的系統(tǒng)組成圖

3.1 交通數(shù)據(jù)匯聚接入

城市的交通數(shù)據(jù)資源大多分布在交通運輸部門、交通管理部門、運輸企業(yè)和個人手中，平臺基于交通數(shù)據(jù)標準規(guī)范體系基礎上，制訂統(tǒng)一的數(shù)據(jù)接口標準，提供對不同部門、不同系統(tǒng)、不同接口方式的數(shù)據(jù)匯聚接入與傳輸，通過主流的采集工具kettle、Logstash、Telegraf以及實時數(shù)據(jù)傳輸框架MINA，將不同類型的數(shù)據(jù)存入多源數(shù)據(jù)庫集中，做到高可靠、高性能、高擴展的數(shù)據(jù)匯聚接入，將散落的業(yè)務數(shù)據(jù)匯聚于數(shù)據(jù)資源中心平臺，實現(xiàn)數(shù)據(jù)沉淀。

3.2 交通數(shù)據(jù)融合處理

通過融合處理發(fā)揮數(shù)據(jù)價值，實現(xiàn)多元異構數(shù)據(jù)源的關聯(lián)和整合，通過數(shù)據(jù)融合處理，完成數(shù)據(jù)加載、轉換、清洗、分層、質量分析、加密或脫敏、集成、歸約等工作。

3.3 數(shù)據(jù)存儲中心

在整個大數(shù)據(jù)存儲中采用HADOOP大數(shù)據(jù)庫+SPARK+關系型混合存儲管理方案來發(fā)揮不同數(shù)據(jù)庫的優(yōu)勢和特點，大數(shù)據(jù)通常用來描述數(shù)據(jù)集足夠大、足夠復雜的數(shù)據(jù)集，而區(qū)塊鏈能承載的信息數(shù)據(jù)是有限的，主要應用在對數(shù)據(jù)安全要求比較高的結構化數(shù)據(jù)中。通過建立各類交通資源庫，存儲交通領域的大量交通信息，按照業(yè)務邏輯分類和數(shù)據(jù)模型組織存儲海量數(shù)據(jù)，便捷調配存儲空間，并提供完備的數(shù)據(jù)保護功能。按照數(shù)據(jù)的用途和功能定位將數(shù)據(jù)中心劃分成不同庫體：基礎庫、業(yè)務庫、專題庫、元數(shù)據(jù)庫、軌跡庫、視頻庫、地理庫、共享庫、目錄庫，支持業(yè)務的應用需要。

3.4 數(shù)據(jù)管理

針對交通數(shù)據(jù)管理，平臺設計了數(shù)據(jù)資源目錄管理系統(tǒng)、任務調度管理系統(tǒng)、數(shù)據(jù)質量管理系統(tǒng)、數(shù)據(jù)監(jiān)控管理系統(tǒng)。其中數(shù)據(jù)資源目錄管理系統(tǒng)：采用區(qū)塊鏈數(shù)據(jù)庫對數(shù)據(jù)資源進行管理，保證數(shù)據(jù)的安全和易用，從數(shù)據(jù)源頭規(guī)范數(shù)據(jù)，明確數(shù)據(jù)來源、所有權、使有權和流通路徑。任務調度管理系統(tǒng)：統(tǒng)一管理各種數(shù)據(jù)處理任務，對不同的處理任務(算法)采用不同的處理容器，按時(主動、定時、實時)、按需(靈活調度計算資源和存儲資源)進行執(zhí)行。數(shù)據(jù)質量管理系統(tǒng)：集標準制定、校驗、修正、評估于一體，建立數(shù)據(jù)全流程的質理管理體系，針對采集、存儲、共享、維護、應用、消亡整個生命周期里可能引發(fā)的各類數(shù)據(jù)質量問題，提供數(shù)據(jù)識別、校驗、處理、監(jiān)控、預警、報告、改善等一系列管理活動。數(shù)據(jù)監(jiān)控管理系統(tǒng)：基于zabbix的二次開發(fā)，通過各類監(jiān)控項對各系統(tǒng)運行情況、數(shù)據(jù)情況、支撐環(huán)境情況進行監(jiān)控和預警，從而保障數(shù)據(jù)資源中心的正常運作。

3.5 數(shù)據(jù)應用

在交通數(shù)據(jù)應用方面，圍繞數(shù)據(jù)查詢、數(shù)據(jù)檢索、數(shù)據(jù)服務展開對交通數(shù)據(jù)的專題應用。其中數(shù)據(jù)綜合查詢系統(tǒng)：提供靈活的交通數(shù)據(jù)集制作、方案制作和方案查詢功能。可支持多種數(shù)據(jù)源；具有圖形化編輯界面，無需編寫代碼也可快速生成多維數(shù)據(jù)統(tǒng)計，提供全部文本內容進行檢索。通過制作交通數(shù)據(jù)集，構建面向公眾提供交通信息服務的模塊，如交通行業(yè)統(tǒng)計、出行規(guī)劃、動態(tài)路徑誘導、停車誘導服務、樞紐導航、實時公交信息、物流查詢、維修駕培、違章查詢、氣象信息查詢等便捷公眾出行服務。

3.6 交通數(shù)據(jù)一張圖

融合交通感知設備、車流人流物流情況、軌跡、視頻、預警、行業(yè)監(jiān)測數(shù)據(jù)于一體，運用GIS、大數(shù)據(jù)、北斗等先進科學技術，通過數(shù)據(jù)可視化系統(tǒng)豐富的交通行業(yè)模板及交通組件，靈活構建城市交通數(shù)據(jù)一張圖。“一張圖”既可宏觀展示綜合交通運行整體狀態(tài)，又可分層展示交通專題要素，并結合地圖應用進行細節(jié)查閱、預警提醒、指揮調度。

3.7 數(shù)據(jù)共享

數(shù)據(jù)共享交換系統(tǒng)在實現(xiàn)數(shù)據(jù)統(tǒng)一口徑和集中管控后，將融合處理后的數(shù)據(jù)向各業(yè)務部門開放共享，開展數(shù)據(jù)和應用交換，滿足不同系統(tǒng)間的信息共享與業(yè)務協(xié)同需求，實現(xiàn)數(shù)據(jù)間、部門間的關聯(lián)互動，加強共享服務，促進業(yè)務協(xié)同。

4 應用實例

本平臺已應用于廈門，是廈門市城市交通大數(shù)據(jù)體系建設中數(shù)據(jù)資源中心平臺，支撐城市交通大數(shù)據(jù)分析應用，平臺支持交通運輸部門、交通管理部門、交通企業(yè)等多部門、多來源、多格式、多元的數(shù)據(jù)匯聚和標準化，目前已接入各類車(船)累計超過10萬輛，每天匯聚車輛定位數(shù)據(jù)、RFID、視頻監(jiān)控、停車場、易通卡等交通數(shù)據(jù)約2億條，具有智能高效海量數(shù)據(jù)的處理、查詢、分析、監(jiān)測能力，提供跨部門、跨網(wǎng)絡、跨平臺數(shù)據(jù)共享以及數(shù)據(jù)安全監(jiān)管。

5 結束語

城市交通大數(shù)據(jù)資源中心平臺基于高性能大數(shù)據(jù)分布式架構，匯集海量多源的交通數(shù)據(jù)，提供數(shù)據(jù)匯聚、集中存儲、高效處理、數(shù)據(jù)管理、分析應用、數(shù)據(jù)共享、數(shù)據(jù)可視化的數(shù)據(jù)全生命周期管控和服務。平臺未來可在交通大數(shù)據(jù)的基礎上，將區(qū)塊鏈技術應用于更多的場景，提供數(shù)據(jù)區(qū)塊鏈服務，更加智能化的應用交通數(shù)據(jù)，挖掘更深層次的數(shù)據(jù)價值，促成平臺型的合作，推廣平臺的應用。