基于大數據架構的智能交通可視化平臺設計

于志青

(河南警察學院 交通管理工程系,河南 鄭州 450046)

1 引言

隨著社會經濟的發展，機動車保有量不斷上升，城市交通路網、高速公路及其他公路不斷擴展，公安交通管理部門的任務日益繁重，需要處理的信息量越來越大。為了更好地實施道路交通管理，公安交通管理部門必須利用云計算、互聯網、大數據、地理信息、人工智能等新一代信息技術，融合接處警、路面執勤、電子警察、智能卡口、停車場，以及其他執法終端等各類基礎信息資源，輔助交警指揮決策，實現道路交通管理的網格化、智能化、可視化，提高交通管理的水平，構建智能交通，為智慧城市的建設提供支撐。大數據在智能交通方面的應用，有許多學者進行了研究，如文獻[1]，通過大數據技術，分析了交通流量分布特征與空氣等級之間的關系，交通事件與違法車輛數據的時空分布特征等。文獻[2]探討了大數據技術在智能交通中的實踐，文獻[3]討論了應用大數據技術構建智能服務平臺等。將大數據技術應用于公安交通管理的實踐方面，各級公安機關開展了不同層次的大數據應用，如深圳市公安局交通管理局，在匯聚各種數據資源的基礎上，建立了一個全方位、多渠道、全覆蓋的交管大數據平臺，該平臺通過大數據應用，可及時發布交通誘導信息、出行信息等，并拓展到數據驅動警務預測社會管理層面。關于將地理信息技術、可視化技術應用于交通管理，文獻[4]研究了告警與速度的關系作為可視化對象，設計了可視化方案，文獻[5]討論地理信息技術在路網分析中的應用。將大數據技術、地理信息技術、可視化技術應用于智能交通方面，研究較少。本文重點利用大數據技術、地理信息技術、構建智能交通可視化平臺，給出平臺的體系結構、技術架構，并進行功能設計。

2 基本技術

2.1 大數據技術

大數據技術發展非常迅猛，無論是以分布式存儲、分布式計算、數據交換、業務協同等為代表的大數據基礎技術，還是以結合行業用于分析規律和預測未來的算法、模型等為代表的大數據應用技術，正在逐步豐富其內容。目前，一般意義上的大數據架構包括多個組件，根據業務場景的不同，組件可適當增減，各組件之間互為補充，大數據架構如圖1所示。

圖1 大數據架構

Storm是實時流處理引擎，Spark是機器學習引擎、各種文本、圖片、語言、視頻等非結構數據處理引擎等，Neo4j是一個高性能的NoSQL圖形數據庫，它將結構化數據存儲在網絡上而不是表中。

2.2 數據可視化技術

數據可視化是利用計算機技術及圖像處理技術，將數據轉換成圖形或圖像并顯示出來，進行交互處理的技術。數據可視化一般可分為數據分析、處理和視圖生成三個環節。數據分析環節的目的是要明確可視化目的，以什么樣的方式展示數據(如圖表等)，以便確定數據預處理的算法、視覺編碼等，對于不同的數據結構要利用不同的視覺編碼進行展示。數據處理環節是對數據進行清洗、轉換、分析等，其目的是為下一環節提供高質量的數據，確保系統處理的高效性和展示結果的真實性。視圖生成環節是指通過一定的算法、模型等，通過不斷的迭代和修正，生成預期的數據圖表展示效果。

2.3 基于大數據架構的地理信息技術

空間數據庫：基于關系-對象型的空間數據庫系統，實現對于基礎地理信息中的矢量地圖、業務圖層的統一管理，與其他業務系統的數據庫對接和數據集成。

分布式文件系統：采用Hadoop等分布式文件系統，對地圖瓦片數據等非結構化、半結構化數據進行存儲管理。

NoSQL數據庫：對于實時位置信息和軌跡信息等海量離散時序信息，采用NoSQL數據庫進行存儲、處理和統一建模和分析。

并行數據庫：采用MPP數據庫進行存儲和管理，滿足傳統關系查詢的業務需求以及大規模數據存儲的要求。

3 平臺的體系結構

基于大數據架構的智能交通可視化平臺體系結構主要有接入層、數據層、服務層、應用層等，按照相關標準，并進行信息網絡安全保護，其體系結構如圖2所示。

圖2 平臺體系結構

平臺的接入層主要有交通警情、信號燈控制系統、交通信息誘導發布系統、視頻監控系統、重點區域停車場管理系統等交通信息，同時也接入來自互聯網及社會資源相關交通信息，以及路網狀況信息與地理信息系統(GIS)融合，完成實時位置海量信息并發，大數據融合上圖等，實現交通管理信息一張圖，可提供各種交通管理的可視化服務。

2014年，喀什市色滿鄉落實扶貧資金30萬元，發放了100臺刺繡機；2015年，喀什市色滿鄉落實項目資金118萬元，建設了164戶的庭院經濟項目和60戶棚圈建設項目；2017年，喀什市色滿鄉落實了252.88萬元項目資金，完成334戶的畜牧養殖項目和資產收益分紅項目。

數據層：主要內容有數據整合治理、大數據架構的數據庫搭建、地圖融合等。數據整合治理包括數據匯聚、清洗轉換等。數據庫搭建主要是指基于大數據架構，包括定位數據庫、業務庫等。業務庫是根據交通管理業務產生的各類數據構建的，支持大數據的分析運算。

地圖融合：是指各類時空數據經過地圖引擎，實現上圖的過程。時空數據包括基礎地理數據、交通管理專用地理數據等。

服務層：主要包括地圖服務和智能應用服務、可視化服務等。地圖服務是指地圖的基本功能，如測距、瀏覽、切換、定位、地圖工具等。智能應用服務包括智能搜索、擁堵預警、路網路況等。如智能搜索可提供基于地圖服務或空間數據服務的相關空間位置等的屬性查詢。

應用層：主要包括可視化指揮、重點區域疏導等。可視化指揮是指基于地圖可視化的態勢分析、指揮調度等。在態勢分析方面，可實現交通警情態勢可視化、交通路口態勢可視化、交通業務態勢可視化、資源動態發布可視化等。重點區域疏導，如市區大型活動區域、商業區等周邊交通態勢及疏導可視化。

這里的可視化包括地理信息系統展示的可視化和大數據的可視化以及基于地圖的大數據可視化。

大數據可視化：通過數據可視化技術，將多源異構數據融合分析得到的難以讀懂結果的圖表等形式直觀表示出來，幫助人們根據圖表所表達的特征得出相應結論。如以柱狀圖、餅圖、折線圖等形式對智能卡口、道路視頻監控、電子警察等前端設備在線情況、運行情況、實時過車數據等進行監控和統計，以直觀立體的數據展示。

基于地圖的大數據可視化：主要是指將多個興趣點聚合為一個點，在地圖上進行分級展示；通過顏色的變化，表示各對象在地圖上的聚集和分布，展示不同對象在地圖上各點之間的流動情況，如將人、車、物等基本信息在地圖上進行可視化展示，可立體直觀的了解多目標的軌跡信息及運行狀態。將道路視頻監控在地圖上進行展示，當有情況發生時，可通過地圖顯示并查看歷史及實時視頻信息，及時掌握現場情況。

4 平臺的技術架構

時空大數據具有量大、多元、異構、多變動的特征，具有典型的時序關系，傳統的關系型數據庫很難管理和處理，可采用類似Hbase的分布式數據庫加以管理和處理這些時空大數據，使用列式表存儲。為了方便各種軌跡和各時段的查詢，應建立對象身份號、空間多交叉樹、時間戳等多種檢索方式，實現數據的多效多應用查詢。

基于大數據架構的智能交通可視化平臺技術架構如圖3所示。

圖3 平臺技術架構

數據層：底層的數據架構采用大數據產品做數據支撐，配以關系型數據庫。對大數據產品可選用國產的華為、阿里、星環等大數據管理系統，各組件根據業務需要進行安裝，如基于Storm實時流處理引擎、基于HiveSQL的結構化分析引擎、基于Spark的機器學習引擎、視頻圖像等非結構數據引擎等。關系型數據庫可選用Oracle、MySQL等，主要用于存儲業務系統產生的數據和各種基礎數據。大數據產品支持關系型數據庫、文本、圖形、音視頻、物聯網等多元異構數據的接入。

應用程序采用J2EE架構，軟件開發可采用SpringMVC模式，Spring可作為整體的基礎框架，利用SQL調用大數據架構的底層數據，用JSP進行頁面處理，可用Action負責頁面與后臺數據交換，用WebSphere等中間件實現服務器信息的發布。

對于智能交通可視化平臺，除了傳統的數據存儲和查詢需求之外，還要對關于交通管理的各種數據，包括時空數據進行深度的挖掘和分析，以獲取有更大價值的信息。因平臺采用的是大數據架構，可以考慮用MPP等技術框架來實現對數據的挖掘分析。因MPP是一種實時數據分析技術，適應于實時或離線的分析處理，MPP架構目前被廣泛應用于并行數據庫，如用MPP存儲管理智能智能卡口數據、交通視頻檢測數據等，既可滿足日常查詢，又適用海量數據的存儲。在使用時，可將MPP與Hadoop進行融合，用MPP處理量大、高質量的結構化數據，可以應用提供SQL調用和事務支持能力。用Hadoop實現半結構、非結構的數據處理，二者有機融合。

因平臺基于地理信息系統的大數據可視化展示，因此地理信息系統應能實現對各種線、箭頭、文字等信息繪制；實現各種軌跡的動態繪制及控制操作；實現散點圖、熱區圖、等高線熱力圖的加載與展示；實現各種定位信息的圖層實時繪制和展示。

因Spart架構不能直接實現對數據的可視化，因此可在平臺上部署數據可視化Zeppelin框架，Zeppelin是一個交互式變得可行的基于網頁的notebook數據分析工具，提供了數據分析、數據可視化等功能。

5 平臺功能設計

基于大數據架構的智能交通可視化平臺，由于采用大數據技術、地理信息技術、可視化技術等，實現多源數據的融合，數據交換與共享，智能交通的各種業務可以以圖形、圖表等可視展現，或以地理信息系統可視化方法展現。在融合了各種交通管理大數據的同時，也融合了時空大數據，因此具有時空信息的分析和挖掘、區域快速定位、資源狀態感知展示(包括道路、設施、車輛、人流等)、交通誘導、交通信號控制展示、車輛動態軌跡、路網運行監測與交通態勢研判等功能。其功能設計如圖4所示。

圖4 平臺功能模塊

系統管理：包括用戶管理、權限管理、參數設置、系統日志管理等。

數據管理：對不同來源、不同結構的數據進行清洗、轉換等管理，以及定時和實時同步等方面的管理，確保數據的真實性、完整性、鮮活性、可能性等。

模型管理：分析研判是基于各種模型算法的，包括基礎模型算法和自定義模型算法，也即是平臺提供一類常用模型算法，如車輛違法分析模型、交通事故分析模型等，同時平臺還可以根據業務需求，向用戶提供快速構建分析研判模型的功能。

全時空數據分析研判：可在地圖上選定多個區域，在設定的時間段內經過這些區域內智能卡口、視頻監控點或路口上的車輛數。還可以在地圖上選定幾個加油站，通過對加油站周邊智能卡口、視頻監控，分析出某些車輛常去的加油站。道路交通事故數據分析、非工作日及非工作時段異常數據分析，交通違法數據分析等及可視化展示。

可視化指揮調度：通過地理信息系統，將各種資源在地圖上顯示，可實現視頻、語音、網絡等方式的指揮調度和圖上作業。

全息檔案：通過構建數據種類豐富、動態及海量數據的數據庫群，形成智能交通大數據，為數據的可視分析研判及應用提供數據支撐。

移動應用：實現各種移動智能終端的應用，如各種指揮調度信息的接收，地理信息在線及離線應用，與指揮中心的信息交換等。

6 結束語

基于大數據架構的智能交通可視平臺是以地理信息系統為基礎，融合各種智能交通數據，以大數據分析技術手段，以智能交通管理為目標，利用融合通信技術，實現交通態勢感知、時空數據分析研判、可視化指揮調度等功能。平臺充分整合利用交通信號控制信息、電子警察及智能卡口信息、智能停車場信息等交通管理數據，利用多源數據分析引擎技術、實現數據分析研判結果的可視展示。平臺設計采用面向服務、面向組件的先進技術、可保證系統有較長的生命周期，在功能設計方面，基于交通管理業務，注重實際需求,有一定的理論和應用價值，可為智能交通的建設提供參考。