基于交通大數據的智能信息服務平臺①

彭晨偉, 巴繼東

1(武漢郵電科學研究院, 武漢 430074)

2(武漢長江通信智聯技術有限公司, 武漢 430010)

基于交通大數據的智能信息服務平臺①

彭晨偉1, 巴繼東2

1(武漢郵電科學研究院, 武漢 430074)

2(武漢長江通信智聯技術有限公司, 武漢 430010)

隨著智能交通領域的迅速發展, 日益增長的交通數據量已經達到TB甚至PB級別, 智能交通領域也開始運用大數據技術對海量的行車數據進行深入的挖掘分析, 向著構建一個綜合性智能交通信息服務平臺方向發展. 本文提出了一種基于交通大數據的智能信息服務平臺的總體設計方案, 重點研究了系統的總體架構, 應用架構和數據中心的設計等三個方面. 通過測試, 該平臺可以很好的滿足用戶的前期需求, 平臺基于分層和分模塊的設計思想可以很好的應對用戶后期需求變更.

大數據; 智能交通; 電子卡牌; 物聯網; 智慧城市

近幾年來, 隨著信息技術與互聯網技術的飛速發展, 大數據成為最近最為火爆的技術概念, 尤其是在貴陽召開的“中國大數據產業峰會”之后, 大數據已經成為國家和各個城市在IT基礎領域下一步的重點發展方向. 繼大數據分析與挖掘技術在淘寶、京東、亞馬遜[1-3]等電商行業取得巨大的商業成功后, 大數據開始融入人們生活的方方面面.

智能交通系統是交通領域的一項重大工程, 也是各個國家的戰略方向. 根據我國《國家中長期科學和技術發展規劃綱要(2006-2020年)》[4], 智能交通將成為國內未來交通運輸業優先發展的主題. 伴隨著智能交通戰略的發展, 海量的交通數據涌現, 大數據處理技術為智能交通發展帶來新的機遇和挑戰. 傳統的交通出行信息主要通過廣播來向用戶傳達, 同時信息服務平臺在獲取實時交通情況也存在一定困難, 這就不可避免的存在: 1)交通信息發布實時性不高; 2)可提供的信息服務種類單一, 多樣性缺失; 3)路段交通情況共享準確性不高; 4)系統平臺的升級轉型困難等缺點. 基于大數據的智能信息服務平臺結合了云計算、機器學習、數據融合與數據挖掘等先進技術[5,6], 與交管、公安、環保等部門合作, 從而能夠更加精準的為用戶提供各項專業服務, 智能交通信息服務平臺具備: 1)為交管部門提供具有各種時效性的實時道路交通導流、階段性交通擁堵情況預測、年度交通管網數據分析等服務;2)多維交通信息數據源的融合, 為更加準確的分析用戶行為提供數據支撐[7], 從而為各部門協調管理提供技術支持; 3)現如今物聯網技術促使智能交通行業發展迅速[8], 再加上數據量增長的勢態迅猛, 信息服務平臺需要有一定的寬容度為以后的平臺升級節約成本等.本文從大數據的角度出發, 提出了基于交通大數據的信息服務平臺的開發與研究.

1 交通數據源分析

交通數據源是指智能交通信息服務平臺中涉及到的基礎數據和業務數據的來源地. 其中業務數據來源是指的電子車牌采集點、卡口設備以及視頻設備.

電子車牌(electronic registration identification of the motor vehicle)[9]是一種基于RFID(Radio Frequency Identification)技術的電子信息化標簽, 其具有高精度識別、高準確采集、高靈敏度的特點, 電子車牌包含該車輛基本信息, 可以幫助高頻識別讀寫器, 也即交通路網的采集點來采集各機動車的基本數據, 再通過采集點本身的地理位置信息與車輛的基本信息進行關聯就可以產生豐富的車輛行車數據.

電子車牌端采集的交通數據在數據量、準確度、效率、復雜程度等天然具備車聯網大數據端的屬性,這些數據不僅在數量上龐大, 在信息的維度上也豐富,這對后期的數據挖掘、數據變現產生直接影響.

除采集點采集的車輛行車數據之外, 還包含與本系統有密切業務往來的其他平臺的數據. 它們包括交警執法記錄, 環保部門黃標車基本數據, 路橋收費管理處收費記錄, 電子停車場數據, 高速路收費記錄以及市政銀行等機構的數據.

2 系統平臺總體設計

2.1 總體設計思路

城市交通行業數據既有靜態數據, 又有實時動態數據; 數據類型既包括結構化數據、半結構化數據, 也包括大量非結構化數據; 數據管理在組織上存在多部門之間的數據整合與交換等實際業務情況. 考慮到以上因素, 本系統采用云計算+大數據處理平臺+數據服務總線的設計框架, 可以滿足高可靠、高可用建設成本低等要求.

本平臺的設計思路如下, 按功能職責分類主要分為通用服務組件和數據整理與挖掘兩個大的部分, 其中通用服務組件又包含了四個子功能: 1)交通流量常規統計與模糊分析; 2)車輛分類識別; 3)實時交通信息發布與誘導; 4)區域交通流量分析與告警. 數據整理與挖掘需要長期的數據積累和不斷的算法優化, 將在平臺的后期逐步完善. 無論是通用服務還是數據挖掘功能, 都依托于對數據的高效處理, 結合具體的業務數據特點和業務需求來制定相應的處理方案將直接影響平臺的運行效率. 本平臺的特點是數據量龐大, 所以需要對一些特定的實時性要求較高的業務進行優化處理,譬如建立索引等措施實現海量數據的快速查詢. 而對于海量數據的存儲與處理需要建立分布式、多節點的集群服務器, 充分利用服務器資源和充分使用業務模型可以進行趨勢預測和決策分析. 計算平臺和存儲平臺可以根據實際的需求實現線性的彈性擴展是系統設計對寬容度的考慮, 可保證平臺長期滿足業務需求和升級換代的低成本體現.

2.2 系統總體框架

智能交通信息服務平臺的總體設計參照物聯網層次模型, 采用分層設計思想, 每一層為上一層提供面向服務的接口調用, 同時結合物聯網、云計算、大數據、服務計算等技術特點, 平臺總體設計總共分為5層,由低到高分別為感知設備層、傳輸層、平臺層、服務層和展示層[10]. 采用分層架構不但可以降低系統各個模塊之間的耦合性, 同時提高模塊之間的功能內聚性,而且有利于在系統實際開發過程中實現代碼的復用,大大提高了工作效率并降低開發成本. 系統總體架構圖如圖1所示.

2.3 系統各層功能分析

1) 感知設備層: 感知設備層是指能夠對標識對象,即機動車的行為進行感知, 并執行采集操作的所有方法的集合. 設備主要包括RFID設備、卡口設備、視頻設備, 完成主要完成車輛標識、位置、時間、狀態等信息的協議適配、信息采集和上傳, 采集的信息主要包括電子車牌信息、抓拍圖片、標清視頻以及位置等其他信息.

圖1 系統總體框架圖

2) 傳輸層: 傳輸層是將感知設備層感知(采集)到的行車數據傳輸到數據中心. 提供城域網、Wi-Fi、2G/3G/4G等多種通信方式, 實現采集端與后臺雙向數據傳輸.

3) 平臺層: 平臺層包含數據處理引擎, 數據存儲和云平臺管理三個子功能. 其中數據處理引擎和數據存儲兩者是協作統一的關系, 數據處理引擎將傳輸層傳遞過來的基本數據進行剔重、清洗和補漏等操作, 把原始數據轉換為系統的統一標準數據格式, 數據存儲是將各類數據按照規則存入關系型數據庫或分布式數據庫; 云管理平臺完成對整個支撐服務平臺相關IT資源的管理和調度, 為平臺其他部分提供資源服務. 平臺層是整個系統的核心, 采用云計算和大數據技術, 支持對底層的物理資源及各類數據進行有效管理, 為上層的業務應用提供部署環境和業務構件, 在大數據處理框架Hadoop下提供通用服務組件. 利用虛擬化技術實現在線遷移、高可用等資源調度技術, 利用storm、map-reduce技術實現實時、批量的大規模數據處理, 建立服務SOA架構的企業服務中心, 建立與外部系統之間的數據交換系統.

4) 服務層: 服務層訪問基于平臺層提供的服務組件, 開發業務應用, 并封裝為Dubbo架構的服務接口(可暴露為多種協議, 如dubbo://, rmi://, hessian://, http://,webservice://, thrift://, memcached://, redis://等), 供展示層調用.

5) 展示層: 利用HTML5、手機APP、統一門戶、單點登錄等技術完成和用戶的交換, 支持通過不同終端使用平臺的各類服務.

2.4 標準規范體系建設

針對交通數據以及相關業務的復雜多樣性的特點,需要建立一套標準規范體系來指導開發過程, 保證項目的先進行、規范性和持續性, 標準規范體系建設包含以下四個方面: 信息服務標準, 元數據標注, 數據源標準和基礎數據資源庫體系. 模型每一層均按照一套標準規范體系來實施建設, 指導整個開發過程順利進行.

1) 基礎數據資源庫體系: 用于劃分數據來源, 將通過設備采集到的數據或與其它平臺交換得到的數據進行歸類、劃分, 為建立不同的數據傳輸、交換協議提供基礎.

2) 數據源標準: 用于數據引擎處理不同數據源, 將數據源傳輸過來的數據進行標準化處理, 根據從各數據源得到的數據對象之間的關聯關系, 在本系統中將各類數據加以關聯整理, 為后續的數據庫設計, 數據存儲和數據挖掘提供支持.

3) 元數據標準: 將得到所有數據按照人、機、物、法、環的概念分類[11], 統一制定一組描述數據的元數據標準, 保證數據的規范性和持續性.

4) 信息服務標準: 主要為對外數據服務提供支持,按客戶的角色不同、等級權限等標準為客戶提供不同等級的數據服務, 保證數據的安全性.

3 系統應用架構

3.1 系統應用架構分析

本信息服務平臺滿足城市智能交通信息采集、傳輸、交換、清洗、存儲以及大數據分析處理、資源管理與調度、平臺監控與運維、安全保障等方面的要求,系統應用架構包括以下幾個部分: 通用組件服務/數據服務, 數據處理, 云管理平臺, 運維管理, 安全管理以及其他應用. 系統應用架構如圖2所示.

3.2 應用架構模塊分析

1) 通用組件服務/數據服務: 提供智能交通應用通用的軟件組件服務, 包括交通流量常規統計與模糊分析、車輛分類識別與告警、實時交通信息發布與誘導、區域交通流量分析與告警. 在通用服務組件基礎之上, 可以根據服務對象的等級、權限不同, 為用戶提供不同的服務內容、服務質量和信息安全等級的數據服務, 數據服務將分析結果按照信息服務標準封裝成一定形式提供給外部客戶使用. 這些客戶按照等級權限可以區分為公權和私權用戶, 包括前述的與本平臺有密切業務合作的公安, 環保, 市政, 銀行以及商家等客戶.

圖2 系統總體框架圖

2) 數據處理: 包括了數據采集系統、消息隊列、實時處理系統、批量處理系統和數據存儲與管理系統等幾個部分.

① 數據采集系統完成對數據的接收、重整、清洗等操作, 收集所有采集點的采集信息傳遞給消息隊列.

② 消息隊列負責接收采集系統傳來的數據, 根據處理需求分發給不同的系統, 支持發布訂閱模式, 支持集群的彈性擴展.

③ 實時處理系統主要面向實時性要求較高的業務(T+0), 對采集到的數據進行即時的處理, 滿足實時交通應用需求.

④ 批量處理系統主要面向非實時/準實時的分析型業務(T+1), 對采集到的數據進行分析挖掘, 滿足分析型交通應用需求.

⑤ 數據存儲和管理系統主要對采集的數據和分析挖掘的數據進行存儲和管理, 完成數據進行持久化和訪問管理等功能.

3) 云管理平臺: 對整個支撐服務平臺相關IT資源的管理和調度, 為平臺其他部分提供資源服務. 主要完成服務器、存儲和網絡設備的整合與服務提供, 通過服務的形式把資源提供給不同業務系統使用.

4) 運維管理: 主要完成對IT設備的監控與運維、采集設備的監控與運維、電子牌運行狀態統計與分析等子系統, 結合相關的人員和運維制度, 建成統一的、多維度的、涵蓋業務的運維保障系統. 提高平臺的可用性和運維效率.

5) 安全管理: 安全管理要建立一套符合等保三的安全體系, 涵蓋安全的各個方面, 當前階段要重點考慮云平臺的安全和數據的安全管理.

6) 其他: 數據交換系統主要完成平臺與外部數據源之間的數據同步與交換, 保證各方在數據方面保持一致, 便于系統協作和信息管理.

4 數據中心網絡設計

4.1 網絡設計圖

數據中心網絡設計遵循以下五點基本原則: 1) 實用性; 2) 安全性; 3) 先進性; 4) 適用性; 5) 可靠性[12]. 在數據中心網絡結構設計中, 采用了區域化的結構設計.區域化的結構設計所建設的網絡具有良好的擴充性并且便于區域性管理, 而且后期若要變更子網模塊設計時, 在不破壞現有的網絡情況下, 新的子網模塊和新的網絡技術能被更容易集成進整個系統中. 該設計將整個系統按應用層次的不同分成不同的區域, 包括核心交換區、服務器區、運行維護區、廣域網接入區等.各個區域均通過接入交換機與核心交換機冗余連接,實現清晰的系統邊界. 數據中心網絡設計圖, 如圖3所示.

4.2 網絡設計分析

網絡結構設計上分為三個層次來設計: 核心層、匯聚層和接入層.

1) 核心層設計: 核心層交換模塊承擔著互聯互通各個組件的任務, 所有的內部模塊間的通信都通過該模塊進行, 所以核心交換模塊需要功能足夠強大的網絡交換機來支撐, 且具備很高的背板交換能力、端口密度、設備可靠性. 采用的網絡拓撲為雙核心雙歸屬拓撲結構, 用兩臺核心交換機互為備份, 其它所有業務區域模塊都通過雙歸的方式接入雙核心. 作為核心層采用萬兆光纖模塊鏈接各功能區域的匯聚交換機, 核心層之間采用冗余鏈路設計, 通過萬兆捆綁.

圖3 數據中心網絡圖

雙核心雙歸屬拓撲結構具有以下優勢[13]:

① 網絡拓撲結構完全對稱, 核心交換機與匯聚交換機之間存在兩條等值負載分擔的鏈路, 既保證了系統的高帶寬, 同時也提高了系統的可靠性.

② 網絡設備少, 占用機房空間, 耗電量小, 管理維護簡單, 成本低.

③ 對稱結構避免了網絡的單點故障, 任何一個核心節點失效, 都不會影響系統的正常運行, 系統的可靠性高.

2) 匯聚層設計: 每個功能區啟用兩臺匯聚交換機分別與核心層連接. 接入交換機采用堆疊方式, 通過千兆鏈路上行到匯聚交換機, 匯聚交換機通過萬兆光纖鏈接核心層, 每個功能區的匯聚交換機之間采用捆綁冗余鏈路設計.

3) 接入層設計: 接入采用支持堆疊、可擴展萬兆的獨立式三層交換機, 與匯聚交換機采用千兆連接, 實現信息點的最終接入. 通過交換機堆疊技術, 可以多臺千兆交換機構成一個堆疊組并可配置萬兆上行口、千兆備份接口實現與核心交換機之間的雙歸屬連接, 完全對稱鏈路連接狀況, 通過啟用三層協議, 方便實現基于鏈路開銷(cost)的負載均衡.

5 平臺測試結果與分析

5.1 測試環境說明

本平臺所有的測試結果均在滿足下測試環境的條件下所得, 測試環境如表1所示.

5.1 測試環境說明

下面對幾個主要功能點的實現情況作如下說明:通過指定采集方向和車流量統計時間起始點進行采集方向車流量統計查詢, 查詢結果如圖4所示.

表1 測試環境

圖4 采集方向車流量統計

通過指定大橋編號和查詢起始時間, 以小時為單位為展現統計結果, 查詢結果如圖5所示.

按車輛檔案號軌跡分析主要按照車輛檔案號進行模糊軌跡查詢, 如圖6所示.

黃標車違章告警主要按照業務規則, 對于需要進行告警的黃標車輛進行分類識別, 對于符合業務規則的軌跡數據進行告警記錄并轉發至指定目標地址, 查詢結果如圖7所示.

通過以上對主要的功能項的測試可以看出, 本平臺已經滿足用戶前期提出的基本需求, 并且能支持50個擁堵路段車流及路段平均車速的并發實時分析,響應時間不超過5秒, 且能在6:00-23:00期間持續運行;支持150個并發車輛的歷史跟蹤查詢, 單車軌跡查詢響應時間不能查過15秒; RFID歷史數據查詢: 一周內1-2秒, 一個月內5-10秒, 3個月內10-30秒內; 肇事逃逸等特定車輛追溯查證: 一周內5-8秒, 一個月內10-20秒,3個月內20-40秒內.

圖5 主城過江大橋車流量統計

6 結論

本文給出了在交通大數據背景下, 智能信息服務平臺的總體方案, 重點介紹了系統的總體架構, 系統的應用架構和系統數據中心的設計, 從不同角度描述了系統所采用的設計思想. 該信息服務平臺已在某地區智能交通項目中投入測試, 測試表明, 該平臺滿足用戶前期提出的基本需求, 在技術方面充分證明了其可行性. 在后期的平臺建設方面還要結合用戶的具體需求做進一步的改進和完善, 該平臺的設計對于發掘交通大數據在智能交通信息服務領域的研發具有一定的參考價值和借鑒意義.

圖6 按照車輛檔案號進行模糊軌跡查詢

圖7 黃標車違章告警

1楊春華. 大數據在中國B2C電子商務精準營銷中的應用研究——以京東商城為例. 中小企業管理與科技(下旬刊),2016, (3): 104–107.

2羅潔, 張彩霞. 中國B2C電子商務快速發展原因淺探——以天貓商城為例. 市場論壇, 2016, (4): 47–51.

3Cao S, Manrai AK. Big data in marketing & retailing.Journal of International & Interdisciplinary Business Research, 2014, (1): 23–42.

4中華人民共和國國務院. 國家中長期科學和技術發展規劃綱要(2006–2020). 北京: 中華人民共和國國務院, 2006.

5Xia YJ, Chen JL, Lu XD, et al. Big traffic data processing framework for intelligent monitoring and recording systems.Neurocomputing, 2016, 181: 139–146. [doi: 10.1016/j.neucom.2015.07.140]

6Shi Q, Abdel-Aty M. Big data applications in real-time traffic operation and safety monitoring and improvement on urban expressways. Transportation Research Part C:Emerging Technologies, 2015, (58): 380–394. [doi: 10.1016/j.trc.2015.02.022]

7Tao S, Corcoran J, Mateo-Babiano I, et al. Exploring bus rapid transit passenger travel behaviour using big data.Applied Geography, 2014, (53): 90–104. [doi: 10.1016/j.apgeog.2014.06.008]

8Liu CL. Intelligent transportation based on the internet of things. 2012 2nd International Conference on Consumer Electronics, Communications and Networks (CECNet).Yichang, China. 2012. 360–362.

9趙文婧, 王剛. 基于RFID的電子車牌管理系統. 微計算機信息, 2010, 26(29): 150–152, 193. [doi: 10.3969/j.issn.2095-6835.2010.29.059]

10王興文, 黃礎章. RFID技術在智能交通中的大規模應用模式分析. 中國電子商情(RFID技術與應用), 2009, (1): 20–24.

11易光旺. 智能建筑安全防范系統的評價指標體系研究. 中國安全生產科學技術, 2010, 6(3): 147–151.

12張天祖. 基于RFID技術的物聯網智能交通系統開發研究.蘭州交通大學學報, 2012, 31(4): 112–116.

13解書凱. 基于NGN的企業通信網絡平臺設計[碩士學位論文]. 成都: 電子科技大學, 2012.

Intelligent Information Service Platform Based on Traffic Big Data

PENG Chen-Wei1, BA Ji-Dong2

1(Wuhan Research Institute of Posts and Telecommunications, Wuhan 430074, China)2(Wuhan YCIG iLink Technology Co. Ltd., Wuhan 430010, China)

With the development of intelligent transportation technology, the increasing traffic data volume has reached TB or even PB level. The intelligent transportation field has begun to use big data technology to analyze deeply the massive traffic data, to build a comprehensive intelligent traffic information Service platform. In this paper, an intelligent information service platform based on traffic big data is proposed. The paper mainly analyzes this platform from the overall architecture, application architecture and data center design of the system. Through the test, the platform can meet the early needs of the users. The platform-based hierarchy and sub-module design can be a good response to the user needs change later on.

big data; intelligent transportation; ERI; IOT; smart city

彭晨偉,巴繼東.基于交通大數據的智能信息服務平臺.計算機系統應用,2017,26(7):97–103. http://www.c-s-a.org.cn/1003-3254/5851.html

2016-11-07; 收到修改稿時間: 2016-12-05