楊順秀 黃振

摘要:為了沖破“信息孤島”,趕上交通行業信息化發展的趨勢和大數據時代的步伐,提升廣西高速公路科學管理和服務水平,文章設計了一種以交通大數據共享交換服務為核心的數據共享交換平臺框架,為不同來源數據的融合、集成、共享和交換提供技術支持。
關鍵詞:大數據;共享交換;高速公路;信息化
中圖分類號:U412.366 文獻標識碼:A DOI:10.13282/j.cnki.wccst.2019.10.044
文章編號:1673-4874(2019)10-0159-03
0引言
隨著計算機技術的進步和社會的發展,發展智慧交通成為提升交通科學管理和交通服務水平的重要措施。其中交通行業的信息化建設是發展智慧交通的核心基礎之一。目前,廣西交通相關部門大多都采用各自不同的信息系統、業務系統,其應用的標準、規范均不一致。同時,部門、區域、行業之間數據資源的隔離也阻礙了廣西區域信息化建設的進程。數據資源的隔離和不一致性導致了諸多問題的出現:
(1)高速公路相關部門相互之間的聯系“縱強橫弱”。相關部門縱向層級關系之間聯系密切,而橫向之間關系孤立,導致橫向之間的溝通交流十分困難,形成了許多“信息孤島”。
(2)交通相關信息資源隔絕。交通相關信息資源的孤立、不互通,導致交通信息化設施重復投資建設,為交通部門人員增加了大量重復工作,從而增加交通建設的成本。
(3)缺乏對交通大數據的分析和挖掘。目前,大部分交通部門還沒有具備成熟的交通大數據分析應用能力,未能充分利用海量的交通數據,造成數據資源的浪費。
因此,本文提議構建一種融合的交通大數據共享交換平臺,對平臺的總體設計框架、平臺創新點及應用價值作分析論述,促進大數據資源的集成、共享及其潛在價值的挖掘利用。
1數據共享交換平臺的主要建設內容
1.1高速公路大數據資源集成和管理
高速公路大數據資源集成和管理以綜合利用交通數據資源為目標,建立一個通用的、分布式數據共享交換平臺,將交通運輸、運管、氣象等相關部門的數據統一集成管理。數據源的管理包括數據源的分類、目錄管理、安全保障、日志記錄及統計和監控等。
1.2 數據標準化處理
數據共享交換首先要從各部門提取數據,對于這些不同來源的數據,需要進行標準化融合處理,包括數據清洗、過濾、轉換和加載,重新組織數據,確保數據正確,消除數據冗余。
2 平臺介紹
數據共享交換平臺的建設目標是通過整合高速公路運營中相關業務系統和各領域的數據資源,打破“信息孤島”,將這些數據進行共享交換,使各部門、各領域之間實現數據的聯動聯通,在公眾出行、公路協同、公路管理等方面起到重要的作用。在如今數據爆發的時代,海量高速公路數據具有大量隱含的有用信息等待挖掘,而數據資源是數據挖掘的基礎,所以數據共享交換平臺也將為高速公路的數據挖掘領域提供便利。
如圖1所示為平臺總體架構圖,該平臺分為網絡基礎設施、數據資源、共享交換平臺、應用層和表示層,共五層。
2.1網絡基礎設施
網絡基礎設施主要為高速公路中的收費站、服務區、隧道等交通設施中的網絡,包括硬件設備、系統軟件及其運行環境,以及提供通信的因特網。這些網絡基礎設施將采集到各類高速公路數據,如監控視頻、收費數據、車流量、突發事件、氣象信息等。在當今的互聯網時代中,網絡基礎設施是整個高速公路運營中極其關鍵的一部分。
2.2 數據資源
該平臺可共享交換的數據資源不局限于關系型數據庫,還包括MongoDB、Excel、RDF、CSV、谷歌電子表格等各種形式的數據,對各類數據資源的兼容性強。對多種形式的數據進行統一采集和存儲,建立統一的交通數據資源庫。在采集和整合各類數據時,對數據進行抽取、轉換、加載和標準化處理,保證數據的規范性和易用性。
2.3 共享交換平臺
共享交換平臺提供了數據共享交換服務、安全保障服務及服務調用統計和監控服務。
(1)數據共享交換服務
數據共享交換服務即交通運輸各級部門及外部關聯部門之間相關數據的共享和交換,提高交通數據資源的利用率,增強交通運輸管理和引導能力,促進各級部門、各分散應用系統之間的數據聯通和業務協同。一方面用戶通過數據服務引擎將數據資源共享到平臺,這些數據資源將公開為Web服務或Rest資源;另一方面用戶通過調用Rest/Web服務來獲取平臺上的數據資源。
(2)安全保障服務
使用HTTP(S)基本身份驗證、WS-SecuritV、WS-PolicyAttochment和WS-SecurityPolicy等方式進行身份驗證、授權和加密,保障數據的機密性、完整性。
為公共安全模式提供方便的WS-Security策略配置。
通過策略配置,靈活限制訪司頻率、源IP等。
全面的用戶管理,用戶按角色劃分,并為不同角色配置對應的操作權限。
(3)服務調用統計與監控
平臺對每個數據服務進行請求數、響應數、出錯數、最大響應時間、最小響應時間、平均響應時間的統計,并采用圖形化界面對服務平均響應時間進行記錄。平臺的系統統計功能將有效服務數、總故障計數、總響應數、平均響應時間等參數進行統計,同時對系統內存使用情況進行統計監控,從而直觀掌握服務和系統的性能。
2.4 應用層
數據共享交換平臺為交通運輸各級部門、氣象局、消防等各內外部門提供數據資源服務接口,為滿足不同用戶實際需求提供數據基礎,提供相關應用如應急聯動、高速公路管理、大數據分析和挖掘等。
2.5 表示層
建立廣西高速公路信息綜合網站,為各類用戶提供統一的訪司入口。
3 平臺創新
3.1關聯支持
類似于關系型數據庫中的跨庫查詢,本數據共享交換平臺支持跨數據源的嵌套查詢,可由來自多個源的數據組合咸單個響應。
3.2 提供事務性數據訪問和服務
在本平臺中,可共享交換的數據源可能分布在各個不同的服務器上,在這種集群環境下,為保證集群的ACID、效率和性能,平臺引入了分布式事務,并采用JMS(Java Message Service)來實現。在多個節點(數據源)中的事務提交相對復雜,如果出現部分節點的事務提交出錯,這種情況下發生改變的節點必須進行回滾,以保證數據源的一致性。本平臺支持跨數據源的事務性訪司和服務,并且具有回滾的能力。
3.3 完善的管理和監控
本平臺具有企業級安全性的綜合管理和監控Web控制臺,內置標準訪司和性能統計的收集和監控,具有日志記錄系統集成的靈活日志記錄支持。
3.4 具有高性能、高可用性和穩定性
本平臺全部采用流式處理大數據量,數據訪問的延遲極低,采用最小化數據庫訪司的分布式響應緩存,支持高可用部署,長期執行穩定,資源利用率高。
3.5數據標準化
本平臺數據通過XSLT和XQuery進行轉換,提供標準數據類型的內置驗證程序,并提供通過Java擴展的可定制驗證器。
4 交通大數據共享交換在廣西高速公路發展中的應用和價值
數據共享交換平臺圍繞廣西高速公路信息化建設為核心,集成了交通運輸、運管、氣象、安全運輸、公安等各部門的相關數據,打通數據交換的標準通道,將這些數據進行開放共享,初步實現跨區域、跨行業、跨層級、跨部門、跨系統間的數據共享和交換。數據共享交換平臺大大節約了各部門建設數據資源庫的成本,有利于推進“信息孤島”間的協同管理。同時可利用這些數據資源拓展相關大數據應用,如智慧出行,交通大數據分析、挖掘及決策支持,車路協同等應用,提升廣西的交通科學管理水平和服務質量,促進廣西交通行業的現代化發展。
本文提出并開發的交通大數據共享交換平臺目前已經在河池至百色高速公路、吳圩機場至大塘高速公路、梧州至柳州高速公路等多條廣西高速公路路段得到成功應用,實現了各部門各區域之間的信息互聯互通,大大減少了交通信息化建設的成本,提升了廣西高速公路的管理水平,帶來了良好的經濟效益和社會效益。隨著該平臺的不斷推廣應用,其對廣西高速公路現代化發展的推動效果將愈加顯著。
5 結語
本文提出了一種融合的交通大數據共享交換技術,對數據共享交換平臺的主要建設內容進行了分點概述,對平臺的總體框架、主要功能和創新點進行了詳細的分析論述,并對該平臺的實際應用情況及其應用價值作了說明和分析。該技術促進了交通大數據資源的集成、共享及其潛在價值的挖掘利用,大大減少了廣西高速公路管理的成本,提高了管理的質量和水平。目前,該技術在廣西多個高速公路路段得到了應用,接下來的工作主要是對該技術繼續進行推廣應用,同時針對應用過程中出現的新需求或不足,對其進行不斷地維護改進,目標是確保該技術對于提升廣西高速公路科學管理和服務水平起到良好的促進作用。