高速公路大數據處理現狀與挑戰分析

吳順剛

貴州高速公路集團有限公司，貴州 貴陽 550000

高速公路大數據處理現狀與挑戰分析

吳順剛

貴州高速公路集團有限公司，貴州 貴陽 550000

高速公路有著“經濟大動脈”的別稱，在全國的公路網中占據著十分重要的地位，并發揮著極為重要的作用。通常情況下，在高速公路日常運營的過程中，每天都會有大規模的數據產生，且這些數據的增長速度越來越快，給數據的分析與儲存帶來了嚴峻的挑戰。其中，高速公路大數據主要是由異構的、海量的數據構成。因此，如何高效、科學、合理地對這些大數據進行正確訪問、分析、儲存，以便能更好地為交通提供高效的服務，已成為了一個迫切需要解決的客觀性問題。基于此，主要對高速公路運營的過程中所產生的大數據來源、具體特點進行了討論，并對大數據的相關處理技術、數據的意義以及將會面臨的一系列問題與挑戰等進行了深入探究。

公路橋梁；養護；措施

引言

隨著我國經濟的發展，高速公路運輸正朝著現代化和智能化的方向發展。為了使高速公路交通在出行服務、安全應急等方面得到更好地發展，必須注重對相關的大數據進行深度分析，以便從中獲得更多的信息，真正實現數據為決策者服務的目的，并使高速公路的管理能力與運營效率得到大幅度提升。

1 大數據的來源

（1）視頻監控系統數據。指的是高速公路收費站、隧道內以及道路兩旁設置的監控攝像頭所產生的大量視頻數據。（2）傳感器數據。高速公路上分布著大量的標識站、路感線圈，且在收費站的入口與出口處安裝了RFID傳感器，能夠感知行經車輛，從而產生源源不斷的數據。（3）應用系統數據。高速公路收費站的管理軟件、各路公司以及收費站所運行的稽核軟件、12122呼叫系統等也在不斷生成數據。（4）聯網收費軟件數據。各條高速公路上均存在相當數量的收費站，且各個收費站的收費車道均有數十條不等，收費車道上運行收費軟件同樣生成了數量龐大的數據。

2 高速公路大數據的特征

（1）高速性。即處理數據時應確保高效。例如收費站應及時將收費數據傳輸至結算中心，對于擁堵路段，系統應準確快速地獲取相關信息并進行分析。（2）價值密度低。盡管數據量龐大，但有價值的數據并不多。視頻監控系統每天都會生成眾多數據，但有用的數據僅為幾分鐘或幾秒，故通過對異常數據的分析有助于對路網的異常現象進行判斷[1]。（3）多樣性。高速公路所生成的數據種類豐富，有結構化數據、非結構化數據、視頻數據及其他相關信息等，如交通管制、安全事件、交通環境、天氣狀況、地質災害等。（4）規模龐大。筆者選擇四川高速進行說明，每天經收費站的車輛至少為 200萬量，且監控系統會對車輛進行拍照，圖片大小為500KB/張。因此累積的圖片數量約為300TB/年，且隨著社會的發展，相關數據也在不斷增加。

3 大數據的相關處理技術

（1）大數據研究的意義。隨著時代的發展，人們可以借助大數據實現宏觀、持續地分析，從而挖掘更多的知識，進而為其決策提供依據與支持。

作為最早使用大數據的一大企業，沃爾瑪在大數據方面進行了較大的投資，并獲得了較大的回報。其運用大數據分析Carlie Brown與Source兩大超市消費者的購買意向時，發現其意向正逐漸轉向高檔品，因此，沃爾瑪及時地對兩家超市的庫存進行了調整，從而使銷售業績獲得了40%的提升[2]。而在我國，淘寶每天的數據量均高達10 TB，且其每年雙十一的成交額均高達上百億，之所以會獲得如此優異的成績，離不開其對數據（歷史數據、搜索習慣、消費習慣等）的分析。眾多現象表明，電子商務領域與大數據有著密切地關聯，其成功運營離不開大數據分析。因此，在交通運輸領域同樣應強化對大數據的應用，從而加快高速公路的現代化與智能化，使安全預警、交通疏導等工作得以更好地進行[1]。

（2）并行數據庫。該數據庫始于上世紀80年代，主要借助關系的形式來對結構化數據進行存儲，均支持SQL語言。借助SQL，能夠使并行數據和外界進行良好地交互。并行數據在過去的三十多年內獲得了較大的發展，目前，其功能也在日益增多，但是高速公路網正逐年擴大，其生成的數據已超越了并行數據的處理范圍，且在處理非結構化數據方面，并行數據存在一定的缺陷，究其原因主要是擴展性偏差。

（3）云計算。該技術由網絡計算、并行計算、分布式計算發展而來，數據的并行處理與海量數據存儲是其核心，該技術具有較強的可行性。云計算的數據存儲技術包括兩種：一是Hadoop的HDFS，功能與DFS類似，屬于開源系統，眾多互聯網公司（淘寶、雅虎等）均使用該系統。二是分布式文件系統GFS，該系統屬于應用經濟性服務器創建的集群，且擁有高擴展性、高可用性以及高性能的特點，然而不開源。

為了能夠對大數據進行更好地處理，應采用特定編程模型，2004年Google研發的MapReduce有效地使分布式編程簡化，系統能夠完成任務調度以及各類復雜的并行處理，程序員僅需關注程序邏輯的實現。用戶在編程時僅需實現Reduce函數與Map 函數，前者指的是處理分塊數據，后者則指定需處理的數據塊。MapReduce框架能夠對數據實施自動分塊、調度以及執行。借助MapReduce與GFS，Google每日能夠處理20PB數據，利用 MapReduce能在多方面（商業智能分析、日志分析、數據分析等）實現極佳的效果。

4 機遇和挑戰

（1）大數據存儲。盡管Hadoop中的HDFS系統可用于高速公路所生成的大數據的存儲，然而卻無法滿足其實時性需求，故應對有關數據實施分類，以多種形式進行存儲。對于實時性有較高要求的數據，應將其存儲至實時數據庫內，而業務數據、對實時性并無太高要求的數據則應將其存儲至并行數據庫。眾多非結構化數據、歷史數據則應存儲至HDFS系統內。此外高速公路網記錄的大數據具備數據生成較快的特點，并對分析響應具有較高的要求，故應研究此類數據的存儲方式，以便展開后續分析。（2）展現大數據。經分析后的高速公路大數據，能將多方信息傳達給用戶，作為數據處理的最后一大環節，使信息以有效直觀的形式呈現出來是一件極具挑戰性的事情，若缺乏良好的用戶體驗則會降低系統的實用性。故在對人機交互界面進行設計時，應注重設計的科學性[2]。

5 結語

本文就高速公路網所生成的大量數據的分析方法與存儲方式，如實時數據庫、并行數據庫、云平臺等，實時數據庫、并行數據庫處理大數據時具有迅速、高度擴展性、成本較低等特點，實現了海量存儲與實時處理的目的。然而在我國大數據仍處于起步階段，尚未對大數據進行應用。因此在大數據的存儲、可靠性分析以及實際運用方面仍面臨較多的困難與挑戰，高速公路網所積累的眾多數據所采用的存儲模式資源利用率、大數據處理、抗風險等方面仍有較大的發展空間。故值得相關人員進行進一步的探究，從而推進高速公路大數據的使用。

[1]林艷.大數據在我國高速公路中的應用探討[J].北方交通，2016（5）：162-164.

[2]曾海祥.大數據時代的高速公路運營[J].新經濟，2015（20）：89.

Analysis on the Present Situation and Challenge of Large Data Processing in Expressway

Wu Shungang
Guizhou Expressway Group Co., Ltd., Guizhou Guiyang 550000

Highway has the name of “economic artery”, which occupies a very important position in the national highway network, and plays a very important role.Usually, in the process of Expressway daily operation, every day there will be massive data, and these data is growing faster and faster, has brought serious challenges to the storage and analysis of data.Among them, the highway big data is mainly composed of heterogeneous, massive data.Therefore, how to efficiently and scientifically and reasonably correct access, analysis and storage of these large data, in order to provide better and efficient services for transportation, has become an urgent need to address the problem of objectivity.The specific characteristics of large data sources, this paper mainly produced in the process of expressway operation are discussed, and the related processing technology, on the face of big data and the significance of the data will be a series of problems and challenges in-depth research, the specific content of inquiry for the following exposition.

highway bridge; maintenance; measure

P208

A

1009-6434（2017）3-0145-02