大數據在交通領域中的應用

中國交通通信信息中心 呂浩涵 趙 正

大數據在交通領域中的應用

中國交通通信信息中心 呂浩涵 趙 正

交通擁堵是世界性的社會問題,尤其在我國,更是亟待解決的問題。為環節交通擁堵現象,對交通狀況進行實時地了解,發展以Hadoop為技術手段的大數據時代下的智能交通系統,可以及時地提供較為準確的數據信息,為交通領域的管理提供更加可靠的參考。

大數據;智能交通系統;Hadoop技術

汽車產業伴隨著全世界的社會和經濟的高速發展,正在成為人們日常生活中不可或缺的部分,汽車數量的急速增長所帶來的交通堵塞和環境污染等問題越來越明顯。目前,交通堵塞已經成為我國最為突出的社會問題,不僅影響了人們的生活水平和生活質量,同時還造成了重大的經濟損失。如何處理日趨嚴重的交通堵塞問題,成為了我國乃至全世界都非常重視的焦點問題。伴隨著智能時代的來臨,對于交通堵塞的隨機性強、復雜多變、數量巨大和周期性等特點,目前多采用智能交通系統來處理交通問題[1-2]。智能交通系統是建立在大數據基礎上的。大數據技術不僅可以對龐大的數據進行存儲,還可以對數據進行處理和分類,有效地提高和改善了城市交通問題。Hadoop是一個云計算的平臺,可以對數據進行分布式的存儲和處理,在智能交通系統中較為常用[3]。

1 大數據與智能交通系統

1.1 大數據

大數據(Big Data,BG)初始時被用于IT行業,是一個海量的數據集,有著數據容量大、處理速度快、數據復雜多樣和數據可操作性強等特點。大數據的優勢十分明顯,但是如何對如此大量的數據進行處理就成為了大數據研究中的重要問題。依托于不同的傳感器,大數據可以被采集、被存儲,同時還可以被讀取和計算,進行更加專業的處理和分析,而且應用十分廣泛,包括商業、地球化學、醫療、交通、犯罪學和法律等多個社會領域。

1.2 智能交通系統

智能交通系統(Intelligent Transportation System,ITS),是建立在電子信息技術、通信技術、計算機技術以及傳感技術基礎上,被廣泛應用于交通運輸行業的一個服務性操作系統,可以對數據進行智能化的采集、處理與分析,并可以隨時讀取、利用與預測。ITS系統包括基礎服務、數據分析和終端發布三個部分,包含交通監控、車輛管理、貨運管理和緊急救援等多個子系統,所采集的數據根據來源與應用分為傳感器數據、系統數據、服務數據和應用數據等多種類型。

在ITS系統中,數據分析多采用的是Hadoop技術對采集的數據進行實時處理與分析。

2 Hadoop技術

2.1 Hadoop概述

Hadoop是Apache軟件基金會(Apache Software Foundation,ASF)借鑒于Google云計算系統,在2005年引用并研發的分布式系統,用于大數據的計算與處理,存儲與應用;其結構主要分為:分布式文件系統(Hadoop Distribution File system, HDFS)、映射歸約(MapReduce)編程模型和基于Hbase和Hive的非關系型分布式數據庫Big Table;具有較強的擴展性、高效性、可伸縮性和可靠性。

2.2 Hadoop框架

Hadoop是將HDFS中存儲的原數據,利用MapReduce框架中的計算模型進行處理,再將結果存儲到HDFS中,再利用Hive和Hbase進行搜索與調用。

2.2.1 HDFS結構

HDFS采用的是分布式的主從結構,是Hadoop結構數據存儲的基礎,不僅可以對數據進行數據處理,同時還可以對硬件的故障進行檢測,并及時進行反映與處理,完全可以在廉價的機器上實現數據的存儲與預處理。HDFS是建立在數據節點(Datanote)基礎上的,多個Datanote對客戶端輸入、刪除等處理進行響應,并將其反饋到名目節點(Namenote)后進行持久化的原數據存儲。

2.2.2 MapReduce結構

MapReduce是Hadoop結構中的數據計算與處理的框架,原數據需先后經過Map函數和Reduce函數兩個階段:在Map函數階段在數據的存儲節點上對數據進行格式解析等處理,將得到的鍵值Key/Value,再通過Reduce函數進行數據匹配,這兩個階段都是通過框架中計算模型的輸入(input)和輸出(output)來實現數據的處理的。

2.2.3 Hbase和Hive結構

Hbase是以HDFS為基礎,且在列的模式下構建的開源數據庫,同時還適用于非結構化的數據,利用HMaster功能對數據進行增、刪、改、查,對分區(Region)進行重新分配,最后再進行數據的整合與恢復。Hive是以Hadoop為基礎構建的數據倉庫工具,可以對不同類型的數據進行存儲,并將其映射為數據庫表,再利用類SQL的HiveQL語言對Hbase數據庫進行查詢,整個過程不涉及對數據的填、改。

3 Hadoop技術在交通領域中的應用

Hadoop技術在交通領域中的運行過程為:

(1)利用GPS定位系統實現交通數據的接收與發送載體,獲取包含地理位置、時間軸、行駛速度與方向等信息的不同類型的數據,經過預處理去除異常值,自動生成存儲文件保存在HDFS中;

(2)通過Map函數和Reduce函數對交通系統中車輛的地理位置、時間、行駛速度與方向等信息進行讀取與匹配,進行數據的分析與整理;

(3)以Hbase和Hive為基礎的數據通過Java程序進行可視化處理,可將不同類型和格式的數據轉換成圖標結構,同時還可以對數據庫進行數據的查詢與調配。

[1]蘇剛,王堅,凌衛青。基于大數據的智能交通分析系統的設計與實現[J]。電腦知識與技術,2015,11(36):44-46.

[2]王亞洲。基于Hadoop平臺的交通數據處理系統設計與實現[J]。軟件導刊,2016,15(4):124-126.

[3]樂柏成,賴粵。Hadoop應用基站數據改善智能交通方法研究[J]。無線互聯科技,2016,4:121-122,127.

呂浩涵(1983-),女,吉林吉林人,碩士,中國交通通信信息中心工程師,研究方向:交通運輸信息化。

趙正(1988-),男,江蘇人,碩士,中國交通通信信息中心助理工程師,研究方向:寫流式處理、系統集成和大數據。