基于Spark Streaming的車輛電子圍欄技術實現(xiàn)與應用

摘要：文章提出一種基于Spark Streaming實時數(shù)據(jù)流處理框架，使用Kafka作為車輛軌跡數(shù)據(jù)的消息隊列服務，結(jié)合拓撲關系判斷算法射線法的車輛電子圍欄技術。應用表明，該技術能夠處理高吞吐率、強實時性的車輛動態(tài)數(shù)據(jù)，滿足車輛動態(tài)精細化監(jiān)管需求。

關鍵詞：電子圍欄；Spark Streaming；Kafka；射線法

U495A551773

0 引言

隨著物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新興技術在交通領域的推廣與應用，在緩解道路擁堵、優(yōu)化出行服務、保障交通安全上取得了顯著成效，推進了智能、安全、高效的交通系統(tǒng)建設。新興技術在為交通建設提供新的智慧化、科技化實施方案的同時，也為交通領域的發(fā)展帶來新的方向與挑戰(zhàn)。為預防和減少道路運輸交通事故，交通運輸部自《道路運輸車輛動態(tài)監(jiān)督管理辦法》公布施行起一直大力推進道路運輸車輛動態(tài)監(jiān)管工作。因此，如何利用智能數(shù)字化手段，提升交通安全風險監(jiān)測預警能力與精細化管理能力具有非常重要的意義。

車輛動態(tài)軌跡數(shù)據(jù)作為交通大數(shù)據(jù)，具有實時性強、數(shù)據(jù)量大、數(shù)據(jù)共享需求等特點，傳統(tǒng)的交通數(shù)據(jù)處理框架已無法滿足有高吞吐率、強實時性的交通智能化時代交通大數(shù)據(jù)的管理與應用需求。交通大數(shù)據(jù)領域的應用例如車輛軌跡監(jiān)測、危險車輛識別、車流量預測等，大部分使用MapReduce框架處理離線數(shù)據(jù)，實時性與計算效率較低，無法滿足實時處理的需求。

電子圍欄技術，是指在電子地圖中繪制虛擬邊界，電子圍欄系統(tǒng)根據(jù)監(jiān)控實體的地理位置數(shù)據(jù)，實時判斷監(jiān)控實體與電子圍欄區(qū)域拓撲關系的技術。相較于需要實體圍欄邊界設備的圍欄技術，電子圍欄技術具有低成本、實時性、可擴展等特點，能夠?qū)囕v動態(tài)進行有效的實時監(jiān)測，對車輛安全風險進行預警。

本文提出一種基于Spark Streaming的車輛電子圍欄技術，利用物聯(lián)網(wǎng)、大數(shù)據(jù)等技術，可以滿足高效、實時的車輛動態(tài)精細化監(jiān)管需求。

1 關鍵技術

1.1 Kafka

Apache Kafka是一個高吞吐、持久性、實時性的開源分布式消息訂閱和發(fā)布系統(tǒng)，常用作實時數(shù)據(jù)流樞紐、系統(tǒng)日志服務、消息隊列服務，在海量數(shù)據(jù)的傳輸與處理上被廣泛應用［1］。

生產(chǎn)者（Producer）、消費者（Consumer）、代理（Broker）三大組件構成Kafka的基本架構。其中，生產(chǎn)者是消息的來源，負責收集消息推送至代理；代理負責接收消息，將數(shù)據(jù)存儲并持久化；消費者接收并處理代理推送的消息。每條發(fā)布到Kafka集群的消息都有一個主題（Topic），每個主題都有若干個隊列分區(qū)（Partition），每個分區(qū)內(nèi)的每條消息都有一個唯一遞增的序列號偏移量（Offset）。生產(chǎn)者將消息發(fā)往選定主題的選定分區(qū)，消費者接收選定主題的消息，保存偏移量信息。

本文使用Apache Kafka作為車輛實時數(shù)據(jù)的消息隊列服務。

1.2 Spark Streaming

Apache Spark Streaming是基于Apache Spark的實時數(shù)據(jù)流處理框架，具有高吞吐、擴展性、容錯性等特點，支持Kafka、Flume、HDFS等多數(shù)據(jù)源，提供map、reduce、join和window等高級功能及復雜算子處理流數(shù)據(jù)，最終將數(shù)據(jù)處理結(jié)果輸出至文件系統(tǒng)、數(shù)據(jù)庫、實時流［2］。

Spark Streaming在運行過程中將實時數(shù)據(jù)流按照一定的時間間隔分隔成不同批次數(shù)據(jù)，切片數(shù)據(jù)經(jīng)由Spark Engine處理得到對應批次結(jié)果。Spark Streaming提供表示在切片內(nèi)部連續(xù)，切片之間相互獨立，高度抽象的特有數(shù)據(jù)類型DStream。DStream由一系列連續(xù)的RDD（彈性分布式數(shù)據(jù)集）構成，按照時間間隔分隔的實時數(shù)據(jù)流切片數(shù)據(jù)對應一個RDD實例。實時數(shù)據(jù)流會通過一個先進先出的隊列，由Spark Engine處理，依次取出切片數(shù)據(jù)，并把切片數(shù)據(jù)封裝成RDD。開發(fā)者可借助Spark Streaming提供的高級功能實現(xiàn)復雜、高效的流計算。圖1為Spark Streaming運行過程示意圖。

相較于傳統(tǒng)的大數(shù)據(jù)處理框架Hadoop MapReduce，Spark Streaming因其高吞吐、可擴展、容錯性等特點更能解決實時與快速計算需求，故本文使用Apache Spark Streaming作為車輛實時數(shù)據(jù)的實時數(shù)據(jù)流處理框架。

1.3 拓撲關系判斷算法

地理空間中的空間目標之間存在各種空間關系，主要有度量空間關系、順序空間關系、拓撲空間關系［3］。拓撲關系描述了空間對象在拓撲變換下具有的拓撲不變量，是空間關系中最重要的基本關系［4］。本文關注的拓撲關系是車輛與電子圍欄區(qū)域之間的拓撲關系，主要涉及的拓撲關系判斷是點與面的拓撲關系判斷。

點與多邊形位置關系的判斷是計算幾何中的算法，常用的有射線法、轉(zhuǎn)角法、面積判斷法、柵格法［5］。射線法的算法核心是從點沿x軸作一條射線，若該射線與多邊形邊界的交點個數(shù)為奇數(shù)，則點在多邊形內(nèi)部；若該射線與多邊形邊界的交點個數(shù)為偶數(shù)，則點在多邊形外部。射線法具有高精度、低時間復雜度等特點，故本文采用射線法作為點與面的拓撲關系判斷算法。

2 技術實現(xiàn)

車輛電子圍欄技術框架總體結(jié)構從上到下可以分為數(shù)據(jù)終端層、數(shù)據(jù)接入層、數(shù)據(jù)處理層、數(shù)據(jù)寫入層、數(shù)據(jù)分發(fā)層，見圖2。

數(shù)據(jù)終端層是識別和管理車輛終端設備，包含車載GPS和其他定位設備。

數(shù)據(jù)接入層是使用數(shù)據(jù)接入程序通過809協(xié)議獲取車輛定位數(shù)據(jù)，并作為Kafka生產(chǎn)者（Producer）將數(shù)據(jù)寫入Kafka主題（Topics）。

數(shù)據(jù)處理層作為Kafka消費者（Consumer），讀取實時數(shù)據(jù)流，實時數(shù)據(jù)流經(jīng)Spark Streaming轉(zhuǎn)換成DStream，交由射線法判斷車輛實時定位與電子圍欄區(qū)域的拓撲關系，予以相應標識。

數(shù)據(jù)處理層處理后的數(shù)據(jù)將作為Kafka生產(chǎn)者，由數(shù)據(jù)寫入層寫入至新的Kafka主題與數(shù)據(jù)庫。

數(shù)據(jù)分發(fā)層負責將數(shù)據(jù)處理層處理后的數(shù)據(jù)按需分配Kafka消費者，供各個消費終端使用。

3 技術應用

3.1 應用場景

本文研究的基于Spark Streaming的車輛電子圍欄技術已應用于廣西道路運輸“兩客一危”營運車輛動態(tài)數(shù)據(jù)電子圍欄項目實施。廣西道路運輸“兩客一危”營運車輛動態(tài)數(shù)據(jù)覆蓋全區(qū)各地市，暫未按照地市對數(shù)據(jù)進行劃分，導致共享給所有單位的都是全區(qū)的數(shù)據(jù)。為降低敏感信息泄露風險，結(jié)合廣西各有關部門對廣西道路運輸“兩客一危”營運車輛動態(tài)數(shù)據(jù)的共享需求，遵循“屬地內(nèi)數(shù)據(jù)共享”標準，對廣西道路運輸“兩客一危”車輛軌跡動態(tài)數(shù)據(jù)進行“電子圍欄”開發(fā)，并進行相關脫敏處理，以支撐相關車輛動態(tài)數(shù)據(jù)的合規(guī)共享。

該項目主要包含以下實施內(nèi)容：

（1）開發(fā)數(shù)據(jù)接入程序模塊，解析809協(xié)議并將車輛軌跡實時數(shù)據(jù)寫入Kafka消息系統(tǒng)。

（2）基于廣西14個地市地理信息數(shù)據(jù)整理，形成地市區(qū)域電子圍欄。

（3）基于Spark Streaming流處理框架，開發(fā)車輛與電子圍欄區(qū)域拓撲關系判斷算法模塊，處理廣西道路運輸“兩客一危”車輛軌跡實時流數(shù)據(jù)。

（4）將處理后數(shù)據(jù)存儲至數(shù)據(jù)庫，通過廳共享交換平臺進行共享分發(fā)。

（5）根據(jù)應用場景，構建多Kafka主題，供各地市使用。

運行環(huán)境如表1所示，搭建有1臺集群主機與4個集群節(jié)點，Spark、Kafka與Mysql程序均使用集群部署，由ZooKeeper程序統(tǒng)一調(diào)度管理；處理后數(shù)據(jù)分發(fā)至Kafka主題，存儲至集群Mysql數(shù)據(jù)庫。

3.2 應用效果

本文研究的基于Spark Streaming的車輛電子圍欄技術應用于廣西道路運輸“兩客一危”營運車輛動態(tài)數(shù)據(jù)電子圍欄項目實踐效果良好，如圖3的統(tǒng)計數(shù)據(jù)所示，平均每日處理數(shù)據(jù)量達1 500萬條，總計處理數(shù)據(jù)量超十億，針對應用場景分發(fā)Kafka主題超過20個，滿足了廣西“兩客一危”車輛電子圍欄項目對危險貨物運輸車輛等重點營運車輛監(jiān)管與地市交通運輸主管部門對交通運輸“兩客一危”營運車輛動態(tài)數(shù)據(jù)的共享需求，相較于常規(guī)數(shù)據(jù)處理框架技術，能夠處理高吞吐、高實時性的應用場景；多應用場景的Kafka主題分發(fā)，遵循了“屬地內(nèi)數(shù)據(jù)共享”標準，實現(xiàn)了數(shù)據(jù)脫敏。

4 結(jié)語

本文提出了使用Kafka作為車輛實時數(shù)據(jù)的消息隊列服務，基于Spark Streaming實時數(shù)據(jù)流處理框架，結(jié)合拓撲關系判斷算法射線法的車輛電子圍欄技術。本文實現(xiàn)的技術有以下優(yōu)勢：

（1）處理能力強。采用具有高吞吐率、實時性、擴展性的Kafka消息隊列服務與實時流處理框架Spark Streaming，能夠處理高并發(fā)、高吞吐率的車輛實時動態(tài)數(shù)據(jù)，高效運用拓撲關系判斷算法，對車輛動態(tài)進行有效監(jiān)管。

（2）可擴展性高。本文使用的Kafka消息系統(tǒng)、Spark Streaming實時流的數(shù)據(jù)處理框架，均采用分布式集群模式，在實際應用中，面臨業(yè)務功能與規(guī)模的擴展，只需按照當前的集群設計模式擴展并部署，可以減少項目前期的架構設計與建設成本。

（3）應用性強。經(jīng)處理的車輛動態(tài)數(shù)據(jù)可動態(tài)滿足數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)共享的需求，應用至車輛軌跡監(jiān)測、重點車輛安全風險預警、車流量預測等多種業(yè)務領域。

參考文獻：

［1］Ranjan Rajiv.Streaming big data processing in datacenter clouds［J］.IEEE Cloud Computing，2014，1（1）：78-83.

［2］崔星燦，禹曉輝，劉 洋，等.分布式流處理技術綜述［J］.計算機研究與發(fā)展，2015，52（2）：318-332.

［3］沈敬偉.三維拓撲關系描述、計算和推理研究［D］.南京：南京師范大學，2011.

［4］李文林.數(shù)學史概論［M］.北京：高等教育出版社，2011.

［5］孔令德.計算機圖形學［M］.北京：清華大學出版社，2013.