建設(shè)具有“公交優(yōu)先”特色的上海智慧交通云服務(wù)平臺(tái)方案

費(fèi) 曄

(上海久事(集團(tuán))有限公司 上海 200122)

0 引 言

2010年以來(lái)，上海綜合交通體系發(fā)展堅(jiān)持“十二五”規(guī)劃提出的“四個(gè)更加”要求，即更加注重“交通引導(dǎo)、管理優(yōu)先、服務(wù)提升和城鄉(xiāng)統(tǒng)籌”的基本思路，交通運(yùn)輸服務(wù)能力持續(xù)提升，交通綜合管理水平逐步提高、交通設(shè)施建設(shè)有序推進(jìn)，總體上，“十二五”規(guī)劃目標(biāo)推進(jìn)有序，上海“樞紐型、網(wǎng)絡(luò)化、功能性”綜合交通體系架構(gòu)已經(jīng)基本形成[1]。

然而，作為一個(gè)國(guó)際性、特大型的城市，上海在交通發(fā)展中還有許多面臨的困難和問(wèn)題，我們?cè)噲D依托于互聯(lián)網(wǎng)+、云計(jì)算、大數(shù)據(jù)等新一代信息技術(shù)，來(lái)解決一些可提高和完善的交通問(wèn)題，例如：提升交通運(yùn)營(yíng)企業(yè)的運(yùn)行效能、做好對(duì)公眾的交通綜合信息服務(wù)、完善交通主管部門的科學(xué)決策等。

1 研究的內(nèi)容

目前上海的交通信息服務(wù)平臺(tái)呈現(xiàn)零散化和各自為政的特點(diǎn)，無(wú)法提供“一站式、全覆蓋、個(gè)性化”的交通綜合信息服務(wù)。

一方面，上海本土的政府和企業(yè)推出了不少圍繞交通信息服務(wù)的軟件產(chǎn)品，如“上海公交”、“地鐵指南”、“智行者”、“樂(lè)行天下”、“上海停車”等APP應(yīng)用[2]。另一方面，許多互聯(lián)網(wǎng)企業(yè)都加入了“互聯(lián)網(wǎng)+交通”的新業(yè)態(tài)，例如，針對(duì)自駕車服務(wù)的有高德地圖、百度地圖；針對(duì)網(wǎng)約出租車業(yè)務(wù)的有神州租車、易到租車、首汽租車等；針對(duì)定制公交的有嗒嗒巴士、小豬巴士等；針對(duì)騎行交通的有摩拜單車、OFO共享單車等；還有提供綜合出行服務(wù)的滴滴出行。

但是，這些百家爭(zhēng)鳴的交通信息服務(wù)平臺(tái)都是零散化和各自為政的，無(wú)法向公眾提供一個(gè)統(tǒng)一的信息服務(wù)入口，獲得多種信息服務(wù)。另外這些APP應(yīng)用大部分都提供單獨(dú)的、非聯(lián)動(dòng)的交通信息服務(wù)，既缺乏交通運(yùn)營(yíng)企業(yè)準(zhǔn)確的業(yè)務(wù)數(shù)據(jù)，也沒(méi)有形成完整的出行鏈服務(wù)，而且基本沒(méi)有提供針對(duì)公眾定制化的公共交通實(shí)時(shí)性服務(wù)[3]。總體來(lái)說(shuō)就是現(xiàn)在市場(chǎng)上的APP應(yīng)用還無(wú)法提供“一站式、全覆蓋、個(gè)性化”的交通綜合信息服務(wù)。

2 項(xiàng)目總體框架

參照真實(shí)的上海交通的運(yùn)輸場(chǎng)景，我們需要結(jié)合多種先進(jìn)的技術(shù)，設(shè)計(jì)出明確的云平臺(tái)框架模型。

2.1 建設(shè)一個(gè)上海城市級(jí)別的智慧交通云服務(wù)平臺(tái)

堅(jiān)持“開(kāi)放、互聯(lián)、共享”的理念，推進(jìn)落實(shí)“公交優(yōu)先”戰(zhàn)略，在“十三五”期間構(gòu)建一個(gè)面向公眾、企業(yè)和政府服務(wù)的上海智慧交通云服務(wù)平臺(tái)(以下簡(jiǎn)稱云平臺(tái))。云平臺(tái)現(xiàn)階段將由“一中心、一應(yīng)用、一系統(tǒng)”組成，即上海綜合交通大數(shù)據(jù)共享中心、上海智慧出行服務(wù)移動(dòng)應(yīng)用、上海交通監(jiān)管和決策服務(wù)系統(tǒng)。云平臺(tái)有如下特點(diǎn)：

(1) 交通大數(shù)據(jù)資源的統(tǒng)一管理。云平臺(tái)將整合、匯聚、接入道路交通、公共交通、對(duì)外交通及其他行業(yè)的數(shù)據(jù)資源，并對(duì)這些大數(shù)據(jù)進(jìn)行統(tǒng)一維護(hù)、處理，使其達(dá)到可發(fā)布、可共享的數(shù)據(jù)規(guī)范要求[4]。

(2) 交通出行服務(wù)更具精準(zhǔn)化、智能化。云平臺(tái)基于企業(yè)運(yùn)營(yíng)數(shù)據(jù)、道路通行數(shù)據(jù)、客流分布數(shù)據(jù)等交通大數(shù)據(jù)的分析，可以由系統(tǒng)自動(dòng)形成多個(gè)優(yōu)化的出行規(guī)劃方案，并且提供的交通信息服務(wù)更加精準(zhǔn)可靠。

(3) 更加符合監(jiān)管精細(xì)化、決策科學(xué)化。云平臺(tái)可以采集到最原始、最小顆粒度的交通數(shù)據(jù)，通過(guò)這些數(shù)據(jù)所構(gòu)成的監(jiān)管數(shù)據(jù)能反映出真實(shí)的交通現(xiàn)狀，而且數(shù)據(jù)都可以溯源。同樣基于這些數(shù)據(jù)的分析、比較、模擬等，也使得政府做出的決策更科學(xué)。

2.2 “一中心、一應(yīng)用、一系統(tǒng)”的功能定位

2.2.1 上海綜合交通大數(shù)據(jù)共享中心的功能定位

(1) 綜合交通大數(shù)據(jù)共享中心(以下簡(jiǎn)稱大數(shù)據(jù)中心)是云平臺(tái)的大數(shù)據(jù)儲(chǔ)存載體，它既儲(chǔ)存城市道路、公共交通、慢行交通、停車、高速公路、對(duì)外交通等交通領(lǐng)域的數(shù)據(jù)，也儲(chǔ)存通過(guò)數(shù)據(jù)交換等方式而來(lái)的公安、氣象、環(huán)保、旅游、住建、安監(jiān)、規(guī)劃、測(cè)繪、電信等行業(yè)數(shù)據(jù)。

(2) 大數(shù)據(jù)中心在對(duì)數(shù)據(jù)的處理和分析上突出“公交優(yōu)先”原則，即優(yōu)先考慮對(duì)公共交通兩網(wǎng)融合、地面公交線網(wǎng)優(yōu)化、公共交通信息服務(wù)等方面的數(shù)據(jù)支撐。

(3) 大數(shù)據(jù)中心具有開(kāi)放、共享、可流通的特性，在規(guī)則允許下，可以向政府其他非交通管理部門、企業(yè)等共享和交換數(shù)據(jù)，以此推動(dòng)全社會(huì)的交通數(shù)據(jù)分析、數(shù)據(jù)增值等應(yīng)用。

(4) 大數(shù)據(jù)中心與其他交通數(shù)據(jù)中心既有聯(lián)系又具有不同的定位。目前上海已有兩個(gè)交通數(shù)據(jù)中心，一個(gè)屬于上海交通委員會(huì)信息中心，另一個(gè)屬于上海交通信息中心。上述兩個(gè)交通數(shù)據(jù)中心和將建的云平臺(tái)中的大數(shù)據(jù)中心的定位和關(guān)系如表1所示。

表1 交通數(shù)據(jù)中心和云平臺(tái)中的大數(shù)據(jù)中心的定位和關(guān)系

根據(jù)表1得知，云平臺(tái)的主要匯聚數(shù)據(jù)資源和系統(tǒng)定位，與其他兩個(gè)數(shù)據(jù)中心有所區(qū)別，目的為避免重復(fù)建設(shè)，共享數(shù)據(jù)資源，三個(gè)數(shù)據(jù)中心之間本著開(kāi)放、互聯(lián)和共享的模式共同發(fā)展[5]。

2.2.2 上海智慧出行服務(wù)移動(dòng)應(yīng)用的功能定位

打造代表上海的智慧出行服務(wù)移動(dòng)應(yīng)用，即智慧出行APP。

(1) 智慧出行APP是一個(gè)充分體現(xiàn)“公交優(yōu)先”的移動(dòng)應(yīng)用，它將首先為用戶推薦公共交通的出行方式，并且可以獲得公共交通運(yùn)營(yíng)企業(yè)的實(shí)時(shí)運(yùn)營(yíng)數(shù)據(jù)，為用戶計(jì)算出準(zhǔn)確的出行時(shí)間和費(fèi)用。這是智慧出行APP與類似滴滴、百度、高德等互聯(lián)網(wǎng)應(yīng)用的區(qū)別所在，它可以和交通運(yùn)營(yíng)企業(yè)提供的運(yùn)營(yíng)服務(wù)結(jié)合得更加緊密，因此提供的信息服務(wù)更加精準(zhǔn)可靠。

(2) 智慧出行APP可以快速擁有用戶數(shù)量?jī)?yōu)勢(shì)，這些用戶數(shù)來(lái)自于上海公共交通卡、滬通卡(ETC)的持有者，這部分持有者的日平均活躍數(shù)在近500萬(wàn)。因此，我們?cè)诔跗诰涂梢酝ㄟ^(guò)制定營(yíng)銷策略來(lái)爭(zhēng)取這些持卡者成為APP用戶，后期通過(guò)自身核心業(yè)務(wù)服務(wù)和其他衍生的、豐富的關(guān)聯(lián)服務(wù)，來(lái)增加用戶粘性，打造智慧出行服務(wù)的特色模式。

(3) 智慧出行APP是一款“一站式、全覆蓋、個(gè)性化”的移動(dòng)應(yīng)用產(chǎn)品，即公眾可以通過(guò)一個(gè)統(tǒng)一的訪問(wèn)入口去了解到各類交通綜合信息服務(wù)，體現(xiàn)“一站式”功能；公眾除了了解出行的交通信息外，還需要了解目的地周邊的商業(yè)、辦公、餐飲、娛樂(lè)等信息，并且能完成線上預(yù)定、線上支付等，這體現(xiàn)了“全覆蓋”功能；公眾可以獲得個(gè)人定制的交通信息服務(wù)，如提供不同時(shí)耗、不同費(fèi)用和不同舒適度的多個(gè)出行路徑的選擇，多種交通方式換乘的路徑誘導(dǎo)，針對(duì)自己的出行計(jì)劃設(shè)定消息提醒等，這體現(xiàn)了“個(gè)性化”功能。

2.2.3 上海交通監(jiān)管和決策服務(wù)系統(tǒng)的功能定位

(1) 上海交通監(jiān)管和決策服務(wù)系統(tǒng)(以下簡(jiǎn)稱監(jiān)管決策系統(tǒng))為交通主管部門提供上海綜合交通信息的監(jiān)管服務(wù)，全面掌握上海所有的交通運(yùn)行情況，可以基于交通大數(shù)據(jù)進(jìn)行綜合分析。

(2) 監(jiān)管決策系統(tǒng)為交通主管部門的科學(xué)決策提供數(shù)據(jù)支持，如交通規(guī)劃和交通政策的輔助支持，公共交通線網(wǎng)優(yōu)化的決策支持，綜合交通模型建設(shè)和應(yīng)用支持等。

(3) 監(jiān)管決策系統(tǒng)為交通主管部門在發(fā)生重大事件時(shí)提供應(yīng)急處置能力，通過(guò)系統(tǒng)可實(shí)現(xiàn)相關(guān)部門的協(xié)同管理，政企聯(lián)動(dòng)指揮，應(yīng)急預(yù)案的響應(yīng)和演練等功能。

3 云服務(wù)平臺(tái)系統(tǒng)總體設(shè)計(jì)實(shí)現(xiàn)

3.1 交通大數(shù)據(jù)共享中心

1) Linux系統(tǒng)安裝 一般使用開(kāi)源版的Redhat系統(tǒng)——CentOS作為底層平臺(tái)。為了提供穩(wěn)定的硬件基礎(chǔ)，在給硬盤做RAID和掛載數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)的時(shí)，需要按情況配置。例如，可以選擇給HDFS的namenode做RAID2以提高其穩(wěn)定性，將數(shù)據(jù)存儲(chǔ)與操作系統(tǒng)分別放置在不同硬盤上，以確保操作系統(tǒng)的正常運(yùn)行。

2) 分布式計(jì)算平臺(tái)/組件安裝 目前國(guó)內(nèi)外的分布式系統(tǒng)的大多使用的是Hadoop系列開(kāi)源系統(tǒng)。Hadoop的核心是HDFS，一個(gè)分布式的文件系統(tǒng)。在其基礎(chǔ)上常用的組件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。

使用開(kāi)源組件的優(yōu)點(diǎn)：(1) 使用者眾多，很多bug可以在網(wǎng)上找的答案(這往往是開(kāi)發(fā)中最耗時(shí)的地方)；(2) 開(kāi)源組件一般免費(fèi)，學(xué)習(xí)和維護(hù)相對(duì)方便；(3) 開(kāi)源組件一般會(huì)持續(xù)更新，提供必要的更新服務(wù),當(dāng)然還需要手動(dòng)做更新操作；(4) 因?yàn)榇a開(kāi)源，若出bug可自由對(duì)源碼作修改維護(hù)。

分布式集群的資源管理器一般用Yarn(Yet Another Resource Negotiator)。常用的分布式數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)有Hive、Hbase。Hive可以用SQL查詢，但效率略低，Hbase可以快速、近實(shí)時(shí)讀取行[7]。外部數(shù)據(jù)庫(kù)導(dǎo)入導(dǎo)出需要用到Sqoop。Sqoop將數(shù)據(jù)從Oracle、MySQL等傳統(tǒng)數(shù)據(jù)庫(kù)導(dǎo)入Hive或Hbase。Zookeeper是提供數(shù)據(jù)同步服務(wù)，Yarn和Hbase需要它的支持。Impala是對(duì)hive的一個(gè)補(bǔ)充，可以實(shí)現(xiàn)高效的SQL查詢[7]。ElasticSearch是一個(gè)分布式的搜索引擎。針對(duì)分析，目前最火的是Spark，此處忽略其他，如基礎(chǔ)的MapReduce 和 Flink。Spark在core上面有ML lib，Spark Streaming、Spark QL和GraphX等庫(kù)，可以滿足幾乎所有常見(jiàn)數(shù)據(jù)分析需求[8]。

值得一提的是，上面提到的組件，如何將其有機(jī)結(jié)合起來(lái)，完成某個(gè)任務(wù)，不是一個(gè)簡(jiǎn)單的工作，可能會(huì)非常耗時(shí)。

3) 數(shù)據(jù)導(dǎo)入 數(shù)據(jù)導(dǎo)入的工具是Sqoop。用它可以將數(shù)據(jù)從文件或者傳統(tǒng)數(shù)據(jù)庫(kù)導(dǎo)入到分布式平臺(tái)，一般主要導(dǎo)入到Hive，也可將數(shù)據(jù)導(dǎo)入到Hbase。

4) 數(shù)據(jù)分析 數(shù)據(jù)分析一般包括兩個(gè)階段：數(shù)據(jù)預(yù)處理和數(shù)據(jù)建模分析。

數(shù)據(jù)預(yù)處理是為后面的建模分析做準(zhǔn)備，主要工作是從海量數(shù)據(jù)中提取可用特征，建立大寬表。這個(gè)過(guò)程可能會(huì)用到Hive SQL、Spark QL和Impala[9]。

數(shù)據(jù)建模分析是針對(duì)預(yù)處理提取的特征/數(shù)據(jù)建模，得到想要的結(jié)果。如前面所提到的，這一塊最好用的是Spark。常用的機(jī)器學(xué)習(xí)算法，如樸素貝葉斯、邏輯回歸、決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、TFIDF、協(xié)同過(guò)濾等，都已經(jīng)在ML lib里面[10-11]，調(diào)用比較方便。

5) 結(jié)果可視化及輸出API 可視化一般是對(duì)結(jié)果或部分原始數(shù)據(jù)做展示。有兩種情況，行數(shù)據(jù)展示和列查找展示。在這里，要基于大數(shù)據(jù)平臺(tái)做展示需要用到ElasticSearch和Hbase。Hbase提供快速(ms級(jí)別)的行查找。ElasticSearch可以實(shí)現(xiàn)列索引，提供快速列查找。

3.2 上海智慧出行服務(wù)移動(dòng)應(yīng)用和上海交通監(jiān)管和決策服務(wù)系統(tǒng)

上海智慧出行服務(wù)移動(dòng)應(yīng)用和上海交通監(jiān)管和決策服務(wù)系統(tǒng)都體現(xiàn)在上海智慧出行移動(dòng)APP上。從圖1可以看出，整個(gè)上海智慧出行APP可以分成三個(gè)模塊，第一個(gè)模塊主要用來(lái)實(shí)時(shí)顯示線路界面，輸入需要查找的出行線路。比如輸入11號(hào)線，用戶站在江蘇路在等待11號(hào)線的到來(lái)，在開(kāi)啟了定位之后，界面上就會(huì)顯示從11號(hào)線第一站到最后一站，每一輛地鐵所在的位置，這樣用戶就可以準(zhǔn)確地知道自己還有幾分鐘可以上車之類的信息。當(dāng)用戶查詢的線路發(fā)生事故，比如11號(hào)線晚點(diǎn)5 min之類的會(huì)在第一模塊的頭部展示出來(lái)，并且在出行線路底部還會(huì)實(shí)時(shí)地展示上海市的天氣情況以及穿衣指導(dǎo)。

圖1 上海智慧交通移動(dòng)端框圖

第二部分是線路查詢，輸入需要到達(dá)的目的地，系統(tǒng)會(huì)接入谷歌地圖和百度地圖，用戶可以選擇自己信賴的地圖，然后由第三方接口提供數(shù)據(jù)。

第三個(gè)部分是上海實(shí)時(shí)交通消息，以整張地圖的形式展現(xiàn)，比如中環(huán)路距離李子園出口300 m的第一條車道發(fā)生交通事故，預(yù)計(jì)通行時(shí)間為5 min，用戶可以實(shí)時(shí)進(jìn)行查詢。

以上所有的實(shí)時(shí)信息都是根據(jù)大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)分析，交通監(jiān)管部門監(jiān)管和決策系統(tǒng)處理之后發(fā)布的數(shù)據(jù)。

4 結(jié) 語(yǔ)

上海市智慧交通出行總共有數(shù)據(jù)大平臺(tái)、智慧移動(dòng)APP和交通監(jiān)管和數(shù)據(jù)決策服務(wù)系統(tǒng)三個(gè)部分組成。大數(shù)據(jù)平臺(tái)用來(lái)對(duì)各種移動(dòng)數(shù)據(jù)進(jìn)行收集，將數(shù)據(jù)收集之后傳給交通監(jiān)管和決策服務(wù)系統(tǒng)，再進(jìn)行分析之后展示在智慧出行服務(wù)移動(dòng)應(yīng)用上。整個(gè)系統(tǒng)為上海用戶的出行提供了極大的便利。