基于混合云的城市交通大數(shù)據(jù)協(xié)同分析平臺(tái)

李媛翯 張健欽，2 趙 明

（ 1、北京建筑大學(xué) 測(cè)繪與城市空間信息學(xué)院,北京100044 2、城市空間信息自然資源部重點(diǎn)實(shí)驗(yàn)室，北京100044）

1 概述

近年來(lái)，交通數(shù)據(jù)來(lái)源越來(lái)越廣，數(shù)據(jù)類型也日益豐富，而不同交通信息系統(tǒng)之間相互獨(dú)立，易出現(xiàn)各自為政、條塊分割、大量重復(fù)建設(shè)和業(yè)務(wù)無(wú)法協(xié)調(diào)等問(wèn)題，建立一個(gè)兼具大數(shù)據(jù)分析和各部門(mén)協(xié)同功能的平臺(tái)迫在眉睫。混合云兼具彈性資源和安全保障，有存儲(chǔ)數(shù)據(jù)量大、計(jì)算能力強(qiáng)、信息融合可共享等優(yōu)點(diǎn)。因此本文設(shè)計(jì)了一個(gè)基于混合云的交通大數(shù)據(jù)協(xié)同工作平臺(tái)的系統(tǒng)框架和多用戶協(xié)同分析機(jī)制，并進(jìn)行了研發(fā)和應(yīng)用實(shí)驗(yàn)。

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)架構(gòu)

結(jié)合混合云計(jì)算技術(shù)，本文從全局的視角出發(fā)，考慮到資源集成、業(yè)務(wù)互聯(lián)和數(shù)據(jù)互通等方面后，進(jìn)行了系統(tǒng)總體框架的設(shè)計(jì)，如圖1。

本系統(tǒng)一共分為六層，其中數(shù)據(jù)資源層包含數(shù)據(jù)采集層和數(shù)據(jù)層。數(shù)據(jù)采集是指通過(guò)設(shè)備獲取交通相關(guān)數(shù)據(jù)的過(guò)程。數(shù)據(jù)層是對(duì)采集到的數(shù)據(jù)進(jìn)行初步篩選、整理、格式轉(zhuǎn)換等預(yù)處理，方便后續(xù)的存儲(chǔ)、調(diào)用、分析和封裝工作。數(shù)據(jù)邏輯層包含數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析計(jì)算兩種功能，為數(shù)據(jù)服務(wù)層提供數(shù)據(jù)支撐。數(shù)據(jù)邏輯層即混合云，由本地?cái)?shù)據(jù)庫(kù)、私有云和公有云組成，其中私有云僅限內(nèi)網(wǎng)可以登錄。數(shù)據(jù)服務(wù)層負(fù)責(zé)不同模塊之間的數(shù)據(jù)交換和傳輸。數(shù)據(jù)表現(xiàn)層負(fù)責(zé)web 前端界面用戶交互操作、數(shù)據(jù)挖掘結(jié)果的展示。協(xié)同層是指通過(guò)視頻會(huì)議和云文檔的方式輔助用戶協(xié)同。用戶層包括數(shù)據(jù)管理員、專家、公眾和決策者。

圖1 系統(tǒng)架構(gòu)

圖2 系統(tǒng)協(xié)同機(jī)制（灰色表示異地登陸平臺(tái)）

2.2 系統(tǒng)協(xié)同機(jī)制

本文中的協(xié)同分析主要是指來(lái)自不同地理位置和背景的用戶根據(jù)各自的領(lǐng)域共同解決某些交通問(wèn)題的過(guò)程，貫穿于從數(shù)據(jù)收集、存儲(chǔ)、分析到?jīng)Q策的全過(guò)程。城市交通大數(shù)據(jù)協(xié)同分析平臺(tái)的協(xié)同機(jī)制如圖2。其中，數(shù)據(jù)管理員負(fù)責(zé)確定數(shù)據(jù)的敏感性，并清理上載的數(shù)據(jù)，以確保數(shù)據(jù)的安全和質(zhì)量。專家負(fù)責(zé)算法模型的研究和實(shí)現(xiàn)，以及對(duì)計(jì)算結(jié)果的分析。決策者負(fù)責(zé)根據(jù)專家的分析和公眾反映的實(shí)際情況制定政策。

圖3 原型系統(tǒng)架構(gòu)

2.3 系統(tǒng)安全保障

本文通過(guò)建立防火墻將內(nèi)網(wǎng)與互聯(lián)網(wǎng)或其他外部網(wǎng)絡(luò)隔離開(kāi)來(lái)，并通過(guò)限制網(wǎng)絡(luò)訪問(wèn)來(lái)保護(hù)內(nèi)網(wǎng)，從而確保云中數(shù)據(jù)傳輸?shù)陌踩Ｍ瑫r(shí)在混合云中部署SSL VPN 設(shè)備和虛擬映像，建立私有的加密傳輸通道，避免數(shù)據(jù)盜竊和非法攻擊等安全威脅。用戶通過(guò)安裝VPN 客戶端建立SSL VPN 連接，遠(yuǎn)程訪問(wèn)虛擬私有云進(jìn)入系統(tǒng)登錄界面。在確認(rèn)用戶的身份信息之后，系統(tǒng)將自動(dòng)跳轉(zhuǎn)到為內(nèi)網(wǎng)用戶服務(wù)的數(shù)據(jù)分析界面。

此外，系統(tǒng)設(shè)有用戶操作記錄功能，所有操作信息都記錄在日志文件中，并定期上傳到云中。

3 原型系統(tǒng)

以北京為例，每天會(huì)產(chǎn)生數(shù)億條動(dòng)態(tài)交通運(yùn)行數(shù)據(jù)，其中大部分具有位置和時(shí)間屬性信息。依據(jù)北京市交通數(shù)據(jù)結(jié)構(gòu)和用戶可視化分析需求，本文基于上述系統(tǒng)架構(gòu)和協(xié)同機(jī)制研發(fā)了北京市交通大數(shù)據(jù)可視化系統(tǒng)。目前，該系統(tǒng)已成功在阿里云服務(wù)器上部署并運(yùn)行。北京市交通大數(shù)據(jù)可視化系統(tǒng)架構(gòu)如圖3。

根據(jù)出行數(shù)據(jù)的來(lái)源，系統(tǒng)分為出租車、共享單車、公交車、停車和地鐵五大模塊模塊。系統(tǒng)支持內(nèi)網(wǎng)用戶在web 端進(jìn)行固定格式數(shù)據(jù)上傳、數(shù)據(jù)查詢、可視化服務(wù)調(diào)取等操作；其他用戶可查看可視化分析結(jié)果，且支持在討論區(qū)對(duì)結(jié)果進(jìn)行評(píng)價(jià)和反饋。

4 結(jié)論

為有效管理多源異構(gòu)的交通大數(shù)據(jù)，并實(shí)現(xiàn)數(shù)據(jù)的高效協(xié)同利用和分析，本文設(shè)計(jì)了基于混合云計(jì)算技術(shù)的交通大數(shù)據(jù)協(xié)同分析平臺(tái)的系統(tǒng)架構(gòu)和多用戶協(xié)同分析機(jī)制，并介紹了基于該系統(tǒng)架構(gòu)下原型系統(tǒng)的實(shí)現(xiàn)。當(dāng)前，為萬(wàn)物互聯(lián)網(wǎng)提供技術(shù)支持的5G 已正式投入使用，進(jìn)一步推動(dòng)了數(shù)字雙城的建設(shè)。如何繼續(xù)提高海量數(shù)據(jù)下的計(jì)算效率，保證計(jì)算的實(shí)時(shí)性和穩(wěn)定性將成為未來(lái)研究的主要方向。