基于大數(shù)據(jù)的城市軌道交通數(shù)據(jù)處理流程研究

蘭慧峰　左旭濤　王美霞　岳陽　周凡

摘? 要：該文對線網(wǎng)數(shù)據(jù)中心進行了簡要介紹，從邏輯架構(gòu)、處理機制和數(shù)據(jù)存儲3個方面，對實時數(shù)據(jù)處理過程進行了分析。從邏輯架構(gòu)、數(shù)據(jù)清洗、配置工作流、任務(wù)調(diào)度和數(shù)據(jù)存儲5個方面，對離線數(shù)據(jù)處理過程進行了分析。青島地鐵利用大數(shù)據(jù)技術(shù)，結(jié)合地鐵運營業(yè)務(wù)，對有關(guān)運營生產(chǎn)數(shù)據(jù)的實時及離線處理流程進行了研究，實現(xiàn)了線網(wǎng)實時生產(chǎn)數(shù)據(jù)及離線生產(chǎn)數(shù)據(jù)的數(shù)據(jù)處理服務(wù)，為運營決策提供數(shù)據(jù)支撐。

關(guān)鍵詞：數(shù)據(jù)中心;實時數(shù)據(jù)處理;離線數(shù)據(jù)處理;工作流

中圖分類號：TP311? ? ? ? ? 文獻標(biāo)志碼：A

0 引言

隨著城市軌道交通線路的不斷增加，青島地鐵已步入網(wǎng)絡(luò)化運營階段。隨著新業(yè)務(wù)需求的產(chǎn)生，地鐵運營管理日益復(fù)雜，運營生產(chǎn)數(shù)據(jù)呈爆炸式增長。因此尋求有效地海量數(shù)據(jù)處理技術(shù)、數(shù)據(jù)治理方法和手段已經(jīng)成為非常迫切的需求。青島地鐵是國內(nèi)首個基于Hadoop大數(shù)據(jù)技術(shù)搭建線網(wǎng)中心的地鐵公司[1]，其結(jié)合實際業(yè)務(wù)應(yīng)用，合理選擇技術(shù)路線，實現(xiàn)了線網(wǎng)實時生產(chǎn)數(shù)據(jù)及離線生產(chǎn)數(shù)據(jù)的數(shù)據(jù)處理服務(wù)，為運營指揮系統(tǒng)、應(yīng)急指揮系統(tǒng)、線網(wǎng)統(tǒng)計分析、線網(wǎng)運營評估、信息服務(wù)等上層應(yīng)用提供了數(shù)據(jù)支撐。

1 線網(wǎng)數(shù)據(jù)中心簡介

線網(wǎng)數(shù)據(jù)中心是青島地鐵線網(wǎng)中心的核心[2]，基于Hadoop大數(shù)據(jù)技術(shù)搭建[3]，是線網(wǎng)上層業(yè)務(wù)系統(tǒng)的數(shù)據(jù)來源。線網(wǎng)數(shù)據(jù)中心主要包括數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)分析和數(shù)據(jù)輸出等功能模塊，其中數(shù)據(jù)處理是數(shù)據(jù)中心的核心。數(shù)據(jù)處理根據(jù)數(shù)據(jù)傳輸?shù)臅r效性要求可分為實時數(shù)據(jù)處理和離線數(shù)據(jù)處理2個部分。實時數(shù)據(jù)是指對數(shù)據(jù)時效性要求較高的突發(fā)類事件信息、人員定位信息、突發(fā)事件處置意見等。同時，時效性在5 min、15 min等的客流類近線數(shù)據(jù)，在處理中也算作實時數(shù)據(jù)進行處理。離線數(shù)據(jù)主要是指時間范圍為昨日及昨日以前的結(jié)構(gòu)化數(shù)據(jù)。每天通過采集層從接口服務(wù)器采集離線數(shù)據(jù)，并把采集數(shù)據(jù)存儲到HDFS臨時文件存儲區(qū)，經(jīng)數(shù)據(jù)的清洗、加工和轉(zhuǎn)換后，存儲到數(shù)據(jù)中心。

2 實時數(shù)據(jù)處理

城市軌道交通實時數(shù)據(jù)主要包括線路、車站的客流情況，列車運行情況，設(shè)備的工作狀態(tài)、能耗等現(xiàn)場的信息，數(shù)據(jù)中心通過對這些數(shù)據(jù)進行采集和處理，將其反映到線網(wǎng)指揮中心，供指揮中心了解整個線網(wǎng)的運行情況，為列車調(diào)度、設(shè)備運維、突發(fā)事件處理等運營決策提供數(shù)據(jù)支撐和服務(wù)。

大數(shù)據(jù)的計算模式主要分為批量計算（batch computing）、流式計算（stream computing）、交互計算（interactive computing）、圖計算（graph computing）等。基于青島地鐵的線網(wǎng)數(shù)據(jù)中心建設(shè)主要應(yīng)用了批量計算和流式計算2種。流式計算和批量計算是2種主要的大數(shù)據(jù)計算模式，分別適用于不同的大數(shù)據(jù)應(yīng)用場景。對于處理實時性要求嚴(yán)格的線網(wǎng)實時數(shù)據(jù)，流式計算具有明顯的優(yōu)勢。對于先存儲后計算、實時性要求不高并且數(shù)據(jù)比較全面的線網(wǎng)離線數(shù)據(jù)，批量計算更適合。

在流式計算中，數(shù)據(jù)往往是最近時間段的增量數(shù)據(jù)，如實時客流數(shù)據(jù)、行車數(shù)據(jù)及綜合監(jiān)控數(shù)據(jù)等，數(shù)據(jù)的延時往往較短，實時性較強，但數(shù)據(jù)的信息量相對較少，只局限于該時間段內(nèi)的數(shù)據(jù)信息，不具有全量信息的特征。

從數(shù)據(jù)來源方面來講，其與批量計算相比一個明顯的區(qū)別是其數(shù)據(jù)通常來源于“數(shù)據(jù)預(yù)處理服務(wù)”的實時供給（如Kafka），而不像批量計算那樣從數(shù)據(jù)存儲中獲取已存儲的數(shù)據(jù)。

線網(wǎng)數(shù)據(jù)中心從技術(shù)路線的統(tǒng)一性角度以及功能要求等角度出發(fā)，選用了Spark作為分布式計算的框架，選擇Spark Streaming技術(shù)作為流式計算的基礎(chǔ)框架。

2.1 邏輯架構(gòu)

實時數(shù)據(jù)處理架構(gòu)圖如圖1所示。

系統(tǒng)的邏輯架構(gòu)主要描述實時數(shù)據(jù)處理模塊建設(shè)的關(guān)鍵主體。根據(jù)實時數(shù)據(jù)處理業(yè)務(wù)的相關(guān)主體類別，將系統(tǒng)的邏輯架構(gòu)分為數(shù)據(jù)源層、數(shù)據(jù)采集層和分析層3個層次。

數(shù)據(jù)源層定義了實時數(shù)據(jù)的數(shù)據(jù)來源、數(shù)據(jù)格式等。

采集層定義了數(shù)據(jù)采集的清洗規(guī)則、轉(zhuǎn)換規(guī)則、采集頻率、消息格式等。

分析層定義了數(shù)據(jù)加工算法、實時指標(biāo)的存儲規(guī)則等。

2.2 處理機制

數(shù)據(jù)中心的數(shù)據(jù)采集層將采集到的實時數(shù)據(jù)通過Kafka消息的方式傳輸?shù)終afka消息隊列中，數(shù)據(jù)消費者需要掃描Kafka MQ消息隊列，當(dāng)消息隊列中存在數(shù)據(jù)時，接收這些數(shù)據(jù)并對其進行解析，根據(jù)業(yè)務(wù)要求輸出到Redis等內(nèi)存數(shù)據(jù)庫，供上層使用。

Kafka消費者程序的數(shù)據(jù)處理流程有4步。1）對約定的消息隊列（Topic）進行定時掃描。2）當(dāng)掃描到消息數(shù)據(jù)時，根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)協(xié)議完成數(shù)據(jù)解析。3）將解析后的數(shù)據(jù)根據(jù)應(yīng)用場景進行加工處理，并將處理結(jié)果輸出到Redis內(nèi)存數(shù)據(jù)庫中。4）繼續(xù)步驟（1），進行下一個消息隊列數(shù)據(jù)的掃描。

2.3 數(shù)據(jù)存儲

因傳統(tǒng)關(guān)系庫不能滿足實時系統(tǒng)快速響應(yīng)的要求，該系統(tǒng)選擇Redis作為實時數(shù)據(jù)加工、分析結(jié)果數(shù)據(jù)存儲的數(shù)據(jù)庫。根據(jù)青島地鐵線網(wǎng)中心的業(yè)務(wù)需求，合理設(shè)計實時指標(biāo)的數(shù)據(jù)存儲方式、數(shù)據(jù)過期策略等，向上層應(yīng)用提供高速讀寫、穩(wěn)定運行的數(shù)據(jù)服務(wù)。

3 離線數(shù)據(jù)處理

3.1 邏輯架構(gòu)

離線數(shù)據(jù)處理架構(gòu)如圖2所示。

3.2 數(shù)據(jù)清洗

配置工作流之前，首先要進行數(shù)據(jù)清洗[4]，數(shù)據(jù)清洗的流程分解為以下3步。

3.2.1 數(shù)據(jù)清洗、去重、轉(zhuǎn)換

數(shù)據(jù)處理的數(shù)據(jù)源頭被稱為貼源層，貼源層數(shù)據(jù)是各數(shù)據(jù)源業(yè)務(wù)系統(tǒng)的未加處理的數(shù)據(jù)合集。在未經(jīng)處理之前，數(shù)據(jù)質(zhì)量無法保證，需根據(jù)業(yè)務(wù)規(guī)則進行清洗，并去除重復(fù)的數(shù)據(jù)。各數(shù)據(jù)源業(yè)務(wù)系統(tǒng)通常由不同的供應(yīng)商提供，各業(yè)務(wù)主體之間，甚至同一業(yè)務(wù)主體之間，都可能存在不同的業(yè)務(wù)編碼，這樣就給線網(wǎng)生產(chǎn)數(shù)據(jù)的融合造成了巨大的麻煩。數(shù)據(jù)轉(zhuǎn)換的目的是為青島地鐵的各上層應(yīng)用提供一致的、規(guī)范的數(shù)據(jù)，對不同業(yè)務(wù)主體的業(yè)務(wù)數(shù)據(jù)進行統(tǒng)一的業(yè)務(wù)編碼，經(jīng)清洗、去重和轉(zhuǎn)換后，寫入基礎(chǔ)明細層。

3.2.2 加工、分析

加工、分析是數(shù)據(jù)處理的核心，只有經(jīng)過加工、分析，原始數(shù)據(jù)才能轉(zhuǎn)化為有效數(shù)據(jù)，成為有用的信息。

3.2.3 數(shù)據(jù)同步

把加工、分析結(jié)果同步到應(yīng)用服務(wù)器，給上層應(yīng)用提供數(shù)據(jù)服務(wù)。

3.3 配置工作流

工作流是對工作流程及其各操作步驟之間的業(yè)務(wù)規(guī)則的抽象、概括描述，是將工作流程中的工作，如何前后組織在一起的邏輯和規(guī)則[5]。由工作流的定義可以看出，工作流編制的重點是弄清楚工作的前后邏輯，為了弄清楚組織邏輯，可以按以下4個步驟進行。

3.3.1 業(yè)務(wù)梳理

如果把數(shù)據(jù)加工、分析的結(jié)果稱做指標(biāo)，那么就可以區(qū)分出哪些指標(biāo)是由基礎(chǔ)明細數(shù)據(jù)生成的，該類指標(biāo)可稱為基礎(chǔ)指標(biāo)。而對于由基礎(chǔ)指標(biāo)生成的新指標(biāo)，可稱為衍生指標(biāo)。

3.3.2 依賴梳理

在梳理好業(yè)務(wù)，把加工指標(biāo)區(qū)分為基礎(chǔ)指標(biāo)、衍生指標(biāo)后，畫出指標(biāo)的依賴關(guān)系圖，如圖3所示。

根據(jù)依賴關(guān)系圖，我們可以定義工作流的Step1、Step2、Step3...StepN。

3.3.3 工作流粒度劃分

工作流粒度劃分可以分為縱向粒度劃分和橫向粒度劃分2種。縱向粒度劃分參照數(shù)據(jù)的依賴關(guān)系即可，如果所有工作流都按縱向劃分去設(shè)置，則存在數(shù)量大、配置麻煩、集群資源利用率不高等問題，而Oozie任務(wù)調(diào)度平臺既支持縱向依賴配置，也支持橫向并行配置。橫向粒度劃分在滿足縱向依賴的前提下，要考慮工作流的整體執(zhí)行時長，不能因為其中一個任務(wù)的執(zhí)行時間過長，導(dǎo)致所有工作流執(zhí)行時間變長，因此選擇依賴相同、執(zhí)行時長相似的任務(wù)是工作流橫向劃分的依據(jù)。

3.3.4 依賴條件檢查

在工作流的編制中，除了需要重點關(guān)注數(shù)據(jù)加工、分析的依賴關(guān)系外，還需要注意數(shù)據(jù)是否具備數(shù)據(jù)加工、分析的依賴條件，歷史數(shù)據(jù)的采集是按T+1（昨天）方式，按天增量采集，指標(biāo)的加工、分析同樣是按照按天增量的方式加工、分析，在采集數(shù)據(jù)的過程中，存在很多不可控因素，導(dǎo)致數(shù)據(jù)不能按時采集到位，為了保證數(shù)據(jù)的正確性、完整性，在每個工作流開始執(zhí)行之前，必須進行數(shù)據(jù)是否滿足依賴條件的檢查。

3.4 任務(wù)調(diào)度

在編制好數(shù)據(jù)加工、分析的工作流后，為了滿足數(shù)據(jù)中心7×24 h穩(wěn)定運行的要求，需要按時對編制好的工作流任務(wù)進行調(diào)度。

3.5 數(shù)據(jù)存儲

Hive是基于Hadoop的數(shù)據(jù)倉庫工具，青島地鐵數(shù)據(jù)中心采用Hive作為數(shù)據(jù)倉庫，DB2作為集市層數(shù)據(jù)存儲媒介，為上層應(yīng)用提供數(shù)據(jù)服務(wù)。按照業(yè)內(nèi)廣泛采用的分層設(shè)計方式，核心區(qū)域劃分為基礎(chǔ)明細層、匯總層和集市層[6]。其在整個青島地鐵數(shù)據(jù)中心數(shù)據(jù)架構(gòu)中處于數(shù)據(jù)服務(wù)層。分層設(shè)計的示意圖如圖4所示。

3.5.1 數(shù)據(jù)源層

數(shù)據(jù)源層定義了離線數(shù)據(jù)的數(shù)據(jù)來源和數(shù)據(jù)格式。

3.5.2 貼源層

貼源層實現(xiàn)了從采集到的文件數(shù)據(jù)到Hive表的關(guān)系映射，為基礎(chǔ)明細層數(shù)據(jù)的加工做好準(zhǔn)備。

數(shù)據(jù)中心通過源系統(tǒng)的數(shù)據(jù)傳輸接口獲取源數(shù)據(jù)，根據(jù)不同的傳輸周期完成數(shù)據(jù)加載，加載方式包括實時加載、準(zhǔn)實時加載和定時加載3種。為了保證數(shù)據(jù)能夠在短時間內(nèi)完成數(shù)據(jù)入庫，同時降低對前端應(yīng)用訪問數(shù)據(jù)倉庫數(shù)據(jù)的影響，在數(shù)據(jù)倉庫內(nèi)設(shè)置了臨時數(shù)據(jù)區(qū)，即貼源層。在此基礎(chǔ)上，完成數(shù)據(jù)從貼源層到基礎(chǔ)明細層的數(shù)據(jù)轉(zhuǎn)換工作。

貼源層主要用于保存ACC、ATS和綜合監(jiān)控等源系統(tǒng)的接口數(shù)據(jù)，尚未對數(shù)據(jù)進行加工和轉(zhuǎn)換，是基礎(chǔ)明細層的數(shù)據(jù)來源。與源系統(tǒng)不同的是，貼源層中包含了從不同線路、多個源系統(tǒng)中加載進來的接口數(shù)據(jù)，是源系統(tǒng)的未加處理的數(shù)據(jù)合集，實現(xiàn)了源系統(tǒng)數(shù)據(jù)的融合和可跨系統(tǒng)的查詢分析功能。

3.5.3 基礎(chǔ)明細層

基礎(chǔ)明細層是數(shù)據(jù)服務(wù)層中最重要的一個區(qū)域，其是按照地鐵數(shù)據(jù)標(biāo)準(zhǔn)的要求，對緩沖層數(shù)據(jù)進行統(tǒng)一加工和整合，是存儲明細粒度的歷史數(shù)據(jù)區(qū)域，可以為青島地鐵各個業(yè)務(wù)部門的不同業(yè)務(wù)需求提供一致的、規(guī)范的數(shù)據(jù)。同時，基礎(chǔ)明細層數(shù)據(jù)可作為匯總層和集市層的數(shù)據(jù)源，并可以直接向高級數(shù)據(jù)分析人員開放，進行深度地指標(biāo)查詢、統(tǒng)計分析和數(shù)據(jù)挖掘。

基礎(chǔ)明細層需要結(jié)合各線路ATS、綜合監(jiān)控和ACC等源系統(tǒng)的數(shù)據(jù)特征，切實考慮線網(wǎng)級城市軌道交通數(shù)據(jù)融合以及業(yè)務(wù)應(yīng)用場景和發(fā)展需要，根據(jù)城市軌道交通行業(yè)的經(jīng)驗，開發(fā)具有先進性、高可靠性、高可擴展性和高效性的數(shù)據(jù)模型，有效融合和存儲城市軌道交通的業(yè)務(wù)信息資源，支撐數(shù)據(jù)中心目前和未來各種運營管理和數(shù)據(jù)分析等應(yīng)用場景。

從設(shè)計上來看，基礎(chǔ)明細層是數(shù)據(jù)中心的核心，需要支撐數(shù)據(jù)中心所有業(yè)務(wù)主題的數(shù)據(jù)存儲，同時支持主題域、實體和數(shù)據(jù)模型的擴展。城市軌道交通行業(yè)的數(shù)據(jù)模型是構(gòu)建數(shù)據(jù)基礎(chǔ)明細層的核心，其需要能夠全面覆蓋交通行業(yè)的數(shù)據(jù)內(nèi)容，有效支撐城市軌道交通行業(yè)的分析業(yè)務(wù)場景，滿足數(shù)據(jù)中心長期的業(yè)務(wù)發(fā)展需求，因此，基礎(chǔ)明細層數(shù)據(jù)模型要具有良好的開放性、可擴展性、易操作性。

從實現(xiàn)上來看，基礎(chǔ)明細層的建設(shè)要集合城市軌道交通業(yè)務(wù)及行業(yè)經(jīng)驗，物理表結(jié)構(gòu)設(shè)計參照交通行業(yè)的數(shù)據(jù)模型，考慮行業(yè)業(yè)務(wù)規(guī)則及擴展性要求，嚴(yán)格遵循第三范式（3NF）[7]，減少數(shù)據(jù)冗余，提高訪問效率。

3.5.4 匯總層

匯總層是從城市軌道交通業(yè)務(wù)需求的視角出發(fā)，提煉出對數(shù)據(jù)處理具有共性的數(shù)據(jù)訪問和統(tǒng)計分析的需求，從而構(gòu)建出的一個面向上層應(yīng)用、提供共性數(shù)據(jù)訪問服務(wù)的公共數(shù)據(jù)。其數(shù)據(jù)流向是從基礎(chǔ)明細層抽取數(shù)據(jù)，經(jīng)過有針對性的匯總加工后，滿足上層業(yè)務(wù)的數(shù)據(jù)需求。

3.5.5 集市層

集市層是利用匯總層的公共數(shù)據(jù)，根據(jù)上層應(yīng)用的需求，組合形成面向不同主題域的集市層。向上層應(yīng)用提供有針對性的數(shù)據(jù)服務(wù)。集市層是從數(shù)據(jù)倉庫中抽取出來的為某類特定業(yè)務(wù)系統(tǒng)服務(wù)的數(shù)據(jù)集合，是數(shù)據(jù)倉庫與應(yīng)用層之間的接口。

數(shù)據(jù)中心的集市層中主要包括面向生產(chǎn)管理的指標(biāo)統(tǒng)計分析、運營評估、運營信息報送及發(fā)布、地理信息展示與應(yīng)急指揮系統(tǒng)的集市層。從數(shù)據(jù)聚合的粒度考慮，數(shù)據(jù)中心的集市層是根據(jù)業(yè)務(wù)需要，而匯總的重度匯總數(shù)據(jù)，并根據(jù)具體需要實現(xiàn)在多個維度和多粒度層次上的匯總。集市層中的數(shù)據(jù)模型根據(jù)上層應(yīng)用的需求特點，適當(dāng)考慮增加數(shù)據(jù)冗余設(shè)計，以提高數(shù)據(jù)分析查詢的效率。

4 結(jié)語

隨著大數(shù)據(jù)技術(shù)的普及，未來線網(wǎng)中心的建設(shè)越來越有取代傳統(tǒng)數(shù)據(jù)倉庫的趨勢，青島地鐵作為國內(nèi)首個基于大數(shù)據(jù)技術(shù)搭建線網(wǎng)中心的地鐵公司，在大數(shù)據(jù)技術(shù)應(yīng)用的基礎(chǔ)上，實現(xiàn)了實時數(shù)據(jù)處理及離線數(shù)據(jù)處理流程，為未來城市軌道交通行業(yè)的相關(guān)應(yīng)用提供技術(shù)路線和指導(dǎo)幫助。

參考文獻

[1]羅情平，左旭濤，舒軍.青島地鐵線網(wǎng)管理與指揮中心系統(tǒng)的需求分析[J].城市軌道交通研究，2017，20（12）：5-9.

[2]石述紅.信息時代的數(shù)據(jù)中心[J].數(shù)字通信世界，2018（11）：136.

[3]郭建偉，杜麗萍，李瑛，等.Hadoop平臺的分布式數(shù)據(jù)平臺系統(tǒng)研究[J].中國科技信息，2013（10）：97-98.

[4]Megan Squire.干凈的數(shù)據(jù)：數(shù)據(jù)清洗入門與實踐[M].北京：人民郵電出版社，2016.

[5]趙文，胡文蕙，張世琨，等.工作流元模型的研究與應(yīng)用[J].軟件學(xué)報，2003，14（6）：1052-1059.

[6]馮曉云，陸建峰.基于Hive的分布式K_means算法設(shè)計與研究[J].計算機光盤軟件與應(yīng)用，2013（21）：62-64.

[7]蘇選良.管理信息系統(tǒng)[M].北京：電子工業(yè)出版社，2003.