基于云計(jì)算的地鐵大數(shù)據(jù)分析方法研究

丁軍

【摘要】? ? 地鐵軌道交通信息化水平隨著城市軌道工程的發(fā)展而持續(xù)提升，而伴隨著地鐵軌道交通的持續(xù)運(yùn)行，其形成的數(shù)據(jù)量規(guī)模也逐漸龐大。在此背景下，若基于傳統(tǒng)數(shù)據(jù)處理方法展開(kāi)操作，會(huì)存在成本高、管理難度大等問(wèn)題，并且不利于程序的編寫(xiě)。對(duì)此，本文將地鐵信息系統(tǒng)作為基本出發(fā)點(diǎn)，對(duì)地鐵軌道交通發(fā)展需求進(jìn)行分析，基于云計(jì)算平臺(tái)創(chuàng)建出高度成熟化的軌道交通數(shù)據(jù)挖掘平臺(tái)，同時(shí)展開(kāi)有關(guān)于地鐵軌道交通大數(shù)據(jù)的深度分析工作。

【關(guān)鍵詞】? ? 地鐵工程? ? 云計(jì)算? ? 大數(shù)據(jù)? ? 分析方法

當(dāng)前，我國(guó)多數(shù)大中型城市都紛紛推行了地鐵工程，總體建設(shè)運(yùn)營(yíng)里程正在持續(xù)增加。就地鐵運(yùn)營(yíng)企業(yè)而言，需要做好客流分析工作，這是線網(wǎng)規(guī)劃以及運(yùn)營(yíng)組織的關(guān)鍵前提。在當(dāng)前信息技術(shù)持續(xù)發(fā)展的大背景下，地鐵系統(tǒng)已經(jīng)累積了大量的乘客出行信息，基于對(duì)地鐵AFC刷卡數(shù)據(jù)的分析，能夠達(dá)到資源合理配置的效果，并且可以更好地滿足地鐵客流的基本需求，有效緩解了供需不平衡的問(wèn)題，從根本上滿足了地鐵客流需求。而基于云計(jì)算技術(shù)，能夠?yàn)榇隧?xiàng)工作提供有效指導(dǎo)，所以本文重點(diǎn)對(duì)云計(jì)算技術(shù)展開(kāi)探討。

一、云計(jì)算介紹

在當(dāng)前的地鐵客流大數(shù)據(jù)分析工作中，重點(diǎn)圍繞政策性、前沿性?xún)纱蠓矫嬲归_(kāi)，由此探尋出客流的基本特征。相較于傳統(tǒng)的交通數(shù)據(jù)而言，現(xiàn)代化的交通大數(shù)據(jù)與之存在明顯的區(qū)別，在大數(shù)據(jù)特征描述時(shí)涉及到了3V、4V和5V這3方面內(nèi)容。除此之外，加之交通大數(shù)據(jù)基本特性的影響，可以進(jìn)一步延展出6V特征，具體為：體量巨大、處理快速、模態(tài)多樣、真假共存、價(jià)值、可視化[1]。

二、大數(shù)據(jù)分析方法

（1）數(shù)據(jù)讀取?；贘ave展開(kāi)編程操作，在此基礎(chǔ)上實(shí)現(xiàn)對(duì)原始數(shù)據(jù)集的分析，讀取其中的數(shù)據(jù)結(jié)構(gòu)，主要涉及到行與列的分隔符，此時(shí)能夠確保數(shù)據(jù)集順利的上傳到云端數(shù)據(jù)庫(kù)中，諸如“2aa2a04|/N|104.063028|30.508351|雙流縣|1|104.127465|30.26802|雙流縣|1|27459.749617”，則列分隔符為“|”，行分隔符為“/n”。（2）數(shù)據(jù)存儲(chǔ)?；贛apReduce分布式上傳功能可以實(shí)現(xiàn)對(duì)大數(shù)據(jù)的讀取工作，以便將豐富的大數(shù)據(jù)完整的存儲(chǔ)于云端數(shù)據(jù)之中。（3）數(shù)據(jù)清洗。基于云平臺(tái)展開(kāi)對(duì)數(shù)據(jù)的清洗工作，例如，對(duì)String類(lèi)型的值進(jìn)行轉(zhuǎn)換，使其變更為Int類(lèi)型，此舉能夠?yàn)楹罄m(xù)的匹配計(jì)算提供良好的條件，如果列中存在一些不規(guī)則字符，則可以對(duì)其格式統(tǒng)一操作。將其中的無(wú)效數(shù)據(jù)篩除，以統(tǒng)計(jì)客流情況為例進(jìn)行分析，則可以將員工卡進(jìn)出站這一無(wú)效數(shù)據(jù)隔離出來(lái)，此后再對(duì)缺失部分做以自動(dòng)填充處理。（4）數(shù)據(jù)分析。當(dāng)完成對(duì)數(shù)據(jù)的清洗操作后，便可以展開(kāi)SQL分析操作，對(duì)AFC數(shù)據(jù)記錄進(jìn)行全面篩選，從中獲得客流情況、高峰期分布特性等多方面內(nèi)容。（5）在上述的基礎(chǔ)上，將會(huì)得到相關(guān)數(shù)據(jù)結(jié)果，對(duì)其進(jìn)行存儲(chǔ)并基于百度地圖API作進(jìn)一步的程序開(kāi)發(fā)，以展開(kāi)可視化分析。

三、云計(jì)算技術(shù)效率測(cè)試

云計(jì)算的方式具有更強(qiáng)的適應(yīng)性，能夠從根本上避免資源集中消耗的現(xiàn)象，而分布式的處理機(jī)制則可以創(chuàng)造出更為優(yōu)良的數(shù)據(jù)處理效率。本次分析工作圍繞阿里云計(jì)算服務(wù)大數(shù)據(jù)平臺(tái)展開(kāi)，將其與傳統(tǒng)數(shù)據(jù)庫(kù)展開(kāi)對(duì)比分析，探尋二者在效率方面的差別。在阿里云大數(shù)據(jù)服務(wù)體系之中，可以有效地支持SQL等相關(guān)模型，其可以在極短的時(shí)間內(nèi)做好相關(guān)計(jì)算任務(wù)。其中Tunnel服務(wù)發(fā)揮出重要的作用，其每天都可以滿足TB/PB級(jí)的數(shù)據(jù)傳輸要求，這點(diǎn)對(duì)于歷史數(shù)據(jù)的導(dǎo)入導(dǎo)出尤為適用，且吞吐量高，具有優(yōu)良的可擴(kuò)展水平，能夠?yàn)閿?shù)據(jù)的批量處理提供良好的條件。MaxCompute SQL建立在標(biāo)準(zhǔn)SQL算法的基礎(chǔ)上，所帶來(lái)的計(jì)算框架能夠有效地服務(wù)于SQL計(jì)算模型，相較于常規(guī)的MapReduce模型而言，帶來(lái)的執(zhí)行效率得到了顯著的提升，借助于在線運(yùn)維以及離線任務(wù)調(diào)度等一系列豐富功能，離線調(diào)度任務(wù)量可以達(dá)到百萬(wàn)級(jí)別。若PC的內(nèi)存為4G，同時(shí)配置有AMD處理器（其主頻可以達(dá)到2.2GHz），將此作為硬件條件展開(kāi)各方法對(duì)于SQL運(yùn)算速度的分析工作，具體操作對(duì)象均為成都地鐵AFC刷卡數(shù)據(jù)。實(shí)際結(jié)果表明，相較于常規(guī)的SQL Server數(shù)據(jù)庫(kù)，基于MaxCompute所帶來(lái)的運(yùn)算效率明顯提升，如果SQL語(yǔ)句復(fù)雜度較高，此時(shí)運(yùn)行優(yōu)勢(shì)將會(huì)更為明顯。在實(shí)際操作中，如果基于云MaxCompute展開(kāi)首次運(yùn)算，此時(shí)所需要的時(shí)間將長(zhǎng)達(dá)4s，而相比之下SQL Server僅需1s便可以完成[3]。對(duì)此現(xiàn)象進(jìn)行分析可得，在阿里云計(jì)算平臺(tái)的作用下，將會(huì)對(duì)MaxCompute進(jìn)行拆分處理，使其變?yōu)橐粋€(gè)分布式的任務(wù)以便后續(xù)調(diào)用，但相比之下，MapReduce在初始化過(guò)程中便會(huì)耗費(fèi)大量的時(shí)間，盡管SQL較為精簡(jiǎn)，但依然需要得到充足的時(shí)間支持。在上述基礎(chǔ)上持續(xù)進(jìn)行SQL運(yùn)算，發(fā)現(xiàn)SQL Server需要的運(yùn)算時(shí)間表現(xiàn)出了成倍增長(zhǎng)的特性，但無(wú)論運(yùn)算次數(shù)如何發(fā)生變化，MaxCompute需要的運(yùn)算時(shí)間都處于相對(duì)穩(wěn)定的狀態(tài)。由此可以得知，在數(shù)據(jù)規(guī)模持續(xù)擴(kuò)大的背景下，加之SQL復(fù)雜度的提升，基于云計(jì)算平臺(tái)所需要的初始化時(shí)間明顯縮短，其在整體時(shí)間中占比較低，相比于傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)而言，通過(guò)云計(jì)算平臺(tái)展開(kāi)的分布式調(diào)用方法具有高度的可行性。

結(jié)束語(yǔ)：綜上所述，當(dāng)前的城市居民交通出行半徑表現(xiàn)出明顯的規(guī)律性，即普遍集中在地鐵45min區(qū)域內(nèi)，日常出行時(shí)間主要以15～30min居多，部分情況下將會(huì)達(dá)到30～45min。無(wú)論是工作日還是非工作日，地鐵車(chē)站的人流量都相對(duì)較大，此時(shí)運(yùn)營(yíng)管理部門(mén)的監(jiān)管工作至關(guān)重要，需要為之制定可行的疏導(dǎo)方案。在可視化技術(shù)的作用下，能夠推相較于傳統(tǒng)數(shù)據(jù)處理技術(shù)而言，基于云計(jì)算技術(shù)可以創(chuàng)造更高的效率，在運(yùn)行過(guò)程中不會(huì)占用過(guò)多的計(jì)算機(jī)資源，在此背景下圍繞大數(shù)據(jù)的地鐵客流分析工作具有高度的現(xiàn)實(shí)意義。而大數(shù)據(jù)發(fā)展需要得到云計(jì)算的支持，換言之，在云計(jì)算的作用下能夠提供彈性可拓展設(shè)備，以便大數(shù)據(jù)分析工作的順利展開(kāi)。

參? 考? 文? 獻(xiàn)

[1]殷瑋川，何世偉，李玉斌，等.基于云計(jì)算的地鐵大數(shù)據(jù)分析方法研究[J].鐵道科學(xué)與工程學(xué)報(bào)，2018，15（11）：2995-3002.

[2]朱建生，汪健雄，張軍鋒.基于NoSQL數(shù)據(jù)庫(kù)的大數(shù)據(jù)查詢(xún)技術(shù)的研究與應(yīng)用[J].中國(guó)鐵道科學(xué)，2014（01）：135-141.

[3]蔡昌俊，姚恩建，張永生，等.基于AFC數(shù)據(jù)的城軌站間客流量分布預(yù)測(cè)[J].中國(guó)鐵道科學(xué)，2015（01）：126-132.