基于Hadoop平臺的地鐵NCC數據中心方案研究

朱東升，徐石明，李天陽，葉劍斌，王玉祥

(1.南瑞集團公司(國網電力科學研究院)，南京 210003；2.國電南瑞科技股份有限公司，南京 210061；3.江蘇祥華科技有限公司，東臺 224200)

基于Hadoop平臺的地鐵NCC數據中心方案研究

朱東升1,2，徐石明1,2，李天陽1,2，葉劍斌1,2，王玉祥3

(1.南瑞集團公司(國網電力科學研究院)，南京 210003；2.國電南瑞科技股份有限公司，南京 210061；3.江蘇祥華科技有限公司，東臺 224200)

線網指揮中心是地鐵管理控制中的承上啟下的重要環節，接入線網各線路的控制中心，實時的監測線網整體的運營狀況；并通過與上級政府交通管理部門系統的對接，將相關數據提交至交通管理系統，配合交通管理部門的工作；數據中心是線網指揮中心的核心環節，存儲線網所有線路的生產數據和業務數據；目前線網指揮中心的數據中心都是基于傳統的數據倉庫的架構來創建的，而隨著線路的不斷增多，數據的種類和數量都在不斷增加，傳統數倉暴露出成本高，擴容難，維護困難的缺點；該方案提出的基于Hadoop大數據平臺的數據中心建設方案，極大地降低了使用和維護成本，Hadoop生態圈包含了各類的組件模塊，能夠解決建設和使用中遇到的各類問題，提高了數據中心的性能。

大數據；Hadoop；線網指揮中心

0 引言

隨著國內地鐵投資規模的不斷擴大，各大城市的地鐵規模已逐步形成網絡化的趨勢，新的業務需求也隨之產生，地鐵運營管理也日益復雜，建設線網層級的指揮中心已成為各大地鐵城市的迫切需求。北京是國內最早建設線網指揮中心的城市，線網指揮中心負責協調各運營主體，具有監視，運行協調，應急指揮，信息共享的功能，但由于定位和功能不夠清晰，系統功能也有不成熟的地方，后續北京又進行了二期工程建設，進行了系統擴容，其中基于teradata的數據倉庫建設的數據中心，是數據倉庫在國內地鐵線網指揮中心的首次應用。廣州，深圳也進行了線網指揮中心工程的建設，兩者都利用了數據倉庫建設了線網層級的數據中心，實現生產管理指標分析和運營評估功能。南京，成都，西安等城市的線網指揮中心的建設方案中也包含了數據中心的建設?？梢?，數據中心已經成為各大地鐵城市建設線網指揮中心的重要環節。但由于數據倉庫價格昂貴，數據容量限制等因素，地鐵建設與運營方也在尋找一種新的價格低廉，擴容方便，性能穩定的技術代替數據倉庫。本文介紹一種基于Hadoop大數據平臺的數據中心建設方案，實現了如計算、分析、展示及存儲等基礎服務和相應的指標查詢，客流分析等專業服務。

1 線網指揮中心數據流及原理

本方案中，線網指揮中心由數據源，數據接口平臺，ETL統一管理平臺，數據平臺，應用層組成。數據源系統的數據經過數據接口平臺匯總，ETL工具將數據清洗，并轉成統一的模型存儲到數據平臺層，數據平臺層根據應用層的需求建立數據集市，并通過API，SQL等多種方式提供數據給應用層。線網指揮中心數據流如圖1所示。

數據接口平臺采集PSCADA，BAS，FAS，PSD，ATS等專業的數據，通過ETL平臺按照業務類型存儲到實時數據庫和數據中心。實時數據庫采用Redis等內存數據庫，實時的存儲數據源系統的的當前斷面數據。數據中心是基于Hadoop大數據平臺的架構建造的，是地鐵線網指揮中心的核心部分。數據中心存儲線網海量的設備狀態，行車狀態及客流等生產數據和相關辦公系統產生的業務數據，提供并行的計算和非結構化數據的處理能力，實現低成本的存儲和低時延、高并發的查詢能力，并通過對數據的深入挖掘和分析，建成相應的數據集市，統一地對外部應用提供數據服務。應用層中監察類的應用如行車監察，設備監察，供電監察，客流監察等功能的數據來源于實時數據庫，統計指標類如運營指標，統計分析，運營評估等應用的數據來源于數據中心。

圖2 實時數據流

2 數據中心設計

數據中心是建設地鐵NCC系統的核心，是相關業務系統的數據來源，必須具有很強的數據采集，存儲，開發，管理和分析能力。數據中心主要由實時數據處理模塊和歷史數據處理模塊兩部分組成：實時類數據處理模塊采集，計算，存儲設備的當前狀態數據，并根據應用層的要求提高各類接口服務供外部應用調用。歷史數據處理模塊存儲，分析設備的歷史狀態信息，按照對應的指標體系為指標分析提供服務，針對歷史數據處理模塊存儲的未經處理的設備狀態數據，通過數據挖掘分析工具，預測設備的健康狀態，為維保人員的設備預防性維修提供依據，提高設備使用率和運營安全性。

2.1 實時數據處理

實時數據包括設備的實時狀態數據，各類報警數據等，主要為實時監察類系統提供數據服務。按照功能模塊劃分，實時數據經過“數據采集→數據接入→數據分析計算→數據輸出/存儲”幾個環節，提供給應用層使用。具體功能模塊采用如圖2組件實現。

實時數據通過http的方式發送給flume集群，flume集群中配置http source獲取實時數據，并通過兩級高可用的flume集群將數據轉發給kafka集群中，解決了采集與計算速度不一致的問題。Storm獲取kafka傳遞過來的數據并分發給storm計算節點計算，最終結果存放在redis中供外部應用程序使用。

2.1.1 實時數據采集

NCC數據中心實時數據采集模塊，通過配置需獲取的實時數據的專業，類型等信息，被動的接受數據源系統的數據，數據源系統一旦設備狀態數據發生變化，立即發送給NCC數據中心實時數據處理模塊，保證了實時數據的及時性。數據采集模塊負責從數據源系統采集數據，使用Flume實現。Flume是一種分布式，可靠且高可用的海量日志采集，聚合和傳輸系統。Flume靈活簡易的架構是基于處理流數據而創建的，具有容錯可調的可靠性和故障轉移和恢復的魯棒性。Flume使用一個簡單的可擴展數據模型，允許應用程序在線分析。

2.1.2 實時數據接入

數據采集模塊使用kafka消息中間件來顯示，kafka接受flume發送的數據并輸出給storm，解決了flume數據采集與storm數據處理速度不一致的問題。Kafka是一種分布式的，基于發布/訂閱的消息系統，提供消息持久化能力，即使對TB級別以上的數據也能保證訪問性能。Kafka在主題中保存消息的信息，生產者向主題中保存數據，消費者從主體中讀取數據。

2.1.3 實時數據分析計算

數據分析計算模塊使用storm組件實現，storm是一個分布式，容錯性好的實時計算系統。支持Java，ruby，python等多語言編程并支持擴展。Storm具有極高的容錯性和水平擴展性，可靠的消息處理機制保證了每個消息都能得到一次完整的處理，使用的?MQ作為其底層消息隊列保證了消息能夠得到快速處理。

2.1.4 實時數據存儲

實時數據主要提供給外部監察類應用使用，NCC系統中實時數據存儲采用json格式，數據示例為“TagName:Value”。其中TagName包含設備的專業，站點，點號等信息。Value中存儲了設備的值和狀態信息。根據數據的格式和特點，實時數據采用redis這類key-value存儲系統來實現。Redis是一種高性能的key-value內存數據庫，提供了java，c++，python等客戶端和編程接口，方便系統開發，擴大系統的兼容性。

2.2 歷史數據處理

歷史數據包含線網所有設備的歷史狀態數據，客流數據等，是數據中心的核心。歷史數據經過預處理，建索引，按照主題存儲，并通過指標體系的建立，業務主題分析和統一的業務視圖，最終為外部應用提供數據服務。地鐵運營需根據數據中心產生的統計分析報表獲取線網地鐵運營狀況，客流分布，并為地鐵運行時刻表的編制提供理論依據。后續利用BI工具及復雜的算法，通過對數據的深入挖掘，改善地鐵運營的現狀，實現運營，維保的系統管理。歷史數據處理流程及所用組件如圖3所示。

圖3 歷史數據流

2.2.1 歷史數據采集

本方案實現了三種數據采集方式，包括導出文本文件的方式，運行T+1的定時任務將數據源系統數據以文本文件的形式導出到高可用網絡附屬存儲設備中，flume采取批量的方式將數據寫入到hdfs中；API直接寫入的方式，通過調用kafka api把數據寫入到kafka，繼而經過flume數據存儲到hdfs中；sqoop定時訪問數據源系統數據庫批量及增量導出數據到Hadoop平臺中。三種采集方式的配合使用，最大程度的兼容了不同的數據源系統，發揮了數據中心保存線網相應系統數據的功能，為了后續的數據挖局和分析提供了基礎。

2.2.2 歷史數據存儲

按照數據功能劃分，Hadoop平臺數據存儲分為數據著落區，數據預處理區，索引區，數據存儲區，數據歸檔區，外部數據訪問區六個功能區。數據著落區存儲原始數據，保存時間在一周左右；數據預處理區保存時間若干天，主要為統計和預處理的數據，建立Hive/Impala視圖表；索引區建立數據索引，保留若干個月，提供solar搜索服務；數據存儲區存儲結構化和半結構化數據，數據按照業務類型進行Parquet+snappy壓縮，保留若干年；數據歸檔區按照業務類型存儲永久的原始歸檔數據；外部數據訪問區存儲相應的數據庫表，數據類型為統計和已處理的結構化數據，為對應的業務系統提供數據服務，同時提供統計報表查詢功能。

2.2.3 歷史數據計算

Hadoop平臺中提供了5種主要的計算框架：基于mapreduce/spark的批處理框架，基于impala的交互式sql查詢，基于spark streaming的流計算，基于全文檢索的Solr搜索引擎框架，基于Hbase/Cassandra的高并發實時查詢。根據地鐵線網控制中心的業務需求，本文采用spark用作批處理，定時的計算并生成相應的指標數據，spark適用于批量數據的計算，將中間結果存放于內存當中，具有高效的迭代計算能力，從而進行批處理時更高效；同時應用層需實時查詢相關指標，了解全線所有設備和客流的指標數據。本方案采用impala實現交互式查詢功能，impala是基于內存的大規模并行處理架構，不依賴于底層的map/reduce作業，交互式查詢時具有很短的響應時間，支持主流的Hadoop文件格式保證了應用的廣泛性。

3 應用模塊實現

3.1 實時監察類

實時監察類應用包括行車、供電、設備、客流及應急處置等。其中行車、供電及設備監察應用采用基于B/S架構的綜合監控系統來實現，前端JSP頁面嵌入SVG矢量圖動態的展示設備當前狀態，業務數據來源于數據中心的redis數據庫，模型數據存儲于監控系統本身的關系型數據庫里；客流監察系統主要監測線網各個站的客流量，前端展示采用Echart等開源圖標控件實現；應急處置系統提供了各類緊急情況的應急處置預案，當緊急情況發生時，由系統用戶根據現象確定啟動何種預案，執行記錄會通過文字，電腦錄頻，語音，視頻等形式保存，供后續分析研究。以南京地鐵為例，本方案實現的線網指揮中心全線列車運行如圖4所示。

圖4 全線列車位置實時圖

每條線路代表了一個SVG圖層，用戶可以通過篩選線路的方式查看全線或者某幾條線路的列車運行狀態，其中重要安全事故如異?；馂?，站點大客流等也會顯示在圖中。業主管理方根據全線列車運行狀態和設備狀況，為緊急情況列車運行圖的調整及人流疏散提供依據，提高地鐵運行的安全性，保障了乘客的安全。

3.2 統計分析類

根據國內不同城市地鐵運營的需求以及對軌道行業的分析，總結出客流信息類、清算信息類、票務信息類、列車運行信息類、路網車輛設備故障類、服務類、試運行類、線網指揮中心系統采集類及線網指揮中心設備運行類9大類指標清單。以乘客關注的服務類指標中的自動扶梯可靠度和進出站閘機可靠度兩項指標為例，需統計一定時間內自動扶梯或進出站閘機實際運行時間，并得出與計劃運行時間的比值，根據一定的比例確定設備的健康狀態，為后續的設備評估和運維檢修提供依據。

統計分析是商業智能的一部分，由于商業智能工具的專業行，本方案采用了FineBI商業智能軟件，FineBI是一種輕量級的BI工具，部署方便，升級成本低且易于維護。FineBI基于hadoop平臺中的表間的關聯關系和完整的數據結構進行數據處理和分析，采取cube預處理以及并行計算的先進的數據處理模式，采用高效的智能位圖索引和緩存機制，保證了前端數據展示的響應及時。

用戶通過網頁配置頁面，填入所需的驅動器、URL、數據庫用戶名和密碼及編碼等信息。FineBi同時支持各類主流的包括mysql,oracle,sqlserver等關系型數據庫，以及MongoDB等Nosql型數據庫。

4 實驗結果與分析

4.1 實驗環境

Hadoop平臺創建時已經考慮到脫離對硬件的依賴，故可搭建在從傳統的PC機到大型的服務器等各類機器上。為了更加貼近NCC系統生產環境，本方案采用如今地鐵各類生產系統廣泛應用的主流X86服務器，實驗環境Hadoop平臺的部署采用水平部署方式，采用X86服務器搭建四個節點，其中Hadoop集群采用三個節點，另外一個節點配置redis以及關系型數據庫。每個節點通過一塊千兆網卡與千兆交換機相聯接。網絡結構如圖5所示。

圖5 實驗環境

4.2 數據準備

Hadoop平臺包含了如TestDFSIO，mrbench，nnbench等測試工具，TestDFSIO側重于測試Hadoop的IO性能，mrbench側重于測試任務執行效率，nnbench側重于測試主節點的負載性能。這三種工具能夠從不同方面測試Hadoop的性能，但無法與傳統的數據庫以及MPP數據倉庫的測試結果形成橫向對比。結合NCC業務類型和數據結構，本方案采用TPC-H基準測試方案，模擬各類復雜的查詢和修改操作，從而測試結果更能反應NCC實際應用中的數據訪問性能。數據根據TPC-H標準工具dbgen生成，數據表文件大小如表所示。

表1 數據表文件大小

數據采用Hadoop提供的gpload工具，通過執行gpload -f f導入到Hadoop中，數據導入耗時如表2所示。

4.3 結果分析

本實驗通過分別對100 G和1T的地鐵設備狀態數據執行不同的sql語句，模擬各類的復雜查詢和并行修改操作等，得出每個sql語句的執行時間，并縱向對比100 G和1T數據下同一sql語句的執行效率，得出隨著數據量的增大，Hadoop在處理效率上并沒有得到明顯降低的結論，反應了Hadoop處理大數據的能力。測試結果如圖7所示。

表2 Hadoop導入測試數據耗時

圖7 測試結果

根據測試結果可以得出，在100 G的原始數據情況下，22條sql語句的執行時間都控制在3 s之內，這對于NCC業務系統是可以接受的。1T的原始數據情況下的測試結果也反映，除了4條sql語句，其它測試語句和100 G原始數據的運行時間幾乎一致。通過分析sql語句Q2,Q7,Q9,Q21，以Q2語句為例：

Select s_acctbal, s_name, n_name, p_partkey, p_mfgr, s_address, s_phone, s_comment

From part, supplier, partsupp, nation, region

where

p_partkey = ps_partkey

and s_suppkey = ps_suppkey

and p_size = 35

and p_type like '%NICKEL'

and s_nationkey = n_nationkey

and n_regionkey = r_regionkey

and r_name = 'MIDDLE EAST'

and ps_supplycost = (

select min(ps_supplycost)

from partsupp, supplier, nation, region

wherep_partkey = ps_partkey

and s_suppkey = ps_suppkey

and s_nationkey = n_nationkey

and n_regionkey = r_regionkey

and r_name = 'MIDDLE EAST'

)

order by s_acctbal desc, n_name, s_name, p_partkey limit 100;

Q2語句包含復雜的如聚焦操作、子查詢、排序及多表聯合查詢等復雜的查詢邏輯，不可避免地隨著數據量的增大會對性能造成影響。但這類復雜查詢邏輯一般應用在統計分析業務系統中，根據統分系統的非實時性特點，得出測試結果同樣控制在NCC可接受的范圍中的結論?？梢娫诖蟛糠謶脠鼍暗那闆r下，Hadoop平臺都能完美地解決問題，并在數據急劇擴張的情況下都能保持良好的性能。

5 結語

不同于傳統的基于MPP數據倉庫建立的數據中心，本方案提出的基于Hadoop的數據中心建設方案，具有很強的技術先進性，支持結構化，半結構化，非結構化各類數據的存儲和查詢，支持批量，實時各類數據采集方式，在軟件層面提高了數據的存儲計算可靠性，同等計算能力的情況下，成本比傳統的MPP數據倉庫低廉，解決了使用數據倉庫建設數據中心擴容難，成本高，維護困難的缺點。越來越多的科技企業如華為、浪潮、Cloudear及谷歌等都加入到了Hadoop相關產品的研究和開發中，使得Hadoop生態圈的不斷發展，Hadoop產品也趨于穩定。國內北京地鐵就正實施將以前基于數倉建設的數據中心遷移到Hadoop平臺中，也證明了Hadoop的優勢。基于Hadoop數據中心的數據挖掘，分析將給地鐵運營帶來巨大的價值，提高地鐵運行的穩定性和運行效率，更好地服務乘客。

[1] 陳達倫，陳榮國，謝 炯. 基于MPP架構的并行空間數據庫原型系統的設計與實現[J]. 地球信息科學，2016(2):151-159.

[2] 王德文. 基于云計算的電力數據中心基礎架構及其關鍵技術[J]. 電力系統自動化，2016(11):67-71,107.

[3] 丁澤柳，郭得科，申建偉，等. 面向云計算的數據中心網絡拓撲研究[J]. 國防科技大學學報，2011(6):1-6.

Research of Hadoop Platform for Metro Data Center Construction

Zhu Dongsheng1,2,Xu Shiming1,2,Li Tianyang1,2,Ye Jianbin1,2,Wang Yuxiang3

(1.NARI Group Corporation (State Grid Electric Power Research Institute) ,Nanjing 210003,China;2.NARI Technology Co.,Ltd.,Nanjing 210061,China;3.Jiangsu Xiang Hua Technology Co., Ltd., Dongtai 224200,China)

The network control center, which access to the line operation control center, plays an important role in the metro management and control by the way of real time monitoring the overall operation status of the metro network. And also submit the relevant data to the traffic management system so as to coordinate with the work of the government traffic management department. The data center, which stores the overall network production data and business data, is the core of the network control center. At present, the data center of the network control center constructed based on the traditional data warehouse architecture. With the number of the line and data increasing, the traditional warehouse exposed high cost, difficult expansion and maintenance and other shortcomings. This paper proposes the data center construction scheme based on the Hadoop big data platform, which greatly reduces the use and maintenance costs. The Hadoop ecosystem contains various modules, can solve all kinds of problems encountered in the construction and use of the data center, as the result, improves the performance of data center.

bigdata; Hadoop; netwotk control center

2017-05-17；

2017-06-07。

朱東升(1987-)，男，碩士，工程師，主要從事電力系統及其自動化，軌道交通電氣化及自動化，WEB前后臺框架方向的研究。

1671-4598(2017)12-0224-04

10.16526/j.cnki.11-4762/tp.2017.12.058

TP311.13

A