鐵路大數據應用實踐及展望

馬小寧

（中國鐵道科學研究院集團有限公司 鐵路大數據研究與應用創新中心，北京 100081）

自2011年大數據作為一個完整的技術詞匯面世以來，已在全球掀起一場思維變革的浪潮。當前，全球的數據總量正呈指數增長，過去兩年間產生的數據量超過以往總和。大數據技術已成為新一輪科技革命的制高點，發達國家紛紛加快布局，推動大數據發展和應用，中國對于大數據更是寄予了超常的重視及期待。從2014年至今，大數據已連續6年出現在國務院政府工作報告中，在2019年的政府工作報告中提出，深化大數據、人工智能等研發應用，使中國從“數據大國”邁向“數據強國”。

中國鐵路一貫重視數據資源的開發利用，伴隨著整個鐵路信息化過程，圍繞數據處理、數據資源共享、數據挖掘分析、數據可視化等開展了一系列探索應用，為大數據工作奠定了堅實基礎。在數據分析方面，客運領域開展了客流預測、旅客群體分析和互聯網風控分析，貨運領域開展了市場價格監測、客戶流失預警、貨運收益管理，移動裝備領域開展了動車組保有量分析、動車組開行分析、動車組生產力布局分析，基礎設施領域開展了軌道檢測、鋼軌探傷分析，行車安全領域開展了綜合報警分析、問題規律分析、設備技術狀態評價等研究應用。但總體來看，上述應用還都局限于點狀應用，分析的深度及作用有限，大數據應用還處于起步階段。

2017年是鐵路大數據的全面開局之年，中國鐵路總公司發布《鐵路大數據應用實施方案》[1]，作為頂層設計文件，為全路大數據工作指明了方向。同期，鐵路數據服務平臺的基本功能研發完畢，為鐵路大數據應用奠定了技術基礎[2]。2018年，基于“平臺+應用”模式，大數據應用在多個鐵路局集團公司（簡稱：鐵路局）同步展開，探索大數據的應用模式，取得顯著的成績。2019年是第3個年頭，鐵路大數據應用也進入全面深化應用的階段。目前，中國鐵路大數據正處在一個承上啟下的關鍵階段，有必要總結前兩年的經驗與不足，借鑒國內外大數據應用成功經驗，理清思路，把準方向，全面推進大數據工作健康、快速發展。

1 大數據價值分析

大數據時代，數據已成為國家基礎性戰略資源，數據規模和數據運用能力成為評價國家綜合國力的重要標志，大數據被譽為未來的新石油和鉆石礦[3]。在開展大數據應用之前，需要明確大數據帶來的價值到底有哪些，可以分為技術和業務兩個層面。

1.1 技術層面的價值

大數據技術層面的價值是指，不涉及任何業務功能，僅通過大數據技術的應用，提升既有應用的速度和效率。大數據指代具有4V特征的數據集合，即：體量大，類型多，處理速度快，價值密度低。對于此類數據，傳統的數據處理技術已經難以應對。數據量大，處理速度變慢，處理結果反饋時間過長，難以滿足應用的時效性要求，用戶體驗降低；對于大量的視頻、音頻、圖片、網絡日志等非結構化數據，傳統的數據處理技術無法處理，導致大量有價值信息的流失。通過使用分布式存儲、分布式計算、內存計算等大數據技術，將一個大型的數據處理任務化整為零，分散到多個服務器并行計算，極大地提升處理的速度，快速得到處理結果。通過使用非結構化文本分析技術、基于深度學習的圖像識別技術，可以對分結構化的數據進行快速、準確地處理和分析，提取出其中有價值的信息。

1.2 業務層面的價值

大數據業務層面的價值是指，通過對數據的收集、整理、處理、分析，從中得到之前隱藏在背后的有價值的信息，對于決策判斷提供重要的輔助支撐。在《促進大數據發展行動綱要》[4]中提出，發現新知識、創造新價值、提升新能力，用數據說話、用數據決策、用數據管理、用數據創新，正是對此的詮釋。

大數據的意義或價值歸根到底是4個字：輔助決策。利用大數據分析，能夠總結經驗、發現規律、預測趨勢，由經驗支持決策向數據支持決策轉變。通過對相關數據的收集和分析，為管理決策提供依據，可以避免個人意志帶來的主觀性、片面性和局限性，可以減少因缺少數據支撐而帶來的偏差，降低決策風險。

2 鐵路大數據應用實施方案

鐵路行業是大數據技術富有現實意義的應用領域之一，鐵路大數據是國家大數據的重要組成部分，中國鐵路高度重視大數據技術的應用。然而鐵路大數據作為一個復雜的系統工程，涉及面廣，建設周期長，需要頂層設計的支撐。2017年，鐵路總公司編制并發布了《鐵路大數據應用實施方案》，為全路大數據工作繪制了總體藍圖，指明了發展方向。

2.1 核心內容

《鐵路大數據應用實施方案》的核心內容可以概括為“1+2+N”，即：1個平臺，2大體系，N項應用。如圖1所示。

圖1 《鐵路大數據應用實施方案》的核心內容

2.1.1 1個平臺

“1個平臺”是指數據服務平臺。數據服務平臺是鐵路信息化規劃中的重要基礎平臺，是一體化信息集成平臺的重要組成部分。數據服務平臺的功能是承載數據的接入、存儲、分析及應用。按照總體規劃的要求，所有大數據應用都是基于數據服務平臺開展，即“平臺+應用”模式。所有業務系統中的數據都要采集到數據服務平臺，平臺對于數據進行治理清洗，形成統一規范的數據資源，再為上層大數據應用提供數據支撐，從而確保“數出一門、統一管理”。

2.1.2 2大體系

“2大體系”是指支撐大數據應用順利開展的保障體系，包括數據治理體系和安全保障體系。數據治理體系包括大數據應用的組織機構體系以及大數據標準體系。安全保障體系包括大數據安全防護技術、安全標準規范、安全測評機制等。

2.1.3 N項應用

“N項應用”是指基于數據服務平臺開展的鐵路領域的N項大數據重點應用，N是隨著業務發展逐步擴充的，目前是16項重點應用[5]。具體包括：運輸調度大數據應用，客運大數據應用，貨運大數據應用，精準客服大數據應用，設備狀態大數據應用，價格分析大數據應用，安全風險管控大數據應用，建設管理大數據應用，經營開發大數據應用，警務大數據應用，審計大數據應用，輿情和職工思想動態大數據應用，人力資源大數據應用，財會管理大數據應用，物資管理大數據應用，計劃和統計支持大數據應用。

2.2 發展階段

按照各業務領域大數據應用的發展成熟度和緊迫程充，鐵路大數據應用將分3個階段有序推進，如圖2所示。

圖2 鐵路大數據應用發展階段

（1）2017-2018年，強化基礎，重點突破。此前，鐵路大數據應用的基礎尚薄弱，現階段首要任務是建立健全數據標準、數據管理的體制機制、技術平臺、人才隊伍等基礎設施，圍繞個別重點應用開展先行先試。

（2）2019-2020年，深化應用，持續提升。在數據服務平臺初步建成的基礎上，開展數據資源匯集，建立大數據應用的數據基礎，進而開展各專業大數據應用。在本階段，專業內大數據應用全面深化，跨專業大數據應用全面展開，跨行業大數據應用初步啟動。

（3）2021-2025年，全面應用，引領行業。專業內、跨專業大數據應用得到全面深化，跨行業大數據應用取得顯著成效，鐵路大數據在行業外的影響力顯著提升。

3 鐵路數據服務平臺研發

3.1 鐵路數據服務平臺總體架構

鐵路數據服務平臺是鐵路一體化信息集成平臺的重要組成部分，統一為各業務應用系統提供基礎數據、共享數據和大數據分析服務。該平臺由基礎數據管理、數據集成、數據共享、大數據存儲與分析4部分組成[6-8]，如圖3所示。

（1）基礎數據管理：用于實現鐵路主數據、地理信息及元數據的規范化管理；

（2）數據集成：用于實現結構化數據和非結構化數據的抽取、轉換和導入；

（3）數據共享：用于實現結構化數據及非結構化數據的瀏覽及共享；

（4）大數據存儲與分析：按照主題域在數據倉庫組織數據，并根據業務應用需要將數據發布到數據集市，提供數據分析、多維報表、管理員駕駛艙、數據挖掘等功能。

圖3 鐵路數據服務平臺總體架構

3.2 鐵路數據服務平臺研發

鐵路數據服務平臺基于Hortonw orks Data Platform（HDP）開源組件進行自主研發[9-10]，主要開發及創新工作如下：

（1）基于Spring Cloud的微服務架構設計開發，利用HDP集成大數據組件；

（2）利用Ambari對大數據組件的運維管理和可視化狀態監控；

（3）針對Hadoop源碼進行深度優化，解決組件兼容性問題，提升處理性能；

（4）構建多租戶管理體系，結合Kerberos和LDAP認證對用戶的功能權限、資源權限、數據權限進行細粒度控制；

（5）研發平臺和數據審計功能，針對用戶操作和數據流轉全過程實現跟蹤和追溯；

（6）構建多元異構數據的數據集成和全過程監控，實現數據的加密存儲和脫敏配置功能；

（7）設計全生命周期元數據管理模式，實現元數據血緣關系和影響分析功能；

（8）基于分布式系統架構，設計Spark引擎，實現海量數據質量稽核；

（9）構建數據資產目錄，提供統一資產視圖，實現數據資產管理；

（10）創建鐵路業務模型，提供在線腳本開發環境，支持Java、Python、R等多種開發語言；

（11）集成優化presto可視化引擎，提供交互性強、易用性好的數據可視化環境；

（12）提供租戶數據共享申請審批流程管理及數據接口的創建發布管理，提供高性能、高可用的數據應用程序接口（API）服務。

3.3 鐵路數據服務平臺服務模式

未來數據服務平臺面向兩個層面，提供兩大類服務，如圖4所示。

圖4 數據服務平臺服務模式

4 鐵路大數據應用實踐及存在問題

4.1 鐵路大數據應用實踐

2018年，在《鐵路大數據應用實施方案》指導下，各鐵路局相繼啟動大數據工作，可謂百花齊放，各展所長。此階段對于大數據的應用模式、建設路徑等關鍵問題進行了探索，形成了許多可復制、可推廣的有益經驗。下面介紹幾個典型的應用案例。

4.1.1 安全管控大數據應用

運用大數據技術開展安全生產規律性、傾向性、關聯性特征分析，深度挖掘事故、故障變化趨勢和作業行為習慣，研判風險發展規律，及時發現隱患特征，指導對安全方向和隱患的超前防控，提高安全管理、生產組織和過程控制的針對性，實現事前有預測、事中有監控、事后有分析的安全管理新機制。

遵循“人機料法環”的主線，逐步接入影響安全的各類檢測監測信息，實現對安全事故故障的超前防控，其中，重點是人員和設備。目前，已實現人員及設備的安全狀態畫像，如圖5所示。

圖5 安全管控大數據應用

（1）人員畫像。收集人員年齡、工齡、學歷、培訓等靜態數據，以及標準化程序落實、監督檢查問題、典型故障發現等動態信息，對人員安全狀態進行綜合評價，實現管理人員靶向精準監督檢查。

（2）設備畫像。基于設備的各類檢測監測信息，建立科學的評價體系，客觀真實地評價設備的安全狀態，實現對設備的精準管控及對設備故障的超前預警。

4.1.2 基于大數據的電務智能運維

解決電務信號“三級四層”結構復雜、服務器設置分散問題，實現通信信號數據融合匯聚，綜合使用多種智能化分析技術，實現對電務設備的綜合化、智能化分析。

按照“集中化、可視化、智能化、自動化”的設計原則，整合電務網管、各類檢測監測裝備所采集的技術狀態數據，實現電務設備設施單元技術狀態全壽命周期的管理，并進行綜合分析評價；實現采集數據自動共享、設備隱患自動報警、設備故障自動診斷、應急處置自動啟動、維護作業自動派工、作業過程自動監控、設備生命自動管理。

4.1.3 基于大數據的應急調度指揮

使用大規模分布式非結構化文本檢索，依據輸入的關鍵字在歷史文本庫中查詢類似案例，對歷史案例進行文本分析，挖掘歷史案例中事故、故障的發生規律，提供決策支持。

在檢索歷史案例的基礎上，依據從文本報告中提取的時間、車型、故障描述、故障發生位置等多種特征，結合歷史數據分析，預測事故、故障造成影響的嚴重程度，從而預先準備相應級別的應急預案。

4.2 大數據應用層次分析

對比各鐵路局既有大數據應用，其應用水平參差不齊，可分為3個層次。

4.2.1 集成整合

數據集成整合是大數據應用的第1個層次，同時也是基礎。將分散在各個系統中的數據整合至一個平臺中，打破數據壁壘，實現數據的關聯、共享和跨專業綜合展示，包括“一桿一檔”、“一車一檔”、“一公里一檔”、“一件一檔”等等。例如，“一桿一檔”：（1）為每個供電桿建立基礎履歷檔案，包括廠家、服役時間、歷史故障次數、上次故障時間、檢修時間等；（2）建立從設備到故障，再到人員之間的關聯聯系。從設備關聯到其歷史上發生的故障信息，再由每一次故障關聯到故障的維修人員，并查詢看到該維修人員的檔案、歷史業績、獎懲信息等。

4.2.2 統計分析

在第1層次基礎上，對于存儲的海量歷史數據，從不同維度進行統計并對比分析。同比、環比，不同廠家對比、不同型號對比、各專業對比、各單位對比，并借助豐富的可視化工具進行多樣化展示，從而找出時間、空間、數據關聯等方面的規律，獲取對于數據更深入的觀察和分析。大數據時代，可視化技術得到了長足的發展，無論從外觀上還是內涵上，都比傳統的圖表有了質的提升。該層次的大數據應用，實施難度較低、能夠快速見效，目前，多數大數據應用都停留在此層面。

4.2.3 趨勢預測

大數據最吸引人、價值最高的地方在于預測、預警，也是最難實現的。預測的核心是建立預測模型。預測模型是用數學語言或公式所描述的事物間的數量關系，它在一定程度上揭示了事物間的內在規律性。找出影響某種結果的幾個因素，建立因與果之間的數學模型，根據因變量的變化預測結果變量的變化。當結果變量超過臨界值時進行報警，以預先采取應對措施。如設備健康狀態預測、行車安全事故預測等都屬于此類應用。預測模型包括：灰色模型，回歸模型，時間序列模型，神經網絡模型等。這些預測模型各有優劣，根據特性適用不同場景。

4.3 存在問題

4.3.1 基礎設施缺失

大部分大數據應用還是基于傳統的信息化底層架構，未采用分布式計算架構。傳統架構在數據量不大、數據類型單一的情況下尚可應對，但隨著數據量的逐步積累及應用場景的增加，勢必出現資源緊張造成的性能大幅下降。因此，開展大數據應用，還需統籌規劃，盡快搭建與大數據應用相匹配的底層技術平臺。

4.3.2 應用層次不高

從功能上來看，很多是基礎信息化的內容。大部分應用還停留在統計分析、可視化展示的層面，缺乏更深一步的預警預測等亮點應用，缺乏跨專業的綜合性分析應用。

4.3.3 應用之間缺乏統籌

個別單位同步開展多個領域的大數據應用建設，缺乏統籌規劃，應用之間存在交叉及重復，形成了新的業務域豎井和數據孤島。

4.3.4 與原有業務系統之間界面不清晰

應用所面向的用戶未界定清晰，與原業務系統之間關系沒有處理好，導致新開發的大數據應用與原業務系統功能存在交叉。

4.3.5 大數據應用的最后一公里問題

對于第2個層次的大數據應用，通過多種形式給用戶展現了海量的信息，揭示了業務的規律及發展方向。但通過這些信息，用戶應當做哪些決策，采取哪些措施，沒有明確的界定。因此，所展示的信息與最后決策之間建立明確關聯關系還有待繼續探索。

5 鐵路大數據發展展望

自全路大數據應用全面啟動至今，已經歷2年，目前，進入一個承上啟下的關鍵階段。需要全面總結前期經驗及不足，對未來工作進行統籌布局[11]。下階段，鐵路大數據工作應圍繞以下方面展開。

5.1 全面構建兩級數據服務平臺體系

按照信息化總體規劃，數據服務平臺是開展大數據應用的基本技術平臺。數據服務平臺兩級部署，分別承載鐵路總公司及鐵路局級應用。目前，鐵路總公司級平臺已部署完畢，近期將提供常態化服務。在鐵路局級層面，平臺已落后于大數據應用，需要加快推進平臺建設，更好地為上層應用提供支撐。

5.2 開展數據資源匯集

大數據應用，數據是核心和命脈。數據服務平臺建成后的首要任務就是開展數據匯集：（1）需要建立數據資源規格標準；（2）要明確數據匯集的各角色，包括：數據采集，數據質量管理，數據運營等；（3）需要科學劃分、切實保障數據擁有方的利益，這樣才能打消顧慮，真正促進數據的共享。

5.3 建立運營服務體系

按照數據服務平臺規劃，對外提供數據共享及平臺的計算存儲能力。在服務提供之前，需要明確基本的運營服務體系，包括提供服務的范圍、服務模式研究、申請流程、審批流程等。

5.4 全面深化大數據應用

應用功能是大數據的核心。鑒于前期多數大數據應用的層次不高，還停留在簡單的統計分析層面，甚至只是基礎信息化的功能。因此，還需圍繞《鐵路大數據應用實施方案》，緊抓業務痛點，研判數據分析需求，全面深化各應用的功能點，真正做到發現新知識、創造新價值、提升新能力。

6 結束語

大數據是全面貫徹落實鐵路總公司智能鐵路戰略的有力抓手，是建設智能京張、智能京雄、智能川藏的基礎性工作。鐵路大數據經過近兩年的應用實踐，取得了豐碩的成果，積累了相當的技術和經驗，即將進入全面深化應用的階段。未來還需加快推進兩級數據服務平臺體系的構建，分期分批完成各專業數據資源的匯集，建立健全運營服務體系，推進數據服務平臺的常態化服務。在此基礎上，全面深化大數據應用，為建設智能型鐵路提供平臺保障。