鐵路物資應用大數據管理解決方案

宋興順

摘要：近年來，隨著我國鐵路的快速發展，大量新技術、新裝備廣泛應用，提升了路網質量和裝備水平，擴充了鐵路運輸能力，同時鐵路各專業系統信息化建設也同步取得了重要進展，信息化技術已成為推動鐵路提升生產、經營、管理水平重要、核心的手段之一；全路的物資管理和供應部門，同樣上線應用了鐵路物資管理信息系統、物資采購商務平臺系統、供應商評價系統以及供應商績效考核信息系統等物資管理多項信息系統。

關鍵詞：物資信息系統；大數據；解決方案

中圖分類號：TP315 文獻標識碼：A 文章編號：1007-9416（2017）03-0100-02

鐵路物資應用大數據管理系統首先構建物資專業數據庫，需要補充和完善需要的數據項，構建物資專業全量數據體系，例如增加重要物資的生產日期，技術證件（復印件或圖片），驗收記錄，復檢復驗業務數據，質量問題圖片數據，供應商的生產許可數據、生產資質（圖片）等數據；其次完善物資管理職能，豐富和增加基礎數據源，例如修舊利廢管理，廢舊物資管理等，在提高對廢、舊物資管理的同時，完善物資管理數據源；系統通過歸集處理，完成對物資專業產生的數據、與物資有關的其他數據、來自互聯網上的相關數據，還包括手工編輯導入的數據等集中處理，將這些數據（結構化、非結構化）歸集到大平臺數據庫中，形成數據源；數據存儲和處理，采用大數據技術對歸集的數據源進行清洗、轉換并存入不同的數據庫，并進行匯總、挖掘處理，形成對外統一的大數據接口；數據查詢、分析和預測系統對處理后的大數據根據業務需求進行各種統計、查詢和預測，達到讓數據張口，靠數據說話，減少因缺少數據支撐而帶來的偏差，降低決策風險。

1 物資管理數據體系

在物資管理信息系統中，增加物資的生產日期、入庫驗收信息，相關技術證件、復檢復驗數據等；在物資質量問題反饋管理中增加質量問題圖片；增加物資屬性圖片及供應商的詳細信息（如生產規模、信譽等級、資質、生產許可和認證等），建立物資專業基本信息庫，形成物資管理全量數據體。

1.1 完善物資管理職能

增加修舊利費管理子系統，對卸下的配件經過維修再利用，提高物資的使用率；增加廢舊物資管理子系統，將報廢的各類物資進行分類歸集，由物資處進行統一處置，清算處理，沖減成本；增加物資質量跟蹤管理子系統，與各專業的生產檢修系統進行互聯互通，實現對物資采購、檢驗、使用、維修、報廢等全過程管理。

1.2 數據采集

數據采集就是從數據源收集、識別和選取數據的過程，隨著業務的進行，各類數據的累積越來越大，如何有效地收集這些數據，保證采集數據的可靠性，避免重復數據，保證數據的質量，是數據采集這個環節需要解決的。

數據采集分為兩個來源：數據來自應用系統之外，簡稱為外部采集；數據來自引用系統內部，簡稱為內部采集。

外部采集主要來自物資經營的專業網站，例如東方財富網等其他一些網站，數據包括關注物資的價格變化數據，供應商的生產、銷售數據，價格數據；還包括國家統計部門發布的GDP、PPI和CPI等；包括總公司、路局專業處室的下一時間段的大修、更新項目計劃數據，主要用來分析和預測價格走勢，下一階段的物資采購預測等。

1.3 數據挖掘

數據挖掘作為一種決策支持過程，高度自動化地分析企業的數據，做出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調整市場策略，減少風險，做出正確的決策。針對歸集的大量相關業務數據，進行清洗、刪除和處理，保證數據的有效性和正確性，然后分析物資專業所關注各項內容（或關鍵指標）之間潛在的關系，找出影響分析結果的主、次因素，作為數據挖掘的基礎。

2 數據分析和展現

在大數據分析與業務協同的基礎上，利用基本分析引擎驅動的圖形信息顯示功能，建立管理儀表盤跟蹤、分析、監控、預測關鍵指標和目標，實現對物資價格預測、需求和采購分析、質量跟蹤、廉政風險防控等業務決策模型的最終分析運用結果進行展現。

2.1 重要物資價格變化趨勢

根據每月產生的采購價格，形成價格的直觀圖表，同時可以關聯相關數據預測未來一段時間內的價格走勢；也可以顯示歷史（一年前過兩年前的）變化，作為比較依據。

2.2 重要物資需求預測分析

根據物資大數據，可以分析預測出下年度的重要物資的需求數量，以便根據市場情況，提前做出采購預算，保證供應；分析結果可以通過報表或柱狀圖展示。

2.3 物資采購綜合分析

根據物資大數據，對物資采購的各項指標進行綜合分析，包括采購周期、采購方式、物資使用方向、采購金額、供應商反饋及問題投訴，從中發現可能存在的廉政風險，強化陽光采購。

2.4 庫存周轉與采購周期分析

根據物資專業大數據，對全局的庫存物資的周轉天數（能夠按照物資小類、物資大類等）及相對應的采購周期進行分析，查找周轉天數差異，找出問題所在，提高庫存的周轉率，杜絕庫存積壓、減少庫存資金占用；分析結果通過報表或圖形展現。

3 技術方案

總體架構。整個架構分為5層：

數據源層，處于整個架構的最底層，包含物資管理系統及與之關聯的全部業務數據：結構化、半結構化和非結構化。

獲取層：數據采集（ETL），負責對源數據的采集、清洗、轉換和加載，包括：把原始數據加載到Hadoop平臺。

數據層：包括主數據倉庫、分布式數據庫及Hadoop云平臺，Hadoop云平臺負責存儲海量的單據數據，提供并行的計算和非結構化數據的處理能力，實現低成本的存儲和低時延、高并發的查詢能力；主數據倉庫（與MPP合設）負責存儲指標數據、KPI數據和高度匯總數據；分布式數據庫（MPP）負責存儲加工、關聯、匯總后的業務數據，并提供分布式計算、支撐數據深度分析和數據挖掘能力，向主數據倉庫輸出KPI和高度匯總數據。

能力層：負責向上層的應用方提供大數據平臺能力，同時提供統一的數據開放接口，使多方大數據應用方享用。

應用層：為用戶提供大數據平臺的數據分析、查詢、挖掘等功能，實現對物資管理專業的需求預測、采購預期、價格走勢、物資質量跟蹤、供應商績效考核等綜合分析。

4 安全方案

基于信息安全等級保護二級要求落實安全措施的要求，結合本系統的具體需求，在系統設計時，應重點考慮應用安全、數據安全和網絡安全三個方面。

4.1 應用安全

應用安全是信息系統整體防御的最后一道防線。在應用層面運行著信息系統的基于網絡的應用以及特定業務應用。基于網絡的應用是形成其他應用的基礎，包括消息發送、web瀏覽等，可以說是基本的應用。業務應用采納基本應用的功能以滿足鐵路物資管理信息系統的要求。由于各種基本應用最終是為業務應用服務的，因此對應用系統的安全保護最終就是如何保護系統的各種業務應用程序安全運行。

4.2 數據安全

系統處理的各種數據（用戶數據、系統數據、業務數據等）在維持系統正常運行上起著至關重要的作用。一旦數據遭到破壞（泄漏、修改、毀壞），都會在不同程度上造成影響，從而危害到系統的正常運行。由于物資應用大數據管理系統的各個層面（網絡、主機、應用等）都對各類數據進行傳輸、存儲和處理等，因此，對數據的保護需要物理環境、網絡、數據庫和操作系統、應用程序等提供支持。各個“關口”把好了，數據本身再具有一些防御和修復手段，必然將對數據造成的損害降至最小。

另外，數據備份也是防止數據被破壞后無法恢復的重要手段，而硬件備份等更是保證系統可用的重要內容。

4.3 網絡安全

網絡安全為物資應用大數據管理系統在網絡環境的安全運行提供支持。一方面，確保網絡設備的安全運行，提供有效的網絡服務，另一方面，確保在網上傳輸數據的保密性、完整性和可用性等。該系統納入鐵路總公司、鐵路局網絡和信息安全保障體系中。

4.4 關鍵技術

大數據并非一項新技術，其前身是商務智能BI，是一系列信息技術的集合。怎樣將數據中的價值挖掘出來，并以直觀、清晰地方式展現在人們面前，是大數據解決的基本問題。數據展現通過借助表格、圖片等手段，揭示隱藏在數據背后的模式與數據之間的關聯關系，它以簡單、友好的方式將這種關系呈現給用戶，可以有效地提升數據的使用效率。該系統包括數據采集、數據管理、計算處理、數據分析和數據展現5個技術環節。

數據存儲是大數據時代需要解決的重要問題。目前，鐵路物資系統保存了大量的結構化數據，然而亟待解決的是海量半結構化和非結構化數據的存儲問題。非結構化的數據主要采用對象存儲系統或分布式文件系統進行存儲，本文采用Hadoop分布式文件系統。Hadoop基于一種開源的理念實現的分布式文件系統；半結構化數據可以使用NoSQL數據庫HBase中存放；結構化數據存放在關系型數據庫Oracle或SQL Server中。HDFS（Hadoop Distributed File System）是Hadoop的核心模塊之一，具有如下特點：

在一個多節點塊集群存儲文件；在節點間復制模塊；主從架構；沒有文件更新；一次寫，多次讀；大數據塊順序讀模式；為批處理設計。

大數據時代的數據有以下幾個特征：大體量（Volume）、多樣性（Variety）、大價值（Value）、時效性（Velocity）、準確性（Veracity）的5V特點。常規的數據分析僅僅是對己有數據的靜態分析，并不能進行動態的預測，而物資系統要求動態實時的反應生產實際，所以該系統大數據分析的難點是動態化、多維化和深度化。

適用于大數據的技術，包括大規模并行處理（Mpp）數據庫，數據挖掘電網，分布式文件系統，分布式數據庫，云計算平臺，互聯和可擴展的存儲系統。

5 結語

5.1 實施策略

大數據平臺的建設工作量大、周期長、涉及部門多，系統的實施應遵循統一指揮、統一規劃的原則，系統實施過程采用分步建設、試點先行的原則，在明確分工的基礎上，大力協同，科學實施，確保各項工作的有序推進。

5.2 項目實施組織

成立物資應用大數據管理信息系統項目工作組，按照本方案有序推進實施工作。項目工作組負責總體指導和統籌協調，解決系統工程建設中的重大問題，確保按統一規劃和建設標準進行實施；協調設計單位、相關接口系統的設計開發單位、業務處室和站段直接的分工協作。

成立專家組負責業務指導和技術把關，為項目開發和實施過程中出現的問題提供咨詢支持。

成立項目總體組，負責項目總體設計、進行任務分工、把握項目進度、協調項目組內部工作等，下設數據組、軟件開發組與實施組、質量保證組。

物資應用大數據管理信息系統的建設可以有效地提升物資管理水平，可以對市場價格及路局下一階段重要物資的需求有一個相對準確的預判，根據大數據的預測提前部署物資的采購工作，可以保證全局的物資供應；通過大數據平臺的應用可以實現物資質量跟蹤與供應商評價有機結合；實現對物資庫存數據的挖掘和分析，可以降低庫存物資，減少物資積壓，提高對廢舊物資的有效利用，對降低物資消耗有積極作用。