基于大數據的全國煤炭交易數據分析平臺研究與實現

中國電力傳媒集團有限公司 闞守輝

早在二十世紀90 年代初，我國就已經開始了煤炭交易市場（中心）的探索。在我國一些煤炭資源豐富的地區、主要的煤炭消費城市以及煤炭運輸中轉站，相繼出現了區域性的煤炭交易中心，如上海、天津、秦皇島、東北（大連）、北京、太原、內蒙古等地形式不同的交易市場陸續建成開業。此外，還有多家煤炭交易市場在籌建之中。然而，目前的煤炭信息主要屬于行業性、區域性的，分散在各交易市場和行業組織之中，相互之間信息不透明，更無法形成完整、準確的全國性信息。從國家層面來看，相關管理部門需要收集各地市場的交易數據，但數據的實時性、準確性、完整性達不到預期，也就無法更好地對全國范圍的煤炭市場交易情況作出預判、預警、預知及宏觀調控。對于參與到煤炭交易過程中的生產商、采購商、經銷商等相關主體，也只能根據在不同市場的參與度，部分了解區域范圍內的行情、價格、趨勢等，無法對全國范圍內的煤炭交易情況作出一個宏觀的判斷。

為了順利完成國家能源局提出的“服務能源企業科學發展，服務能源行業健康發展，服務國家能源安全發展、科學發展、可持續發展”的工作任務，中國電力傳媒集團積極探索研究煤炭與電力行業的新業務市場，提升服務政府、行業、企業的能力，提升在能源領域的影響力、權威性和競爭力，以構建現代文化企業為核心目標，發揮自身電力行業龍頭媒體運營者的優勢，整合內外部各方面的力量，籌建全國煤炭交易數據分析平臺。

建設目標

依托互聯網+行業創新思維、大數據思維，建設集數據采集、數據融合、數據處理為一體的，采用成熟平臺+開源組件的大數據平臺。全國煤炭交易數據分析平臺的主要功能是以互聯網絡為載體和渠道，通過建立和應用互聯網+煤炭（能源）數據信息新模式，對分散在全國各地、不同體制的煤炭交易市場的交易數據進行鏈接和采集，對收集到的相關數據進行分類、聚類、一致與差異性分析與統計，結合地理信息系統對數據進行可視化轉換觀測，對采集大數據進行挖掘和分析，從而提煉出數據的價值，為國家能源局及時掌握煤炭交易情況、開展行業調研、進行戰略決策提供數據支持，為電力企業科學用煤、降低煤耗、減少排放提供更加全面的市場選擇，為煤炭生產、物流企業科學安排生產、調度運力提供準確信息。

技術路線

為滿足全國煤炭交易數據分析平臺系統項目的建設目標要求，保障系統的先進性，確保系統運行的穩定可靠，系統架構的設計需要滿足高性能、高可用、可擴展、低耦合高內聚、前端動靜分離要求，選擇主流、成熟、穩定的技術或組件。關鍵開發軟件選型見表1。

平臺系統設計

平臺軟件架構設計

平臺軟件架構設計如圖1 所示。

在系統軟件架構設計方面，主要包含以下幾方面內容。

業務運營支撐系統：由平臺廣告管理系統、統一平臺會員管理系統、統一平臺權限管理系統、媒體文件管理系統及數據采集中心接口系統組成。以上各子系統完成平臺基礎數據的收集管理、對外交易中心數據的采集管理和存儲，以及大數據挖掘后產生的統計、分析數據指數、圖表、報表、報告等支撐數據體系。

應用服務子系統：由會員管理系統、煤炭交易數據管理、煤炭行業信息發布管理系統、多媒體內容管理系統、數據挖掘信息報告及商業咨詢服務管理子系統組成，提供對外的流程管理、數據管理、安全管理等多方面的業務管理過程。

接入管理子系統：提供多種方式的對外的接入數據管理入口，對外提供系統處理后的煤炭交易實時數據發布內容、煤炭行業信息新聞發布內容、煤炭行業數據挖掘統計分析行情內容、煤炭行業指數數據發布內容等，通過多種接口方式提供包括HTTP、JOSN、XML 及網站方式發布內容。

表1 關鍵開發軟件選型

圖1 平臺軟件總體架構

圖2 系統硬件體系機構設計

客戶端應用子系統：由于移動互聯網的發展，本子系統完成提供移動互聯網數據信息發布的終端展示應用，包括多操作系統的客戶端應用程序，同時根據移動終端自身的特性，更深入使用移動終端硬件功能，結合終端硬件的一些特殊功能，為用戶提供良好的用戶體驗和UI 設計等，加入適合移動互聯應用的活躍元素。

平臺硬件架構設計

平臺硬件架構設計包含虛擬化服務器區、大數據服務器區、存儲及備份設備區和網絡及安全設備區四部分。其中，虛擬化服務器區部署平臺Web 應用、移動應用、關系數據庫、核心應用等軟件服務；大數據服務器區部署支撐平臺系統的數據分析、數據挖掘、數據檢索等功能。如圖2 所示。

圖3 平臺網站首頁

圖4 采購價格指數查詢頁面

1.虛擬化服務器區。

該區充分考慮私有云虛擬化環境的可用性設計，在網絡層面和存儲層面分別利用了虛擬化搭建內置的網絡冗余和存儲多路徑控制確保高可用。在服務器高可用性上，利用虛擬化軟件內置的功能應對本地站點多種虛擬機應用計劃內和計劃外意外停機的問題。

2.大數據服務器區。

為滿足大數據平臺軟件的部署，根據管理節點和計算節點的內存使用及大數據平臺管理組件安裝所需硬盤空間，該區配置了10 臺不同參數的X86架構機架式服務器。

3.數據存儲及備份設備區。

該區部署共享存儲設備和備份設備，其中存儲設備利用光纖連接到光纖交換機，滿足不少于10TB 的存儲容量；備份平臺需滿足IT 系統復雜性和兼容性需求，支持針對操作系統、數據庫應用、虛擬化環境、數據加密、壓縮、重復數據刪除、自動備份管理等功能。備份介質裸容量應滿足可保存數據的多副本。

4.網絡及安全設備區。

該區根據網絡安全等級保護要求，進行了網絡安全等級保護三級系統設計，并通過了測評。

平臺系統實現

該平臺歷時一年多完成第一期建設，系統運行界面如圖3、圖4 所示。

結束語

本文分析了全國煤炭信息交易的現狀，并從項目建設單位的具體需求出發，利用新媒體、大數據、虛擬化、數據挖掘等技術，設計了全國煤炭交易數據分析平臺。目前，該平臺一期已上線，為國家能源局、煤炭(能源)企業、研究機構，以及相關協會、社會人士、專家等提供高效的煤炭交易服務、物流服務、信息服務、數據分析服務和方便的煤炭物流金融服務。