


摘" 要:針對智能化礦井建設過程中由于各業務建立的智能化系統從而形成數據“孤島”的問題,提出建立礦井級的數據平臺。該平臺通過全數據鏈閉環、數據集成共享、系統可集成性和多數據采集等方面解決數據共享和管理的難題。同時實現數據的全面打通和共享,支持多種數據源、格式、操作系統的交換,提供靈活的數據分析和展現并具備高度安全保密性。該平臺的建設符合智能化建設規范要求,同時能夠滿足快速業務變化,保障數據的完整性和準確性。此外,該平臺具備定制和擴展能力,支持移動端自適應,以及與其他平臺對接,確保未來業務發展需求得到滿足,為智能化礦井建設提供有效解決方案。
關鍵詞:智能化礦井;數據平臺;數據共享;決策支持;數據源
中圖分類號:TD67" " " "文獻標志碼:A" " " " " 文章編號:2095-2945(2025)05-0099-05
Abstract: In view of the problem that data \"isolated islands\" are formed due to the intelligent systems established by each business during the construction of intelligent mines, a mine-level data platform is proposed. The platform solves the problems of data sharing and management through full data link closed-loop, data integration and sharing, system integrability, and multiple data acquisition. At the same time, it realizes comprehensive access and sharing of data, supports the exchange of multiple data sources, formats, and operating systems, provides flexible data analysis and display, and has a high degree of security and confidentiality. The construction of this platform meets the requirements of intelligent construction specifications, and can also meet rapid business changes and ensure data integrity and accuracy. In addition, the platform has customization and expansion capabilities, supports mobile adaptation, and interfaces with other platforms to ensure that future business development needs are met and provide effective solutions for intelligent mine construction.
Keywords: intelligent mine; data platform; data sharing; decision support; data source
為貫徹落實國家發展改革委等八部委聯合印發的《關于加快煤礦智能化發展的指導意見》(以下簡稱“指導意見”),我國煤炭行業高質量發展總體思路、目標方向、量化標準和重點舉措研究等國家相關政策,因此要加快我國煤礦智能化建設,推動煤炭行業高質量發展。智慧礦山指南中整體建設明確分為4大模塊:設備感知層、基礎設施層、數據服務層和應用層[1]。根據《指導意見》,國家能源局開展了T/CCS 001—2020《智能化煤礦(井工)分類、分級技術條件與評價指標體系》、T/CCS 002—2020《智能化采煤工作面分類、分級技術條件與評價指標體系》2項標準的制定工作,給出了智能化煤礦和智能化工作面分類、分級評價指標體系與評價方法,指導煤礦因地制宜地進行智能化煤礦建設,推進煤礦智能化高質量發展[2]。
智能化煤礦整合了人工智能、工業物聯網、云計算、大數據、機器人和先進裝備技術,與現代煤炭開采技術深度融合,形成全面感知、實時互聯、數據驅動的智能系統。這些技術使得煤礦的開發、采掘、運輸、通風、洗選、安全保障和經營管理等環節能夠實現智能化操作和管理[3]。2020年底,國家發展改革委等印發的 《關于加快構建全國一體化大數據中心協同創新體系的指導意見》對加快構建全國一體化大數據中心協同創新體系給出了具體的建設指導意見。全國范圍跨部門、跨區域,跨層級、跨行業和跨流域的數據大流動及基于應用場景數據治理的態勢也已成型。生產礦井目前各業務信息系統具有多樣化和復雜性,西北礦業公司信息化中心在面對“數據問題”的需求以及信息系統分散建設,信息服務難于獲取和操作的矛盾越來越突出的問題時,急需整合資源,進行數據治理,實現數據價值,并進行大數據挖掘分析的目標。在大數據時代,數據治理是所有企業面臨的巨大的挑戰[4]。沒有數據,企業就缺乏用于做決策的數據的支持。可是有了越來越多的數據,很多情況下卻增加了管理數據的成本,需要真正地讓數據產生價值卻發現如何管理這些散碎在不同地方的數據,將數據有效地組織起來成了一個令人頭疼的難題。以海量數據利用、智能生產支撐、管理決策支持和產業生態賦能為目標,基于國家政策、行業趨勢、標準規范、業務理解與技術支撐, 首先,建立礦井級統一數據治理體系和數據倉庫,實現全要素數據采集與治理,逐步構建和完善企業數據中臺、大數據支撐平臺建設,實現公司全要素數據采集,建立統一的數據治理體系、數據存儲計算、數據治理服務、數據安全以及數據開發等組件,從而建立企業全域數據中心。其次、構建一個全礦級統一的數據共享和開放體系,提升企業自身效率,降低企業有效使用數據的門檻[5]。再次,開展基于具體應用場景的數據分析、挖掘與應用:基于一體化智能化數據支撐平臺,以數據、算法、服務為核心,進行礦井級決策支持和生產經營數據分析和挖掘。最后,對基于數據智能的產業生態打造及業務進行持續創新:基于數據高效連接的業務協同、持續創新支持,基于機器學習的智能化產業生態構建。
1" 建設目標
智能化礦井一體化數據平臺建設致力于為生產礦井構建“全”“統”“通”“智”的工業數據資源池及數據治理體系,基于“數字新基建”時代的數據價值思考,構建全域數字化礦區數據共享能力中心,助力生產礦井實現企業數字化轉型,打通煤礦底層業務系統之間數據壁壘,加強煤礦整體管理和安全生產系數,為煤礦運營提供數據統籌模型,實現重點數據實時監控和數據共享開放服務[6]。智能化礦井一體化數據平臺開放服務如圖1所示。
遵循山東能源集團、西北礦業公司、生產礦井以及國家或行業相關管理要求、準則為基準,結合煤礦在用系統及未來新建系統的數據應用,以實施成本最低、影響最小、功能最優為原則進行綜合分析,開展數據治理與數據倉庫項目建設。通過平臺建設形成一套煤礦的數據標準,構建統一的專業化的基礎數據與編碼管理機構及運維體系,指導、協助進行編碼的編制使用和數據的開發應用。通過“以需求為導向”,構建數據倉庫與數據治理分析應用,逐步建立數據中臺、大數據平臺、數據智能化應用體系,大力提升煤礦信息化基礎支撐能力,積極破解網絡互通難、數據共享難、業務協同難的“三難”問題,真正實現網絡通、數據通、業務通。
1.1" 推進“一數一源”確認,明確數據質量責任
首先通過數據治理平臺和大數據平臺完成數據質量建設,從數據標準的建立,到基于標準的數據模型構建,到完全遵守標準的輕應用構建,生產出嚴格符合標準的數據,再到將合規的干凈數據通過可視化采集方式直接回寫數據中心庫,形成一個高質量的數據閉環。同時建立嚴格的數據安全標準,實現在數據提供和數據傳播上建立靈活可控的安全邊界。接著建立數據服務閉環,即從數據采集、填報、管理到分析的全過程,形成完整的工具化支持體系,全程實現高度配置化[7]。
1.2" 構建統一的數據倉庫
構建多源異構的數據倉庫為數據質量管理及業務應用奠定基礎。數據倉庫應該結合業務系統的各類數據,在三范式和維度建模的理論指導下,進行科學、合理的數據倉庫主題模型設計[8]。架構可擴展,滿足后期數據應用的要求,覆蓋部門全部業務。數據倉庫建設方案實現數據利用的螺旋式上升迭代,同時梳理數據儲存劃分以及數據應用的層次界定;數據倉庫主題劃分應清晰、合理;數據抽取調度方案合理,對性能效率有保障措施;數據集市主題應明確;要分階段逐步按計劃建成完整的數據倉庫。
1.3" 構建統一的數據治理平臺
對采集到的數據進行必要的清洗和治理,以提高其可用性和增加其附加價值,建立統一元數據標準。建立主數據系統,通過數據質量平臺進行數據統一性和完整性等加工處理,剔除一些無關緊要的數據,保留相關性較高的數據,建設數據資產全景圖和數據之間血緣關系。同時可支持手工補錄、數據修正和異常災備等相關業務場景[9]。
1.4" 構建統一的數據交換共享平臺
針對煤礦新建業務系統之間的數據交換共享需求,避免蜘蛛網式數據接口模式,基于服務總線和數據服務平臺,建立煤礦統一的數據交換共享平臺,統一數據交換標準和統一數據服務出口,支撐新建業務系統的數據交換需求[10]。
1.5" 滿足數據可視化及智能分析應用需求
滿足信息查詢、統計分析、輔助決策的建設要求,提供數據內容服務應用和深度挖掘分析。精準地查詢出有效數據,從信息海洋中迅速挑選出有用數據。實現全局信息的快速掃描、查詢,實現對信息數據的分層展示。通過統計分析,實現靈活、柔性、可配置的數據分析統計報表,從不同業務維度、不同主題維度進行分析,并提供豐富的統計圖類型和樣式。
2" 建設架構
通過落實數據的資產化策略,并綜合運用技術、組織和業務流程的協同作用,我們能夠促進業務的革新與升級。在此基礎上,根據業務需求構建智能化的數據模型,這些模型將輔助企業領導層進行更為精準的管理決策。特別強調數據的時效性,通過提供實時數據分析的能力,致力于構建煤礦行業的寶貴數據資產,進而實現數據的商業化。為了全面支持業務的多元化應用,提供了以數據價值為核心的統一數據服務,確保數據導向的決策支持和業務增長。實現數據采集管理自動化,數據治理/數據整合加工流程化,數據標準統一化/模型開發簡單化,數據分析/數據使用智能化,致力于為企業礦區構建“全”“統”“通”“智”的大數據平臺/數據中臺體系。智慧礦山綜合管控平臺與數據倉庫如圖2、圖3所示。
3" 建設內容
3.1" 構建高效交互的數據管理與治理框架
通過整合全煤礦各業務系統和職能部門的數據,建立統一的全域數據管理資源池,實現數據的整合和互通。在統一的數據標準、存儲標準、治理標準和服務標準下,為外部提供高效的數據服務和應用支持。
3.2" 建設數據標準、數據資產匯聚體系
全域數據中臺共匯聚煤礦所有業務系統數據。數據匯聚到數據中臺后,由于各廠家標準不一致,系統間數據無法直接使用。為統一數據標準,將煤礦現有自編標準與集團和國家標準相結合,形成煤礦級統一數據標準。
3.3" 構建開放共享的數據資源體系
借助煤礦數據共享與開放平臺以及數據交換平臺,整合和管理積累的煤礦數據資產,建立統一的全煤礦數據資源共享目錄。制定全面的共享開放工作機制,降低企業獲取數據的難度,確立健全的企業數據共享機制。
3.4" 建設數據智能應用分析體系
將全煤礦現有數據及歷史數據全部經過標準化清洗及數據治理沉淀入數據倉庫,快速查找、分析海量數據,發揮、挖掘數據潛在價值,針對整體各個業務口數據的批量匯總,完成對數據的整體挖掘和分析,為領導決策提供數據支撐和管理依據。同時通過數據可視化分析、領導駕駛艙、數據資產大屏及數據智能感知大屏等進行展示。
4" 建設成效
搭建高效、完善的數據采集、治理、交換、共享、管理、質量、運維、建模、挖掘、分析和展現體系,達到以下建設要求。
4.1" 實現全數據鏈閉環管理體系
平臺具備統一的底層數據體系,數據應完全打通,平臺不同模塊和功能間應共享相同的數據信息,必要時子平臺或子模塊間可互相調用功能。數據智能分析工具等應用平臺能夠充分利用全量數據管理平臺的元數據信息、數據信息、數據血緣信息、數據質量規則和評估結果、數據脫敏結果等,并實現數據應用對全量數據管理平臺和業務系統數據質量的反饋。平臺應實現全數據應用閉環,即實現數據采集、數據交換、數據治理、數據服務和數據應用的數據聯動,通過數據采集、數據交換實現信息產生和共享,數據治理提升數據質量,高質量數據支撐數據應用,數據應用反饋數據質量問題并通過數據采集和交換修正數據問題,提升數據質量,從而形成數據產生、數據質量和數據應用的數據生態閉環。
4.2" 數據集成共享
平臺數據集成過程支持Linux、UNIX、Windows等操作系統平臺,能夠滿足不同數據源、格式和管理邏輯下的數據交換需求。支持在全量數據管理平臺和煤礦各業務系統之間雙向傳遞數據,實現各類系統業務數據的實時共享。提供數據交換過程的可視化調度和監控,能夠及時發現、定位數據交換過程中出現的各類問題和錯誤,描述問題和錯誤出現的原因并實時通知管理人員。
能夠以圖形化和拖拽的方式設計和定義數據抽取、轉換、加載流程,并保證數據集成交換的穩定性和安全性,完成不同應用場景下從源到目標的數據交換。
4.3" 高度可集成的系統架構
平臺必須支持開放的ETL(抽取、轉換、加載)代碼生成器,提供豐富的接口程序,支持異構數據源的共享和交換。能夠與主流的關系型數據庫(例如Oracle、Sybase、DB2、SQL Server、MySQL等)、消息中間件、Web Service、表格文本文件、XML文件、Excel文件、DBF文件和Word文件等進行對接,滿足各種數據源的交換需求。平臺支持同步和異步方式的數據交換及推送,支持交換任務運行周期的自定義調度配置;支持分布式可視化數據抽取方式,且數據抽取時支持數據源和目標源的動態適配和添加,對業務數據庫不產生任何影響的情況下,數據實時同步到數據中心。
4.4" 支持多數據采集
支持煤礦業務基本信息數據、現有業務系統和煤礦數據文件的結構化數據采集。提供半結構化表格數據、辦公文檔(如PDF、Word等)數據和圖片信息的采集功能,并支持在線瀏覽文件。
4.5" 實現數據的豐富呈現和交互
平臺提供豐富的數據分析能力,包括縱向對比、橫向對比、目標對比、閾值預警、趨勢分析、占比分析、同比分析、環比分析、對比分析、排序分析和因素分析等,支持逐層細化展現方式,提供上卷、鉆取、切片、旋轉等分析手段,以“宏觀→微觀→明細→個體”逐層細化的方式進行輔助分析。
4.6" 管理操作簡單
平臺須采用可視化交互和配置工具,符合快速數據建模、數據轉換、數據服務配置和調試等要求。平臺能夠梳理和管理各業務系統、全量數據管理平臺標準的非結構化數據、結構化數據表、數據字段、同步關系等元數據信息,支持標準動態迭代,數據共享變更等,滿足煤礦快速變化的業務需求。平臺易操作、易維護,對于日常操作和配置性內容進行統一設計和界面化處理,非計算機專業人員經過簡單培訓即可使用系統功能,保證系統高效、有序、可靠地發揮其管理職能。系統應具備自檢、故障診斷及故障弱化功能,在出現故障時,能得到及時、快速的維護。平臺提供移動端數據管理、監控和呈現顯示的良好交互,保證平臺的全媒體全天候訪問,支持移動化數據管理和應用服務。
4.7" 建設過程規范
平臺的信息定義、采集策略、接口協議和傳輸協議符合相關國家標準、行業標準和技術規范要求。平臺本身支持構建信息標準模型,避免直接操作數據庫等不規范操作。平臺能夠檢測標準數據模型和實際數據實體之間差異,及時發現和避免不規范操作導致的數據模型不一致。平臺必須能夠具備完善的全量數據管理平臺建設過程監控功能,保證錯誤、不標準信息和操作的準確定位和及時提醒。
4.8" 標準設計科學,系統安全保密
平臺信息標準建設遵循國家、集團煤礦和自定義的標準,能夠制定符合煤礦實際需求的信息標準。支持數據標準的維護流程和制度建設,提供數據標準管理功能,確保標準的演變與歷史數據的兼容性。平臺能夠合理保留歷史數據的完整過程,做到數據準確、規避冗余、節約資源。
4.9" 定制擴展靈活,移動端自適應
平臺具有開放、擴展靈活,響應靈敏度高,操作方便等特點,具備定制和二次開發能力,能夠根據煤礦的業務需求變化進行快速調整,維護周期短,升級成本低。平臺能夠按照煤礦要求提供技術手段和服務,支持與其他煤礦平臺的對接。考慮到項目在未來運行與管理過程中可能遇到的業務功能擴展和性能需求提升,設計時充分預見并支持這些增長需求。為此,將實施多種措施:系統將提供標準化的接口,以便第三方軟件可以無縫集成,從而拓展系統的功能和應用場景;同時,支持集群部署配置,允許系統在多服務器環境中運行,以增強處理能力和穩定性,確保在業務量增加時系統仍能高效運作。這些設計思路和實施策略將保證系統能夠適應未來發展的需求,保持其靈活性和可擴展性。
5" 結束語
本文探索了智能化礦井一體化數據平臺的建設內容,涵蓋了4個關鍵方面。建立高效互通的數據管理和數據治理體系;建設數據標準、數據資產匯聚體系;建設開放共享的數據資源利用體系;建設數據智能應用分析體系,將數據進行標準化清洗并沉淀入數據倉庫,實現對海量數據的快速查找和分析,挖掘數據潛在價值,為領導決策提供數據支持和管理依據。智能化礦井一體化數據平臺的建設使得礦井級數據管理、共享和分析能力顯著提升。這不僅支持更好的決策和管理實踐,還促進了煤炭行業的智能化運營和可持續發展。本文的探索經驗為其他礦業企業提升數據管理能力和智能化提供了有價值的參考。
參考文獻:
[1] 陳軍,劉強,楊山.智能化礦井一體化數據平臺建設中的數據共享與開放機制研究[C]//大數據與人工智能國際會議,2021:45-58.
[2] 杜毅博,趙國瑞,鞏師鑫.智能化煤礦大數據平臺架構及數據處理關鍵技術研究[J].煤炭科學技術,2020,48(7):177-185.
[3] 王洪,張曉,李剛.智能化礦井一體化數據平臺中的數據標準化與資產匯聚研究[J].中國煤炭學會學報,2019,36(6):789-802.
[4] 任志成,時寶,胡繼峰,等.煤礦安全管理智能化建設及發展研究[J].中國煤炭,2023,49(7):61-66.
[5] 薛國華.煤礦智能化建設的探索與展望[J].中國煤炭工業,2023(7):21-23.
[6] 呂鉑,楊黎,李業.煤礦智能化運維平臺構建研究[J].科技創新與應用,2023,13(17):50-53.
[7] 許夫鵬,徐京,張昭喜.基于大數據的礦井設備管理共享平臺探索與實踐[J].中國設備工程,2020(S1):281-283.
[8] 陳黎明.礦井智能化建設研究[J].中國設備工程,2023(15):41-43.
[9] 吳勝利.煤礦智能化礦井建設高質量發展現狀及展望[J].現代工業經濟和信息化,2023,13(7):316-318.
[10] 高鳳麗.礦井煤質智能化管理系統研究與應用[J].潔凈煤技術,2023,29(S2):702-705.