準能數字礦山生產實時數據庫

褚福南，蘇海南

（國家能源集團準能集團公司 生產指揮中心，內蒙古 鄂爾多斯 010300）

隨著信息技術的迅速發展，基于數據指導生產方法的研究正在引起工業界與學術界的普遍關注[1]。準能集團在系統建設方面取得了大量成就，目前已建成了邊坡穩定性監測系統、卡車盲區監測系統、車輛預警系統等33 個監測、生產系統，但系統之間大多相互獨立，數據不互通，沒有對數據進行深度挖掘[2]。為打破“信息孤島”和解決“數據浪費”問題，實現生產業務數據、生產實時監測數據的集中存儲、管理和展現，為各管理系統提供數據共享服務和數據應用服務，提升企業生產數據的訪問應用效率，需要構建1 套生產實時數據庫系統。

1 系統規劃

1.1 系統建設方向

生產實時數據庫系統作為準能數字礦山工程的一個子系統，主要包括數據標準化體系建設、生產實時數據庫平臺建設、數據采集存儲共享建設、數據倉庫建設、數據分析建設5 個部分內容。

1）數據標準化體系建設。數據標準化體系建設是以數據應用和價值為驅動，依據企業當前信息化建設的成果，設計、編制生產數據標準化體系，提升數據管理和數據質量水平，促進生產數據的標準化，為后續的系統整合、數據共享和數據分析等方面建設提供依據和指導，主要包括生產數據標準體系框架構建，明確數據分類標準。

2）生產實時數據庫平臺建設。生產實時數據庫平臺建設包括實時數據庫技術平臺、關系數據庫技術平臺、數據倉庫技術平臺和大數據技術平臺4 部分建設。實時數據技術平臺支持實時數據采集、分發和存儲，主要存儲煤炭、電廠、運輸及生產輔助單位各類生產監測系統數據，支持生產實時數據的集中存儲和管理功能；關系數據技術平臺用于滿足對“操作數據”的存儲，“操作數據”是“面向主題的、集成的、當前或接近當前的、不斷變化的”數據；數據倉庫技術平臺，包括了數據倉庫和數據集市2 部分，數據倉庫用于存儲全部的面向主題的業務數據，數據集市則是針對特定主題進行建設；大數據平臺總體規劃為數據采集區、數據存儲區、數據分析計算區、數據應用區。

3）數據采集存儲共享建設。操作數據存儲，在生產實時數據庫中包括實時操作數據和關系操作數據2 部分的采集、存儲與共享。數據系統管理功能為系統管理和數據查詢2 大部分：系統管理包含用戶管理、字典管理、機構管理等9 項功能；數據查詢包含實時數據查詢、實時數據趨勢圖、歷史數據趨勢圖等10項功能。實時數據采集、存儲與共享是針對每一個實時數據來源系統。關系業務數據采集、存儲與共享是針對每一個業務應用來源系統，實施步驟包括業務系統數據分析、接口方案設計采集器配置或定制、對接聯調和數據核對檢查。

4）數據倉庫建設。數據倉庫DW 是一個以更好地支持企業或組織的決策分析處理的、面向主題的、集成的、相對穩定的、體現歷史變化的數據集合[3]。將原有分散的數據抽取、清理，經過加工、匯總和整理，消除不同源數據中的不一致性，保證數據倉庫內的信息是一致的全局信息。而數據集市DM，則是按照分析需求進行數據分析模型設計，對數據進行再組織，便于分析展現。系統通過數據轉換工具，將業務系統的數據經過抽取、清洗轉換之后加載到數據倉庫，目的是將企業中的分散、零亂、標準不統一的數據整合到一起，為企業的決策提供分析依據。

5）數據分析建設。數據分析功能是基于數據倉庫的數據進行分析，包括統計報表分析和大數據分析2 部分內容，統計報表分析是將企業數據倉庫中的歷史數據和極值數據形成報表；大數據分析是將各項數據進行大數據分析，形成大數據分析主題，總計包含9 個生產聯動大數據分析主題。

1.2 系統架構

1.2.1 業務架構

1）生產數據標準體系框架是基于企業業務的架構，劃分為生產運營管理和企業經營管理2 大業務域，并與數據分類相結合，構建數據標準體系框架。總體業務架構為基礎，以降本增效為導向，通過企業運營核心業務能力定位關鍵指標，構建適用于企業的指標分析體系框架，為企業的生產實時數據庫和智能應用建設提供數據基礎，有效提升數據價值創造能力和科學決策水平。

2）指標分析體系框架。其中煤炭生產領域數據包含27 個指標，鐵路運輸領域數據包含23 個指標，發電生產領域數據包含23 個指標，生產輔助領域數據包含7 個指標，設備管理領域數據包含5 個指標，財務管理領域數據包含44 個指標，物資管理領域數據包含32 個指標，外購管理領域數據包含6 個指標，8 個領域數據總計173 個指標進行數據規范。

1.2.2 技術架構

生產實時數據庫用于打通L2和L3層，實現數據共享、融合與分析利用，生產實時數據庫定位如圖1。

圖1 生產實時數據庫定位

生產實時數據庫由數采系統、ODS（包含關系數據庫、實時數據庫）及數據訪問服務、數據倉庫、數據分析等構成。

1）數采系統。采用HiRIS10 的數據采集模塊實現。用以支撐業務數據、感知實時數據的采集和共享，并將采集數據寫入到ODS 中；同時，數采系統也支持數據的共享，將數據由ODS 推送至業務系統數據庫的中間庫中。數據采集系統與源系統數據庫的變更數據捕獲機制共同使用。源系統數據庫提供的數據必須是經過轉換的符合準能數據標準的數據。

2）ODS。存儲關系數據的數據庫采用Oracle12g企業版；存儲實時數據的數據庫采用HiRIS10 數據存儲模塊。ODS 對外提供數據訪問服務，其中實時數據部分提供基于HTTP 的數據訪問服務及定制數據推送服務。ODS 層數據存放近源的明細粒度數據，也保存來自于業務系統的統計匯總數據，以保證統計匯總數據的一致性。ODS 中的業務數據為用于共享的業務數據和用于為數據倉庫提供的業務數據，需符合準能數據標準，且易于追溯。

3）數據倉庫。采用Oracle12g 企業版。數據倉庫用于存儲海量歷史數據；數據集市與數據倉庫可部署在同一個數據庫實例上，每個數據集市采用單獨的Schema。數據倉庫中的數據來自ODS，存儲明細數據，并存儲進行匯總加工的數據。數據集市中的數據均來自于數據倉庫，避免出現不遵從此數據流向的情況出現。

4）生產聯動大數據分析。生產聯動大數據分析采用了大數據平臺中的ETL 工具，實現用戶從數據源抽取出所需的數據，經過數據清洗和加工，然后清洗整合，以形成標準化和規范化的數據裝載到數據倉庫中[4]。

2 系統實現的成果

1）標準體系成果。指標包含煤炭生產、發電生產、鐵路運輸、生產輔助、設備管理、財務管理、物資管理和外購管理，8 個領域數據指標，總計173 個指標進行數據規范。

2）采集和共享數據成果。采集和共享數據6 個實時數據系統和27 個業務系統，并且每個系統都進行數據正確性驗證并簽訂驗證報告。

3）數據倉庫成果。數據倉庫目前已實現500 多張數據庫表的建設工作，并且在系統中實現指標（主題）管理、維度管理功能，在調度監控平臺中對任務進行監控，隨時查看監控任務情況。

4）數據分析成果。大數據分析是實時數據庫標準化體系、采集共享數據、數據倉庫成果的最終落腳點，能夠檢驗生產實時數據庫在生產應用中的成效[5]。生產實時數據庫系統建立了10 類生產聯動大數據分析主題，系統分為煤炭、電力、運輸3 個板塊，實現了業務橫向貫通、縱向聯動的效果。數據分析主界面反映了公司生產完成情況，主要從原煤、商品煤、剝離、外購煤、發電、運輸多個方面進行了展示，并實現了進行自動統計和可視化分析，包括實際量、計劃量、日超欠量、月均衡超欠量、年均衡超欠量。兩露天煤礦、選煤廠、煤銷公司、矸石電廠、鐵路運輸等分頁面，對原煤、剝離、商品煤、外購煤、發電、鐵路運輸的詳細完成情況進行了進一步分析，并對檢修計劃、電鏟躲炮時間、卡車燃油單耗、工作效率、入洗比例、港口港存等多項指標進行全面反饋。同時，重點對主采設備的內外障情況、可動率和出動率情況，破碎站運行及產量效率情況，單鏟單車完成量與各項生產指標之間進行聯動分析，通過對異常數據的逐層鉆取分析，讓相關數據得到針對且具體的分析，找到數據支撐點，得出制約各單位自身生產、影響上下游各環節協同的主要影響因素，幫助企業領導做出正確決策[6]。

3 系統應用效益

數字礦山生產實時數據庫的建設是企業生產領域實現信息化的先驅工程，是企業實現數字化轉型的基石，實現了業務、應用、數據、集成和基礎設施架構相互支持，成為了一個精準適時采集、網絡化傳輸、規范化集成、可視化展現、自動化操作和智能化服務的數字化智慧體[7]。各系統之間形成了相互集成，確保流程的高效銜接和數據的共享，消除了信息孤島，為企業的數據管理、數據挖掘、生產決策以及企業的發展提供有力保障。

1）完善了數據治理體系，提升了數據資產的價值。通過進行生產數據標準體系設計，設計了符合業務實際的數據管控體系框架和數據標準，包括（主數據分冊、主數據屬性標準、主數據分類標準、主數據編碼方案）。通過建立主數據管理系統，實現20 個主數據管理，將數據標準落實到系統建設中。通過數據標準化體系的建立，將數據標準貫徹落實到應用建設中。數據治理體系的建設，為跨系統數據的集成應用奠定了基礎，實現全局數據資產化成為可能。

2）通過生產實時數據庫中ODS 的建設，在數據層面促進了企業應用系統一體化建設。生產實時數據庫提供了全局數據集成共享機制，成為企業上層應用系統的業務數據樞紐，目前準能集團已有33 個系統與生產實時數據庫實現了對接，包括6 個系統的實時數據、27 個系統的關系數據，800 多張數據庫表。極大減少了數據錄入的工作量，提高了數據準確性和及時性，提升了跨系統跨部門的日常業務協同效率，使企業的各應用功能系統不再是傳統的部門級獨立建設，而是在企業統一指導下的數據層面的一體化建設。

3）通過生產實時數據庫中DW 的建設，提升了業務全局透明性，揭示內外部進展情況和影響因素，為生產計劃制定和調度指揮提供了客觀科學的數據分析依據。通過生產實時數據庫融合集成生產業務數據、生產實時監測數據及經營業務數據，提供露天煤礦、選煤廠生產信息的大數據分析，生產單位可以及時了解上下游單位的配合關系、自身制約生產的重要因素及影響本單位生產的重要因素，在計劃制定、業務聯動、生產指揮上更加精確準確。

4）建立了生產聯動大數據分析的煤炭、電力和運輸3 大板塊。系統包括了對商品煤、原料煤、剝離、發電量、上網電量和鐵路運輸的日、月、年完成情況進行上下游分析，針對同板塊業務能橫向聯動、上下貫通的進行生產分析，并以最終的分析結果，以問題為導向，層層鉆取分析，抓準影響生產和系統的問題所在，最終服務于決策層，將管理者的決策依據、管理思想、生產指標進行系統固化，緊緊圍繞決策的有效性，將管理和決策分析提升到一個新的高度[8]。

4 結語

數據庫的技術應用是計算機科學發展的有力證明，數據庫技術讓更多繁瑣和復雜的工作都呈現得更加便利，而且彰顯出計算機技術的重要應用價值。生產實時數據庫系統實現了數據標準化、結構化、實時化的高效管理，打破了多系統間的信息孤島，推進了企業的數據挖掘、數據分析工作，增強了企業資源優化配置能力，減少資源損耗，提高企業的生產效率，提升企業的核心競爭力。