劉海強,陳曉晶,張興華,陳向飛
(1.中煤科工集團常州研究院有限公司,江蘇 常州 213015;2.金陵科技學院 計算機工程學院,江蘇 南京 211169;3.中國礦業大學 信息與控制工程學院,江蘇 徐州 221116)
煤炭是關系我國國計民生的基礎產業[1]。煤礦生產中的不安全因素較多,環境惡劣,事故易發。近年來,隨著開采深度進一步加大,煤礦安全隱患突出,安全事故尤其是重大、特大事故仍時有發生,安全形勢依然嚴峻[2]。
煤礦企業大多安裝了安全監控系統,隨著時間推移,存儲了大量安全監控數據。現有煤礦安全監控系統大多采用操作型數據存儲方式,主要面向事務處理,各種信息混合存儲,與煤礦安全生產密切相關的重點信息不明確,導致信息無法有效利用。另外,系統大多只具備數據采集、存儲和顯示功能,數據分析能力較差,不能提供更好的決策支持。
數據倉庫[3]是大數據技術的重要組成部分,集成了各種形式的應用系統,以事物發展的角度組織數據。數據倉庫是分析型數據存儲方式,支持數據查詢,能夠為數據挖掘和決策分析提供良好的數據支持,逐漸成為大數據時代必然的數據管理技術,特別是基于Hive 的數據倉庫技術備受關注。
大數據和數據倉庫技術被認為是實現智能礦山的關鍵技術,受到行業內研究人員的關注[1,4]。張鵬[5]提出了煤礦大數據架構,其中包括基于數據倉庫的數據存儲模型,但并沒有研究實現數據倉庫的具體方法。孟光偉[6]建立了基于大數據技術的煤礦監管服務平臺,提出使用Spark 技術實現數據統計分析,使用Hive 數據倉庫分主題存儲數據,但沒有詳細研究數據倉庫的主題、邏輯模型等關鍵技術。……