侯 杰,胡乃聯,李國清,黃樹巍,趙 威
(1.北京科技大學土木與環境工程學院,北京 100083;2.山東黃金礦業(萊州)股份有限公司三山島金礦,山東 萊州 261400)
?
基于OLAP的礦業集團生產運營決策系統構建研究
侯 杰1,胡乃聯1,李國清1,黃樹巍1,趙 威2
(1.北京科技大學土木與環境工程學院,北京 100083;2.山東黃金礦業(萊州)股份有限公司三山島金礦,山東 萊州 261400)
為實現礦業集團管控模式下生產運營數據的分布式采集、處理、分析與決策,運用OLAP技術設計與實現了礦業集團生產運營決策系統。借助信息技術搭建了以生產運營指標體系、參數管理、服務組件、數據加工、數據倉庫、OLAP服務和報表工具為核心部件的系統框架,并規劃系統各子模塊的功能體系。利用數據庫技術優化系統數據存儲結構,采用OLAP技術構建出面向生產運營主題的多維數據集,進而實現數據的多維操作與可視化展示。通過國內某大型礦業集團的建設與應用,實現了成員礦山生產運營數據的抽取、稽核、報表生成及統計分析,有效促進了礦業集團生產運營管理水平和科學決策能力的提升。
礦業集團;生產運營決策;信息系統;OLAP;多維數據集
企業的集團化經營不僅可以加快企業發展,提升企業核心競爭力,而且更有益于企業應對復雜多變的內外部環境,增強其抵御風險的能力。在礦業領域,礦山企業的集團化趨勢日益明顯,這對我國礦業經濟的發展起到了重要的推動作用。礦業的集團式發展不僅擴大了企業經營范圍,而且運營模式相較于單體礦山具有本質差別;在集團化經營模式下,礦山和集團的分工更加精細,成員礦山專注于產品的生產和加工,集團則需肩負管理和決策等職能。集團的管理與決策能力將直接影響旗下礦山的經濟效益,因此集團決策者迫切需要隨時掌控下屬企業的生產運營情況,尤其是極為關心的關鍵性指標(包括金屬產量、采掘作業量、主要技術經濟指標等),在此基礎上完成集團范圍內全部子公司數據的匯總,并基于實時準確的生產經營數據完成經濟活動分析,進而實現集團生產經營的科學決策[1-4]。
但由于我國礦業集團建設與發展的時間較短,缺乏成熟的理論和經驗作為指導,因此如何科學有效的實現集團一體化管控成為現階段礦業集團所要解決的一項核心問題。為此,本文針對礦業集團生產運營管理特點,借助現代信息技術手段與管理模式,引入OLAP及多維數據分析等技術,從系統框架、功能體系、業務流程、數據存儲模型、多維數據建模角度展開礦業集團生產運營決策系統的研究與開發。
OLAP的概念最早是由關系數據庫之父E.F.Codd于1993年提出的。OLAP技術可以從多角度對大量歷史信息進行快速、準確地抽取,以分析驅動數據流轉,為企業管理者提供管理和決策上的支持[5]。
OLAP技術的主要特性及優勢包括以下幾方面。① 快速性。OLAP通過多維數據索引的構建,提高了系統對用戶對于數據查詢的反饋速度。②可分析性。支持用戶自定義數據稽核邏輯,并提供較為完整的可視化方案,運用多種圖表組合方式提升數據的分析效果。③ 多維性。OLAP的核心是構建數據立方體。數據立方體的關鍵之處在于事實表和維度表共同構建多維數據集,多維數據集是基于實體-關系模型的一組事實模式,主要包括建模事實、度量、維度和層次結構[6]。OLAP系統通過多個維度構建數據立方體,為用戶提供一個或多個維度環境下的報表查詢服務。④數據彈性。OLAP技術具有較大的數據彈性,可以處理不斷增大的海量數據,并且可以解決數據的多源異構問題,使系統可以獲取和管理大容量數據。
通過對OLAP概念、特性的分析可以發現OLAP技術為系統在多源數據獲取、處理、查詢、分析與決策方面提供了完整的解決方案,也為礦業集團信息系統的建設提供了有效的技術手段。在OLAP技術特性、體系結構及多維分析方案的指導下,礦業集團生產運營決策系統采用了三層結構的技術框架,即數據倉庫層、OLAP服務層以及前端報表應用,如圖1所示。數據倉庫是OLAP的基礎,可以實現大量細節數據和綜合性數據的存儲;OLAP服務層可以迅速地響應用戶的各種查詢及分析要求,并能根據數據之間的關聯關系對數據進行快速、靈活的計算和轉換;前端報表應用可以部署用戶所需的各種應用程序,利用應用程序可以從OLAP服務層中得到所需的數據切片,將二維或多維數據提供顯示給集團生產運營管理人員。

圖1 基于OLAP的系統技術框架
2.1 集團管控模式下生產運營決策的新需求
在集團-下屬企業管控模式下,礦山由傳統粗放式經營向精細化管理轉型,這為礦山發展帶來了新的機遇與挑戰。由于礦山企業的多樣化特征,使得礦業集團生產經營決策過程更為復雜,這也促使其在生產運營決策過程中產生了一些新的需求[7-9]。
1)管理模式的標準化與規范化。隨著生產運營規模的不斷擴大,礦業集團的投資和收購活動變得日趨頻繁,其下屬的成員單位數量不斷增加,類型日趨復雜,為集團范圍內管理水平的提升帶來了一定困難。即便是同為資源開采性質的礦山企業,由于開采條件、產品種類、生產工藝的不同,其管理
方式與管理水平存在較大差別,導致了成員礦山的管理模式難以統一和復制。在這一新形勢下,生產運營模式的規范化就顯得尤為重要。
2)信息的分布式采集與抽取。礦山通過信息化建設已經完成生產經營活動數據的收集、存儲、處理與統計,而各礦山的數據均存儲于相對獨立的數據服務中心,這部分數據對于礦業集團而言具有十分重要的分析利用價值。因此,集團迫切完成對成員礦山生產運營數據的分布式采集與抽取。
3)大規模數據的規范化存儲與利用。由于各礦山生產運營的數據存儲方式和結構差異化較為明顯,數據量增長幅度較大,這導致了礦業集團在進行數據融合時難度極大。為此,集團需要構建標準化的數據倉庫,從存儲方式、數據結構、處理邏輯等方面規范礦業集團大規模數據的管理模式。
4)科學決策。決策是一門創造性的管理技術,科學決策是現代企業管理的核心,面對礦業集團的海量數據和復雜多變的經濟環境,傳統的技術難以完成實時、全面、科學的數據分析與決策。因此,需要采用決策模型完成對數據的深度整合與挖掘,將數據轉化成易于企業決策者觀察和理解的信息知識,從而指導企業的科學化決策。
2.2 系統框架
隨著數字礦山技術的發展,越來越多先進的信息技術在礦山得以應用和推廣。OLAP作為一種數據分析處理的關鍵技術,可以根據決策者需求快速、準確、靈活地提供復雜組合查詢,使企業數據得到深層次的應用,并且借助可視化工具將結果呈現給管理人員。本文通過運用先進的數字化手段及OLAP技術實現對成員礦山生產運營數據的實時收集、加工、處理和綜合分析,可以滿足礦業集團生產運營決策的新需求。考慮到礦業集團旗下礦山地理位置分散,系統采用邏輯集中、物理集中方式進行設計,數據與運算邏輯全部集中存儲于集團的數據庫服務器。核心部件包括生產運營指標體系、參數管理、服務組件、數據倉庫、OLAP服務和報表工具,見圖2。

圖2 礦業集團生產運營決策系統框架
2.3 系統功能體系規劃
生產運營決策系統的功能體系如圖3所示,通過系統的各項子模塊實現下屬企業生產相關指標信息的快速抽取、轉換和清洗,生產運營主題報表的定制以及生產運營決策信息的集中展示和多級授權查詢[10]。
1)系統管理。該模塊用于系統的基礎參數配置和用戶權限管理,并通過日志管理子模塊監控系統的運行狀態。
2)生產經營指標與參數管理。該模塊以數據字典的形式為系統提供基礎數據支持,其中包括企業信息、關鍵生產指標信息、企業與指標對應關系。
3)數據ETL。礦業集團的數據源于旗下礦山的各個業務系統和手工文檔,這導致了數據間在概念、邏輯及物理結構存在較大差異。因此,采用較為靈活的元數據驅動方式完成數據的抽取、清洗、轉換,并加載至數據倉庫,以解決多元異構數據融合問題,實現對礦山生產運營數據的獲取。
4)數據稽核與匯總統計。對裝載進入礦業集團數據倉庫的生產經營指標進行統計匯總,同時用戶可以根據企業領導需要個性化定制報表模板,數據將根據預定義的稽核關系自動生成統計報表,為集團生產運營管理部門提供報表服務。
5)運營決策與綜合展示。服務于集團和礦山的運營管理人員,支持各級決策者從不同角度、快速靈活地對數據倉庫中的數據進行組合查詢和多維度分析,利用OLAP可視化圖表工具將數據以多元化方式進行呈現。
3.1 生產運營決策數據的存儲結構
由于系統的涉眾性廣泛,用戶數量級的龐大,指標體系的復雜,這些因素都加重了數據庫的負擔,因此,數據存儲結構規劃成為系統建設過程中的關鍵環節。通過對各類信息間關系的梳理,構造出優良的數據存儲關系模型如圖4所示,能夠有效保證了數據處理過程的方便快捷與迅速響應,滿足用戶的應用需求。該模式涉及到的所有核心數據包括企業信息、生產指標、計劃及生產信息。

圖3 系統功能體系

圖4 生產運營數據庫E-R圖
3.2 生產運營多維數據集構建及分析
在生產運營數據庫模型基礎上,運用OLAP技術,進行多維數據集建模的構建見圖5。
1) 度量值設計。選取本月實際數、本年或月計劃數、本年累計數、去年同期數作為度量值。
2)維度設計。將時間、指標、礦山企業定義為分析維度。其中時間維度形成月、季、年的層級結構;企業維度形成礦山成員、子公司、集團的層次結構;指標維度根據粒度不同劃分為指標、主題和類型。

圖5 生產運營主題的多維數據集
多維性是OLAP的關鍵屬性,多維分析是分析企業數據最有效的方法。多維分析是指對以多維分析組織起來的礦業集團生產運營數據采取切片、切塊、鉆取、切換維度等各種分析動作來剖析數據,從多角度、多層次地觀察數據,深入地了解包含在數據中的知識[11]。橫向上,可以通過排序、旋轉、聚類等處理,從宏觀角度了解集團旗下礦山的生產運營數據;縱向上,則可以通過下鉆、上卷改變數據維度層次,對關鍵指標進行跟蹤分析,挖掘潛在信息關聯和企業經營細節。在展現方式上,報表工具提供了豐富圖表展示效果,可以對圖形進行拉伸、分塊、旋轉、透視等操作,形成一種最適宜展現數據變化規律的方式[12]。
針對礦業集團數據多維模型特點,主要采取三種方式分析觀察數據。此模型支持從時間維度進行“年→月→旬→日”鉆取,從企業維度進行“集團→子公司→礦山”鉆取,從指標維度可以對某一指標類型進行統計,或在多個維度上進行切片、切塊、鉆取、維度切換等操作。
1)切片/切塊。在一部分維上選定值后,關心度量數據在剩余維上的分布。例如選定礦山成員與分析指標,通過折線圖顯示各礦山生產運營狀況在時間維度上的變化趨勢,從而挖掘各礦山生產經營過程中指標的極值點和波動狀況。
2)鉆取。改變維的層次,變換分析的粒度。例如使用柱形圖觀察度量值在集團層面的聚合情況,再向下鉆取至成員礦山,了解度量值在礦山成員中的份額和具體情況。
3)維度切換。改變數據的集成方向,改變分析問題的角度。例如通過餅形圖先在單位維度上分析某類指標的分布情況,再切換維度至時間,分析該類指標在時間上的分布情況。
基于NET平臺,采用全B/S架構,SQL Server2008作為后臺數據庫,FineReport作為報表展示工具,完成了模型的實體化過程,并已成功運用于山東黃金集團生產運營決策,系統需通過集團內部網絡或連接專線進行訪問,有效保證了系統的平穩、安全和高效。系統的核心功能模塊包括生產運營數據稽核與查詢、多維數據的抽取與操作及基于OLAP的生產運營決策駕駛艙展示,此外系統中的報表均提供輸出及打印功能。
1)數據匯總與查詢。通過調用數據稽核模型完成對各礦山企業生產運營數據的匯總,按照企業主營產品的差異對數據進行分類匯總,輔助業務部門人員進行生產指標統計。
2)多維數據的抽取與操作。該模塊為礦業集團生產運營管理部門提供了報表定制的功能,可以滿足管理者不斷變化的報表查詢需求。定制出的報表根據預定義的運算邏輯自動從數據倉庫中抽取數據,生成主題式報表,并提供了鉆取、切片、切塊和旋轉等數據查詢的操作。
3)基于OLAP的生產運營決策駕駛艙展示。礦業集團獲取的數據越來越豐富,如何有效管理、利用,充分發揮其價值,成為礦山企業信息管理的一項重要內容。因此,在研究過程中充分考慮礦業集團自身特色,以形成適合于礦業集團運營的分析方法。該模塊為礦業集團決策者提供快速、靈活、準確的復合查詢,并通過管理駕駛艙將企業經營關鍵指標進行形象化處理,直觀的監管企業運作,并對異常值進行預警和數據挖掘[12]。
本文以國內某大型礦業集團為工程背景,建設了生產運營決策系統,經過近兩年的應用,極大提高了企業運營管理的效率及科學決策水平,在以下幾個方面有所體現。
1) 將現代信息技術和生產管理理論相結合,分析各業務部門的生產管理職能,全面規劃集團一體化管控模式下的業務流程,使集團生產運營管理趨于規范化、標準化。
2) 通過覆蓋整個集團的生產運營決策系統的開發,實現了下屬企業生產信息的采集、加工、處理、分析,并在此基礎上進行集中式稽核、匯總與分析,形成清晰、直觀的統計報表,使集團管理者可以實時、快捷地了解企業經營動態。
3) 運用OLAP技術構建面向生產運營主題的多維度數據集模型,實現了關鍵指標的多維度查詢處理,借助管理駕駛艙的可視化功能,增強了數據的展現效果,在輔助企業領導進行生產運營管理與決策方面取得了良好的應用效果。
[1] 杜炳建,王翔宇,連民杰,等.中國大型礦業公司的發展方向[J].中國礦業,2012,21(4):8-12.
[2] 胡乃聯,何煦春,李國清.礦業集團信息化問題研究[J].金屬礦山,2005,(z1):178-180,185.
[3] 侯運炳,張振峰,張浩,等.冀中能源集團發展循環經濟的實踐與探索[J].煤炭經濟研究,2009,(12):91-93.
[4] 李麗.某礦業集團管控信息系統的研究與實現[D].濟南:山東財經大學,2012.
[5] 王社國,張峰,田志民,等.基于OLAP技術的煤炭專項資金數據分析系統[J].工礦自動化,2014,40(8):97-99.
[6] 李建中,高宏.一種數據倉庫的多維數據模型[J].軟件學報,2000,11(7):908-917.
[7] 董月軍.礦業集團企業信息化協同機制研究[J].電腦知識與技術,2010,6(11):2565-2566.
[8] 鞏軍.面向煤炭企業集團協同的信息化支撐:以神華集團為例[J].中國礦業,2012,21(1):25-30.
[9] 吳沖龍,田宜平,張夏林,等.紫金礦業集團“數字礦山”建設的理論與實踐[J].金屬礦山,2009(S1):597-602.
[10] 何煦春,胡乃聯,李國清,等.基于數據倉庫的礦山企業決策支持系統研究[J].中國礦業,2007,16(4):4-7.
[11] 陳嶺,陳元中,陳根才,等.基于操作序列挖掘的OLAP查詢推薦方法[J].東南大學學報:自然科學版,2011,41(3):498-504.
[12] 王社國,張峰,田志民,等.基于OLAP技術的煤炭專項資金數據分析系統[J].工礦自動化,2014(8):97-99.
Construction of production operation & decision-making system for mining group based on OLAP
HOU Jie1,HU Nai-lian1,LI Guo-qing1,HUANG Shu-wei1,ZHAO Wei2
(1.Civil and Environmental Engineering School,University of Science and Technology Beijing,Beijing 100083,China; 2.Sanshandao Gold Mine,Shandong Gold Group (Laizhou) Co.,Ltd.,Laizhou 261400,China)
In order to realize the distributed collection,processing,analysis and comprehensive analysis of production operation data under the control mode of mining group,OLAP is applied to design and develop the production operation and decision-making system for mining group.With the information technology,system framework is build which is consist of production and operation index system,parameter management,service components,data processing,data warehouse,OLAP and report tools.In the meantime,the function structure of system sub module is planned.The data storage structure of the system is organized by Database technology and the multidimensional data set oriented to the theme of production operation is built by OLAP,which is the prerequisite for the analysis and visualization of the multi-dimension data.In addition,the system has been constructed and applied in a Chinese mining group.And realize the distributed data extraction,data auditing,report generation and statistical analysis,which could effectively improve the level of production operation management and the ability of scientific decision-making.
mining group;production operation management & decision making;information system;OLAP;multidimensional data set
2016-01-16
國家高技術研究發展計劃(863)項目資助(編號:2011AA060408);國家“十二五”科技支撐計劃項目資助(編號:2012BAB01B04)
侯杰(1989-),男,漢族,遼寧沈陽人,博士研究生,攻讀北京科技大學采礦工程專業,主要從事礦業系統工程方面的研究。E-mail:ustbhoujie@hotmail.com;
胡乃聯(1955-),男,漢族,山東臨沂人,北京科技大學教授、博士生導師,主要從事礦業系統工程、礦業技術經濟等方面的教學與研究工作。E-mail: hnl@ustb.edu.cn;
李國清(1973-),女,漢族,山東青島人,北京科技大學副教授,主要從事礦山企業信息化與數字礦山的教學與研究工作。E-mail: qqlee@ustb.edu.cn。
TP399
A
1004-4051(2016)11-011-05
黃樹巍(1992-),男,漢族,河北邢臺人,博士研究生,攻讀北京科技大學采礦工程專業,主要從事礦業系統工程方面的研究。E-mail:15201451326@163.com;
趙威(1971-),女,漢族,山東萊州人,信息系統項目管理師,主要從事礦山軟件項目的開發與管理工作。