云計(jì)算技術(shù)在煤炭企業(yè)信息化建設(shè)中的應(yīng)用

顧闖

(1.煤炭科學(xué)技術(shù)研究院有限公司 裝備分院, 北京　100013; 2.煤炭資源高效開采與潔凈利用國(guó)家

重點(diǎn)實(shí)驗(yàn)室， 北京　100013; 3.北京市煤礦安全工程技術(shù)研究中心， 北京　100013)

?

云計(jì)算技術(shù)在煤炭企業(yè)信息化建設(shè)中的應(yīng)用

顧闖1，2，3

(1.煤炭科學(xué)技術(shù)研究院有限公司 裝備分院, 北京100013; 2.煤炭資源高效開采與潔凈利用國(guó)家

重點(diǎn)實(shí)驗(yàn)室， 北京100013; 3.北京市煤礦安全工程技術(shù)研究中心， 北京100013)

摘要：分析了煤炭企業(yè)信息化建設(shè)的現(xiàn)狀，提出了云計(jì)算技術(shù)在煤炭企業(yè)的應(yīng)用思路：利用云計(jì)算技術(shù)從建新、利舊2個(gè)層面建設(shè)企業(yè)云數(shù)據(jù)中心平臺(tái)，通過建設(shè)物理資源、軟件虛擬資源、資源服務(wù)調(diào)度機(jī)制整合新、舊信息資源，實(shí)現(xiàn)數(shù)據(jù)層面的共享與交互、資源層面的相互傳遞與支撐，充分發(fā)揮和挖掘了企業(yè)海量數(shù)據(jù)中的價(jià)值。

關(guān)鍵詞：數(shù)字礦山； 信息化； 云計(jì)算技術(shù)； 虛擬資源； 礦山物聯(lián)網(wǎng)

0引言

現(xiàn)階段“十三五”科學(xué)布局，國(guó)家從宏觀角度出發(fā)提出充分發(fā)揮互聯(lián)網(wǎng)技術(shù)在生產(chǎn)要素配置中的優(yōu)化和集成作用，提升實(shí)體經(jīng)濟(jì)的創(chuàng)新力和生產(chǎn)力。國(guó)內(nèi)煤炭企業(yè)經(jīng)過近十年的信息系統(tǒng)建設(shè)，信息化成果對(duì)企業(yè)的生產(chǎn)、運(yùn)營(yíng)、銷售、決策的影響效果明顯。但隨著煤炭企業(yè)信息化的不斷深入，數(shù)據(jù)量在不斷增大，原有的分散數(shù)據(jù)處理模式已無法滿足應(yīng)用要求，信息分析得不到資源支撐，數(shù)據(jù)共享受限于傳統(tǒng)架構(gòu)，信息化的發(fā)展程度也不足以支撐礦山物聯(lián)網(wǎng)體系進(jìn)一步完善。因此，向云計(jì)算模式轉(zhuǎn)變已是趨勢(shì)，煤炭企業(yè)應(yīng)抓住時(shí)機(jī)，從覆蓋面更廣、集成度更深、智能化更高、可視化更優(yōu)等方面進(jìn)一步打造智慧化的礦山物聯(lián)網(wǎng)體系[1]，借助云計(jì)算技術(shù)升級(jí)打造新型的煤炭企業(yè)信息化架構(gòu)平臺(tái)，進(jìn)一步提升企業(yè)競(jìng)爭(zhēng)力，挖掘企業(yè)信息數(shù)據(jù)價(jià)值。

1煤炭企業(yè)信息化建設(shè)現(xiàn)狀分析

煤炭企業(yè)在管理、生產(chǎn)、經(jīng)營(yíng)等環(huán)節(jié)進(jìn)行了信息化系統(tǒng)部署，如ERP系統(tǒng)、井下監(jiān)測(cè)監(jiān)控系統(tǒng)、生產(chǎn)環(huán)網(wǎng)系統(tǒng)等，企業(yè)信息化與生產(chǎn)自動(dòng)化的深度融合實(shí)現(xiàn)了生產(chǎn)效率大幅度的提高。但隨著企業(yè)信息化建設(shè)的不斷深入，各類傳感器的投入使用、在線檢測(cè)實(shí)時(shí)性的提高、企業(yè)管理系統(tǒng)更加精細(xì)化等因素使得產(chǎn)生的信息數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)，傳統(tǒng)企業(yè)數(shù)據(jù)中心和業(yè)務(wù)系統(tǒng)處理平臺(tái)架構(gòu)(圖1)在應(yīng)對(duì)海量復(fù)雜的信息數(shù)據(jù)，實(shí)現(xiàn)不同類型數(shù)據(jù)的關(guān)聯(lián)、數(shù)據(jù)分析、挖掘需求等方面還存在先天的不足之處[2]。

圖1　傳統(tǒng)企業(yè)數(shù)據(jù)中心和業(yè)務(wù)系統(tǒng)處理平臺(tái)架構(gòu)

(1) 無法完成企業(yè)運(yùn)營(yíng)過程的數(shù)據(jù)決策分析。企業(yè)運(yùn)營(yíng)決策需要對(duì)全信息系統(tǒng)的數(shù)據(jù)進(jìn)行全量多維度的分析，通過不斷改進(jìn)分析機(jī)制，實(shí)現(xiàn)分析結(jié)果的高可用性。但傳統(tǒng)企業(yè)數(shù)據(jù)中心軟件系統(tǒng)數(shù)據(jù)處理的維度固化，網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)等資源動(dòng)態(tài)調(diào)整能力有限，并且不支持業(yè)務(wù)系統(tǒng)數(shù)據(jù)結(jié)構(gòu)的橫向關(guān)聯(lián)，所以，無法完成多維度的數(shù)據(jù)分析。

(2) 無法實(shí)現(xiàn)企業(yè)運(yùn)營(yíng)情況的實(shí)時(shí)展現(xiàn)。實(shí)時(shí)展現(xiàn)需要通過數(shù)據(jù)梳理整合建立數(shù)據(jù)倉(cāng)庫(kù)，并將倉(cāng)庫(kù)內(nèi)數(shù)據(jù)套入成本核算或生產(chǎn)計(jì)劃等數(shù)學(xué)模型內(nèi)，最終實(shí)現(xiàn)多系統(tǒng)數(shù)據(jù)的業(yè)務(wù)邏輯整合，形成實(shí)時(shí)運(yùn)營(yíng)分析報(bào)告。但傳統(tǒng)數(shù)據(jù)中心軟件數(shù)據(jù)都分散在不同的業(yè)務(wù)數(shù)據(jù)庫(kù)、統(tǒng)計(jì)報(bào)告、日志記錄內(nèi)，數(shù)據(jù)特征分析多采用分時(shí)分散進(jìn)行的方式，導(dǎo)致運(yùn)營(yíng)分析需要以月、季度，甚至以年為單位，無法體現(xiàn)時(shí)效性。

(3) 無法提供海量數(shù)據(jù)處理的動(dòng)態(tài)IT資源。傳統(tǒng)數(shù)據(jù)中心隔離式存儲(chǔ)無法實(shí)現(xiàn)容量的動(dòng)態(tài)調(diào)整。集中式的數(shù)據(jù)庫(kù)只適合定向存取類操作，不適合多數(shù)據(jù)表之間的分析提?。粋鹘y(tǒng)業(yè)務(wù)邏輯對(duì)非結(jié)構(gòu)化數(shù)據(jù)提取邏輯也很簡(jiǎn)單，無法完成海量數(shù)據(jù)處理對(duì)線性擴(kuò)展和并發(fā)使用的需求。

云計(jì)算技術(shù)針對(duì)業(yè)務(wù)需求提供的便捷、動(dòng)態(tài)的IT資源(包括網(wǎng)絡(luò)設(shè)備、服務(wù)器、存儲(chǔ)、數(shù)據(jù)庫(kù)應(yīng)用等)獲得方式，可以很好地解決傳統(tǒng)架構(gòu)在數(shù)據(jù)處理中存在的數(shù)據(jù)隔離和資源固化等問題。

2云計(jì)算技術(shù)在煤炭企業(yè)的應(yīng)用思路

利用云計(jì)算技術(shù)建設(shè)企業(yè)云數(shù)據(jù)中心平臺(tái)，并把現(xiàn)有的信息化建設(shè)成果與云計(jì)算技術(shù)完美結(jié)合，充分發(fā)揮和挖掘企業(yè)海量數(shù)據(jù)中的價(jià)值。

建設(shè)云數(shù)據(jù)中心平臺(tái)架構(gòu)可以從建新、利舊2個(gè)平面進(jìn)行考慮，將新、舊信息資源進(jìn)行整合，實(shí)現(xiàn)數(shù)據(jù)層面的共享與交互，資源層面的互相傳遞與支撐[3]。建新平面是以云計(jì)算技術(shù)為核心，從硬件資源架構(gòu)、數(shù)據(jù)分析技術(shù)等方面進(jìn)行重點(diǎn)建設(shè)；利舊平面是以現(xiàn)有的煤炭企業(yè)信息系統(tǒng)平臺(tái)為IT資源和數(shù)據(jù)來源，繼續(xù)支撐企業(yè)日常管理經(jīng)營(yíng)數(shù)據(jù)的處理與分析。

2.1云計(jì)算技術(shù)資源池改造

云計(jì)算技術(shù)資源管理就是通過改變傳統(tǒng)的“硬件定義”資源向云架構(gòu)的“軟件定義”資源過度的過程?！坝布x”資源即企業(yè)現(xiàn)有的物理設(shè)備，包括服務(wù)器、存儲(chǔ)、數(shù)據(jù)中心交換機(jī)、防火墻等?！败浖x”資源是通過建設(shè)基于云計(jì)算技術(shù)的端到端資源池架構(gòu)(圖2)，即物理資源層、虛擬資源層、資源服務(wù)與調(diào)度層，并實(shí)現(xiàn)3層資源相互支撐關(guān)聯(lián)的結(jié)果[4]。

(1) 物理資源層分布在煤炭企業(yè)總部或分機(jī)構(gòu)的數(shù)據(jù)機(jī)房。煤炭企業(yè)局域網(wǎng)或城域網(wǎng)的建設(shè)已經(jīng)實(shí)現(xiàn)了多地?cái)?shù)據(jù)中心不低于萬兆鏈路的互聯(lián)互通，實(shí)現(xiàn)了基礎(chǔ)資源的信息可達(dá)。

圖2基于云計(jì)算技術(shù)的端到端資源池架構(gòu)

(2) 虛擬資源層在云計(jì)算技術(shù)架構(gòu)中處于最為關(guān)鍵與核心的位置，是建新平面的內(nèi)容。該層可實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)對(duì)物理資源層執(zhí)行指令的截獲和小聚大的虛化處理，將分散在一個(gè)或多個(gè)數(shù)據(jù)中心的物理資源虛擬化形成資源池。其中軟件定義CPU計(jì)算對(duì)所有X86服務(wù)器架構(gòu)指令進(jìn)行截獲，首先由虛擬化仿真操作進(jìn)行基于等效需求操作的合并，通過對(duì)多臺(tái)物理計(jì)算CPU的時(shí)間片調(diào)度和I/O多隊(duì)列排序的處理，再返回給上層APP，實(shí)現(xiàn)模擬獨(dú)立計(jì)算、緩存、I/O等。軟件定義磁盤存儲(chǔ)在識(shí)別傳統(tǒng)存儲(chǔ)架構(gòu)的分布式Cache、快照、鏈接克隆、鏡像、復(fù)制冗余等存儲(chǔ)策略后，將多臺(tái)存儲(chǔ)設(shè)備整合成一個(gè)容量總和的共享存儲(chǔ)資源池。軟件定義網(wǎng)絡(luò)策略通過梳理網(wǎng)絡(luò)流量包頭信息和策略封裝內(nèi)容，把現(xiàn)有的交換機(jī)、路由器、業(yè)務(wù)網(wǎng)關(guān)等設(shè)備的組網(wǎng)信息、參數(shù)進(jìn)行虛擬設(shè)備實(shí)例化，最終構(gòu)建獨(dú)立于物理網(wǎng)絡(luò)的可靈活配置疊加的邏輯網(wǎng)絡(luò)。

(3) 資源服務(wù)與調(diào)度層主要體現(xiàn)的是管理平面的邏輯調(diào)度策略。本層通過各類業(yè)務(wù)已存在的數(shù)學(xué)模型或計(jì)算方法，使得虛擬資源池中的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)API調(diào)度機(jī)制面對(duì)不同業(yè)務(wù)需求，達(dá)到資源利用和分配更加專項(xiàng)化的效果。例如礦井綜合自動(dòng)化系統(tǒng)中井下的環(huán)境監(jiān)測(cè)監(jiān)控模型需要偏向于計(jì)算資源的利用，云計(jì)算技術(shù)資源池就會(huì)給同類業(yè)務(wù)層提供資源調(diào)配優(yōu)先級(jí)最高的API。而對(duì)于工業(yè)電視監(jiān)控或企業(yè)OA文檔系統(tǒng)等業(yè)務(wù)，則提供偏向存儲(chǔ)資源使用的高資源調(diào)度API。

2.2基于云計(jì)算技術(shù)的數(shù)據(jù)分析處理

煤炭企業(yè)信息化應(yīng)用云計(jì)算技術(shù)的本質(zhì)就是把采集和匯總的海量數(shù)據(jù)通過計(jì)算、梳理后放入數(shù)據(jù)倉(cāng)庫(kù)，再通過對(duì)應(yīng)的業(yè)務(wù)模型進(jìn)行價(jià)值挖掘后提交給第3方調(diào)度、管理或監(jiān)控平臺(tái)，最終輸出企業(yè)預(yù)期或需要使用的結(jié)果。所以，做好數(shù)據(jù)分析處理也是云計(jì)算技術(shù)發(fā)揮價(jià)值的必要條件。目前，煤炭企業(yè)信息化建設(shè)成果產(chǎn)生的數(shù)據(jù)大體可分為3類：結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和流數(shù)據(jù)。

結(jié)構(gòu)化數(shù)據(jù)：如財(cái)務(wù)、計(jì)劃統(tǒng)計(jì)、產(chǎn)運(yùn)銷等MIS管理類系統(tǒng)數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)可以通過傳統(tǒng)的Oracle、SQL轉(zhuǎn)換為基于MPPDB技術(shù)的分布式并行數(shù)據(jù)庫(kù)，利用云計(jì)算技術(shù)的多線程、多并發(fā)特性實(shí)現(xiàn)高速負(fù)載下的檢索查詢和數(shù)據(jù)管理。

非結(jié)構(gòu)化數(shù)據(jù)：如文檔管理系統(tǒng)等檔案類電子存儲(chǔ)數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)在分布式文件系統(tǒng)內(nèi)利用Map-Reduce的編程模型，通過Map方法將一個(gè)搜索任務(wù)分解成為多個(gè)任務(wù)，再用Reduce方法將多任務(wù)處理結(jié)果匯總輸出。

流數(shù)據(jù)：類似于井上、井下的視頻監(jiān)控系統(tǒng)產(chǎn)生的實(shí)時(shí)類數(shù)據(jù)。此類數(shù)據(jù)可以通過云計(jì)算技術(shù)的分布式事件流處理技術(shù)，對(duì)外提供規(guī)則引擎和查詢引擎，實(shí)現(xiàn)對(duì)視頻信息的規(guī)格化處理[5]。

基于云計(jì)算技術(shù)的端到端數(shù)據(jù)分析處理架構(gòu)如圖3所示。

圖3　基于云計(jì)算技術(shù)的端到端數(shù)據(jù)分析處理架構(gòu)

3云計(jì)算技術(shù)在數(shù)字礦山系統(tǒng)中的應(yīng)用

數(shù)字礦山系統(tǒng)[6-8]應(yīng)用云計(jì)算技術(shù)進(jìn)行架構(gòu)改造(圖4)，通過將數(shù)字礦山現(xiàn)有的各類數(shù)據(jù)源、業(yè)務(wù)系統(tǒng)需求、硬件物理設(shè)備等資源與虛擬化、數(shù)據(jù)存儲(chǔ)、處理分析等云計(jì)算技術(shù)合理結(jié)合，并采用云計(jì)算技術(shù)解決海量數(shù)據(jù)計(jì)算資源的調(diào)度和數(shù)據(jù)處理等問題。改造后將企業(yè)現(xiàn)有的硬件資源最大化共享，為數(shù)字礦山系統(tǒng)的進(jìn)一步擴(kuò)展和完善提供了動(dòng)態(tài)的資源保障。原有分散在數(shù)字礦山各個(gè)系統(tǒng)中的數(shù)據(jù)信息資源也通過云計(jì)算技術(shù)進(jìn)行了匯總梳理整合，為下一步多維度的數(shù)學(xué)模型分析提供了數(shù)據(jù)支持。

圖4　應(yīng)用云計(jì)算技術(shù)的數(shù)字礦山系統(tǒng)架構(gòu)

物聯(lián)網(wǎng)智能感知層中的各類監(jiān)測(cè)監(jiān)控系統(tǒng)中的信息數(shù)據(jù)是計(jì)算數(shù)據(jù)的主要來源，相應(yīng)的配套結(jié)構(gòu)性數(shù)據(jù)則由ERP系統(tǒng)提供。

現(xiàn)有的物理資源層各類硬件設(shè)備應(yīng)用了軟件定義資源的技術(shù)改造后，形成了計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源池，通過資源調(diào)度策略針對(duì)不同的業(yè)務(wù)系統(tǒng)和評(píng)估分析模型動(dòng)態(tài)輸出技術(shù)資源，為數(shù)據(jù)的分析處理提供支撐。

數(shù)據(jù)分析處理層通過分布式文件系統(tǒng)(HDFS)將獲取到的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)文件分為一個(gè)或多個(gè)數(shù)據(jù)塊，這些數(shù)據(jù)塊對(duì)應(yīng)在DataNode的數(shù)據(jù)集合內(nèi)，DataNode提供對(duì)數(shù)據(jù)的命名和訪問管理。HBase技術(shù)提供了面向計(jì)算的分布式存儲(chǔ)系統(tǒng)，它用表的形式存儲(chǔ)數(shù)據(jù)，表中的數(shù)據(jù)被劃分為多個(gè)Region，與HDFS進(jìn)行對(duì)接聯(lián)動(dòng)實(shí)現(xiàn)大數(shù)據(jù)的讀、寫訪問，可以實(shí)現(xiàn)批量加載并為基礎(chǔ)數(shù)據(jù)提供分析工具如Map-Reduce/MPP等。MR任務(wù)編排和統(tǒng)計(jì)分析Hive類軟件進(jìn)行與虛擬資源池的資源申請(qǐng)和分配，并依據(jù)已有的分析模型進(jìn)行偏重分配和管理。最終計(jì)算結(jié)果輸出給第3方的展示、預(yù)警、分析類平臺(tái)，圖形化后輸出可視信息[9-10]。

4結(jié)語

將云計(jì)算技術(shù)應(yīng)用在煤炭企業(yè)信息化建設(shè)中，首先，可以最大化地盤活企業(yè)空閑IT資源，虛擬化的資源池為信息系統(tǒng)提供靈活、可靠的基礎(chǔ)支撐；其次，云計(jì)算的“一分多、多合一”數(shù)據(jù)分析處理方式為進(jìn)一步深度挖掘企業(yè)數(shù)據(jù)價(jià)值提供了技術(shù)支撐。但在云計(jì)算技術(shù)架構(gòu)改造實(shí)施過程中，企業(yè)還應(yīng)該重點(diǎn)考慮虛擬化技術(shù)建設(shè)標(biāo)準(zhǔn)，以保障平臺(tái)對(duì)多廠家產(chǎn)品的最大化支持，并契合企業(yè)自身情況特點(diǎn)，制定具有眾多理論和企業(yè)實(shí)踐經(jīng)驗(yàn)驗(yàn)證的數(shù)據(jù)分析模型，再利用云計(jì)算技術(shù)對(duì)大數(shù)據(jù)進(jìn)行挖掘和處理，為企業(yè)跨越發(fā)展提供決策支撐。

參考文獻(xiàn)：

[1]馬化騰.互聯(lián)網(wǎng)+:國(guó)家戰(zhàn)略行動(dòng)路線圖[M].北京:中信出版集團(tuán),2015:18.

[2]賀耀宜,武鈺.數(shù)字化礦山建設(shè)中存在問題分析及對(duì)策[J].工礦自動(dòng)化,2014,40(11):30-33.

[3]丁恩杰,趙志凱.煤礦物聯(lián)網(wǎng)研究現(xiàn)狀及發(fā)展趨勢(shì)[J].工礦自動(dòng)化,2015,41(5):1-5.

[4]張焰,李楊.用大數(shù)據(jù)武裝”云”:基于云計(jì)算的大數(shù)據(jù)處理技術(shù)[J].中國(guó)新通信,2015,20(4):87-88.

[5]王春雷.基于三維GIS展現(xiàn)的煤礦物聯(lián)網(wǎng)異構(gòu)數(shù)據(jù)集成與應(yīng)用[D].北京:中國(guó)礦業(yè)大學(xué)(北京),2014.

[6]孟磊,丁恩杰,吳立新.基于礦山物聯(lián)網(wǎng)的礦井突水感知關(guān)鍵技術(shù)研究[J].煤炭學(xué)報(bào),2013,38(8):1397-1403.

[7]吳立新,汪云甲,丁恩杰,等.三論數(shù)字礦山——借力物聯(lián)網(wǎng)保障礦山安全與智能采礦[J].煤炭學(xué)報(bào),2012,37(3):357-365.

[8]張申,劉鵬,張彭.感知礦山物聯(lián)網(wǎng)云計(jì)算應(yīng)用探索[J].煤炭科學(xué)技術(shù),2012,40(9):72-75.

[9]費(fèi)仕憶.Hadoop大數(shù)據(jù)平臺(tái)與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的協(xié)作研究[D].上海:東華大學(xué),2014.

[10]馬小平,胡延軍,繆燕子.物聯(lián)網(wǎng)、大數(shù)據(jù)及云計(jì)算技術(shù)在煤礦安全生產(chǎn)中的應(yīng)用研究[J].工礦自動(dòng)化,2014,40(4):5-9.

實(shí)驗(yàn)研究

顧闖.云計(jì)算技術(shù)在煤炭企業(yè)信息化建設(shè)中的應(yīng)用[J].工礦自動(dòng)化，2016,42(1)：13-16.

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/32.1627.TP.20151231.1552.005.html

Application of cloud computing technology in information construction of coal enterprises

GU Chuang1，2，3

(1.Branch of Equipment, China Coal Research Institute， Beijing 100013， China; 2.State Key

Laboratory of High Efficient Mining and Clean Utilization of Coal Resource，Beijing 100013，China；

3.Beijing Mine Safety Engineering Technology Research Center，Beijing 100013，China)

Abstract:The status of informationization construction of coal enterprises was analyzed, and the application idea of cloud computing technology in coal enterprises was put forward. The cloud data center platform was built by using cloud computing technology from two aspects of constructing new and using old, and new and old information resources were integrated through construction of physical resources, virtual software resources, resource service scheduling mechanism, so as to realize data sharing and interaction on data layer, transfer and support each other on resources layer, and it excavates the value of huge amounts of data of enterprises.

Key words:digital mine； informationization; cloud computing technology； virtual resources； mine Internet of Things

作者簡(jiǎn)介：顧闖(1981-)，男，遼寧阜新人，高級(jí)工程師，現(xiàn)主要從事煤炭企業(yè)信息化與信息安全技術(shù)方面的研究工作，E-mail:guc@owlsoft.com.cn。

基金項(xiàng)目：國(guó)家科技重大專項(xiàng)項(xiàng)目(2011ZX05065-006)。

收稿日期：2015-08-12；修回日期：2015-11-27；責(zé)任編輯：張強(qiáng)。

中圖分類號(hào)：TD67

文獻(xiàn)標(biāo)志碼：A網(wǎng)絡(luò)出版時(shí)間：2015-12-31 15:52

文章編號(hào)：1671-251X(2016)01-0013-04DOI:10.13272/j.issn.1671-251x.2016.01.005