用大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)煤炭運(yùn)銷領(lǐng)域企業(yè)級數(shù)據(jù)全景視圖研究

劉濤

【摘 要】煤炭煤炭運(yùn)銷企業(yè)數(shù)據(jù)量巨大、數(shù)據(jù)類型多，目前對這些數(shù)據(jù)處理不僅工作量大而且精確度不高。為了解決這個(gè)問題，本文分析了在煤炭運(yùn)銷企業(yè)中應(yīng)用大數(shù)據(jù)的服務(wù)對象和關(guān)鍵技術(shù)，提出了煤炭運(yùn)銷企業(yè)中大數(shù)據(jù)的總體架構(gòu)，展望了大數(shù)據(jù)在煤炭運(yùn)銷領(lǐng)域經(jīng)營管理中的推廣應(yīng)用。

【關(guān)鍵詞】煤炭運(yùn)銷企業(yè)；大數(shù)據(jù)；全景視圖

【Abstract】Coal Coal Transportation Enterprise huge amount of data， data types， data processing is not only the current workload and the accuracy is not high. To solve this problem， this paper analyzes the application of large data in a coal transportation enterprise clients and key technologies， the overall architecture proposed coal transportation enterprise big data， big data application prospect of coal transportation in the field of business management.

【Key words】Coal transportation business；Large transactions；Panoramic view

1. 引言

（1）“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)是大量、高速、多變的信息資產(chǎn)，它需要新型的處理方式去促成更強(qiáng)的決策能力、洞察力與優(yōu)化處理。（Gartner定義）。

（2）大數(shù)據(jù)的發(fā)展經(jīng)歷了三個(gè)階段。第一階段，主要是技術(shù)研發(fā)概念推廣、商業(yè)模式嘗試階段；第二階段，主要是大數(shù)據(jù)的完善，行業(yè)應(yīng)用，用戶認(rèn)可，數(shù)據(jù)資產(chǎn)化進(jìn)程階段；第三階段，大數(shù)據(jù)解決方案成熟，大數(shù)據(jù)應(yīng)用滲透各行業(yè)，數(shù)據(jù)驅(qū)動(dòng)決策，信息社會(huì)智能化程度大幅度提升階段。

（3）當(dāng)前在內(nèi)外部形勢的變化，要求煤炭運(yùn)銷企業(yè)必須要轉(zhuǎn)變思路、加快企業(yè)的轉(zhuǎn)型升級，通過大數(shù)據(jù)應(yīng)用變革，推動(dòng)業(yè)務(wù)轉(zhuǎn)變，驅(qū)動(dòng)企業(yè)戰(zhàn)略轉(zhuǎn)型。基于大數(shù)據(jù)平臺(tái)能力實(shí)現(xiàn)煤炭運(yùn)銷領(lǐng)域企業(yè)數(shù)據(jù)全景視圖，是一項(xiàng)系統(tǒng)性、戰(zhàn)略性、全局性工作；它涉及到市場營銷、生產(chǎn)調(diào)運(yùn)、物流發(fā)展、運(yùn)營管理等各環(huán)節(jié)；是對跨單位、跨專業(yè)、跨業(yè)務(wù)的數(shù)據(jù)分析、挖掘和實(shí)施數(shù)據(jù)可視化。對滿足煤炭運(yùn)銷企業(yè)數(shù)據(jù)量大、處理速度快、數(shù)據(jù)類型多、價(jià)值大、精確性高的基本要求有著十分重要的意義。

2. 數(shù)據(jù)全景視圖的服務(wù)對象及能力

通過建立企業(yè)數(shù)據(jù)全景視圖，時(shí)刻掌握企業(yè)的運(yùn)營狀況。通過多層次的數(shù)據(jù)下鉆，直達(dá)執(zhí)行末梢；通過多角度、多維度數(shù)據(jù)的分析，定義數(shù)據(jù)異常的原因，采取針對性措施。面向集團(tuán)內(nèi)部人員，提供精確化的分析服務(wù)，縮短工作流程，提高工作效率。面向外部客戶，提供精準(zhǔn)化營銷服務(wù)，提升客戶感知。面向產(chǎn)業(yè)鏈合作伙伴提供商情報(bào)告和目標(biāo)客戶，推進(jìn)銷售和服務(wù)向電子商務(wù)轉(zhuǎn)移（見表1）。

3. 實(shí)現(xiàn)企業(yè)級數(shù)據(jù)全景視圖的關(guān)鍵技術(shù)和總體架構(gòu)

3.1 數(shù)據(jù)采集與交換。

數(shù)據(jù)采集與交換是構(gòu)建大數(shù)據(jù)平臺(tái)的基礎(chǔ)，實(shí)現(xiàn)數(shù)據(jù)采集和數(shù)據(jù)交換的功能。大數(shù)據(jù)平臺(tái)中的數(shù)據(jù)采集與交換框架涉及三部分內(nèi)容：

（1）數(shù)據(jù)范圍，包括自有業(yè)務(wù)系統(tǒng)、煤化集團(tuán)相關(guān)系統(tǒng)、互聯(lián)網(wǎng)和外部合作伙伴三個(gè)數(shù)據(jù)來源；

（2）數(shù)據(jù)采集，支持多種數(shù)據(jù)源類型、實(shí)時(shí)/定時(shí)的、海量的數(shù)據(jù)獲取；

（3）數(shù)據(jù)交換，通過數(shù)據(jù)交換平臺(tái)保障數(shù)據(jù)獲取的有序、一致。

根據(jù)高價(jià)值數(shù)據(jù)優(yōu)先、客戶數(shù)據(jù)優(yōu)先和內(nèi)部數(shù)據(jù)優(yōu)先的原則，逐步擴(kuò)展數(shù)據(jù)采集范圍。同時(shí)，在數(shù)據(jù)采集中，應(yīng)高度重視數(shù)據(jù)交換平臺(tái)的作用。

3.2 數(shù)據(jù)質(zhì)量管理。

數(shù)據(jù)質(zhì)量管理實(shí)現(xiàn)對數(shù)據(jù)源、處理過程、模型和指標(biāo)等對象的數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控和分析，以及相關(guān)問題的處理和跟蹤。數(shù)據(jù)質(zhì)量監(jiān)控貫穿整個(gè)數(shù)據(jù)加工生產(chǎn)全流程。在數(shù)據(jù)生產(chǎn)及維護(hù)過程中設(shè)置監(jiān)控采集點(diǎn)，結(jié)合數(shù)據(jù)標(biāo)準(zhǔn)化要求和元數(shù)據(jù)工具等，實(shí)現(xiàn)大數(shù)據(jù)全過程透明管控。

建立企業(yè)級數(shù)據(jù)標(biāo)準(zhǔn)體系和建立數(shù)據(jù)質(zhì)量責(zé)任矩陣，確保數(shù)據(jù)從產(chǎn)生到使用的各個(gè)環(huán)節(jié)均有監(jiān)控、稽核、處理流程和責(zé)任人。編碼管理流程是企業(yè)數(shù)據(jù)質(zhì)量管理的核心流程，是提升企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化支撐能力的起始階段。

3.3 數(shù)據(jù)生命周期管理。

數(shù)據(jù)生命周期管理是指在數(shù)據(jù)生產(chǎn)的不同階段采用相應(yīng)處理方法，以提升數(shù)據(jù)存儲(chǔ)管理效率和降低成本。通過對數(shù)據(jù)使用情況分析及數(shù)據(jù)遷移工具，實(shí)現(xiàn)對不同層級生命周期數(shù)據(jù)的管理。

3.4 數(shù)據(jù)安全管控方面。

利用管理和技術(shù)手段，對數(shù)據(jù)管理全過程的數(shù)據(jù)資產(chǎn)、傳輸、環(huán)境、訪問控制、人員等方面進(jìn)行有效安全管控。管控階段包括數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)提供三個(gè)階段。從系統(tǒng)的管理過程、組織和人的管理過程、數(shù)據(jù)安全的管理過程三個(gè)維度建立立體的數(shù)據(jù)安全管理體系。

3.5 企業(yè)級數(shù)據(jù)全景視圖平臺(tái)架構(gòu)。

打造六層架構(gòu)的大數(shù)據(jù)平臺(tái)。基于大數(shù)據(jù)平臺(tái)的服務(wù)能力，構(gòu)建貫穿企業(yè)管理域（M域）、業(yè)務(wù)域（B域）的數(shù)據(jù)全景視圖管理和應(yīng)用。面向決策層、管理層、執(zhí)行層、市場一線、外部用戶和產(chǎn)業(yè)鏈合作伙伴，提供多層級、多渠道、360度的數(shù)據(jù)和應(yīng)用服務(wù)能力，達(dá)到服務(wù)對象多元化、服務(wù)內(nèi)容精細(xì)化、服務(wù)水平高效化（企業(yè)大數(shù)據(jù)平臺(tái)架構(gòu)圖見圖1）。

4. 企業(yè)級數(shù)據(jù)全景儀表盤在經(jīng)營管理中的應(yīng)用

（1）利用數(shù)據(jù)可視化技術(shù)展現(xiàn)關(guān)鍵業(yè)務(wù)指標(biāo)，“橫向看全、縱向看深”，反映企業(yè)經(jīng)營健康情況及績效狀況，更好的服務(wù)于企業(yè)經(jīng)營決策，實(shí)現(xiàn)透明管控。

（2）全景儀表盤的業(yè)務(wù)設(shè)計(jì)，以EVM為依據(jù)，按照物流管理、營銷管理、運(yùn)營管理、調(diào)運(yùn)管理、客戶感知五大主題進(jìn)行指標(biāo)梳理展現(xiàn)。以分析模型為支撐，完成指標(biāo)關(guān)聯(lián)、指標(biāo)預(yù)測。基于價(jià)值體系的全景指標(biāo)體系，形成指標(biāo)庫。基于指標(biāo)庫實(shí)現(xiàn)指標(biāo)的可視化、可配置，以滿足后續(xù)擴(kuò)展的需要。

（3）全景儀表盤的實(shí)施服務(wù)于“管理上收、服務(wù)下沉”的思路，逐步將儀表盤擴(kuò)展到分子公司、市場一線，形成分角色儀表盤。

（4）后期，可以依托大數(shù)據(jù)平臺(tái)形成的能力，實(shí)現(xiàn)企業(yè)精準(zhǔn)營銷、在線業(yè)務(wù)管控等大數(shù)據(jù)擴(kuò)展應(yīng)用（企業(yè)數(shù)據(jù)全景儀表盤應(yīng)用見圖2）。

5. 結(jié)語

針對煤炭運(yùn)銷企業(yè)中海量數(shù)據(jù)所帶來的諸多問題，本文提出了將大數(shù)據(jù)應(yīng)用于煤炭運(yùn)銷企業(yè)中，分析了煤炭運(yùn)銷企業(yè)中構(gòu)建大數(shù)據(jù)平臺(tái)的服務(wù)對象和關(guān)鍵技術(shù)，提出了煤炭運(yùn)銷企業(yè)數(shù)據(jù)全景視圖得分價(jià)格和應(yīng)用。通過對大數(shù)據(jù)的推廣、應(yīng)用，實(shí)現(xiàn)用數(shù)據(jù)透視企業(yè)、感知客戶、提升管理、體現(xiàn)價(jià)值。

參考文獻(xiàn)

[1] 《大數(shù)據(jù)時(shí)代》 英.維克托·邁爾·舍恩伯格，英.肯尼思·庫克耶 著盛楊燕，周濤譯 浙江人民出版社.

[2] 中國聯(lián)通大數(shù)據(jù)平臺(tái)規(guī)劃.

[3] 神華集團(tuán)信息化建設(shè)SH217工程報(bào)告.

[4] 陜西煤業(yè)化工集團(tuán)有限責(zé)任公司信息化總體規(guī)劃綱要.

[5] 《數(shù)據(jù)挖掘概念與技術(shù)》 Jiawei Han，Micheline Kamber 著 范明，孟小峰 譯 機(jī)械工業(yè)出版社.

[文章編號]1619-2737（2015）07-29-008