大型傳統(tǒng)企業(yè)應(yīng)用大數(shù)據(jù)技術(shù)探索與實(shí)踐

王瑋

摘要：隨著企業(yè)數(shù)字化轉(zhuǎn)型、工業(yè)互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)資產(chǎn)的重要性日益突出。互聯(lián)網(wǎng)企業(yè)已將成功將大數(shù)據(jù)技術(shù)應(yīng)用于精準(zhǔn)營(yíng)銷、輔助決策等生產(chǎn)活動(dòng)的各個(gè)方面。但針對(duì)傳統(tǒng)企業(yè)如何將大數(shù)據(jù)應(yīng)用于經(jīng)營(yíng)生產(chǎn)，尚未有成熟的應(yīng)用模式。本文通過(guò)多大數(shù)據(jù)技術(shù)的研究，從大數(shù)據(jù)平臺(tái)、數(shù)據(jù)建設(shè)方法、預(yù)期收益等角度分別論述。

關(guān)鍵詞：大數(shù)據(jù);數(shù)字化轉(zhuǎn)型

1 傳統(tǒng)企業(yè)應(yīng)用大數(shù)據(jù)技術(shù)難點(diǎn)

傳統(tǒng)企業(yè)在信息化的建設(shè)過(guò)程中，往往重應(yīng)用，輕數(shù)據(jù)。通常存在以下問(wèn)題：1生產(chǎn)過(guò)程中生成的大量現(xiàn)場(chǎng)實(shí)時(shí)數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)（文件、音視頻等）未進(jìn)行有效長(zhǎng)期存儲(chǔ)，生產(chǎn)業(yè)務(wù)相關(guān)數(shù)據(jù)資產(chǎn)未進(jìn)行很好的沉淀保護(hù)2未形成統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，分公司之間的數(shù)據(jù)難共享，形成數(shù)據(jù)孤島;3存在數(shù)據(jù)缺失、數(shù)據(jù)不一致、數(shù)據(jù)可信度低的情況;4數(shù)據(jù)權(quán)限類型等級(jí)不明，無(wú)法對(duì)數(shù)據(jù)實(shí)現(xiàn)分級(jí)分類的管理，存在敏感數(shù)據(jù)泄露的風(fēng)險(xiǎn);5數(shù)據(jù)利用率低，數(shù)據(jù)的分析不夠直觀;隨著業(yè)務(wù)發(fā)展和信息化建設(shè)，以上問(wèn)題愈發(fā)明顯，數(shù)據(jù)的資產(chǎn)價(jià)值較難體現(xiàn)。

特別是隨著大數(shù)據(jù)技術(shù)的不斷成熟，數(shù)據(jù)的價(jià)值正不斷挖掘，但傳統(tǒng)企業(yè)往往陷入懂業(yè)務(wù)的人不懂?dāng)?shù)據(jù)技術(shù)，懂?dāng)?shù)據(jù)技術(shù)的不懂業(yè)務(wù)的兩難境地。

2傳統(tǒng)企業(yè)應(yīng)用大數(shù)據(jù)技術(shù)的關(guān)注點(diǎn)

在應(yīng)用大數(shù)據(jù)技術(shù)中，構(gòu)建企業(yè)統(tǒng)一的大數(shù)據(jù)技術(shù)平臺(tái)是較為成熟和可行的方式，將公司海量數(shù)據(jù)在一個(gè)平臺(tái)上進(jìn)行集中存儲(chǔ)、建模、分析，通過(guò)“數(shù)據(jù)生長(zhǎng)在一起”的方式，使得數(shù)據(jù)資源跨區(qū)域、跨層級(jí)、跨部門的互聯(lián)互通、融合成為可能，從而不斷洞察數(shù)據(jù)價(jià)值。因此，如何構(gòu)建一個(gè)大數(shù)據(jù)平臺(tái)至關(guān)重要。

2.1多樣的數(shù)據(jù)采集存儲(chǔ)

與互聯(lián)網(wǎng)應(yīng)用不同，傳統(tǒng)企業(yè)有大量的現(xiàn)場(chǎng)設(shè)備/設(shè)施的數(shù)據(jù)需要采集（如工業(yè)控制系統(tǒng)數(shù)據(jù)、生產(chǎn)裝置的數(shù)據(jù)、能源消耗的數(shù)據(jù)等等）。因此，在搭建數(shù)據(jù)采集模塊時(shí)，除了要考慮傳統(tǒng)的oracl/mySql/DB2、NoSQL、文檔等數(shù)據(jù)的采集外，還需要能夠采集視頻數(shù)據(jù)、各類傳感器數(shù)據(jù)、能夠支持OPC/MODBUS等多種工業(yè)協(xié)議。存儲(chǔ)的選擇也要根據(jù)數(shù)據(jù)類型的不同，選擇合適存儲(chǔ)類型。通常，結(jié)構(gòu)化數(shù)據(jù)庫(kù)（如ORACLE）、非結(jié)構(gòu)化數(shù)據(jù)庫(kù)（如HBAS）、文件存儲(chǔ)（如HDFS）、工業(yè)實(shí)施數(shù)據(jù)存儲(chǔ)（如PI實(shí)時(shí)數(shù)據(jù)庫(kù)）都必不可少。

2.2海量的數(shù)據(jù)處理

大數(shù)據(jù)的特點(diǎn)就是數(shù)據(jù)量大，在數(shù)據(jù)處理中，重點(diǎn)應(yīng)該關(guān)注離線數(shù)據(jù)處理和流數(shù)據(jù)處理兩種技術(shù)。離線處理主要用于批量的結(jié)構(gòu)化數(shù)據(jù)的計(jì)算，可以提供海量數(shù)據(jù)數(shù)據(jù)的分析建模服務(wù)。用戶可以不必關(guān)心分布式計(jì)算細(xì)節(jié)，從而達(dá)到分析大數(shù)據(jù)的目的。實(shí)時(shí)流處理技術(shù)旨在更少的時(shí)間內(nèi)處理更多的數(shù)據(jù)，具備強(qiáng)大的實(shí)時(shí)處理能力，例如現(xiàn)場(chǎng)設(shè)備的實(shí)時(shí)診斷、同步預(yù)警等都需要用到流計(jì)算。

2.3統(tǒng)一的數(shù)據(jù)治理

各分支機(jī)構(gòu)遵循同一套標(biāo)準(zhǔn)進(jìn)行開發(fā)，堅(jiān)持“事中實(shí)時(shí)監(jiān)控?cái)r截、事后有效管理改進(jìn)”，從而實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的自運(yùn)營(yíng)機(jī)制，確保數(shù)據(jù)質(zhì)量滿閉環(huán)管理。

在數(shù)據(jù)治理中，模型的分層設(shè)計(jì)，是較為重要的一環(huán)，通過(guò)模型的統(tǒng)一分層設(shè)計(jì)，，使得懂?dāng)?shù)據(jù)處理技術(shù)的人員關(guān)注于物理的表結(jié)構(gòu)、存儲(chǔ)空間等;使做數(shù)據(jù)分析的人員能關(guān)注在業(yè)務(wù)層面，屏蔽技術(shù)細(xì)節(jié)。通常可分為三層模型：數(shù)據(jù)緩沖層保持與原系統(tǒng)模型及數(shù)據(jù)一致。數(shù)據(jù)倉(cāng)庫(kù)層對(duì)臟數(shù)據(jù)清洗、標(biāo)準(zhǔn)化、主數(shù)據(jù)檢測(cè)、數(shù)據(jù)更新歸檔合并等。數(shù)據(jù)集市層按照業(yè)務(wù)設(shè)計(jì)分域整合主題模型，面向業(yè)務(wù)應(yīng)用。

2.4分級(jí)的安全防護(hù)

通過(guò)數(shù)據(jù)分級(jí)分類，明確了需要重點(diǎn)保護(hù)的敏感數(shù)據(jù)資產(chǎn)，從數(shù)據(jù)安全生命周期角度出發(fā)，采取管理和技術(shù)兩方面的手段，在數(shù)據(jù)安全生命周期的每一個(gè)階段，都有相應(yīng)的安全管理制度以及安全技術(shù)保障。研究數(shù)據(jù)權(quán)限管理、數(shù)據(jù)安全等級(jí)管理和數(shù)據(jù)脫敏管理。通過(guò)對(duì)數(shù)據(jù)生命周期（數(shù)據(jù)生產(chǎn)、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)使用、數(shù)據(jù)傳輸、數(shù)據(jù)傳播、數(shù)據(jù)銷毀）各環(huán)節(jié)進(jìn)行數(shù)據(jù)安全管理管控，實(shí)現(xiàn)數(shù)據(jù)安全目標(biāo)。

3 數(shù)據(jù)建設(shè)的方法

與傳統(tǒng)信息系統(tǒng)建設(shè)相比，數(shù)據(jù)建設(shè)更加強(qiáng)調(diào)統(tǒng)一的數(shù)據(jù)資產(chǎn)管理。應(yīng)該首先根據(jù)企業(yè)的業(yè)務(wù)流程，在企業(yè)業(yè)務(wù)規(guī)劃階段，同步制定出各個(gè)業(yè)務(wù)環(huán)節(jié)過(guò)程中的數(shù)據(jù)模型，通過(guò)統(tǒng)一規(guī)劃設(shè)計(jì)，確保數(shù)據(jù)治理。同時(shí)在信息系統(tǒng)建設(shè)中，強(qiáng)調(diào)對(duì)需求的數(shù)據(jù)建模，將數(shù)據(jù)模型建立從原來(lái)的系統(tǒng)開發(fā)中抽離出來(lái)，作做單獨(dú)的環(huán)節(jié)。具體的執(zhí)行步驟如下圖：

4 大數(shù)據(jù)技術(shù)對(duì)企業(yè)的價(jià)值

通過(guò)實(shí)踐表明，數(shù)據(jù)質(zhì)量高、數(shù)據(jù)分析能力強(qiáng)的企業(yè)，在經(jīng)營(yíng)決策分析、精細(xì)化管理、一體化協(xié)同方面明顯具有較大優(yōu)勢(shì)。數(shù)據(jù)帶來(lái)的價(jià)值簡(jiǎn)要分析如下：

1.通過(guò)數(shù)據(jù)模型的建立，將數(shù)據(jù)沉淀為業(yè)務(wù)經(jīng)驗(yàn)，提升數(shù)據(jù)分析能力與利用效率。

2.通過(guò)標(biāo)準(zhǔn)編制和數(shù)據(jù)清理，對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行統(tǒng)一集中的管理，提升數(shù)據(jù)資產(chǎn)質(zhì)量，實(shí)現(xiàn)數(shù)據(jù)從開發(fā)到運(yùn)維的全程高效管控。

3.通過(guò)各業(yè)務(wù)的數(shù)據(jù)的匯總標(biāo)識(shí)，率先在數(shù)據(jù)層面，實(shí)現(xiàn)跨業(yè)務(wù)的數(shù)據(jù)打通，通過(guò)數(shù)據(jù)分析，洞察業(yè)務(wù)機(jī)會(huì)點(diǎn)，延長(zhǎng)產(chǎn)業(yè)鏈拓展產(chǎn)業(yè)的范圍，促進(jìn)不同業(yè)務(wù)領(lǐng)域的一體化協(xié)同。

4.通過(guò)產(chǎn)業(yè)數(shù)據(jù)資產(chǎn)化促進(jìn)數(shù)據(jù)變現(xiàn)，洞察業(yè)務(wù)，借助數(shù)據(jù)分析逐漸滲透到各產(chǎn)業(yè)及業(yè)務(wù)場(chǎng)景，進(jìn)而探索服務(wù)新業(yè)態(tài)激活產(chǎn)業(yè)新動(dòng)能。

參考文獻(xiàn)：

[1] ?企業(yè)級(jí)大數(shù)據(jù)平臺(tái)構(gòu)建：架構(gòu)與實(shí)現(xiàn) [M].機(jī)械工業(yè)出版社，朱凱，2018

[2] ?企業(yè)IT架構(gòu)轉(zhuǎn)型之道 [M].機(jī)械工業(yè)出版社，鐘華 2017

（作者單位：中海油信息科技有限公司）