基于大數(shù)據(jù)技術(shù)的企業(yè)運(yùn)營管理系統(tǒng)設(shè)計(jì)

摘要：文章闡述了企業(yè)數(shù)據(jù)的特征以及企業(yè)運(yùn)營管理系統(tǒng)設(shè)計(jì)時(shí)需要使用的大數(shù)據(jù)關(guān)鍵技術(shù)，提出了基于大數(shù)據(jù)技術(shù)的企業(yè)運(yùn)營管理系統(tǒng)的設(shè)計(jì)方法，為保持企業(yè)運(yùn)營的持續(xù)性提供基礎(chǔ)保障。

關(guān)鍵詞：大數(shù)據(jù)；企業(yè)；運(yùn)營管理；系統(tǒng)設(shè)計(jì)

doi：10.3969/J.ISSN.1672-7274.2023.06.006

中圖分類號：TP 311" " " " " " " "文獻(xiàn)標(biāo)志碼：A" " " " " " " "文章編碼：1672-7274（2023）06-00-03

Abstract： This article describes the characteristics of enterprise data and the key technologies of big data that need to be used in the design of enterprise operation management systems， and proposes a design method for enterprise operation management systems based on big data technology to provide basic guarantees for maintaining the sustainability of enterprise operations.

Key words： big data; enterprise; operation management; system design

大數(shù)據(jù)技術(shù)在企業(yè)運(yùn)營管理系統(tǒng)中的運(yùn)用，能幫助企業(yè)對內(nèi)外部數(shù)據(jù)進(jìn)行收集、加工并轉(zhuǎn)化為對企業(yè)運(yùn)營有用的信息，甚至提煉為企業(yè)的知識庫，提升普通數(shù)據(jù)的價(jià)值，為企業(yè)的各項(xiàng)運(yùn)營決策提供強(qiáng)有力的支撐。基于大數(shù)據(jù)技術(shù)的企業(yè)運(yùn)營管理系統(tǒng)，不僅需要在數(shù)據(jù)存儲和底層數(shù)據(jù)庫的應(yīng)用上選擇合適的大數(shù)據(jù)工具，更需要從數(shù)據(jù)采集開始，整合企業(yè)大數(shù)據(jù)全鏈條的技術(shù)應(yīng)用。在企業(yè)運(yùn)營過程中，數(shù)據(jù)量和價(jià)值維度不斷增長，如何通過大數(shù)據(jù)技術(shù)挖掘并管理企業(yè)運(yùn)營中的各類數(shù)據(jù)，并在企業(yè)運(yùn)營管理系統(tǒng)中加以體現(xiàn)是值得深究的問題[1]。

1" 企業(yè)數(shù)據(jù)的特征

企業(yè)數(shù)據(jù)由于覆蓋了生產(chǎn)經(jīng)營的各個(gè)環(huán)節(jié)，體量十分龐大。不同類型、不同行業(yè)企業(yè)的數(shù)據(jù)量也很懸殊。由于企業(yè)精細(xì)化管理的需求，近年來不少企業(yè)加大了對各類生產(chǎn)經(jīng)營數(shù)據(jù)的采集力度和頻次，數(shù)據(jù)量呈現(xiàn)出爆發(fā)性增長的趨勢，多數(shù)企業(yè)的總數(shù)據(jù)量達(dá)到EB級別。在企業(yè)運(yùn)營過程中，涉及采購、生產(chǎn)、財(cái)務(wù)、人力資源、銷售、供應(yīng)鏈等眾多類型的數(shù)據(jù)，這些數(shù)據(jù)中既有結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，同時(shí)還存在大量的非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)在企業(yè)數(shù)據(jù)中的占比達(dá)到75%以上，通過大數(shù)據(jù)技術(shù)的應(yīng)用，讓其余的非結(jié)構(gòu)化數(shù)據(jù)發(fā)揮更大的價(jià)值。另外企業(yè)運(yùn)營管理對于其數(shù)據(jù)采集和提取的及時(shí)性以及數(shù)據(jù)的價(jià)值方面具有很高的要求。利用大數(shù)據(jù)技術(shù)構(gòu)建企業(yè)運(yùn)營管理系統(tǒng)，深化企業(yè)運(yùn)營中大數(shù)據(jù)的運(yùn)用，制定大數(shù)據(jù)技術(shù)的標(biāo)準(zhǔn)和規(guī)范，才能更好地讓大數(shù)據(jù)技術(shù)為企業(yè)運(yùn)營決策服務(wù)[2]。

2" 企業(yè)運(yùn)營管理系統(tǒng)設(shè)計(jì)時(shí)需要使用的" "大數(shù)據(jù)關(guān)鍵技術(shù)

企業(yè)運(yùn)營管理系統(tǒng)一般由分布式存儲系統(tǒng)、分布式計(jì)算框架、資源管理平臺、數(shù)據(jù)遷移工具、數(shù)據(jù)挖掘算法庫、分布式數(shù)據(jù)庫、分布式協(xié)調(diào)服務(wù)、數(shù)據(jù)倉庫和日志收集工具組成。在設(shè)計(jì)企業(yè)運(yùn)營管理系統(tǒng)時(shí)，除上述組件以外，使用的大數(shù)據(jù)關(guān)鍵技術(shù)主要有以下九類：一是通過大數(shù)據(jù)技術(shù)中的預(yù)測分析幫助企業(yè)發(fā)現(xiàn)運(yùn)營中的潛在風(fēng)險(xiǎn)，并做好應(yīng)對策略；二是運(yùn)用非關(guān)系型數(shù)據(jù)庫NoSQL數(shù)據(jù)庫處理企業(yè)運(yùn)營管理中的各項(xiàng)數(shù)據(jù)；三是使用知識發(fā)現(xiàn)工具挖掘企業(yè)存儲在不同文件系統(tǒng)中的結(jié)構(gòu)、半結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)；四是通過流分析技術(shù)對企業(yè)數(shù)據(jù)以及外部行業(yè)數(shù)據(jù)進(jìn)行過濾、聚合、豐富和分析；五是采用Ceph、HDFS、GFS、Lustre等分布式文件系統(tǒng)，運(yùn)用數(shù)據(jù)復(fù)制的方式保障企業(yè)運(yùn)營中大量非關(guān)系數(shù)據(jù)的庫的安全性，防止數(shù)據(jù)丟失；七是在企業(yè)運(yùn)營數(shù)據(jù)管理時(shí)，采用數(shù)據(jù)虛擬化的方法，這樣能使系統(tǒng)中的數(shù)據(jù)不受存儲格式和物理位置的限制，能夠快速檢索和操作；七是運(yùn)用MongoDB、Hadoop、MapReduce等數(shù)據(jù)集成工具簡化企業(yè)運(yùn)營管理系統(tǒng)中數(shù)據(jù)的整合過程；八是通過工具對系統(tǒng)中的數(shù)據(jù)進(jìn)行格式化和清晰，達(dá)到數(shù)據(jù)預(yù)處理的目的，統(tǒng)一系統(tǒng)中的所有數(shù)據(jù)格式，加速企業(yè)內(nèi)部數(shù)據(jù)共享的過程；九是利用數(shù)據(jù)質(zhì)量類軟件并行處理的方式對企業(yè)運(yùn)營管理數(shù)據(jù)進(jìn)行清理和充實(shí)，最終得到企業(yè)運(yùn)營過程中需要的各項(xiàng)重要指標(biāo)[3]。

3" 基于大數(shù)據(jù)技術(shù)的企業(yè)運(yùn)營管理系統(tǒng)" "設(shè)計(jì)方法

3.1 企業(yè)運(yùn)營管理系統(tǒng)的總體架構(gòu)設(shè)計(jì)

在基于大數(shù)據(jù)技術(shù)的企業(yè)運(yùn)營管理系統(tǒng)的總體架構(gòu)設(shè)計(jì)中，不僅需要包括精準(zhǔn)的數(shù)據(jù)源、數(shù)據(jù)緩存和大數(shù)據(jù)平臺等底層基礎(chǔ)設(shè)施，還需要根據(jù)企業(yè)所處的地區(qū)和行業(yè)，實(shí)現(xiàn)數(shù)據(jù)清理和分析，并將分析結(jié)果可視化，最終服務(wù)于企業(yè)的運(yùn)營決策。在分析系統(tǒng)架構(gòu)體系設(shè)計(jì)時(shí)，需要考慮性能、可靠性、擴(kuò)展性、可測試性、安全性和經(jīng)濟(jì)性方面的要求。在數(shù)據(jù)存儲與計(jì)算層、中間層、服務(wù)層和應(yīng)用層的設(shè)計(jì)上進(jìn)行充分的考量，在企業(yè)實(shí)際需求和建造代價(jià)之間取得平衡。企業(yè)運(yùn)營管理系統(tǒng)架構(gòu)的設(shè)計(jì)如圖1所示，自上而下分為運(yùn)營分析系統(tǒng)、大數(shù)據(jù)平臺、數(shù)據(jù)緩存和數(shù)據(jù)源四個(gè)部分。

3.2 大數(shù)據(jù)技術(shù)與企業(yè)業(yè)務(wù)融合的應(yīng)用模" " 型設(shè)計(jì)

企業(yè)運(yùn)營中大數(shù)據(jù)技術(shù)的應(yīng)用需要依靠應(yīng)用模型的萃取。在應(yīng)用的過程中，需要結(jié)合企業(yè)所處的行業(yè)、企業(yè)的規(guī)模以及企業(yè)在行業(yè)中所處的位置等數(shù)據(jù)，對企業(yè)業(yè)務(wù)層的生產(chǎn)經(jīng)營數(shù)據(jù)進(jìn)行匯總、處理和存儲，建立企業(yè)內(nèi)部的數(shù)據(jù)湖，包括業(yè)務(wù)基礎(chǔ)數(shù)據(jù)、人員基本數(shù)據(jù)、資產(chǎn)庫存數(shù)據(jù)、合同信息以及客戶資源等數(shù)據(jù)。企業(yè)的可結(jié)合自身業(yè)務(wù)運(yùn)營管理的實(shí)際需求，確定數(shù)據(jù)維度的粗細(xì)程度。企業(yè)的數(shù)據(jù)湖可以根據(jù)數(shù)據(jù)的生命周期、敏感度、安全標(biāo)準(zhǔn)以及可追溯性對數(shù)據(jù)進(jìn)行處理。讓企業(yè)數(shù)據(jù)湖成為企業(yè)數(shù)據(jù)資源的匯總平臺，提供企業(yè)數(shù)據(jù)分析的一站式服務(wù)，提高數(shù)據(jù)的精準(zhǔn)度，簡化錯(cuò)誤數(shù)據(jù)的溯源流程。根據(jù)數(shù)據(jù)的類型和企業(yè)業(yè)務(wù)類型選擇大數(shù)據(jù)技術(shù)，選出最優(yōu)項(xiàng)進(jìn)行適配。同時(shí)使用人工智能算法，定期對應(yīng)用模型進(jìn)行訓(xùn)練更新，使其更符合企業(yè)業(yè)務(wù)的發(fā)展需求[4]。大數(shù)據(jù)技術(shù)與企業(yè)業(yè)務(wù)融合的應(yīng)用模型如圖2所示。

3.3 大數(shù)據(jù)處理模塊的設(shè)計(jì)

企業(yè)運(yùn)營管理系統(tǒng)中大數(shù)據(jù)處理模塊包括數(shù)據(jù)采集、數(shù)據(jù)同步和傳輸、數(shù)據(jù)存儲、分布式離線批處理、實(shí)時(shí)流計(jì)算和結(jié)果展現(xiàn)模塊。企業(yè)運(yùn)營管理系統(tǒng)大數(shù)據(jù)處理模塊設(shè)計(jì)如圖3所示。

在設(shè)計(jì)數(shù)據(jù)采集模塊時(shí)，采用了Chukwa這個(gè)開源的用于監(jiān)控大型分布式系統(tǒng)的數(shù)據(jù)收集系統(tǒng)，該數(shù)據(jù)收集系統(tǒng)構(gòu)建在Hadoop的Hdfs 和map/reduce 框架之上，承襲了Hadoop的健壯性和彈性，并且自帶強(qiáng)大且靈活的工具集，可以監(jiān)控、分析和展示已收集的企業(yè)數(shù)據(jù)。數(shù)據(jù)同步和傳輸可選擇Sqoop開源工具，這樣可以及時(shí)在Hadoop和傳統(tǒng)數(shù)據(jù)庫間傳遞數(shù)據(jù)。該工具可以將數(shù)據(jù)在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫和Hadoop的HDFS之間相互導(dǎo)入，起到數(shù)據(jù)轉(zhuǎn)移的作用。由于企業(yè)運(yùn)營管理中存在大量的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，所以在設(shè)計(jì)數(shù)據(jù)存儲模塊時(shí)，可采用Hbase數(shù)據(jù)庫+HDFS+關(guān)系數(shù)據(jù)庫的形式。Hbase是一個(gè)開源數(shù)據(jù)庫，其特征為分布式和面向列，它可以存儲非結(jié)構(gòu)化數(shù)據(jù)。HDFS雖然與其他分布式存儲系統(tǒng)擁有許多共同的特點(diǎn)，但其最突出的特點(diǎn)是具有高度容錯(cuò)性，并且可實(shí)現(xiàn)流的形式訪問文件系統(tǒng)中的數(shù)據(jù)，這樣在企業(yè)運(yùn)營管理的硬件選擇上，可以使用更多廉價(jià)的服務(wù)器，進(jìn)一步降低系統(tǒng)的部署成本。關(guān)系數(shù)據(jù)庫則存儲企業(yè)運(yùn)營管理中的結(jié)構(gòu)化數(shù)據(jù)。在數(shù)據(jù)處理方面，選擇Hadoop分布式離線批處理和Storm實(shí)時(shí)流計(jì)算共同處理的方式。Hadoop中的MapReduce為海量的數(shù)據(jù)提供了計(jì)算能力，Mahout可以實(shí)現(xiàn)分類、聚類、推薦過濾、頻繁子項(xiàng)挖掘等功能，Impala則是快速查詢系統(tǒng)。Storm相當(dāng)于實(shí)時(shí)的Hadoop，是一個(gè)開源的分布式實(shí)時(shí)計(jì)算系統(tǒng)，可以簡單、可靠地處理大量的數(shù)據(jù)流，具有編程模型簡單、可擴(kuò)展性強(qiáng)、高可靠性和高容錯(cuò)性的特點(diǎn)。結(jié)果展示模塊則選用Karmasphere，用于從Hadoop提取和分析數(shù)據(jù)，并通過報(bào)表等形式向外展示。

3.4 數(shù)據(jù)整理架構(gòu)設(shè)計(jì)

企業(yè)運(yùn)營管理系統(tǒng)需要對大數(shù)據(jù)挖掘過程中的冗余和關(guān)聯(lián)數(shù)據(jù)進(jìn)行整理，通過多層次的整合，得到各維度的報(bào)表數(shù)據(jù)。數(shù)據(jù)整理的流程如圖4所示。當(dāng)然在數(shù)據(jù)整理的過程中，涉及數(shù)據(jù)清洗的部分，需要對相同字段、意義相同的字段和無價(jià)值的數(shù)據(jù)進(jìn)行清洗，這樣才能識別出真正對企業(yè)運(yùn)營管理有用的數(shù)據(jù)[5]。

4" 結(jié)束語

總之，大數(shù)據(jù)技術(shù)在我國企業(yè)運(yùn)營管理系統(tǒng)設(shè)計(jì)中的應(yīng)用尚不成熟，需要不斷優(yōu)化現(xiàn)有的大數(shù)據(jù)技術(shù)應(yīng)用平臺框架，切實(shí)通過大數(shù)據(jù)技術(shù)在運(yùn)營管理系統(tǒng)中的應(yīng)用，幫助企業(yè)解決運(yùn)營中的實(shí)際問題。不僅能對企業(yè)現(xiàn)有的運(yùn)營模式進(jìn)行優(yōu)化、升級，還能通過數(shù)據(jù)改變企業(yè)管理層的思維模式，為企業(yè)的生產(chǎn)經(jīng)營決策提供數(shù)據(jù)支撐，最大程度地預(yù)防企業(yè)運(yùn)營過程中的風(fēng)險(xiǎn)，提高企業(yè)的運(yùn)營效率，為企業(yè)的長期可持續(xù)發(fā)展奠定基礎(chǔ)。

參考文獻(xiàn)

[1] 梁艷華．基于大數(shù)據(jù)的智能企業(yè)管理系統(tǒng)設(shè)計(jì)[J]．現(xiàn)代電子技術(shù)，2019（6）：158-161.

[2] 姚子揚(yáng)．基于大數(shù)據(jù)的企業(yè)用戶數(shù)據(jù)分析平臺的設(shè)計(jì)[J]．電子技術(shù)與軟件工程，2022（19）：205-209.

[3] 宋宸．基于大數(shù)據(jù)的合肥軌道運(yùn)營管理信息化研究[D]．南京：南京郵電大學(xué)，2019．

[4] 李寒陽．基于數(shù)據(jù)挖掘技術(shù)的海量企業(yè)運(yùn)營數(shù)據(jù)智能分析系統(tǒng)設(shè)計(jì)[J]．信息與電腦（理論版），2022（18）：112-114.

[5] 張凌躍，王曼，裴超，等．基于云計(jì)算架構(gòu)的電力企業(yè)管理系統(tǒng)設(shè)計(jì)和應(yīng)用研究[J]．電力大數(shù)據(jù)，2021（1）：55-61.