基于Hadoop的分布式預算管理平臺系統(tǒng)研究

丘寬

【摘要】? ? 隨著企業(yè)規(guī)模發(fā)展，企業(yè)的預算管理成為促進企業(yè)健康成長的重要基礎。現(xiàn)代企業(yè)的預算管理涉及各個業(yè)務的復雜數(shù)據(jù)處理，需要能夠跟蹤預算的執(zhí)行過程，通過對預算執(zhí)行數(shù)據(jù)的監(jiān)控，實現(xiàn)一定程度的預測，因此對預算管理平臺具有較高的要求。傳統(tǒng)的預算管理平臺功能較為單一，數(shù)據(jù)處理功能較弱，無法應對日益復雜的企業(yè)業(yè)務發(fā)展。隨著大數(shù)據(jù)技術(shù)的發(fā)展，Hadoop等分布式平臺得到廣泛應用。通過Hadoop平臺可以存儲規(guī)模龐大的企業(yè)數(shù)據(jù)，并提供較強的計算能力，同時支持進行數(shù)據(jù)挖掘，實現(xiàn)預算的預測等，因此本文對基于Hadoop的分布式預算管理平臺進行研究。

【關(guān)鍵詞】? ? 分布式? ? 預算管理平臺? ? Hadoop

一、緒論

預算管理平臺用于支撐企業(yè)的日常經(jīng)營以及企業(yè)戰(zhàn)略的實現(xiàn)，是現(xiàn)代企業(yè)中的重要信息系統(tǒng)。通過預算管理，統(tǒng)一分析企業(yè)中的各項數(shù)據(jù)，跟蹤企業(yè)各項業(yè)務的發(fā)展，用于分析企業(yè)的資金、財務、業(yè)務流程的執(zhí)行。企業(yè)預算管理涉及企業(yè)業(yè)務發(fā)展的各個方面，需要針對企業(yè)業(yè)務的各項數(shù)據(jù)進行深入分析，因此需要全面整合企業(yè)的各項數(shù)據(jù)。隨著現(xiàn)代企業(yè)的發(fā)展，各項業(yè)務數(shù)據(jù)逐漸增加，為提供企業(yè)制定預算、監(jiān)控預算執(zhí)行的科學性，需要預算管理系統(tǒng)提供較為強大的計算能力，在進行預算計劃時，能夠提供部分預測功能。

傳統(tǒng)的預算管理系統(tǒng)功能主要基于Oracle等傳統(tǒng)數(shù)據(jù)庫進行架構(gòu)，傳統(tǒng)數(shù)據(jù)庫在數(shù)據(jù)存儲、存儲計算等方面的能力較為有限，對于大規(guī)模的數(shù)據(jù)其計算效率較低，并且難以擴展。同時，對于數(shù)據(jù)挖掘、機器學習等功能的支撐也較為有限。近年來，以Hadoop為基礎的大數(shù)據(jù)平臺得到廣泛的應用。Hadoop平臺采用分布式架構(gòu)，能夠方便的進行橫向擴展，當系統(tǒng)資源無法支撐企業(yè)預算功能時，可以通過在集群中增加服務器的方式快速提高系統(tǒng)的性能。同時，由于預算管理的數(shù)據(jù)一般涉及企業(yè)的核心數(shù)據(jù)，雖然傳統(tǒng)的Oracle架構(gòu)提供了冷備以及熱備等方式應對突發(fā)故障，但是也很難避免核心數(shù)據(jù)的丟失。而分布式Hadoop采用分布備份的方式，將核心數(shù)據(jù)分布在不同的服務器上，其數(shù)據(jù)安全性得到進一步的保障。同時，分布式Hadoop提供各類機器學習的庫，如Mahout等，擴展了系統(tǒng)的學習能力。因此，本文基于Hadoop框架設計企業(yè)預算管理平臺。

二、系統(tǒng)需求分析

預算管理平臺涉及對預算的編制與計劃、預算的執(zhí)行管理、預算監(jiān)督、預算基礎數(shù)據(jù)維護等功能，如圖1所示。

（1）預算編制與計劃。預算編制與計劃模塊提供年度、季度、月度預算以及特殊預算編制等功能。預算編制的基礎在于以詳實的企業(yè)數(shù)據(jù)為依托，對企業(yè)未來發(fā)展所需預算進行科學預測，因此需要系統(tǒng)能夠提供全面的數(shù)據(jù)，以及預測功能。

（2）預算管理。預算管理模塊提供對預算的查詢、預算預警以及預算的統(tǒng)計功能。對預算的查詢需要快速響應，同時對預算執(zhí)行中可能存在的偏差進行預測以及預警，并提供完善的報表統(tǒng)計功能。

（3）預算執(zhí)行。預算執(zhí)行模塊提供預算監(jiān)控、預算跟蹤以及預算執(zhí)行分析功能。該模塊可以跟蹤預算的詳細執(zhí)行情況，并分析執(zhí)行的信息。

（4）核心數(shù)據(jù)管理。核心數(shù)據(jù)管理模塊提供對核心數(shù)據(jù)的入庫、核心數(shù)據(jù)加工以及核心數(shù)據(jù)的備份與恢復等功能。通過核心數(shù)據(jù)管理模塊匯總企業(yè)的各項核心數(shù)據(jù)，并轉(zhuǎn)化為標準的數(shù)據(jù)格式提供給系統(tǒng)進行計算。

三、系統(tǒng)框架設計

本文基于Hadoop技術(shù)棧設計企業(yè)預算管理系統(tǒng)。Hadoop基于集群方式管理企業(yè)預算管理系統(tǒng)中的各項數(shù)據(jù)，對企業(yè)數(shù)據(jù)進行大規(guī)模存儲，同時提供計算能力分析企業(yè)預算數(shù)據(jù)，同時提供機器學習接口，通過對預算管理數(shù)據(jù)的分析，提供不同尺度的預算的預測以及預算執(zhí)行過程中的預警功能。本文設計的預算管理系統(tǒng)架構(gòu)如圖2所示。

基于Hadoop的預算管理系統(tǒng)采用五層架構(gòu)。首先是基礎層，包括Hadoop集群主機、存儲以及網(wǎng)絡等要素。第二層為ETL層，通過ETL將各業(yè)務系統(tǒng)數(shù)據(jù)采集到Hadoop集群中進行標準計算、數(shù)據(jù)挖掘等。第三層為存儲層，為了方便預算管理系統(tǒng)訪問各業(yè)務數(shù)據(jù)，通過ETL工具采集各個業(yè)務系統(tǒng)的數(shù)據(jù)并存儲到Hadoop集群。通過ETL匯總的預算基礎數(shù)據(jù)，通過建立數(shù)據(jù)倉庫模型進行管理，在構(gòu)建數(shù)據(jù)倉庫模型時，基于Hive技術(shù)進行實現(xiàn)。其中可以構(gòu)建貼源的ODS層，主要存儲7天左右的業(yè)務原始數(shù)據(jù)。通過對原始數(shù)據(jù)進行初步計算，得到DWD層，然后進一步為預算管理系統(tǒng)的各個模塊提供面向應用的DW層，通過匯總DW層的主題模型形成ST系統(tǒng)模型層。為了能夠降低系統(tǒng)內(nèi)部各個模塊的耦合性，本文設計服務層，通過API接口、文件接口、消息機制的方式提供系統(tǒng)服務。系統(tǒng)的最上層為應用層，提供預算管理平臺各個業(yè)務模塊的功能。

四、系統(tǒng)關(guān)鍵技術(shù)

本節(jié)分析預算管理系統(tǒng)實現(xiàn)的關(guān)鍵技術(shù)，主要包括Hadoop集群構(gòu)建、 數(shù)據(jù)模型實現(xiàn)以及系統(tǒng)服務實現(xiàn)。

1、Hadoop架構(gòu)構(gòu)建

本文基于Hadoop技術(shù)棧搭建預算管理系統(tǒng)，系統(tǒng)集群中包括主節(jié)點以及數(shù)據(jù)節(jié)點，其中主節(jié)點用于管理與協(xié)調(diào)各個子節(jié)點，數(shù)據(jù)節(jié)點用于存儲數(shù)據(jù)。在計算框架上，選擇Map/Reduce框架，該框架將數(shù)據(jù)任務分布到各個子節(jié)點，然后匯總處理各個子節(jié)點的計算結(jié)果。在Hadoop的調(diào)度上，本文采用YARN進行分布式調(diào)度，將不同的Job Tracker分布到集群的服務器上。在數(shù)據(jù)倉庫構(gòu)建上，本文選擇Hive作為數(shù)據(jù)倉庫的實現(xiàn)基礎平臺，Hive對外提供SQL的訪問機制。ETL選擇Kettle將各個中心的數(shù)據(jù)進行匯總，如圖3所示。

2、數(shù)據(jù)模型實現(xiàn)

在預算管理平臺中，基于Hadoop匯總各個業(yè)務系統(tǒng)的數(shù)據(jù)以后，基于Hive構(gòu)建數(shù)據(jù)模型，數(shù)據(jù)模型有利于對預算數(shù)據(jù)進行標準化，并形成中心主題，然后提供給預算管理系統(tǒng)使用。同時，通過數(shù)據(jù)模型，也為數(shù)據(jù)挖掘以及預測奠定數(shù)據(jù)基礎。通過以下形式化過程，構(gòu)建預算管理的模型，保障數(shù)據(jù)的一致性。假設∑表示預算管理模型，其中預算規(guī)則為C，數(shù)據(jù)D∈C，r∈R，a，b∈I，則定義如下的模型構(gòu)建過程：

（1）包含關(guān)系構(gòu)建，∑├C?D，其中CI?DI。檢測所有滿足I├∑的的數(shù)據(jù)模型以及關(guān)系。

（2）數(shù)據(jù)實例檢測，∑├a：C。檢測所有滿足I├∑的數(shù)據(jù)模型，是否滿足aI?DI。

（3）數(shù)據(jù)關(guān)系檢測，∑├（a，b），檢測所有滿足I├∑的數(shù)據(jù)模型，是否滿足aI，bI?rI。

（4）數(shù)據(jù)概念檢測，∑├（a，b，C），檢測所有滿足I├∑的數(shù)據(jù)模型，是否滿足aI，bI?CI。

（5）數(shù)據(jù)模型一致性檢測，∑├，檢測所有滿足├∑的數(shù)據(jù)模型，是否滿足I?CI。

通過依照以上形式規(guī)則，可以構(gòu)建預算管理系統(tǒng)中的各類數(shù)據(jù)模型，并且可以通過形式規(guī)則保障數(shù)據(jù)模型的一致性，從而保障模型的安全。

3、系統(tǒng)服務實現(xiàn)

本文設計預算管理系統(tǒng)服務如圖4所示。API Gateway是微服務系統(tǒng)的對外服務接口，外部系統(tǒng)只有通過網(wǎng)關(guān)才能訪問系統(tǒng)內(nèi)部的各項功能。外部應用一般將請求發(fā)送給網(wǎng)關(guān)，網(wǎng)關(guān)進行權(quán)限認證等處理以后，會根據(jù)請求的不同發(fā)送給注冊中心。注冊中心維護了微服務系統(tǒng)中各種服務的基本信息，只有要注冊中心注冊的微服務才能被外部系統(tǒng)訪問。通過注冊中心，將請求發(fā)送給具體的微服務模塊進行處理。在調(diào)用具體的微服務時，一般采用RestFul接口的形式，目前RestFul接口調(diào)用對系統(tǒng)消耗的資源最少，調(diào)用也最為方便。

五、總結(jié)

本文基于Hadoop架構(gòu)設計企業(yè)預算管理平臺，通過分析預算平臺的需求，設計系統(tǒng)的框架，然后詳細分析了Hadoop架構(gòu)的搭建、數(shù)據(jù)模型的構(gòu)建以及微服務中心的實現(xiàn)。

參? 考? 文? 獻

[1]李喜歡. 基于業(yè)財一體化的企業(yè)PPP業(yè)務全面預算管理系統(tǒng)優(yōu)化[J]. 國際商務財會， 2020（7）：17-19.

[2]石鍇. 企業(yè)財務管理信息化中智能預算管理系統(tǒng)研究[J]. 辦公室業(yè)務， 2020，9（1）：10-14.

[3]魯志芳. 基于Hadoop技術(shù)的大數(shù)據(jù)分析應用系統(tǒng)的研究與設計[J]. 電子設計工程， 2019（16），10：18.