基于大數(shù)據(jù)的數(shù)據(jù)分析平臺(tái)構(gòu)建研究

劉東旭，孫 安（通訊作者）

（馬鞍山學(xué)院 安徽 馬鞍山 243000）

1 引言

隨著數(shù)據(jù)技術(shù)的成熟，數(shù)據(jù)量以爆炸式增長(zhǎng)。通信、電子、信息等產(chǎn)業(yè)的發(fā)展導(dǎo)致了產(chǎn)業(yè)間的激烈競(jìng)爭(zhēng)。通信運(yùn)營(yíng)商面臨產(chǎn)生的新問題：如何在自己的運(yùn)營(yíng)模式中利用海量的信息數(shù)據(jù)，產(chǎn)生屬于自己的利益。這些海量數(shù)據(jù)信息遍布在網(wǎng)絡(luò)環(huán)境中的不同角落，存在的數(shù)據(jù)信息類型也有很多類型，如生活、交通、金融等，數(shù)據(jù)存儲(chǔ)技術(shù)的廣泛應(yīng)用給人們帶來了更多機(jī)會(huì)和便利。另外，海量數(shù)據(jù)信息的出現(xiàn)在發(fā)展過程中遇到的挑戰(zhàn)也不容忽視。為了解決這些具有挑戰(zhàn)性的問題，需要開發(fā)一個(gè)大容量的數(shù)據(jù)存儲(chǔ)和分析平臺(tái)。數(shù)據(jù)屬于數(shù)據(jù)集的一部分，其存儲(chǔ)結(jié)構(gòu)有兩種，即半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，兩者之間存在很多差異，需要我們深入分析。云技術(shù)的低成本和數(shù)據(jù)處理的速度優(yōu)勢(shì)為數(shù)據(jù)技術(shù)的新升級(jí)提供了新思路。

2 基于云計(jì)算的企業(yè)會(huì)計(jì)大數(shù)據(jù)

大數(shù)據(jù)與會(huì)計(jì)兩者充分結(jié)合對(duì)會(huì)計(jì)大數(shù)據(jù)發(fā)展起到重要的促進(jìn)作用。其中，會(huì)計(jì)大數(shù)據(jù)的產(chǎn)生與原始產(chǎn)生的數(shù)據(jù)信息有很大關(guān)系，企業(yè)為實(shí)現(xiàn)會(huì)計(jì)相關(guān)目標(biāo)會(huì)進(jìn)行大量資料的搜集整理，從網(wǎng)絡(luò)平臺(tái)等地方來獲取相關(guān)信息數(shù)據(jù)后進(jìn)行綜合分析，最后會(huì)對(duì)產(chǎn)生的會(huì)計(jì)數(shù)據(jù)信息進(jìn)行加工處理，進(jìn)而產(chǎn)生新的數(shù)據(jù)信息，以上都屬于會(huì)計(jì)大數(shù)據(jù)的相關(guān)內(nèi)容。

會(huì)計(jì)大數(shù)據(jù)是新時(shí)代背景下的重要信息化產(chǎn)物，作為企業(yè)會(huì)計(jì)信息化的重要組成部分，可以為企業(yè)會(huì)計(jì)數(shù)據(jù)信息的處理提供高效處理機(jī)制與發(fā)展思路，總體來說有3個(gè)方面的特性。

（1）會(huì)計(jì)大數(shù)據(jù)規(guī)模和數(shù)據(jù)量龐大，與原始會(huì)計(jì)數(shù)據(jù)進(jìn)行比較，具有充分的優(yōu)勢(shì)，可以在企業(yè)中構(gòu)建性能良好的信息化處理系統(tǒng)，對(duì)各部門和組織之間產(chǎn)生密切關(guān)聯(lián)，促進(jìn)會(huì)計(jì)數(shù)據(jù)和相關(guān)信息內(nèi)容實(shí)現(xiàn)共享狀態(tài)。同時(shí)，會(huì)計(jì)大數(shù)據(jù)產(chǎn)生的數(shù)據(jù)量要比傳統(tǒng)數(shù)據(jù)更加復(fù)雜、層次性豐富。

（2）會(huì)計(jì)大數(shù)據(jù)呈現(xiàn)出多樣化特征，且存在形式種類特別多。目前，會(huì)計(jì)大數(shù)據(jù)信息系統(tǒng)中存在多種數(shù)據(jù)信息，如財(cái)務(wù)數(shù)據(jù)、非法財(cái)務(wù)數(shù)據(jù)等。該數(shù)據(jù)系統(tǒng)不僅擁有純數(shù)字化內(nèi)容信息，還有豐富的圖片、視頻、網(wǎng)頁(yè)等形式的信息存儲(chǔ)形態(tài)。

（3）會(huì)計(jì)大數(shù)據(jù)處理速度比傳統(tǒng)方式高出數(shù)倍，產(chǎn)生這樣的結(jié)果與云計(jì)算、Hadoop等技術(shù)的快速發(fā)展密切相關(guān)。另外，現(xiàn)在網(wǎng)絡(luò)數(shù)據(jù)載體的多樣化也給大數(shù)據(jù)信息存儲(chǔ)帶來了更多便利，如PC、傳感器等設(shè)備的發(fā)展給大數(shù)據(jù)信息存儲(chǔ)帶來了豐富的載體形式。相對(duì)于傳統(tǒng)會(huì)計(jì)數(shù)據(jù)處理時(shí)間較長(zhǎng)的局面，往往無法更高效率分析出正確結(jié)果，由于數(shù)據(jù)處理時(shí)間過長(zhǎng)，會(huì)給會(huì)計(jì)大數(shù)據(jù)造成較大損失，從而失去其自身價(jià)值[1]。由此看來，大數(shù)據(jù)技術(shù)在會(huì)計(jì)方面的優(yōu)越性能帶來了更加快速的信息處理能力，給企業(yè)會(huì)計(jì)數(shù)據(jù)處理運(yùn)用提供了有價(jià)值的技術(shù)支持。企業(yè)中的大數(shù)據(jù)信息技術(shù)能力需要借助其內(nèi)部業(yè)務(wù)的發(fā)展能力，來加快信息和數(shù)據(jù)的處理速度，保障企業(yè)會(huì)計(jì)數(shù)據(jù)信息的多樣性和安全性，給企業(yè)帶來更多生產(chǎn)效益，促進(jìn)經(jīng)濟(jì)快速發(fā)展。

3 會(huì)計(jì)大數(shù)據(jù)分析平臺(tái)構(gòu)建概述

3.1 可行性分析

企業(yè)在構(gòu)建會(huì)計(jì)大數(shù)據(jù)的時(shí)候，首先要根據(jù)企業(yè)內(nèi)部實(shí)際情況來進(jìn)行可行性分析研究，評(píng)估構(gòu)建大數(shù)據(jù)分析平臺(tái)給企業(yè)帶來的效益與價(jià)值，還要對(duì)平臺(tái)建設(shè)所需費(fèi)用和后續(xù)發(fā)展方向等方面進(jìn)行綜合分析，利用經(jīng)濟(jì)學(xué)等理論來確定大數(shù)據(jù)分析平臺(tái)給企業(yè)造成的正、負(fù)面影響和價(jià)值。

構(gòu)建會(huì)計(jì)大數(shù)據(jù)最初階段，我們需要考慮關(guān)鍵的問題包括：首先，我們需要保證會(huì)計(jì)信息的傳輸速度要符合企業(yè)發(fā)展節(jié)奏，這樣可以給企業(yè)的會(huì)計(jì)日常工作帶來良好的基礎(chǔ)。平臺(tái)的成功建設(shè)可以解決傳統(tǒng)文件發(fā)送格式的不同，可以進(jìn)行格式文件的任意轉(zhuǎn)換，產(chǎn)生的效率得到大幅度提升。其次，會(huì)計(jì)大數(shù)據(jù)分析平臺(tái)可以給員工帶來更多工作上的便利，員工可以利用網(wǎng)絡(luò)查看會(huì)計(jì)數(shù)據(jù)信息并下載相關(guān)數(shù)據(jù)報(bào)表，不同部門之間也可以進(jìn)行數(shù)據(jù)信息的共享查看，實(shí)現(xiàn)有效溝通交流，提升工作效率。會(huì)計(jì)信息共享能夠提供企業(yè)內(nèi)部重要信息保護(hù)屏障，強(qiáng)化信息安全保障，不易產(chǎn)生數(shù)據(jù)損失情況[2]。最后，基于新技術(shù)形式下的會(huì)計(jì)大數(shù)據(jù)分析平臺(tái)的構(gòu)建，可以給企業(yè)節(jié)約大量信息處理產(chǎn)生的成本，促進(jìn)企業(yè)開源節(jié)流發(fā)展形勢(shì)。

3.2 平臺(tái)功能分析

會(huì)計(jì)大數(shù)據(jù)分析平臺(tái)應(yīng)用范圍較為廣泛，其功能表現(xiàn)在多個(gè)方面，我們可以從以下幾個(gè)方面來對(duì)其重要功能進(jìn)行分析。

（1）可以實(shí)現(xiàn)企業(yè)會(huì)計(jì)信息與業(yè)務(wù)的整合。會(huì)計(jì)大數(shù)據(jù)分析平臺(tái)的構(gòu)建給企業(yè)內(nèi)部的會(huì)計(jì)信息管理系統(tǒng)中增添了新的技術(shù)管理形式，在系統(tǒng)中產(chǎn)生的銷售信息等數(shù)據(jù)，可以通過企業(yè)內(nèi)部的銷售網(wǎng)絡(luò)進(jìn)行共享。同時(shí)，會(huì)計(jì)部門的數(shù)據(jù)信息也會(huì)進(jìn)行整合分析，進(jìn)而上傳到企業(yè)總部。在數(shù)據(jù)信息傳輸過程中，會(huì)計(jì)信息不受到任何干擾，會(huì)直接傳輸?shù)侥繕?biāo)位置，體現(xiàn)出了信息傳輸?shù)闹苯有?，保障了信息安全和真?shí)可靠，提升了會(huì)計(jì)工作效率。同時(shí)，在數(shù)據(jù)信息生產(chǎn)加工過程中，該平臺(tái)可以對(duì)企業(yè)產(chǎn)品或服務(wù)信息進(jìn)行統(tǒng)計(jì)、分析、存貯，對(duì)其過程的人員和設(shè)備信息也會(huì)進(jìn)行記錄統(tǒng)計(jì)[3]。由此可見，這種信息數(shù)據(jù)處理機(jī)制，讓企業(yè)管理者能夠清晰了解工作流程情況，掌握基礎(chǔ)生產(chǎn)服務(wù)信息，對(duì)平臺(tái)產(chǎn)生的信息數(shù)據(jù)進(jìn)行綜合評(píng)估，如人員、生產(chǎn)材料、設(shè)備信息等。會(huì)計(jì)大數(shù)據(jù)分析平臺(tái)能夠合理進(jìn)行配置生產(chǎn)資料、協(xié)調(diào)工作流程機(jī)制、科學(xué)合理化分配工作人員，節(jié)約企業(yè)成本。在數(shù)字化信息共享時(shí)代，信息管理規(guī)范化需要進(jìn)一步確認(rèn)，得到企業(yè)的廣泛認(rèn)可。通過大數(shù)據(jù)分析平臺(tái)的建設(shè)，讓企業(yè)會(huì)計(jì)信息與業(yè)務(wù)實(shí)施流程得到融合發(fā)展。

（2）會(huì)計(jì)大數(shù)據(jù)分析平臺(tái)能夠提高企業(yè)內(nèi)部溝通效率，促進(jìn)工作規(guī)范化。該平臺(tái)的建設(shè)會(huì)將傳統(tǒng)的信息管理工具和手段進(jìn)行統(tǒng)一整合優(yōu)化，充分協(xié)調(diào)會(huì)計(jì)部門產(chǎn)生的相關(guān)數(shù)據(jù)與其他人員進(jìn)行共享，避免產(chǎn)生信息流通現(xiàn)象，這樣對(duì)企業(yè)會(huì)計(jì)信息的健康發(fā)展和規(guī)范化制度的實(shí)施產(chǎn)生有利條件，同時(shí)會(huì)給企業(yè)在市場(chǎng)發(fā)展過程中營(yíng)造良好的發(fā)展環(huán)境。

（3）可以提升財(cái)務(wù)決策分析能力，幫助企業(yè)規(guī)避運(yùn)營(yíng)風(fēng)險(xiǎn)。該平臺(tái)可以對(duì)企業(yè)財(cái)務(wù)決策數(shù)據(jù)運(yùn)用大數(shù)據(jù)相關(guān)技術(shù)進(jìn)行分析，來實(shí)現(xiàn)財(cái)務(wù)數(shù)據(jù)的科學(xué)規(guī)范化管理。同時(shí)能夠表現(xiàn)出企業(yè)市場(chǎng)運(yùn)營(yíng)狀態(tài)和經(jīng)濟(jì)效益，幫助財(cái)務(wù)管理者規(guī)避風(fēng)險(xiǎn)。

（4）構(gòu)建會(huì)計(jì)大數(shù)據(jù)分析平臺(tái)，能夠?qū)崿F(xiàn)企業(yè)的智慧化發(fā)展。企業(yè)會(huì)計(jì)大數(shù)據(jù)的有效實(shí)現(xiàn)需要以財(cái)務(wù)管理系統(tǒng)的智慧化來完成，基于云計(jì)算、大數(shù)據(jù)等新時(shí)代技術(shù)觀念，我們可以利用該平臺(tái)優(yōu)越的基礎(chǔ)功能，來對(duì)財(cái)務(wù)管理系統(tǒng)進(jìn)行優(yōu)化，包括信息的可視化操作、自定義查詢等，幫助企業(yè)實(shí)現(xiàn)個(gè)性化信息管理，充分掌握企業(yè)財(cái)務(wù)數(shù)據(jù)情況[4]。

4 大數(shù)據(jù)分析平臺(tái)構(gòu)建關(guān)鍵要素分析

4.1 數(shù)據(jù)的存儲(chǔ)及管理

與傳統(tǒng)數(shù)據(jù)分析一樣，大數(shù)據(jù)信息時(shí)代首先要考慮的就是數(shù)據(jù)存儲(chǔ)問題。運(yùn)用大數(shù)據(jù)信息技術(shù)來處理企業(yè)信息需要借助分布式文件系統(tǒng)來完成。隨著當(dāng)前企業(yè)多樣化需求的不斷出現(xiàn)，利用傳統(tǒng)方法無法完成高效的數(shù)據(jù)處理工作。分布式文件系統(tǒng)具備優(yōu)越的數(shù)據(jù)處理性功能，具有兩大優(yōu)勢(shì)：一是可以利用自身獨(dú)有資源優(yōu)勢(shì)，二是提供多方式數(shù)據(jù)分析需求，且效率大幅度提升。這兩個(gè)優(yōu)勢(shì)足以滿足數(shù)據(jù)分析的基準(zhǔn)。針對(duì)上述問題，可以通過數(shù)據(jù)庫(kù)來解決數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)的困難。已知的大數(shù)據(jù)庫(kù)擁有海量的數(shù)據(jù)，但它們對(duì)圖表文檔等半結(jié)構(gòu)化數(shù)據(jù)的處理效果還是非常令人滿意的。由于目前沒有嚴(yán)格的數(shù)據(jù)存儲(chǔ)格式，例如圖表和關(guān)鍵值用于數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)化，可以完美地將各種信息存儲(chǔ)在各種文檔中，可以看到數(shù)據(jù)庫(kù)的圖表。作為一種高效的處理方法，它可以允許數(shù)據(jù)存儲(chǔ)為密鑰。數(shù)據(jù)庫(kù)系統(tǒng)能夠避免應(yīng)用程序出現(xiàn)一些麻煩和問題，相對(duì)于傳統(tǒng)方法來說優(yōu)勢(shì)較為明顯。產(chǎn)生這樣的結(jié)果，是由于為數(shù)據(jù)庫(kù)提供了一些標(biāo)準(zhǔn)化可以測(cè)量的情況。這些數(shù)據(jù)庫(kù)沒有太多的圖標(biāo)，數(shù)據(jù)結(jié)構(gòu)可以快速改變而無需重新計(jì)算，從而創(chuàng)建云架構(gòu)的可擴(kuò)展性。

4.2 數(shù)據(jù)的存儲(chǔ)及收集

隨著系統(tǒng)運(yùn)行時(shí)數(shù)據(jù)集不斷增長(zhǎng)，需要以更快的速度收集和存儲(chǔ)數(shù)據(jù)。目前的協(xié)議暴露了采集速度和性能不盡如人意的問題，增加的內(nèi)存資源消耗尤為嚴(yán)重。遠(yuǎn)程直接內(nèi)存訪問協(xié)議的結(jié)構(gòu)實(shí)現(xiàn)，節(jié)約大量數(shù)據(jù)內(nèi)存資源來提供高效擴(kuò)展應(yīng)用。另外，還有其他方法可以用來數(shù)據(jù)收集和存儲(chǔ)，例如數(shù)據(jù)流系統(tǒng)處理程序也用作大數(shù)據(jù)技術(shù)處理程序[5]。這些計(jì)劃的目的是減少收集到的沒有實(shí)際意義的數(shù)據(jù)量，以實(shí)現(xiàn)未來的成本降低目標(biāo)。

4.3 云計(jì)算基礎(chǔ)架構(gòu)建設(shè)

大數(shù)據(jù)分析平臺(tái)構(gòu)建需要云計(jì)算的超大容量存儲(chǔ)能力、分布式處理能力等核心優(yōu)勢(shì)?；诂F(xiàn)代云計(jì)算技術(shù)的發(fā)展程度來說，其基礎(chǔ)架構(gòu)包括3層，即頂層、中間層、數(shù)據(jù)中心，又可以往下細(xì)分5大模塊。其中頂層包括2個(gè)模塊，即工作流和用戶接口系統(tǒng)；中間層負(fù)責(zé)處理并行數(shù)據(jù)預(yù)期預(yù)處理子系統(tǒng)；數(shù)據(jù)中心則作為云計(jì)算架構(gòu)中的核心部分，主要負(fù)責(zé)數(shù)據(jù)的匯總、分析、處理，是云計(jì)算架構(gòu)體系中至關(guān)重要的部分。

5 結(jié)語

在大數(shù)據(jù)時(shí)代，大數(shù)據(jù)早已成為我們生活的一部分。因此，利用云計(jì)算、Hadoop等技術(shù)格式搭建數(shù)據(jù)處理平臺(tái)進(jìn)行分析，更好地實(shí)現(xiàn)大數(shù)據(jù)技術(shù)的運(yùn)用，是運(yùn)用大數(shù)據(jù)技術(shù)的主流技術(shù)思維。目前，我國(guó)的大數(shù)據(jù)業(yè)務(wù)隨著這類平臺(tái)的發(fā)展而不斷發(fā)展，與Hadoop技術(shù)相關(guān)的平臺(tái)在此過程中越來越受到各大廠商的關(guān)注。