企業(yè)大數(shù)據(jù)分析應(yīng)用平臺(tái)及其實(shí)現(xiàn)

【摘 要】大數(shù)據(jù)對(duì)企業(yè)而言是亟待開發(fā)的寶貴資源。現(xiàn)代化的企業(yè)在這個(gè)大數(shù)據(jù)時(shí)代，對(duì)數(shù)據(jù)的分析有很高的要求。本文構(gòu)建了一個(gè)能夠滿足企業(yè)對(duì)數(shù)據(jù)進(jìn)行分析的并且造價(jià)不高的系統(tǒng)平臺(tái)即開源大數(shù)據(jù)生態(tài)系統(tǒng)。這個(gè)平臺(tái)包括了從大數(shù)據(jù)的采集、存儲(chǔ)、分析和利用等全部過(guò)程

【關(guān)鍵詞】大數(shù)據(jù);開源軟件;企業(yè)系統(tǒng)平臺(tái)

一、企業(yè)大數(shù)據(jù)分析平臺(tái)的構(gòu)建目的

（一）國(guó)家政策的支持

國(guó)家將大數(shù)據(jù)視為經(jīng)濟(jì)轉(zhuǎn)型升級(jí)、重新展現(xiàn)優(yōu)勢(shì)和提高政府管理能力的重要機(jī)遇和挑戰(zhàn)。大數(shù)據(jù)已經(jīng)上升為國(guó)家戰(zhàn)略，全國(guó)各級(jí)政府都在大力的推進(jìn)，頒布實(shí)施多項(xiàng)優(yōu)惠政策，扶持和引導(dǎo)相關(guān)產(chǎn)業(yè)的發(fā)展。

（二）大數(shù)據(jù)所處在的技術(shù)環(huán)境

云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等技術(shù)的逐步成熟并且集中展現(xiàn)，使得大數(shù)據(jù)時(shí)代的產(chǎn)生，并且為此提供了數(shù)據(jù)基礎(chǔ)。目前大數(shù)據(jù)應(yīng)用分析技術(shù)的不斷發(fā)展，造就了以開源技術(shù)為基礎(chǔ)的大數(shù)據(jù)平臺(tái)，多種技術(shù)協(xié)調(diào)發(fā)展的良好的技術(shù)體系，為大數(shù)據(jù)的采集、存儲(chǔ)、分析、利用提供了強(qiáng)有力的支持。

（三）應(yīng)用的前景

目前來(lái)看，大數(shù)據(jù)技術(shù)日新月異，需求旺盛，整體呈現(xiàn)出井噴的態(tài)勢(shì)，所產(chǎn)生的價(jià)值越來(lái)越明顯。企業(yè)的信息管理系統(tǒng)顧名思義就是在任何時(shí)候都應(yīng)該記錄和保存著企業(yè)在這段時(shí)間發(fā)生所有事件，尤其是重點(diǎn)記錄公司的主要銷售業(yè)務(wù)的變更，例如公司某一產(chǎn)品在一段時(shí)間內(nèi)價(jià)格的波動(dòng)以及銷量的高低，最好能用數(shù)據(jù)統(tǒng)計(jì)圖來(lái)表示一個(gè)周期內(nèi)的銷售情況。通過(guò)對(duì)這些信息的分析和了解，能夠讓我們了解到企業(yè)的發(fā)展情況，以及今后企業(yè)應(yīng)該如何發(fā)展，這樣做的目的不僅僅是為了企業(yè)的經(jīng)濟(jì)效率考慮更重要的是企業(yè)理念的深入表現(xiàn)，往往一個(gè)企業(yè)的企業(yè)理念的制定會(huì)是個(gè)很長(zhǎng)遠(yuǎn)的目標(biāo)[1]。

（四）應(yīng)用的現(xiàn)狀

據(jù)統(tǒng)計(jì)，當(dāng)前我國(guó)有三分之一的成規(guī)模的公司正在探索大數(shù)據(jù)應(yīng)用，但目前都處在實(shí)驗(yàn)階段，技術(shù)相對(duì)來(lái)說(shuō)比較成熟但是經(jīng)驗(yàn)相對(duì)還是比較缺乏;這大部分公司已經(jīng)在生產(chǎn)加工環(huán)節(jié)應(yīng)用大數(shù)據(jù)分析，并且取得了很不錯(cuò)的成果生產(chǎn)出良好的產(chǎn)品，還有一半的公司已經(jīng)對(duì)大數(shù)據(jù)開始進(jìn)行了解，準(zhǔn)備開始生產(chǎn)運(yùn)用，對(duì)大數(shù)據(jù)一點(diǎn)不了解的企業(yè)只有很小的一部分。大數(shù)據(jù)應(yīng)用最廣的企業(yè)應(yīng)該是關(guān)于互聯(lián)網(wǎng)方面的企業(yè)，比如說(shuō)淘寶，他能夠根據(jù)你幾次的搜索記錄，為你分析出你想要的產(chǎn)品，盡可能的滿足你的需求。

二、關(guān)于企業(yè)大數(shù)據(jù)分析平臺(tái)的整體框架

關(guān)于開源軟件的企業(yè)大數(shù)據(jù)分析平臺(tái)的整體框架基本上分為四個(gè)層次：數(shù)據(jù)源層、數(shù)據(jù)存儲(chǔ)層、大數(shù)據(jù)的分析處理層以及大數(shù)據(jù)的應(yīng)用層。

（一）數(shù)據(jù)源層的分析

數(shù)據(jù)源層作為開源軟件大數(shù)據(jù)平臺(tái)整體架構(gòu)的第一層級(jí)，它是負(fù)責(zé)大數(shù)據(jù)分析中所需要的最基礎(chǔ)的數(shù)據(jù)同時(shí)它也是數(shù)據(jù)中最容易搜集到一部分的數(shù)據(jù)。企業(yè)的最基本業(yè)務(wù)就是企業(yè)本身的系統(tǒng)數(shù)據(jù)，從時(shí)間方面來(lái)分析，可以大體分為對(duì)時(shí)間的長(zhǎng)短要求不急用的批處理數(shù)據(jù)和對(duì)時(shí)間要求較高的流式數(shù)據(jù)。在這個(gè)數(shù)據(jù)高度集中的互聯(lián)網(wǎng)時(shí)代中，企業(yè)本身的經(jīng)營(yíng)數(shù)據(jù)固然很重要，但是沒(méi)有與他人的對(duì)比怎能知道自己的企業(yè)同其他企業(yè)到底是誰(shuí)強(qiáng)誰(shuí)弱呢，只有在對(duì)比中才能找到問(wèn)題，所以要想辦法獲得自己同行業(yè)的或者是與這個(gè)行業(yè)沾點(diǎn)邊的企業(yè)信息也要進(jìn)行分析，尤其要重點(diǎn)分析同行業(yè)中比自己優(yōu)秀的企業(yè)，分析出他們的優(yōu)勢(shì)在什么地方，進(jìn)而更好的制定出應(yīng)對(duì)的措施。

（二）數(shù)據(jù)儲(chǔ)存層的定義

數(shù)據(jù)儲(chǔ)存層的最重要的功能就是存儲(chǔ)，能夠進(jìn)行存儲(chǔ)的這些內(nèi)容在之前都需要嚴(yán)格的審查，尤其要進(jìn)行一下殺毒，防止一些不法分子通過(guò)不正當(dāng)?shù)厥侄蝸?lái)竊取我們的重要數(shù)據(jù)，又因?yàn)檫@些數(shù)據(jù)來(lái)自不同的部門，所以更要小心企業(yè)中一些唯利是圖的小人惡意修改數(shù)據(jù)內(nèi)容，防止最后的數(shù)據(jù)不正確。在這個(gè)層級(jí)中，我們要將這個(gè)以數(shù)據(jù)庫(kù)的概念形式進(jìn)行設(shè)計(jì)從而達(dá)到實(shí)現(xiàn)的目的。以往的傳統(tǒng)儲(chǔ)存方式都是基于手寫的模式的，也就是說(shuō)，在儲(chǔ)存數(shù)據(jù)的時(shí)候，只會(huì)儲(chǔ)存提前設(shè)定好的數(shù)據(jù)，如果數(shù)據(jù)不符合存儲(chǔ)的要求則會(huì)在存儲(chǔ)的過(guò)程中發(fā)生丟棄，這就好像一個(gè)人有多大的腳他就得需要買多大的鞋，如果太小就穿不下去會(huì)擠腳，太大雖然能穿的上但是并不能夠跑步甚至趕不上不穿鞋的人，數(shù)據(jù)也有這樣的道理只有符合的數(shù)據(jù)才能夠順利地進(jìn)入數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)存儲(chǔ)系統(tǒng)的存儲(chǔ)技術(shù)基于讀的模式，在儲(chǔ)存數(shù)據(jù)時(shí)，所有的原始采集到的數(shù)據(jù)都會(huì)原封不動(dòng)的保存在存儲(chǔ)系統(tǒng)中，當(dāng)這些數(shù)據(jù)需要被分析的時(shí)候，才會(huì)根據(jù)分析的需要，從數(shù)據(jù)庫(kù)中抽取所需要的數(shù)據(jù)來(lái)進(jìn)行分析。例如;你的衣柜中有很多的衣服和鞋子，當(dāng)你在夏天的時(shí)候你需要穿夏天穿的短袖涼鞋，這時(shí)候你可以把他們從衣柜中拿出來(lái)，冬天來(lái)臨時(shí)你就需要把羽絨服和棉鞋給拿出來(lái)，只有當(dāng)你需要的時(shí)候，他才會(huì)發(fā)揮作用，數(shù)據(jù)庫(kù)中的數(shù)據(jù)也是這樣。大多數(shù)情況下，采用數(shù)據(jù)庫(kù)存儲(chǔ)技術(shù)，不會(huì)造成原始數(shù)據(jù)的丟失，以此能夠滿足企業(yè)數(shù)據(jù)分析在未來(lái)中的各種需要[2]。

（三）大數(shù)據(jù)分析處理層定義

在大數(shù)據(jù)分析處理層，我們會(huì)采用SQL技術(shù)來(lái)對(duì)數(shù)據(jù)湖中的數(shù)據(jù)進(jìn)行交互式大數(shù)據(jù)的分析;這個(gè)方面對(duì)實(shí)時(shí)性的分析要求較高，通常采取流式數(shù)據(jù)分析技術(shù)。我們需要根據(jù)現(xiàn)有的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法庫(kù)來(lái)對(duì)企業(yè)保存在數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行分析。

（四）大數(shù)據(jù)應(yīng)用層的價(jià)值所在

大數(shù)據(jù)應(yīng)用層是企業(yè)大數(shù)據(jù)中最為直觀的關(guān)系到企業(yè)利益，它將會(huì)最終反映一個(gè)企業(yè)的營(yíng)收的好壞。在這一層中，企業(yè)可以獲取各種生產(chǎn)經(jīng)營(yíng)類所需要的各項(xiàng)報(bào)表以及各種決議支持與反對(duì)的意見。采用數(shù)據(jù)可視化技術(shù)，例如可以通過(guò)扇形圖柱狀圖的分析，通過(guò)圖示讓企業(yè)的相關(guān)工作人員一眼就能看明白企業(yè)的目前的生產(chǎn)經(jīng)營(yíng)狀況，從而更好的為企業(yè)制定更加完美的發(fā)展戰(zhàn)略以及實(shí)現(xiàn)企業(yè)的高營(yíng)收、高利潤(rùn)的目的[3]。

三、企業(yè)應(yīng)用大數(shù)據(jù)分析的關(guān)鍵因素

首先要明確用戶群體，便隨著互聯(lián)網(wǎng)的高速發(fā)展，大數(shù)據(jù)也在這個(gè)數(shù)據(jù)潮流中得到了前所未有的發(fā)展，這個(gè)發(fā)展背景下，大數(shù)據(jù)的群體也變得更加龐大以及更具有多樣性，大數(shù)據(jù)能否被成功應(yīng)用的關(guān)鍵是大數(shù)據(jù)系統(tǒng)人員類型的選擇。大數(shù)據(jù)成功的重點(diǎn)標(biāo)志是給其整體挖掘出潛在價(jià)值和機(jī)遇，所以說(shuō)現(xiàn)在的企業(yè)應(yīng)將重點(diǎn)放在戰(zhàn)略層面的用戶上，但是有相關(guān)的客戶將重點(diǎn)放在戰(zhàn)術(shù)層面上。

所以說(shuō)，大數(shù)據(jù)必須要面對(duì)不一樣的客戶而建立不一樣數(shù)據(jù)，以滿足不同用戶關(guān)注重點(diǎn)的不同數(shù)據(jù)范圍。在這種情況下，大數(shù)據(jù)在一定的范圍內(nèi)被鎖定的時(shí)候，應(yīng)該按照不同人需要不同的數(shù)據(jù)范圍，進(jìn)而滿足多元化的需求。與此同時(shí)，不同人也會(huì)擁有不同的興趣愛好，所以必須按照每個(gè)人關(guān)注的利益來(lái)進(jìn)行涉及客戶所需要的報(bào)表，進(jìn)而讓更多的人加入進(jìn)來(lái)。比如，將企業(yè)所生產(chǎn)的所有產(chǎn)品都一一列出來(lái)這樣就會(huì)缺乏指定性，這關(guān)鍵是因?yàn)槠髽I(yè)不同部門的職責(zé)不同，各部門管理者只會(huì)關(guān)注自己部門產(chǎn)品生產(chǎn)的進(jìn)展情況，因此企業(yè)應(yīng)該對(duì)用戶的相關(guān)數(shù)據(jù)進(jìn)行整理，做到單個(gè)報(bào)表就能反映出用戶個(gè)體需要的數(shù)據(jù)結(jié)論，這樣不僅僅會(huì)滿足用戶多方面的需要，并且還能夠提高企業(yè)的管理效率和管理的質(zhì)量。所以說(shuō)用戶群體是企業(yè)大數(shù)據(jù)重點(diǎn)分析的對(duì)象。

總結(jié)：

基于開源軟件Hadoop/Spark實(shí)現(xiàn)的企業(yè)大數(shù)據(jù)分析應(yīng)用平臺(tái)，從技術(shù)上說(shuō)已經(jīng)達(dá)到很成熟的地步。這些已經(jīng)被企業(yè)在生產(chǎn)實(shí)際生活中所證明。本文中所采用的大數(shù)據(jù)分析應(yīng)用平臺(tái)方案，其最主要的成本是構(gòu)成人力資源方面的投入。對(duì)于企業(yè)來(lái)說(shuō)，最大的挑戰(zhàn)還是需要招聘一些懂得大數(shù)據(jù)應(yīng)用平臺(tái)領(lǐng)域的技術(shù)人員和數(shù)據(jù)分析師的合作，盡最大的能力挖掘出大數(shù)據(jù)對(duì)企業(yè)的價(jià)值作用。

參考文獻(xiàn)：

[1]任南，魯麗軍，何夢(mèng)嬌.大數(shù)據(jù)分析能力、協(xié)同創(chuàng)新能力與協(xié)同創(chuàng)新績(jī)效[J].中國(guó)科技論壇，2018（06）：59-66.

[2]李丹.企業(yè)大數(shù)據(jù)分析應(yīng)用平臺(tái)及其實(shí)現(xiàn)[J].商場(chǎng)現(xiàn)代化，2017（20）：80-81.

[3]王強(qiáng)，李俊杰，陳小軍，黃哲學(xué)，陳國(guó)良.大數(shù)據(jù)分析平臺(tái)建設(shè)與應(yīng)用綜述[J].集成技術(shù)，2016，5（02）：2-18.

作者簡(jiǎn)介：

黃小偉（2000-）男，江蘇，漢，大專，研究方向：大數(shù)據(jù)。

（作者單位：西南科技大學(xué)城市學(xué)院）