基于私有云架構(gòu)的營(yíng)銷分析系統(tǒng)設(shè)計(jì)

李南

摘要：為了更好地利用和發(fā)揮企業(yè)海量數(shù)據(jù)的價(jià)值，服務(wù)于企業(yè)管理決策，本文結(jié)合卷煙企業(yè)實(shí)際，提出了一套基于私有云架構(gòu)的營(yíng)銷分析系統(tǒng)，介紹了營(yíng)銷分析系統(tǒng)的體系架構(gòu)和基于hadoop企業(yè)私有云的構(gòu)建方法，以及整個(gè)企業(yè)云在系統(tǒng)中的作用和工作原理，最后設(shè)計(jì)了整個(gè)系統(tǒng)的部署方案。

關(guān)鍵詞：私有云;Hadoop;營(yíng)銷分析系統(tǒng);管理決策

中圖分類號(hào)：TP311.52 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2018）12-0149-02

對(duì)于卷煙工業(yè)企業(yè)而言，在行業(yè)依法推進(jìn)控?zé)熉募s工作和卷煙營(yíng)銷市場(chǎng)化取向改革的大環(huán)境下，一些諸如廣告宣傳、活動(dòng)促銷等傳統(tǒng)營(yíng)銷方式已經(jīng)很難適應(yīng)現(xiàn)代網(wǎng)絡(luò)營(yíng)銷便捷高效的競(jìng)爭(zhēng)需要。制定傳統(tǒng)市場(chǎng)營(yíng)銷方案通常都需要花費(fèi)較長(zhǎng)的時(shí)間周期和較高的人工成本，采取登載廣告、散發(fā)傳單、問(wèn)卷調(diào)查等方式統(tǒng)計(jì)分析市場(chǎng)需求信息，并制定有針對(duì)性的營(yíng)銷策略，甚至在未獲得數(shù)據(jù)支撐的前提下盲目隨意地制定銷售策略，常常難以達(dá)到理想的宣傳效果[1]。基于企業(yè)私有云平臺(tái)構(gòu)建營(yíng)銷分析系統(tǒng)，既能夠快速高效收集卷煙銷售數(shù)據(jù)和零售戶訂單數(shù)據(jù)，積累形成豐富的信息資源庫(kù)，又能在此基礎(chǔ)上借助云計(jì)算、大數(shù)據(jù)技術(shù)開(kāi)展海量數(shù)據(jù)的挖掘與分析，幫助企業(yè)更好地制定營(yíng)銷策略和維護(hù)客戶關(guān)系。同時(shí)保證了客戶信息的安全性和私密性。

1 系統(tǒng)設(shè)計(jì)思路及架構(gòu)

采用新的數(shù)據(jù)存儲(chǔ)分析架構(gòu)，運(yùn)用互聯(lián)網(wǎng)迭代思維，進(jìn)行大數(shù)據(jù)分析，將數(shù)據(jù)分析與業(yè)務(wù)管理活動(dòng)緊密結(jié)合，將數(shù)據(jù)應(yīng)用向市場(chǎng)、終端進(jìn)行延伸，讓營(yíng)銷行為更加具有指向性和引導(dǎo)性，按照上述思路設(shè)計(jì)的系統(tǒng)架構(gòu)自下而上分為六個(gè)層級(jí)。

1.1 數(shù)據(jù)源層

數(shù)據(jù)源采集匯總企業(yè)內(nèi)外部數(shù)據(jù)，其中內(nèi)部數(shù)據(jù)包括營(yíng)銷、財(cái)務(wù)、生產(chǎn)、原料、研發(fā)等基礎(chǔ)數(shù)據(jù)。外部數(shù)據(jù)包括煙草行業(yè)下行的卷煙品牌銷量及零售戶訂單數(shù)據(jù)，以及綜合營(yíng)銷系統(tǒng)中自有品牌在全國(guó)的購(gòu)銷存數(shù)據(jù)、財(cái)務(wù)成本與廣告宣傳促銷費(fèi)用信息[2]。

1.2 傳輸層

傳輸層主要起到數(shù)據(jù)傳輸媒介和通道作用，負(fù)責(zé)抽取數(shù)據(jù)庫(kù)的源數(shù)據(jù)到加工層，從技術(shù)上可以采取部署ETL中間件和開(kāi)發(fā)企業(yè)系統(tǒng)接口兩種方式來(lái)實(shí)現(xiàn)。

1.3 加工層

由于來(lái)自數(shù)據(jù)源傳輸?shù)臄?shù)據(jù)量非常大，也存在無(wú)法利用的數(shù)據(jù)，因此在存儲(chǔ)過(guò)程中需要進(jìn)行數(shù)據(jù)預(yù)處理。該項(xiàng)任務(wù)可以由基于Hadoop架構(gòu)的企業(yè)私有云執(zhí)行，其主要作用是框架式的將海量數(shù)據(jù)做出處理，其特有的HDFS文件系統(tǒng)具有精減數(shù)據(jù)、降低海量數(shù)據(jù)分析維度和清洗操作等簡(jiǎn)化數(shù)據(jù)的功能特性，可以在保持?jǐn)?shù)據(jù)的完整性和準(zhǔn)確性同時(shí)，滿足數(shù)據(jù)分析利用的需要。

1.4 存儲(chǔ)中心

存儲(chǔ)中心主要負(fù)責(zé)儲(chǔ)存經(jīng)過(guò)加工層處理后的數(shù)據(jù)。現(xiàn)有系統(tǒng)的Oracle關(guān)系數(shù)據(jù)庫(kù)與基于Hadoop構(gòu)建的企業(yè)私有云存儲(chǔ)平臺(tái)組成了整個(gè)存儲(chǔ)中心，對(duì)于能夠?qū)胪ㄓ脭?shù)據(jù)分析模型使用的數(shù)據(jù)，直接用關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)，而對(duì)于需要深入挖掘或建模定制的數(shù)據(jù)交給云存儲(chǔ)。

1.5 分析層

存儲(chǔ)中心的數(shù)據(jù)套用現(xiàn)成的數(shù)據(jù)模型進(jìn)行分析，根據(jù)數(shù)據(jù)的類型和規(guī)模要分別采取不同的方式。例如，結(jié)構(gòu)化的數(shù)據(jù)可以在關(guān)系數(shù)據(jù)庫(kù)的存儲(chǔ)過(guò)程里完成，海量數(shù)據(jù)則要通過(guò)Hadoop MapReduce計(jì)算模型完成，最后將產(chǎn)生結(jié)果輸出到展現(xiàn)層。

1.6 展示層

通過(guò)構(gòu)建用戶與系統(tǒng)之間的人機(jī)交互接口，及時(shí)將分析結(jié)果以圖表、報(bào)告等形式展示給用戶，對(duì)于企業(yè)私有云數(shù)據(jù)的日常性管理，如用戶系統(tǒng)管理權(quán)限設(shè)置、信息檢索、數(shù)據(jù)傳輸、預(yù)處理以及存儲(chǔ)策略控制等都可以通過(guò)數(shù)據(jù)庫(kù)管理的可視化界面進(jìn)行操作。

2 企業(yè)私有云的構(gòu)建

作為數(shù)據(jù)處理引擎的企業(yè)私有云，能有效實(shí)現(xiàn)云終端輕量化聚合，主要承擔(dān)大數(shù)據(jù)分析任務(wù)，而數(shù)據(jù)庫(kù)服務(wù)器與應(yīng)用服務(wù)器可以看作接入云的“終端”，逐漸接近單一的輸入輸出功能，由此可以大幅減輕數(shù)據(jù)服務(wù)器和應(yīng)用服務(wù)器的資源負(fù)載。

2.1 基于Hadoop的企業(yè)私有云架構(gòu)

考慮到海量零售戶信息的特點(diǎn)，該私有云平臺(tái)架構(gòu)采用分層、分布式結(jié)構(gòu)設(shè)計(jì)而成，可劃分為數(shù)據(jù)存儲(chǔ)層、歸檔數(shù)據(jù)管理層、數(shù)據(jù)處理層、訪問(wèn)接口層等四個(gè)層次。架構(gòu)如圖1所示。

2.2 軟硬件環(huán)境的搭建

對(duì)于企業(yè)私有云的搭建必須先準(zhǔn)備好JDK及SSH，軟件版本應(yīng)使用穩(wěn)定版本而非最新版本[3]。由于Hadoop具有高容錯(cuò)性及完備的備份機(jī)制，企業(yè)私有云DataNode節(jié)點(diǎn)考慮利用廉價(jià)PC機(jī)搭建服務(wù)器集群，克服傳統(tǒng)服務(wù)器集群、磁盤(pán)陣列技術(shù)存在的計(jì)算資源利用率不高、可擴(kuò)展性不強(qiáng)等缺陷。同時(shí)NameNode是整個(gè)Hadoop集群的關(guān)鍵，負(fù)責(zé)HDFS文件系統(tǒng)的命名空間管理、元數(shù)據(jù)及塊管理等，因此NameNode服務(wù)器應(yīng)購(gòu)置費(fèi)用更貴而性能穩(wěn)定、配置更高的中高端小型機(jī)。

2.3 系統(tǒng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

基于Hadoop技術(shù)的服務(wù)器集群，可以根據(jù)日益增長(zhǎng)的業(yè)務(wù)數(shù)據(jù)和應(yīng)用需求的變化進(jìn)行擴(kuò)展，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)包括兩層，機(jī)架1、2、3中的服務(wù)器分別共享帶寬1GB的網(wǎng)絡(luò)交換機(jī)，然后所有機(jī)架中的網(wǎng)絡(luò)交換機(jī)都統(tǒng)一由上層的核心路由器匯聚，并且應(yīng)選用不低于1G帶寬的路由器。由于Hadoop具有良好的可靠性與可擴(kuò)展性，通過(guò)增加機(jī)架和DataNode節(jié)點(diǎn)的方式，按需擴(kuò)展存儲(chǔ)空間及計(jì)算資源。為進(jìn)一步提高Hadoop集群的整體性能，必須進(jìn)行科學(xué)合理的配置，以更好地為企業(yè)提供安全穩(wěn)定的數(shù)據(jù)資源存儲(chǔ)和利用服務(wù)。

3 系統(tǒng)應(yīng)用效果

基于私有云架構(gòu)的營(yíng)銷分析系統(tǒng)建成后，實(shí)現(xiàn)了對(duì)全國(guó)約500萬(wàn)活躍零售戶的訂單數(shù)據(jù)的抽取、加工和分析，可以實(shí)現(xiàn)卷煙工業(yè)企業(yè)核心零售戶和目標(biāo)消費(fèi)群體的精準(zhǔn)定位，深入分析和展現(xiàn)當(dāng)?shù)責(zé)煵菔袌?chǎng)發(fā)展趨勢(shì)、消費(fèi)者的消費(fèi)趨勢(shì)、卷煙結(jié)構(gòu)的發(fā)展趨勢(shì)等，為卷煙投放、品牌培育提供了決策依據(jù)，同時(shí)可以通過(guò)手機(jī)APP推送給各個(gè)銷區(qū)，幫助銷區(qū)進(jìn)行營(yíng)銷活動(dòng)，指導(dǎo)業(yè)務(wù)員開(kāi)展市場(chǎng)走訪、維護(hù)等具體工作。

4 結(jié)語(yǔ)

本文結(jié)合卷煙工業(yè)企業(yè)實(shí)際，提出了一套基于私有云架構(gòu)的營(yíng)銷分析系統(tǒng)，介紹營(yíng)銷分析系統(tǒng)的體系架構(gòu)和基于hadoop企業(yè)私有云的構(gòu)建方法、工作原理，最后描述整個(gè)系統(tǒng)部署方案及應(yīng)用效果。

參考文獻(xiàn)

[1]王海飛.基于Hadoop云的數(shù)據(jù)庫(kù)營(yíng)銷海量數(shù)據(jù)處理與挖掘的研究[D].浙江理工大學(xué)，2013.

[2]胡穎萍.基于移動(dòng)互聯(lián)技術(shù)的煙草營(yíng)銷系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].江西財(cái)經(jīng)大學(xué)，2016.

[3]肖迎賓，許建，邢陽(yáng)，沈毅，莊文杰.基于Android平臺(tái)的煙草移動(dòng)營(yíng)銷系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].煙草科技，2015，（3）：98-102.

Design of Marketing Analysis System based on Private Cloud Architecture

LI Nan

（College of Mathematics and Computer Science， Yichun University， Yichun Jiangxi 336000）

Abstract：In order to make better use of the value of the massive data of enterprise and serve the decision of enterprise management， the thesis propose a type of marketing analysis system based on the private cloud architecture. It introduces the architecture of the marketing analysis system， the method based on hadoop enterprise private cloud and the role and working principle of the entire enterprise cloud in the system， the deployment plan of the system is finally designed.

Key words：private cloud; Hadoop; marketing analysis system; management decision