基于互聯(lián)網(wǎng)云技術(shù)的數(shù)據(jù)報(bào)送平臺(tái)搭建

劉晉州

摘要：數(shù)據(jù)報(bào)送平臺(tái)是數(shù)據(jù)處理和數(shù)據(jù)分析的基本保障，如何確保報(bào)送系統(tǒng)的迅速性和精確度是亟待解決的問(wèn)題，為此設(shè)計(jì)基于互聯(lián)網(wǎng)云技術(shù)的數(shù)據(jù)平臺(tái)搭建系統(tǒng)。以89C51及89C2051為數(shù)據(jù)運(yùn)行核心，由數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)調(diào)試模塊、數(shù)據(jù)模擬信道、數(shù)據(jù)分類系統(tǒng)、數(shù)據(jù)結(jié)果顯示板塊等構(gòu)建成系統(tǒng)硬件；軟件設(shè)計(jì)采用模塊化編程方法，傳輸碼元速率為二進(jìn)制數(shù)據(jù)流，實(shí)現(xiàn)數(shù)據(jù)的平穩(wěn)傳輸。

關(guān)鍵詞：互聯(lián)網(wǎng)；云技術(shù)；大數(shù)據(jù)；平臺(tái)搭建

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）29-0119-02

科學(xué)技術(shù)不斷進(jìn)步，不斷推進(jìn)生產(chǎn)力的發(fā)展，利用生產(chǎn)力的進(jìn)步推動(dòng)人類社會(huì)發(fā)展是我們的重要目的之一。生產(chǎn)力進(jìn)步的最大動(dòng)力就在于服務(wù)社會(huì)、解放人類。在當(dāng)今社會(huì)，我們無(wú)時(shí)無(wú)刻不處在大數(shù)據(jù)的洪流中。新的數(shù)據(jù)報(bào)送平臺(tái)搭建旨在依托迅猛發(fā)展的互聯(lián)網(wǎng)技術(shù)、云計(jì)算技術(shù)、云儲(chǔ)存平臺(tái)、大數(shù)據(jù)庫(kù)，建立數(shù)據(jù)分類儲(chǔ)存和智能分析系統(tǒng)，建立智能化的數(shù)據(jù)抓取與分析，實(shí)現(xiàn)最快捷的數(shù)據(jù)報(bào)送。國(guó)家和社會(huì)也大力支持?jǐn)?shù)據(jù)平臺(tái)的建設(shè)，如發(fā)改委發(fā)布稱：“在今后的五年內(nèi)，將投入資金一千億元支持?jǐn)?shù)字經(jīng)濟(jì)發(fā)展，支持大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算等領(lǐng)域建設(shè)，優(yōu)先培育一批數(shù)字經(jīng)濟(jì)領(lǐng)域重點(diǎn)項(xiàng)目，助力數(shù)字經(jīng)濟(jì)和數(shù)字絲綢之路建設(shè)[1]。”

1利用云技術(shù)構(gòu)建數(shù)據(jù)報(bào)送平臺(tái)執(zhí)行環(huán)境

在進(jìn)行數(shù)據(jù)報(bào)送之前，需要了解另一端的用戶是誰(shuí)，他們從哪里來(lái)，又在哪里流失，從而找到新的增長(zhǎng)點(diǎn)。只有構(gòu)建了扎實(shí)的數(shù)據(jù)倉(cāng)庫(kù)，積累了大量的數(shù)據(jù)資產(chǎn)，并準(zhǔn)確搭建多維數(shù)據(jù)分析模型，才能實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)。面對(duì)各種來(lái)源的數(shù)據(jù)，怎么對(duì)這些零散的數(shù)據(jù)進(jìn)行有效的分析，得到有價(jià)值的信息是大數(shù)據(jù)領(lǐng)域研究的熱點(diǎn)問(wèn)題。大數(shù)據(jù)分析處理平臺(tái)就是整合當(dāng)前主流的各種具有不同側(cè)重點(diǎn)的大數(shù)據(jù)處理分析框架和工具，實(shí)現(xiàn)對(duì)數(shù)據(jù)的挖掘和分析，一個(gè)大數(shù)據(jù)分析平臺(tái)涉及的組件眾多，如何將其有機(jī)地結(jié)合起來(lái)，完成海量數(shù)據(jù)的挖掘是一項(xiàng)復(fù)雜的工作[2]。

數(shù)據(jù)平臺(tái)搭建的產(chǎn)生原因是為了配合當(dāng)今信息社會(huì)中海量數(shù)據(jù)的井噴式產(chǎn)生。無(wú)論是商業(yè)領(lǐng)域還是政府領(lǐng)域都把大數(shù)據(jù)作為十分珍貴的財(cái)富。數(shù)據(jù)平臺(tái)搭建其實(shí)離我們并不遙遠(yuǎn)，最基礎(chǔ)的基于互聯(lián)網(wǎng)的數(shù)據(jù)分析就是運(yùn)用Excel整合數(shù)據(jù)并進(jìn)行處理。一些軟件工程專業(yè)或者語(yǔ)言學(xué)專業(yè)的人，經(jīng)常會(huì)在進(jìn)行Java、Python開(kāi)發(fā)時(shí)，對(duì)于數(shù)據(jù)平臺(tái)產(chǎn)生興趣，這也從側(cè)面反映出了數(shù)據(jù)平臺(tái)搭建在當(dāng)今社會(huì)的必要性和重要性。

例如，在2018年的京東“618購(gòu)物節(jié)”期間，從18日零點(diǎn)起到19日零點(diǎn)，單日成單金額達(dá)到1590余億元，比上年度增加37%，在巨大的成交額面前，顯示出的是龐大的購(gòu)買用戶。而且，京東購(gòu)物節(jié)期間，京東連同用戶眾多的微信和QQ平臺(tái)，上線了300余種社交互動(dòng)玩法，參與互動(dòng)人數(shù)超過(guò)3億。如果這些用戶的相關(guān)數(shù)據(jù)（年齡情況、性別情況、購(gòu)買傾向、地域分布等）通過(guò)人工去進(jìn)行分析，那估計(jì)要耗費(fèi)上幾百年了。所以基于互聯(lián)網(wǎng)云技術(shù)的數(shù)據(jù)報(bào)送平臺(tái)搭建才顯得愈發(fā)重要。那該如何進(jìn)行數(shù)據(jù)平臺(tái)搭建呢？

數(shù)據(jù)平臺(tái)搭建的第一階段是要有數(shù)據(jù)，例如各大購(gòu)物平臺(tái)的購(gòu)買數(shù)據(jù)，各大網(wǎng)站的用戶點(diǎn)擊數(shù)據(jù)，都可以成為搭建數(shù)據(jù)平臺(tái)的基礎(chǔ)。第二個(gè)階段是要考慮要用數(shù)據(jù)解決一個(gè)怎么樣的問(wèn)題？拿一個(gè)非常具體的例子來(lái)說(shuō)，一位商戶想在大學(xué)城開(kāi)一家麻辣燙店，需要數(shù)據(jù)搭建平臺(tái)提供哪些幫助？首先數(shù)據(jù)的類別要包含大學(xué)城學(xué)生的人數(shù)、學(xué)生的屬性、學(xué)校的規(guī)模、學(xué)校的食堂規(guī)模、學(xué)校食堂的管理方式、學(xué)生對(duì)于麻辣燙的喜愛(ài)程度、食堂每個(gè)出入口的人流量和現(xiàn)存商戶、食堂商鋪的租金等。

2實(shí)現(xiàn)海量數(shù)據(jù)收集傳輸

根據(jù)著名的數(shù)據(jù)使用金字塔定律來(lái)說(shuō)，數(shù)據(jù)的使用方式有以下幾種，Static、Query、OLAP、Adhoc、Data Mining等。由前到后對(duì)于數(shù)據(jù)的具體要求是不一致的。對(duì)于數(shù)據(jù)的數(shù)量要求越來(lái)越大，涉及的廣度越來(lái)越堵，交互處理的難度越來(lái)越大，需要提供的技術(shù)支持也越來(lái)越復(fù)雜。而且，從Static到Data Mining用戶的專業(yè)度也愈發(fā)提升，進(jìn)行處理的門檻兒越來(lái)越高，處理的主體也從以人為主到機(jī)器為主轉(zhuǎn)變[3]。

所以，數(shù)據(jù)報(bào)送平臺(tái)的搭建需要借助強(qiáng)有力的軟件平臺(tái)。采用Red Hat進(jìn)行數(shù)據(jù)基本操作，采用Flume NG系統(tǒng)進(jìn)行大數(shù)據(jù)采集，采用hadoop構(gòu)建PB級(jí)大數(shù)據(jù)平臺(tái)進(jìn)行廣泛的數(shù)據(jù)儲(chǔ)存，另外，Hive可用于數(shù)據(jù)清理，Spark R便于數(shù)據(jù)挖掘，模型應(yīng)用的結(jié)果存儲(chǔ)在H Base中[4]。數(shù)據(jù)平臺(tái)搭建一般包括兩個(gè)階段，數(shù)據(jù)預(yù)處理和數(shù)據(jù)建模分析，前者是后者的準(zhǔn)備工作。數(shù)據(jù)平臺(tái)兩個(gè)最重要的工作內(nèi)容是數(shù)據(jù)建模和數(shù)據(jù)分析。前者基于業(yè)務(wù)搭建數(shù)據(jù)平臺(tái)，后者基于平臺(tái)數(shù)據(jù)監(jiān)控，給予業(yè)務(wù)分析與指導(dǎo)。這都需要專業(yè)技術(shù)崗位人才進(jìn)行操作，對(duì)行業(yè)屬性及商業(yè)邏輯要深入理解。

數(shù)據(jù)平臺(tái)圍繞Select展開(kāi)，增刪改、約束、索引、數(shù)據(jù)庫(kù)范式均可以跳過(guò)。用戶數(shù)據(jù)都暫時(shí)記憶在date-state中，我們用Red Hat把該屬性的值取出來(lái)，然后作為JSONEN格式讀取，再把數(shù)據(jù)集中存儲(chǔ)用戶數(shù)據(jù)的部分提取出來(lái)即可，代碼為：

數(shù)據(jù)報(bào)送平臺(tái)搭建成功后，將在各個(gè)領(lǐng)域發(fā)揮重要的作用。例如，近期某市紀(jì)委監(jiān)委依托監(jiān)察體制改革契機(jī)，搭建了“公共基礎(chǔ)信息查詢數(shù)據(jù)平臺(tái)”，重點(diǎn)圍繞大數(shù)據(jù)查詢、大數(shù)據(jù)監(jiān)督、電子數(shù)據(jù)調(diào)查開(kāi)展建設(shè)，助力監(jiān)督執(zhí)紀(jì)監(jiān)察[5]。通過(guò)不同途徑的數(shù)據(jù)交換實(shí)現(xiàn)動(dòng)態(tài)采集，簡(jiǎn)化信息查詢流程，并對(duì)部分敏感性數(shù)據(jù)建立起數(shù)據(jù)查詢綠色通道，隨時(shí)滿足審查調(diào)查工作需求。此次搭建的數(shù)據(jù)平臺(tái)已經(jīng)匯聚20余個(gè)部門一百余類八十余億條數(shù)據(jù)，對(duì)于政府之間的跨部門協(xié)作、跨層級(jí)共享的紀(jì)檢監(jiān)察信息資源共享具有至關(guān)重要的意義[6]。

3 基于云技術(shù)數(shù)據(jù)報(bào)送平臺(tái)操作案例

以某政府部門為云技術(shù)數(shù)據(jù)平臺(tái)搭建案例，數(shù)據(jù)報(bào)送平臺(tái)可實(shí)現(xiàn)新建報(bào)送表格、報(bào)表審核、統(tǒng)計(jì)查詢、表格權(quán)限管理和填報(bào)表格等功能。搭建完成后，具體操作流程為按住alt+p，就會(huì)跳出一個(gè)sftp窗口，再加命令：

put d：＼～＼jdk-7u79-linux-x64.gz。執(zhí)行步驟二，解壓jdk。主要命令是：tar -zxvf jdk-7u79-linux-x64.gz -C /app。將java添加到環(huán)境變量中，安裝hadoop-2.5.0，最后再格式化HDFS，Hadoop命令為hadoop namenode -format。我們輸入命令source/etc/profile，數(shù)據(jù)報(bào)送平臺(tái)就可以正常運(yùn)行了。

最后，數(shù)據(jù)報(bào)送平臺(tái)不可以隨意地允許訪問(wèn)，一定要設(shè)計(jì)權(quán)限系統(tǒng)，數(shù)據(jù)報(bào)送平臺(tái)的權(quán)限設(shè)計(jì)包含兩部分，功能訪問(wèn)權(quán)限和數(shù)據(jù)查看權(quán)限。功能訪問(wèn)權(quán)限是指不同訪問(wèn)者可以操作的界面，例如某一個(gè)訪問(wèn)者在自己的計(jì)算機(jī)客戶端在訂單查詢頁(yè)面能看到哪些字段，能操作哪些按鈕。數(shù)據(jù)查看權(quán)限是指不同角色在同一頁(yè)面中看到的數(shù)據(jù)范圍，例如總公司管理員和分公司管理員在訂單查詢頁(yè)面能看到的公司訂單是不同的，區(qū)域主管只能看到所在區(qū)域的訂單，總公司可以看到所有的訂單信息。

4結(jié)束語(yǔ)

總之，我們結(jié)合多個(gè)實(shí)際案例，完整地介紹了一套數(shù)據(jù)報(bào)送平臺(tái)從無(wú)到有的設(shè)計(jì)。基于云技術(shù)的數(shù)據(jù)報(bào)送平臺(tái)搭建系統(tǒng)是基于單片機(jī)AT99C54來(lái)完成的，3路的模擬電壓轉(zhuǎn)換為數(shù)字信號(hào)之后，通過(guò)單片機(jī)進(jìn)行大數(shù)據(jù)的分析處理，并將整理過(guò)的數(shù)據(jù)傳送到儲(chǔ)存系統(tǒng)和顯示系統(tǒng)。大數(shù)據(jù)平臺(tái)搭建過(guò)程中涵蓋了大量的技術(shù)和產(chǎn)品，隨著技術(shù)的發(fā)展和IT成果的出現(xiàn)，數(shù)據(jù)報(bào)送和數(shù)據(jù)管理都更加的便捷，也更具專業(yè)化和個(gè)性化。如何在數(shù)據(jù)報(bào)送過(guò)程中，兼顧效率和精準(zhǔn)度，如何解決異構(gòu)數(shù)據(jù)爆炸式增長(zhǎng)，也將會(huì)很快解決。

參考文獻(xiàn)：

[1] 石桂芳， 劉陳榮. 基于云平臺(tái)的數(shù)據(jù)采集與統(tǒng)計(jì)匯總系統(tǒng)應(yīng)用研究[C].2013電力行業(yè)信息化年會(huì)論文集. 2013：107-112.

[2] 李朝鋒. 大數(shù)據(jù)時(shí)代基于云計(jì)算技術(shù)構(gòu)建農(nóng)業(yè)信息服務(wù)平臺(tái)研究[J]. 河南科技， 2017（5）：19-21.

[3] 牟萍. 基于物聯(lián)網(wǎng)、云技術(shù)和大數(shù)據(jù)的高校智能化教學(xué)環(huán)境構(gòu)建[J]. 重慶師范大學(xué)學(xué)報(bào)：自然科學(xué)版， 2017（5）：81-86.

[4] 葉鑫， 董路安， 宋禺. 基于大數(shù)據(jù)與知識(shí)的“互聯(lián)網(wǎng)+政務(wù)服務(wù)”云平臺(tái)的構(gòu)建與服務(wù)策略研究[J]. 情報(bào)雜志， 2018（2）.

[5] 劉建鑫. 智能化媒體發(fā)展的引擎——基于大數(shù)據(jù)和云計(jì)算技術(shù)的應(yīng)用觀察[J]. 青年記者， 2018（1）：50-51.

[6] 梁春華. 大數(shù)據(jù)環(huán)境情報(bào)研究平臺(tái)發(fā)展現(xiàn)狀與思考[J]. 情報(bào)理論與實(shí)踐， 2017， 40（6）：63-66.

【通聯(lián)編輯：光文玲】