Web 網(wǎng)絡(luò)大數(shù)據(jù)分類系統(tǒng)開(kāi)發(fā)應(yīng)用

錢(qián)游 重慶城市職業(yè)學(xué)院

一、w eb 網(wǎng)絡(luò)數(shù)據(jù)分類系統(tǒng)總體設(shè)計(jì)

根據(jù)網(wǎng)絡(luò)大數(shù)據(jù)分類系統(tǒng)所需要的要求，分類系統(tǒng)應(yīng)采用軟硬件相結(jié)合的方式以實(shí)現(xiàn)對(duì)數(shù)據(jù)的分類管理，所得出的系統(tǒng)安全性能更高、運(yùn)行穩(wěn)定性更好，且更加方便相關(guān)人員進(jìn)行管理與數(shù)據(jù)監(jiān)測(cè)。

就目前來(lái)說(shuō)，單獨(dú)使用軟件、硬件均不能保障系統(tǒng)高效、穩(wěn)定運(yùn)行，且成本相對(duì)較高，對(duì)人力物力等資源消耗也相應(yīng)增加。而將軟、硬件相結(jié)合，通過(guò)硬件部分?jǐn)?shù)據(jù)采集器和軟件部分?jǐn)?shù)據(jù)采集源代碼等相關(guān)對(duì)Web 網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行采集，將采集到的Web 網(wǎng)絡(luò)數(shù)據(jù)通過(guò)網(wǎng)絡(luò)接口傳輸至Web 網(wǎng)絡(luò)處理器中進(jìn)行處理并儲(chǔ)存，然后，將處理好的數(shù)據(jù)傳輸至軟件部分的數(shù)據(jù)分類與改進(jìn)程序中，以實(shí)現(xiàn)對(duì)大數(shù)據(jù)的分類處理，最終將處理的結(jié)果傳輸至存儲(chǔ)模塊進(jìn)行保存。后期數(shù)據(jù)將儲(chǔ)存在數(shù)據(jù)庫(kù)中，通過(guò)一系列的處理不斷更新，方便了工作人員的管理與使用。

二、Web 網(wǎng)絡(luò)大數(shù)據(jù)分類系統(tǒng)硬件設(shè)計(jì)

（一）web 數(shù)據(jù)采集器

數(shù)據(jù)采集(DAQ)，是指從傳感器和其它待測(cè)設(shè)備等模擬和數(shù)字被測(cè)單元中自動(dòng)采集非電量或者電量信號(hào)，送到上位機(jī)中進(jìn)行分析，處理。數(shù)據(jù)采集系統(tǒng)是結(jié)合基于計(jì)算機(jī)或者其他專用測(cè)試平臺(tái)的測(cè)量軟硬件產(chǎn)品來(lái)實(shí)現(xiàn)靈活的、用戶自定義的測(cè)量系統(tǒng)。應(yīng)用時(shí)，數(shù)據(jù)采集系統(tǒng)置于被監(jiān)控的設(shè)備處，通過(guò)傳感器對(duì)設(shè)備的電壓或者電流信號(hào)進(jìn)行采樣、保持，并送入A/D 轉(zhuǎn)換器變成數(shù)字信號(hào)，然后將該信號(hào)送到FIFO 中。當(dāng)FIFO 中存放的數(shù)據(jù)到了一定數(shù)目時(shí)，由ARM7 從FIFO 中讀出，然后通過(guò)ARM7 的以太網(wǎng)接口或者RS232 送給上位機(jī)。考慮到要監(jiān)控的設(shè)備可能會(huì)很多，所以設(shè)計(jì)了多路采集通道，經(jīng)過(guò)模擬開(kāi)關(guān)后再進(jìn)入A/D 轉(zhuǎn)換器。CPLD 是整個(gè)系統(tǒng)的控制核心，控制采集通道的切換、A/D 轉(zhuǎn)換器的啟/停、轉(zhuǎn)換后的數(shù)據(jù)在FIFO 中的存放地址發(fā)生器、產(chǎn)生中斷請(qǐng)求以通知ARM7 讀取存放在FIFO中的數(shù)據(jù)等。

（二）web 網(wǎng)絡(luò)處理器

網(wǎng)絡(luò)處理器是一種可編程器件，在收集到從網(wǎng)絡(luò)數(shù)據(jù)采集器傳到過(guò)來(lái)的數(shù)據(jù)后，可特定地應(yīng)用于數(shù)據(jù)匯聚等過(guò)程中。網(wǎng)絡(luò)處理器器件內(nèi)部通常由若干個(gè)微碼處理器和若干硬件協(xié)處理器組成，多個(gè)微碼處理器在網(wǎng)絡(luò)處理器內(nèi)部并行處理，通過(guò)預(yù)先編制的微碼來(lái)控制處理流程。而對(duì)于一些復(fù)雜的標(biāo)準(zhǔn)操作則采用硬件協(xié)處理器來(lái)進(jìn)一步提高處理性能，從而實(shí)現(xiàn)了業(yè)務(wù)靈活性和高性能的有機(jī)結(jié)合。 web 網(wǎng)絡(luò)處理器這里建議采用IXP2400，IXP 可通過(guò)增加硬件資源來(lái)達(dá)到高性能，而通過(guò)將這些硬件分解并用多總線連接以形成多主多從的結(jié)構(gòu)以達(dá)到其靈活性。另外，軟件商，通過(guò)ixa portability framework 提供了可移植性，以及大量可以使用的底層函數(shù)。

（三）存儲(chǔ)模塊

存儲(chǔ)模塊是用于存儲(chǔ)計(jì)算機(jī)數(shù)據(jù)的處理系統(tǒng)，儲(chǔ)存數(shù)據(jù)包括原始數(shù)據(jù)、計(jì)算過(guò)程中產(chǎn)生的數(shù)據(jù)、計(jì)算所需程序以及計(jì)算結(jié)果數(shù)據(jù)等。當(dāng)網(wǎng)絡(luò)數(shù)據(jù)傳輸進(jìn)web網(wǎng)絡(luò)數(shù)據(jù)處理器并被處理器及時(shí)分析處理后，網(wǎng)絡(luò)數(shù)據(jù)通過(guò)網(wǎng)絡(luò)接口將數(shù)據(jù)傳入存儲(chǔ)模塊進(jìn)行數(shù)據(jù)存儲(chǔ)。這里推薦使用C8051F 系列單片機(jī)和AT45DB081D-SU。C8051F 系列單片機(jī)的優(yōu)勢(shì)有：基于增強(qiáng)的CIP-51內(nèi)核，其指令集與MCS-51完全兼容，具有標(biāo)準(zhǔn)8051 的組織架構(gòu)，可以使用標(biāo)準(zhǔn)的803x/805x 匯編器和編譯器進(jìn)行軟件開(kāi)發(fā)；集成了豐富的模擬資源，絕大部分的C8051F 系列單片機(jī)都集成了單個(gè)或兩個(gè)ADC，在片內(nèi)模擬開(kāi)關(guān)的作用下可實(shí)現(xiàn)對(duì)多路模擬信號(hào)的采集轉(zhuǎn)換；集成了豐富的外部設(shè)備接口；信號(hào)處理方面的性能增強(qiáng)，可對(duì)所采集信號(hào)進(jìn)行實(shí)時(shí)有效的算法處理并提高了數(shù)據(jù)傳送能力等。

三、Web 網(wǎng)絡(luò)大數(shù)據(jù)分類系統(tǒng)軟件設(shè)計(jì)

（一）軟件部分大數(shù)據(jù)采集

針對(duì)數(shù)據(jù)采集部分，為了實(shí)現(xiàn)硬件設(shè)計(jì)中對(duì)數(shù)據(jù)的有效采集，需要對(duì)數(shù)據(jù)采集器編寫(xiě)源代碼。數(shù)據(jù)采集器編寫(xiě)源代碼。在軟件設(shè)計(jì)的過(guò)程中，用JavehpptUser 對(duì)Web 網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行采集，源代碼將通過(guò)連接方式獲取，且為了保證采集數(shù)據(jù)的完成度，需要將代碼進(jìn)行轉(zhuǎn)換后再進(jìn)行數(shù)據(jù)的采集，具體數(shù)據(jù)采集器源代碼編輯如下：

// 采 集 組 件common affiliation CreeperAdsl inherit CreeperFoundation

{Common Web CreeperByAdsl（）

{Rope Web=Creeper(mission)};

//Web 網(wǎng)絡(luò)數(shù)據(jù)

{

Web=Creeper(mission);

Size++;}

Return Web;

//客戶端

Common affiliation My User

Com mon affiliation Baogang Data Creep er Bolt inherit Founda-tion Rich Bolt;

（二）web 大數(shù)據(jù)分類與改進(jìn)系統(tǒng)

設(shè)計(jì)好web 網(wǎng)絡(luò)處理器的硬件后，要求編輯相應(yīng)的軟件代碼，實(shí)現(xiàn)相關(guān)程序的功能，并根據(jù)實(shí)際情況將web 網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分類，使網(wǎng)絡(luò)處理器有邏輯判斷的依據(jù)，具體的編碼如下：

//分類對(duì)象

common affiliation DataKind

{ backroom Rope dataid；

backroom Rope dataMonicker；

backroom int dataDegree；

backroom Rope dataPraent；

backroom Rope dataKind }

if（content Does not include the "stock"）

//對(duì)含有相同屬性的數(shù)據(jù)歸為一類

for（Classification list）

if（Source site does not belong to the configuration list）

for（Must contain the keyword list）

if（There are）

continue；

else

break；

else

Join the classification directly；

for（Must not contain the keywords list）

if（There are）

break；

else

continue；

if（Meet m u st b e includ ed an d m ust n o t co nt ain conditions）

{ Comp uting contains key indicators to jud ge w hether classification belongs；}

同時(shí)，對(duì)分類好的數(shù)據(jù)進(jìn)行改進(jìn)，以實(shí)現(xiàn)對(duì)web 網(wǎng)絡(luò)大數(shù)據(jù)跟好的分類，相關(guān)代碼如下：

PrintTree（T）；

// 顯示整個(gè)決策樹(shù)

Show（T，Sh）；

Show Branch（Sh，T，v）；

short MaxLine（St）；

ndent（Sh，Mark）；

SaveTree（T，Extension）；

// 保存整個(gè)決策樹(shù)

OutTree（T）；

Tree GetTree（Extension）；

// 檢索整個(gè)決策樹(shù)

Tree InTree（）；

//依據(jù)數(shù)據(jù)屬性通過(guò)決策樹(shù)進(jìn)行分類

Stream Out（s，n）；

ReleaseTree（Node）；

Tree Leaf（ClassFreq，NodeClass，Errors）；

Sprout（Node，Branches）；

// 在一個(gè)節(jié)點(diǎn)中插入分支

TreeSize（Node）；

Tree CopyTree（T）

SaveDiscreteNames（）

//保存分類結(jié)果