網(wǎng)絡(luò)大數(shù)據(jù)的采集與處理方式研究

司雨昌

?

網(wǎng)絡(luò)大數(shù)據(jù)的采集與處理方式研究

司雨昌

沈陽師范大學(xué)計(jì)算機(jī)與數(shù)學(xué)基礎(chǔ)教學(xué)部，遼寧 沈陽 110034

隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)大數(shù)據(jù)包含著大量的數(shù)據(jù)，并且數(shù)據(jù)來源眾多，這對于數(shù)據(jù)的采集與處理提出了很高的需求，尤其是在大數(shù)據(jù)處理的可用性與高效性方面得需求較高。對此，在對網(wǎng)絡(luò)大數(shù)據(jù)得運(yùn)用狀況進(jìn)行介紹后，主要是對網(wǎng)絡(luò)大數(shù)據(jù)得采集與處理方式進(jìn)行了研究，并對該領(lǐng)域進(jìn)行了展望。

網(wǎng)絡(luò)大數(shù)據(jù)；采集；處理方式

引言

在計(jì)算機(jī)與互聯(lián)網(wǎng)技術(shù)蓬勃發(fā)展的背景下，網(wǎng)絡(luò)大數(shù)據(jù)逐漸進(jìn)入到人們的生活、工作以及學(xué)習(xí)領(lǐng)域當(dāng)中，并且對于我們的日常生活有著較大的影響。但是，網(wǎng)絡(luò)大數(shù)據(jù)當(dāng)前所面臨得問題也是較多的，尤其是在數(shù)據(jù)的采集與處理方面需要加大研究力度，提升網(wǎng)絡(luò)大數(shù)據(jù)的作用與價(jià)值，這也是本文研究的根本目標(biāo)。

1 網(wǎng)絡(luò)大數(shù)據(jù)的運(yùn)用現(xiàn)狀

現(xiàn)階段，隨著網(wǎng)絡(luò)大數(shù)據(jù)領(lǐng)域的日益成熟，已經(jīng)逐漸被運(yùn)用到多個(gè)方面，其中最具有代表性的有互聯(lián)網(wǎng)信息領(lǐng)域與健康衛(wèi)生服務(wù)業(yè)。其一，網(wǎng)絡(luò)大數(shù)據(jù)在互聯(lián)網(wǎng)信息領(lǐng)域中已經(jīng)得到了充分的領(lǐng)域，這對于微信、百度以及淘寶的發(fā)展都具有積極意義，在提升用戶體驗(yàn)的同時(shí)，對于人們的生活提供了較大的便利；其二，健康衛(wèi)生服務(wù)業(yè)中網(wǎng)絡(luò)大數(shù)據(jù)已經(jīng)得到廣泛的運(yùn)用，尤其是基因治療、基因測序方面具有不可小視的作用。與此同時(shí)，在病例分析、醫(yī)學(xué)教學(xué)以及手術(shù)方面也可運(yùn)用到網(wǎng)絡(luò)大數(shù)據(jù)，對于人類的健康、醫(yī)療領(lǐng)域的進(jìn)步做出了較大的貢獻(xiàn)；其三，網(wǎng)絡(luò)大數(shù)據(jù)也被運(yùn)用到安全領(lǐng)域，例如信息定位、詐騙預(yù)警以及汽車導(dǎo)航等方面都具有積極意義。

2 網(wǎng)絡(luò)大數(shù)據(jù)得采集與處理

在研究與分析的過程中，本文主要對數(shù)據(jù)的采集與處理兩個(gè)方面進(jìn)行研究，其根本原因是在網(wǎng)絡(luò)大數(shù)據(jù)領(lǐng)域中處于核心地位：

2.1 網(wǎng)絡(luò)大數(shù)據(jù)采集方法

一般來講，現(xiàn)階段網(wǎng)絡(luò)大數(shù)據(jù)常用的采集方法有系統(tǒng)日志采集方法、網(wǎng)絡(luò)數(shù)據(jù)采集方法以及其他數(shù)據(jù)采集方法等。

在系統(tǒng)日志采集方法中，絕大多數(shù)互聯(lián)網(wǎng)企業(yè)都擁有海量數(shù)據(jù)采集工具，這對于采集系統(tǒng)日志具有積極作用，當(dāng)前較為常用的數(shù)據(jù)采集工具有Scribe、Flume等，這些系統(tǒng)日志采集工具的共同點(diǎn)是擁有分布式架構(gòu)，同時(shí)其日志數(shù)據(jù)的采集速度能夠達(dá)到MB/S。

在網(wǎng)絡(luò)數(shù)據(jù)采集的過程中，一般是指借助于網(wǎng)絡(luò)公開API或網(wǎng)絡(luò)爬蟲得方式，對網(wǎng)站中得數(shù)據(jù)進(jìn)行獲取。意味著網(wǎng)絡(luò)數(shù)據(jù)采集是在網(wǎng)頁中將非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行提取，并將得到的數(shù)據(jù)采用結(jié)構(gòu)化的方式進(jìn)行存儲。針對于采集數(shù)據(jù)的類型，主要包含音頻、視頻、圖片等等。與此同時(shí)，還可通過DFI、DPI等技術(shù)來采集網(wǎng)絡(luò)流量。

此外，還包含部分其他數(shù)據(jù)采集方法。例如保密性要求較高的科研數(shù)據(jù)、企業(yè)的生產(chǎn)經(jīng)營數(shù)據(jù)等，則需要采用與研究機(jī)構(gòu)或企業(yè)合作的方式，運(yùn)用特定系統(tǒng)接口的方式來對數(shù)據(jù)進(jìn)行采集。

2.2 網(wǎng)絡(luò)大數(shù)據(jù)的處理技術(shù)

通過對網(wǎng)絡(luò)大數(shù)據(jù)處理技術(shù)研究與剖析后，得知核心技術(shù)為兩點(diǎn)：其一，是查詢請求與歷史查詢匹配方法；其二，為預(yù)結(jié)果集更新、轉(zhuǎn)入結(jié)果集方法。

2.2.1 查詢請求與歷史查詢匹配方法

在網(wǎng)絡(luò)大數(shù)據(jù)處理的過程中，數(shù)據(jù)預(yù)處理處于核心地位，其中包含數(shù)據(jù)源與時(shí)間等，可將其理解為基于時(shí)間單位的粒度式數(shù)據(jù)處理結(jié)果，這對于企業(yè)在統(tǒng)計(jì)與分析數(shù)據(jù)過程中反應(yīng)速度的提升具有積極意義。而在查詢請求與歷史查詢匹配方法當(dāng)中，是基于數(shù)據(jù)源與時(shí)間而匹配的，關(guān)于匹配算法具體如下：

輸入：查詢請求Requst={Ts，Ds}，歷史查詢集；

輸出：預(yù)處理結(jié)果集合Result；

算法思想：在執(zhí)行算法的過程中，主要包含六步：

第一步：尋找到與查詢請求數(shù)據(jù)源相同的數(shù)據(jù)庫集合T；

第二步：對集合T中歷史查詢記錄相同或者處理時(shí)間相同記錄進(jìn)行查找，并將查找出的記錄設(shè)定為D={D=Ds or Ds ∈ D}；

第三步：假如D不在Ds得范圍內(nèi)，那么則跳轉(zhuǎn)結(jié)果集R來對算法匹配；

第四步：當(dāng)D=Ds時(shí)，能夠得到預(yù)處理結(jié)果，具體為Result={r1，u1|r1∈R，u1∈U}，并結(jié)束；

第五步：當(dāng)Ds∈D時(shí)則重復(fù)第四步；

第六步：當(dāng)D=Ds-D時(shí)，則重復(fù)第三步。

2.2.2 預(yù)結(jié)果集更新、轉(zhuǎn)入結(jié)果集方法

在網(wǎng)絡(luò)大數(shù)據(jù)處理過程中，在數(shù)據(jù)的預(yù)處理階段共包含兩個(gè)核心方面：其一，是客觀存在的并且不再變更的數(shù)據(jù)與處理，其中具有代表性的是幾年前的銷售數(shù)據(jù)，在保存后不會(huì)出現(xiàn)變動(dòng)情況，因此將其保存在結(jié)果集中即可；其二，是可能存在變更的數(shù)據(jù)，例如近期的銷售數(shù)據(jù)，這些數(shù)據(jù)可能存在著變更，因此可將此類數(shù)據(jù)以最小時(shí)間單位的方式放在預(yù)結(jié)果集當(dāng)中。與此同時(shí)，在一定情況下可將其轉(zhuǎn)變?yōu)椴豢勺兏臄?shù)據(jù)，然后再對數(shù)據(jù)進(jìn)行處理。舉例來說，在預(yù)統(tǒng)計(jì)淘寶當(dāng)月的銷售數(shù)據(jù)得過程中，由于在銷售的過程中可能存在貨源不足、買家退貨等情況，因此當(dāng)月的銷售數(shù)據(jù)會(huì)出現(xiàn)變動(dòng)，因此在對銷售數(shù)據(jù)預(yù)處理的過程中，會(huì)將其保存到預(yù)結(jié)構(gòu)集中。而經(jīng)過一個(gè)季度后該月銷售數(shù)據(jù)則不會(huì)出現(xiàn)變動(dòng)，意味著處理結(jié)果不會(huì)出現(xiàn)變動(dòng)，因此可將其保存到結(jié)果集當(dāng)中，這對于降低部分不必要的數(shù)據(jù)處理具有積極意義，同時(shí)在數(shù)據(jù)的準(zhǔn)確性方面也具有很好的體現(xiàn)，這對于提升網(wǎng)絡(luò)大數(shù)據(jù)處理效率與質(zhì)量的提升是非常重要的。

3 結(jié)語

雖然網(wǎng)絡(luò)大數(shù)據(jù)在發(fā)展的過程中存在著部分待解決的問題，但是隨著對該領(lǐng)域研究的逐漸深入，已經(jīng)能夠?qū)Σ糠謫栴}解決。針對于網(wǎng)絡(luò)大數(shù)據(jù)得采集與處理方式來說，將多樣化、低成本以及大規(guī)模作為研究目標(biāo)。在互聯(lián)網(wǎng)技術(shù)與計(jì)算機(jī)技術(shù)不斷發(fā)展的進(jìn)程中，相信開發(fā)人員會(huì)加大對該領(lǐng)域的研發(fā)力度，并且會(huì)對我們的生活、工作產(chǎn)生較大的影響。

[1]金剛，徐志躍，周強(qiáng).基于FPGA的多功能數(shù)據(jù)采集模塊設(shè)計(jì)[J].微計(jì)算機(jī)信息，2012（8）：55.

[2]茹麗娟.一種應(yīng)用于智能電網(wǎng)的多路數(shù)據(jù)采集系統(tǒng)設(shè)計(jì)[J].科技情報(bào)開發(fā)與經(jīng)濟(jì)，2012（13）：46.

[3]陳丹.我國電子信息技術(shù)存在的問題及發(fā)展趨勢探討[J].赤峰學(xué)院學(xué)報(bào)（科學(xué)教育版），2011（4）：32.

Research on data acquisition and processing of large network data

Si Yuchang

Department of computer and mathematics Shenyang Normal University，Liaoning Shenyang 110034

With the rapid development of Internet，network data contains a large amount of data，and data from numerous sources，which is a very high demand for data acquisition and processing，especially the high demand in the availability and efficiency of data processing.In this paper，after the introduction of the application of the network big data，the paper mainly studies the data acquisition and processing methods of the network，and makes a prospect of the field.

network big data；collection；processing method

G232.1

A

1009-6434（2016）12-0121-02

司雨昌（1978—），男，漢族，遼寧省沈陽市，學(xué)歷本科，研究方向?yàn)橛?jì)算機(jī)軟件。