大數(shù)據(jù)關(guān)鍵技術(shù)初探

鐘君 張梅燕

摘 要：本文采用文獻(xiàn)研究法，通過(guò)對(duì)大數(shù)據(jù)相關(guān)文獻(xiàn)的閱讀與整理，對(duì)大數(shù)據(jù)的關(guān)鍵技術(shù)進(jìn)行了深入的探究，從智慧之道、高效之道、實(shí)時(shí)之道以及投向更廣闊的技術(shù)領(lǐng)域四個(gè)方面對(duì)相關(guān)技術(shù)進(jìn)行詳細(xì)介紹。

關(guān)鍵詞：大數(shù)據(jù)；數(shù)據(jù)挖掘；計(jì)算；關(guān)鍵技術(shù)

隨著不斷涌現(xiàn)的各種社交網(wǎng)、微博這類(lèi)新型的信息發(fā)布方式及物聯(lián)網(wǎng)、云計(jì)算等技術(shù)的興起，數(shù)據(jù)正在以空前的速度增長(zhǎng)，大這意味著大數(shù)據(jù)時(shí)代的到來(lái)。2012年1月在瑞士舉行的達(dá)沃斯世界經(jīng)濟(jì)論壇上，一份名為《大數(shù)據(jù)，大影響》（Big Data，Big Impact）的報(bào)告引起熱議。這份報(bào)告認(rèn)為，大數(shù)據(jù)就像貨幣和黃金一樣，是一種新型的經(jīng)濟(jì)資產(chǎn)。多家投資機(jī)構(gòu)甚至據(jù)此判斷，“大數(shù)據(jù)”將會(huì)成為一條全新的投資主線(xiàn)。

筆者通過(guò)對(duì)大數(shù)據(jù)相關(guān)文獻(xiàn)的閱讀與整理，對(duì)其關(guān)鍵技術(shù)進(jìn)行深入的探究，從智慧之道、高效之道、實(shí)時(shí)之道以及投向更廣闊的技術(shù)領(lǐng)域四個(gè)方面對(duì)相關(guān)技術(shù)進(jìn)行詳細(xì)介紹。

1 智慧之道——數(shù)據(jù)挖掘

一般來(lái)說(shuō)，數(shù)據(jù)挖掘的方法可分為統(tǒng)計(jì)型和人工智能中的機(jī)器學(xué)習(xí)型兩大類(lèi)，在其應(yīng)用中，將有價(jià)值的信息進(jìn)行發(fā)掘都是其最終目標(biāo)。由于各種方法都有自身的功能特點(diǎn)以及應(yīng)用領(lǐng)域（如表1），數(shù)據(jù)挖掘通常是將多種技術(shù)結(jié)合使用，形成優(yōu)勢(shì)互補(bǔ)。[ 1 ]

2 高效之道——分布式計(jì)算

典型的分布式計(jì)算技術(shù)如下：1）中間件技術(shù)：分布式應(yīng)用軟件若需要在的技術(shù)之間共享資源則需要借助于此。[ 2 ]2）移動(dòng)Agent技術(shù)：一般認(rèn)為此技術(shù)是一類(lèi)自治程序，為分布式應(yīng)用提供高效方便的執(zhí)行框架，并能在自治之下實(shí)現(xiàn)不同計(jì)算機(jī)之間的移動(dòng)。3）網(wǎng)絡(luò)技術(shù)：此技術(shù)實(shí)現(xiàn)在動(dòng)態(tài)變化的多個(gè)虛擬機(jī)構(gòu)間共享資源和協(xié)同解決問(wèn)題。[ 3 ]4）P2P技術(shù)：能夠充分利用分布在終端電腦上的邊緣性網(wǎng)絡(luò)資源降低對(duì)中央服務(wù)器資源的消耗需求。[ 4 ]5）Web Service技術(shù)：即Web服務(wù)， 是在Internet上進(jìn)行分布式計(jì)算的基本構(gòu)造塊。 [ 5 ]

3 實(shí)時(shí)之道——內(nèi)存計(jì)算

“內(nèi)存計(jì)算”的出現(xiàn)，是為了應(yīng)對(duì)實(shí)時(shí)分析計(jì)算的要求，加快處理速度，讓數(shù)據(jù)分析的時(shí)效性和靈活性同時(shí)提升；“內(nèi)存計(jì)算”的出現(xiàn)與計(jì)算機(jī)處理能力的提升、成本的下降直接相關(guān)，由于是“內(nèi)存計(jì)算”數(shù)據(jù)庫(kù)，同磁盤(pán)讀取相比運(yùn)行速度顯著提升。

4 投向更廣闊的技術(shù)領(lǐng)域——云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)計(jì)算

4.1 云計(jì)算

典型的云計(jì)算技術(shù)如下：1）虛擬化技術(shù)：該技術(shù)打開(kāi)了云計(jì)算的大門(mén)。2）海量分布式存儲(chǔ)技術(shù)：云計(jì)算為了彌補(bǔ)了硬件的不可靠而以分布式存儲(chǔ)方式進(jìn)行數(shù)據(jù)的存儲(chǔ)，海量分布式存儲(chǔ)和計(jì)算系統(tǒng)由此發(fā)揮作用。3）并行編程模式：云計(jì)算自動(dòng)將任務(wù)分成多個(gè)子任務(wù)，采用MapReduced編程模式，將通過(guò)Reduce和Map兩個(gè)步驟進(jìn)行。4）數(shù)據(jù)管理技術(shù)：云計(jì)算的數(shù)據(jù)有著非確定性、異構(gòu)、海量的特點(diǎn)，故需有效的數(shù)據(jù)管理技術(shù)來(lái)進(jìn)行處理分析，從而構(gòu)建出擴(kuò)展性強(qiáng)、高度可用的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)。[ 6 ]5）分布式資源管理技術(shù)：是保證系統(tǒng)狀態(tài)正確性的關(guān)鍵技術(shù)。6）云計(jì)算平臺(tái)管理技術(shù)：能協(xié)同大量的服務(wù)器，是云計(jì)算的“神經(jīng)網(wǎng)絡(luò)”。

4.2 物聯(lián)網(wǎng)

物聯(lián)網(wǎng)的概念最初來(lái)源于美國(guó)麻省理工學(xué)院（MIT）在1999年建立的自動(dòng)識(shí)別中心 （Auto- IDLabs）提出的網(wǎng)絡(luò)無(wú)線(xiàn)射頻識(shí)別（RFID）系統(tǒng)——把所有物品通過(guò)射頻識(shí)別等信息傳感設(shè)備與互聯(lián)網(wǎng)連接起來(lái)，實(shí)現(xiàn)智能化識(shí)別和管理。[ 7 ]其關(guān)鍵技術(shù)如下：

1）RFID：又稱(chēng)電子標(biāo)簽，其系統(tǒng)包含兩部分：一是讀寫(xiě)器，二是電子標(biāo)簽。2）近場(chǎng)通信技術(shù)：又稱(chēng)近距離無(wú)線(xiàn)通信，一種短距離的高頻無(wú)線(xiàn)通信技術(shù)。[ 8 ] 3）傳感器網(wǎng)絡(luò)技術(shù)：主要解決物聯(lián)網(wǎng)中的信息感知問(wèn)題，是其技術(shù)核心。4）無(wú)線(xiàn)通信技術(shù)：此技術(shù)將使物聯(lián)網(wǎng)的構(gòu)想變?yōu)楝F(xiàn)實(shí)。[ 9 ]

4.3 移動(dòng)計(jì)算

主要的移動(dòng)計(jì)算關(guān)鍵技術(shù)如下：

1）移動(dòng)計(jì)算通信協(xié)議：具有特殊運(yùn)行環(huán)境的移動(dòng)計(jì)算需要有異于傳統(tǒng)計(jì)算模式的通信協(xié)議來(lái)支持。2）情景感知：主要解決移動(dòng)計(jì)算如何為移動(dòng)的用戶(hù)提供基于其所處情景的服務(wù)。3）移動(dòng)計(jì)算環(huán)境：其搭建是移動(dòng)計(jì)算為用戶(hù)提供服務(wù)的基礎(chǔ)。4）無(wú)縫遷移技術(shù)：要求用戶(hù)任務(wù)在移動(dòng)過(guò)程中，與該任務(wù)各種相關(guān)信息也隨之移動(dòng)。

5 總結(jié)

目前，有些大數(shù)據(jù)的研究，是以商業(yè)利益為驅(qū)動(dòng)，一些大的依靠數(shù)據(jù)牟利的大公司也許在今后會(huì)是大數(shù)據(jù)應(yīng)用的主體，然而不管怎樣，大數(shù)據(jù)一定會(huì)成為各界的重點(diǎn)研究領(lǐng)域。總的來(lái)說(shuō)，目前對(duì)于大數(shù)據(jù)的研究仍處于一個(gè)初期的階段，還有很多問(wèn)題需要解決，希望本文的介紹能夠給大數(shù)據(jù)關(guān)鍵技術(shù)研究提供一定的參考。

參考文獻(xiàn)：

[1] 黃解軍，潘和平，萬(wàn)幼川.數(shù)據(jù)挖掘技術(shù)的應(yīng)用研究[J].計(jì)算機(jī)工程與應(yīng)用，2003（2）：45-47.

[2] 周園春，李淼，張建等.中間件技術(shù)綜述[J].計(jì)算機(jī)工程與應(yīng)用，2002（15）：80-82.

[3] 周曉峰，王志堅(jiān).分布式計(jì)算技術(shù)綜述[J].計(jì)算機(jī)時(shí)代，2004（12）：3-5.

[4] 周文莉，吳曉非.P2P技術(shù)綜述[J].計(jì)算機(jī)工程與設(shè)計(jì)， 2006 （1）：76-79.

[5] 王楠，劉心雄，陳和平.Web Service技術(shù)研究[J].計(jì)算機(jī)與數(shù)字工程，2006（7）：88-90.

[6] 劉正偉，文中領(lǐng)，張海濤.云計(jì)算和云數(shù)據(jù)管理技術(shù)[J].計(jì)算機(jī)研究與發(fā)展，2012（S1）：26-31.

[7] 孫其博，劉杰，黎羴等.物聯(lián)網(wǎng)：概念，架構(gòu)與關(guān)鍵技術(shù)研究綜述[J].北京郵電大學(xué)學(xué)報(bào)，2010（3）：1-9.

[8] 李建功，王健全，王晶等.物聯(lián)網(wǎng)關(guān)鍵技術(shù)與應(yīng)用[M].機(jī)械工程出版社，2013：62.

[9] 胡向東.物聯(lián)網(wǎng)研究與發(fā)展綜述[J].數(shù)字通信，2010（4）：17-21.