大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)

劉韻　張遙中國電子科技集團(tuán)第28研究所

?

大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)

劉韻張遙
中國電子科技集團(tuán)第28研究所

摘要：大數(shù)據(jù)是一種未來社會高度智能化、統(tǒng)一化的信息利用方式。大數(shù)據(jù)需要以通過各種渠道收集的大量資料、信息和數(shù)據(jù)，具有信息量大、處理速度快、數(shù)據(jù)多樣化、價值性高等特征。大數(shù)據(jù)的到來，讓社會發(fā)生了巨大的變革。為了面臨大數(shù)據(jù)時代的到來，如何對數(shù)據(jù)進(jìn)行管理和利用，成了全社會廣為關(guān)注的問題。本文將針對大數(shù)據(jù)的概念進(jìn)行簡單闡述，并且對一些關(guān)鍵技術(shù)進(jìn)行分析，列舉一些大數(shù)據(jù)管理上面臨的挑戰(zhàn)。

關(guān)鍵字：大數(shù)據(jù) 數(shù)據(jù)管理 云計算

云計算、物聯(lián)網(wǎng)、等技術(shù)的興起，標(biāo)志著我們已經(jīng)逐步進(jìn)入大數(shù)據(jù)時代。大數(shù)據(jù)時代的到來，已經(jīng)引起了全世界各國和信息行業(yè)的廣泛重視；聯(lián)合國在2015年5月發(fā)布了關(guān)于大數(shù)據(jù)的專題報告，詳細(xì)闡述了大數(shù)據(jù)時代給世界各國帶來的基于和挑戰(zhàn)；全球各大媒體也對大數(shù)據(jù)展開宣傳和報道。這些都說明了大數(shù)據(jù)已經(jīng)深入影響到人們的日常生活。但是在這種火熱景象的背后，普通人民對大數(shù)據(jù)并沒有足夠的認(rèn)識，大數(shù)據(jù)的發(fā)展還面臨著一些挑戰(zhàn)，技術(shù)需要進(jìn)一步的完善。

1　大數(shù)據(jù)的概念

大數(shù)據(jù)的概念，最初代表著數(shù)據(jù)規(guī)模的龐大，但是隨著大數(shù)據(jù)管理技術(shù)的發(fā)展，這一簡單的闡述已經(jīng)不能完全概括大數(shù)據(jù)的內(nèi)涵。僅僅是數(shù)據(jù)規(guī)模上的龐大，似乎與以往的數(shù)據(jù)管理方式?jīng)]有什么本質(zhì)上的改變。大數(shù)據(jù)的具體概念，要包括其數(shù)據(jù)處理的所有特點。現(xiàn)在廣為公認(rèn)的大數(shù)據(jù)定義是：在數(shù)量巨大、類型復(fù)雜、價值含量高的數(shù)據(jù)信息基礎(chǔ)上，實現(xiàn)對數(shù)據(jù)高速處理的數(shù)據(jù)管理模式。

2　大數(shù)據(jù)的關(guān)鍵技術(shù)

大數(shù)據(jù)要體現(xiàn)其包含的信息價值，離不開多種數(shù)據(jù)應(yīng)用技術(shù)的支持。云計算技術(shù)，就是其中最為重要、最為廣泛使用的一種。云計算是一種用戶購買網(wǎng)絡(luò)資源和網(wǎng)絡(luò)服務(wù)，省掉其中的硬件設(shè)備和服務(wù)器設(shè)施的服務(wù)形式。這一技術(shù)的出現(xiàn)給各種大數(shù)據(jù)的應(yīng)用提供了實現(xiàn)途徑，具有強(qiáng)大的數(shù)據(jù)存儲、管理與分析功能。Google公司就是云計算技術(shù)應(yīng)用的成功典范之一［1］。

物聯(lián)網(wǎng)是另一種大數(shù)據(jù)時代的關(guān)鍵技術(shù)，是遙感技術(shù)、遠(yuǎn)程控制技術(shù)和智能化技術(shù)集合在一起的產(chǎn)物。所謂物聯(lián)網(wǎng)，就是通過各種物品連接到互聯(lián)網(wǎng)，或者在物品和物品之間實現(xiàn)信息交換。物聯(lián)網(wǎng)技術(shù)能夠通過多種設(shè)備進(jìn)行遠(yuǎn)程的數(shù)據(jù)處理和信息傳遞，實現(xiàn)了人們對設(shè)備的遠(yuǎn)程控制，大大方便了人們的日常生活。

3　大數(shù)據(jù)面臨的挑戰(zhàn)

3.1數(shù)據(jù)集成管理

數(shù)據(jù)信息量的增加和數(shù)據(jù)類型結(jié)構(gòu)的復(fù)雜，給大數(shù)據(jù)的數(shù)據(jù)集成管理帶來了很大困難。一方面，大量的數(shù)據(jù)各有各的來源，具有結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的不同特征［2］，存儲方式也各有不同，需要進(jìn)行復(fù)雜的轉(zhuǎn)換才能集成管理；另一方面，數(shù)據(jù)的質(zhì)量參差不齊，在集成管理的過程中需要進(jìn)行信息的篩選，淘汰掉無用的信息，集成管理的數(shù)據(jù)篩選標(biāo)準(zhǔn)難以確定。

3.2數(shù)據(jù)的分析

以往的數(shù)據(jù)分析體系，能夠?qū)崿F(xiàn)對結(jié)構(gòu)化數(shù)據(jù)的有效分析。但是大數(shù)據(jù)中包括大量半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，這就讓以往的數(shù)據(jù)分析體系不再適合新時代的數(shù)據(jù)管理。首先，現(xiàn)有的數(shù)據(jù)分析體系不能夠及時處理半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，需要花費大量額外的時間，數(shù)據(jù)分析缺乏時效性；其次，大數(shù)據(jù)環(huán)境當(dāng)中的數(shù)據(jù)處于一種動態(tài)的變化環(huán)境，索引方案不能夠根據(jù)具體的場景來進(jìn)行調(diào)整；最后，傳統(tǒng)的數(shù)據(jù)分析結(jié)構(gòu)對于數(shù)據(jù)的類型、屬性、取值范圍已經(jīng)有了一定了解，而對半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，就難以理清數(shù)據(jù)內(nèi)部的關(guān)系，缺少高效處理的先決條件。

3.3隱私問題

由于大數(shù)據(jù)時代的信息傳播越來越容易，數(shù)據(jù)的隱私問題也隨之越來越嚴(yán)重。

由于人們在互聯(lián)網(wǎng)的不同節(jié)點留下自己的信息，單個節(jié)點的信息不容易暴露用戶的隱私。但是如果能夠把多個節(jié)點的用戶信息綜合起來，就會暴露用戶的大量隱私。另外，大數(shù)據(jù)時代需要進(jìn)行大量數(shù)據(jù)的公開，來促進(jìn)社會和經(jīng)濟(jì)的發(fā)展。信息公開的標(biāo)準(zhǔn)如果不合理，也容易造成個人隱私的暴露，造成信息公開與個人隱私的矛盾［3］。這些都是大數(shù)據(jù)時代的個人信息保護(hù)所需要注意的。

4　結(jié)論

信息時代的數(shù)據(jù)，無論在數(shù)量上還是種類上都出現(xiàn)了幾何式增長。大數(shù)據(jù)時代的到來，既是社會發(fā)展的機(jī)遇，也是給社會帶來的挑戰(zhàn)。對此，要加強(qiáng)云計算、物聯(lián)網(wǎng)等技術(shù)的技術(shù)的應(yīng)用和推廣，解決數(shù)據(jù)集成管理、數(shù)據(jù)分析和隱私方面的難題，將大數(shù)據(jù)的管理水平提升到一個新的高度。

參考文獻(xiàn)

［1］于浩.大數(shù)據(jù)時代政府?dāng)?shù)據(jù)管理的機(jī)遇、挑戰(zhàn)與對策［J］.中國行政管理，2015，03：127-130.

［2］趙蘇陽，李艷軍，錢小燕，曹愈遠(yuǎn)，許振騰，喬磊，汪雷.大數(shù)據(jù)基本概念、技術(shù)與挑戰(zhàn)［J］.現(xiàn)代計算機(jī)（專業(yè)版），2015，08：51-54+60.

［3］米允龍，米春橋，劉文奇.海量數(shù)據(jù)挖掘過程相關(guān)技術(shù)研究進(jìn)展［J］.計算機(jī)科學(xué)與探索，2015，06：641-659.