大數據管理概念、技術與挑戰

趙一方 河南省輝縣市第三高級中學

大數據管理概念、技術與挑戰

趙一方 河南省輝縣市第三高級中學

繼與計算、物聯網和移動互聯后，大數據管理技術已然成為互聯網、信息行業研究的熱點。鑒此，本文即主要通過文獻調研法對大數據管理的概念技術與挑戰做了以下探究。

大數據管理 概念 技術 挑戰

引言

隨著計算機技術、互聯網技術、信息技術的飛速發展，由于WEB2.0應用的全面爆發，網絡信息的來源逐漸多元化，即形成了互聯網管理者與參與者共同扮演起了制造信息的角色，由此一來非結構化的網絡信息數據也就自然而然的呈現出了幾何增長的態勢。為了有效收集、存儲、管理、應用龐大的互聯網信息數據，大數據管理技術也就應運而生。

一、據管理的概念

大數據概念是基于海量數據發展而來，但兩者之間也存在一定的差異，海量數據是單純指數據的總量大，而大數據的特性既包含了數據規模大，同時也涵蓋了數據的傳播速率快、整合度高等特點。現目前，對于大數據管理技術的定義眾說紛紜，廣泛被接受的定義是：指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合。總的來說，大數據具有以下特點：根據實際而言，大數據的特點主要有以下幾點：其一是大數據的數據容量較大，數據的體量一般在10～20TB的量級以上；其二，是數據的傳輸、收集、整理的速度快；其三是大數據的具有整合分析并形成數據關聯行的特點；其四則是大數據的價值密度普遍較低，且具有十分豐富的結構。簡言之，大數據管理既能夠快速高效的收集整合信息，同時還能夠有效的進行數據分析整合，從而有效挖掘數據的潛在價值，并據此進行預見性的分析。

二、據管理技術

根據大數據的定義及概念我們不難發現，大數據管理技術是一種較為復雜的數據信息管理技術，然而具體根據其生命周期的迥異，我們大致可以將其技術分為以下幾類：

1.存儲技術。大數據管理技術是一項針對數據存儲、管理與分析的技術，其中數據存儲則無疑是該項技術實施的關鍵性保障。現目前，大數據主導下的數據存儲技術已經由Direct Attached Storage（直接外掛存儲）、Network Attached Storage（網絡附加存儲）向Storage Virtualization（虛擬化存儲）方向轉變發展。而所謂的虛擬化存儲，實際上就是通過將存儲硬件進行抽象化處理，從而將服務器的存儲空間，分成若干個虛擬的服務空間，這樣一來就極大的提升了服務器的存儲量。此外，在存儲虛擬化的基礎上，網絡虛擬化無疑再一次提升了服務器的存儲能力，同時還有效提升了數據傳輸效率，可以預見該技術將成為近年各個大數據管理公司的研究主流方向。

2.挖掘技術。由于大數據具有價值密度較低（Value）的特點，為了更好的利用起大量的數據，就需要對數據的價值進行更加深度的挖掘。隨著網絡數據的體量的逐漸增大，對于數據價值的挖掘難度也將日益增大。因此大數據挖掘技術也將進一步發展。現目前，常規的大數據挖掘技術主要是與計算技術與分布式挖掘技術兩類。以Google公司為代表的大數據管理研發公司，開發出了MapReduce分布式挖掘工具，而騰訊、百度、阿里巴巴等中國互聯網企則主要是利用云計算技術進行大數據挖掘。總體上將，上述兩種挖掘技術都普遍具有高容錯率、高擴展性、高效率等特點，因此十分有利于對大規模數據價值的深入挖掘。

3.分析技術。分析技術是大數據管理技術的關鍵性技術，從實際上講大數據分析技術主要有分布式數據處理和非結構化數據處理兩種類型。而從數據分析的方法來看，最為常用的方法則是數理統計法。總而言之，大數據分析處理技術的主要職能是將數據之間的關系可視化的呈現在用戶的面前。

三、據管理技術所面臨的挑戰

現目前，我國互聯網技術雖然已經與國際接軌，但大數據管理還處于起步發展階段。總體上來講，我國大數據管理技術的發展是機遇與挑戰并存的，其挑戰具有以下幾點：

1.管理沖擊著傳統的管理體制。傳統的數據管理通常是以各個部門匯總的信息，進行綜合式的評估、分析。然而在大數據應用背景下，上述數據收集方式就必須改變，即建立起獨立數據收集、分析、管理的大數據管理部門。然而要想實現上述目標，就還需進行全面的人力資源調整。當然隨著人力資源結構的調整，也不一定立即取得良好的效果，新建的人力資源結構或許還有可能并不適應大數據管理要求。

2.管理面臨著信息保密的挑戰。大數據管理所面臨的信息保密問題具有雙面性，其一方面是指大數據管理模式下對龐大數據的保密管理，其中包括信息數據的收集存儲與保密；另一方面則涉及到侵犯他人個人信息的問題，即大數據管理技術使用過程中，在挖掘大數據深入價值的環節中，如何保證既不侵犯泄漏他人的隱私信息，同時也能夠獲取有價值的信息，這需要通過增加有關大數據管理的法律法規，并完善大數據管理技術。

3.技術沖擊著傳統的管理思維。大數據技術的創新性、新穎性思維不斷沖擊著傳統數據管理的思維模式。在大數據管理技術廣泛運用的時代背景下，如何及時有效的調整數據管理理念，并切實根據大數據管理的特性，樹立大數據管理意識則顯得至關重要。大數據管理時代背景下，單向的信息收集、分析、管理思維已然不能契合時代發展的腳步了，而科學合理的大數據思想應該是雙向交流、信息反饋、信息交互的科學思維模式。

四、結束語

總而言之，大數據的技術與應用還是處于起步階段，其應用的前景不可估量，但在發展過程中也需要面臨各種各樣的挑戰。各個行業應當把握時代脈搏，充分認識到大數據所能帶來的革命性改變，只有這樣才能夠保持創新與進步，從而站在行業的最前沿。

[1]盧勝軍，王忠軍，栗琳.賽博空間與大數據雙重視角下的錢學森情報思想[J].情報理論與實踐，2013，36（004）：1-5.

[2]王振東.強化計算機數據庫管理技術的有益分析[J].軟件開發利用，2014（35）.

[3]涂新莉，劉波，林偉偉.大數據研究綜述[J].計算機應用研究，2013（01）.