大數據概念與發展

大數據戰略重點實驗室

摘 要：自從2012年美國政府推出《大數據研究和發展計劃》以來，全球各組織、國家都紛紛在大數據戰略推進方面積極行動，大數據相關的基礎設施、產業應用和理論體系不斷發展與完善，大數據正從單一的技術概念逐漸轉化為新要素、新戰略、新思維。然而，目前社會各界關于大數據的基本概念還沒有形成統一、系統化的描述。為深入理解認識大數據的本質，更好挖掘利用大數據的潛能和優勢，文章從大數據概念入手，從多個維度剖析了大數據的研究現狀，梳理了大數據的概念演變及其特性，并對大數據發展的現狀進行分析，以期為大數據研究提供指導。

關鍵詞：大數據研究，概念，特征

中圖分類號：N04；TP39；H059文獻標識碼：ADOI：10.3969/j.issn.1673-8578.2017.04.009

Abstract： Since the U.S. government launched the Big Data Research and Development Initiative in 2012， international organizations and countries around the world have taken active actions to implement big data strategies. As a result， big datarelated infrastructure， industrial applications and theoretical systems are developing and improving. Big data is gradually transforming from a single technical concept to new elements， new strategies and new ways of thinking. However， the various sectors of society still do not have a unified and systematic description of the basic concept of big data. In order to provide guidance for big data research， gain a comprehensive understanding of the nature of big data， and better utilize and exert the potential and advantages of big data， this paper starts from the concept of big data， analyzes the present research status of big data from multiple dimensions， highlights the concept evolution and characteristics of big data， and analyzes the development status of big data.

Keywords： big data research， concept， characteristics

一 定義及內涵

（一） 定義

大數據是以容量大、類型多、存取速度快、應用價值高為主要特征的數據集合，正快速發展為對數量巨大、來源分散、格式多樣的數據進行采集、存儲和關聯分析，從中發現新知識、創造新價值、提升新能力的新一代信息技術和服務業態[1]。

（二）研究現狀

目前，學術界、產業界、政府機構都對大數據的內涵和外延有過不同界定，其研究涉及性質特點、要素構成、技術系統、應用范圍、價值來源等諸多方面。

（1）技術分析角度。這一類定義重點關注的是對海量、復雜數據進行分析處理，從而獲得信息和知識的技術手段[2]。其中較為權威的觀點來自于麥肯錫全球研究院（Mckinsey Global Institute， MGI）所發表的《大數據：下一個創新、競爭和生產力的前沿》，該報告提出：“大數據”是指其大小超出了典型數據庫軟件的采集、儲存、管理和分析等能力的數據集。數據集成軟件商納斯達克（NASDAQ）認為，大數據包括了海量數據和復雜數據類型，其規模超過傳統數據庫進行管理和處理的能力。綜合此類觀點來看，一是大數據是一種難以處理的大規模數據集，二是需要特定的技術才能完成其采集、分析、應用等。

（2）大數據應用價值角度。這一類定義強調的是大數據的應用，關注的是從數據中獲取有價值的信息和知識，最終目的是建立商業方面的競爭優勢甚至是創新商業模式。高德納咨詢公司（Gartner Group）曾提出：大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。哈佛大學訪問學者徐晉在《大數據經濟學》中指出，大數據是指存在價值關聯的海量數據。其本質是社會經濟的離散化解構和全息化重構，表現為行業間海量數據的關系從量變到質變的轉變（深度挖掘）。

（3）大數據對社會發展影響角度。這一類定義強調大數據對人類社會生產生活方式、思維范式等產生的重大影響，認為大數據開啟了人類發展的新階段，并且認為這種范式的影響是持久而深遠的。數據科學家維克托·邁爾-舍恩伯格（Viktor MayerSchnberger）及肯尼斯·庫克耶（Kenneth Cukier）在出版的《大數據時代》中提出，大數據是人們獲得新的認知、創造新的價值的源泉；大數據還是改變市場、組織結構，以及政府與公民關系的方法[4]。哈佛大學定量社會學研究所主任蓋瑞·金（Gary King）在名為“Why‘Big DataIs a Big Deal”的演講中指出，大數據技術完全是一場數據革命（big data revolution），這場革命對政府管理、學術及商業帶來了很多顛覆式變革。他認為，大數據技術將觸及任何一個領域，同時“大數據”時代還將引爆一場“哥白尼式革命”——它改變的不僅僅是信息生產力，更是信息生產關系。

二 起 源

（一）萌芽期

20世紀90年代興起的復雜性科學，為人類提供了有機自然觀，整體全局、關聯、演化的復雜性思維方式和新的科學理論方法，也為大數據提供了理論基礎，是大數據形成的萌芽階段。1997年10月，美國國家航空航天局（NASA）阿姆斯研究中心的邁克爾·考克斯（Michael Cox）和大衛·埃爾斯沃斯（David Ellsworth）在第八屆美國電氣和電子工程師協會（Institute of Electrical and Electronics Engineers，IEEE）關于可視化的會議論文集中首次使用“大數據”概念，并界定了內涵。他們表示，日新月異的計算機技術迅猛生長，并帶動了數據處理技術的革新，促使人類重新調整自身認識問題、解決問題的方法。1999年8月，史蒂夫·布賴森（Steve Bryson）等在《美國計算機和協會通訊》上發表了以“大數據的科學可視化”為副標題的論文，首次在期刊中使用“大數據”這一術語。

這一階段的“大數據”多是一種概念構想，并逐漸開始被一些研究者作為一個術語使用，常直指“大量的數據或數據集”這樣的字面含義，還沒有涵蓋到相關的收集、存儲、分析、應用等技術方法與特征內涵。

（二）發展期

從20世紀末到21世紀初期是大數據的發展期，在這一階段中大數據逐漸為學術界的研究者所關注。如經濟學家弗朗西斯·X.迪博爾德（Francis X. Diebold）在2000年撰寫《大數據，宏觀經濟度量與預測動態因素模型》來討論大數據在經濟分析方面的運用。英國Nature（自然）、美國Science（科學）等期刊分別出版了大數據專刊，從互聯網技術、互聯網經濟學、超級計算、環境科學、生物醫藥等多個方面討論了大數據處理面臨的各種問題。在這一階段中大數據逐漸為理論界的研究者所關注，相關的定義、內涵、特性也得到了進一步的豐富。

（三）成熟期

2011年至今，是大數據發展的成熟階段。2011年5月，麥肯錫全球研究院（MGI）發布了《大數據：下一個具有創新力、競爭力與生產力的前沿領域》報告，系統闡述了大數據概念，列舉了大數據的核心技術，分析了大數據在不同行業的應用，提出了政府和企業決策者應對大數據發展的策略。2012年，瑞士達沃斯召開的世界經濟論壇上，大數據成為主題之一。同時，會上發布的報告《大數據，大影響》宣稱，數據已經成為一種新的經濟資產類別，就像貨幣或黃金一樣。2014年后，世界經濟論壇以“大數據的回報與風險”為主題發布了《全球信息技術報告》（第13版）；美國發布了《大數據：抓住機遇、保存價值》；聯合國啟動“全球脈動”計劃，并發布了《大數據促發展：挑戰與機遇》；中國發布了《促進大數據發展行動綱要》；經濟合作與發展組織（OECD）推出《使用大數據作決策》。越來越多的研究者對大數據的認識也從技術概念豐富到了信息資產與思維變革等多個維度，一些國家、社會組織、企業開始將大數據上升為重要戰略。

三 特 性

大數據特性最早的提出者是麥塔集團（META Group，現為高德納）分析師道格·萊尼（Doug Laney），他在研究報告《3D數據管理：控制數據數量、速度及種類》中指出，“數據激增的挑戰和機遇是三維的，不僅僅在我們通常所理解的數據量（volume）層面，還包括數據進出的速度 （velocity） 以及數據種類范圍 （variety）”。此后，研究者紛紛從特性角度去分析和理解大數據，并對這種“3V”的觀點加以豐富。如IBM商業價值研究院在《分析：大數據在現實世界中的應用》報告中提出應增加準確性（veracity）；弗雷斯特研究公司（Forrester Research）分析師布萊恩·霍普金斯和鮑里斯·埃韋爾松認為應增加易變性（variability）等。其中國際數據公司（International Data Corporation ，IDC）的觀點最為權威，也得到了研究者的廣泛認同，該公司在《從混沌中提取價值》報告中提出了大數據的“4V”特征，即：數據容量大（volume）、數據類型繁多（variety）、商業價值高（value）、處理速度快（velocity）。

（一）規模性（volume）

或稱數據體量巨大。目前，大數據的規模尚是一個不斷變化的指標，單一數據集的規模范圍從幾十TB到數PB不等，各方研究者雖然對大數據量的統計和預測結果并不完全相同，但一致認為數據量將急劇增長。

（二）多樣性（variety）

即數據類型多樣。從生成類型上分為交易數據、交互數據、傳感數據；從數據來源上分為社交媒體、傳感器數據、系統數據；從數據格式上分為文本、圖片、音頻、視頻、光譜等；從數據關系上分為結構化、半結構化、非結構化數據；從數據所有者分為公司數據、政府數據、社會數據等。

（三）高速性（velocity）

數據的增長速度快，以及要求數據訪問、處理、交付等速度快。數據創建、處理和分析的速度持續加快，其原因是數據創建的實時性屬性，以及需要將流數據結合到業務流程和決策過程中的要求。速度影響數據時延——從數據創建或獲取到數據可以訪問的時間差。目前，數據以傳統系統不可能達到的速度在產生、獲取、存儲和分析。對于對時間敏感的流程（例如實時欺詐監測或多渠道“即時”營銷），某些類型的數據必須實時地分析，以對業務產生價值。

（四）價值性（value）

大數據價值巨大。大數據能夠通過規模效應將低價值密度的數據整合為高價值、作用巨大的信息資產。如美國社交網站 Facebook 有10億用戶，網站對這些用戶信息進行分析后，廣告商可根據結果精準投放廣告。對廣告商而言，10億用戶的數據價值上千億美元。據資料報道，2012 年，運用大數據的世界貿易額已達 60 億美元。