基于技術(shù)成熟度曲線的大數(shù)據(jù)分析

王志玲 燕光譜 藍 潔

?

基于技術(shù)成熟度曲線的大數(shù)據(jù)分析

王志玲 燕光譜 藍 潔

本文引入技術(shù)成熟度曲線的概念，在分析Gartner公司發(fā)布的2014年新興技術(shù)成熟度曲線基礎上，深入解讀其在2012～2014年發(fā)布的大數(shù)據(jù)技術(shù)成熟度曲線的特點與變化，分析大數(shù)據(jù)近年來的總體發(fā)展趨勢和熱點技術(shù)，為大數(shù)據(jù)研究提供一種新的工具、方法和視角。

技術(shù)成熟度曲線概述

技術(shù)成熟度曲線（Hype Cycle），又稱炒作周期曲線，是指新技術(shù)、新概念在媒體上的曝光度（即可見度）隨時間的變化曲線，描述了一項技術(shù)從誕生到成熟的過程，是評估技術(shù)發(fā)展周期的一種預測模型。1995年以來，全球權(quán)威IT研究與顧問咨詢公司高德納（Gartner）每年發(fā)布新興技術(shù)成熟度曲線報告，分析預測與推論各種新科技的成熟演變速度及要達到成熟所需的時間，利用一致性評價確定技術(shù)在成熟度曲線中的位置。如圖1所示，技術(shù)成熟度曲線橫坐標代表技術(shù)所處的階段，包括技術(shù)觸發(fā)期、期望膨脹期、泡沫谷底期、穩(wěn)步復蘇期和生產(chǎn)高峰期等5個階段（見表1），縱坐標表示技術(shù)可見度，曲線上的技術(shù)運用不同符號標注預期成熟時間，分為少于2年、2～5年、5～10年、多于10年、成熟期前放棄。

2014年新興技術(shù)成熟度曲線

圖1　技術(shù)成熟度曲線示意圖

表1　技術(shù)成熟度曲線的5個階段

2014年，Gartner公司從市場成熟度、商業(yè)利益與未來方向等角度，評估了119個領域的2000多項技術(shù)，得到45項新興技術(shù)的成熟度曲線，如圖2所示。從圖中可以看出，在觸發(fā)期和膨脹期的技術(shù)比較密集，但是大部分技術(shù)在5～10年才能達到生產(chǎn)高峰，包括物聯(lián)網(wǎng)、可穿戴技術(shù)、加密貨幣、個人助手、聯(lián)網(wǎng)家庭、智能機器人、自動駕駛車輛等；而處于谷底期之后的技術(shù)，大多在5年內(nèi)成熟，如語音識別、云計算、內(nèi)容分析、企業(yè)級3D打印等，詳見表2。

表2　2014年新興技術(shù)的技術(shù)成熟階段分布

圖2　2014年新興技術(shù)的技術(shù)成熟度曲線 資料來源：Gartner （2014年8月）

2014年新興技術(shù)成熟度曲線報告以數(shù)字化企業(yè)的發(fā)展藍圖為主題，總結(jié)出發(fā)展成為數(shù)字化企業(yè)的6個階段：即模擬、網(wǎng)絡、電子商務、數(shù)字化營銷、數(shù)字化商業(yè)和自動化。由于新興技術(shù)成熟度曲線把焦點放在新近崛起的技術(shù)上，因此技術(shù)多集中在后三個階段。

（1）數(shù)字化營銷（第四階段）：此階段強調(diào)多方力量的結(jié)合（如移動、社交、云），聚焦于以新的、更先進的方式抵達消費者，尋找愿意參與營銷活動以強化社交聯(lián)系或取得產(chǎn)品及服務的消費者，此類消費者對品牌的影響力更勝以往，且偏好以移動設備和社交網(wǎng)絡為媒介。技術(shù)成熟度曲線中此階段的相關(guān)技術(shù)包括：軟件定義一切、立體與全息顯示、神經(jīng)商業(yè)、數(shù)據(jù)科學、規(guī)范分析、復雜事件處理、大數(shù)據(jù)、內(nèi)存中數(shù)據(jù)庫管理系統(tǒng)、內(nèi)容分析、混合云計算、游戲化、增強現(xiàn)實、云計算、NFC、虛擬實境、手勢控制、內(nèi)存中分析、活動流及語音識別。

（2）數(shù)字化商業(yè)（第五階段）：這個階段焦點轉(zhuǎn)移到人員、企業(yè)與事物的融合上。物聯(lián)網(wǎng)以及現(xiàn)實與虛擬世界的模糊化成為這個階段的強烈概念。數(shù)字化后的實物資產(chǎn)，在業(yè)務價值鏈中的重要性等同于已經(jīng)數(shù)字化的各種實體，3D打印使得實物數(shù)字化更進一步，并有可能在供應鏈與制造層面引發(fā)顛覆性變革。將與人相關(guān)的各種屬性（如健康生命體征）數(shù)字化也是這個階段的特色之一，連貨幣（被認為早已數(shù)字化）都可以轉(zhuǎn)型（如比特幣等加密貨幣）。相關(guān)技術(shù)包括：生物聲學傳感、數(shù)字安全、智能工作場所、聯(lián)網(wǎng)家庭、3D生物打印系統(tǒng)、情感計算、語音翻譯、物聯(lián)網(wǎng)、加密貨幣、可穿戴用戶界面、消費級3D打印、機器對機器通信服務、移動健康監(jiān)測、企業(yè)級3D打印、3D掃描儀及消費級車聯(lián)網(wǎng)。

（3）自動化（第六階段）：該階段的企業(yè)將有能力提供各種類人或替代人類的技術(shù)，例如以自動駕駛交通工具來運載人員或物品，或使用認知系統(tǒng)撰寫文案或回答顧客問題。相關(guān)技術(shù)包括：虛擬個人助手、人類機能增進、腦機接口、量子計算、智能機器人、生物芯片、智能顧問、自動駕駛車輛及自然語言問答。

大數(shù)據(jù)技術(shù)成熟度曲線及發(fā)展趨勢

Gartner公司認為“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。可見，大數(shù)據(jù)指的是無法使用傳統(tǒng)流程或工具處理分析的信息，具有日益增長的數(shù)據(jù)量（Volume）、高增長速度（Velocity）、多樣性（Variety）特點。從某種程度上說，大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)。簡言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力，就是大數(shù)據(jù)技術(shù)。

圖3　2011－2014年大數(shù)據(jù)技術(shù)在技術(shù)成熟度曲線上的位置

圖4　2012年大數(shù)據(jù)技術(shù)的技術(shù)成熟度曲線資料來源：Gartner （2012年8月）

圖5　2013年大數(shù)據(jù)技術(shù)的技術(shù)成熟度曲線資料來源：Gartner（2013年8月）

大數(shù)據(jù)發(fā)展趨勢

2011年， 大 數(shù) 據(jù)（“big data” and Extreme Information）的概念在首次進入Gartner技術(shù)成熟度曲線，經(jīng)歷了2012年的期望膨脹期，2013年達到期望膨脹頂峰，2014年進入泡沫谷底期，如圖3。Gartner公司在《2014年技術(shù)成熟度曲線特別報告》中指出：“雖然對大數(shù)據(jù)的興趣依然不減，但它已經(jīng)離開高峰期，因為該市場已經(jīng)安定下來，有了一整套合理的方法，新的技術(shù)和實踐被添加進現(xiàn)有方案。”但Gartner認為，大數(shù)據(jù)還有5到10年才會達到穩(wěn)定期。近幾年企業(yè)級市場圍繞大數(shù)據(jù)的炒作不斷加溫，很多企業(yè)也的確面臨數(shù)據(jù)量激增的現(xiàn)實困境，但大數(shù)據(jù)絕非僅僅是數(shù)據(jù)量大的挑戰(zhàn)，大數(shù)據(jù)的核心問題還是取決于數(shù)據(jù)挖掘背后所能產(chǎn)生的價值，在經(jīng)歷了一段熱潮之后，大數(shù)據(jù)的概念轉(zhuǎn)向低谷期，開始實實在在的為企業(yè)解決問題，大數(shù)據(jù)相關(guān)技術(shù)的演進在未來一段時間內(nèi)仍將展現(xiàn)出強大的生命力。

大數(shù)據(jù)成熟度曲線

2012年大數(shù)據(jù)技術(shù)成熟度曲線

2012年大數(shù)據(jù)的技術(shù)成熟度曲線共列出了47項技術(shù)，如圖4所示。其中，大數(shù)據(jù)革命技術(shù)之一MapReduce出現(xiàn)在成熟度曲線的低谷區(qū)，預期將在2～5年內(nèi)達到生產(chǎn)高峰期。MapReduce是由Google提出的一種并行分布式編程模型，利用該模型可以通過簡單的分布式并行運算有效處理海量數(shù)據(jù)，不斷地從中挖掘出有價值的信息，成為大數(shù)據(jù)發(fā)展的重要支撐技術(shù)。按技術(shù)在大數(shù)據(jù)中的用途不同，可以分為三類：大數(shù)據(jù)的使能技術(shù)（Entries that describe enabling technologies for big data）、典型應用（Entries that describe typical use cases for big data）、信息類型和來源（Entries that describe new information types， sources and roles），相關(guān)技術(shù)詳見表3。

表3　2012年大數(shù)據(jù)相關(guān)技術(shù)分類

2013年大數(shù)據(jù)技術(shù)成熟度曲線

2013年大數(shù)據(jù)的技術(shù)成熟度曲線共列出了40項技術(shù)，如圖5所示。新進入成熟度曲線的技術(shù)有：量化自我（Quantified Self）、圖形數(shù)據(jù)庫（Graph Database）、基于電子商務的大數(shù)據(jù)分析（Big Data for Electronic Commerce）、意向聯(lián)結(jié)的客戶系統(tǒng)、表式數(shù)據(jù)庫管理服務（Table-Style Database Management Services）、信息語義服務（Information Semantic Services）、Hadoop SQL界面（Hadoop SQL Interfaces）、文件存儲數(shù)據(jù)庫管理系統(tǒng)（Document Store Database Management Systems）、關(guān)鍵值數(shù)據(jù)庫管理系統(tǒng)（Key-Value DatabaseManagement Systems）、車載信息服務（Vehicle Information Service）和Hadoop發(fā)布工具（Hadoop Distributions）。

2013年，MapReduce技術(shù)沒有出現(xiàn)在技術(shù)成熟度曲線，而Hadoop技術(shù)成為大數(shù)據(jù)關(guān)注熱點，成熟度曲線上出現(xiàn)了兩項與Hadoop相關(guān)的技術(shù)，即Hadoop SQL界面和Hadoop發(fā)布工具。Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構(gòu)，用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力進行高速運算和存儲，Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，MapReduce為海量的數(shù)據(jù)提供了計算。

2014年大數(shù)據(jù)技術(shù)成熟度曲線

表4　2014年大數(shù)據(jù)技術(shù)成熟度曲線（資料來源：Gartner 2014年8月）

2014年大數(shù)據(jù)的技術(shù)成熟度曲線共列出了47項技術(shù)，詳見表4。新進入成熟度曲線的技術(shù)有：語境經(jīng)紀人（Context Brokers）、虛擬個人助手（Virtual Personal Assistants）、個人分析（Personal Analytics）、數(shù)據(jù)即服務（Data as a Service）、數(shù)據(jù)湖（Data Lakes）、公開數(shù)據(jù)（Open Data）、移動設備管理和社交數(shù)據(jù)（MDM and Social Data）、規(guī)范分析（Prescriptive Analytics）、基于客戶智能的 大 數(shù) 據(jù) 分 析（Big Data Analytics for Customer Intelligence）、 智 能 顧 問（Smart Advisors）、Big Data Analytics for Fraud and Security、企業(yè)信息架構(gòu)（Enterprise Information Architecture）、自然語言問答（Natural-Language Question Answering）、可穿戴用戶界面（Wearable User Interfaces）、關(guān)聯(lián)數(shù)據(jù)（Linked Data）、數(shù)據(jù)集成/虛擬化（Data Federation/Virtualization）。

可見，2014年新進入的技術(shù)涉及信息類型和來源、典型應用的技術(shù)較多，在信息類型和來源方面增加了數(shù)據(jù)湖（Data Lakes）、公開數(shù)據(jù)（Open Data）、移動設備管理和社交數(shù)據(jù)（MDM and Social Data）、關(guān)聯(lián)數(shù)據(jù)（Linked Data）等，在典型應用方面增加了基于客戶智能的大數(shù)據(jù)分析（Big Data Analytics for Customer Intelligence）、為防止欺詐和保護安全的大數(shù)據(jù)分析（Big Data Analytics for Fraud and Security）等。

結(jié)語

綜上所述，大數(shù)據(jù)經(jīng)過4年的發(fā)展正由過熱期轉(zhuǎn)向低谷期，內(nèi)涵逐漸清晰，市場趨向穩(wěn)定，在未來5～10年將達到生產(chǎn)高峰期。綜合近三年大數(shù)據(jù)技術(shù)成熟度曲線，可以勾勒出大數(shù)據(jù)的整體輪廓，即大數(shù)據(jù)技術(shù)依托社交內(nèi)容、開放式監(jiān)控SCADA、語義Web、測繪地理信息系統(tǒng)可視化和分析、活動流、開放政府數(shù)據(jù)、公開數(shù)據(jù)、關(guān)聯(lián)數(shù)據(jù)等信息數(shù)據(jù)，綜合利用物聯(lián)網(wǎng)、數(shù)據(jù)挖掘、視頻搜索、動態(tài)數(shù)據(jù)屏蔽、內(nèi)容分析、邏輯數(shù)據(jù)倉庫、noSQL數(shù)據(jù)庫管理系統(tǒng)、混合云計算、復雜事件處理、基于云的網(wǎng)格計算、云協(xié)作服務、云并行處理、內(nèi)存中數(shù)據(jù)網(wǎng)絡、MapReduce、Hadoop、內(nèi)存中分析、文本分析、數(shù)據(jù)集成、語音識別、預見性分析等技術(shù)工具，實現(xiàn)信息評價、預測建模、聲明分析、內(nèi)容增值服務、社交網(wǎng)絡分析、高級欺詐技術(shù)的檢測與分析、社交信息分析、IT服務分析工具、遠程信息處理、Web體驗分析、供應鏈分析、社交媒體數(shù)據(jù)監(jiān)控、網(wǎng)絡分析等應用。

王志玲 燕光譜 藍 潔

青島市科學技術(shù)信息研究所

10.3969/j.issn.1001-8972.2016.10.019