大數(shù)據(jù)是基礎(chǔ)性戰(zhàn)略資源,數(shù)據(jù)資源的共享開放和對大數(shù)據(jù)的開發(fā)應(yīng)用,將賦予人們在各個(gè)領(lǐng)域“全面了解、精準(zhǔn)預(yù)測和智慧決策”的能力。
全球大數(shù)據(jù)發(fā)展歷程
國際層面,大數(shù)據(jù)在2012和2013年達(dá)到宣傳高潮,2014年后概念逐漸成熟,對大數(shù)據(jù)的認(rèn)識也趨于理性。我國大數(shù)據(jù)已經(jīng)成為國家戰(zhàn)略,相關(guān)技術(shù)成為研發(fā)熱點(diǎn),大數(shù)據(jù)應(yīng)用市場呈現(xiàn)繁榮狀態(tài)。
2012年,大數(shù)據(jù)產(chǎn)業(yè)生態(tài)預(yù)熱。 同年7月,美國風(fēng)險(xiǎn)投資人Matt Turck開始繪制大數(shù)據(jù)產(chǎn)業(yè)圖譜1.0版本,10月,更新并發(fā)布大數(shù)據(jù)產(chǎn)業(yè)圖譜2.0版本。Matt Turck將大數(shù)據(jù)產(chǎn)業(yè)鏈分為Infrastructure (基礎(chǔ)設(shè)施)、Analytics (分析)、Applications (應(yīng)用)、Cross infrastructure/Analytics (基跨礎(chǔ)設(shè)施/分析)、Open Source(技術(shù)開源)、Data Resources( 數(shù)據(jù)資源)六個(gè)方面描述。
2014年發(fā)布了新的版本,這時(shí)大數(shù)據(jù)分析就成為了生態(tài)系統(tǒng)中最火熱的部分。有大批的公司成立并快速發(fā)展,風(fēng)險(xiǎn)投資大量涌入,這時(shí)大數(shù)據(jù)生態(tài)系統(tǒng)還處于一個(gè)初級階段。
2016年,大數(shù)據(jù)產(chǎn)業(yè)已現(xiàn)雛形,主要表現(xiàn)在:創(chuàng)新不斷,并且大部分通過開源體現(xiàn);數(shù)據(jù)與AI緊密結(jié)合,相輔相成;大數(shù)據(jù)應(yīng)用增長迅猛,面向行業(yè)和領(lǐng)域的應(yīng)用型企業(yè)發(fā)展迅猛,生態(tài)系統(tǒng)逐步形成,向更為成熟的程度發(fā)展。
2017年,大數(shù)據(jù)產(chǎn)業(yè)生態(tài)不斷完善。數(shù)據(jù)治理、數(shù)據(jù)安全成為重點(diǎn),大數(shù)據(jù)成功需要技術(shù)、人員、過程的緊密結(jié)合,大數(shù)據(jù)在AI技術(shù)的助力下,在各個(gè)領(lǐng)域發(fā)展迅猛。這一年,生態(tài)系統(tǒng)發(fā)展全速推進(jìn)。
從全球大數(shù)據(jù)市場規(guī)模現(xiàn)狀來看,據(jù)IDC報(bào)告顯示,2014年全球大數(shù)據(jù)市場規(guī)模是285億美元,同比增長53.2%;2015年,達(dá)到384億美元,同比增長34.7%;2017年市場規(guī)模達(dá)到721億美元。2017~2021年,行業(yè)的年均復(fù)合增長率在40.98%,2021年,全球大數(shù)據(jù)規(guī)模將會達(dá)到2847億美元。同時(shí),2020年以前全球數(shù)據(jù)量將保持每兩年就翻一倍的速度增長,預(yù)計(jì)2020年全球數(shù)據(jù)量將達(dá)44ZB。在《DATA Age2025》報(bào)告中,預(yù)計(jì)2020年全球的數(shù)據(jù)量要超過50ZB左右,2025年全球數(shù)據(jù)量將達(dá)到160ZB。由此可見,全球數(shù)據(jù)量的增長速度超出人們預(yù)期。
我國大數(shù)據(jù)生態(tài)狀況
2015年,我國大數(shù)據(jù)生態(tài)系統(tǒng)日臻完善。基礎(chǔ)技術(shù)和系統(tǒng)方面缺乏原創(chuàng),分析方法與算法應(yīng)用牽引不足,研究實(shí)用性和易用性偏弱,互聯(lián)網(wǎng)大數(shù)據(jù)的應(yīng)用水平和效果接近國際先進(jìn)水平,其他行業(yè)和企業(yè)的大數(shù)據(jù)應(yīng)用水平和效果較落后。
2016年,大數(shù)據(jù)建設(shè)領(lǐng)域仍被國際廠商占據(jù),基于物聯(lián)網(wǎng)的數(shù)據(jù)采集與數(shù)據(jù)管理初現(xiàn),各內(nèi)容類互聯(lián)網(wǎng)服務(wù)競相成為數(shù)據(jù)源,垂直化與行業(yè)化應(yīng)用發(fā)展迅猛。我國互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用水平和效果接近國際先進(jìn)水平,并積累了大量的數(shù)據(jù),數(shù)據(jù)的收集與管理,已經(jīng)成為我國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的重要與關(guān)鍵環(huán)節(jié)。
從國家總量來看,2015年,中國大數(shù)據(jù)市場規(guī)模達(dá)到115.9億元,同比增長38%;2016年是168億元,同比增長45%;預(yù)計(jì)2018年會達(dá)到280億元,未來五年(2018~2022)年均復(fù)合增長率約為27.29%,2022年將達(dá)到735億元。2020年,中國數(shù)據(jù)量將達(dá)到8060EB,占全球數(shù)據(jù)量的18%。
從國際、國內(nèi)大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展的狀況來看,大數(shù)據(jù)作為戰(zhàn)略資源的地位越來越重要,數(shù)據(jù)管理、數(shù)據(jù)安全與隱私保護(hù)、數(shù)據(jù)共享開放機(jī)制等數(shù)據(jù)治理相關(guān)技術(shù)成為當(dāng)前研究熱點(diǎn)。建立完善的數(shù)據(jù)治理體系成為一項(xiàng)緊迫的任務(wù)。
治理本身源自于拉丁文的“掌舵”一詞,指政府控制、引導(dǎo)和操縱的行動或方式。它是一個(gè)采取聯(lián)合行動的過程,強(qiáng)調(diào)協(xié)調(diào)而不是控制。
大數(shù)據(jù)治理可以從宏觀、中觀、微觀三個(gè)層面來闡述。從宏觀層來看,大數(shù)據(jù)治理是對組織的大數(shù)據(jù)管理和利用進(jìn)行評估、指導(dǎo)和監(jiān)督的體系架構(gòu);從中觀層來看,大數(shù)據(jù)治理是企業(yè)數(shù)據(jù)可獲得性、可用性、完整性和安全性的部署和全面管理;從微觀層來看,大數(shù)據(jù)治理是描述數(shù)據(jù)該如何在其全生命周期內(nèi)有用和經(jīng)濟(jì)管理的組織策略或程序。
大數(shù)據(jù)治理研究主要集中在組織層面,而在治理體系上還有待完善,主要表現(xiàn)在:
第一,大數(shù)據(jù)的治理體系應(yīng)該涉及組織、行業(yè)、國家多個(gè)層次,如何定義、構(gòu)建一個(gè)完整的體系值得思考。
第二,大數(shù)據(jù)治理體系需要健全的法律法規(guī)、全面的標(biāo)準(zhǔn)體系支撐,是否需要圍繞“數(shù)據(jù)”為主題來制定制度法規(guī)和標(biāo)準(zhǔn)規(guī)范。
第三,大數(shù)據(jù)治理的重要性已得到較為廣泛的認(rèn)識,已有不少成功的應(yīng)用實(shí)踐,但尚不足支撐一些共識的形成,難以形成“規(guī)范”。
第四,大數(shù)據(jù)治理體系的技術(shù)支撐需要涵蓋大數(shù)據(jù)管理、存儲、質(zhì)量、共享與開放、安全與隱私保護(hù)等多個(gè)方面,當(dāng)前相應(yīng)的技術(shù)研究關(guān)聯(lián)性和系統(tǒng)性還存在欠缺。
第五,大數(shù)據(jù)資產(chǎn)地位得到廣泛認(rèn)同,但是如果沒有有效的管理和應(yīng)用,這種數(shù)據(jù)實(shí)際上會成為負(fù)擔(dān)。
第六,大數(shù)據(jù)管理的相關(guān)方法與技術(shù)已有不少成熟產(chǎn)品與技術(shù),但還缺乏完善的多層級的管理體制和高效的管理機(jī)制。
第七,大數(shù)據(jù)共享與開放已經(jīng)成大數(shù)據(jù)成功應(yīng)用的關(guān)鍵,如何將技術(shù)和標(biāo)準(zhǔn)有機(jī)結(jié)合,建立在不同層級上的良好的大數(shù)據(jù)共享與開放環(huán)境也是值得思考的。
第八,大數(shù)據(jù)安全與隱私保護(hù)意識不斷加強(qiáng),除了相關(guān)技術(shù)需要不斷發(fā)展以應(yīng)對各種新型攻擊挑戰(zhàn)外,企業(yè)安全保障制度完善和行業(yè)自律監(jiān)管力度加強(qiáng)也需要重點(diǎn)關(guān)注。
大數(shù)據(jù)治理體系從國家層面看,主要包括以下四個(gè)方面:一是資產(chǎn)地位確立,需要在國家法律法規(guī)層面明確數(shù)據(jù)資產(chǎn)地位;二是管理體制機(jī)制,需要建設(shè)良好的管控協(xié)調(diào)機(jī)制,促進(jìn)數(shù)據(jù)產(chǎn)業(yè)的健康發(fā)展;三是共享和開放,需要制定數(shù)據(jù)開放共享的政策,建設(shè)政府主導(dǎo)的數(shù)據(jù)共享平臺;四是安全與隱私保護(hù),需要出臺數(shù)據(jù)安全與隱私保護(hù)的法律法規(guī),保障國家、組織和個(gè)人的數(shù)據(jù)安全。

大數(shù)據(jù)治理體系的技術(shù)支撐需要涵蓋大數(shù)據(jù)管理、存儲、質(zhì)量、共享與開放、安全與隱私保護(hù)等多個(gè)方面,當(dāng)前相應(yīng)的技術(shù)研究關(guān)聯(lián)性和系統(tǒng)性還存在欠缺。
在數(shù)據(jù)資產(chǎn)的確立上,明確將數(shù)據(jù)作為資產(chǎn),就可以將數(shù)據(jù)的歸屬、估值、交易、管理等納入到人類社會的一般資產(chǎn)管理體系中,對于促進(jìn)數(shù)據(jù)的確權(quán)、流通、交易、保護(hù)等具有重要的基礎(chǔ)性意義。
在管理體制機(jī)制上,良好的數(shù)據(jù)管理體制不僅能促進(jìn)產(chǎn)業(yè)的健康發(fā)展,也為國家掌握數(shù)據(jù)安全、維護(hù)用戶權(quán)益提供有力抓手。當(dāng)前有兩種主要管理模式:一種是以歐盟為代表的政府設(shè)立專門機(jī)構(gòu)直接管理,另一種是以美國為代表的政府引導(dǎo)行業(yè)自律的管理。對中國而言,我們應(yīng)該借鑒已有模式,兼顧現(xiàn)狀及發(fā)展,建立符合我國國情的體系。
在數(shù)據(jù)共享和開放上,大數(shù)據(jù)應(yīng)用之所以產(chǎn)生巨大價(jià)值,往往在于有效關(guān)聯(lián),融合了多個(gè)已有信息系統(tǒng)中的數(shù)據(jù),并創(chuàng)造性地解決新問題。
在安全與隱私保護(hù)上,大規(guī)模的數(shù)據(jù)泄露以及數(shù)據(jù)監(jiān)聽、竊取事件所引發(fā)的數(shù)據(jù)安全、隱私保護(hù)等問題已經(jīng)嚴(yán)重影響到了社會安全和國家安全。世界主要國家和地區(qū)多措并舉加強(qiáng)大數(shù)據(jù)安全保障。
總體而言,大數(shù)據(jù)治理體系建設(shè)是國家實(shí)施大數(shù)據(jù)戰(zhàn)略的重要保證,是發(fā)揮大數(shù)據(jù)作用、做大做強(qiáng)大數(shù)據(jù)產(chǎn)業(yè)的重要因素。大數(shù)據(jù)治理體系建設(shè)已經(jīng)成為大數(shù)據(jù)發(fā)展重點(diǎn),分層次、多維度推進(jìn)大數(shù)據(jù)治理體系的建設(shè),任重而道遠(yuǎn)。