四大本質(zhì)特征驅(qū)動大數(shù)據(jù)未來發(fā)展方向

廣東省電信規(guī)劃設(shè)計院有限公司│王勁

廣東省電信規(guī)劃設(shè)計院有限公司│劉洋

四大本質(zhì)特征驅(qū)動大數(shù)據(jù)未來發(fā)展方向

廣東省電信規(guī)劃設(shè)計院有限公司│王勁

廣東省電信規(guī)劃設(shè)計院有限公司│劉洋

數(shù)據(jù)集市是未來熱點，結(jié)合各細(xì)分行業(yè)特點，利用開放的數(shù)據(jù)集市平臺，向中小企業(yè)提供數(shù)據(jù)分析、企業(yè)決策等咨詢服務(wù)，這為高校以及各行業(yè)研究院、設(shè)計院等科研型機構(gòu)提供了較好的契機。

在技術(shù)強國的大背景下，一系列新興技術(shù)產(chǎn)業(yè)得到長足發(fā)展，其中大數(shù)據(jù)產(chǎn)業(yè)作為國家戰(zhàn)略重點，被寄予厚望。本文通過梳理國內(nèi)外大數(shù)據(jù)產(chǎn)業(yè)發(fā)展?fàn)顩r，分析產(chǎn)業(yè)技術(shù)體系及應(yīng)用熱點，研究大數(shù)據(jù)產(chǎn)業(yè)未來發(fā)展趨勢及演進方向。

發(fā)展現(xiàn)狀及政策環(huán)境

目前，我國大數(shù)據(jù)發(fā)展過程中面臨的主要問題可以歸納為3個方面：

數(shù)據(jù)源不夠豐富，數(shù)據(jù)開放程度較低。以互聯(lián)網(wǎng)、金融、電信等行業(yè)數(shù)據(jù)為主，其他行業(yè)受限于自身信息化水平。由于數(shù)據(jù)標(biāo)準(zhǔn)化與共享體系不健全，已有數(shù)據(jù)利用價值不高、開放程度滯后。

大數(shù)據(jù)技術(shù)水平不高，技術(shù)擴散不暢。缺乏原創(chuàng)技術(shù)，對前沿技術(shù)路線的影響比較微弱。產(chǎn)業(yè)組織發(fā)育滯后，技術(shù)創(chuàng)新難以向社會擴散。

大數(shù)據(jù)相關(guān)的法律法規(guī)有待進一步完善。隨著大數(shù)據(jù)挖掘分析將越來越精準(zhǔn)、應(yīng)用領(lǐng)域不斷擴展，現(xiàn)有個人隱私保護和數(shù)據(jù)安全相關(guān)法律法規(guī)面臨諸多挑戰(zhàn)，亟需完善。

縱觀全球，大數(shù)據(jù)發(fā)展處于起步階段，國內(nèi)外政策積極鼓勵，我國大數(shù)據(jù)發(fā)展環(huán)境持續(xù)完善（如表1）。

表1 大數(shù)據(jù)產(chǎn)業(yè)政策與發(fā)展環(huán)境國內(nèi)/國際對比

主要技術(shù)體系及產(chǎn)業(yè)鏈

在目前大數(shù)據(jù)技術(shù)體系中，只有基礎(chǔ)層中對數(shù)據(jù)存儲與數(shù)據(jù)管理部分發(fā)展出通用技術(shù)框架，其他部分的技術(shù)與算法呈現(xiàn)應(yīng)用多樣化與應(yīng)用針對化。

基礎(chǔ)層

數(shù)據(jù)采集與預(yù)處理。數(shù)據(jù)采集方式包括：深度優(yōu)先采集法/寬度優(yōu)先采集法/等時采集法。數(shù)據(jù)預(yù)處理方式包括：數(shù)據(jù)清洗ETL/Strom流數(shù)據(jù)處理。

存儲與數(shù)據(jù)管理。高配時：底層存儲采用HDFS(Hadoop)，數(shù)據(jù)管理采用MapReduce/Tez/Spark，程序接口采用Hive/Pig。低配時：底層存儲采用HDFS(Hadoop)，管理接口采用Impala/ Drill/Presto。

分析層

數(shù)據(jù)分析/挖掘算法：一般分為基礎(chǔ)/商業(yè)算法，如BI/AI(商業(yè)/人工智能)，針對不同應(yīng)用采用對應(yīng)模型與算法。數(shù)據(jù)分析方式包括：機器學(xué)習(xí)（SVM等）、模式識別（NNs等）、數(shù)據(jù)挖掘（關(guān)聯(lián)規(guī)則/聚類等）。數(shù)據(jù)分析與呈現(xiàn)：日志/報表/圖表/動態(tài)圖。

服務(wù)層

主要面向的市場方向：戰(zhàn)略咨詢，如戰(zhàn)略/廣告/營銷咨詢；數(shù)據(jù)市場，如數(shù)據(jù)拍賣/數(shù)據(jù)開放平臺。

在清晰的技術(shù)體系框架下，市場各要素環(huán)節(jié)各司其職，使得大數(shù)據(jù)體系得以不斷地豐富、充實，從實驗室走向大市場，從理論研究走向社會各個角落。以大數(shù)據(jù)體系中的數(shù)據(jù)流向劃分上下游產(chǎn)業(yè)鏈，通過歸納和總結(jié)產(chǎn)業(yè)鏈中各層級的功能機構(gòu)以及其提供的主要服務(wù)，可以列舉具有代表性的公司（如表2）。

大數(shù)據(jù)產(chǎn)業(yè)分析

市場規(guī)模預(yù)測

麥肯錫預(yù)測，中國大數(shù)據(jù)潛在市場將達到1.57萬億元。而易觀國際也有報告顯示，2017年我國大數(shù)據(jù)市場有望達到170億元。

表2 大數(shù)據(jù)產(chǎn)業(yè)鏈代表公司總結(jié)與歸納

根據(jù)預(yù)測，中國大數(shù)據(jù)產(chǎn)業(yè)配置包括：行業(yè)解決方案（35%）、計算分析服務(wù)（17%）、存儲（15%）及數(shù)據(jù)庫服務(wù)（13%），如圖1。

圖1 中國大數(shù)據(jù)產(chǎn)業(yè)配置餅形圖

主要行業(yè)應(yīng)用熱點

通過建立行業(yè)契合度及應(yīng)用可能性分析模型，可以直觀發(fā)現(xiàn)互聯(lián)網(wǎng)（電子商務(wù)）、政府、醫(yī)療、電信等行業(yè)是優(yōu)先關(guān)注用戶。

未來趨勢分析

通過 建 立EDST模型，梳理歸納業(yè)界主要需求，分析研究大數(shù)據(jù)發(fā)展現(xiàn)狀與業(yè)界需求之間存在的主要問題、差距，圍繞大數(shù)據(jù)本質(zhì)特征，得到未來大數(shù)據(jù)的發(fā)展方向及演進趨勢，如表3所示。

表3 未來大數(shù)據(jù)的發(fā)展方向及演進趨勢

典型應(yīng)用

傳統(tǒng)咨詢行業(yè)需要向高端咨詢公司轉(zhuǎn)型，摒棄或者削弱層次較低的業(yè)務(wù)市場分析類業(yè)務(wù)，側(cè)重于戰(zhàn)略管理的產(chǎn)業(yè)升級與轉(zhuǎn)型。咨詢公司界限趨于模糊，擁有數(shù)據(jù)源的企業(yè)也可以參與到咨詢行業(yè)中。

以萬科為例，金隅萬科廣場上線試用了百度的V-in系統(tǒng)來取代普通的商業(yè)調(diào)研報告，使用大數(shù)據(jù)分析來增強客戶體驗和助力商場經(jīng)營，在節(jié)約成本的同時可利用自身的數(shù)據(jù)分析給其他行業(yè)做咨詢，如圖2所示。

圖2 萬科廣場咨詢鏈條與咨詢成本對比

避免同質(zhì)競爭，提高行業(yè)利潤

傳統(tǒng)系統(tǒng)集成商盈利模式：針對特定廠商產(chǎn)品進行二次開發(fā)，選擇合適的客戶進行銷售，

利潤來源于廠商產(chǎn)品及客戶投資差價。

系統(tǒng)集成商轉(zhuǎn)型思路：類似中間件、定制化可裁剪、松散型、面向服務(wù)（SOA）的軟件將成為核心技術(shù)，降低對廠商的依存度，轉(zhuǎn)變?yōu)椤耙钥蛻魹橹行摹钡腎T服務(wù)提供商和整合軟件開發(fā)商。

以達夢數(shù)據(jù)庫有限公司為例，其“大數(shù)據(jù)平臺戰(zhàn)略”包括，自主研發(fā)的數(shù)據(jù)庫管理系統(tǒng)以及數(shù)據(jù)分析產(chǎn)品（傳統(tǒng)部分），融合中間件等第三方軟件產(chǎn)品（支撐部分），推出整體/可定制產(chǎn)品組合與方案，用戶從平臺可獲得咨詢、規(guī)劃、技術(shù)系列服務(wù)（增值部分）。

大數(shù)據(jù)產(chǎn)業(yè)鏈中，把握產(chǎn)業(yè)的制高點關(guān)鍵在于掌握技術(shù)規(guī)范、培養(yǎng)自己的用戶。

云計算基礎(chǔ)設(shè)施投入是未來運營商市場的新熱點，在云基礎(chǔ)設(shè)施建設(shè)中，規(guī)模化部署IaaS利潤已趨低，且面臨行業(yè)整合，并最終趨于集中在通信寡頭。專業(yè)化的PaaS平臺服務(wù)，具有一定的空間，具體模式和應(yīng)用需進一步探索。

數(shù)據(jù)集市是未來熱點，結(jié)合各細(xì)分行業(yè)特點，利用開放的數(shù)據(jù)集市平臺，向中小企業(yè)提供數(shù)據(jù)分析、企業(yè)決策等咨詢服務(wù)，這為高校以及各行業(yè)研究院、設(shè)計院等科研型機構(gòu)提供了較好的契機。

編輯｜張鵬 zhangpeng@bjxintong.com.cn