網絡大數據的應用現狀與前景

范欣楠

0 引言

近年來，隨著互聯網、物聯網、云計算、三網融合等IT與通信技術的迅猛發展，數據的快速增長成了許多行業共同面對的嚴峻挑戰和寶貴機遇。因而信息社會已經進入了網絡大數據時代。大數據不僅改變著人們的生活與工作方式、企業的運作模式，甚至還引起科學研究模式的根本性改變。國內外涌現出一大批依靠商業模式創新而創造輝煌的企業：蘋果、IBM、Facebook、Google、亞馬遜、阿里巴巴等，縱觀這些商業模式創新的典范，可以看出這些企業的創新大都與無限接近消費者有關、與跨界有關、都直接或間接地與信息數字化技術和互聯網有關，而大數據成為商業模式創新的基本時代背景。

對于大數據（Big Data），目前還沒有一個權威的定義，其基本上應包括三層含義：一是，社會生活泛數據化，互聯網化將受眾的各種信息數據都暴露在網絡之上；二是，數據規模及生成速度之大，數據信息傳播方式也由單中心、單向傳播向多中心、網狀裂變轉變，數據量呈爆炸式增長；三是，大數據技術之大，隨著數據量級的飛躍，數據處理從關系型數據庫到數據倉庫、再到聯機分析、數據挖掘、數據可視化等迅猛發展。在各種技術不斷發展與演變的基礎之上大數據專門技術出現。

1 網絡大數據的應用

近幾年，網絡大數據越來越顯示出巨大的影響作用，正在改變著人們的工作與生活。2012年11月“時代”雜志撰文指出奧巴馬總統連任成功背后的秘密，其中的關鍵是對過去兩年來相關網絡數據的搜集、分析和挖掘。Ebay的分析平臺每天處理的數據量高達100pb，超過了納斯達克交易所每天的數據處理量。為了準確分析用戶的購物行為，Ebay定義了超過500種類型的數據，對顧客的行為進行跟蹤分析。而由阿里巴巴推出的“雙十一”，現在已經毫不低調地潛入了全球各地，標志著“雙十一”成功走向國際化。截至11日24時，全網總銷售額1229.4億，比2014年增長52.7%，產生包裹數6.8億個。天貓“雙十一”單日交易總額達到921.17億元，再次取得突破性成功。這些應用的實現，得益于企業對其往年的情況，特別是用戶的消費習慣、搜索習慣以及瀏覽習慣等數據所進行的綜合分析。大體來說，網絡的大數據的應用包括以下方面：

（1）大數據為企業獲得消費者的真實需求提供可能。利用網絡大數據，企業能夠洞悉消費者的真實需求，對消費者進行準確細分，并將企業產品進行即時、精準、動態定位。零售業就是一個典型的數據驅動定制化的行業，目前在線零售商利用實時數據提供精準的商品推介已經十分普遍。

（2）企業業務活動的“大數據”化。比如，電子商務，就是將傳統的商業流通交易流程用網絡數據交換替換的結果。

（3）大數據帶來的消費者對商品需求從擁有商品變成使用商品。出售模式改為出租模式，與此相對應的收益模式從一次性支付向微支付轉變。在軟件行業，應用軟件泛互聯網化改變了消費者獲得和使用軟件的方式，例如，開源軟件模式、AppStore模式等。企業利用“門戶化”建立排他性，提高客戶粘性。

目前以數據產品為基本提供物的數據公司，按照其不同定位，可以分為三種基本商業模式：

（1）數據租售模式，是向客戶提供原始數據的租售，對數據進行采集、傳輸和整理。例如，2010年在深圳中小板上市的四維圖新公司，精準的導航數據是公司的核心產品，這家公司因此成為國內第一家上市的導航電子地圖生產企業。

（2）信息租售模式，是向客戶提供代表某種主題的相關數據集，諸如數據包租售等。例如，彭博（Bloomberg）公司，核心競爭力在于積累了豐富的金融行業數據和交易數據，擁有強大的專家和咨詢網絡，構建了整合專業服務與媒體服務的全球性服務平臺。

（3）知識租售模式，為客戶提供一體化的業務問題解決方案，其關鍵流程是將大數據與行業知識利用相結合，通過行業專家深度介入客戶的業務流程提供業務問題解決方案。比如，為銀行信用卡部門設計新的產品和營銷方案，幫助保險部門確定壽險、車險等的賠率，幫助投行確定應該對哪些用戶推出新的產品等等。

（4）應用租售模式。這一模式建立在“大數據”行業垂直整合的基礎上，需要企業與客戶進行深度合作，其價值主張是為客戶提供一體化的問題解決方案。例如，IBM公司，已經由硬件供應商轉變為服務提供商，提出為用戶提供完整解決方案的價值主張。面對大數據的到來，又提出“智慧地球”的愿景，部署自己的“大數據”戰略。通過收購SPSS、Cognos等公司，使公司業務極大擴展和豐富。

總之，網絡大數據的應用是基于數據，基于互聯網等技術的普及，和新技術在用戶生活中的極大滲透，正如谷歌研究部主任彼得·諾維奇所說，“我們沒有更好的算法，我們只有更多的數據”。

2 網絡大數據帶來的挑戰

網絡大數據面臨著來自諸多方面的挑戰：復雜性、不確定性和隨機涌現性，而根本挑戰在于其復雜性。復雜性造成網絡大數據存儲、分析、挖掘等多個環節的困難。

2.1 數據類型復雜性

信息技術的發展使得數據產生的途徑不斷增加，數據類型持續增多。相應地，則需要開發新的數據采集、存儲與處理技術，給傳統的文本挖掘帶來很大的困難。另一方面，不同數據類型的有機融合給傳統的數據處理方法帶來了新的挑戰。

2.2 數據結構的復雜性

傳統上處理的數據對象都是有結構的，能夠存儲到關系數據庫中，但隨著數據生成方式的多樣化，如社交網絡、移動計算和傳感器等技術的發展和應用，非結構化數據成為大數據的主流形式。目前相關的研究熱點包括開發非關系型數據庫（如Google的BigTable，開源的HBase等）來存儲非結構化數據。Google提出了MapReduce計算框架，Yahoo！、Facebook等公司在此基礎上實現了Hadoop、Hive之類的分布式架構，對非結構化數據做基本的分析工作。

國內各大公司和科研單位也啟動了用于支撐非結構化處理的基礎設施研發，如百度的云計算平臺、中國科學院計算技術研究所的凌云（LingCloud）系統等。

2.3 數據模式的復雜性

隨著數據規模的增大，描述和刻畫數據的特征必然隨之增大，而由其組成的數據內在模式將會以指數形式增長。這種面向多模式學習的研究則需要綜合利用各個方面的知識。

3 大數據的發展前景

據著名咨詢公司IDC發布的研究報告，未來10年全球大數據將增加50倍，管理數據倉庫的服務器的數量將增加10倍以迎合50倍的大數據增長。網絡大數據不僅數據量大、類型繁多，為未來的商業社會和個人生活提供了無限可能和機遇，同時也帶來了諸多挑戰。大數據將包括結構化數據、半結構化數據和非結構化數據。在現代互聯網應用中，表現出非結構化數據大幅增長的特點。這些非結構化數據的產生往往伴隨著社交網絡、移動計算和傳感器等新技術的不斷涌現和應用。再次，網絡大數據往往呈現出突發涌現等非線性狀態演變現象。因此難以對其變化進行有效評估和預測。網絡大數據還常常以數據流的形式動態、快速地產生，具有很強的時效性，用戶只有把握好對數據流的掌控才能充分利用這些數據。

如果說上一輪網絡大數據的應用是基于泛互聯網化，那么新一輪的應用將要建立在超越互聯網、超越大數據的思維之上。連接、跨界、融合，不僅帶來許多新的商業模式，而且使行業邊界呈現模糊化趨勢。

【參考文獻】

[1]王元卓，靳小龍，程學旗.網絡大數據：現狀與展望[J].計算機學報，2013年6月第36卷第6期.

[2]李文蓮，夏健明.基于“大數據”的商業模式創新[J].中國工業經濟，2013年5月第5期.

[3]http：//review.ec.com.cn（中國國際電子商務網）[OL].

[4]http：//www.china-cloud.com（中云網）[OL].

[責任編輯：王楠]