大數據時代：機遇、挑戰與思考

王興偉

大數據一詞最早出現于1980年，是由著名未來學家阿爾文-托夫勒在自己的《第三次浪潮》一書中提出來的。當時的阿爾文·托夫勒將大數據熱情地贊頌為“第三次浪潮的華彩樂章”。大約到了2009年，大數據這一詞才成為信息領域的流行詞匯。據悉，互聯網上的數據每年大約會增長40%，每兩年便會翻一番，目前世界上90%的數據是在近幾年才產生的。2010年以互聯網為基礎所產生的數據比之前所有年份的數據總和還多，不僅數據量在激增，而且數據結構也在發生演變。

大數據的特點

除數據激增、數據結構演變等最基本的特點外，個人還認為大數據具有以下幾個特點：一是變化性，即數據隨著事物的變化而變化；二是真偽性，我們獲得的數據不完全是可信的，有可能是有問題的，收集到的數據并不是我們所預期的，也不是我們所需要的；三是價值易時性，數據的價值有一定時效，時過境遷，如股市數據；四是易損性，數據有可能丟失，也可能被篡改；五是可視化，數據需要以合理的形式呈現給用戶，加以適當表達，否則絕大多數用戶僅以數據是無法理解的；六是可驗證性，含有數據的分析結果必須是可以驗證的，得以驗證其正確與否。

大數據會提供怎樣的機遇與挑戰

大數據已成為繼云計算、物聯網后IT領域的又一次重大變革，它提供了難得的洗牌機會，數據已成為國家的寶貴財富、單位的核心資產，影響極其深遠，并不局限于IT領域，實際上它對國家的治理模式、企事業單位的決策組織業務流程、個人的生活方式都可能產生很大的影響。如致力于管理的層級更加扁平化，網民和消費者的界限正在逐漸消失，過去網民是網民，消費者是消費者，而如今網民在瀏覽的同時便可以完成消費行為。另外，充分地利用大數據，高效地分析信息，可以準確的捕捉需求，滿足受眾需要。例如每天收到的垃圾廣告，但通過數據對網民上網習慣進行分析，便可以推送相應的廣告。單位的界限也變得模糊，業務模式、文化和組織都需要進行重構。

大數據技術需要關注的是如何解決在大數據收集、處理、存儲、傳送、管理和維護過程中突破和發現的關鍵技術。再次，是大數據工程，我們需要構建大數據的規劃、運營和管理的系統工程。最后，其實也是最重要的，是開發大數據應用，基于大數據解決現實問題才是根本所在。應該說發展大數據產業的基礎已經具備，即已經有了無所不在的信息聚集與積累，以及不斷在發展進度中的信息采集、存儲、分析和挖掘技術。發展大數據產業的動力也已經形成，遍布世界采集不盡的信息資源為發展大數據產業提供了可能。看似毫無意義的數據，經過技術處理可以轉換成有交換價值和使用價值的信息，這就為企業創造財富提供了可能。

發展大數據產業應該是迫在眉睫，從狹義的角度出發看待大數據產業就是發展與大數據的采集、處理、存儲、管理、運行、維護等相關的IT產業，要開發相應的軟硬件設備、建設大數據中心等等；從廣義的角度發展大數據產業，就是要與消費、生產領域相融合，發展大數據應用產業，如醫療健康大數據、交通數據、運輸大數據等等。與此同時，培育大數據相關人才也刻不容緩，麥肯錫預測，到2018年，僅美國就需要深度數據分析人才44萬到49萬，缺口14萬到19萬，需要既熟悉本單位的業務需求、又了解大數據技術與應用的人才150萬，我國的需求一定會更大。

為此，中國已將大數據技術與產業優先發展列為戰略新興產業。國務院于2015年5月8日發布了《中國制造2025》，明確提出要加強高端服務器大容量存儲設施建設，促進云計算和大數據應用。2015年7月1日發布了《推進“互聯網+”行動指導意見》，也明確了大數據設施的建設目標，提出了鼓勵大數據應用、大數據技術開發的政策，承諾推動公共數據資源開放。2015年8月9日，國務院又通過了《關于促進大數據發展的行動綱要》（以下簡稱《綱要》），在《綱要》中明確指出要推動政府信息系統和公共數據的互聯互享，消除信息孤島，整合各類政府信息平臺，避免重復建設和數據打架，增強政府的公信力，促進社會信用體系建設。國家要推動交通、醫療、就業、社保等民生領域，政府數據向社會開放，在城市建設、社會救助、質量安全、社區服務等方面開展大數據應用與示范，提高社區的治理水平。

國家要順應潮流，引導支持大數據產業發展，以企業為主體、以市場為導向，加大政策支持，著力營造寬松、公平的競爭環境，建立市場化應用機制，深化大數據在各個行業的創新應用，催生新業態、新模式，形成與需求緊密結合的大數據產品體系，使開放的大數據成為促進創新創業的新動力，強化信息安全保障，完善產業標準體系，依法依規打擊數據濫用、侵犯隱私等行為，讓各類主體公平分享大數據帶來的技術、制度和創新的紅利。

大數據帶來的啟示與思考

研究的超前性。其實早在1980年托夫勒便指出了大數據的極端重要性和美好未來。假設我們早在1980年就意識到大數據的極端重要性，超前部署相關研發工作，那么目前的局面又會如何。因此，我們在尋求引領發展和先發優勢時，它呼喚著極具前瞻眼光的戰略思維和視野，這也告訴高等學校必須做超前的人才培養，必須做明天的科學研究；企業必須有超前的技術儲備，為明天產品的開發做積累，如華為等智能手機的成功不是偶然的，就在于其前瞻性的布局。

人才培養與知識體系的快速適應性。面向未來的人力資源需求，如今的IT類專業人才的培養模式、知識體系、實驗課程設置應如何應對？如何培養復合型人才等都是高等教育領域需要考慮的問題。個人認為，不宜過多設立過度的大數據專業與學院。從狹義的大數據角度來看，更多的是要將大數據作為計算機和軟件工程等專業方向，面向大數據對IT技術提出的新要求，如對計算機系統結構、硬件結構設計、網絡體系結構、軟件體系結構、編程模式等提出的新要求，數據采集、存儲、組織、訪問管理等面臨新的要求來培養專業人才。從廣義大數據的角度來看，更多地應與其他專業相交叉，培育大數據方向的復合人才，如金融大數據、工業大數據、交通大數據等，這樣才能更好地適應大數據在行業發展的需要。因此，高等教育必須迅速適應大數據要求，適時進行專業培養方向轉型，這樣便不會出現在幾年后面臨巨大的人才需求所謂的人才過剩及人才匱乏等現象。但在人才培養過程中切忌跟風，不要盲目蜂擁而上，必須看清自己是否有真正意義上的教師資源，否則也不會達到很好的效果。

加快發展大數據產業。一個產業的興旺發達必須具備以下兩點：一個是市場需求。沒有市場需求的產業不可能長久。另一個是與產業相關的各個主體的利益保障，主體權益得不到保障，便沒有發展產業的動力。在完善大數據產業政策的過程中必須考慮解決如下的問題：社會成員隱私權的保護、社會各類主體信息所有權的保護、公共數據資源開放與國家安全的甄別。思考這些問題不僅是政策制定者的責任，也是大數據技術開發工作者的責任，在數據進行專業化處理的過程中必須兼顧隱私的保護和數據資源公共安全的保護。在大數據產業發展的過程中必須科學布局、理性發展，切忌低水平的重復建設。如今到處在建大數據中心、智慧城市，但這些并不等于大數據產業中的全部。我們需要適當聚焦基礎理論、關鍵技術及核心軟硬件產品的突破，需要進一步梳理需求、開發大數據應用才能使大數據落地生根，需要選擇置換應用發展才能使得大數據在中國更好地普及。

在此過程中一定要注重與其他關鍵技術領域的協同發展。如與云計算、物聯網等的協同發展，云計算本身可以為大數據提供解決方案，物聯網是數據采集和獲取的主要手段。同時在發展大數據時要注重與國家戰略的聯動統籌，如互聯網+、中國制造2025等的聯動統籌，這樣才能更好地推動中國社會經濟發展的提效。另外一方面，隨著數據處理技術的圖片，特別是圖像語音等分析處理技術，大數據已不像如今理解的那么大。大數據量很大，但價值不一。真正有用的數據是呈現某種狀況，如安全事件幾秒的影響。如今無法實時理解和分析發生事件的信息。因此，隨著數據處理技術的發展，大數據可能沒有今天想象的那么大了。

（作者系東北大學軟件學院院長、教授）