泥土和云端里的大數據

面對農產品高價—擴種—降價—減產—再漲價的循環波動，應對方式不同。

中國農業部2011年底成立市場預警專家委員會，首批確定10名委員，建立溝通交流機制，職責之一是密切關注國內外農產品市場運行情況，及時提出政策建議。

美國意外天氣保險公司利用美國氣象局和農業部公開的氣象、產量、土壤等數據，租用大數據分析平臺，預測不同品種農作物的來年產量，為農戶提供價格保險產品，2011年底獲得超過5000萬美元的風險投資。

農產品價格的循環波動客觀存在，影響因素包括農資價格、勞動力成本、需求數量、政府政策、資本運作、自然災害和匯率期貨等諸多方面，描述這些因素的信息資源構成了影響農產品價格的大數據。這些大數據來源于生產交易的“泥土”，反映在資源網絡的“云端”，善于利用，價值巨大。

“大數據”從英語“Big Data”翻譯而來，維基百科將其定義為“無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合”。數量龐大、種類復雜、增速迅猛是“大數據”的明顯特征，以往所說的“信息爆炸”、“海量數據”等已不足以描述數據對于日常活動乃至國計民生的重要價值。“大數據”得到信息科技企業的重視，IBM公司在2012年3月發布的年報中明確指出該公司的核心競爭力在于“gusher of data”（洶涌而出的數據），其新任CEO表明將依靠大數據分析取得今后5年業務發展的動力。“大數據”甚至上升為國家意志，也在2012年3月，美國奧巴馬政府公布了“大數據研發計劃”，首批投資2億美元，目標是改進人們從海量和復雜的數據中獲取知識的能力。“大數據”蘊含的潛力，可見一斑。

大數據的生命力在于持續積累

隨著信息科技的發展，無處不在的智能終端、隨時在線的網絡傳輸、互動頻繁的社交網絡使得大量的新數據無時無刻不在涌現。任何事物的發展都有一個過程，會不斷釋放有關事物發展過程和結果的事實，相關數據的持續積累蘊含勃勃生機，有望使掌握數據的一方在事態發展中爭取主動。

1997年，一臺名叫“深藍”的計算機擊敗了當時的國際象棋冠軍Garry Kasparov。2011年，另一臺計算機Watson在美國電視智力競賽節目《Jeopardy！》再次戰勝前幾屆的冠軍。誕生于傳統數據時代的深藍，通過將象棋規則轉化為以0和1形式存在的算法，借助并行處理技術，計算可能的走棋結果，通過掃描數據庫將結構化的查詢和答案相匹配。而在大數據相關技術幫助下，Watson能夠“讀取”包括百科全書、報刊、書籍等大量人類知識載體，實時智能分析，回答以人類說話方式提出的不可預測的問題，速度和準確性都超過參與競賽的人類對手。這兩則事例詮釋了傳統數據與大數據時代下計算機生命力的精彩延續，而其背后是數據的持續積累，非一朝一夕之功。

咨詢機構麥肯錫公司2011年5月發布報告《大數據：創新、競爭和生產力的新前沿》認為，當前大數據規模以及其存儲容量正在迅速增長，大數據已經滲透到各個行業和業務職能領域，成為可以與物質資產和人力資本相提并論的重要生產要素，大數據的演進將與生產力的提高有直接關系。

大數據的創造力在于發現“關系”

如同顯微鏡的發明使得人們以前所未有的細胞級水平觀看和測量事物，引擎搜索、網頁點擊、論壇發帖等數據記錄使得人們的行為和情緒能夠被衡量，來源廣泛、表現形式多樣的數據之間存在復雜關系，發現其中的“關系”使得判斷和決策以數據和分析為基礎，而非經驗和直覺。

2008年2月，谷歌公司通過對美國大西洋沿岸中部地區網民關于“流感癥狀”關鍵詞搜索結果的統計分析，推斷出該地區關注感染流感的人數比較多，有爆發流感的趨勢，這一分析結果比美國政府公布的時間早兩周。2008年11月，谷歌公司推出了“流感趨勢”免費網絡服務，幫助美國境內的人們了解自己所在地區的流感病例爆發情況，提前采取措施，避免感染。美國疾控中心表示，谷歌“流感趨勢”服務可以對其現有的疾控監測起到很好的補充作用。可以看出，大數據的持續積累使得量化統計分析“關系”成為可能，從而爆發出鑒別真偽、分析原理、研判趨勢、預警潛在的機會和威脅及快速響應突發事件等系列行為，大數據的創造力得到彰顯。

基于大數據，應用科學的研究方法，才能提高發現“關系”的客觀性。本文引子中提到的農產品價格波動的應對事例，一個是基于專家的經驗和判斷，定性地識別出價格與影響因素的“關系”；另一個是基于計算機的數據聚類和文本挖掘等方法，定量地識別出價格與影響因素的“關系”。有效利用大數據分析的“關系”，將促進新想法和新見解的產生，甚至帶來行業的關鍵發現。

大數據的破壞力在于威脅信息安全

我國目前的信息安全法規定義在“計算機系統”，而大數據彌漫在計算機、手機、監視器以及所有電子設備上，連接所有人體、生物體和物體，大數據時代沒有“可以鎖起來”的信息安全，競爭可能從“誰能鎖得緊、藏得牢”躍遷為“誰能用得好、用得快”。而透露個人行為、情緒等隱私的大數據，成為威脅社會穩定和信息安全的極大隱患。

與此同時，越來越多的公司、機構等組織需要訪問第三方數據來源，并將自己信息與外部信息進行集成以充分獲取大數據的潛力。而在目前情況下，市場尚未建立交易或共享數據的成熟機制，尤其對于缺乏競爭強度和績效透明的公共行業以及利潤高度集中的產業，數據獲取的障礙客觀存在，解決價值挖掘與信息安全之間的矛盾值得密切關注。

而由信息安全衍生出來一系列問題：數據可以輕松復制帶來的知識產權問題，不準確數據導致負面結果的責任問題，優化數據使用的工作流構建問題，相關的數據人才短缺問題等等，有待破解。

無論是否察覺，形形色色的泥土和云端里的大數據切切實實地存在身邊，大數據時代已經來臨。你，準備好了嗎？