當機器知道一切

阿西莫夫的小說《基地》，建立在一個奇特的理論基礎上。這種叫做“心理史學”的學說認為，雖然個體是模糊而不可描述，但是大量人口的行動是可以精確預測的。它有點像是熱力學的擴展版，認為當人口達到某個統計學量級的時候，就可以精確預測世界的未來。

以巨大的數量來彌合個體之間的差異，是人們一直在做的事情。如果心理史學的設想真的可行，必然需要建立關于人們思想、行為、喜好等等數據網絡；然而如何收集這些數據、如何處理這些量級驚人的數據，阿西莫夫并沒有提及。

當然，《基地》只是一本科幻小說，而且寫于1942年。當時電子計算機尚未誕生，即使是超前如阿西莫夫者，也不會預見到數據收集能力和計算能力會達到怎樣的程度。

現在，心理史學的技術基礎似乎已逐步發展成熟。也許有一天，我們可以收集人類所有的行為數據，并像預測社會性昆蟲的活動那樣，預測我們自身。乍看之下有點難以接受，但這正是大數據研究者們夢想的未來。

時代巨變

今天的企業已經快要被數據淹沒了。Google每天處理的數據量，是世界上最大圖書館所有存書數據量的上千倍，Facebook每天都會更新數千萬張照片以及數十億條新條目，而世界上最大的視頻分享網站每秒鐘上傳的視頻長度都超過一小時。這些數據價值巨大，因為每一個片段背后都有一個活生生的人。

但是如何從數據中精準地挖掘出人們真正想要的東西，則成了前所未見的巨大挑戰。

這正是“大數據”這個新興領域所研究的問題。雖然計算機芯片的發展速度讓我們擁有了之前無法想象的計算能力，但是面對這種量級的數據，依然需要探索。

2008年9月，世界上最著名的學術期刊之一《自然》做了一期大數據的專刊，大概可以視作大數據閃亮登場的標志。然而和諸多新技術一樣，大數據也經歷了學界的熱捧、質疑之后，才在業界慢慢發展起來，最終成為用戶耳熟能詳、風險投資趨之若鶩的名詞。

它的動力在于人類測量、記錄和分析世界的渴望，在于人類發現一切的雄心：希望以一種前所未有的方式，從海量數據中挖掘出人們自己都不會意識到的需求，提供無處不在的幫助，讓這個世界變得更好。

當我們開始更多地借助計算機來探索世界的時候，也就自然而然地引發了數據爆炸。今天地球上數據產生的速度已經超過了數據存儲設備生產的速度，而且增速沒有絲毫放緩的跡象。

當技術成熟到我們可以獲得和使用所有數據，且無需在其中抽樣的時候，當我們可以借由互聯網訪問所有數據的時候，量變便引發了質變。

發現更多的細節

從上世紀50年代開始，人們就邁開了探索機器翻譯的腳步。人們開發了各種各樣的算法，以語料庫來為機器翻譯軟件提供養料，希望讓計算機可以像人們一樣，學習人類的語言，最終讓語言之間的隔閡消失不見。但是，即使到了今天，機器翻譯依然遠不完美。語言的模糊性讓擅長精確的計算機一籌莫展；雖然人們已經盡力讓計算機學會接受模糊，但是成效不彰。

2006年，Google推出了機器翻譯系統。它的思路完全不同：以海量的語料庫作為備選，選擇所有可能的翻譯，然后在其中選擇可能性最高的那個。它不大在意輸入的語料庫質量，而只在乎數量。Google用一貫的思路來看待這個問題：即足夠的數量可以彌補質量的不足- - -知道得越多，就會猜得越準。Google的科學家認為，大數據基礎上的簡單算法，會比小數據基礎上的復雜算法更加有效。

維基百科也是這樣。似乎只要找對了方法，大數據就會具有某種自我清潔的能力，會更可能給出正確答案。

大數據為機器學習帶來了全新的思路，也會改變我們與這個世界交互的方式，許多過去依賴于人類判斷力的領域都會面臨革命。不僅僅是機器翻譯或者機器自動駕駛汽車；網站將會向我們推薦更適合我們的產品，搜索引擎將會根據我們的喜好而重排搜索結果，社交網站會向我們推薦我們更有興趣結識的朋友，銀行會在發現賬戶出現不合常理的支出時提出警告。

在計算能力和算法的幫助下，我們將可以分析更多的數據，而不像過去那樣只依賴于抽樣分析。這將會帶來更準確的結果，并且發現那些傳統分析方式無法發現的細節- - -而這些細節，往往會打開一扇新的大門。

改變人們看待問題的方式

大數據讓人們擁有了全新看待問題的方式。傳統上，人們更熱衷于分析因果關系，例如購買婚禮用品的年輕人，往往會在之后的一年之內購買嬰兒用品；但是在大數據領域，人們不這樣看問題。在海量數據面前，相關性的重要性超過了因果性。不必關心原因；只需要找到那些彼此相關的需求即可。

今年，Netflix公司開發的一部新劇成了意料之外的大熱門。這個擁有3300萬以上用戶的在線視頻租賃企業擁有海量的用戶數據，不僅知道每一位用戶曾經租過、看過什么片子，還知道他們在觀看過程中快進、回退、暫停的具體時間。根據這些數據，Netflix幾乎可以描述出每位觀眾在看電影時的具體動作。

對這些數據的分析，讓這家公司發現了一些有趣的關聯。有些用戶喜歡同一位導演、同一位演員與同一部劇目。于是，他們翻拍了這部劇，請了這些受歡迎的導演和演員來參與，并且大手筆地砸下一億美元，拍攝了兩季26集，并且在一天內全部上映完第一季。

這種打破了無數電視業傳統模式的劇目就是《紙牌屋》。Netflix完全沒有像傳統電視劇那樣拍出試拍集，以試探觀眾的反應；這完全是算法的勝利。《紙牌屋》的成功被視為大數據在流行文化領域的勝利：只要有足夠的數據，我們可以計算出目標觀眾最可能最買賬的文化產品，對其節奏的控制甚至可以精確到每一頁或者每一分鐘。

也許對于崇尚風格和挑戰的文化產業來說，計算機的介入會設下一道電網，讓人們唯唯諾諾于計算結果之前，不敢越雷池一步；但是，至少就目前來說，像《紙牌屋》這樣的成功，只不過是孤例而已，擔心還為時尚早。

反思和擔憂

如今連接在網絡上的移動設備，已經多過了固定設備。用智能手機或者平板訪問網絡的用戶隨處可見，他們讓那些端坐在自家書房訪問網絡的人，看起來像是老古董。而可穿戴設備和更多的傳感器可能會把這一情形繼續向前推進，直到把一切我們可以想象到的事物和人都化成數據為止。

大數據時代要求我們找到方法來量化所有過去看來微不足道的小事，把所有數據都保存在永遠在線的互聯網上，并以此為基礎挖掘出前所未見的潛在價值。云計算和物聯網是大數據時代的基礎，而這兩者都在逐漸成形。機器將會感測一切、計算一切，然后幫我們作出最好的選擇- - -人類的生活也許從來沒有如此安全和方便。

不過，這種設想將會導致對隱私的擔憂，甚至會引發憤怒情緒- - -人們不愿意承認自己的一切都可以量化，不愿意接受計算機的引導和建議，認為這樣喪失了人之所以為人的基礎：模糊，不確定，隨機。美和愛這樣的感覺，該如何量化呢？

科幻作家劉慈欣的《詩云》曾經講過一個類似的故事。外星智慧生物體會到了古詩之美，于是窮盡所有可能組合，把所有可能的詩句都記錄了下來。這些詩記錄在微小的卡片上，而制造這些卡片耗盡了地球上的大部分物質，讓地球外面圍起了一圈詩歌之云。但是，這些外星人也沒有辦法挑選出那些好詩- - -好詩，并不是可以靠算法來分析的。

這可以算是對技術發展的恒久反思。每一次革命性新技術的出現，必然都伴隨著對人類本質的拷問。然而，我們總是在漫長的磨合之后，才會坦然接受技術帶來的方便，同時接受與新技術共生的事實。

大數據同樣如此。每個人依然是獨一無二的個體，計算機永遠無法真正理解人類的需求；大數據只不過是一種技術手段而已，和語言、文字、印刷術、互聯網的作用一樣：消除真實世界中的種種限制，讓人類自己在智力發展的路徑上走得更遠。

（作者系科技專欄作者，關注IT技術、技術史和技術對社會的影響。曾出版《未來在現實的第幾層》等作品）