大數據應用發展史：從搜索引擎到人工智能

佚名

大數據技術的使用經歷了一個發展過程。從最開始的Google在搜索引擎中開始使用大數據技術，到現在無處不在的各種人工智能應用，伴隨著大數據技術的發展，大數據應用也從曲高和寡走到了今天的遍地開花。

Google從最開始發表大數據論文的時候，也許沒有想到自己開啟了一個大數據的新時代。

大數據應用的搜索引擎時代

作為全球最大的搜索引擎公司，Google是我們公認的大數據鼻祖，它存儲著全世界幾乎所有可訪問的網頁，數目可能超過萬億規模，全部存儲起來大約需要數萬塊磁盤。為了將這些文件存儲起來，Google開發了GFS（Google文件系統），將數千臺服務器上的數萬塊磁盤統一管理起來，然后當作一個文件系統，統一存儲所有這些網頁文件。

如果只是簡單地將所有網頁存儲起來，好像也沒什么太了不起的。但是Google得到這些網頁文件是要構建搜索引擎，需要對所有文件中的單詞進行詞頻統計，然后根據PageRank算法計算網頁排名。這中間，Google需要對這數萬塊磁盤上的文件進行計算處理。當然，也正是基于這些需求，Google又開發了MapReduce大數據計算框架。

其實在Google之前，世界上最知名的搜索引擎是Yahoo。但是Google憑借自己的大數據技術和PageRank算法，使搜索引擎的搜索體驗得到了質的飛躍，人們紛紛棄Yahoo而轉投Google。所以當Google發表了自己的GFS和MapReduce論文后，Yahoo應該是最早關注這些論文的公司。

頂尖的公司和頂尖的高手一樣，做事有一種優雅的美感。可以看到Google一路走來，從搜索引擎、Gmail、地圖、Android、無人駕駛，每一步都將人類的技術邊界推向更高的高度?！?br>