Google：瞬間搜索的秘密

其實，早在用戶向Google輸入搜索請求之前，搜索的過程就已經(jīng)開始了。名為Googlebot（譯為搜索爬蟲或網(wǎng)絡蜘蛛）的龐大計算機群在算法的控制下一直不停地工作，它可以瀏覽并抓取網(wǎng)絡中的幾十億個網(wǎng)頁，為其編寫索引。當用戶輸入關鍵詞之后，Googlebot便會在索引中查找匹配的網(wǎng)頁，然后將關聯(lián)度最高的搜索結果呈現(xiàn)給用戶。形象地說，互聯(lián)網(wǎng)就是一座有數(shù)十億藏書的圖書館，這個圖書館中有上千億的圖書書頁。當我們提交一次搜索請求時，Google從所有書頁中找到我們剛好想看的那幾頁。

Googlebot不但抓取網(wǎng)頁，還會抓取視頻、圖像等多媒體信息。作為搜索過程的第一步，Google需要將互聯(lián)網(wǎng)這座巨大的、動態(tài)的圖書館索引數(shù)據(jù)整合到它遍布全球的數(shù)據(jù)中心里。迄今為止，Google聲稱它在構建索引方面已經(jīng)花費了100萬小時的計算時間，索引量遠遠超過100 000TB。毫無疑問，把不斷變化中的整個互聯(lián)網(wǎng)都“搬到自己的家里”是一項非常龐大的工作。

排名算法是核心

從2003年到現(xiàn)在，Google已經(jīng)響應了近4 500億個搜索請求，覆蓋的語言多達146種，在用戶每天的搜索請求中，有16%～20%是新的、從未被搜索過的。據(jù)稱，搜索請求從用戶的電腦到Google的數(shù)據(jù)中心平均需要經(jīng)過2 400km的路程，但是Google通常只需0.25s便可對搜索請求做出回應。但是Google認為還不夠快，它們推出的搜索建議和Google Instant（即搜即得）技術在用戶輸入第一個字或者字母時就開始動態(tài)地預測可能的關鍵詞，并且在輸入搜索內(nèi)容的同時顯示搜索結果，使用戶不用輸入完整的關鍵詞就可以獲得搜索結果。

Google希望在最短的時間內(nèi)為用戶提供關聯(lián)度最高的搜索結果。雖然速度至關重要，但是最核心的競爭力還是仍在不斷改進中的搜索算法。僅2011年一年內(nèi)Google就為改善搜索質(zhì)量進行了超過50 000個實驗，并最終做出了超過500處改進。目前的算法使用200種指標，包括網(wǎng)站內(nèi)容的及時性、權威性、網(wǎng)頁的網(wǎng)址和標題等。最近的一次比較大的搜索算法更新是2012年4月推出的“企鵝”更新，旨在懲罰過度使用搜索引擎優(yōu)化（SEO）技術的網(wǎng)站，影響了近3%的中文網(wǎng)站。

算法決定了網(wǎng)頁在搜索結果中的排名和網(wǎng)站從搜索引擎獲得的流量。Google會在升級算法之前說明目的以及將會產(chǎn)生的影響，但是Google搜索算法的細節(jié)卻是頂級的商業(yè)機密，是保證Google在搜索領域稱王的核心。從某種程度上說，Google在扮演法官的角色，能否堅守“不作惡”的承諾備受關注。

搜索的未來

誰都在用搜索引擎，但并非誰都能用好搜索引擎。這是因為使用搜索引擎時需要輸入關鍵字，而不是人類的自然語言。很多時候，我們需要在大腦中進行一次轉換。目前，Google已經(jīng)在跨越“關鍵詞”的桎梏，通過用戶的搜索請求找到“基本語境”，然后通過語義試圖去“理解”用戶想要的最終結果。例如當用戶在搜索了幾種水果之后再搜索“蘋果”，Google就會“理解”我們想找的是蘋果這種水果而非蘋果手機或者蘋果公司。

從數(shù)據(jù)到信息，再到知識，Google希望自己“整合全球信息”的使命能夠更進一步：從搜索引擎變成知識引擎，最終變成人工智能引擎。直接給出問題的答案，而不僅僅是網(wǎng)頁鏈接。Knowledge Graph（知識圖譜）是Google邁向知識引擎的第一步，截至2012年5月已擁有5億個詞條（目前還不包含中文）。另外，隨著Android 4.1系統(tǒng)推出的Google Now正在讓手機上的搜索變得智能，其實際表現(xiàn)令人期待。

Google是搜索的代名詞、用戶接觸信息的第一入口，但是以人工智能的標準看，Google還只是一個雛形。更不用說在搜索內(nèi)容與人的關系相結合以及搜索信息的實時性上，Google還面臨著來自社交網(wǎng)站的巨大挑戰(zhàn)。信息產(chǎn)業(yè)瞬息萬變，Google搜索的使命任重而道遠。

搜索的旅程

搜索前

搜索查詢的過程早在我們向Google輸入搜索關鍵字之前就已經(jīng)開始了。Google使用名為Googlebot的“搜索爬蟲”在各個鏈接之間查找網(wǎng)頁，并將網(wǎng)頁上的數(shù)據(jù)“搬到”Google的服務器。網(wǎng)絡就像是一本厚達數(shù)百萬頁的書，搜索的第一步就是為這本書編寫索引。

? Google目前的索引量遠遠大于100 000 000GB；

? 迄今為止，Google花費了1百萬小時的計算時間來構建索引。

搜索時

當我們點擊搜索按鈕或者按下回車鍵時，Google的算法會開始搜索我們要查找的內(nèi)容。

? 搜索查詢歷經(jīng)平均2 400km的路程，以每小時幾億公里的速度為我們返回答案（在此過程中還可能訪問世界各地的不同數(shù)據(jù)中心），其速度接近光速；

? Google通常只需0.25s便可對搜索請求做出回應，而人平均每眨一次眼睛需要0.1s。

排名

該算法著眼于我們輸入的關鍵詞，并使用200多種指標從數(shù)百萬網(wǎng)頁和內(nèi)容中確定與該查詢相關程度最高的答案。Google每年進行500多次改進，以完善其排名算法。

指標示例如下：

? 網(wǎng)站內(nèi)容的及時性：

? 鏈接到某個特定網(wǎng)站的其他網(wǎng)站的數(shù)量以及這些網(wǎng)站的權威性：

? 網(wǎng)頁上的文字：

? 搜索關鍵字的同義詞：

? 拼寫檢查：

? 網(wǎng)站內(nèi)容的質(zhì)量：

? 網(wǎng)頁的網(wǎng)址和標題：

? 最佳結果是網(wǎng)頁、圖片、視頻、新聞報道還是個性化搜索結果等：

? 由與我們關聯(lián)的人員推薦的結果。

結果

搜索結果根據(jù)這些指標按相關程度從高到低排名并顯示在網(wǎng)頁上。除了能即時看到結果外，將鼠標懸停在結果右側的箭頭上，我們還可以看到這些網(wǎng)頁的預覽，因此我們可以快速確定是否要訪問該網(wǎng)站。

? 這些即時預覽的平均加載時間為1/10s：

? 每天在Google上進行的搜索有幾十億次：

? 從2003年開始至今，Google已解決了4 500億個新查詢請求：

? Google每天處理的搜索中有16%～20%是新的。