Google：瞬間搜索的秘密

其實，早在用戶向Google輸入搜索請求之前，搜索的過程就已經(jīng)開始了。名為Googlebot（譯為搜索爬蟲或網(wǎng)絡(luò)蜘蛛）的龐大計算機(jī)群在算法的控制下一直不停地工作，它可以瀏覽并抓取網(wǎng)絡(luò)中的幾十億個網(wǎng)頁，為其編寫索引。當(dāng)用戶輸入關(guān)鍵詞之后，Googlebot便會在索引中查找匹配的網(wǎng)頁，然后將關(guān)聯(lián)度最高的搜索結(jié)果呈現(xiàn)給用戶。形象地說，互聯(lián)網(wǎng)就是一座有數(shù)十億藏書的圖書館，這個圖書館中有上千億的圖書書頁。當(dāng)我們提交一次搜索請求時，Google從所有書頁中找到我們剛好想看的那幾頁。

Googlebot不但抓取網(wǎng)頁，還會抓取視頻、圖像等多媒體信息。作為搜索過程的第一步，Google需要將互聯(lián)網(wǎng)這座巨大的、動態(tài)的圖書館索引數(shù)據(jù)整合到它遍布全球的數(shù)據(jù)中心里。迄今為止，Google聲稱它在構(gòu)建索引方面已經(jīng)花費(fèi)了100萬小時的計算時間，索引量遠(yuǎn)遠(yuǎn)超過100 000TB。毫無疑問，把不斷變化中的整個互聯(lián)網(wǎng)都“搬到自己的家里”是一項非常龐大的工作。

排名算法是核心

從2003年到現(xiàn)在，Google已經(jīng)響應(yīng)了近4 500億個搜索請求，覆蓋的語言多達(dá)146種，在用戶每天的搜索請求中，有16%～20%是新的、從未被搜索過的。據(jù)稱，搜索請求從用戶的電腦到Google的數(shù)據(jù)中心平均需要經(jīng)過2 400km的路程，但是Google通常只需0.25s便可對搜索請求做出回應(yīng)。但是Google認(rèn)為還不夠快，它們推出的搜索建議和Google Instant（即搜即得）技術(shù)在用戶輸入第一個字或者字母時就開始動態(tài)地預(yù)測可能的關(guān)鍵詞，并且在輸入搜索內(nèi)容的同時顯示搜索結(jié)果，使用戶不用輸入完整的關(guān)鍵詞就可以獲得搜索結(jié)果。

Google希望在最短的時間內(nèi)為用戶提供關(guān)聯(lián)度最高的搜索結(jié)果。雖然速度至關(guān)重要，但是最核心的競爭力還是仍在不斷改進(jìn)中的搜索算法。僅2011年一年內(nèi)Google就為改善搜索質(zhì)量進(jìn)行了超過50 000個實驗，并最終做出了超過500處改進(jìn)。目前的算法使用200種指標(biāo)，包括網(wǎng)站內(nèi)容的及時性、權(quán)威性、網(wǎng)頁的網(wǎng)址和標(biāo)題等。最近的一次比較大的搜索算法更新是2012年4月推出的“企鵝”更新，旨在懲罰過度使用搜索引擎優(yōu)化（SEO）技術(shù)的網(wǎng)站，影響了近3%的中文網(wǎng)站。

算法決定了網(wǎng)頁在搜索結(jié)果中的排名和網(wǎng)站從搜索引擎獲得的流量。Google會在升級算法之前說明目的以及將會產(chǎn)生的影響，但是Google搜索算法的細(xì)節(jié)卻是頂級的商業(yè)機(jī)密，是保證Google在搜索領(lǐng)域稱王的核心。從某種程度上說，Google在扮演法官的角色，能否堅守“不作惡”的承諾備受關(guān)注。

搜索的未來

誰都在用搜索引擎，但并非誰都能用好搜索引擎。這是因為使用搜索引擎時需要輸入關(guān)鍵字，而不是人類的自然語言。很多時候，我們需要在大腦中進(jìn)行一次轉(zhuǎn)換。目前，Google已經(jīng)在跨越“關(guān)鍵詞”的桎梏，通過用戶的搜索請求找到“基本語境”，然后通過語義試圖去“理解”用戶想要的最終結(jié)果。例如當(dāng)用戶在搜索了幾種水果之后再搜索“蘋果”，Google就會“理解”我們想找的是蘋果這種水果而非蘋果手機(jī)或者蘋果公司。

從數(shù)據(jù)到信息，再到知識，Google希望自己“整合全球信息”的使命能夠更進(jìn)一步：從搜索引擎變成知識引擎，最終變成人工智能引擎。直接給出問題的答案，而不僅僅是網(wǎng)頁鏈接。Knowledge Graph（知識圖譜）是Google邁向知識引擎的第一步，截至2012年5月已擁有5億個詞條（目前還不包含中文）。另外，隨著Android 4.1系統(tǒng)推出的Google Now正在讓手機(jī)上的搜索變得智能，其實際表現(xiàn)令人期待。

Google是搜索的代名詞、用戶接觸信息的第一入口，但是以人工智能的標(biāo)準(zhǔn)看，Google還只是一個雛形。更不用說在搜索內(nèi)容與人的關(guān)系相結(jié)合以及搜索信息的實時性上，Google還面臨著來自社交網(wǎng)站的巨大挑戰(zhàn)。信息產(chǎn)業(yè)瞬息萬變，Google搜索的使命任重而道遠(yuǎn)。

搜索的旅程

搜索前

搜索查詢的過程早在我們向Google輸入搜索關(guān)鍵字之前就已經(jīng)開始了。Google使用名為Googlebot的“搜索爬蟲”在各個鏈接之間查找網(wǎng)頁，并將網(wǎng)頁上的數(shù)據(jù)“搬到”Google的服務(wù)器。網(wǎng)絡(luò)就像是一本厚達(dá)數(shù)百萬頁的書，搜索的第一步就是為這本書編寫索引。

? Google目前的索引量遠(yuǎn)遠(yuǎn)大于100 000 000GB；

? 迄今為止，Google花費(fèi)了1百萬小時的計算時間來構(gòu)建索引。

搜索時

當(dāng)我們點(diǎn)擊搜索按鈕或者按下回車鍵時，Google的算法會開始搜索我們要查找的內(nèi)容。

? 搜索查詢歷經(jīng)平均2 400km的路程，以每小時幾億公里的速度為我們返回答案（在此過程中還可能訪問世界各地的不同數(shù)據(jù)中心），其速度接近光速；

? Google通常只需0.25s便可對搜索請求做出回應(yīng)，而人平均每眨一次眼睛需要0.1s。

排名

該算法著眼于我們輸入的關(guān)鍵詞，并使用200多種指標(biāo)從數(shù)百萬網(wǎng)頁和內(nèi)容中確定與該查詢相關(guān)程度最高的答案。Google每年進(jìn)行500多次改進(jìn)，以完善其排名算法。

指標(biāo)示例如下：

? 網(wǎng)站內(nèi)容的及時性：

? 鏈接到某個特定網(wǎng)站的其他網(wǎng)站的數(shù)量以及這些網(wǎng)站的權(quán)威性：

? 網(wǎng)頁上的文字：

? 搜索關(guān)鍵字的同義詞：

? 拼寫檢查：

? 網(wǎng)站內(nèi)容的質(zhì)量：

? 網(wǎng)頁的網(wǎng)址和標(biāo)題：

? 最佳結(jié)果是網(wǎng)頁、圖片、視頻、新聞報道還是個性化搜索結(jié)果等：

? 由與我們關(guān)聯(lián)的人員推薦的結(jié)果。

結(jié)果

搜索結(jié)果根據(jù)這些指標(biāo)按相關(guān)程度從高到低排名并顯示在網(wǎng)頁上。除了能即時看到結(jié)果外，將鼠標(biāo)懸停在結(jié)果右側(cè)的箭頭上，我們還可以看到這些網(wǎng)頁的預(yù)覽，因此我們可以快速確定是否要訪問該網(wǎng)站。

? 這些即時預(yù)覽的平均加載時間為1/10s：

? 每天在Google上進(jìn)行的搜索有幾十億次：

? 從2003年開始至今，Google已解決了4 500億個新查詢請求：

? Google每天處理的搜索中有16%～20%是新的。