網絡時代的更多挑戰靠算法完成

算法是計算機科學領域最重要的基石之一，但卻受到了國內一些程序員的冷落。計算機語言和開發平臺日新月異，但萬變不離其宗的是那些算法和理論，例如數據結構、算法、編譯原理、計算機體系結構、關系型數據庫原理等。在“開復學生網”上，有位同學生動地把這些基礎課程比擬為“內功”，把新的語言、技術、標準比擬為“外功”。整天趕時髦的人最后只懂得招式，沒有功力，是不可能成為高手的。

網絡時代的算法重要嗎

有人也許會說：“今天計算機這么快，算法還重要嗎？”其實永遠不會有太快的計算機，因為我們總會想出新的應用。雖然在摩爾定律的作用下，計算機的計算能力每年都在飛快增長，價格也在不斷下降。可我們不要忘記，需要處理的信息量更是呈指數級增長。現在每人每天都會創造出大量數據（照片、視頻、語音、文本等）。日益先進的記錄和存儲手段使我們每個人的信息量都在爆炸式增長。互聯網的信息流量和日志容量也在飛快增長。在科學研究方面，隨著研究手段的進步，數據量更是達到了前所未有的程度。無論是三維圖形、海量數據處理、機器學習、語音識別，都需要極大的計算量。在網絡時代，越來越多的挑戰需要靠卓越的算法來解決。

再舉另一個例子。利用互聯網和手機搜索，如果要找附近的咖啡店，那么搜索引擎該怎么處理這個請求呢？最簡單的辦法就是把整個城市的咖啡館都找出來，然后計算出它們所在位置與你之間的距離，再進行排序，然后返回最近的結果。但該如何計算距離呢？圖論里有不少算法可以解決這個問題。

這么做也許是最直觀的，但絕對不是最迅速的。如果一個城市只有為數不多的咖啡館，那么這么做應該沒什么問題，反正計算量不大。但如果一個城市里有很多咖啡館，又有很多用戶都需要類似的搜索，那么服務器所承受的壓力就大多了。在這種情況下，我們該怎樣優化算法呢？

首先，我們可以把整個城市的咖啡館做一次“預處理”。比如，把一個城市分成若干個“格子”，然后根據用戶所在的位置把他放到某一個格子里，只對格子里的咖啡館進行距離排序。

問題又來了，如果格子大小一樣，那么絕大多數結果都可能出現在市中心的一個格子里，而郊區的格子里只有極少的結果。在這種情況下，我們應該把市中心多分出幾個格子。更進一步，格子應該是一個“樹結構”，最頂層是一個大格——整個城市，然后逐層下降，格子越來越小，這樣有利于用戶進行精確搜索——如果在最底層的格子里搜索結果不多，用戶可以逐級上升，放大搜索范圍。

上述算法對咖啡館的例子很實用，但是它具有通用性嗎？答案是否定的。比如，用戶想去一個水庫玩，而一個水庫有好幾個入口，那么哪一個離用戶最近呢？這個時候，上述“樹結構”就要改成“r-tree”，因為樹中間的每一個節點都是一個范圍，一個有邊界的范圍。

通過這個小例子，我們看到，應用程序的要求千變萬化，很多時候需要把一個復雜的問題分解成若干簡單的小問題，然后再選用合適的算法和數據結構。

并行算法可以成為Google的核心優勢

每天Google的網站要處理十億個以上的搜索，Gmail要儲存幾千萬用戶的2G郵箱，Google Earth要讓數十萬用戶同時在整個地球上遨游，并將合適的圖片經過互聯網提交給每個用戶。如果沒有好的算法，這些應用都無法成為現實。

在這些應用中，哪怕是最基本的問題都會給傳統的計算帶來很大的挑戰。例如，每天都有十億以上的用戶訪問Google的網站，使用Google的服務，也產生很多很多的日志（Log）。因為日志每分每秒都在飛速增加，我們必須找到好的辦法去處理。如何正確地對日志進行分析處理？在目前看來，其處理速度都跟不上數據產生的速度。

在網絡時代，就算有最好的算法，也要能在并行計算的環境下執行。而在Google的數據中心，我們使用的是超大的并行計算機。但傳統的并行算法運行時，效率會在增加機器數量后迅速降低，也就是說，十臺機器如果有五倍的效果，增加到一千臺時也許就只有幾十倍的效果。這種事倍功半的代價是沒有哪家公司可以負擔得起的。而且，在許多并行算法中，只要一個結點犯錯誤，所有計算都會前功盡棄。