Robots協議在中國實踐的思考

李延超+李民

2014年8月7日，北京市第一中級人民法院就百度訴奇虎360違反Robots協議、不正當競爭糾紛一案做出一審判決。判決認為，被告奇虎360的行為違反了《反不正當競爭法》相關規定，應賠償原告百度經濟損失及合理支出共計70萬元，同時駁回百度其他訴訟請求。該案通過司法判決的方式確立了Robots協議這一技術協議、技術規范的法律效力，具有里程碑意義。

Robots協議在中國的實踐和發展

Robots協議是一個約定搜索引擎和內容網站關系的協議，全稱為“網絡爬蟲排除標準”（Robots Exclusion Protocol），也稱為爬蟲協議、爬蟲規則、機器人協議等，從技術實操來說，它是一種存放于網站根目錄下的編碼文本文件。

Robots協議不是國際標準，也不是行業規范，但因其符合了內容網站、搜索引擎、網民等各方的利益，促進了互聯網的有序發展，已成為國際互聯網界因共識形成的道德約束，可謂是“君子協定”。

筆者走訪了互聯網業界的資深人士和法律專家，在他們看來，自獨立搜索引擎技術產生至今，Robots協議在中國的實踐和發展大體經歷了三個階段。

第一階段：門戶網站時期。業界也習慣將這一時期稱為Web1.0時期，這一時期是互聯網發展的初期，網上內容整體較少，以人民網、新華網、千龍網、新浪、搜狐、網易、TOM網、中華網等新聞門戶網站為代表的內容提供商占據著主導地位。當時的大部分網站，特別是門戶網站，更愿意選擇站內搜索來呈現自身海量信息中網民需要的內容，搜索引擎運營商處于弱勢地位。

此時的Robots協議，更多是照顧內容提供網站的利益，由內容提供網站就哪些內容可被抓取向搜索引擎運營商提要求。而搜索引擎網站為了能更多地抓取內容網站的內容，甚至提供免費站內搜索技術和服務。

第二階段：搜索信息時期。互聯網的海量信息成就了搜索引擎。隨著互聯網的發展，搜索引擎逐步成為網民查詢信息的一個高效工具，同時也成為網站建設中針對“用戶使用網站的便利性”所提供的必要功能。毋庸置疑，無論是直接搜索還是站內搜索，高效的檢索可以讓用戶更加快速準確地找到目標信息，從而更有效地促進信息傳播，促進產品（服務）銷售。

這一時期，可以說是搜索引擎和內容提供網站之間的“蜜月期”，也是相互利用、相互促進期，在世界網民人數高速增長和互聯網走出第一次泡沫期的背景下，雙方都得到了發展，各自都獲得了經濟利益，自然鮮有矛盾和分歧。

在此期間，搜索引擎的話語權逐步建立。搜索引擎為了爬蟲省事，已可以向內容網站提出要求，如把網站地圖通過Robots協議標出來，以方便爬蟲抓取的時候通過地圖就知道哪個頻道、哪些內容是最新最快的，就不會把網站內容全部抓走，而只抓它認為有價值的東西。同時，爬蟲通過Robots協議可以屏蔽一些網站中比較大的文件，如：圖片、音樂、視頻等，節省服務器帶寬，還可以屏蔽站點的一些死鏈接。

第三階段：搜索入口時期。以技術革命為代表的互聯網在信息傳播上不可逆轉地進入Web2.0時代，信息爆炸和個性化需求使網民越來越依賴從搜索引擎開始互聯網之旅。特別是國外以Google為代表、國內以百度為代表的搜索引擎服務商把搜索變成了一種成功的商業模式，搜索引擎不僅能提供信息檢索，同時也成為了互聯網入口和流量分發器。此外，互聯網企業還發現，對網民搜索行為的深度分析，對于進一步制定更為有效的網絡營銷策略和產品的銷售具有十分重要的價值。

這一切，對于流量就是生命線的內容網站來說，與搜索引擎的關系徹底產生逆轉：一是做內容的網站多，同質化情況嚴重，希望搜索引擎抓取；二是搜索成為重要入口，流量好處巨大。搜索引擎一定程度上決定了網民去哪看什么，內容網站在形式上開始依賴于搜索引擎。搜索處于絕對強勢。搜索引擎不再那么顧慮內容網站的想法，反正網上有那么多一樣的內容，搜索引擎開始有了自己的爬蟲算法和排序，不是什么都抓，甚至產生了一些公司專門幫助內容網站做SEO（搜索結果優化），以便網站內容和搜索引擎更友好，更容易被抓取、被推薦。

Robots協議的判例及爭議

由于Robots協議較好地規范了搜索引擎和內容網站之間的利益和關系，在很長的時間里，世界范圍內鮮有因Robots協議產生的訴訟及較大爭議。目前，能通過網上搜索查詢到的案例也只有以下不多的幾例：

BE違規抓取eBay案。2000年，美國加州北部的聯邦地方法院在著名的“eBay VS BE”案中，第一次引用Robots協議對案件進行裁定。BE（Bidders Edge）成立于1997年，是專門提供拍賣信息的聚合網站，BE利用爬蟲抓取來自eBay等各個大型拍賣網站的商品信息，放在自己的網站上供用戶瀏覽，并獲得可觀的網站流量。雖然eBay早已設置了Robots協議，禁止BE爬蟲的抓取，但BE卻無視這個要求。原因很簡單，BE網站69%的拍賣信息均來自eBay， 如停止抓取eBay內容，意味著BE將損失至少三分之一的用戶。

2000年2月，eBay一紙訴狀將BE告上聯邦法庭。三個月后，受理此案的美國聯邦法官裁定BE侵權成立。法官認為：“eBay 的網站內容屬于私有財產，eBay有權通過Robots協議對其進行限制。違規抓取的行為無異于“對于動產的非法侵入”，并據此做出裁決。法官并沒有對Robots協議的效力做出認定，而是將動產侵害原則適用到互聯網領域，這一案例在當時引發了美國互聯網產業乃至社會的廣泛討論，成為當時網絡侵權案的標志性案例，也是與Robots協議有關的最著名案例。

淘寶禁止百度抓取爭議。2008年9月8日下午，針對百度即將推出與其競爭的C2C業務，淘寶網以杜絕不良商家欺詐為由，宣布屏蔽搜索引擎百度。淘寶表示，通過對不同搜索引擎進行不同程度的屏蔽，可以杜絕不法商家利用競價排名、搜索優化等手段騙取消費者信任，并對優秀賣家進行鼓勵。據淘寶網當時提供的統計數據，80%以上的消費者投訴源于極少數不良商家。這些不良商家的主要手段之一就是：通過技術或商業手段，優化通用搜索的頁面結果，獲得較高排名騙取消費者點擊。通過屏蔽部分搜索引擎，可以最大限度地避免消費者上當受騙。百度遵守Robots協議，爬蟲不再抓取淘寶網數據。endprint

Twitter、Facebook禁止谷歌抓取實時信息。互聯網的本質中即包含技術革命、自由精神及挑戰權威性，在搜索引擎贏得互聯網時代的同時，也埋下其被挑戰和顛覆的種子。互聯網Web2.0終于盼來了新時代，他們的代表就是微博和社交網站。以Twitter、Facebook為代表的新型內容網站，在其發展初期自然也需要借力于搜索引擎，但當其閉環內容達到一個量級時，特別是網民在Twitter、Facebook中可以瀏覽到足夠需求的信息時，這時已不再需要搜索引擎網站作為入口，而只需站內搜索即可。

2011年7月，Twitter不再允許Google抓取其實時信息，這甚至導致了Google的一款產品Google+的衰亡。表面原因很簡單，如Google聲明所說，“自從2009年10月起，我們就與Twitter達成協議，將在搜索中整合特殊內容，這份協議7月2日將到期。盡管我們將無法獲得來自Twitter的特殊信息，不過公開抓取的Twitter信息還是可以搜索的，也可以在Google上找到。”而根本原因，正如筆者分析，Twitter已足夠強大，已無需搜索引擎為其提供信息入口和推廣，而搜索引擎仍需要內容。如果Google還想抓取Twitter實時信息，恐怕必須付錢了。

無獨有偶，轉眼的2012年，社交網站巨頭Facebook也果斷禁止谷歌對其數據進行抓取。谷歌CEO拉里·佩奇多次公開表達對Facebook的不滿，指責其拿用戶當人質。其實，谷歌CEO的惱羞成怒是有道理的，Facebook不允許谷歌抓取的理由——考慮用戶隱私權是不成立的。但卻允許雅虎納入來自Facebook的搜索結果。谷歌與Facebook競爭的優勢是搜索引擎，一旦Facebook推出社交化的搜索引擎，谷歌在搜索引擎的霸主地位就將終結。這當然也正是Facebook對谷歌封閉的考慮。如拉里·佩奇所說，“Facebook只是不愿意與我們合作。”

以上三個案例可以看出，在世界互聯網范圍內，也存在大致的搜索引擎和內容網站關系的三個時期，也可以說Robots協議的三個階段，與國內的不同也只是所經歷時間的長短和對規則的敬畏、誠信的自覺、利益的分配的微妙差別。可以看到，在第一階段和第二階段，Robots協議下的搜索引擎與內容網站間的利益關系是完全正向的，本質是互利的，所以搜索引擎間沒有因Robots協議產生任何官司。隨著搜索引擎逐漸具備內容能力并最終占據絕對強勢地位，再到社交網站和微博的崛起，搜索引擎和內容網站間利益分化，搜索引擎間的矛盾不可避免。

在以市場為主導的互聯網產品競爭中，只有真正符合網民需求，推動互聯網發展的應用和服務才能最終獲得市場，實現企業的經濟利益最大化。無論是靠Robots協議或者某一協調條款來維護既得利益，還是靠打擦邊球、利用灰色地帶，終將被市場所淘汰，被網民所拋棄。endprint