基于“網(wǎng)絡(luò)蜘蛛原理”的搜索引擎技術(shù)剖析

金　益

摘要：主要介紹網(wǎng)絡(luò)蜘蛛的基本原理及相關(guān)技術(shù)。

關(guān)鍵詞：網(wǎng)絡(luò)蜘蛛搜索引擎

鏈接深度動態(tài)網(wǎng)頁

中圖分類號TP393.09

文獻標(biāo)識碼A文章編號：1002-2422(2007)05-0006-02

中文搜索引擎的查全率需保證不遺漏某些重要的結(jié)果，而且能找到最新的網(wǎng)頁，這需要搜索引擎有一個強大的網(wǎng)頁收集器(稱為“網(wǎng)絡(luò)蜘蛛”)，一個優(yōu)秀的搜索引擎，需要不斷的優(yōu)化網(wǎng)絡(luò)蜘蛛的算法，提升其性能。主要介紹網(wǎng)絡(luò)蜘蛛的基本原理及相關(guān)技術(shù)。

1網(wǎng)絡(luò)蜘蛛基本原理

網(wǎng)絡(luò)蜘蛛即Web Spider，是通過網(wǎng)頁的鏈接地址來尋找網(wǎng)頁，從網(wǎng)站的某一個頁面開始，讀取網(wǎng)頁的內(nèi)容，找到在網(wǎng)頁中的其它鏈接地址，然后通過這些鏈接地址尋找下一個網(wǎng)頁，這樣循環(huán)下去，直到把這個網(wǎng)站所有的網(wǎng)頁都抓取完為止。

在抓取網(wǎng)頁的時候，網(wǎng)絡(luò)蜘蛛一般有兩種策略：廣度優(yōu)先和深度優(yōu)先。廣度優(yōu)先是指網(wǎng)絡(luò)蜘蛛會先抓取起始網(wǎng)頁中鏈接的所有網(wǎng)頁，然后再選擇其中的一個鏈接網(wǎng)頁，繼續(xù)抓取在此網(wǎng)頁中鏈接的所有網(wǎng)頁。深度優(yōu)先是指網(wǎng)絡(luò)蜘蛛會從起始頁開始，按照每個鏈接跟蹤下去，處理完這條線路之后再轉(zhuǎn)入下一個起始頁，繼續(xù)跟蹤鏈接。兩種策略的區(qū)別見圖1。

網(wǎng)絡(luò)蜘蛛在訪問網(wǎng)站網(wǎng)頁的時候，經(jīng)常會遇到加密數(shù)據(jù)和網(wǎng)頁權(quán)限的問題，有些網(wǎng)頁是需要會員權(quán)限才能訪問。網(wǎng)站的所有者可以通過協(xié)議讓網(wǎng)絡(luò)蜘蛛不去抓取。一些出售報告的網(wǎng)站，他們希望搜索引擎能搜索到他們的報告，但又不能完全免費的讓搜索者查看，這樣就需要給網(wǎng)絡(luò)蜘蛛提供相應(yīng)的用戶名和密碼。網(wǎng)絡(luò)蜘蛛可以通過所給的權(quán)限對這些網(wǎng)頁進行網(wǎng)頁抓取，從而提供搜索，而當(dāng)搜索者點擊查看該網(wǎng)頁的時候，同樣需要搜索者提供相應(yīng)的權(quán)限驗證。

2內(nèi)容提取

搜索引擎建立網(wǎng)頁索引，處理的對象是文本文件。對于網(wǎng)絡(luò)蜘蛛來說，抓取的網(wǎng)頁格式包括html、圖片、doc、pdf、多媒體、動態(tài)網(wǎng)頁及其它格式等。這些文件抓取下來后，需要把這些文件中的文本信息提取出來。準(zhǔn)確提取這些文檔的信息，一方面對搜索引擎的搜索準(zhǔn)確性有重要作用；另一方面對于網(wǎng)絡(luò)蜘蛛正確跟蹤其它鏈接有一定影響。

(1)doe、pdf等由專業(yè)廠商提供的軟件生成的文檔，會提供相應(yīng)的文本提取接口。網(wǎng)絡(luò)蜘蛛只需調(diào)用這些插件的接口，就可提取文檔中的文本信息和文件其它相關(guān)的信息。

(2)HTML等文檔不一樣，HTML有一套自己的語法，通過不同的命令標(biāo)識符來表示不同的字體、顏色、位置等版式，在提取文本信息時需要把這些標(biāo)識符都過濾掉。在識別這些信息的時候，需要同步記錄許多版式信息，例如文字的字體大小、是否是標(biāo)題、是否是加租顯示、是否是頁面的關(guān)鍵詞等，這些信息有助于計算單詞在網(wǎng)頁中的重要程度。同時，對于HTML網(wǎng)頁來說，除了標(biāo)題和正文以外，會有許多廣告鏈接以及公共的頻道鏈接，這些鏈接和文本正文一點關(guān)系也沒有，在提取網(wǎng)頁內(nèi)容的時候，也需要過濾掉這些無用的鏈接。過濾這些無效鏈接需要統(tǒng)計大量的網(wǎng)頁結(jié)構(gòu)規(guī)律。抽取一些共性，統(tǒng)一過濾，對于一些重要而結(jié)果特殊的網(wǎng)站，還需要個別處理。這就需要網(wǎng)絡(luò)蜘蛛的設(shè)計有一定的擴展性。

(3)對于多媒體、圖片等文件，一般是通過鏈接的錨文本和相關(guān)的文件注釋來判斷這些文件的內(nèi)容，例如有一個鏈接文字為“北京大學(xué)的照片”，其鏈接指向一張bmp格式的圖片，那么網(wǎng)絡(luò)蜘蛛就知道這張圖片的內(nèi)容是“北京大學(xué)的照片”，這樣，在搜索“北京大學(xué)”和“照片”的時候都能讓搜索引擎找到這張圖片。另外，許多多媒體文件中有文件屬性，考慮這些屬性也可以更好的了解文件的內(nèi)容。

(4)動態(tài)網(wǎng)頁一直是網(wǎng)絡(luò)蜘蛛面臨的難題。開發(fā)語言的不斷增多，動態(tài)網(wǎng)頁的類型也越來越多，網(wǎng)絡(luò)蜘蛛比較難于處理的是一些腳本語言(如VBScdpt和JavaScript)生成的網(wǎng)頁，如果要完善的處理好這些網(wǎng)頁，網(wǎng)絡(luò)蜘蛛需要有自己的腳本解釋程序。對于許多數(shù)據(jù)是放在數(shù)據(jù)庫的網(wǎng)站，需要通過本網(wǎng)站的數(shù)據(jù)庫搜索才能獲得信息，這給網(wǎng)絡(luò)蜘蛛的抓取帶來很大的困難，如果網(wǎng)站設(shè)計者希望這些數(shù)據(jù)能被搜索引擎搜索，則需要提供一種可以遍歷整個數(shù)據(jù)庫內(nèi)容的方法。

網(wǎng)頁內(nèi)容的提取，一直是網(wǎng)絡(luò)蜘蛛中重要的技術(shù)。整個系統(tǒng)一般采用插件的形式，通過一個插件管理服務(wù)程序，遇到不同格式的網(wǎng)頁采用不同的插件處理。這種方式的好處在于擴充性好，每發(fā)現(xiàn)一種新的類型，就可以把處理方式做成一個插件補充到插件管理服務(wù)程序之中。

3更新周期

由于網(wǎng)站的內(nèi)容經(jīng)常在變化，網(wǎng)絡(luò)蜘蛛也需不斷的更新其抓取網(wǎng)頁的內(nèi)容，因此需要網(wǎng)絡(luò)蜘蛛按照一定的周期去掃描網(wǎng)站，查看哪些頁面是需要更新的頁面，哪些頁面是新增頁面，哪些頁面是已經(jīng)過期的死鏈接。

搜索引擎的更新周期對搜索的查全率有很大影響。如果更新周期太長，則總會有一部分新生成的網(wǎng)頁搜索不到；周期過短，技術(shù)實現(xiàn)會有一定難度，而且會對帶寬、服務(wù)器的資源都有浪費。搜索引擎的網(wǎng)絡(luò)蜘蛛不是所有的網(wǎng)站都采用同一個周期進行更新，一些重要的更新量大的網(wǎng)站，更新的周期短，如有些新聞網(wǎng)站，幾個小時就更新一次，相反一些不重要的網(wǎng)站，更新的周期就長，可能一兩個月才更新一次。

一般來說，網(wǎng)絡(luò)蜘蛛在更新網(wǎng)站內(nèi)容的時候，不用把網(wǎng)站網(wǎng)頁重新抓取一遍，對于大部分的網(wǎng)頁，只需要判斷網(wǎng)頁的屬性(主要是日期)，把得到的屬性和上次抓取的屬性相比較，如果一樣就不用更新。

4結(jié)束語

網(wǎng)絡(luò)蜘蛛可以算得上是為Internet而開發(fā)的最有用處的工具之一。要從各不相同的站點中獲取信息，網(wǎng)絡(luò)蜘蛛技術(shù)是一個很好的技術(shù)手段。目前如何發(fā)現(xiàn)更多的網(wǎng)頁，如何正確提取網(wǎng)頁內(nèi)容，如何下載動態(tài)網(wǎng)頁，如何提供抓取速度，如何識別網(wǎng)站內(nèi)容相同的網(wǎng)頁等都是網(wǎng)絡(luò)蜘蛛需要進一步改進的問題。