搜索引擎中網絡爬蟲的設計與實現

劉 偉

南京鐵道職業技術學院，江蘇南京 210015

搜索引擎中網絡爬蟲的設計與實現

劉 偉

南京鐵道職業技術學院，江蘇南京 210015

隨著信息時代的來臨，互聯網逐漸滲透到我們生活中的每個角落，其中搜索引擎的應用，更是為我們的生活和學習帶來了很大的便利。研究搜索引擎中網絡爬蟲的設計與實現，對于優化搜索引擎性能，提升搜索引擎效率有著重要的意義。本文主要分析了基于主題搜索引擎中網絡爬蟲的設計與實現，并提出了相應的方法和手段。

主題搜索引擎；網絡爬蟲；設計；實現

搜索引擎的使用，使人們能夠更加方便快捷地從網絡上獲取想要的信息。隨著互聯網和計算機技術的不斷發展，傳統的通用搜索引擎已經很難滿足人們的信息檢索要求，而主題搜索引擎的產生為信息檢索服務水平的提高帶來了福音。而作為搜索引擎的基礎部分，網絡爬蟲對于信息檢索服務的實現起著舉足輕重的作用。因而只有根據搜索引擎的發展和創新不斷優化網絡爬蟲的設計，才能提高網絡爬蟲的性能以及主題搜索引擎的應能。

1 主題搜索引擎和網絡爬蟲

將互聯網中大量的進行信息選取、整理存儲并建立索引，再提供友好接口，使用戶在這些信息中及時、準確、快速獲取需求的信息的查詢系統就是搜索引擎。

主題搜索引擎，是以構建某一專題領域或者某一學科領域的因特網信息資源庫為目的，在互聯網上智能的搜集符合設定專題要求或者符合該學科需要的信息和資源。主題搜索引擎的產生，克服了傳統搜索引擎在信息檢索服務中的諸多困難，不但使信息檢索變得更加細致、精確，使搜索到的數據更加精確和全面，搜索到的信息更加深入，同時也使相關專題信息資源和學科信息資源的更新更加及時，總之，大大提高了信息檢索服務質量，提高了搜索引擎的性能。

網絡爬蟲是搜索引擎中，探索與下載網頁資源的程序，在搜索的過程中，程序自己判斷下一步抓取的對象，具有相應的智能性，因此又叫網絡機器人。網頁之間的鏈接，使互聯網形成了網狀的結構，爬蟲程序類似這張網上的蜘蛛，所以叫網絡蜘蛛。

網絡爬蟲作為搜索引擎的基礎組成部分，起著重要的作用。隨著應用的不斷深化，技術的快速進步，網絡爬蟲更加普遍地運用于站點結構分析、頁面有效性分析、內容安全檢測、用戶興趣挖掘以及個性化信息獲取等多種服務中。

通用網絡爬蟲要能盡量收集頁面，進行的過程中，不考慮處理頁面的前后順序、獲取的頁面與主題是否相關。在傳統爬蟲基礎上，加入了Web數據、挖掘等相關技術，使爬蟲在工作的過程中，沿著能夠找到目標頁面的路徑進行有效的爬行。提高現有搜索引擎查找的精度、更新的周期是主題爬蟲的功能，主題網絡爬蟲的基本思想就是按著預先指定的主題，對下載的頁面內容及鏈接進行分析，并計算當前頁面與主題相關率，并預測下一個要處理的鏈接，確保在爬行的過程中，獲取與主題關系較多的頁面，對不能找到目標頁面的路徑減少爬取，其中，主題網絡爬蟲要盡可能地過濾掉頁面中，關系不大的鏈接，保留可能與主題相對密切的鏈接，放入相應隊列中；再運用一定的方法，從隊列中選出要處理的頁面的鏈接。

2 主題網絡爬蟲的設計和實現策略

面向主題搜索引擎的網路爬蟲以普通網絡爬蟲為基礎，并在此基礎上進行擴展和調整，使其具備主題網絡爬蟲獨有的功能，進而實現面向主題的網頁信息提取。近年來，隨著人們對主題搜索引擎渴望成都的日益增加，面向主題的網絡爬蟲研究已經成為學界重點研究的問題之一。面向主題的信息自動采集系統可分為4個部分，即主題的選擇、Web信息的提取、頁面過濾、鏈接過濾。以下進行一一闡述。

2.1 主題的選擇

主題可以是一個含義和概念，也可以是一個詞語、短語、一個段落甚至一篇文章，總之，從語義上看，主題的概念是十分廣泛的。從概念上看，主題的范圍可大可小，當主題的范圍較為抽象和模糊使，其含義也相應模糊，相反地，如果主題的界限相對明確，其含義也就相對明確清晰。主題的選擇是面向主題的Wed信息提取的重要基礎。

2.2 面向主題的Web信息提取

網絡爬蟲系統中，Web信息提取部分通過各種Web協議自動提取Web站點中的有效信息，這些有效信息包括圖像、文本、聲音、影響等等，所涉及到相關協議包括FTP、HTTP、BBS等等。除此之外，Web信息搜索還可以根據用戶的具體實際需要，搜索和采集Web Chat等特殊形式的Web信息。

2.3 頁面過濾

在本系統中，主題網絡蜘蛛主要處理的是HTML頁面。因此，在頁面分析與過濾過程中，我們所做的工作主要包括對HTML頁面進行語法分析，以提取出網頁正文、鏈接、鏈接相關標簽屬性數據及其它相關內容，然后對網頁進行主題相關性判別，從而過濾掉與主題無關頁面，提高主題網絡蜘蛛的主題信息提取的準確性。

2.3.1 HTML語法分析

HTML語法分析過程可分為SGML標記文法層和HTML標記層：

SGML文法層的功能是將頁面分解成正文、轉義字符、注釋、標記等等，標記文法分析器的主工作原理是：從標記文法創建狀態轉換表，根據輸入流中的字符切換狀態，在特定狀態到達時執行相應語義操作。HTML表基層的任務是維護當前解析正文的各種狀態。

2.3.2 頁面相關性判斷

在進行Web主題信息提取中，提取的URL通過了主題相關性判別。即使這樣，提取的頁面內容，與設定的主題可能相差很遠。這將影響主題頁面信息的提取準確率。所以，在頁面提取之后，要對頁面進行與主題有關性的判別，以淘汰掉與主題無關頁面。

2.4 鏈接過濾

面向主題的網絡蜘蛛，在選取Web信息時面向選定的主題。要提高主題Web信息提取速度和準確率，系統需要對采集UI，進行URl和主題的關系的判定，這也叫做鏈接過濾，或者鏈接預測。根據高預測值優先采集、低預測值要舍棄的原則，對發現的URL進行剪枝處理，能大幅度減少采集頁面的數量，提高主題信息搜索時效性，對于主題搜索網絡蜘蛛來說，搜索策略中的關鍵所在是如何評價鏈接對于主題的價值，即鏈接價值的計算方法，

面向主題的網絡爬蟲系統中鏈接過濾常見的算法是EPR算法。盡管PageRank方法，能獲得Web上的重要頁面，其確定的重要頁面卻是針對廣泛主題的，不能面向具體主題的。作為另一個被廣泛接受的超鏈分析算法HITS，基于權威頁面和中心頁面相互加強的設計模型，提供了發現權威頁面的有效辦法。處理不好主題偏離問題，也就是緊密鏈接，也是HITS算法存在的一個最大的弱點，就是TKC（Tightly-Knit Community Effect，簡稱TKC）現象口51。為此，我們對PageRank方法做了如下改進：在鏈接關系的基礎上，加入針對鏈接的相關主題權重，再引入鏈接網頁之間主題度，相互反饋加強的考慮，使其所產生的重要頁面是針對某一個主題的，這就是EPR算法。

3 結論

隨著計算機的普及和互聯網技術的不斷發展，人們對搜索引擎的使用變得越來越主動，越來越頻繁，信息檢索服務也在向著個性化、精細化等方向發展。傳統的搜索引擎雖然在過去一定程度上滿足了人們對信息檢索的渴求，但是在科技發展日新月異、生活和工作節奏逐漸加快的今天，已經無法適應人們越來越高的信息檢索需求，而面向主題的搜索引擎的產生極大地提高了信息檢索服務質量和效率。

網絡爬蟲作為面向主題的搜索引擎的重要基礎和組成部分，其設計質量的提升對于面向主題的搜索引擎功能的提升有著重要的意義。近年來，網絡爬蟲以哪種訪問策略對Web進行訪問，能提高面向主題的搜索引擎的搜索速度，以及設計網絡爬蟲系統的各種算法的設計和改進已經成為學界研究的熱點問題。筆者在文中闡述了面向主題搜索引擎的網絡爬蟲的設計與實現策略，闡述了爬蟲系統的構成，即主題的選擇、Web信息的提取、頁面過濾、鏈接過濾四部分，并進行了一一的分析和總結，最終提出了對PageRank算法的改進策略，以期為面向主題搜索引擎中網絡爬蟲的設計與實現的研究作出應有的理論貢獻和實踐參考。

[1]盧亮，張博文.搜索引擎原理、實踐與應用[M].北京：電子工業出版社，2007.

[2]謝新洲．網絡信息檢索技術與案例[M].北京：北京圖書館出版社，2005：29-30.

[3]周立柱，林玲.聚焦爬蟲技術研究綜述[J].計算機應用，2005，25(9)：1965-1989．

[4]劉金紅，陸余良.主題網絡爬蟲研究綜述[J].計算機應用研究，2007，24(10)：26-29，47.

[5]劉瑋瑋.搜索引擎中主題爬蟲的研究與實現田[D].南京：南京理工大學，2006．

[6]楊溥.搜索引擎中爬蟲的若干問題研究[D].北京：北京郵電大學，2009，1.

TP393

A

1674-6708（2011）53-0178-02