基于語義相似度的聚焦爬蟲研究

林春杰 金苗娟

摘? 要：實現(xiàn)高效獲取互聯(lián)網(wǎng)中特定領(lǐng)域信息的有效途徑是使用聚焦爬蟲，針對聚焦爬蟲在判斷主題相關(guān)時缺少語義信息的問題，提出了一個基于語義相似度計算的聚焦爬蟲框架。該框架抽取網(wǎng)頁的主題詞、內(nèi)容和鏈接信息作為網(wǎng)頁特征，計算主題相似度。通過鏈接的主題相關(guān)度計算，過濾URL和判斷URL的重要程度。最后給出了對比試驗，驗證了該方法的有效性。

關(guān)鍵詞：聚焦爬蟲;語義相似度;本體;搜索引擎

Abstract：The effective way to achieve efficient access to information in specific areas of the internet is to use focused crawler. To solve the problem of lack of semantic information when focused crawler judges the relevant topics，a focused crawler framework based on semantic similarity calculation is proposed. The framework extracts the subject words，content and link information of web pages as the features of web pages，and calculates the subject similarity. Through the calculation of topic relevance of links，we can filter URL and rank URL. Finally，the experiment result demonstrated that the proposed method has higher performance than traditional crawlers.

Keywords：focused crawler;semantic similarity;ontology;search engine

0? 引? 言

互聯(lián)網(wǎng)信息的規(guī)模正在不斷地增長，但人們搜集信息的效率卻相對落后，搜索引擎技術(shù)可以幫助人們從海量數(shù)據(jù)中快速檢索到所需要的信息。網(wǎng)絡(luò)爬蟲是搜索引擎的核心，它負責(zé)從網(wǎng)絡(luò)中尋找和搜集資源。以Google、百度等搜索引擎為代表的通用搜索引擎目標是覆蓋全網(wǎng)絡(luò)，采用廣度優(yōu)先算法的爬蟲搜集網(wǎng)頁進行索引，其軟硬件資源消耗較大、無法深入抓取深層網(wǎng)絡(luò)資源。聚焦爬蟲通過限定某一個主題，抓取相應(yīng)的網(wǎng)頁，從而提高抓取效率和精度，因此受到了廣泛的關(guān)注。

聚焦爬蟲只關(guān)注特定的主題相關(guān)的網(wǎng)頁，無需搜索整個Web，效率較高，但如何判定網(wǎng)頁的主題相關(guān)性是其核心問題之一。Fish-Search[1]是最早的聚焦爬蟲，它采用深度優(yōu)先策略，只抓取與給定的查詢（關(guān)鍵詞或正則表達式）相匹配的頁面。Shark-Search[2]系統(tǒng)改進了Fish-Search系統(tǒng)，提出利用TF-IDF（term frequency-inverse document frequency）作為文件與用戶查詢之間相關(guān)程度的度量或評級，構(gòu)建空間向量模型計算網(wǎng)頁和主題之間的相似度。PageRank算法[3]將Web看作是有向圖，通過網(wǎng)頁之間的鏈接計算網(wǎng)頁間的重要度和相似度。近年來很多新方法被引入到聚焦爬蟲中，文獻[4]提出了將多目標蟻群算法應(yīng)用于鏈接選擇，優(yōu)化爬蟲搜索方向。文獻[5]給出了一個融合LDA的卷積神經(jīng)網(wǎng)絡(luò)主題爬蟲方法，利用LDA提取的特征彌補神經(jīng)網(wǎng)絡(luò)缺失的主題信息，文獻[6]提出基于主題建模和上位詞替換的語義信息的向量空間語義相似度計算模型。然而，目前網(wǎng)頁結(jié)構(gòu)多樣，語義豐富，如何利用更多的語義信息來提高聚焦爬蟲的效率成為了一個待解決的問題。

針對上述問題，提出了一個基于語義相似度計算的分布式聚焦爬蟲框架，該框架通過計算抽取出的網(wǎng)頁特征間的相似度判斷當(dāng)前網(wǎng)頁和主題的相似度，利用鏈接信息計算待爬取網(wǎng)頁和當(dāng)前主題的相似度從而實現(xiàn)URL過濾和排序。筆者在前期的自科基金項目資助下對本體的構(gòu)建、映射、合并和語義標注等方面做了基礎(chǔ)性的研究，提出的語義相似度計算方法是一種基于本體的方法，目的是通過本體本身蘊含的語義信息擴展網(wǎng)頁中的特征，提高網(wǎng)頁過濾的精度，最后通過對比實驗驗證了該方法的有效性。

1? 網(wǎng)頁特征描述

網(wǎng)頁的內(nèi)容通常由HTML語言描述，HTML文檔是一個半結(jié)構(gòu)化的文檔，主要包含網(wǎng)頁的結(jié)構(gòu)信息，缺少語義。因此如何有效提取網(wǎng)頁中的特征是影響主題分類器的性能的關(guān)鍵問題。網(wǎng)頁中除正文文本以外，還包括對網(wǎng)頁主題描述的信息，例如