淺談垂直搜索引擎的工作原理

摘 要：垂直搜索引擎依據(jù)專業(yè)領(lǐng)域主題定制策略，可以僅提取與主題相關(guān)的信息，大大提高了查詢效率，為用戶提供更迅速的查詢服務(wù)。

關(guān)鍵詞：垂直搜索引擎； 工作原理

中圖分類(lèi)號(hào)：TP393.09 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-3315(2011)6-171-001

當(dāng)今世界網(wǎng)絡(luò)已經(jīng)延伸到人類(lèi)社會(huì)的大部分角落，人們的日常工作和生活已經(jīng)很難離開(kāi)網(wǎng)絡(luò)。隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和網(wǎng)絡(luò)信息爆炸式的增加，人們?cè)絹?lái)越多地關(guān)注如何快速而有效地從海量的網(wǎng)絡(luò)信息中查找所需的有價(jià)值信息。當(dāng)前人們?cè)诨ヂ?lián)網(wǎng)上查找各種信息的時(shí)候都需要依仗搜索引擎，然而傳統(tǒng)的搜索引擎在很多地方已經(jīng)很難滿足用戶的檢索需求，所以垂直搜索引擎應(yīng)運(yùn)而生。它基于傳統(tǒng)的搜索引擎技術(shù)，同時(shí)加入了最新的網(wǎng)絡(luò)技術(shù)、人工智能、數(shù)據(jù)庫(kù)技術(shù)等多種新興技術(shù)，具有很高的實(shí)用價(jià)值。

通用搜索引擎在應(yīng)用方面存在著許多問(wèn)題，首先是其檢索功能比較單一，信息加工深度不夠，這使得信息查詢的查準(zhǔn)率不高，用戶很難找到自己滿意的資料。高精確檢索方式不足，不易處理多詞和限定詞檢索；其次，通用搜索引擎對(duì)動(dòng)態(tài)網(wǎng)頁(yè)的處理技術(shù)還不夠成熟，其搜索對(duì)象主要是文本格式網(wǎng)頁(yè)，無(wú)法有效提取信息量較大的動(dòng)態(tài)網(wǎng)頁(yè)以及多媒體信息資源；最后，通用搜索引擎綜合性比較強(qiáng)，它收錄各學(xué)科和各行業(yè)的信息，由于信息量過(guò)大，因此很難在某一專業(yè)方面做到全、快、精、準(zhǔn)。

垂直搜索引擎只針對(duì)某一特定主題進(jìn)行搜索，依據(jù)預(yù)先已定義好的主題選擇性地收集相關(guān)的網(wǎng)頁(yè)。這樣大大降低了網(wǎng)上收集信息的難度，從而提高了信息處理的質(zhì)量。由于只收學(xué)科領(lǐng)域單一、信息量相對(duì)較少，可采用專家分類(lèi)標(biāo)引的方法對(duì)搜集到的網(wǎng)頁(yè)信息進(jìn)行處理，建立起質(zhì)量高、專業(yè)信息全、實(shí)時(shí)更新快的索引數(shù)據(jù)庫(kù)；垂直搜索引擎只涉及一個(gè)或幾個(gè)領(lǐng)域，可以利用專業(yè)詞表對(duì)語(yǔ)料詞匯進(jìn)行規(guī)范和控制，從而提高查全率和查準(zhǔn)率。

垂直搜索引擎系統(tǒng)利用網(wǎng)絡(luò)爬蟲(chóng)對(duì)網(wǎng)頁(yè)有效信息進(jìn)行提取，建立網(wǎng)頁(yè)數(shù)據(jù)庫(kù)，對(duì)網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行分析并建立與管理索引數(shù)據(jù)庫(kù)，通過(guò)查詢服務(wù)模塊同用戶進(jìn)行信息交互，為用戶提供垂直搜索服務(wù)，垂直搜索引擎工作原理框架如圖所示

有效網(wǎng)頁(yè)→對(duì)網(wǎng)頁(yè)進(jìn)行分析建立索引數(shù)據(jù)庫(kù)→根據(jù)用戶提交的搜索信息在索引數(shù)據(jù)庫(kù)中進(jìn)行搜索→對(duì)搜索結(jié)果進(jìn)行處理、排序并顯示。

按照系統(tǒng)的工作流程和功能，可以對(duì)系統(tǒng)進(jìn)行細(xì)化，系統(tǒng)主要分為網(wǎng)頁(yè)采集模塊、索引模塊、用戶搜索功能模塊、用戶管理功能模塊以及數(shù)據(jù)庫(kù)管理功能模塊。垂直搜索引擎基本功能框架如下圖所示

（1）網(wǎng)頁(yè)采集模塊

網(wǎng)頁(yè)自動(dòng)采集之前首先要對(duì)采集頁(yè)面進(jìn)行相應(yīng)的設(shè)置，主題網(wǎng)絡(luò)蜘蛛通過(guò)URL來(lái)查找網(wǎng)頁(yè)的，采用多線程的方式從某一個(gè)具有主題意義的頁(yè)面開(kāi)始，采集網(wǎng)頁(yè)的信息，抽取網(wǎng)頁(yè)的內(nèi)容并存儲(chǔ)網(wǎng)頁(yè)信息，然后找到在網(wǎng)頁(yè)中的其它鏈接地址，通過(guò)這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè)，就這樣循環(huán)，直到將相關(guān)網(wǎng)站所有的網(wǎng)頁(yè)都抓取完為止。

（2）索引模塊

該模塊主要是對(duì)網(wǎng)頁(yè)采集到的信息進(jìn)行分析，過(guò)濾掉腳本標(biāo)示符和一些無(wú)用處的信息，利用分詞處理技術(shù)對(duì)文本進(jìn)行信息處理，參照字典文件對(duì)網(wǎng)頁(yè)中的詞進(jìn)行識(shí)別，并分配唯一的wordID號(hào)，根據(jù)相應(yīng)的規(guī)則放入索引數(shù)據(jù)庫(kù)，為數(shù)據(jù)庫(kù)中的索引模塊服務(wù)。

（3）檢索模塊

搜索引擎用戶利用接口程序向垂直搜索引擎提交查詢請(qǐng)求，請(qǐng)求包括搜索關(guān)鍵字、排序方式等，系統(tǒng)根據(jù)用戶輸入的關(guān)鍵字或句子進(jìn)行信息分析，然后提交給檢索程序在索引數(shù)據(jù)庫(kù)中查找包含該詞的文本，同時(shí)根據(jù)相似度或用戶的個(gè)性化需求進(jìn)行排序并呈現(xiàn)給用戶。

（4）數(shù)據(jù)管理

該模塊是對(duì)垂直搜索引擎的數(shù)據(jù)庫(kù)進(jìn)行管理，根據(jù)網(wǎng)頁(yè)采集的信息及時(shí)進(jìn)行更新，檢索模塊通過(guò)完善的數(shù)據(jù)庫(kù)可以為用戶及時(shí)準(zhǔn)確的查找所需信息。定期對(duì)數(shù)據(jù)庫(kù)進(jìn)行備份，防止數(shù)據(jù)丟失后無(wú)法恢復(fù)。

（5）用戶管理

管理用戶的基本信息并進(jìn)行維護(hù)，對(duì)用戶權(quán)限進(jìn)行相應(yīng)的配置管理，收集應(yīng)對(duì)用戶的不同需求。如管理員將需要對(duì)系統(tǒng)進(jìn)行管理，配置適當(dāng)?shù)闹黝}爬蟲(chóng)參數(shù)，對(duì)數(shù)據(jù)庫(kù)進(jìn)行更新，而普通用戶只需要對(duì)數(shù)據(jù)庫(kù)進(jìn)行檢索，獲取適當(dāng)?shù)男畔⒓纯伞?/p>

垂直搜索引擎依據(jù)專業(yè)領(lǐng)域主題定制策略，可以僅提取與主題相關(guān)的信息，大大提高了查詢效率，為用戶提供更迅速的查詢服務(wù)。它通常能在幾天內(nèi)甚至數(shù)小時(shí)內(nèi)完成專業(yè)領(lǐng)域的信息采集信息的更新。與通用搜索引擎相比，垂直搜索引擎能夠提供更加專業(yè)化的信息。垂直搜索引擎具有領(lǐng)域化的信息采集策略，高相關(guān)度的反饋結(jié)果，數(shù)據(jù)信息的快速更新等傳統(tǒng)搜索引擎所不具備的優(yōu)點(diǎn)。因此，垂直搜索引擎將受到越來(lái)越多用戶的歡迎。

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文