基于P2P技術(shù)的網(wǎng)絡(luò)信息檢索探討

鄭藝芳

摘 要：隨著計算機(jī)網(wǎng)絡(luò)的飛速發(fā)展，計算機(jī)技術(shù)也從傳統(tǒng)的單機(jī)運(yùn)行發(fā)展到網(wǎng)絡(luò)、網(wǎng)格化發(fā)展，當(dāng)前計算機(jī)網(wǎng)絡(luò)發(fā)展模式主要為：客戶端/服務(wù)器， 瀏覽器/服務(wù)器模式，這兩種模式都存在著對服務(wù)器要求非常高，海量信息調(diào)度、檢索存在著耗時高等問題，而peer-to-peer（P2P）正是針對此問題二提出的分布式計算模式。此種模式具有存儲內(nèi)容集中、檢索方便、系統(tǒng)組織協(xié)調(diào)能力優(yōu)良等特點(diǎn)。

關(guān)鍵詞：P2P技術(shù)；網(wǎng)絡(luò)信息檢索；研究

1 P2P技術(shù)概述

1.1 P2P定義

P2P是Peer-to-Peer（對等網(wǎng)絡(luò)，對等計算）的簡稱，中文譯名為對等互聯(lián)或者點(diǎn)對點(diǎn)技術(shù)，在P2P網(wǎng)絡(luò)中各個節(jié)點(diǎn)被稱為peer（對等體）。P2P是一種網(wǎng)絡(luò)模型，在這種網(wǎng)絡(luò)中所有的節(jié)點(diǎn)是對等的（稱為對等點(diǎn)），各節(jié)點(diǎn)無主從之分，具有相同的責(zé)任與能力并協(xié)同完成任務(wù)。對等點(diǎn)之間通過直接互連共享信息資源、處理器資源、存儲資源甚至高速緩存資源等，無需依賴集中式服務(wù)器或資源就可完成。

P2P網(wǎng)絡(luò)并不是一種專門的新興技術(shù)，而是假設(shè)在互聯(lián)網(wǎng)絡(luò)中的結(jié)構(gòu)基礎(chǔ)。互聯(lián)網(wǎng)最基本的協(xié)議TCP/IP并沒有客戶機(jī)和服務(wù)器的概念，所有的設(shè)備都是通訊的平等的一端。在十年之前，所有的互聯(lián)網(wǎng)上的系統(tǒng)都同時具有服務(wù)器和客戶機(jī)的功能。當(dāng)然，后來發(fā)展的那些架構(gòu)在TCP/IP之上的軟件的確采用了客戶機(jī)/服務(wù)器的結(jié)構(gòu)：瀏覽器和Web服務(wù)器，郵件客戶端和郵件服務(wù)器。但是，對于服務(wù)器來說，它們之間仍然是對等聯(lián)網(wǎng)的。以email為例，互聯(lián)網(wǎng)上并沒有一個巨大的、唯一的郵件服務(wù)器來處理所有的email，而是對等聯(lián)網(wǎng)的郵件服務(wù)器相互協(xié)作把email傳送到相應(yīng)的服務(wù)器上去。另外用戶之間email則一直對等的聯(lián)絡(luò)渠道。

1.2 P2P發(fā)展的影響

由于各種信息資源的發(fā)展和不斷壯大，通過共享資源的方式來提升數(shù)據(jù)的傳送、文件共享的功能要求將會越來越高，而當(dāng)前的應(yīng)用系統(tǒng)采用的方式大都是用服務(wù)器共享的方式，這已經(jīng)開始嚴(yán)重制約著信息傳遞的數(shù)據(jù)，因而P2P作為一種新的共享方式出現(xiàn)，成為了時代的寵兒，它為文件共享、分布式計算機(jī)和信息交流提供了一種更加靈活和高效的模式，也為信息安全帶來了新的挑戰(zhàn)。

2 基于P2P技術(shù)的網(wǎng)絡(luò)信息檢索

2.1 基于P2P技術(shù)的網(wǎng)絡(luò)信息檢索的提出

傳統(tǒng)的信息檢索基于C/S模式，在該模式中，數(shù)據(jù)的分發(fā)采用專門的服務(wù)器，多個客戶端都從此服務(wù)器獲取數(shù)據(jù)。這種模式的優(yōu)點(diǎn)是：數(shù)據(jù)的一致性容易控制，系統(tǒng)也容易管理，但這種模式對于大規(guī)模網(wǎng)絡(luò)的環(huán)境容易造成性能瓶頸。在網(wǎng)絡(luò)邊緣信息不斷豐富的今天，我們必須在互聯(lián)網(wǎng)上設(shè)置擁有強(qiáng)大處理能力和高寬帶的高性能計算機(jī)，配合高檔的服務(wù)器軟件，再將大量的數(shù)據(jù)集中存放在上面。這種架構(gòu)使我們對服務(wù)端的投入巨大，因此服務(wù)器的個數(shù)只能是有限的，這就使系統(tǒng)容易出現(xiàn)單一失效點(diǎn)。同時C/S模式使得互聯(lián)網(wǎng)中無論是信息還是資源均向同一方向集中，它的網(wǎng)絡(luò)優(yōu)勢往往被局限于企業(yè)內(nèi)部，制約了企業(yè)間的信息交流，而且網(wǎng)絡(luò)安全性較差也是一個不容忽視的問題。從目前公布的數(shù)據(jù)來看，容量最大的搜索引擎也不過是抓取了整個網(wǎng)頁數(shù)量的40%左右。傳統(tǒng)的集中式引擎無法勝任實(shí)時性強(qiáng)的海量信息檢索，P2P技術(shù)的蓬勃發(fā)展卻為信息檢索提供了全新的思路。在P2P網(wǎng)絡(luò)中，每個參與網(wǎng)絡(luò)的主機(jī)既是內(nèi)容的消費(fèi)者，又是內(nèi)容的提供者，各個結(jié)點(diǎn)各自對自己本機(jī)上存儲的信息做索引，所有信息提供者一起構(gòu)成一個龐大的分布式數(shù)據(jù)庫以供檢索，這可以有效解決動態(tài)網(wǎng)頁信息檢索的問題，同時P2P網(wǎng)絡(luò)中的每一個企業(yè)的信息點(diǎn)都是一個獨(dú)立的Peer節(jié)點(diǎn)，每個Peer節(jié)點(diǎn)之間進(jìn)行對等通訊，避免了傳統(tǒng)C/S結(jié)構(gòu)的低效和高成本，數(shù)據(jù)的集中處理又避免了P2P帶來的數(shù)據(jù)分散。

2.2 基于P2P技術(shù)的網(wǎng)絡(luò)信息檢索的原理

在P2P網(wǎng)絡(luò)中，每個參與的節(jié)點(diǎn)既是服務(wù)器又是客戶端，既是信息的提供者又是信息的消費(fèi)者。P2P信息檢索的目的就是網(wǎng)絡(luò)中的任意節(jié)點(diǎn)都可以提交檢索的請求，然后這些檢索通過某種路由機(jī)制被路由到和檢索相關(guān)的節(jié)點(diǎn)上去，存儲有和該檢索相關(guān)信息的節(jié)點(diǎn)將會回應(yīng)請求，把本地相關(guān)的內(nèi)容以對等的形式直接傳送到請求節(jié)點(diǎn)上，示意圖見圖1。

圖中的檢索過程分為以下幾個階段：

每個節(jié)點(diǎn)在加入網(wǎng)絡(luò)的時候，會對存儲在本節(jié)點(diǎn)上的內(nèi)容進(jìn)行索引，以滿足本地內(nèi)容檢索的目的。然后按某種預(yù)定的規(guī)則選擇一些節(jié)點(diǎn)作為自己的鄰居，加入到P2P網(wǎng)絡(luò)當(dāng)中。

（1）發(fā)起者P提出檢索請求q，并將q發(fā)送給自己的鄰居。

（2）P的鄰居收到q后，再按照某種策略轉(zhuǎn)發(fā)給它在網(wǎng)絡(luò)中的其它鄰居節(jié)點(diǎn)。這樣，q就在整個網(wǎng)絡(luò)中傳播開來。

（3）收到請求q的節(jié)點(diǎn)如果存儲有相應(yīng)內(nèi)容信息，則將對應(yīng)的內(nèi)容返回。

2.3 基于P2P技術(shù)的網(wǎng)絡(luò)信息檢索的主要分類

P2P檢索主要分成3種類型：結(jié)構(gòu)化的P2P、網(wǎng)絡(luò)的搜索技術(shù)以及針對這2種類型的改進(jìn)技術(shù)。前出現(xiàn)的P2P系統(tǒng)具備足夠的語義，能夠處理復(fù)雜查詢，以稱為新一代的P2P檢索技術(shù)。

P2P信息檢索主要是要提高交互式作業(yè)方式、用戶透明度，拓寬信息檢索空間、提高信息檢索的準(zhǔn)確性。

2.4 P2P檢索技術(shù)的方法

P2P查詢的關(guān)鍵技術(shù)包含比較廣泛，核心技術(shù)包括索引構(gòu)造技術(shù)、路由策略及查詢優(yōu)化等，下面將分別對它們進(jìn)行介紹。

2.4.1 索引構(gòu)造技術(shù)

索引構(gòu)造技術(shù)直接影響P2P系統(tǒng)的路由策略以及系統(tǒng)的查詢效率，因此，構(gòu)造具有豐富語義和高效的索引對于P2P系統(tǒng)是非常關(guān)鍵的，一般索引構(gòu)造技術(shù)分成基于模式的索引和實(shí)例索引，模式索引為PDMS所特有，考慮了語義異構(gòu)問題。實(shí)例索引包括：①通過散列將原始數(shù)據(jù)標(biāo)識符映射到ID集合，再將ID集合映射到負(fù)責(zé)該ID的peer，可以具有多種拓?fù)湫螒B(tài)的散列索引；②把數(shù)據(jù)庫中B+樹思想在P2P環(huán)境下進(jìn)行擴(kuò)展產(chǎn)生的樹形索引。實(shí)例索引有多種分布方法：本地分布、集中式分布和分布式分布。本地索引中各peer只維持對自己的數(shù)據(jù)的引用，而不管其他節(jié)點(diǎn)上的數(shù)據(jù)的信息；集中式索引需單個服務(wù)器上保存許多peer上數(shù)據(jù)的引用，索引是集中的，但數(shù)據(jù)是分布的；分布式索引指向目標(biāo)的指針存放在多個peer上，可有效分散查詢負(fù)載和索引的存儲負(fù)載，具有更強(qiáng)的健壯性和可擴(kuò)展性。

2.4.2 查詢優(yōu)化

由于P2P網(wǎng)絡(luò)動態(tài)的特性，不能假定具備數(shù)據(jù)分布的全局視圖，也不能在這些網(wǎng)絡(luò)中采用靜態(tài)的拓?fù)浜筒樵冇媱潱沟锰峤坏牟樵儾惶赡茉谡麄€查詢處理過程中都保持原來的性質(zhì)。為此，對查詢進(jìn)行優(yōu)化變得非常重要，這樣可以加快查詢執(zhí)行的效率，同時減少網(wǎng)絡(luò)流量。

2.5 基于P2P技術(shù)的網(wǎng)絡(luò)信息檢索的特點(diǎn)

P2P系統(tǒng)具有自組織性、對稱性、可擴(kuò)展性以及分布控制等優(yōu)良特性。隨著P2P系統(tǒng)的廣泛應(yīng)用，該系統(tǒng)被認(rèn)為是未來分布式計算的關(guān)鍵技術(shù)，可以應(yīng)用于數(shù)據(jù)共享、CPU周期共享、及時信息傳輸以及協(xié)同工作組件等方面，同時在搜索引擎、數(shù)據(jù)流管理、語義網(wǎng)、協(xié)作信息過濾等領(lǐng)域具有廣闊的應(yīng)用前景。對P2P的研究主要集中在搜索、存儲、安全和應(yīng)用4個方面，而搜索是P2P技術(shù)的核心。

P2P信息檢索通過分布式存儲和處理能力為大范圍的Web文件搜索提供可能，傳統(tǒng)式的搜索引擎對于數(shù)據(jù)的更新緩慢不能滿足用戶實(shí)時性要求。受網(wǎng)絡(luò)爬蟲采集信息能力的限制，傳統(tǒng)的搜索引擎很難進(jìn)行深度采集深層次的網(wǎng)頁信息。與傳統(tǒng)的檢索技術(shù)相比較，基于P2P信息檢索技術(shù)有以下優(yōu)點(diǎn)：（1）P2P信息檢索充分利用以大規(guī)模分布形式存在的信息。（2）彌補(bǔ)傳統(tǒng)搜索引擎無力深度挖掘網(wǎng)站信息的弱點(diǎn)。（3）挖掘移動終端的信息。（4）構(gòu)建人性化的信息終端。

傳統(tǒng)的信息檢索，必須借助網(wǎng)絡(luò)檢索工具Internet上的信息極其豐富，這些信息分布在全世界不同的計算機(jī)主機(jī)上，基于超文本結(jié)構(gòu)在Internet上，基于WWW的信息組織采用了超文本方式。基于P2P技術(shù)的信息檢索技術(shù)以人為本的理念使客戶使用起來更加方便、容易，檢索的更加徹底和透明。未來的P2P檢索技術(shù)主要是和3G技術(shù)，移動智能技術(shù)結(jié)合起來，使用戶深切感受到21世紀(jì)網(wǎng)絡(luò)時代的方便。

3 基于P2P技術(shù)的研究

3.1 基于P2P的網(wǎng)絡(luò)信息資源的檢索-搜索引擎的研究

3.1.1 Caching技術(shù)

在對等網(wǎng)絡(luò)中，索引信息的擴(kuò)散是通過查詢來驅(qū)動的，成功的查詢結(jié)果被緩存下來，使得索引信息可以再網(wǎng)絡(luò)擴(kuò)散開來。資源搜索效率可否再次成百倍地提高，即在用戶未提出問題時就為他準(zhǔn)備好答案，Caching技術(shù)可以使資源效率達(dá)到10-100。盡管網(wǎng)絡(luò)資源無限爆炸，但每一個成員及其每一次查詢，所涉及到的回答域都是有限的，并且基本保持固定不變，這就是局部性原理。計算機(jī)體系結(jié)構(gòu)中關(guān)鍵技術(shù)指令和數(shù)據(jù)在不久的將來可能被再次訪問，即下一程序指令在前條指令的概率非常大，因此，實(shí)踐局部性往往會引起對最近使用區(qū)域的集中訪問；空間局部性指的是一個進(jìn)程訪問的各項進(jìn)程彼此很近，即下一次程序指令在前條指令附近的概率非常大。前者就是程序Cache，后者就是數(shù)據(jù)Cache的理論依據(jù)。

3.1.2 分布式的Gnutella搜索機(jī)制

在Gnutella中，每個節(jié)點(diǎn)共享一些文件，并提供基于文件名的本地查詢操作。它使用消費(fèi)洪泛的方式搜索其他節(jié)點(diǎn)上的文件。發(fā)起搜索操作的節(jié)點(diǎn)向所有鄰居節(jié)點(diǎn)發(fā)送Query消息，而接到Query消息的節(jié)點(diǎn)進(jìn)行本地查詢，并把查詢進(jìn)一步轉(zhuǎn)發(fā)給自己的所有鄰居。為避免無窮遞歸，每個搜索消息都有一個TTL域，它隨著轉(zhuǎn)發(fā)的進(jìn)行而遞減，TTL為零的消息則不再被轉(zhuǎn)發(fā)。每個請求都有一個準(zhǔn)一的標(biāo)識號。已收到請求的節(jié)點(diǎn)如發(fā)現(xiàn)已處理過，則丟棄該請求。

Gnutella的搜索機(jī)制可以看出，個別節(jié)點(diǎn)失效對查詢結(jié)果影響較小，能動態(tài)適應(yīng)網(wǎng)絡(luò)拓?fù)渥兓试S節(jié)點(diǎn)動態(tài)加入或退出。

4 結(jié)束語

基于P2P對等檢索技術(shù)的發(fā)展將會為互聯(lián)網(wǎng)信息搜索技術(shù)提供出了全新的解決方案，它讓Internet上的共享方式提升到了一個新的水平，讓人們能夠以更方便、快捷的方式參與到網(wǎng)絡(luò)交互中去，讓人們能夠更好的體驗到數(shù)據(jù)共享、數(shù)據(jù)應(yīng)用。

參考文獻(xiàn)

[1]劉化君.計算機(jī)網(wǎng)絡(luò)與通信[M].北京：高等教育出版社，2007.11.

[2]James F.Kurose，Keith W.Ross.Computer NetworkingATop-DownApproach.Chenming.第四版.機(jī)械工業(yè)出版社，2008.12.

[3]田口美帆.互聯(lián)網(wǎng)技術(shù)[M].科學(xué)出版社，2004.

[4]傅向華，馮博琴.主題驅(qū)動的P2P分布式信息搜索機(jī)制研究[J].小型微型計算機(jī)系統(tǒng)，2006.

[5]徐光明，沈云付.基于語義網(wǎng)的節(jié)點(diǎn)關(guān)聯(lián)的P2P搜索[Z].

[6]周晉，路海明，李衍達(dá).用Small2World設(shè)計無組織P2P系統(tǒng)的路由算法[J].軟件學(xué)報，2004.

[7]凌波，陸志國，黃維維，等.PeerIS：基于Peer2to2Peer的信息檢索系統(tǒng)[J].軟件學(xué)報，2004.

[8]馮國富，毛鶯池，陸桑璐，等.PeerRank.一種無結(jié)構(gòu)P2P資源發(fā)現(xiàn)策略[J].軟件學(xué)報，2006.

[9]何盈捷，王珊，杜小勇.純PeertoPeer環(huán)境下有效的Top2k查詢[J].軟件學(xué)報，2005.

[10]李治軍，廖明宏.基于信任的P2P真實(shí)性查詢及副本管理算法[J].軟件學(xué)報，2006.