一種基于C/S模式的中間件SDO的P2P平臺(tái)的網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)

賈曉強(qiáng)

（渭南師范學(xué)院 數(shù)學(xué)與信息科學(xué)學(xué)院，陜西 渭南 714000）

一種基于C/S模式的中間件SDO的P2P平臺(tái)的網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)

賈曉強(qiáng)

（渭南師范學(xué)院 數(shù)學(xué)與信息科學(xué)學(xué)院，陜西 渭南 714000）

為了解決異構(gòu)數(shù)據(jù)間的共享問(wèn)題，提供標(biāo)準(zhǔn)、統(tǒng)一、功能豐富的接口，對(duì)傳統(tǒng)的SDO的數(shù)據(jù)集成做了改進(jìn)，并在P2P上加上了對(duì)server的支持，提高了模塊的復(fù)用程度，降低了通訊的復(fù)雜度，用戶(hù)獲取數(shù)據(jù)時(shí)既可以從peer那獲取，也可以從cdn或其它服務(wù)器上獲取。

P2P；耦合；SDO；元數(shù)據(jù)；虛擬視圖

隨著網(wǎng)絡(luò)的發(fā)展和信息化的逐步深入,大多數(shù)企業(yè)都實(shí)現(xiàn)了信息的計(jì)算機(jī)化管理,數(shù)據(jù)是企業(yè)最重要的信息資產(chǎn),在大多數(shù)企業(yè)中,數(shù)據(jù)大都以不同的格式分布在不同的系統(tǒng)中,這些數(shù)據(jù)受數(shù)據(jù)模型及存儲(chǔ)方式的差異,具有明顯的異構(gòu)性、分布性和自治性。如何將這些不同來(lái)源、格式和質(zhì)量的數(shù)據(jù)進(jìn)行有效的集成,實(shí)現(xiàn)企業(yè)級(jí)數(shù)據(jù)的全面共享,就是異構(gòu)數(shù)據(jù)集成所要解決的問(wèn)題。

目前,娛樂(lè)媒體的許多業(yè)務(wù)都需要用到了P2P[4-5]技術(shù)，有些已經(jīng)投入了一些力量，但目前還處于各自為戰(zhàn)的地位，因此建立一個(gè)統(tǒng)一的P2P平臺(tái)是非常必要的。從嚴(yán)格意義上來(lái)說(shuō),基于SDO[1-3]的數(shù)據(jù)集成屬于虛擬視圖法中的中間件/包裝器方法,用SDO API替代了中間件的數(shù)據(jù)接口,SDO中的數(shù)據(jù)獲取、修改等實(shí)現(xiàn)完成部分中間件的工作,數(shù)據(jù)中介服務(wù)充當(dāng)了包裝器的角色,而SDO的元數(shù)據(jù)與中間件/包裝器方法中的元數(shù)據(jù)具有相同的功能。其集成的基本原理也與中間件/包裝器方法相類(lèi)似:即用統(tǒng)一的元數(shù)據(jù)作為公共模型,不同的數(shù)據(jù)服務(wù)中間依據(jù)元數(shù)據(jù)將特定的數(shù)據(jù)源下的數(shù)據(jù)包裝為統(tǒng)一的數(shù)據(jù)圖,由SDO客戶(hù)端完成對(duì)數(shù)據(jù)圖的訪問(wèn)、更新操作,最后由數(shù)據(jù)中介服務(wù)完成對(duì)數(shù)據(jù)源的更新。

1 SDO相關(guān)技術(shù)

1.1 SDO概念及特征

服務(wù)數(shù)據(jù)對(duì)象 (Ser vice Data Object,SDO)是由IBM公司和BEA公司于2003年11月合作發(fā)布的一種數(shù)據(jù)編程框架及其API。主要是為了統(tǒng)一對(duì)不同數(shù)據(jù)類(lèi)型的訪問(wèn)和操作方法,并允許應(yīng)用程序、工具、框架更加輕松地查詢(xún)、查看、更新、綁定和內(nèi)省數(shù)據(jù)。SDO架構(gòu)具有以下優(yōu)勢(shì)：

1）支持動(dòng)態(tài)編程模型和靜態(tài)編程模型。

2）支持離線編程模型。客戶(hù)端能夠讀取一組數(shù)據(jù),短時(shí)間內(nèi)保留在本地,操作這些數(shù)據(jù),然后將這些修改提交到數(shù)據(jù)源中,這種方式能夠使客戶(hù)端在斷線的情況下進(jìn)行數(shù)據(jù)修改,滿(mǎn)足了眾多的應(yīng)用需求,能夠?qū)Χ喾N數(shù)據(jù)源進(jìn)行訪問(wèn)、更新,如關(guān)系數(shù)據(jù)庫(kù)、XML數(shù)據(jù)文檔、Web數(shù)據(jù)等。

1.2 SDO體系結(jié)構(gòu)

SDO架構(gòu)由元數(shù)據(jù) (M et adata)、數(shù)據(jù)中介服務(wù)(DataMediator Service,DMS)、數(shù)據(jù)圖(Data Graph)、數(shù)據(jù)對(duì)象(Data Object)、SDO客戶(hù)端 (SDO Client)和數(shù)據(jù)源(DataSource)構(gòu)成。

元數(shù)據(jù):元數(shù)據(jù)包括技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。技術(shù)元數(shù)據(jù)分為指明數(shù)據(jù)源的形式、位置、數(shù)據(jù)源結(jié)構(gòu) 如 數(shù)據(jù)庫(kù)描述、所包含的表)、用于數(shù)據(jù)源連接的用戶(hù)名稱(chēng)和密碼、數(shù)據(jù)源內(nèi)數(shù)據(jù)表結(jié)構(gòu)、表間關(guān)系的數(shù)據(jù)源元數(shù)據(jù)和用于說(shuō)明DM S在如何對(duì)數(shù)據(jù)進(jìn)行封裝、生成數(shù)據(jù)圖及數(shù)據(jù)集的構(gòu)成情況的對(duì)象元數(shù)據(jù)。技術(shù)元數(shù)據(jù)則指映射規(guī)則,用于指明數(shù)據(jù)源的本地?cái)?shù)據(jù)圖與目標(biāo)數(shù)據(jù)圖的映射關(guān)系。

數(shù)據(jù)中介服務(wù):SDO本身不與數(shù)據(jù)源進(jìn)行連接,對(duì)數(shù)據(jù)源的訪問(wèn)、更新均由數(shù)據(jù)中介服務(wù)完成;不同的數(shù)據(jù)源采用不同的數(shù)據(jù)中介服務(wù);SDO的API一致性通過(guò)不同的數(shù)據(jù)中介服務(wù)得以保證。

數(shù)據(jù)對(duì)象:是SDO的核心概念,數(shù)據(jù)對(duì)象是由屬性及屬性值,以及數(shù)據(jù)對(duì)象間關(guān)系的描述構(gòu)成的。數(shù)據(jù)對(duì)象包含了一般性的屬性getter、setter方法和新增數(shù)據(jù)對(duì)象、修改數(shù)據(jù)對(duì)象、屬性值多種索引的API;同時(shí)提供序列Sequence的API操作,序列Sequence是數(shù)據(jù)對(duì)象內(nèi)部對(duì)屬性、類(lèi)型的一種封裝機(jī)制,用于支持對(duì)非結(jié)構(gòu)化數(shù)據(jù)的支持。

數(shù)據(jù)圖:數(shù)據(jù)圖是整個(gè)數(shù)據(jù)的封裝,包括了數(shù)據(jù)對(duì)象及對(duì)數(shù)據(jù)對(duì)象更改的記錄(修改摘要,Change Summary)。數(shù)據(jù)圖由數(shù)據(jù)中介服務(wù)訪問(wèn)數(shù)據(jù)源后依據(jù)元數(shù)據(jù)封裝而成,SDO對(duì)數(shù)據(jù)源的訪問(wèn)、更新,實(shí)際上是對(duì)數(shù)據(jù)圖進(jìn)行訪問(wèn)和更新,對(duì)數(shù)據(jù)的增、刪、改等操作首先被記錄在修改摘要中,然后由數(shù)據(jù)中介服務(wù)依據(jù)修改摘要對(duì)數(shù)據(jù)源進(jìn)行相應(yīng)的更新操作。

數(shù)據(jù)源:SDO能夠?qū)Χ喾N數(shù)據(jù)源進(jìn)行訪問(wèn)、更新,如關(guān)系數(shù)據(jù)庫(kù)、XML數(shù)據(jù)文檔、Web數(shù)據(jù)等。

2 基于SDO的統(tǒng)一P2P平臺(tái)設(shè)計(jì)概念和處理流程

2.1 系統(tǒng)網(wǎng)絡(luò)拓樸設(shè)計(jì)

在SDO的基礎(chǔ)上，總的網(wǎng)絡(luò)拓樸采用非常適合視頻的P4P[6]技術(shù)，同區(qū)域的用戶(hù)優(yōu)先的原則，可以最大限度的保證用戶(hù)的啟動(dòng)時(shí)間，使用用戶(hù)在打開(kāi)的初期得到比較好的體驗(yàn)。 主要的實(shí)現(xiàn)是通過(guò)ip庫(kù)來(lái)實(shí)現(xiàn)用戶(hù)的區(qū)域定位，并采用tracerout校驗(yàn)，使用戶(hù)的定位更加準(zhǔn)確，也可以修正ip庫(kù)。拓?fù)浣Y(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)網(wǎng)絡(luò)設(shè)計(jì)拓?fù)銯ig.1 System network topology design

2.2 結(jié)構(gòu)

2 .2 .1 服務(wù)器架構(gòu)設(shè)計(jì)

服務(wù)器設(shè)計(jì)采用全分布式設(shè)計(jì)，可以根椐用戶(hù)量的情況實(shí)時(shí)調(diào)整系統(tǒng)的大小，整個(gè)系統(tǒng)可以在某個(gè)數(shù)量級(jí)上同時(shí)在線內(nèi)任意擴(kuò)展，容錯(cuò)性和容災(zāi)性也比較強(qiáng)，系統(tǒng)性能優(yōu)秀。設(shè)計(jì)架構(gòu)如圖2所示。

圖2 服務(wù)器架構(gòu)設(shè)計(jì)圖Fig.2 Server architecture design

Loginserver:負(fù)責(zé)整個(gè)系統(tǒng)的登錄和負(fù)載均衡，采用分布式集群布置，特點(diǎn)是業(yè)務(wù)量比較大，但邏輯比較輕。

Trackserver:是整個(gè)系統(tǒng)的具體邏輯處理層，負(fù)責(zé)整個(gè)系統(tǒng)第二層登錄，信息記錄，peer查詢(xún)，打洞等邏輯。這層服務(wù)器之間是相互獨(dú)立的。

Coreserver:是整個(gè)系統(tǒng)的信息中心，記錄了整個(gè)系統(tǒng)中的所有peer信息，這組服務(wù)器之間采用的是分段記錄原則，所有的coreserver組成一個(gè)完整的信息體。

Databases:數(shù)據(jù)分為二部分，一部分是日志記錄，一部分為數(shù)據(jù)庫(kù)記錄，日志記錄采用文本記錄方式，記錄所有用戶(hù)的操作日志，數(shù)據(jù)庫(kù)記錄記錄用戶(hù)的匯總信息，和整個(gè)系統(tǒng)的運(yùn)行日志。

Reportsystem:統(tǒng)計(jì)報(bào)表系統(tǒng)，負(fù)責(zé)以圖表和記錄方式展示整個(gè)系統(tǒng)的運(yùn)行實(shí)時(shí)狀態(tài)和周期匯總情況。

Stunserver:負(fù)責(zé)判斷用戶(hù)網(wǎng)絡(luò)類(lèi)型。

2 .2 .2 客戶(hù)架構(gòu)設(shè)計(jì)

統(tǒng)一p2p平臺(tái)是在同一套平臺(tái)里同一套公開(kāi)接口支持多個(gè)業(yè)務(wù)形式，對(duì)多個(gè)業(yè)務(wù)的支持主要體現(xiàn)在客戶(hù)端上面.支持的業(yè)務(wù)包括游戲下載，視頻點(diǎn)播，視頻直播。設(shè)計(jì)架構(gòu)如圖3所示。

客戶(hù)端具體分為3層,通信層，業(yè)務(wù)層，接口層。

通信層：負(fù)責(zé)整個(gè)系統(tǒng)的具體的數(shù)據(jù)接收與發(fā)送，udp傳輸包括安全傳輸，自動(dòng)拆包，組包，重傳，流量和擁塞等，http傳輸主要是服務(wù)器的httpserver,目前的游戲服務(wù)器和視頻服務(wù)器都是采用http服務(wù)器。

業(yè)務(wù)層：主要包括不同業(yè)務(wù)的設(shè)度算法，游戲下載和視頻點(diǎn)播采用的是同一套算法，直播采用另一套算法.協(xié)議處理。

接口層：對(duì)不同的業(yè)務(wù)提供統(tǒng)一的接口。

圖3 客戶(hù)架構(gòu)設(shè)計(jì)圖Fig.3 Client architecture design

3 SDO的數(shù)據(jù)集成設(shè)計(jì)

基于SDO的P2P平臺(tái)采用PULL工作方式,這種工作方式的工作原理是:各數(shù)據(jù)服務(wù)中介將其所負(fù)責(zé)的數(shù)據(jù)源中的上傳或下載數(shù)據(jù)提取,并封裝為統(tǒng)一的數(shù)據(jù)圖,由結(jié)果抽取模塊對(duì)數(shù)據(jù)圖逐個(gè)抽取后,形成新的數(shù)據(jù)圖,并將其交給結(jié)果集成[7,9]模塊,結(jié)果集成模塊將這些數(shù)據(jù)圖合并成一個(gè)數(shù)據(jù)圖后返回用戶(hù)。這種工作方式的優(yōu)勢(shì)在于:不需要將基于統(tǒng)一的數(shù)據(jù)圖的查詢(xún)轉(zhuǎn)換為數(shù)據(jù)源的本地查詢(xún)方式,從而減少了查詢(xún)轉(zhuǎn)換帶來(lái)的系統(tǒng)開(kāi)發(fā)的復(fù)雜度行時(shí)查詢(xún)轉(zhuǎn)換的開(kāi)銷(xiāo);容易添加新的數(shù)據(jù)源,只需要為新的數(shù)據(jù)源增加新的數(shù)據(jù)服務(wù)中介,并在元數(shù)據(jù)內(nèi)加入新數(shù)據(jù)源的注冊(cè)信息即可。PULL工作方法的不足是:這種不加區(qū)分、不加篩選的將數(shù)據(jù)源內(nèi)的數(shù)據(jù)全部發(fā)送到查詢(xún)驅(qū)動(dòng)的方式,在數(shù)據(jù)量較大及網(wǎng)絡(luò)環(huán)境下,容易受到網(wǎng)絡(luò)帶寬的限制,影響到數(shù)據(jù)集成的速度。

可以通過(guò)兩個(gè)步驟改進(jìn)這一問(wèn)題。

1 )在對(duì)數(shù)據(jù)源的描述中加入數(shù)據(jù)篩選條件:在數(shù)據(jù)源的元數(shù)據(jù)中加入數(shù)據(jù)篩選條件,使得數(shù)據(jù)中介服務(wù)在提取數(shù)據(jù)源內(nèi)數(shù)據(jù)時(shí),只提取目標(biāo)數(shù)據(jù)模型需要的數(shù)據(jù)內(nèi)容,對(duì)于不同的目標(biāo)模型,篩選條件也不同;

2 )在集成過(guò)程中,將數(shù)據(jù)源端的集成平臺(tái)作為代理平臺(tái)[10]使用,由集成請(qǐng)求平臺(tái)將查詢(xún)分解成多個(gè)子查詢(xún),將查詢(xún)及數(shù)據(jù)請(qǐng)求一同發(fā)送到代理平臺(tái),代理平臺(tái)內(nèi)的數(shù)據(jù)中介服務(wù)生成數(shù)據(jù)圖后,代理平臺(tái)內(nèi)部的查詢(xún)執(zhí)行模塊對(duì)數(shù)據(jù)圖執(zhí)行子查詢(xún),將所得的結(jié)果封裝成新的數(shù)據(jù)圖,發(fā)送到集成請(qǐng)求平臺(tái),最后由集成請(qǐng)求平臺(tái)內(nèi)的集成模塊將多個(gè)數(shù)據(jù)圖合成一個(gè)數(shù)據(jù)圖。

4 結(jié)論

相對(duì)于傳統(tǒng)的中間件/包裝器方法來(lái)說(shuō),基于SDO的P2P平臺(tái)具有以下優(yōu)勢(shì):標(biāo)準(zhǔn)、統(tǒng)一、功能豐富的接口,能夠支持視頻直播，支持視頻點(diǎn)播，支持游戲下載，支持bt下載等；數(shù)據(jù)獲取模塊與數(shù)據(jù)使用模塊松散耦合,支持離線的數(shù)據(jù)訪問(wèn)的優(yōu)點(diǎn),同時(shí)SDO實(shí)現(xiàn)了業(yè)務(wù)代碼與數(shù)據(jù)代碼的解耦,并使用虛擬的數(shù)據(jù)獲取方式,使得集成平臺(tái)更加柔性化,便于后期的擴(kuò)展。

[1]王盼卿，劉增良，陶源.基于SDO的數(shù)據(jù)集成平臺(tái)研究[J].計(jì)算機(jī)測(cè)量與控制,2010.18(7).1657-1663.

WANG Pan-qin,LIU Zeng-liang,TAO Yuan.Data integration platform Research based on SDO [J].Computer Measurement and Control,2010,18(7):1657-1663.

[2]趙雨順.鐵路信息共享平臺(tái)基于SDO的數(shù)據(jù)交換接口研究[D].北京:北京交通大學(xué),2008.

[3]宋慧駒，馬楠，吳志剛.SOA編程模型— SCA/SDO[J].軟件工程與標(biāo)準(zhǔn)化,2007(11):38-39.

SONG Hui-ju,MA Nan,WU Zhi-gang.SOA programming model-SCA and SDO [J].Journal of Software Engineering and Standardization,2007(11):38-39.

[4]楊明川.P2P運(yùn)營(yíng)模式及P2P業(yè)務(wù)發(fā)展策略[R].北京中國(guó)電信股份有限公司,2007.

[5]趙澤良,陳興蜀,劉益和,等.P2P應(yīng)用的安全體系結(jié)構(gòu)研究[J].四川大學(xué)學(xué)報(bào)：自然科學(xué)版,2006(4):812-813.

ZHAO Ze-liang,CHEN Xing-shu,LIU Yi-he,et al.P2P application security architecture research [J].Journal of Sichuan University:Natural Science Edition,2006(4):812-813.

[6]張 騫,張 霞,劉積仁.混合P2P環(huán)境下有效的查詢(xún)擴(kuò)展及其搜索算法[J].軟件學(xué)報(bào).2006,17(4):782-793.

ZHANG Jian,ZHANG Xia,LIU Ji-ren.Under Hybrid P2P environment effective query expansion and its search algorithm[J].Journal of Software,2006(4):782-793.

[7]周?chē)?guó)能.異構(gòu)數(shù)據(jù)庫(kù)集成中間件的構(gòu)建研究與應(yīng)用 [D].大連:大連理工大學(xué),2007.

[8]段惠卿,孫翠娟,董鴻燕.一種基于服務(wù)數(shù)據(jù)對(duì)象的異構(gòu)數(shù)據(jù)集成系統(tǒng)[J].四川兵工學(xué)報(bào)，2010（6）：81-83.

DUAN Hui-qing,SUN Cui-juan,DONG Hong-yan.A kind of heterogeneous data integration system based on service data objects[J].Journal of Sichuan Armaments Factories,2010(6):81-83.

[9]馬 蓉.異構(gòu)數(shù)據(jù)庫(kù)統(tǒng)一平臺(tái)設(shè)計(jì)與分析[J].自動(dòng)化與儀器儀表,2011(5):173-175.

MA Rong.Unified heterogeneous database platform design and analysis [J].Automation and Instrumentation,2011(5):173-175.

[10]曾茜,王卓昊,周明全.面向科技信息的資源共享服務(wù)平臺(tái)設(shè)計(jì)[J].計(jì)算機(jī)技術(shù)與發(fā)展,2009(4):149-151.

ZENG Xi,WANG Zhuo-hao,ZHOU Quan-ming.Design of Information resource sharing service platform oriented science and technology [J].Computer Technology and Development,2009(4):149-151.

A network topology structural design of P2P platform with middleware SDO based on C/S mode

JIA Xiao-qiang
（Department of Computer Science,Weinan Normal University,Weinan 714000，China）

In order to solve the sharing problem of heterogeneous data,provide a standard,unified,feature-rich interface,the traditional SDO data integration has been improved and the P2P added server support.It has improved the level of multiplexing module reduced the complexity of communication.users can access it from the peer,but cdn,or other servers.

P2P;coupling;SDO;metadata;virtual view

TP3-05

A

1674-6236（2014）13-0031-03

2013-10-20 稿件編號(hào)：201310121

陜西省軍民融合基金資助項(xiàng)目 （12JMR19）;渭南市基礎(chǔ)研究計(jì)劃項(xiàng)目 （2013JCYJ-4);渭南市科研基金資助項(xiàng)目（2013JCYJ-10)

賈曉強(qiáng)（1977—）,男，陜西鳳翔人，碩士，講師。研究方向：軟件工程、數(shù)據(jù)挖掘。