分布式網(wǎng)絡(luò)數(shù)據(jù)同步技術(shù)的應(yīng)用研究

張萬里

（中原科技學(xué)院，河南 鄭州 450000）

為了應(yīng)對數(shù)據(jù)爆炸式增長帶來的數(shù)據(jù)庫存儲(chǔ)壓力，分布式數(shù)據(jù)庫應(yīng)運(yùn)而生。它是將數(shù)據(jù)庫系統(tǒng)和計(jì)算機(jī)網(wǎng)絡(luò)相結(jié)合，利用終端計(jì)算機(jī)與分布式網(wǎng)絡(luò)，將分散在各處的數(shù)據(jù)庫連接起來，得到一個(gè)可以統(tǒng)一調(diào)度的數(shù)據(jù)庫系統(tǒng)。在大幅度提高數(shù)據(jù)存儲(chǔ)容量的同時(shí)，還能為數(shù)據(jù)查詢、調(diào)用等提供便利。考慮到數(shù)據(jù)庫系統(tǒng)時(shí)時(shí)刻刻都有新的數(shù)據(jù)存入，因此必須要應(yīng)用數(shù)據(jù)同步技術(shù)，保證單個(gè)節(jié)點(diǎn)與終端之間的數(shù)據(jù)保持一致性。分布式網(wǎng)絡(luò)數(shù)據(jù)同步技術(shù)的應(yīng)用能夠同時(shí)滿足上述需求，在現(xiàn)階段的一些大型信息系統(tǒng)中得到了廣泛應(yīng)用。

1 分布式網(wǎng)絡(luò)數(shù)據(jù)同步技術(shù)

1.1 分布式數(shù)據(jù)庫

分布式數(shù)據(jù)庫（DDB）按照控制模式的不同，可以分成集中型、分散型、可變型3 種基本類型。由于數(shù)據(jù)是分散存儲(chǔ)在由計(jì)算機(jī)網(wǎng)絡(luò)聯(lián)結(jié)起來的多個(gè)站點(diǎn)上，因此數(shù)據(jù)的存儲(chǔ)、備份、調(diào)用、刪除等一系列操作也具有分布性特點(diǎn)。其中，每一個(gè)獨(dú)立的節(jié)點(diǎn)可自行完成數(shù)據(jù)的簡單處理，從而減輕了控制終端的運(yùn)行壓力。由于分布式數(shù)據(jù)庫的結(jié)構(gòu)龐大且復(fù)雜，因此通常會(huì)選擇增加冗余數(shù)據(jù)的方式來增強(qiáng)系統(tǒng)本身的可靠性。假如某個(gè)節(jié)點(diǎn)上發(fā)生故障，則系統(tǒng)可直接跳過該節(jié)點(diǎn)，繼續(xù)在其他節(jié)點(diǎn)上完成操作，不會(huì)因?yàn)閱蝹€(gè)節(jié)點(diǎn)故障而影響到整個(gè)系統(tǒng)的運(yùn)行。

1.2 數(shù)據(jù)同步技術(shù)

數(shù)據(jù)安全性是評價(jià)數(shù)據(jù)庫系統(tǒng)性能的一個(gè)核心指標(biāo)，而分布式數(shù)據(jù)庫由于組織結(jié)構(gòu)復(fù)雜、數(shù)據(jù)量龐大，服務(wù)器經(jīng)常處于高負(fù)載甚至是超負(fù)載運(yùn)行狀態(tài)。一旦數(shù)據(jù)庫系統(tǒng)崩潰，將會(huì)造成重要數(shù)據(jù)的損壞、丟失。數(shù)據(jù)同步技術(shù)可以基于分布式數(shù)據(jù)庫的結(jié)構(gòu)特點(diǎn)和運(yùn)行特性，使存儲(chǔ)在不同節(jié)點(diǎn)上的數(shù)據(jù)，能夠定期得到更新，并保證源數(shù)據(jù)和備份數(shù)據(jù)始終保持一致。這樣即便因?yàn)閿?shù)據(jù)庫系統(tǒng)出現(xiàn)突發(fā)故障，導(dǎo)致源數(shù)據(jù)丟失、損害，也能啟用備份數(shù)據(jù)，而不會(huì)影響數(shù)據(jù)的正常使用。隨著數(shù)據(jù)同步技術(shù)的逐漸成熟，根據(jù)數(shù)據(jù)復(fù)制方式的不同，又可將其分為同步復(fù)制和異步復(fù)制兩種類型；而根據(jù)同步方向的差異，則可以分為單向同步、雙向同步兩種類型。本文主要介紹了完全對等數(shù)據(jù)同步技術(shù)的應(yīng)用。

2 基于分布式網(wǎng)絡(luò)環(huán)境的數(shù)據(jù)同步模型

2.1 完全對等數(shù)據(jù)同步模型

該模型的作用是在分布式網(wǎng)絡(luò)環(huán)境中，實(shí)現(xiàn)對等數(shù)據(jù)同步。其運(yùn)行原理：當(dāng)任意一個(gè)節(jié)點(diǎn)的數(shù)據(jù)庫更新了關(guān)鍵數(shù)據(jù)后，系統(tǒng)能夠及時(shí)做出反應(yīng)并對更新事務(wù)進(jìn)行采集和分發(fā)，將更新事務(wù)同步到該分布式網(wǎng)絡(luò)的其他對等節(jié)點(diǎn)。完成同步更新后，即可使所有節(jié)點(diǎn)的數(shù)據(jù)保持一致性，達(dá)到完全對等的數(shù)據(jù)同步。在該模型中，所有節(jié)點(diǎn)服務(wù)端均采用并聯(lián)方式與網(wǎng)絡(luò)對接。這樣就保證了無論哪一個(gè)節(jié)點(diǎn)出現(xiàn)了故障，都不會(huì)對其他節(jié)點(diǎn)產(chǎn)生干擾。完全對等數(shù)據(jù)同步模型的結(jié)構(gòu)如圖1所示。

圖1 數(shù)據(jù)同步模型的系統(tǒng)結(jié)構(gòu)圖

結(jié)合圖1 可知，該模型系統(tǒng)主要由兩大部分組成，即注冊機(jī)服務(wù)端和節(jié)點(diǎn)服務(wù)端。其中，注冊機(jī)服務(wù)端主要用于接收前端階段數(shù)據(jù)庫反饋的事務(wù)報(bào)文，并將其分類存儲(chǔ)到事務(wù)數(shù)據(jù)庫的對應(yīng)分區(qū)中。同時(shí)，還支持階段服務(wù)器的注冊，以及新注冊節(jié)點(diǎn)服務(wù)器的初始化同步等功能。而節(jié)點(diǎn)服務(wù)端主要用于收集本地節(jié)點(diǎn)數(shù)據(jù)庫中出版表的更新事務(wù)，并將其同步至其他節(jié)點(diǎn)服務(wù)器。實(shí)時(shí)檢測是否存在并發(fā)事務(wù)沖突，若存在則自動(dòng)協(xié)調(diào)本地更新事務(wù)與遠(yuǎn)程更新事務(wù)的沖突。另外還有記錄事務(wù)故障信息、維護(hù)本地出版表事務(wù)日志等功能。

2.2 完全對等數(shù)據(jù)同步的節(jié)點(diǎn)協(xié)調(diào)策略

傳統(tǒng)的數(shù)據(jù)同步模型都設(shè)有一個(gè)中心節(jié)點(diǎn)。當(dāng)分布節(jié)點(diǎn)上的關(guān)鍵數(shù)據(jù)更新后，將更新事務(wù)反饋至中心節(jié)點(diǎn)，由此確定事務(wù)執(zhí)行順序、完成數(shù)據(jù)同步。但是這種模型在實(shí)際使用中也存在缺陷，例如中心節(jié)點(diǎn)負(fù)載過高，容易出現(xiàn)故障。而一旦中心節(jié)點(diǎn)故障，將會(huì)導(dǎo)致整個(gè)數(shù)據(jù)同步系統(tǒng)也隨之癱瘓。因此，本文提出了一種基于完全對等數(shù)據(jù)同步的節(jié)點(diǎn)協(xié)調(diào)策略，即不設(shè)中心節(jié)點(diǎn)，所有節(jié)點(diǎn)地位保持一致。當(dāng)出現(xiàn)更新事務(wù)后，根據(jù)既定的節(jié)點(diǎn)協(xié)調(diào)策略完成事務(wù)執(zhí)行和數(shù)據(jù)同步操作。其實(shí)現(xiàn)算法：

（1）每隔一段時(shí)間刷新一次事務(wù)接收隊(duì)列，直到隊(duì)列中出現(xiàn)并發(fā)沖突。

（2）判斷事務(wù)發(fā)起節(jié)點(diǎn)與本節(jié)點(diǎn)編號是否一致，若一致則將本節(jié)點(diǎn)作為事務(wù)執(zhí)行控制節(jié)點(diǎn)。若不一致，則將事務(wù)分配至所屬控制節(jié)點(diǎn)。

（3）確定本節(jié)點(diǎn)為事務(wù)執(zhí)行控制節(jié)點(diǎn)后，按照既定的節(jié)點(diǎn)協(xié)調(diào)策略解決并發(fā)沖突。

2.3 基于節(jié)點(diǎn)協(xié)調(diào)策略的數(shù)據(jù)同步流程

基于節(jié)點(diǎn)協(xié)調(diào)策略的數(shù)據(jù)同步流程主要分為五步：第一步是分發(fā)事務(wù)。位于前端的事務(wù)獲取模塊會(huì)以特定頻率刷新事務(wù)更新消息，一旦事務(wù)更新則立即將該消息反饋至節(jié)點(diǎn)服務(wù)器。服務(wù)器讀取事務(wù)更新日志后，按照特定格式進(jìn)行封裝，并發(fā)送至同屬于該分布式網(wǎng)絡(luò)的其他節(jié)點(diǎn)服務(wù)器。第二步是并發(fā)處理。其他節(jié)點(diǎn)服務(wù)器在接收到更新事務(wù)消息后，判斷是否存在事務(wù)并發(fā)沖突。若確實(shí)存在，則進(jìn)行并發(fā)沖突處理。同時(shí)更新事務(wù)沖突序列。第三步是確定基于節(jié)點(diǎn)協(xié)調(diào)策略的中心節(jié)點(diǎn)（事務(wù)執(zhí)行控制節(jié)點(diǎn)）。按照時(shí)間順序讀取事務(wù)沖突列表，執(zhí)行一個(gè)判斷程序“事務(wù)發(fā)起節(jié)點(diǎn)與本節(jié)點(diǎn)的編號是否一致？”若判斷結(jié)果為“Y”，則將本節(jié)點(diǎn)作為事務(wù)執(zhí)行控制節(jié)點(diǎn)。若判斷結(jié)果為“N”，則等待該事務(wù)的執(zhí)行控制節(jié)點(diǎn)發(fā)送的控制命令。第四步是故障恢復(fù)。在出現(xiàn)事務(wù)并發(fā)執(zhí)行沖突后，系統(tǒng)的網(wǎng)絡(luò)或服務(wù)器會(huì)停運(yùn)，導(dǎo)致數(shù)據(jù)無法同步。經(jīng)過節(jié)點(diǎn)協(xié)調(diào)處理后，故障恢復(fù)，各個(gè)節(jié)點(diǎn)數(shù)據(jù)庫的數(shù)據(jù)重新保持一致。第五步是完成事務(wù)處理，并記錄故障信息，同步更新故障表。

2.4 基于數(shù)據(jù)同步模型的仿真實(shí)驗(yàn)

2.4.1 實(shí)驗(yàn)環(huán)境

在實(shí)驗(yàn)室環(huán)境下使用5 臺Linux 服務(wù)器和局域網(wǎng)搭建了小型的仿真實(shí)驗(yàn)裝置。選用Oracle 數(shù)據(jù)庫，數(shù)據(jù)庫與節(jié)點(diǎn)服務(wù)器之間一對一連接，5 臺節(jié)點(diǎn)服務(wù)器與局域網(wǎng)并聯(lián)，彼此之間互不影響。

2.4.2 實(shí)驗(yàn)內(nèi)容及結(jié)果

為了更加直觀地表示基于節(jié)點(diǎn)協(xié)調(diào)策略的數(shù)據(jù)同步模型在并發(fā)沖突處理上的高效性，設(shè)計(jì)了一組對照實(shí)驗(yàn)。其中對照組為傳統(tǒng)的采用固定中心節(jié)點(diǎn)的數(shù)據(jù)同步模型；實(shí)驗(yàn)組為基于節(jié)點(diǎn)協(xié)調(diào)策略的數(shù)據(jù)同步模型，分別進(jìn)行5 組試驗(yàn)。

實(shí)驗(yàn)1：系統(tǒng)中設(shè)有1 個(gè)節(jié)點(diǎn)，使兩個(gè)系統(tǒng)的節(jié)點(diǎn)在同一時(shí)刻產(chǎn)生1 條事務(wù)更新。計(jì)算從系統(tǒng)獲取更新事務(wù)到其他節(jié)點(diǎn)全部接收到更新事務(wù)的用時(shí)；實(shí)驗(yàn)2：在實(shí)驗(yàn)1 的基礎(chǔ)上再增設(shè)1 個(gè)節(jié)點(diǎn)，仍然讓每個(gè)節(jié)點(diǎn)在同一時(shí)刻產(chǎn)生1 條事務(wù)更新，計(jì)算用時(shí)；實(shí)驗(yàn)3、4、5均在上一組實(shí)驗(yàn)的基礎(chǔ)上增加1 個(gè)節(jié)點(diǎn)，其他實(shí)驗(yàn)內(nèi)容保持不變。統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果見表1。

表1 更新事務(wù)傳輸耗時(shí)

以節(jié)點(diǎn)數(shù)目為x 軸，以傳輸耗時(shí)為y 軸，根據(jù)表1數(shù)據(jù)繪制二維坐標(biāo)圖，如圖2 所示。

綜合表1 和圖2 可以發(fā)現(xiàn)，在節(jié)點(diǎn)數(shù)目為1 時(shí)，兩者之間更新事務(wù)傳輸耗時(shí)一致，均為0.30 ms。但是隨著節(jié)點(diǎn)數(shù)量的增加，傳統(tǒng)模型更新事務(wù)傳輸耗時(shí)明顯要高于基于節(jié)點(diǎn)協(xié)調(diào)策略的數(shù)據(jù)同步模型。其中，當(dāng)節(jié)點(diǎn)數(shù)目增加至5 個(gè)時(shí)，傳統(tǒng)模型更新事務(wù)傳輸耗時(shí)達(dá)到了21.05 ms，而基于節(jié)點(diǎn)協(xié)調(diào)策略的數(shù)據(jù)同步模型用時(shí)僅為7.77 ms，用時(shí)縮短了63.1%。分析其原因，傳統(tǒng)模型在遇到節(jié)點(diǎn)事務(wù)更新后，分支節(jié)點(diǎn)需要將更新事務(wù)發(fā)送給中心節(jié)點(diǎn)，等到中心節(jié)點(diǎn)處理后再協(xié)調(diào)各個(gè)節(jié)點(diǎn)完成數(shù)據(jù)同步。節(jié)點(diǎn)越多的情況下，中心節(jié)點(diǎn)的運(yùn)行負(fù)載越大，處理時(shí)間越長。相比之下，基于節(jié)點(diǎn)協(xié)調(diào)策略的數(shù)據(jù)同步模型，各個(gè)節(jié)點(diǎn)地位平等，在出現(xiàn)事務(wù)更新后可直接由對應(yīng)的節(jié)點(diǎn)完成處理，從而大幅度減少了傳輸耗時(shí)。

圖2 更新事務(wù)傳輸耗時(shí)對比

3 分布式網(wǎng)絡(luò)數(shù)據(jù)同步技術(shù)的應(yīng)用

3.1 網(wǎng)絡(luò)安全監(jiān)管系統(tǒng)的數(shù)據(jù)同步需求

近年來網(wǎng)絡(luò)安全問題引起了社會(huì)各界的高度關(guān)注，數(shù)據(jù)丟失、隱私泄露等問題的頻繁發(fā)生不僅直接損害了個(gè)人、企業(yè)的利益，而且也不利于社會(huì)經(jīng)濟(jì)的發(fā)展。在這一背景下，網(wǎng)絡(luò)安全監(jiān)管系統(tǒng)得到了廣泛應(yīng)用，它是基于協(xié)議分析、訪問控制、事件審計(jì)等一系列技術(shù)，對被監(jiān)管主機(jī)的重要信息、關(guān)鍵數(shù)據(jù)等進(jìn)行實(shí)時(shí)監(jiān)控。一旦出現(xiàn)異常訪問或越權(quán)操作，則立即終止操作，從而切實(shí)保障了網(wǎng)絡(luò)安全，保障了信息隱私。某網(wǎng)絡(luò)安全監(jiān)管系統(tǒng)采用Oracle 9i 數(shù)據(jù)庫，運(yùn)行服務(wù)器為Linux 95，系統(tǒng)采用分布式結(jié)構(gòu)，需要實(shí)現(xiàn)對等數(shù)據(jù)同步功能。對數(shù)據(jù)庫系統(tǒng)提出了以下要求：第一是采用基于事務(wù)的數(shù)據(jù)同步更新，保證關(guān)鍵數(shù)據(jù)在更新后立刻同步至其他節(jié)點(diǎn)；第二是任意一個(gè)節(jié)點(diǎn)都具備對關(guān)鍵數(shù)據(jù)的操作權(quán)利，保證節(jié)點(diǎn)之間地位平等，提高事務(wù)更新響應(yīng)速度；第三是數(shù)據(jù)同步期間不會(huì)因?yàn)槟硞€(gè)節(jié)點(diǎn)故障而受到干擾。同時(shí)在網(wǎng)絡(luò)故障恢復(fù)后能夠自動(dòng)恢復(fù)數(shù)據(jù)直到數(shù)據(jù)完全同步。基于上述需求，設(shè)計(jì)了一種基于節(jié)點(diǎn)協(xié)調(diào)策略的完全對等數(shù)據(jù)同步模型，將其應(yīng)用到該網(wǎng)絡(luò)安全監(jiān)管系統(tǒng)中。

3.2 數(shù)據(jù)同步更新過程

3.2.1 注冊新節(jié)點(diǎn)

在數(shù)據(jù)同步系統(tǒng)中，需要添加新的節(jié)點(diǎn)時(shí)必須要提前將該節(jié)點(diǎn)的相關(guān)信息錄入到注冊機(jī)服務(wù)端。在注冊信息列表中查詢到該節(jié)點(diǎn)的信息，才能使該節(jié)點(diǎn)正常投入運(yùn)行，同時(shí)更新后的注冊信息列表也會(huì)同步更新至節(jié)點(diǎn)服務(wù)端。其中，注冊機(jī)服務(wù)端擁有管理權(quán)限，而節(jié)點(diǎn)服務(wù)端只具備閱讀、申請修改的權(quán)限。注冊信息列表的結(jié)構(gòu)見表2。

表2 注冊信息表結(jié)構(gòu)

由于該系統(tǒng)中所有節(jié)點(diǎn)的地位平等，因此注冊流程也基本一致。首先，節(jié)點(diǎn)服務(wù)端的服務(wù)器收集的IP地址、端口號等配置信息，并打包發(fā)送至注冊機(jī)服務(wù)端。在順利接收到與新增節(jié)點(diǎn)有關(guān)的注冊信息后，注冊機(jī)服務(wù)器將該信息儲(chǔ)存到注冊信息表中，并刷新一次信息表，這時(shí)系統(tǒng)會(huì)按照注冊順序自動(dòng)生成節(jié)點(diǎn)編號。完成注冊后，注冊機(jī)服務(wù)器將注冊信息表同步更新到該分布式網(wǎng)絡(luò)下的各個(gè)節(jié)點(diǎn)。

3.2.2 新節(jié)點(diǎn)初始化

出版結(jié)構(gòu)表是一種用于描述在對等數(shù)據(jù)同步時(shí)數(shù)據(jù)庫中關(guān)鍵數(shù)據(jù)的表結(jié)構(gòu)，其功能主要有兩個(gè)，即記錄初始化數(shù)據(jù)和記錄事務(wù)同步時(shí)的關(guān)鍵數(shù)據(jù)。通常情況下，當(dāng)注冊機(jī)服務(wù)端在接收到新節(jié)點(diǎn)注冊請求后，會(huì)自動(dòng)生成新的出版結(jié)構(gòu)表，并根據(jù)新節(jié)點(diǎn)注冊信息自動(dòng)填充表格內(nèi)容，包括表ID、表名字、數(shù)據(jù)類型等。除了出版結(jié)構(gòu)表外，新節(jié)點(diǎn)初始化中還需要建立事務(wù)日志表，其作用是提供節(jié)點(diǎn)初始化關(guān)鍵數(shù)據(jù)的同步服務(wù)。新節(jié)點(diǎn)的初始化過程如圖3 所示。

圖3 新節(jié)點(diǎn)初始化過程

3.2.3 完全對等數(shù)據(jù)同步

在新節(jié)點(diǎn)初始化以后，進(jìn)入數(shù)據(jù)同步環(huán)節(jié)。完全對等數(shù)據(jù)同步分3 個(gè)步驟實(shí)現(xiàn)，分別是事務(wù)獲取與發(fā)送、事務(wù)接收與并發(fā)處理、事務(wù)執(zhí)行與數(shù)據(jù)沖突處理。位于節(jié)點(diǎn)端的事務(wù)獲取模塊，會(huì)按照特定頻率采集數(shù)據(jù)庫的活動(dòng)事務(wù)，若沒有檢測到事務(wù)更新，則重復(fù)檢測，直到檢測到新的活動(dòng)事務(wù)。然后讀取事務(wù)更新內(nèi)容，并加蓋時(shí)間戳，將其添加至本地事務(wù)列表中。系統(tǒng)會(huì)根據(jù)時(shí)間順序依次讀取節(jié)點(diǎn)信息，若節(jié)點(diǎn)正常，則向該節(jié)點(diǎn)發(fā)送更新事務(wù)；若節(jié)點(diǎn)異常，則將更新事務(wù)寫入故障數(shù)據(jù)表，重新尋找其他可行節(jié)點(diǎn)進(jìn)行處理。節(jié)點(diǎn)服務(wù)端在接收到更新事務(wù)信息后，立即做并發(fā)沖突檢測，利用預(yù)設(shè)的沖突處理程序完成并發(fā)沖突的處理。處理完畢后，根據(jù)節(jié)點(diǎn)協(xié)調(diào)策略，將更新事務(wù)同步到其他節(jié)點(diǎn)上，從而保證了數(shù)據(jù)一致性。

4 結(jié)束語

現(xiàn)階段一些大容量的數(shù)據(jù)庫，為了保證數(shù)據(jù)安全和提高數(shù)據(jù)查詢速度，通常會(huì)采用分布式結(jié)構(gòu)。面對海量化的數(shù)據(jù)，應(yīng)用數(shù)據(jù)同步技術(shù)可以讓數(shù)據(jù)庫系統(tǒng)各個(gè)分布式節(jié)點(diǎn)上的數(shù)據(jù)做到同步更新、完全一致，對降低數(shù)據(jù)庫系統(tǒng)的運(yùn)行負(fù)荷和提高操作響應(yīng)速度有顯著作用。本文設(shè)計(jì)的一種基于節(jié)點(diǎn)協(xié)調(diào)策略的完全對等數(shù)據(jù)同步模型，無論是在仿真實(shí)驗(yàn)還是在實(shí)際應(yīng)用中，更新事務(wù)傳輸耗時(shí)均明顯低于傳統(tǒng)的數(shù)據(jù)同步模型，在大型信息系統(tǒng)中具有推廣應(yīng)用價(jià)值。