淺談分布式數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)研究與應(yīng)用

唐 赫，熊紫騰，劉 松，楊立行

（1.廣東佛山供電局，廣東 佛山 528000；2.國(guó)網(wǎng)江西省電力有限公司供電服務(wù)管理中心，江西南昌 330096；3.上海電力大學(xué)，上海 200090）

0 引言

現(xiàn)在國(guó)內(nèi)大部分信息系統(tǒng)的數(shù)據(jù)存儲(chǔ)方式是采用“小型機(jī)＋高端數(shù)據(jù)庫(kù)＋高端磁盤(pán)存儲(chǔ)陣列”的集中方式來(lái)實(shí)現(xiàn)。隨著對(duì)接的應(yīng)用系統(tǒng)越來(lái)越多，數(shù)據(jù)源越來(lái)越豐富，數(shù)據(jù)的運(yùn)算量越來(lái)越大，數(shù)據(jù)庫(kù)服務(wù)器的壓力也日益增長(zhǎng)，從而引起網(wǎng)速慢、卡頓的現(xiàn)象。針對(duì)這一情況，文中介紹“分布式數(shù)據(jù)庫(kù)集群系統(tǒng)”，通過(guò)對(duì)分布式數(shù)據(jù)庫(kù)的相關(guān)核心技術(shù)進(jìn)行研究分析，重新設(shè)計(jì)、布置并實(shí)現(xiàn)數(shù)據(jù)庫(kù)服務(wù)器的高性能。分布式數(shù)據(jù)庫(kù)集群系統(tǒng)由服務(wù)器集群、中間件、分布式系統(tǒng)組成，配置并行計(jì)算等多元技術(shù)構(gòu)建的基礎(chǔ)型軟件，為海量數(shù)據(jù)的存儲(chǔ)、計(jì)算、檢索和查詢提供強(qiáng)勁的支撐和動(dòng)力。

1 系統(tǒng)原理和技術(shù)特點(diǎn)

1.1 分布式數(shù)據(jù)庫(kù)概念

分布式數(shù)據(jù)庫(kù)的各組信息數(shù)據(jù)保存在網(wǎng)絡(luò)的不同節(jié)點(diǎn)上，在邏輯上這些節(jié)點(diǎn)同屬于一個(gè)系統(tǒng)，即在邏輯上分布式數(shù)據(jù)庫(kù)是一個(gè)整體，但在物理上分布式數(shù)據(jù)庫(kù)又具有分布性。因此，在邏輯上分布式數(shù)據(jù)庫(kù)就稱(chēng)為全局?jǐn)?shù)據(jù)庫(kù)，物理上又有局部數(shù)據(jù)庫(kù)的概念。分布式數(shù)據(jù)庫(kù)系統(tǒng)由2 部分組成：一是分布式數(shù)據(jù)庫(kù)；二是分布式數(shù)據(jù)庫(kù)管理系統(tǒng)[1]。分布式數(shù)據(jù)庫(kù)管理系統(tǒng)作為分布式數(shù)據(jù)庫(kù)的管理軟件，專(zhuān)門(mén)負(fù)責(zé)分布式系統(tǒng)中數(shù)據(jù)的存儲(chǔ)、讀寫(xiě)、邏輯的一致性和完備性的管理。同時(shí)由于數(shù)據(jù)分布在系統(tǒng)的各個(gè)節(jié)點(diǎn)，因此在管理機(jī)制上還必須統(tǒng)籌協(xié)調(diào)計(jì)算機(jī)網(wǎng)絡(luò)的通信規(guī)范、協(xié)議、調(diào)度和分布管理。

1.2 分布式數(shù)據(jù)庫(kù)架構(gòu)

采集系統(tǒng)分布式數(shù)據(jù)庫(kù)采用“主站-子節(jié)點(diǎn)”兩級(jí)部署模式，主站側(cè)系統(tǒng)主要承擔(dān)數(shù)據(jù)管理、調(diào)度管控、業(yè)務(wù)應(yīng)用數(shù)據(jù)發(fā)布、統(tǒng)一接口交互、運(yùn)行管理監(jiān)測(cè)等任務(wù)，子節(jié)點(diǎn)主要負(fù)責(zé)采集設(shè)備運(yùn)維管理、用電消息數(shù)據(jù)采集、用戶計(jì)量監(jiān)測(cè)、采集任務(wù)的執(zhí)行、計(jì)量異常診斷等營(yíng)銷(xiāo)采集任務(wù)，完成指令傳送、交互數(shù)據(jù)共享、業(yè)務(wù)應(yīng)用互動(dòng)、數(shù)據(jù)傳輸?shù)确?wù)支撐。系統(tǒng)節(jié)點(diǎn)之間采用專(zhuān)用的信道，實(shí)現(xiàn)高效、靈活、安全的數(shù)據(jù)交互體系，支撐業(yè)務(wù)數(shù)據(jù)的抽取、任務(wù)策略的下發(fā)、微網(wǎng)應(yīng)用的管理、業(yè)務(wù)需求的收集、采集任務(wù)的管控以及核查驗(yàn)證等應(yīng)用場(chǎng)景。采集系統(tǒng)分布式數(shù)據(jù)庫(kù)物理架構(gòu)運(yùn)用專(zhuān)用服務(wù)器或物理獨(dú)立的異地?cái)?shù)據(jù)備份資源，目的是為了實(shí)現(xiàn)分域管理、數(shù)據(jù)共享、高效互通、跨域安全的構(gòu)想，主站側(cè)系統(tǒng)物理上獨(dú)立布置，子節(jié)點(diǎn)側(cè)系統(tǒng)各自獨(dú)立分布在全省網(wǎng)絡(luò)的各節(jié)點(diǎn)上，分別為采集系統(tǒng)的各項(xiàng)業(yè)務(wù)、數(shù)據(jù)交互提供數(shù)據(jù)信息支撐，對(duì)外交互接口都分別設(shè)置了安全隔離帶，確保系統(tǒng)安全穩(wěn)定運(yùn)行。物理架構(gòu)如圖1所示。

圖1 采集系統(tǒng)分布式數(shù)據(jù)庫(kù)物理構(gòu)架圖

1.3 分布式數(shù)據(jù)庫(kù)各類(lèi)節(jié)點(diǎn)的分工

1）應(yīng)用類(lèi)，主要業(yè)務(wù)內(nèi)容包括前端框架、微服務(wù)框架、部署框架、用能優(yōu)化管理架、采集運(yùn)維、計(jì)量在線監(jiān)測(cè)、用戶負(fù)荷監(jiān)測(cè)、控制監(jiān)測(cè)、線損監(jiān)測(cè)、配電監(jiān)測(cè)、用電監(jiān)測(cè)、報(bào)表工具、圖形工具、接入管理、鏡像管理、容器管理、服務(wù)管理等。

2）計(jì)算類(lèi)，主要負(fù)責(zé)采集數(shù)據(jù)隊(duì)列、采集緩存數(shù)據(jù)、異常診斷、批量計(jì)算、線損計(jì)算、實(shí)時(shí)計(jì)算、負(fù)荷計(jì)算、數(shù)據(jù)分析、負(fù)荷預(yù)測(cè)、電量預(yù)測(cè)等業(yè)務(wù)。

3）存儲(chǔ)類(lèi)，主要負(fù)責(zé)緩存庫(kù)、緩存數(shù)據(jù)、實(shí)時(shí)庫(kù)、實(shí)時(shí)切面、采集數(shù)據(jù)、報(bào)文數(shù)據(jù)、采集全量庫(kù)、標(biāo)簽數(shù)據(jù)、業(yè)務(wù)分析庫(kù)、檔案數(shù)據(jù)、分析數(shù)據(jù)及管理。

4）通訊類(lèi)，主要負(fù)責(zé)設(shè)備連接、設(shè)備接入、安全認(rèn)證、數(shù)據(jù)采集、規(guī)約解析、任務(wù)執(zhí)行、通信代理、數(shù)據(jù)召測(cè)等業(yè)務(wù)。

1.4 分布式數(shù)據(jù)庫(kù)的技術(shù)指標(biāo)

1）分布式數(shù)據(jù)庫(kù)的整體要求

（1）系統(tǒng)基于分布式結(jié)構(gòu)布置，具有可彈性拓展的能力，某一節(jié)點(diǎn)的故障不會(huì)影響其它性能。

（2）節(jié)點(diǎn)故障恢復(fù)的時(shí)長(zhǎng)應(yīng)≤2 h。

（3）系統(tǒng)具備容災(zāi)、災(zāi)備自動(dòng)切換的能力，系統(tǒng)核心業(yè)務(wù)不發(fā)生停頓中斷。

2）分布式數(shù)據(jù)庫(kù)的應(yīng)用要求

（1）系統(tǒng)具有完整的應(yīng)用服務(wù)治理體制。

（2）應(yīng)用頁(yè)面彈出的時(shí)間≤1s。

（3）數(shù)據(jù)訪問(wèn)響應(yīng)時(shí)間≤3s。

（4）系統(tǒng)升級(jí)過(guò)程中不能發(fā)生業(yè)務(wù)中斷。

3）分布式數(shù)據(jù)庫(kù)的計(jì)算、存儲(chǔ)要求

（1）可滿足采集全量數(shù)據(jù)的存儲(chǔ)需求。

（2）具備各項(xiàng)業(yè)務(wù)實(shí)時(shí)計(jì)算、大規(guī)模、大批量數(shù)據(jù)計(jì)算的能力。

（3）能及時(shí)、實(shí)時(shí)地滿足各類(lèi)采集業(yè)務(wù)的統(tǒng)計(jì)、分析、計(jì)算。

4）分布式數(shù)據(jù)庫(kù)的通信能力

（1）能滿足數(shù)據(jù)按需采集需求。

（2）能實(shí)現(xiàn)分鐘級(jí)的實(shí)時(shí)數(shù)據(jù)采集能力。

（3）具有命令優(yōu)先級(jí)動(dòng)態(tài)調(diào)控的功能。

（4）在信道及設(shè)備正常的情況下，業(yè)務(wù)指令交互響應(yīng)時(shí)間≤3 s。

（5）具備支持全量終端并發(fā)上報(bào)報(bào)文，可快速解析的能力。

5）數(shù)據(jù)信息交互的需求

（1）可完成異構(gòu)數(shù)據(jù)的批量同步，能滿足不同系統(tǒng)間數(shù)據(jù)申請(qǐng)。

（2）交互數(shù)據(jù)的實(shí)時(shí)發(fā)布延時(shí)≤5 s。

（3）外部系統(tǒng)數(shù)據(jù)交互的響應(yīng)延遲≤5 s。

1.5 分布式數(shù)據(jù)庫(kù)的基本特點(diǎn)

分布式數(shù)據(jù)庫(kù)所具備的四個(gè)基礎(chǔ)特點(diǎn)：

1）物理上具有分布性：分布式數(shù)據(jù)庫(kù)的信息數(shù)據(jù)是保存在系統(tǒng)網(wǎng)絡(luò)的多個(gè)節(jié)點(diǎn)上的，而不是存儲(chǔ)在一個(gè)站點(diǎn)上。

2）邏輯具有整體性：雖然分布式數(shù)據(jù)庫(kù)系統(tǒng)數(shù)據(jù)信息分布在系統(tǒng)網(wǎng)絡(luò)的各個(gè)節(jié)點(diǎn)上，但在邏輯上，它們均由分布式數(shù)據(jù)庫(kù)管理系統(tǒng)實(shí)施統(tǒng)一協(xié)調(diào)管理，被全局所有用戶共享，在系統(tǒng)邏輯上是一個(gè)統(tǒng)一的整體。

3）站點(diǎn)具備的自治性：每一個(gè)節(jié)點(diǎn)上的信息數(shù)據(jù)均可由當(dāng)?shù)乇就恋木植繑?shù)據(jù)庫(kù)管理系統(tǒng)進(jìn)行自治協(xié)調(diào)管理和問(wèn)題自治處理，達(dá)到各節(jié)點(diǎn)的自應(yīng)用。

4）節(jié)點(diǎn)間協(xié)同協(xié)作性：雖然各個(gè)站點(diǎn)都具有高度的自治能力，但又能相互配合，形成一個(gè)整體。

1.6 分布式數(shù)據(jù)庫(kù)的獨(dú)特特點(diǎn)

1）數(shù)據(jù)的獨(dú)立性：分布式數(shù)據(jù)庫(kù)系統(tǒng)中存儲(chǔ)的數(shù)據(jù)具有邏輯獨(dú)立性、物理獨(dú)立性，還有數(shù)據(jù)的分布透明性的特點(diǎn)。

2）自治與集中相統(tǒng)一的結(jié)合機(jī)制：系統(tǒng)中每個(gè)節(jié)點(diǎn)上的信息均可供該節(jié)點(diǎn)所有用戶共享，業(yè)務(wù)流程上由本地?cái)?shù)據(jù)庫(kù)管理系統(tǒng)進(jìn)行管理；具有全局權(quán)限的用戶可在全系統(tǒng)范圍內(nèi)共享所有節(jié)點(diǎn)的數(shù)據(jù)，全局的數(shù)據(jù)共享由系統(tǒng)集中的控制流程進(jìn)行統(tǒng)一控制[2]。

3）增大數(shù)據(jù)的冗余度：要實(shí)現(xiàn)分布式數(shù)據(jù)庫(kù)系統(tǒng)的可靠性、可用性和系統(tǒng)性能的提高，可通過(guò)擴(kuò)大數(shù)據(jù)冗余度來(lái)實(shí)現(xiàn)。可采用在多個(gè)節(jié)點(diǎn)上保存數(shù)據(jù)副本的方式來(lái)保證可靠性的提高，即使系統(tǒng)的某一節(jié)點(diǎn)發(fā)生故障，系統(tǒng)可以不受影響繼續(xù)正常工作；同時(shí)系統(tǒng)會(huì)自動(dòng)將最近的數(shù)據(jù)副本作為備份繼續(xù)完成操作，這樣既減少通信頻次，又確保了整個(gè)系統(tǒng)的性能。

4）事務(wù)管理的分布性：事務(wù)管理的分布特點(diǎn)也同時(shí)包括事務(wù)的執(zhí)行與事務(wù)的管理兩方面的分布性。系統(tǒng)將一個(gè)全局的事務(wù)進(jìn)行分解，將任務(wù)分解成多個(gè)子任務(wù)，分配給各節(jié)點(diǎn)執(zhí)行。同理，事務(wù)諸如隔離性、原子性、持久性、一致性、包括事務(wù)的恢復(fù)等其它特性，也同樣具有分布性的特點(diǎn)。

2 分布式數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)

2.1 分布式集群數(shù)據(jù)的一致性和高可靠性技術(shù)

分布式集群數(shù)據(jù)的一致性是指數(shù)據(jù)節(jié)點(diǎn)分組間的數(shù)據(jù)一致性。數(shù)據(jù)一致性可采用數(shù)據(jù)的復(fù)制技術(shù)來(lái)完成，主要有三種方式：

1）同步模式。將主數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)可用性設(shè)置為最高級(jí)別，當(dāng)網(wǎng)絡(luò)系統(tǒng)故障，或備用數(shù)據(jù)庫(kù)不能使用時(shí)，系統(tǒng)會(huì)自動(dòng)掛起主節(jié)點(diǎn)數(shù)據(jù)，以確保主數(shù)據(jù)節(jié)點(diǎn)和備用數(shù)據(jù)節(jié)點(diǎn)之間高度一致。在這種情況下，日志管理流程就自動(dòng)將日志記錄從主數(shù)據(jù)節(jié)點(diǎn)發(fā)送到其備份數(shù)據(jù)庫(kù)保存，在沒(méi)有收到數(shù)據(jù)發(fā)送成功的消息之前，主數(shù)據(jù)庫(kù)的事務(wù)就不會(huì)提交。當(dāng)主數(shù)據(jù)節(jié)點(diǎn)發(fā)生故障時(shí)，由于所有需要上交的事務(wù)都已經(jīng)從主數(shù)據(jù)庫(kù)同步到備用數(shù)據(jù)庫(kù)，所以根本就不會(huì)發(fā)生數(shù)據(jù)丟失情況。

2）純異步模式。在主數(shù)據(jù)節(jié)點(diǎn)的日常、正常操作過(guò)程中，無(wú)需對(duì)數(shù)據(jù)是否已經(jīng)同步到備用數(shù)據(jù)節(jié)點(diǎn)進(jìn)行確認(rèn)，就直接執(zhí)行本地操作，因此主數(shù)據(jù)庫(kù)的性能根本不受該種操作的影響。即使備用數(shù)據(jù)庫(kù)發(fā)生故障也不會(huì)引起主數(shù)據(jù)庫(kù)掛起；當(dāng)備用數(shù)據(jù)庫(kù)恢復(fù)可用的時(shí)候，主、備數(shù)據(jù)節(jié)點(diǎn)將繼續(xù)同步數(shù)據(jù)。在一些應(yīng)用場(chǎng)景中，如對(duì)于大批量數(shù)據(jù)更新的事務(wù)，因?yàn)橹挥胁捎眠@種異步的方式，才能完成較好的大數(shù)據(jù)量長(zhǎng)事務(wù)支持，不會(huì)因?yàn)閺墓?jié)點(diǎn)的復(fù)制而影響主節(jié)點(diǎn)后續(xù)寫(xiě)事務(wù)的執(zhí)行。

3）半同步模式。半同步模式也為主數(shù)據(jù)節(jié)點(diǎn)提供了較高級(jí)別的保護(hù)。相比同步模式，若備用數(shù)據(jù)節(jié)點(diǎn)不能用時(shí)，主數(shù)據(jù)庫(kù)也不掛起，而是降級(jí)為最大性能模式運(yùn)行。主數(shù)據(jù)節(jié)點(diǎn)仍將繼續(xù)運(yùn)行，但主數(shù)據(jù)庫(kù)和備用數(shù)據(jù)庫(kù)之間就可能出現(xiàn)數(shù)據(jù)不一致的現(xiàn)象。在備用數(shù)據(jù)節(jié)點(diǎn)可用的情況下，主數(shù)據(jù)節(jié)點(diǎn)的運(yùn)行狀態(tài)為同步模式。

2.2 分布式數(shù)據(jù)庫(kù)彈性計(jì)算技術(shù)

分布式數(shù)據(jù)庫(kù)的自動(dòng)分庫(kù)、分表就是數(shù)據(jù)的分片。分布式數(shù)據(jù)庫(kù)的最為顯著的特征就是數(shù)據(jù)的分片。在分布式數(shù)據(jù)庫(kù)中，全局?jǐn)?shù)據(jù)庫(kù)的邏輯分割而產(chǎn)生各節(jié)點(diǎn)的各個(gè)局部數(shù)據(jù)庫(kù)通過(guò)邏輯組合而成全局?jǐn)?shù)據(jù)庫(kù)，各節(jié)點(diǎn)的局部數(shù)據(jù)庫(kù)。存放在分布式數(shù)據(jù)庫(kù)中的單位就是存放數(shù)據(jù)的邏輯片段。數(shù)據(jù)分片的總體邏輯如圖2所示。

圖2 數(shù)據(jù)分片的總體邏輯

1）基于表的水平拆分策略

水平分片主要解決的問(wèn)題是單表中數(shù)據(jù)量增加產(chǎn)生的壓力。水平切分的作用，就是將一個(gè)數(shù)據(jù)表按照約定的規(guī)則，將數(shù)據(jù)分散到不同表或者數(shù)據(jù)庫(kù)里。水平切分不會(huì)破壞數(shù)據(jù)表之間的關(guān)系，不僅可以將有關(guān)系的數(shù)據(jù)表放在同一個(gè)庫(kù)里，既不會(huì)對(duì)應(yīng)用端的業(yè)務(wù)需求產(chǎn)生影響，也能從根本上分解大數(shù)據(jù)量的難題。水平分片路由算法主要對(duì)關(guān)鍵字段通過(guò)Hash/Range/List等各種拆分方式，從設(shè)計(jì)上應(yīng)支持用戶可自定義的拆分算法。

2）基于字段的垂直拆分策略

垂直拆分類(lèi)似于把表按模塊劃分到不同數(shù)據(jù)庫(kù)。垂直分片把全局關(guān)系的屬性集分成若干子集，形成幾個(gè)垂直片段。在垂直劃分時(shí)，每一個(gè)分片都是原始關(guān)系中所有數(shù)據(jù)列的一個(gè)子集合。全局關(guān)系屏蔽了數(shù)據(jù)的物理分布，提供了數(shù)據(jù)分布的又一個(gè)透明性。

3）基于E-R模型的分片策略

傳統(tǒng)的數(shù)據(jù)拆分方式都是基于表格的，每張表數(shù)據(jù)都按照拆分規(guī)則被獨(dú)立的拆分到各數(shù)據(jù)節(jié)點(diǎn)上。基于E-R 模型的分片策略針對(duì)的是拆分表存在E-R關(guān)聯(lián)的。將一組有關(guān)聯(lián)關(guān)系的表分組進(jìn)行存放。每個(gè)Table Group 由主表和子表組成。子表的存儲(chǔ)依賴于主表，在物理上緊密相連。

4）基于全局表的分片策略

全局表通常是系統(tǒng)的字典表，指那些變動(dòng)不頻繁、數(shù)據(jù)規(guī)模小、卻又與很多業(yè)務(wù)表有關(guān)聯(lián)關(guān)系的表。針對(duì)這一類(lèi)表的分片策略主要包括全局表的插入、更新操作會(huì)在各個(gè)數(shù)據(jù)節(jié)點(diǎn)上執(zhí)行，通過(guò)事務(wù)來(lái)保障數(shù)據(jù)的一致；全局表的查詢只從一個(gè)數(shù)據(jù)節(jié)點(diǎn)讀取；全局表可以跟任意表做表連接操作。

2.3 同步復(fù)制的影響

業(yè)務(wù)連續(xù)性，是指分布式數(shù)據(jù)庫(kù)的使用者，能否一直訪問(wèn)和操作數(shù)據(jù)庫(kù)，當(dāng)在數(shù)據(jù)節(jié)點(diǎn)主備切換的時(shí)候，會(huì)不會(huì)影響到分布式數(shù)據(jù)庫(kù)的業(yè)務(wù)連續(xù)性。由于主備上存儲(chǔ)了冗余的數(shù)據(jù)，數(shù)據(jù)庫(kù)性能和只有一份數(shù)據(jù)相比較，所以主數(shù)據(jù)庫(kù)所負(fù)擔(dān)業(yè)務(wù)壓力的能力會(huì)受到一些影響。

1）數(shù)據(jù)一致性與業(yè)務(wù)連續(xù)性（見(jiàn)圖3）

同步方式是唯一不通過(guò)數(shù)據(jù)補(bǔ)償即能保證數(shù)據(jù)一致性的手段，即在主節(jié)點(diǎn)突然完全不可用時(shí)，同步方式能保證數(shù)據(jù)不丟失。

異步方式因?yàn)閿?shù)據(jù)復(fù)制存在可能延遲無(wú)法在上述場(chǎng)景保證數(shù)據(jù)不丟失，所以為提升數(shù)據(jù)一致性需進(jìn)行數(shù)據(jù)補(bǔ)償，補(bǔ)償數(shù)據(jù)時(shí)需要一定的時(shí)間。因此異步方式在業(yè)務(wù)連續(xù)性和數(shù)據(jù)一致性之間存在取舍。

2）數(shù)據(jù)一致性與數(shù)據(jù)庫(kù)性能（見(jiàn)圖4）

圖4 數(shù)據(jù)一致性與數(shù)據(jù)庫(kù)性能的關(guān)系

同步方式會(huì)有相對(duì)較大的數(shù)據(jù)庫(kù)性能損失，換來(lái)的是主備數(shù)據(jù)完全一致，不會(huì)產(chǎn)生數(shù)據(jù)丟失。

半同步的方式，會(huì)用一部分的數(shù)據(jù)庫(kù)性能損失換取主備數(shù)據(jù)較小的差異，使最壞情況下丟失的數(shù)據(jù)在一定范圍內(nèi)。

純異步方式中，擁有最好的性能，但會(huì)產(chǎn)生較大的主備數(shù)據(jù)差異，存在丟失數(shù)據(jù)過(guò)多的風(fēng)險(xiǎn)。

2.4 分布式任務(wù)引擎關(guān)鍵技術(shù)

分布式任務(wù)引擎是建立在硬件資源層之上，能不間斷的響應(yīng)用戶發(fā)出的任務(wù)，再根據(jù)當(dāng)前集群中所有節(jié)點(diǎn)的壓力，按邏輯分配任務(wù)，并能夠?qū)θ蝿?wù)的處理狀態(tài)進(jìn)行實(shí)時(shí)的追蹤，保障任務(wù)執(zhí)行的高可靠和最終一致。分布式任務(wù)引擎主要包括分布式應(yīng)用協(xié)調(diào)服務(wù)、任務(wù)引擎調(diào)度節(jié)點(diǎn)、任務(wù)引擎執(zhí)行節(jié)點(diǎn)[3]。

2.5 高可靠故障檢測(cè)與處理技術(shù)

節(jié)點(diǎn)故障的種類(lèi)分為：數(shù)據(jù)庫(kù)故障、操作系統(tǒng)故障、硬件故障、高可靠軟件的故障所引起的節(jié)點(diǎn)異常、或失去響應(yīng)。高可用組件在檢測(cè)到故障時(shí)，如不能在主節(jié)點(diǎn)上自動(dòng)恢復(fù)服務(wù)，則自動(dòng)將系統(tǒng)切換到備機(jī)上，避免單點(diǎn)故障。

2.6 高可靠-節(jié)點(diǎn)切換時(shí)數(shù)據(jù)一致性保障

將數(shù)據(jù)庫(kù)日志通過(guò)塊復(fù)制技術(shù)在infiniband高速網(wǎng)絡(luò)環(huán)境下或共享存儲(chǔ)設(shè)備同步到備機(jī)，當(dāng)主備有延遲時(shí)發(fā)生切換，可直接執(zhí)行二進(jìn)制日志到備庫(kù)。可防止因主機(jī)無(wú)法訪問(wèn)，造成數(shù)據(jù)不一致的情況發(fā)生。

2.7 分布式數(shù)據(jù)庫(kù)的訪問(wèn)流程

若要實(shí)現(xiàn)全局訪問(wèn)，需按照全局?jǐn)?shù)據(jù)模式使用全局訪問(wèn)語(yǔ)句對(duì)一個(gè)或多個(gè)節(jié)點(diǎn)的數(shù)據(jù)庫(kù)并行進(jìn)行訪問(wèn)。進(jìn)行全局訪問(wèn)通常要經(jīng)過(guò)以下步驟：

1）首先進(jìn)行任務(wù)分解，將全局任務(wù)分解為若干個(gè)邏輯子任務(wù)，其中的每一個(gè)子任務(wù)又對(duì)應(yīng)其中一個(gè)節(jié)點(diǎn)局部數(shù)據(jù)庫(kù)中的數(shù)據(jù)，分解后的子任務(wù)同樣是執(zhí)行全局語(yǔ)查詢句執(zhí)行的。

2）若全局任務(wù)執(zhí)行語(yǔ)句與局部數(shù)據(jù)庫(kù)的語(yǔ)句不一致，并還要將其每一個(gè)邏輯的子任務(wù)都轉(zhuǎn)換為對(duì)應(yīng)的局部數(shù)據(jù)庫(kù)的本地語(yǔ)句，并發(fā)送到相應(yīng)的節(jié)點(diǎn)局部數(shù)據(jù)庫(kù)去執(zhí)行。

3）各節(jié)點(diǎn)的子訪問(wèn)情況回送并合成為最終的訪問(wèn)結(jié)果。各個(gè)訪問(wèn)分解都具有相應(yīng)的系統(tǒng)性能，為了達(dá)到最優(yōu)的系統(tǒng)性能，還應(yīng)加上對(duì)應(yīng)的訪問(wèn)優(yōu)化器進(jìn)行輔助，查詢過(guò)程如圖5所示。

圖5 分布式數(shù)據(jù)庫(kù)查詢流程

通過(guò)查詢分解程序選定出的執(zhí)行計(jì)劃，需要說(shuō)明訪問(wèn)哪一些節(jié)點(diǎn)的局部數(shù)據(jù)庫(kù)，怎樣組合中間查詢結(jié)果，通過(guò)哪個(gè)站點(diǎn)完成全局處理等，最后再啟動(dòng)操作查詢計(jì)劃等。

2.8 分布式數(shù)據(jù)庫(kù)集群的實(shí)施

分布式數(shù)據(jù)庫(kù)集群系統(tǒng)包含前置中間件、應(yīng)用客戶端、單節(jié)點(diǎn)HA、集群監(jiān)控管理、后置中間件等五個(gè)基本組件，其中前四個(gè)組件（前置中間件、應(yīng)用客戶端、單節(jié)點(diǎn)組HA、集群監(jiān)控管理）在本階段需要開(kāi)發(fā)和實(shí)施，最后一個(gè)組件（后置中間件）進(jìn)行方案設(shè)計(jì)和原型驗(yàn)證[4]。總體架構(gòu)如圖6所示。

圖6 分布式數(shù)據(jù)庫(kù)的技術(shù)架構(gòu)

3 安全災(zāi)備設(shè)計(jì)

3.1 分布式數(shù)據(jù)庫(kù)的安全防護(hù)

分布式數(shù)據(jù)庫(kù)的安全防護(hù)根據(jù)《國(guó)家電網(wǎng)公司用電信息采集系統(tǒng)信息安全防護(hù)優(yōu)化方案》（修訂版），對(duì)用電消息采集各項(xiàng)業(yè)務(wù)的子域和數(shù)據(jù)信息交互服務(wù)功能都有不同安全級(jí)別的防護(hù)安全設(shè)計(jì)。分布式數(shù)據(jù)庫(kù)的防護(hù)安全方面，采集系統(tǒng)與各業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)交互都利用采集系統(tǒng)本身具備的防護(hù)安全設(shè)施進(jìn)行安全防護(hù)，但重點(diǎn)是對(duì)新增加的諸如新能源、微網(wǎng)、充電站等新交互接口進(jìn)行重點(diǎn)防護(hù)，在主站側(cè)用電消息采集系統(tǒng)需新建安全認(rèn)證服務(wù)，采集終端的安全防護(hù)方面，安裝了終端“設(shè)備指紋”認(rèn)證模塊，模塊具有采集終端安全在線監(jiān)測(cè)功能，具有嚴(yán)格防范未授權(quán)設(shè)備接入的功能特點(diǎn)；在數(shù)據(jù)防護(hù)安全方面，通過(guò)對(duì)數(shù)據(jù)進(jìn)行分類(lèi)管理、分級(jí)存儲(chǔ)，確保數(shù)據(jù)的脫敏、共享、監(jiān)測(cè)以及訪問(wèn)權(quán)限控制。分布式數(shù)據(jù)庫(kù)的安全防護(hù)如圖7所示。

圖7 分布式數(shù)據(jù)庫(kù)的安全防護(hù)圖

3.2 分布式數(shù)據(jù)庫(kù)的災(zāi)備設(shè)計(jì)

分布式數(shù)據(jù)庫(kù)需統(tǒng)一規(guī)劃部署災(zāi)備中心的機(jī)房、數(shù)據(jù)服務(wù)器、應(yīng)用服務(wù)器、交互接口服務(wù)器、網(wǎng)絡(luò)以及其它各類(lèi)軟硬件資源。將各項(xiàng)業(yè)務(wù)信息、數(shù)據(jù)進(jìn)行分級(jí)存儲(chǔ)、分類(lèi)管理，做到全量數(shù)據(jù)異地備份，實(shí)現(xiàn)關(guān)鍵數(shù)據(jù)的跨地區(qū)多地備份，做到一個(gè)系統(tǒng)一個(gè)方案，做好容災(zāi)系統(tǒng)建設(shè)，構(gòu)建完善、可靠的容災(zāi)、災(zāi)備切換方案，達(dá)到終端的不離線、服務(wù)不間斷、業(yè)務(wù)不中斷、訪問(wèn)流暢和數(shù)據(jù)共享不間斷的環(huán)境。

4 結(jié)語(yǔ)

分布式數(shù)據(jù)集群系統(tǒng)的特點(diǎn)就是性能優(yōu)異、吞吐率高，解決了數(shù)據(jù)庫(kù)水平擴(kuò)展的問(wèn)題，架構(gòu)隨業(yè)務(wù)增長(zhǎng)需要靈活擴(kuò)展；系統(tǒng)各部分性能均衡，不存在明顯的性能瓶頸；具有較好的性價(jià)比，底層數(shù)據(jù)庫(kù)節(jié)點(diǎn)支持開(kāi)源數(shù)據(jù)庫(kù)，使得數(shù)據(jù)庫(kù)采購(gòu)成本大幅下降，系統(tǒng)結(jié)構(gòu)體系穩(wěn)定性良好。系統(tǒng)中的關(guān)鍵點(diǎn)需盡量減少，這樣可以避免單點(diǎn)失效而影響系統(tǒng)功能。確保系統(tǒng)良好的容錯(cuò)機(jī)制和系統(tǒng)的穩(wěn)定性、數(shù)據(jù)一致性和良好的可擴(kuò)展性，更加方便地完成數(shù)據(jù)存儲(chǔ)和計(jì)算功能的擴(kuò)展。業(yè)務(wù)架構(gòu)和數(shù)據(jù)庫(kù)架構(gòu)解耦，可靈活定義用戶特定的數(shù)據(jù)訪問(wèn)接口。訪問(wèn)節(jié)點(diǎn)隔離數(shù)據(jù)源，便于用戶特定的訪問(wèn)安全和數(shù)據(jù)安全控制，具有可靠的安全性。