基于分布式系統(tǒng)設(shè)計(jì)中NewSQL數(shù)據(jù)庫(kù)技術(shù)分析

邵麒，李亞鵬，佟文朋

（中國(guó)人民解放軍31401部隊(duì)，吉林長(zhǎng)春，130000）

0 引言

在信息時(shí)代下，網(wǎng)絡(luò)領(lǐng)域的應(yīng)用模式和數(shù)據(jù)量不斷發(fā)生著變化，物聯(lián)網(wǎng)、云計(jì)算以及通信技術(shù)的快速發(fā)展，給數(shù)據(jù)的共享、存儲(chǔ)與管理提出了較高的要求，信息化領(lǐng)域關(guān)鍵數(shù)據(jù)庫(kù)技術(shù)的發(fā)展也由關(guān)系數(shù)據(jù)庫(kù)發(fā)展到NoSQL數(shù)據(jù)庫(kù)，再發(fā)展到如今的NewSQL數(shù)據(jù)庫(kù)，NewSQL數(shù)據(jù)庫(kù)吸收了NoSQL數(shù)據(jù)庫(kù)的分布式能力和傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的強(qiáng)一致性特性，支持海量數(shù)據(jù)的儲(chǔ)存，同時(shí)具備很好的擴(kuò)展性能，可支持并滿足原子性一致性、持久性、隔離性特性的事務(wù)，在分布式系統(tǒng)的設(shè)計(jì)與應(yīng)用中發(fā)揮著關(guān)鍵作用[1]。

1 分布式系統(tǒng)對(duì)數(shù)據(jù)庫(kù)技術(shù)的需求

隨著互聯(lián)網(wǎng)的普及，互聯(lián)網(wǎng)用戶數(shù)量逐年增加，產(chǎn)生的數(shù)據(jù)越來(lái)越多，因此，應(yīng)用系統(tǒng)必須具備對(duì)海量數(shù)據(jù)的存儲(chǔ)、管理能力和能夠支持用戶高并發(fā)訪問(wèn)。分布式系統(tǒng)技術(shù)和分布式數(shù)據(jù)庫(kù)技術(shù)已經(jīng)成為云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等信息領(lǐng)域的重點(diǎn)研究方向。

■1.1 基于數(shù)據(jù)分片實(shí)現(xiàn)彈性擴(kuò)展及高性能

數(shù)據(jù)庫(kù)單機(jī)在容量上有一定的限制，采用數(shù)據(jù)分片的方式可以突破這個(gè)限制，將數(shù)據(jù)建立在多節(jié)點(diǎn)上，可增強(qiáng)數(shù)據(jù)處理高效性和靈活性，實(shí)現(xiàn)系統(tǒng)的彈性擴(kuò)展，提高分布式系統(tǒng)的綜合性能。基于數(shù)據(jù)分片的方式有兩種，其中一種是水平分片，此分片方式將數(shù)據(jù)按照元組進(jìn)行劃分，分為很多組，然后分散到多個(gè)節(jié)點(diǎn)上；另一種數(shù)據(jù)分片方式為垂直分片，垂直分片是將數(shù)據(jù)表在豎列的排列方向上進(jìn)行數(shù)據(jù)切割，也可將數(shù)據(jù)分為很多小片段，各個(gè)片段之間除了主鍵外沒(méi)有交集，再將數(shù)據(jù)分散到不同的節(jié)點(diǎn)上。

■1.2 基于多副本技術(shù)提升數(shù)據(jù)安全

為保證數(shù)據(jù)的正常使用，分布式系統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)會(huì)存有多個(gè)副本，利用充足的物理存儲(chǔ)資源將數(shù)據(jù)備份存儲(chǔ)，以防因?yàn)橛布囊馔夤收显斐蓴?shù)據(jù)的丟失且不可恢復(fù)，采用存儲(chǔ)多副本的方式保證數(shù)據(jù)的容災(zāi)性、安全性，即使出現(xiàn)硬件設(shè)備的故障丟失數(shù)據(jù)，也可使用事先存儲(chǔ)的副本，避免造成經(jīng)濟(jì)損失。同樣，對(duì)海量數(shù)據(jù)進(jìn)行重復(fù)備份，勢(shì)必需要足夠的存儲(chǔ)空間、可靠的副本定位技術(shù)、完善的副本創(chuàng)建策略等，也需要解決多個(gè)副本彼此之間的一致性問(wèn)題，這些都提升了分布式數(shù)據(jù)庫(kù)技術(shù)的難度和復(fù)雜性。

■1.3 基于分布式協(xié)同算法保障數(shù)據(jù)一致性

分布式系統(tǒng)是建立在通信網(wǎng)絡(luò)之上，由一組為完成共同任務(wù)而進(jìn)行分工、協(xié)調(diào)合作的計(jì)算機(jī)節(jié)點(diǎn)組成。獨(dú)本數(shù)據(jù)在使用上不需要建立副本，系統(tǒng)也不需要考慮副本之間的數(shù)據(jù)一致性問(wèn)題，有著較高的數(shù)據(jù)一致性。但是，分布式系統(tǒng)在數(shù)據(jù)庫(kù)上的設(shè)計(jì)需要建立副本以提高系統(tǒng)的運(yùn)行效果，顯著提升了數(shù)據(jù)的安全性和準(zhǔn)確性。但不同節(jié)點(diǎn)之間的信息的管理，造成了較高的通信成本。分布式系統(tǒng)對(duì)數(shù)據(jù)庫(kù)提出在降低成本的基礎(chǔ)上保障數(shù)據(jù)的一致性需求[2]。

2 NewSQL數(shù)據(jù)庫(kù)的優(yōu)勢(shì)

數(shù)據(jù)庫(kù)技術(shù)發(fā)展至今，中間研發(fā)并應(yīng)用過(guò)多種數(shù)據(jù)庫(kù)技術(shù)，當(dāng)前分布式系統(tǒng)的核心技術(shù)以及主流發(fā)展方向是NewSQL數(shù)據(jù)庫(kù)技術(shù)。NewSQL數(shù)據(jù)庫(kù)不僅結(jié)合了NoSQL數(shù)據(jù)庫(kù)對(duì)大量數(shù)據(jù)的處理能力，也具備傳統(tǒng)數(shù)據(jù)庫(kù)的ACID和SQL等特性。具有以下顯著優(yōu)勢(shì)。

■2.1 資源共享

NewSQL數(shù)據(jù)庫(kù)對(duì)于服務(wù)器資源具有統(tǒng)一集群的構(gòu)架思想，可將這些分散的資源進(jìn)行整合，化為一個(gè)服務(wù)整體，供客戶使用。統(tǒng)一集群的方式一定程度上解決了小集群之間的障礙，使得對(duì)集群資源的使用和管理更加合理、高效，有效提高了整體資源的利用率，可增強(qiáng)數(shù)據(jù)庫(kù)的資源共享能力。

■2.2 數(shù)據(jù)共享

NewSQL數(shù)據(jù)庫(kù)的統(tǒng)一存儲(chǔ)架構(gòu)思想不再將數(shù)據(jù)分片存儲(chǔ)，而是進(jìn)行統(tǒng)一、集中的存儲(chǔ)，統(tǒng)一存儲(chǔ)的方式，實(shí)現(xiàn)了各種數(shù)據(jù)之間的整合管理，增強(qiáng)了數(shù)據(jù)庫(kù)的數(shù)據(jù)分享能力。統(tǒng)一、整體的數(shù)據(jù)資源具有分片資源缺乏的全量數(shù)據(jù)分析優(yōu)勢(shì)，為系統(tǒng)的數(shù)據(jù)分析、總結(jié)與預(yù)測(cè)方面提供了較大幫助，同時(shí)，統(tǒng)一存儲(chǔ)避免了因重復(fù)備份和不同節(jié)點(diǎn)溝通造成的物理資源的浪費(fèi)，也實(shí)現(xiàn)了多樣化業(yè)務(wù)數(shù)據(jù)的統(tǒng)一存儲(chǔ)與管理[3]。

■2.3 安全保障

在互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)安全問(wèn)題頻繁發(fā)生，造成人們的數(shù)據(jù)信息曝光和丟失。數(shù)據(jù)庫(kù)技術(shù)不僅面臨著來(lái)自自然故障的壓力，也需要嚴(yán)防網(wǎng)絡(luò)黑客的惡意攻擊，分布式數(shù)據(jù)庫(kù)具備應(yīng)對(duì)單點(diǎn)故障、網(wǎng)絡(luò)故障等自然故障的應(yīng)對(duì)策略，針對(duì)惡意的竊聽(tīng)、越權(quán)攻擊、破譯密文等網(wǎng)絡(luò)安全問(wèn)題，NewSQL數(shù)據(jù)庫(kù)建立了統(tǒng)一安全架構(gòu)，通過(guò)統(tǒng)一鑒權(quán)、保密通信、細(xì)粒度資源隔離與訪問(wèn)控制以及庫(kù)文加密等手段，從多方面保證了數(shù)據(jù)資產(chǎn)的安全。

■2.4 易于使用

分布式系統(tǒng)中NewSQL數(shù)據(jù)庫(kù)的應(yīng)用，可使得平臺(tái)底層的集群服務(wù)維護(hù)和監(jiān)控能力過(guò)強(qiáng)，應(yīng)用開(kāi)發(fā)者可在此良好基礎(chǔ)上使用平臺(tái)服務(wù)接口進(jìn)行應(yīng)用的設(shè)計(jì)與研發(fā)，且易于數(shù)據(jù)分析人員和數(shù)據(jù)科學(xué)家的使用，便利了其對(duì)于數(shù)據(jù)的查詢和分析過(guò)程。

3 分布式系統(tǒng)設(shè)計(jì)中NewSQL數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)

■3.1 分布式存儲(chǔ)引擎

分布式系統(tǒng)中NewSQL數(shù)據(jù)庫(kù)在數(shù)據(jù)存儲(chǔ)上保持分布式，其統(tǒng)一存儲(chǔ)的思想構(gòu)架可依靠鍵值對(duì)存儲(chǔ)引擎技術(shù)，將主體數(shù)據(jù)進(jìn)行統(tǒng)一存儲(chǔ)，放到統(tǒng)一的集群中，基于分布式共識(shí)算法協(xié)議保證分布式各節(jié)點(diǎn)之間數(shù)據(jù)的一致性，當(dāng)有數(shù)據(jù)進(jìn)行變更后會(huì)自動(dòng)生成一條共識(shí)算法日志，通過(guò)這條日志，將分布式系統(tǒng)中的每一節(jié)點(diǎn)都進(jìn)行數(shù)據(jù)的同步復(fù)制，在所有節(jié)點(diǎn)中，只要同步復(fù)制成功的節(jié)點(diǎn)占大多數(shù)，就能安全、可靠地完成數(shù)據(jù)的寫(xiě)入，一定程度上減小了數(shù)據(jù)同步復(fù)制的難度，保障了數(shù)據(jù)變更過(guò)程的正確性，如果在這一過(guò)程中出現(xiàn)了硬件設(shè)備的故障，只要同步復(fù)制成功的節(jié)點(diǎn)在一半以上，可后期通過(guò)共識(shí)算法協(xié)議將副本自動(dòng)補(bǔ)全即可，有效提升了數(shù)據(jù)存儲(chǔ)的可靠性[4]。

分布式系統(tǒng)NewSQL數(shù)據(jù)庫(kù)中數(shù)據(jù)的存儲(chǔ)、運(yùn)算以及管理均采用分組的方式，系統(tǒng)的整體存儲(chǔ)空間由多個(gè)組域組成，并盡量均勻地分散于系統(tǒng)的眾多節(jié)點(diǎn)上，盡量使統(tǒng)一集群中每個(gè)節(jié)點(diǎn)的負(fù)載均衡，在此基礎(chǔ)上實(shí)現(xiàn)系統(tǒng)存儲(chǔ)容量的水平擴(kuò)展。分布式存儲(chǔ)引擎技術(shù)以組域?yàn)閱挝贿M(jìn)行數(shù)據(jù)的分散和復(fù)制，增加了數(shù)據(jù)存儲(chǔ)的安全性。數(shù)據(jù)分布式存儲(chǔ)示意圖如圖1所示。

圖1 分布式儲(chǔ)存

■3.2 實(shí)時(shí)分析和查詢引擎

在分布式系統(tǒng)設(shè)計(jì)中，NewSQL數(shù)據(jù)庫(kù)相比于采用主鍵索引模式的傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)，具有更加實(shí)時(shí)的次級(jí)索引機(jī)制，在海量數(shù)據(jù)的處理中，可進(jìn)行快速、靈活的篩選，同時(shí)可與基于內(nèi)存計(jì)算的大數(shù)據(jù)分布式計(jì)算框架進(jìn)行融洽銜接，實(shí)現(xiàn)區(qū)間裁剪和計(jì)算下推功能，為用戶提供實(shí)時(shí)分析和查詢功能。在查詢過(guò)程上也進(jìn)行了更加合理的設(shè)計(jì)，以降低遠(yuǎn)程執(zhí)行函數(shù)的調(diào)用成本，將SQL數(shù)據(jù)庫(kù)命令集中的謂詞條件下推到存儲(chǔ)節(jié)點(diǎn)進(jìn)行計(jì)算，簡(jiǎn)化了數(shù)據(jù)傳輸路徑，每個(gè)節(jié)點(diǎn)只需返回此節(jié)點(diǎn)中符合用戶分析與查詢條件的數(shù)據(jù)，各節(jié)點(diǎn)返回的數(shù)據(jù)和結(jié)果在系統(tǒng)的解析層進(jìn)行匯聚以后統(tǒng)一處理。實(shí)時(shí)分析和查詢引擎的運(yùn)行示意圖如圖2所示。

圖2 計(jì)算下推、逐層返回?cái)?shù)據(jù)

■3.3 HTAP混合負(fù)載架構(gòu)

分布式系統(tǒng)設(shè)計(jì)中NewSQL數(shù)據(jù)庫(kù)具備HTAP混合負(fù)載架構(gòu)，因其實(shí)現(xiàn)了NewSQL數(shù)據(jù)庫(kù)技術(shù)、列式存儲(chǔ)類(lèi)在線分析類(lèi)型數(shù)據(jù)庫(kù)技術(shù)、聯(lián)機(jī)交易類(lèi)型數(shù)據(jù)庫(kù)技術(shù)的結(jié)合。在系統(tǒng)同時(shí)對(duì)聯(lián)機(jī)交易類(lèi)業(yè)務(wù)和在線分析類(lèi)業(yè)務(wù)進(jìn)行處理時(shí)，可省略數(shù)據(jù)復(fù)制這一環(huán)節(jié)，直接進(jìn)行業(yè)務(wù)的處理。數(shù)據(jù)庫(kù)技術(shù)的混合負(fù)載架構(gòu)采用列存儲(chǔ)方式，數(shù)據(jù)之間無(wú)較多關(guān)聯(lián)，同時(shí)結(jié)合了高效處理層和分布式協(xié)同共識(shí)算法，在數(shù)據(jù)的存儲(chǔ)和復(fù)制上采用組域的形式，使系統(tǒng)具有良好的分布式特性[5]。

4 結(jié)語(yǔ)

綜上所述，網(wǎng)絡(luò)的普及和發(fā)展，引起了海量數(shù)據(jù)的儲(chǔ)存和管理挑戰(zhàn)，分布式系統(tǒng)中NewSQL數(shù)據(jù)庫(kù)技術(shù)不僅傳承了傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)技術(shù)的強(qiáng)一致特性，還兼具了NoSQL數(shù)據(jù)庫(kù)的分布式能力。NewSQL數(shù)據(jù)庫(kù)技術(shù)的各種優(yōu)勢(shì)能夠較好滿足分布式系統(tǒng)對(duì)數(shù)據(jù)庫(kù)技術(shù)的需求，是當(dāng)今以及未來(lái)數(shù)據(jù)庫(kù)管理系統(tǒng)的主流發(fā)展方向。相信隨著云計(jì)算、物聯(lián)網(wǎng)等技術(shù)的不斷發(fā)展，NewSQL數(shù)據(jù)庫(kù)技術(shù)在分布式系統(tǒng)中的應(yīng)用將會(huì)更加廣泛。