基于Zookeeper框架的數(shù)據(jù)集高可用性事務(wù)負(fù)載均衡調(diào)度優(yōu)化

卞顯福

(中國科學(xué)技術(shù)大學(xué) 軟件學(xué)院,安徽 合肥 230051)

0 引言

Zookeeper框架數(shù)據(jù)事務(wù)是一種業(yè)務(wù)邏輯,通過微服務(wù)等系統(tǒng)架構(gòu)把分布式事務(wù)合理調(diào)度,讓其在不同的平臺和環(huán)境下得到應(yīng)用。事務(wù)所提供的機(jī)制讓一種操作被納入一個(gè)不可分割的執(zhí)行單元,在集群設(shè)備運(yùn)行過程中,一種操作失敗會造成整個(gè)事務(wù)的回滾,因此,Zookeeper框架數(shù)據(jù)事務(wù)處理過程解決了要么不做要么全做的機(jī)制問題。Zookeeper框架數(shù)據(jù)事務(wù)處理過程中,各個(gè)參與者能夠在不同的節(jié)點(diǎn)上執(zhí)行任務(wù)[1],其中包括資源服務(wù)器、事務(wù)管理器和事務(wù)服務(wù)器等相關(guān)任務(wù),這些操作都是由不同的小操作構(gòu)成,同時(shí),這類小操作又被分布在不同的服務(wù)器和節(jié)點(diǎn)上。如果分布式事務(wù)在操作過程中出現(xiàn)失敗,那么整個(gè)事務(wù)都會被回滾,因此解決了傳統(tǒng)事務(wù)處理過程中數(shù)據(jù)集高可用不一致的問題,實(shí)現(xiàn)了事務(wù)信息和數(shù)據(jù)集高可用的同步,對不同網(wǎng)絡(luò)環(huán)境下的集群管理系統(tǒng)效率提升和安全性提高具有十分重要的作用。

1 數(shù)據(jù)事務(wù)處理器響應(yīng)優(yōu)化

Zookeeper框架數(shù)據(jù)事務(wù)處理過程中會產(chǎn)生不同的讀操作和寫操作,從事務(wù)服務(wù)器和節(jié)點(diǎn)服務(wù)器角度看,如果某一個(gè)節(jié)點(diǎn)上的數(shù)據(jù)集高可用實(shí)現(xiàn)了更新,那么整個(gè)集群系統(tǒng)的服務(wù)器都能讀取相關(guān)數(shù)據(jù)集高可用信息,保證整個(gè)數(shù)據(jù)集高可用的一致性,Zookeeper框架數(shù)據(jù)數(shù)據(jù)集高可用不一致問題會導(dǎo)致整個(gè)系統(tǒng)的數(shù)據(jù)集高可用處于混亂狀態(tài),對系統(tǒng)效率和安全性產(chǎn)生影響,因此,引入Zookeeper框架數(shù)據(jù)集高可用庫機(jī)制可以解決安全性和不一致性問題。從可用性角度出發(fā),Zookeeper框架數(shù)據(jù)事務(wù)處理器在超時(shí)響應(yīng)和錯(cuò)誤響應(yīng)方面具有一種機(jī)制,這種機(jī)制在運(yùn)行過程中起到合理利用時(shí)間和合理產(chǎn)生響應(yīng)的作用,保證整個(gè)事務(wù)在處理過程中不會被堵塞,讓分布式數(shù)據(jù)集高可用信息能夠在規(guī)定時(shí)間內(nèi)進(jìn)行返回。因此,在Zookeeper框架數(shù)據(jù)事務(wù)處理過程中需要有合理的響應(yīng)機(jī)制和數(shù)據(jù)集高可用返回機(jī)制作保障,保證Zookeeper框架數(shù)據(jù)事務(wù)數(shù)據(jù)集高可用信息能夠合理的返回和響應(yīng)。

1.1 數(shù)據(jù)事務(wù)網(wǎng)絡(luò)節(jié)點(diǎn)傳輸優(yōu)化

Zookeeper框架數(shù)據(jù)管理系統(tǒng)中網(wǎng)絡(luò)支撐作用明顯,但是網(wǎng)絡(luò)數(shù)據(jù)集高可用傳輸過程中不可能做到100%可靠,因此要設(shè)計(jì)一種機(jī)制來解決網(wǎng)絡(luò)延遲問題。在設(shè)計(jì)中如果出現(xiàn)網(wǎng)絡(luò)故障和延遲,可以讓核心功能能夠發(fā)揮作用,通過設(shè)計(jì)軟狀態(tài)機(jī)制,保證數(shù)據(jù)集高可用功能能夠?qū)崿F(xiàn),不影響Zookeeper框架數(shù)據(jù)管理系統(tǒng)的可用性。同時(shí),設(shè)計(jì)一種最終一致性機(jī)制,通過一段時(shí)間的系統(tǒng)運(yùn)行之后,整個(gè)Zookeeper框架數(shù)據(jù)系統(tǒng)的節(jié)點(diǎn)數(shù)據(jù)集高可用能夠保持一致。具體設(shè)計(jì)過程中,需要對事務(wù)管理器和資源管理器進(jìn)行有效管理,從Zookeeper框架數(shù)據(jù)系統(tǒng)的運(yùn)行狀態(tài)看,需要從預(yù)備狀態(tài)、就緒狀態(tài)、未就緒狀態(tài)、回滾狀態(tài)等模式出發(fā),發(fā)揮不同節(jié)點(diǎn)的數(shù)據(jù)集高可用管理功能。

1.2 數(shù)據(jù)事務(wù)單點(diǎn)失敗問題解決方案

Zookeeper框架數(shù)據(jù)事務(wù)處理過程中要解決單點(diǎn)失敗問題。Zookeeper框架數(shù)據(jù)管理系統(tǒng)中事務(wù)在整個(gè)業(yè)務(wù)流程中發(fā)揮關(guān)鍵作用。如果事務(wù)管理器發(fā)出事務(wù),而此時(shí)資源管理器正處于阻塞狀態(tài),當(dāng)然會導(dǎo)致整個(gè)集群管理系統(tǒng)的數(shù)據(jù)集高可用庫無法使用,因此,在設(shè)計(jì)過程中要考慮資源管理器在接收到數(shù)據(jù)集高可用服務(wù)器發(fā)送的請求時(shí),如何釋放資源的問題[2]。同時(shí)數(shù)據(jù)集高可用庫不一致問題也是困擾集群服務(wù)的重要因素,通過設(shè)計(jì)分布式數(shù)據(jù)集高可用庫結(jié)構(gòu)可以解決數(shù)據(jù)集高可用處理不一致的問題,加入一個(gè)節(jié)點(diǎn)提交數(shù)據(jù)集高可用服務(wù)信息,如果沒有事務(wù)機(jī)制,很容易導(dǎo)致數(shù)據(jù)集高可用處理出現(xiàn)故障,如果在每個(gè)節(jié)點(diǎn)上產(chǎn)生事務(wù)機(jī)制,可以很容易地解決數(shù)據(jù)集高可用傳輸中不一致的問題,確保各個(gè)節(jié)點(diǎn)的數(shù)據(jù)集高可用能夠一致,完成各個(gè)節(jié)點(diǎn)的數(shù)據(jù)集高可用服務(wù)功能,讓數(shù)據(jù)集高可用服務(wù)器和資源管理器能夠?qū)崿F(xiàn)資源有效利用,保證Zookeeper框架數(shù)據(jù)事務(wù)管理系統(tǒng)的功能能夠?qū)崿F(xiàn)。過程中可以引用一致補(bǔ)償機(jī)制,通過業(yè)務(wù)管理器來控制數(shù)據(jù)集高可用信息傳輸,解決數(shù)據(jù)集高可用不一致問題。

1.3 業(yè)務(wù)服務(wù)邏輯優(yōu)化

業(yè)務(wù)活動(dòng)管理器在處理數(shù)據(jù)集高可用不一致問題的過程中,需要從主業(yè)務(wù)服務(wù)和從業(yè)務(wù)服務(wù)2個(gè)角度進(jìn)行設(shè)計(jì),一個(gè)完成的業(yè)務(wù)活動(dòng)服務(wù)器在處理主業(yè)務(wù)服務(wù)過程中需要和從業(yè)務(wù)服務(wù)形成一個(gè)完整的系統(tǒng),讓2個(gè)業(yè)務(wù)系統(tǒng)能夠協(xié)調(diào)工作。主業(yè)務(wù)邏輯服務(wù)系統(tǒng)發(fā)出數(shù)據(jù)集高可用服務(wù)的時(shí)候,整個(gè)從業(yè)務(wù)服務(wù)邏輯能夠監(jiān)聽到相關(guān)數(shù)據(jù)集高可用信息,實(shí)現(xiàn)對業(yè)務(wù)活動(dòng)的邏輯操作,讓每一個(gè)業(yè)務(wù)邏輯活動(dòng)操作都能滿足Zookeeper框架數(shù)據(jù)事務(wù)管理要求。為了讓主業(yè)務(wù)Zookeeper框架數(shù)據(jù)事務(wù)和從業(yè)務(wù)Zookeeper框架數(shù)據(jù)事務(wù)在處理數(shù)據(jù)集高可用信息中避免產(chǎn)生意外情況,通過引入日志機(jī)制,讓每一個(gè)業(yè)務(wù)邏輯操作都能夠通過日志業(yè)務(wù)機(jī)制記錄相關(guān)信息,便于對整個(gè)Zookeeper框架數(shù)據(jù)業(yè)務(wù)邏輯的管理。強(qiáng)隔離性也是一種重要的Zookeeper框架數(shù)據(jù)控制管理機(jī)制,通過設(shè)計(jì)強(qiáng)隔離性業(yè)務(wù)邏輯管理系統(tǒng),可以嚴(yán)格保證Zookeeper框架數(shù)據(jù)數(shù)據(jù)集高可用服務(wù)各種業(yè)務(wù)的一致性,同時(shí)可以減少業(yè)務(wù)邏輯的執(zhí)行時(shí)間,讓Zookeeper框架數(shù)據(jù)業(yè)務(wù)管理系統(tǒng)能夠在異步環(huán)境下執(zhí)行各種操作,消息日志可以存儲在不同的日志本地文本中,讓各種數(shù)據(jù)集高可用消息隊(duì)列能夠完成各種分布式事務(wù)任務(wù)。Zookeeper框架數(shù)據(jù)事務(wù)管理的過程中要對長事務(wù)和短事務(wù)進(jìn)行協(xié)調(diào)管理,確保不同的事務(wù)能夠分布在不同的資源管理器中進(jìn)行資源管理,保證資源管理器的管理效率能夠提升。Zookeeper框架數(shù)據(jù)事務(wù)管理中要對本地事務(wù)和遠(yuǎn)程事務(wù)進(jìn)行嚴(yán)格的區(qū)分和管理,讓不同的事務(wù)狀態(tài)能夠參與資源分配,通過協(xié)同管理機(jī)制讓資源能夠一致提交回滾,解決數(shù)據(jù)集高可用處理不一致的問題。其中事務(wù)A、B、C對資源進(jìn)行分配,響應(yīng)時(shí)間為T,則最優(yōu)響應(yīng)時(shí)間如下:

其中,f(k)為資源分配函數(shù)。

2 Zookeeper框架數(shù)據(jù)事務(wù)管理過程設(shè)計(jì)

Zookeeper框架數(shù)據(jù)事務(wù)管理過程中要對全局事務(wù)和局部事務(wù)進(jìn)行管理,通過在應(yīng)用服務(wù)器和事務(wù)服務(wù)器之間設(shè)計(jì)協(xié)議,保證資源管理器和全局事務(wù)管理器之間的接口服務(wù)分布式業(yè)務(wù)邏輯管理要求,讓資源管理器和事務(wù)管理器之間的數(shù)據(jù)集高可用能夠合理交互。

2.1 分布式事務(wù)處理機(jī)制設(shè)計(jì)

分布式事務(wù)處理到不同的階段,會利用不同階段的協(xié)議進(jìn)行資源管理和有效調(diào)度,保證不同階段的數(shù)據(jù)集高可用參與者和數(shù)據(jù)集高可用協(xié)調(diào)者能夠進(jìn)行數(shù)據(jù)集高可用故障檢測,讓潛在故障點(diǎn)能夠被盡早發(fā)現(xiàn),同時(shí)對各類故障點(diǎn)進(jìn)行隔離,事務(wù)業(yè)務(wù)邏輯在處理過程中要從集群服務(wù)器的可用性、性能、服務(wù)等級等方面出發(fā),讓整個(gè)Zookeeper框架數(shù)據(jù)服務(wù)業(yè)務(wù)邏輯能夠協(xié)調(diào)工作,提高整個(gè)事務(wù)的響應(yīng)時(shí)間[3]。Zookeeper框架數(shù)據(jù)事務(wù)處理過程中要提高系統(tǒng)運(yùn)行效率,需要對事務(wù)鏈路進(jìn)行合理延展,通過延展性機(jī)制設(shè)計(jì),對各種分布式事務(wù)的業(yè)務(wù)操作進(jìn)行封裝,把各種業(yè)務(wù)邏輯封裝在一個(gè)服務(wù)方法中。在集群事務(wù)分布式業(yè)務(wù)邏輯管理過程中,可以通過鏈路的延展性,把一個(gè)操作分拆成多個(gè)業(yè)務(wù)邏輯服務(wù),讓整個(gè)Zookeeper框架數(shù)據(jù)管理形成一個(gè)網(wǎng)絡(luò)通信整體,使Zookeeper框架數(shù)據(jù)事務(wù)管理形成鏈路管理結(jié)構(gòu)。分布式業(yè)務(wù)邏輯在處理本地事務(wù)和綜合事務(wù)方案過程中要從網(wǎng)絡(luò)傳輸效率和存儲介質(zhì)等方面出發(fā),讓整個(gè)鏈路能夠高效實(shí)現(xiàn)數(shù)據(jù)集高可用通信。

2.2 Zookeeper框架算法設(shè)計(jì)

Zookeeper框架算法設(shè)計(jì)過程中要對同步和異步狀態(tài)信息進(jìn)行容量化研究,在Zookeeper框架設(shè)計(jì)中可以通過秘鑰分發(fā)的模式,對各個(gè)Zookeeper框架實(shí)體進(jìn)行研究,對客戶端進(jìn)行分片化管理。集中式代理模式在Zookeeper框架服務(wù)器和客戶端具有重要的作用,因此要對其中間件進(jìn)行分析,形成檢索云數(shù)據(jù)集高可用,通過檢索云數(shù)據(jù)集高可用來訪問不同的客戶端,從而能夠?qū)Ψ制吐酚蛇壿嬤M(jìn)行分布式優(yōu)化。

Zookeeper框架數(shù)據(jù)事務(wù)只有實(shí)現(xiàn)微服務(wù)化,才能保證各個(gè)復(fù)雜的業(yè)務(wù)邏輯能夠分成不同的小業(yè)務(wù)邏輯,通過簡化業(yè)務(wù)邏輯實(shí)現(xiàn)整個(gè)數(shù)據(jù)集高可用服務(wù)效率的提升。通過簡化業(yè)務(wù)邏輯,讓各個(gè)相互獨(dú)立的服務(wù)通過遠(yuǎn)程過程調(diào)用(Remote Procedure Call,RPC)框架實(shí)現(xiàn)對各種業(yè)務(wù)邏輯的遠(yuǎn)程控制和調(diào)用,實(shí)現(xiàn)各個(gè)業(yè)務(wù)邏輯之間的數(shù)據(jù)集高可用通信[4]。Zookeeper框架數(shù)據(jù)業(yè)務(wù)邏輯在微服務(wù)架構(gòu)下,需要對各個(gè)副本的數(shù)據(jù)集高可用信息進(jìn)行核對,保證各個(gè)簡化業(yè)務(wù)邏輯的數(shù)據(jù)集高可用一致性,讓某一個(gè)簡化的業(yè)務(wù)邏輯處理進(jìn)行更新之后,其他相關(guān)的業(yè)務(wù)邏輯的數(shù)據(jù)集高可用同樣需要更新。分布式微服務(wù)架構(gòu)設(shè)計(jì)中要對不同的操作采取不同的時(shí)間限制,讓整個(gè)業(yè)務(wù)邏輯的響應(yīng)時(shí)間能夠產(chǎn)生相應(yīng)的處理結(jié)果,在不同的時(shí)間范圍內(nèi)進(jìn)行業(yè)務(wù)邏輯數(shù)據(jù)集高可用處理,確保業(yè)務(wù)邏輯的功能能夠?qū)崿F(xiàn)。容錯(cuò)機(jī)制在分布式業(yè)務(wù)邏輯處理中也是一種重要策略,Zookeeper框架數(shù)據(jù)數(shù)據(jù)集高可用業(yè)務(wù)邏輯是復(fù)雜的,需要對各種復(fù)雜的業(yè)務(wù)邏輯進(jìn)行數(shù)據(jù)集高可用分解,把其分解成不同的簡單化業(yè)務(wù)邏輯,因此在分解的過程中各個(gè)業(yè)務(wù)邏輯的正確性是很關(guān)鍵的。通過設(shè)計(jì)容錯(cuò)機(jī)制,可以對分解的業(yè)務(wù)邏輯進(jìn)行管理,保證各個(gè)業(yè)務(wù)邏輯的正確性,讓整個(gè)集群管理系統(tǒng)能夠完成相關(guān)的業(yè)務(wù)邏輯任務(wù)。

3 Zookeeper框架數(shù)據(jù)業(yè)務(wù)邏輯設(shè)計(jì)

3.1 分布式業(yè)務(wù)邏輯設(shè)計(jì)與中斷機(jī)制

Zookeeper框架數(shù)據(jù)處理過程中要按照分布式管理模式要求,把分布式管理的高可用性和高效管理模式結(jié)合在一起,形成分布式協(xié)調(diào)管理服務(wù)模式,把數(shù)據(jù)分布、命名服務(wù)、均衡負(fù)載、分布式鎖等管理服務(wù)融合在一起,形成集群數(shù)據(jù)管理架構(gòu),發(fā)揮分布式事務(wù)高性能的優(yōu)勢。層次化目錄結(jié)構(gòu)在分布式文件管理過程中要通過路徑標(biāo)識碼來解決問題,通過設(shè)立不同的路徑標(biāo)識實(shí)現(xiàn)對各個(gè)子節(jié)點(diǎn)的管理,讓分布式框架結(jié)構(gòu)能夠按照目錄結(jié)構(gòu)管理要求提高數(shù)據(jù)管理效率。其中文件A傳輸?shù)轿募﨎,中間經(jīng)過事務(wù)T1、T2、Tn,文件傳輸流程如圖1所示。

圖1 文件傳輸流程

Zookeeper框架數(shù)據(jù)事務(wù)處理過程中要對分布式業(yè)務(wù)進(jìn)行中斷劃分,讓分布式業(yè)務(wù)邏輯能夠通過業(yè)務(wù)流程優(yōu)化實(shí)現(xiàn)各種功能,分布式事務(wù)處理過程中要解決數(shù)據(jù)集高可用強(qiáng)一致性問題,同時(shí)要避免事務(wù)處理效率低的問題,通過同步阻塞機(jī)制的解決方案,讓Zookeeper框架數(shù)據(jù)事務(wù)處理能夠應(yīng)用到不同的場景中[5]。Zookeeper框架數(shù)據(jù)事務(wù)管理過程中要保證最終的一致性問題,還需要引入柔性事務(wù)管理機(jī)制,讓各種事務(wù)能夠在資源鎖的機(jī)制下,實(shí)現(xiàn)事務(wù)的高并發(fā)性,此種機(jī)制對Zookeeper框架數(shù)據(jù)管理系統(tǒng)的長事務(wù)具有很好的作用。在長事務(wù)處理過程中,通過利用資源鎖機(jī)制,對各種資源管理器進(jìn)行管理,實(shí)現(xiàn)對數(shù)據(jù)集高可用庫的同步,通過文件系統(tǒng)和消息隊(duì)列等進(jìn)行合理調(diào)度,讓不同的數(shù)據(jù)集高可用產(chǎn)生不同的功能,實(shí)現(xiàn)對事務(wù)調(diào)度模型的核心部分優(yōu)化。

3.2 數(shù)據(jù)事務(wù)邏輯協(xié)調(diào)機(jī)制設(shè)計(jì)

Zookeeper框架數(shù)據(jù)事務(wù)管理的過程中需要從全局事務(wù)管理器和局部資源管理器的接口數(shù)據(jù)集高可用處理出發(fā),不同的接口會有不同的數(shù)據(jù)集高可用流,因此要對不同的數(shù)據(jù)集高可用接口之間進(jìn)行規(guī)范約束,形成接口規(guī)范機(jī)制。接口規(guī)范在設(shè)計(jì)過程中要對數(shù)據(jù)集高可用管理器和事務(wù)管理器進(jìn)行抽象,通過對底層事務(wù)服務(wù)器進(jìn)行優(yōu)化,從而能夠形成各種規(guī)范和接口,保證數(shù)據(jù)集高可用服務(wù)器能夠在運(yùn)行過程中保證內(nèi)部數(shù)據(jù)集高可用邏輯的一致性。通過中斷機(jī)制的引入,可以對事務(wù)產(chǎn)生中斷作用,當(dāng)協(xié)調(diào)者發(fā)出中斷響應(yīng)時(shí),響應(yīng)者會產(chǎn)生相應(yīng)的中斷事務(wù),然后產(chǎn)生回滾信息,讓整個(gè)事務(wù)邏輯能夠按照中斷請求的要求完成中斷操作,整個(gè)業(yè)務(wù)邏輯處于一致性狀態(tài)。分布式事務(wù)中斷實(shí)施過程中要對事務(wù)協(xié)調(diào)者和事務(wù)參與者進(jìn)行不同的管理,對不同的數(shù)據(jù)集高可用庫進(jìn)行優(yōu)化,讓中斷機(jī)制能夠發(fā)出正確的信息。分布式事務(wù)處理數(shù)據(jù)集高可用庫的過程中需要通過接口服務(wù)調(diào)用機(jī)制進(jìn)行,不同事務(wù)訪問不同的數(shù)據(jù)集高可用庫,不允許交叉數(shù)據(jù)集高可用庫訪問等情況產(chǎn)生,保證整個(gè)數(shù)據(jù)集高可用庫訪問服務(wù)形成一一對應(yīng)的關(guān)系。

4 結(jié)語

通過在Zookeeper框架數(shù)據(jù)事務(wù)負(fù)載均衡調(diào)度過程中引入中斷機(jī)制,保證邏輯事務(wù)在處理過程中產(chǎn)生突發(fā)情況下,中斷結(jié)束之后所有參與者能夠正確地執(zhí)行事務(wù),同時(shí)能夠?qū)κ聞?wù)的運(yùn)行情況進(jìn)行日志記錄,發(fā)送事務(wù)的請求要從事務(wù)執(zhí)行的結(jié)果出發(fā),對不同的事務(wù)進(jìn)行不同的日志登記,便于對整個(gè)事務(wù)管理系統(tǒng)進(jìn)行優(yōu)化。Zookeeper框架數(shù)據(jù)事務(wù)管理的過程中要分階段執(zhí)行任務(wù),第一階段要從詢問方式出發(fā),對事務(wù)管理器產(chǎn)生的數(shù)據(jù)集高可用信息進(jìn)行詢問,第二階段要對數(shù)據(jù)集高可用事務(wù)進(jìn)行執(zhí)行,對事務(wù)管理器產(chǎn)生的事務(wù)進(jìn)行執(zhí)行操作,形成不同的數(shù)據(jù)集高可用庫,讓處理的數(shù)據(jù)集高可用能夠存儲到不同的數(shù)據(jù)集高可用庫中,然后保證整個(gè)事務(wù)負(fù)載均衡調(diào)度。