基于國產(chǎn)化服務(wù)器集群的海量數(shù)據(jù)處理負(fù)載均衡技術(shù)

聶 璐 鄭吉洲 王麗娜劉海彬 王子豪,2

1.北京航天自動(dòng)控制研究所，北京100854 2.宇航智能控制技術(shù)國家級(jí)重點(diǎn)實(shí)驗(yàn)室，北京100854

航天裝備在長期加電的過程中會(huì)產(chǎn)生海量數(shù)據(jù)。國外航天領(lǐng)域?qū)Ａ繑?shù)據(jù)的存儲(chǔ)和處理通常采用云平臺(tái)實(shí)現(xiàn)[1]，如NASA建立了綜合云服務(wù)平臺(tái)Nebula和云計(jì)算平臺(tái)iRODS，在Hadoop集群中應(yīng)用MapReduce彈性存儲(chǔ)和并行處理航天大數(shù)據(jù)洪流[2]。國外軟硬件產(chǎn)品搭建的海量數(shù)據(jù)處理平臺(tái)，具有處理高效、數(shù)據(jù)共享等優(yōu)點(diǎn)，但卻存在各種安全漏洞和后門，嚴(yán)重影響航天裝備的安全服役[3]。利用國產(chǎn)軟硬件搭建航天海量數(shù)據(jù)處理平臺(tái)可以保證系統(tǒng)安全、自主和可控。

目前，基于龍芯服務(wù)器集群、中標(biāo)麒麟操作系統(tǒng)及達(dá)夢(mèng)數(shù)據(jù)庫的國產(chǎn)化平臺(tái)海量數(shù)據(jù)處理系統(tǒng)已完成基礎(chǔ)功能的設(shè)計(jì)與實(shí)現(xiàn)[3]。通過搭建服務(wù)器集群并行處理海量數(shù)據(jù)，以期滿足對(duì)數(shù)據(jù)處理實(shí)時(shí)性、高效率的客觀要求。實(shí)驗(yàn)發(fā)現(xiàn)，平臺(tái)雖已具備數(shù)據(jù)的處理、存儲(chǔ)功能，但服務(wù)器集群內(nèi)部的處理任務(wù)分配不合理導(dǎo)致各服務(wù)器負(fù)載不均，部分服務(wù)器產(chǎn)生了任務(wù)積壓，對(duì)數(shù)據(jù)處理的時(shí)效性產(chǎn)生了一定影響。

當(dāng)集群處理海量數(shù)據(jù)時(shí)，服務(wù)器負(fù)載不均會(huì)成為集群新的瓶頸，影響集群整體的性能。因此，均衡負(fù)載是國產(chǎn)化平臺(tái)海量數(shù)據(jù)處理系統(tǒng)必須解決的一個(gè)問題。由于海量數(shù)據(jù)處理系統(tǒng)中數(shù)據(jù)類型多、集群內(nèi)部數(shù)據(jù)交互頻繁，且大量處理線程并行執(zhí)行，目前已有的動(dòng)態(tài)負(fù)載均衡方法和靜態(tài)負(fù)載均衡方法[4]均無法單獨(dú)適用于本系統(tǒng)。針對(duì)此問題，提出一種“動(dòng)”“靜”結(jié)合的負(fù)載均衡方法，并在系統(tǒng)上對(duì)該方法的有效性進(jìn)行了實(shí)驗(yàn)驗(yàn)證。結(jié)果表明，所設(shè)計(jì)的負(fù)載均衡方法實(shí)現(xiàn)了集群中各服務(wù)器的負(fù)載均衡。

本文首先梳理了國產(chǎn)化平臺(tái)海量數(shù)據(jù)處理系統(tǒng)從數(shù)據(jù)接收分發(fā)、解析、抽樣和入庫的整個(gè)過程；然后提出了在數(shù)據(jù)接收分發(fā)、抽樣環(huán)節(jié)采用“動(dòng)”“靜”結(jié)合的負(fù)載均衡方法；最后給出采用該負(fù)載均衡方法后系統(tǒng)工作時(shí)集群的負(fù)載監(jiān)測結(jié)果。

1 國產(chǎn)化平臺(tái)海量數(shù)據(jù)處理系統(tǒng)

1.1 系統(tǒng)組成

國產(chǎn)化平臺(tái)海量數(shù)據(jù)處理系統(tǒng)服務(wù)器采用基于龍芯雙3A1500刀片式服務(wù)器，集成4個(gè)處理器核，構(gòu)成類SMP結(jié)構(gòu)，運(yùn)行中標(biāo)麒麟Linux5.0操作系統(tǒng)。

系統(tǒng)軟件由達(dá)夢(mèng)DM7數(shù)據(jù)庫、服務(wù)器端數(shù)據(jù)管理軟件和客戶端XML配置軟件、客戶端數(shù)據(jù)查詢軟件等組成，共同實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)、查詢等功能。各軟件接口關(guān)系如圖1所示。

圖1 軟件接口關(guān)系圖

1.2 數(shù)據(jù)處理流程

海量數(shù)據(jù)處理主要由部署在各臺(tái)服務(wù)器上的數(shù)據(jù)處理軟件完成。如圖2所示，數(shù)據(jù)處理經(jīng)過了接收、解析、抽樣和入庫等環(huán)節(jié)。

圖2 海量數(shù)據(jù)處理流程圖

1.2.1 數(shù)據(jù)接收

服務(wù)器集群對(duì)外提供一個(gè)虛擬IP，數(shù)據(jù)發(fā)送端只與虛擬IP進(jìn)行通信。集群接收到數(shù)據(jù)包之后，通過負(fù)載均衡策略將數(shù)據(jù)包轉(zhuǎn)發(fā)給集群中的服務(wù)器進(jìn)行解析，為了充分利用芯片多核多線程的處理能力，處理服務(wù)器上用一個(gè)主線程接收數(shù)據(jù)，并根據(jù)需要建立處理線程。

1.2.2 數(shù)據(jù)解析

在服務(wù)器上使用多線程的方式進(jìn)行數(shù)據(jù)包的解析。服務(wù)器根據(jù)數(shù)據(jù)類型劃分出數(shù)據(jù)接收隊(duì)列，每個(gè)隊(duì)列創(chuàng)建相應(yīng)的處理線程與之對(duì)應(yīng)。在接收到網(wǎng)絡(luò)數(shù)據(jù)包后，根據(jù)數(shù)據(jù)類型放入對(duì)應(yīng)的接收隊(duì)列。處理線程根據(jù)配置文件進(jìn)行數(shù)據(jù)包的解析，將解析后的數(shù)據(jù)存到以“數(shù)據(jù)類型_時(shí)間”命名的0級(jí)文件中，并每隔T時(shí)間新建0級(jí)文件以存儲(chǔ)下一個(gè)T時(shí)間內(nèi)解析的數(shù)據(jù)。每存儲(chǔ)T時(shí)間0級(jí)數(shù)據(jù)文件，抽樣任務(wù)啟動(dòng)對(duì)數(shù)據(jù)進(jìn)行抽樣。記T時(shí)間為一個(gè)處理周期(簡稱“周期”)。

1.2.3 數(shù)據(jù)抽樣

數(shù)據(jù)抽樣是實(shí)現(xiàn)快速查詢及結(jié)果曲線放大縮小的重要一環(huán)。結(jié)果曲線以時(shí)間軸形式呈現(xiàn)，故參與抽樣的數(shù)據(jù)應(yīng)先以時(shí)間順序排列再進(jìn)行抽樣。因此，數(shù)據(jù)抽樣的第一步是將相同文件名的0級(jí)文件(即屬于同一時(shí)間區(qū)間內(nèi)的數(shù)據(jù))集中到同一臺(tái)服務(wù)器上，按照接收的時(shí)間先后順序?qū)?shù)據(jù)進(jìn)行排列、抽樣。

考慮到任意時(shí)間段內(nèi)，到達(dá)服務(wù)器的數(shù)據(jù)流量相差較大，故若以時(shí)間為尺度進(jìn)行抽樣，則需對(duì)每種數(shù)據(jù)類型的流量進(jìn)行分析，確定其抽樣的時(shí)間間隔，導(dǎo)致系統(tǒng)適應(yīng)性差。采用固定數(shù)據(jù)包數(shù)量作為抽樣間隔，具有通用性強(qiáng)、可靈活配置等優(yōu)勢(shì)。假設(shè)相鄰4組數(shù)據(jù)作為一個(gè)抽樣區(qū)間，從數(shù)據(jù)類型A的0級(jí)文件的每個(gè)抽樣區(qū)間中取出一個(gè)最大值和最小值寫入A的抽樣1級(jí)文件，再從1級(jí)文件的每個(gè)抽樣區(qū)間中取出一個(gè)最大值和最小值寫入A的抽樣2級(jí)文件，以此類推，得到數(shù)據(jù)類型A的抽樣n級(jí)文件。若數(shù)據(jù)類型中包含多個(gè)字段，則每個(gè)字段分別抽樣再按時(shí)間順序進(jìn)行合并。

1.2.4 數(shù)據(jù)入庫

DM7 數(shù)據(jù)庫提供了大規(guī)模并行處理 MPP 架構(gòu)，通過分布負(fù)載到多個(gè)數(shù)據(jù)庫服務(wù)器主機(jī)，實(shí)現(xiàn)海量數(shù)據(jù)的快速入庫。數(shù)據(jù)入庫采用定時(shí)方式調(diào)用，有外部的定時(shí)程序定時(shí)啟動(dòng)數(shù)據(jù)導(dǎo)入模塊程序，完成對(duì)各服務(wù)器中部分0級(jí)文件和抽樣后1至n級(jí)文件的入庫工作，保持?jǐn)?shù)據(jù)處理服務(wù)器上數(shù)據(jù)文件數(shù)量的動(dòng)態(tài)平衡，避免文件積壓。

2 集群內(nèi)負(fù)載均衡技術(shù)

2.1 數(shù)據(jù)接收環(huán)節(jié)的靜態(tài)負(fù)載均衡

靜態(tài)負(fù)載均衡(SLB, Static Load Balancing)是根據(jù)集群中服務(wù)器的特性，預(yù)先制定一個(gè)調(diào)度算法，在系統(tǒng)運(yùn)行時(shí)按照這個(gè)給定的算法給各個(gè)服務(wù)器分配任務(wù)。本系統(tǒng)在數(shù)據(jù)接收環(huán)節(jié)采用靜態(tài)負(fù)載均衡的方法，將集群收到的數(shù)據(jù)包按照預(yù)先配置的算法進(jìn)行轉(zhuǎn)發(fā)，保證各個(gè)服務(wù)器接收到的數(shù)據(jù)包數(shù)量基本一致。

2.1.1 技術(shù)原理

本系統(tǒng)利用Linux虛擬服務(wù)器技術(shù)(LVS，Linux Virtual Server)[5-6]接收來自網(wǎng)絡(luò)的數(shù)據(jù)包，通過靜態(tài)負(fù)載均衡策略，按照調(diào)度算法將數(shù)據(jù)包轉(zhuǎn)發(fā)到指定服務(wù)器上進(jìn)行處理。如圖3所示，基于LVS技術(shù)的集群由一個(gè)主控服務(wù)器(Director) 及若干真實(shí)服務(wù)器(Real-server)組成，Director是集群唯一的入口，集群通過一個(gè)虛擬IP地址(VIP，Virtual IP Address)與外界進(jìn)行數(shù)據(jù)交互，Director根據(jù)指定的調(diào)度算法對(duì)Real-server進(jìn)行控制，Real-server負(fù)責(zé)實(shí)際提供服務(wù)。集群的內(nèi)部結(jié)構(gòu)對(duì)用戶透明，用戶只通過VIP和集群通信，故從用戶角度看，通信的服務(wù)器集群只是單臺(tái)服務(wù)器。因?yàn)樗械奶幚矶际窃诓僮飨到y(tǒng)內(nèi)核完成，調(diào)度開銷小，具有很高的吞吐率，可以滿足型號(hào)實(shí)驗(yàn)中數(shù)據(jù)迸發(fā)時(shí)的數(shù)據(jù)包轉(zhuǎn)發(fā)的可靠性要求。

圖3 LVS結(jié)構(gòu)圖

2.1.2 實(shí)現(xiàn)策略及調(diào)度算法

網(wǎng)絡(luò)數(shù)據(jù)包到達(dá)集群后，Director會(huì)根據(jù)系統(tǒng)預(yù)先設(shè)定的調(diào)度算法選出一臺(tái)Real-server，將數(shù)據(jù)包轉(zhuǎn)發(fā)到該Real-server上，由它對(duì)數(shù)據(jù)包進(jìn)行處理。由于本系統(tǒng)中所有服務(wù)器均部署在同一子網(wǎng)內(nèi)，故采用直接路由(DR，Direct Routing)技術(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)包的轉(zhuǎn)發(fā)，其工作原理是將數(shù)據(jù)包的MAC地址改為某臺(tái)Real-server的MAC地址，然后在局域網(wǎng)內(nèi)轉(zhuǎn)發(fā)。

負(fù)載調(diào)度算法的設(shè)計(jì)應(yīng)綜合考慮集群中服務(wù)器的性能、系統(tǒng)組織結(jié)構(gòu)及系統(tǒng)對(duì)負(fù)載均衡程度的需求。表1中列舉了目前幾種常用的負(fù)載調(diào)度算法。

海量數(shù)據(jù)處理服務(wù)器集群中每臺(tái)Real-server硬件配置相同，具有相同的處理性能，不考慮加權(quán)算法；所有數(shù)據(jù)包到達(dá)集群后均通過配置文件進(jìn)行解析處理，無須構(gòu)建散列表區(qū)分不同數(shù)據(jù)類型的處理方式；最少連接調(diào)度算法和輪叫調(diào)度算法均能滿足系統(tǒng)的負(fù)載均衡需求，但兩者相較，輪叫調(diào)度算法更簡單、高效，且滿足系統(tǒng)需求。故本系統(tǒng)數(shù)據(jù)接收環(huán)節(jié)的靜態(tài)負(fù)載均衡算法采用輪叫調(diào)度算法，集群中的每臺(tái)Real-server輪流接收Director轉(zhuǎn)發(fā)的數(shù)據(jù)包，每臺(tái)Real-server負(fù)責(zé)解析相同數(shù)量的數(shù)據(jù)包，實(shí)現(xiàn)系統(tǒng)在數(shù)據(jù)接收、解析階段的負(fù)載均衡。

表1 負(fù)載調(diào)度算法

2.2 數(shù)據(jù)抽樣環(huán)節(jié)的動(dòng)態(tài)負(fù)載均衡

動(dòng)態(tài)負(fù)載均衡(DLB, Dynamic Load Balancing)是在集群系統(tǒng)運(yùn)行時(shí)根據(jù)負(fù)載情況動(dòng)態(tài)地將任務(wù)分配給各個(gè)服務(wù)器，以達(dá)到系統(tǒng)運(yùn)行時(shí)負(fù)載的均勻分配。數(shù)據(jù)抽樣是整個(gè)數(shù)據(jù)處理過程中最耗費(fèi)CPU資源的環(huán)節(jié)，運(yùn)用動(dòng)態(tài)負(fù)載均衡的方法，均衡服務(wù)器負(fù)載，充分利用所有服務(wù)器的資源來高效完成數(shù)據(jù)抽樣任務(wù)。由于不同數(shù)據(jù)類型的數(shù)據(jù)流量相差較大，且同種數(shù)據(jù)在系統(tǒng)啟動(dòng)前期和系統(tǒng)穩(wěn)定工作后的流量也不盡相同，故在不同時(shí)期每種數(shù)據(jù)類型的抽樣任務(wù)工作量不能一概而論。針對(duì)這一特點(diǎn)，本文提出一種“統(tǒng)一調(diào)度，按需優(yōu)化”的動(dòng)態(tài)負(fù)載均衡方法，所有數(shù)據(jù)類型的抽樣任務(wù)由一個(gè)調(diào)度進(jìn)程統(tǒng)一調(diào)度，并在系統(tǒng)穩(wěn)定工作后，根據(jù)流量的不同對(duì)調(diào)度隊(duì)列進(jìn)行按需優(yōu)化。

2.2.1 統(tǒng)一調(diào)度

所有數(shù)據(jù)類型的抽樣任務(wù)均由運(yùn)行在director上的調(diào)度進(jìn)程統(tǒng)一調(diào)度。若XML配置文件中共有n種數(shù)據(jù)類型需要進(jìn)行抽樣，將其記為A1，A2，……，An。調(diào)度進(jìn)程每個(gè)周期起一次，首先將所有數(shù)據(jù)類型標(biāo)識(shí)按預(yù)設(shè)順序排隊(duì)Queue=(A1，A2，……，An)，然后根據(jù)Real-server過去一分鐘的負(fù)載情況將不同數(shù)據(jù)類型的抽樣任務(wù)輪流指派給當(dāng)前負(fù)載最小的Real-server負(fù)責(zé)。具體過程如圖4所示。

圖4 統(tǒng)一調(diào)度流程圖

抽樣任務(wù)需要積累一定的數(shù)據(jù)量才能進(jìn)行，在實(shí)驗(yàn)開始的第1個(gè)周期內(nèi)，系統(tǒng)只進(jìn)行數(shù)據(jù)解析以積累0級(jí)文件中的數(shù)據(jù)量，而不進(jìn)行數(shù)據(jù)抽樣；從第2個(gè)周期開始，調(diào)度進(jìn)程正式開始分配抽樣任務(wù)。若Real-server S接到對(duì)任務(wù)通知，則從其他所有Real-server中各取出一個(gè)該數(shù)據(jù)類型最早的0級(jí)文件，在Real-server S的內(nèi)存中合并、排序，然后進(jìn)行抽樣。

2.2.2 按需優(yōu)化

系統(tǒng)在長期加電的過程中會(huì)產(chǎn)生大量的數(shù)據(jù)，每種數(shù)據(jù)類型流量差異較大，若要盡可能在每個(gè)調(diào)度周期內(nèi)完成對(duì)上一周期產(chǎn)生的所有0級(jí)文件的處理，不產(chǎn)生任務(wù)積壓，則需對(duì)流量較大的數(shù)據(jù)類型進(jìn)行任務(wù)細(xì)分，由多臺(tái)服務(wù)器分擔(dān)抽樣任務(wù)。

海量數(shù)據(jù)處理系統(tǒng)通過優(yōu)化任務(wù)隊(duì)列的方式達(dá)到優(yōu)化調(diào)度的目的。考慮到系統(tǒng)在加電前期需要進(jìn)行一系列的準(zhǔn)備工作，此時(shí)產(chǎn)生的數(shù)據(jù)流量不穩(wěn)定，故在加電前期不進(jìn)行調(diào)度優(yōu)化。待系統(tǒng)穩(wěn)定、正常工作后，再根據(jù)流量對(duì)任務(wù)隊(duì)列進(jìn)行優(yōu)化。

具體優(yōu)化步驟為：

圖5 優(yōu)化調(diào)度流程圖

1)計(jì)算max(Ai)

max(Ai)為單臺(tái)服務(wù)器在T時(shí)間內(nèi)可對(duì)Ai抽樣的最大數(shù)據(jù)量，利用式(1)計(jì)算其近似值。

(1)

其中，MAX(k)為系統(tǒng)壓力測試時(shí)單臺(tái)服務(wù)器T時(shí)間內(nèi)可對(duì)只含一個(gè)字段的數(shù)據(jù)類型抽樣k級(jí)的最大數(shù)據(jù)量；k為數(shù)據(jù)類型Ai的最高抽樣級(jí)數(shù)；|Ai|為數(shù)據(jù)類型Ai的字段個(gè)數(shù)。以上參數(shù)均可從系統(tǒng)配置表中獲取；

2)判斷是否對(duì)Ai的抽樣任務(wù)進(jìn)行細(xì)分

若一個(gè)周期內(nèi)解析出的Ai的數(shù)據(jù)量NAi超過一個(gè)周期內(nèi)單臺(tái)服務(wù)器能處理的最大數(shù)據(jù)量max(Ai)，則細(xì)分Ai的抽樣任務(wù)；

3)計(jì)算任務(wù)細(xì)分度m

m為抽樣任務(wù)細(xì)分程度，即每個(gè)周期內(nèi)對(duì)Ai的抽樣任務(wù)分m次完成，利用式(2)計(jì)算m的值；

(2)

4)修改任務(wù)隊(duì)列

將任務(wù)隊(duì)列中Ai的標(biāo)識(shí)增加到m個(gè)，此后每個(gè)周期內(nèi)調(diào)度進(jìn)程對(duì)Ai的抽樣任務(wù)進(jìn)行m次調(diào)度，分配給多臺(tái)服務(wù)器完成；

5)修改Ai數(shù)據(jù)0級(jí)文件的更新周期

當(dāng)服務(wù)器接到對(duì)Ai抽樣的指令后，首先將所有服務(wù)器中上一周期解析出的Ai的0級(jí)文件集中到自身再統(tǒng)一進(jìn)行抽樣。若Ai的抽樣任務(wù)需要被細(xì)分，則需將每臺(tái)服務(wù)器上Ai的0級(jí)文件按時(shí)間順序分割成相應(yīng)的份數(shù)，為后續(xù)抽樣任務(wù)做準(zhǔn)備。0級(jí)文件的分割通過將0級(jí)文件的更新周期改為T/m來實(shí)現(xiàn)，即每T/m時(shí)間新建一個(gè)以“數(shù)據(jù)類型_時(shí)間”命名的0級(jí)文件來存儲(chǔ)相應(yīng)時(shí)間段內(nèi)解析出的Ai數(shù)據(jù)。

3 實(shí)驗(yàn)驗(yàn)證

3.1 LVS接收轉(zhuǎn)發(fā)數(shù)據(jù)統(tǒng)計(jì)

將所設(shè)計(jì)的負(fù)載均衡方法在國產(chǎn)化平臺(tái)海量數(shù)據(jù)處理系統(tǒng)中實(shí)現(xiàn)并進(jìn)行方法有效性驗(yàn)證。隨機(jī)選擇一個(gè)時(shí)間對(duì)LVS轉(zhuǎn)發(fā)數(shù)據(jù)包的情況進(jìn)行抽查。圖6是系統(tǒng)上電25h12m后，集群中4臺(tái)Real-server收到Director轉(zhuǎn)發(fā)的數(shù)據(jù)包數(shù)量查詢結(jié)果。其中，192.168.111.15為集群虛擬IP地址，192.168.111.7/9/11/14分別是4臺(tái)Real-server的IP地址。

圖6 轉(zhuǎn)發(fā)數(shù)據(jù)包統(tǒng)計(jì)結(jié)果

從統(tǒng)計(jì)結(jié)果可以看到，每臺(tái)服務(wù)器收到的數(shù)據(jù)包包數(shù)最多相差一包，一包的差異符合所采用的負(fù)載均衡算法的分配規(guī)律。從接收數(shù)據(jù)包的數(shù)量上可以推斷每臺(tái)服務(wù)器處理數(shù)據(jù)解析任務(wù)的負(fù)載是大致均衡的。

3.2 系統(tǒng)負(fù)載監(jiān)測

用uptime命令來查看服務(wù)器在過去1分鐘、5分鐘和15分鐘的平均負(fù)載。在上電前3天每天隨機(jī)選擇一個(gè)時(shí)間點(diǎn)查詢4臺(tái)服務(wù)器的負(fù)載情況，結(jié)果如圖7所示。

圖7 負(fù)載監(jiān)測結(jié)果

從查詢結(jié)果可以看到，所查詢的3個(gè)時(shí)間點(diǎn)前1分鐘、5分鐘和15分鐘內(nèi)的平均負(fù)載差分別在±0.21、±0.14和±0.05范圍內(nèi)，服務(wù)器之間的負(fù)載差異隨著統(tǒng)計(jì)時(shí)段的增長而逐漸減小。可以認(rèn)為，在當(dāng)前的負(fù)載均衡方法的作用下，系統(tǒng)中各服務(wù)器達(dá)到了負(fù)載均衡。

4 結(jié)束語

服務(wù)器集群負(fù)載不均可能會(huì)成為集群的性能瓶頸。本文針對(duì)國產(chǎn)化平臺(tái)海量數(shù)據(jù)處理系統(tǒng)負(fù)載不 均的情況，提出了一種“動(dòng)”“靜”結(jié)合的負(fù)載均衡方法，給出了具體的設(shè)計(jì)和實(shí)現(xiàn)方案。目前該方法已成功運(yùn)用在系統(tǒng)上，有效均衡了航天裝備長期加電過程中海量數(shù)據(jù)處理系統(tǒng)各服務(wù)器的負(fù)載，加強(qiáng)了系統(tǒng)的適應(yīng)性和穩(wěn)定性，提升了系統(tǒng)處理性能。