淺析Linux集群技術(shù)

摘要:隨著網(wǎng)絡(luò)應(yīng)用的進(jìn)一步深入，越來(lái)越多的服務(wù)器采用Linux操作系統(tǒng)提供郵件、Web、文件存儲(chǔ)、數(shù)據(jù)庫(kù)等服務(wù)。該文主要介紹Linux集群技術(shù)的概念、類型、解決方案及各種方案的說(shuō)明。

關(guān)鍵字:Linux;集群;高性能;高可用性;負(fù)載均衡

Analysis of Linux Cluster Technology

GU Fen-fei， WANG Liang-xia

(Anhui Xinhua University， Hefei 230088， China)

Abstract: With the further development of the internet application， more and more web server adopts Linux operation system to provide mail service， Web service， file storage service， database service etc. This paper introduces the concept， types， solution and its description of the Linux cluster technology.

Key words: linux; cluster; high performance; high availability; load balancing

隨著網(wǎng)絡(luò)應(yīng)用的進(jìn)一步深入，越來(lái)越多的服務(wù)器采用Linux操作系統(tǒng)，提供郵件、Web、文件存儲(chǔ)、數(shù)據(jù)庫(kù)等服務(wù)。 如今已有非常多的公司在企業(yè)內(nèi)部網(wǎng)中利用Linux服務(wù)器提供這些服務(wù)。隨著人們對(duì)Linux服務(wù)器依賴的加深，對(duì)其可靠性、負(fù)載能力和成本也倍加關(guān)注。Linux集群技術(shù)應(yīng)運(yùn)而生，可以以低廉的成本，高效的性能很好地滿足人們的這些需要。

1 Linux集群技術(shù)簡(jiǎn)介

集群是最近幾年中最為主要的一種HPC硬件，集群(cluster)就是一組MPP的集合。集群中的處理器通常被稱為節(jié)點(diǎn)，它具有自己的CPU、內(nèi)存、操作系統(tǒng)、I/O子系統(tǒng)，并且可以與其他節(jié)點(diǎn)進(jìn)行通信。目前市場(chǎng)出現(xiàn)了很專業(yè)集群設(shè)備，但有很多地方都使用常見的工作站運(yùn)行Linux和其他開放源碼軟件來(lái)充當(dāng)集群中的節(jié)點(diǎn)。與專業(yè)的硬件設(shè)備相比，使用Linux工作站和相應(yīng)的開源軟件來(lái)實(shí)現(xiàn)集群功能的最大優(yōu)勢(shì)在于成本低且企業(yè)可根據(jù)企業(yè)的自身的要求來(lái)進(jìn)行二次開發(fā)。

1.1 集群技術(shù)的用途

每臺(tái)服務(wù)器所能承載的連接和負(fù)載量都是有限的，為了使用服務(wù)器能夠承載更大的負(fù)載，我們一般采用對(duì)稱多處理(Symmetric Multi-Processor，簡(jiǎn)稱SMP)技術(shù)來(lái)提升服務(wù)器的整體性能。但是，SMP的可擴(kuò)展能力有限，SMP服務(wù)器顯然不能滿足高可伸縮、高可用網(wǎng)絡(luò)服務(wù)中的負(fù)載處理能力不斷增長(zhǎng)需求。隨著負(fù)載不斷增長(zhǎng)，會(huì)導(dǎo)致服務(wù)器不斷地升級(jí)。這種服務(wù)器升級(jí)有下列不足:一是升級(jí)過程繁瑣，機(jī)器切換會(huì)使服務(wù)暫時(shí)中斷，并造成原有計(jì)算資源的浪費(fèi);二是越往高端的服務(wù)器，所花費(fèi)的代價(jià)越大;三是SMP服務(wù)器是單一故障點(diǎn)(Single Point of Failure)，一旦該服務(wù)器或應(yīng)用軟件失效，會(huì)導(dǎo)致整個(gè)服務(wù)的中斷。

通過高性能網(wǎng)絡(luò)或局域網(wǎng)互聯(lián)的服務(wù)器集群可以解決上述問題，并能實(shí)現(xiàn)高可伸縮的、高可用網(wǎng)絡(luò)服務(wù)。與提升單個(gè)服務(wù)器配置方法，服務(wù)器集群技術(shù)具有典型的優(yōu)點(diǎn)。

1) 性能

網(wǎng)絡(luò)服務(wù)的工作負(fù)載通常是大量相互獨(dú)立的任務(wù)，通過一組服務(wù)器分而治之，可以獲得很高的整體性能。

2) 性能/價(jià)格比

組成集群系統(tǒng)的PC服務(wù)器或RISC服務(wù)器和標(biāo)準(zhǔn)網(wǎng)絡(luò)設(shè)備因?yàn)榇笠?guī)模生產(chǎn)降低成本，價(jià)格低，具有最高的性能/價(jià)格比。若整體性能隨著結(jié)點(diǎn)數(shù)的增長(zhǎng)而接近線性增加，該系統(tǒng)的性能/價(jià)格比接近于PC服務(wù)器。所以，這種松耦合結(jié)構(gòu)比緊耦合的多處理器系統(tǒng)具有更好的性能/價(jià)格比。

3) 可伸縮性

集群系統(tǒng)中的結(jié)點(diǎn)數(shù)目可以增長(zhǎng)到幾千個(gè)，乃至上萬(wàn)個(gè)，其伸縮性遠(yuǎn)超過單臺(tái)超級(jí)計(jì)算機(jī)。

4) 高可用性

在硬件和軟件上都有冗余，通過檢測(cè)軟硬件的故障，將故障屏蔽，由存活結(jié)點(diǎn)提供服務(wù)，可實(shí)現(xiàn)高可用性。

1.2 Linux集群類型

按照集群側(cè)重點(diǎn)不同，可以把Linux集群分為三類。

1) 高可用性集群

最簡(jiǎn)單的高可用性集群有兩個(gè)節(jié)點(diǎn):一個(gè)節(jié)點(diǎn)是活動(dòng)的，另外一個(gè)節(jié)點(diǎn)是備用的，不過它會(huì)一直對(duì)活動(dòng)節(jié)點(diǎn)進(jìn)行監(jiān)視。一旦活動(dòng)節(jié)點(diǎn)出現(xiàn)故障，備用節(jié)點(diǎn)就會(huì)接管它的工作，這樣就能使得關(guān)鍵的系統(tǒng)能夠持續(xù)工作。

2) 負(fù)載均衡集群

負(fù)載均衡集群通常會(huì)在非常繁忙的Web站點(diǎn)上采用，它們有多個(gè)節(jié)點(diǎn)來(lái)承擔(dān)相同站點(diǎn)的工作，每個(gè)獲取Web頁(yè)面的新請(qǐng)求都被動(dòng)態(tài)路由到一個(gè)負(fù)載較低的節(jié)點(diǎn)上。

3) 高性能集群

高性能集群用來(lái)運(yùn)行那些對(duì)時(shí)間敏感的并行程序，它們對(duì)于科學(xué)社區(qū)來(lái)說(shuō)具有特殊的意義。高性能集群通常會(huì)運(yùn)行一些模擬程序和其他對(duì)CPU非常敏感的程序，這些程序在普通的硬件上運(yùn)行需要花費(fèi)大量的時(shí)間。

高可用性集群、負(fù)載均衡集群及高性能集群三者的工作原理不同，適用于不同類型的服務(wù)。通常，負(fù)載均衡集群適用于提供靜態(tài)數(shù)據(jù)的服務(wù)，如HTTP服務(wù);而高可用性集群既適用于提供靜態(tài)數(shù)據(jù)的服務(wù)，又適用于提供動(dòng)態(tài)數(shù)據(jù)的服務(wù)，如數(shù)據(jù)庫(kù)等。高可用性集群之所以能適用于提供動(dòng)態(tài)數(shù)據(jù)的服務(wù)，是由于節(jié)點(diǎn)共享同一存儲(chǔ)介質(zhì)，如RAIDBox。也就是說(shuō)，在高可用性集群內(nèi)，每種服務(wù)的用戶數(shù)據(jù)只有一份，存儲(chǔ)在共用存儲(chǔ)設(shè)備上，在任一時(shí)刻只有一個(gè)節(jié)點(diǎn)能讀寫這份數(shù)據(jù)。高性能集群用來(lái)運(yùn)行那些對(duì)時(shí)間敏感的并行程序 。

2 Linux集群的實(shí)現(xiàn)方案

根據(jù)不同的應(yīng)用需求，Linux集群有三種類別的集群方案:高可用性集群方案、負(fù)載均衡集群方案、超級(jí)計(jì)算集群方案。

2.1 Linux高可用性方案

高可用性集群系統(tǒng)中不同的服務(wù)器承擔(dān)不同的任務(wù)，當(dāng)其中一個(gè)服務(wù)器發(fā)生故障時(shí)，系統(tǒng)根據(jù)設(shè)定的條件，將發(fā)生故障的服務(wù)器的任務(wù)轉(zhuǎn)移給另外一臺(tái)服務(wù)器，對(duì)于最終用戶來(lái)說(shuō)，并沒有反映出系統(tǒng)故障，系統(tǒng)的可用性得到提高。

在如圖1所示的高可用性集群架構(gòu)中，真實(shí)服務(wù)地址綁定到一個(gè)虛擬網(wǎng)卡(Eth0:1)上，通過心跳監(jiān)測(cè)進(jìn)程來(lái)將主服務(wù)器節(jié)點(diǎn)或是備份服務(wù)器節(jié)點(diǎn)的虛擬網(wǎng)卡( Eth0 :1)激活。主服務(wù)器節(jié)點(diǎn)與備份服務(wù)器節(jié)點(diǎn)都只需一個(gè)網(wǎng)卡，它們上面都分別綁定兩個(gè)IP地址，即公網(wǎng)IP(Eth0:0)和私網(wǎng)IP(Eth0 :1)(若是異地備份則需要兩個(gè)都是公網(wǎng)IP)，其中私網(wǎng)IP用于心跳監(jiān)測(cè)程序傳遞心跳信號(hào)，當(dāng)備份服務(wù)器節(jié)點(diǎn)發(fā)現(xiàn)主服務(wù)器節(jié)點(diǎn)無(wú)心跳后，會(huì)自動(dòng)代替主服務(wù)器節(jié)點(diǎn)工作，而當(dāng)發(fā)現(xiàn)主服務(wù)器節(jié)點(diǎn)已恢復(fù)正常工作，則自動(dòng)切換到備份狀態(tài)。

2.2 負(fù)載均衡集群方案

2.2.1 負(fù)載均衡集群的架構(gòu)

負(fù)載均衡的解決方案中，若干臺(tái)服務(wù)器做同樣的工作，這樣一來(lái)以前由一臺(tái)服務(wù)器來(lái)做的工作已經(jīng)分配給多個(gè)服務(wù)器來(lái)做，整個(gè)系統(tǒng)的處理能力得以提高。如圖2所示，在整個(gè)負(fù)載均衡集群中由負(fù)載均衡器、真實(shí)服務(wù)器組和共享存儲(chǔ)三部分構(gòu)成。

1) Load Balancer(負(fù)載均衡器)

Load Balancer是整個(gè)集群系統(tǒng)的前端，負(fù)責(zé)把客戶請(qǐng)求通過特定的調(diào)度算法轉(zhuǎn)發(fā)到Real Server上。Backup是備份Load Balancer，當(dāng)Load Balancer不可用時(shí)接替它，成為實(shí)際的Load Balancer。Load Balancer通過Ldirectord監(jiān)測(cè)各Real Server的健康狀況。在Real Server不可用時(shí)把它從群中剔除，恢復(fù)時(shí)重新加入。

2) Server Array(真實(shí)服務(wù)器組)

Server Array是一組運(yùn)行實(shí)際應(yīng)用服務(wù)的機(jī)器，比如WEB，Mail，F(xiàn)TP，DNS，Media等等。在實(shí)際應(yīng)用中，Load Balancer和Backup也可以兼任Real Server的角色。

3) Shared Storage(共享存儲(chǔ))

Shared Storage為所有Real Server提供共享存儲(chǔ)空間和一致的數(shù)據(jù)內(nèi)容。

2.2.2 負(fù)載均衡集群的算法

目前，Linux平臺(tái)下的集群軟件有很多，其中Linux Virtual Server(LVS)最為流行。LVS安裝在負(fù)載均衡器上，使用虛擬IP地址對(duì)外服務(wù)，當(dāng)接受到客戶請(qǐng)求后它根據(jù)特定的調(diào)度算法將客戶機(jī)請(qǐng)求轉(zhuǎn)發(fā)到選擇的真實(shí)服務(wù)器，LVS支持的調(diào)度算法如下。

1) rr輪叫(Round Robin)

調(diào)度器通過“輪叫”調(diào)度算法將外部請(qǐng)求按順序輪流分配到集群中的真實(shí)服務(wù)器上，它均等地對(duì)待每一臺(tái)服務(wù)器，而不管服務(wù)器上實(shí)際的連接數(shù)和系統(tǒng)負(fù)載。

2) wrr加權(quán)輪叫(Weighted Round Robin)

調(diào)度器通過“加權(quán)輪叫”調(diào)度算法根據(jù)真實(shí)服務(wù)器的不同處理能力來(lái)調(diào)度訪問請(qǐng)求。這樣可以保證處理能力強(qiáng)的服務(wù)器處理更多的訪問流量。調(diào)度器可以自動(dòng)問詢真實(shí)服務(wù)器的負(fù)載情況，并動(dòng)態(tài)地調(diào)整其權(quán)值。

3) lc最少鏈接(Least Connections)

調(diào)度器通過“最少連接”調(diào)度算法動(dòng)態(tài)地將網(wǎng)絡(luò)請(qǐng)求調(diào)度到已建立的鏈接數(shù)最少的服務(wù)器上。如果集群系統(tǒng)的真實(shí)服務(wù)器具有相近的系統(tǒng)性能，采用“最小連接”調(diào)度算法可以較好地均衡負(fù)載。

4) wlc加權(quán)最少鏈接(Weighted Least Connections)

在集群系統(tǒng)中的服務(wù)器性能差異較大的情況下，調(diào)度器采用“加權(quán)最少鏈接”調(diào)度算法優(yōu)化負(fù)載均衡性能，具有較高權(quán)值的服務(wù)器將承受較大比例的活動(dòng)連接負(fù)載。調(diào)度器可以自動(dòng)問詢真實(shí)服務(wù)器的負(fù)載情況，并動(dòng)態(tài)地調(diào)整其權(quán)值。

5) lblc基于局部性的最少鏈接(Locality-Based Least Connections)

基于局部性的“最少鏈接”調(diào)度算法是針對(duì)目標(biāo)IP地址的負(fù)載均衡，目前主要用于Cache集群系統(tǒng)。該算法根據(jù)請(qǐng)求的目標(biāo)IP地址找出該目標(biāo)IP地址最近使用的服務(wù)器，若該服務(wù)器是可用的且沒有超載，將請(qǐng)求發(fā)送到該服務(wù)器;若服務(wù)器不存在，或者該服務(wù)器超載且有服務(wù)器處于一半的工作負(fù)載，則用“最少鏈接”的原則選出一個(gè)可用的服務(wù)器，將請(qǐng)求發(fā)送到該服務(wù)器。

6) lblcr帶復(fù)制的基于局部性最少鏈接(Locality-Based Least Connections with Replication)

帶復(fù)制的基于局部性“最少鏈接”調(diào)度算法也是針對(duì)目標(biāo)IP地址的負(fù)載均衡，目前主要用于Cache集群系統(tǒng)。它與LBLC算法的不同之處是它要維護(hù)從一個(gè)目標(biāo)IP地址到一組服務(wù)器的映射，而LBLC算法維護(hù)從一個(gè)目標(biāo)IP地址到一臺(tái)服務(wù)器的映射。該算法根據(jù)請(qǐng)求的目標(biāo)IP地址找出該目標(biāo)IP地址對(duì)應(yīng)的服務(wù)器組，按“最小連接”原則從服務(wù)器組中選出一臺(tái)服務(wù)器，若服務(wù)器沒有超載，將請(qǐng)求發(fā)送到該服務(wù)器，若服務(wù)器超載;則按“最小連接”原則從這個(gè)集群中選出一臺(tái)服務(wù)器，將該服務(wù)器加入到服務(wù)器組中，將請(qǐng)求發(fā)送到該服務(wù)器。同時(shí)，當(dāng)該服務(wù)器組有一段時(shí)間沒有被修改，將最忙的服務(wù)器從服務(wù)器組中刪除，以降低復(fù)制的程度。

7) dh目標(biāo)地址散列(Destination Hashing)

目標(biāo)地址散列調(diào)度算法根據(jù)請(qǐng)求的目標(biāo)IP地址，作為散列鍵(Hash Key)從靜態(tài)分配的散列表找出對(duì)應(yīng)的服務(wù)器，若該服務(wù)器是可用的且未超載，將請(qǐng)求發(fā)送到該服務(wù)器，否則返回空。

8) sh源地址散列(Source Hashing)

源地址散列調(diào)度算法根據(jù)請(qǐng)求的源IP地址，作為散列鍵(Hash Key)從靜態(tài)分配的散列表找出對(duì)應(yīng)的服務(wù)器，若該服務(wù)器是可用的且未超載，將請(qǐng)求發(fā)送到該服務(wù)器，否則返回空。

2.3 超級(jí)計(jì)算集群方案

超級(jí)計(jì)算集群是并行計(jì)算的基礎(chǔ)，以解決復(fù)雜的科學(xué)問題。它可以使集群系統(tǒng)通過高速連接來(lái)鏈接的一組單處理器或雙處理器微機(jī)，并且在公共消息傳遞層上進(jìn)行通信以運(yùn)行并行應(yīng)用程序。因此，所謂的廉價(jià)的Linux超級(jí)計(jì)算機(jī)，實(shí)際是一個(gè)Linux計(jì)算機(jī)群集，其處理能力與真正的超級(jí)計(jì)算機(jī)相當(dāng)，但Linux集群系統(tǒng)的價(jià)格比超級(jí)計(jì)算機(jī)便宜很多。

支持Linux集群的軟件及系統(tǒng)有EnFuzion，Beowulf等。Beowulf軟件的主要功能包括:分發(fā)任務(wù)到各個(gè)計(jì)算節(jié)點(diǎn)、監(jiān)測(cè)任務(wù)運(yùn)行的情況、監(jiān)測(cè)故障及故障恢復(fù)、控制任務(wù)隊(duì)列等。

3 總結(jié)和展望

集群是在理論和實(shí)際應(yīng)用上都有重大意義的技術(shù)，現(xiàn)在正備受各大IT廠商的關(guān)注，但現(xiàn)有集群系統(tǒng)在某些方面仍存在不少問題，在性能與可用性方面還不是十分理想，因此人們?nèi)栽趯ふ腋玫姆椒ㄒ允辜合到y(tǒng)具有更高的性能與更高的可用性，而Linux由于它的開源特性，必然會(huì)有更多的有志之士為它出謀劃策。本文主要介紹Linux集群技術(shù)的基本類型及其方案描述，希望本文能對(duì)服務(wù)器集群技術(shù)的深入研究起到拋磚引玉的作用。

參考文獻(xiàn):

[1] 金戈.Linux高性能計(jì)算集群——概述[EB/OL].[2007-07-07].http://www.ibm.com/developerworks/cn/linux/cluster/hpc/part1/index.html.

[2] 陳年.Linux服務(wù)器集群系統(tǒng)構(gòu)建[J].福建電腦，2005(12).

[3] 張林波，遲學(xué)斌.并行計(jì)算導(dǎo)論[M].北京:清華大學(xué)出版社，2006.

[4] 姚耀文.基于Linux的服務(wù)器群集方案[J].計(jì)算機(jī)工程，2001，27(4):1392-1411.

[5] 吳曉龍.高可用性集群系統(tǒng)在醫(yī)院信息系統(tǒng)中的應(yīng)用[J].廣西科學(xué)院學(xué)報(bào)，2002，18(1):19-21.

[6] 屈鋼，鄧健青，韓云路.Linux集群技術(shù)研究[J].計(jì)算機(jī)應(yīng)用研究，2005，5:100-101.

[7] 陳強(qiáng)，程昌品，鄧九英.校園網(wǎng)建設(shè)與管理的現(xiàn)狀及思考[J].計(jì)算機(jī)教育，2004(4).

[8] 江小云.建立基于服務(wù)器群集的負(fù)載均衡架構(gòu)[J].重慶科技學(xué)院學(xué)報(bào):自然科學(xué)版，2007(2).