基于Linux的集群系統(tǒng)建設(shè)與研究

單蓉

（渭南師范學(xué)院 網(wǎng)絡(luò)安全信息化學(xué)院，陜西 渭南 714000）

基于Linux的集群系統(tǒng)建設(shè)與研究

單蓉

（渭南師范學(xué)院 網(wǎng)絡(luò)安全信息化學(xué)院，陜西 渭南 714000）

為了滿足校園網(wǎng)的服務(wù)需求，提出了基于Linux技術(shù)建立網(wǎng)絡(luò)服集群系統(tǒng)的方案。分析了LVS總體架構(gòu)，IPVS軟件的工作原理，說明了構(gòu)建web服務(wù)的可行性；然后從硬件和軟件配置方面設(shè)計集群系統(tǒng)，將4臺PC機通過100 mbps的交換機連接建立集群，操作系統(tǒng)為Red Hat Linux 9，并采用了基于網(wǎng)絡(luò)地址轉(zhuǎn)換（NAT）的負載均衡技術(shù)，建立了較高性價比、高可靠性的Web應(yīng)用服務(wù)器。實踐應(yīng)用表明，該系統(tǒng)性能好，具有很好的可用性。

Linux；集群；可擴展性；虛擬服務(wù)器

隨著網(wǎng)絡(luò)業(yè)務(wù)量、數(shù)據(jù)流量和計算強度不斷的增大，給網(wǎng)絡(luò)帶寬和服務(wù)器端都帶來巨大的挑戰(zhàn)。需要建立高可用的，高性價比，可伸縮的網(wǎng)絡(luò)服務(wù)來滿足不斷增長的網(wǎng)絡(luò)需求。在這種情況下，基于Linux負載均衡的虛擬服務(wù)器集群技術(shù)應(yīng)運而生。

1 基于Linux的虛擬服務(wù)器

LVS是Linux系統(tǒng)中的一種IP負載均衡技術(shù)，是操作系統(tǒng)的核心，從IP層發(fā)出的TCP/UDP請求會被轉(zhuǎn)移到不同的服務(wù)器上以求平衡，因此可以構(gòu)成一組服務(wù)器高性能、高可用的虛擬服務(wù)器［1］。

1.1 LVS的體系結(jié)構(gòu)

LVS（Linux Virtual Server）由兩部分組成:真實服務(wù)器，負載調(diào)度器。真實服務(wù)器運行真正的網(wǎng)絡(luò)服務(wù)，但真實服務(wù)器提供的網(wǎng)絡(luò)服務(wù)是不變的。當(dāng)整個系統(tǒng)接收負載超過所有節(jié)點的處理能力，這會使得請求服務(wù)器的負載不斷增長［2］。對于大多數(shù)網(wǎng)絡(luò)服務(wù)，不同的請求之間沒有很強的相關(guān)性，不同的請求可以運行在不同的節(jié)點，因此整個系統(tǒng)的性能可能因真實服務(wù)器的數(shù)量增長而線性增長［3］。LVS的結(jié)構(gòu)如圖1所示。

圖1 LVS的基本結(jié)構(gòu)Fig.1 LVS genral structure

負載調(diào)度器采用基于IP層負載平衡調(diào)度技術(shù)時，當(dāng)客戶請求到達，調(diào)度器根據(jù)負載情況從服務(wù)器池中選出一個服務(wù)器，將該請求轉(zhuǎn)發(fā)到選出的服務(wù)器，并記錄這個調(diào)度［4］。所有的操作都是在操作系統(tǒng)核心空間中完成的，它的調(diào)度開銷很小，所以它能調(diào)度很多服務(wù)器，而本身不會成為系統(tǒng)的瓶頸。

1.2 IP虛擬服務(wù)器（IPVS）

在圖1中，負載調(diào)度器發(fā)揮著核心的作用，然而，在負載調(diào)度器的實現(xiàn)技術(shù)中，IP負載均衡技術(shù)的效率最高［5］。在現(xiàn)有的IP負載均衡技術(shù)中，一組服務(wù)器銅鼓網(wǎng)絡(luò)地址轉(zhuǎn)換可構(gòu)成高性能和高可用的虛擬服務(wù)器，這稱為VS/NAT（虛擬服務(wù)器/網(wǎng)絡(luò)地址轉(zhuǎn)換）。大多數(shù)商業(yè)化的IP負載均衡調(diào)度器產(chǎn)品使用這種方法，如思科。此外，它可以使用的VS/TUN技術(shù)和VS/DR（虛擬服務(wù)器通過直接路由），他們可極大地提高系統(tǒng)的可擴展的［6］。

2 系統(tǒng)設(shè)計的需求分析

2.1 應(yīng)用需求

web服務(wù)構(gòu)建的要求可以概括為以下幾點:

1）高性能要求:系統(tǒng)需要在短期內(nèi)處理大量的用戶請求，如何實時處理用戶的請求對Web服務(wù)系統(tǒng)的性能有很高的要求。

2）高可靠的要求:在系統(tǒng)開放期間，系統(tǒng)被要求提供每天24小時的不間斷服務(wù)，每周7天。

3）性價比要求:構(gòu)建整個系統(tǒng)要經(jīng)濟，低成本，能做出最好的硬件設(shè)備。

4）高擴展性要求：考慮在未來的幾年中，訪問系統(tǒng)的數(shù)量可能增長很快，因此整個系統(tǒng)應(yīng)該容易擴張，以滿足未來的需要。

2.2 服務(wù)器集群建設(shè)的基本思路

建設(shè)網(wǎng)絡(luò)服務(wù)器的基本思想是通過服務(wù)器集群技術(shù)連接獨立的網(wǎng)絡(luò)服務(wù)器，集群中的每個服務(wù)器可以提供外部服務(wù)，分布式服務(wù)請求，讓他們共享負載平衡，減少訪問響應(yīng)時間。

3 系統(tǒng)設(shè)計

在Linux平臺上設(shè)計并實現(xiàn)一種Web服務(wù)器集群原型系統(tǒng)，在集群的幾個計算機上安裝運行操作系統(tǒng)等軟件；對每臺計算機配置之后，選其中一臺計算機運行主進程，負責(zé)接收客戶的請求，并將任務(wù)分配給在其他節(jié)點的計算機上的進程來進行處理，實現(xiàn)了基于以太網(wǎng)連接的多處理器并行服務(wù)器程序。

3.1 系統(tǒng)硬件體系結(jié)構(gòu)

為了便于進行替換、擴展、平衡負載和進行性能分析，所選擇的節(jié)點計算機應(yīng)該非常相似。充分利用現(xiàn)有硬件設(shè)備，選擇了4臺PC機來組成集群，它們的處理器速度、存儲器容量和其他特性幾乎完全一致。

LVS的基于網(wǎng)絡(luò)地址轉(zhuǎn)換（NAT）的負載均衡技術(shù)方式由于構(gòu)建簡單，對真實服務(wù)器配置少、基于私有網(wǎng)絡(luò)安全性高，所以在試驗中選用了。所設(shè)計集群系統(tǒng)體系結(jié)構(gòu)如圖2所示。

對不同節(jié)點的計算機分配不同的IP地址，分別是：10.0.0.1，10.0.0.2，10.0.0.3and 10.O.0.4，the mask is 255.255.255.0，并分別命名為A，B，C，D。4臺計算機通過100 Mbps的交換機連接。其他3個計算機就可以通過IP地址或用戶名+密碼隨機互相訪問。

圖2 集群系統(tǒng)體系結(jié)構(gòu)Fig.2 Structure of cluster system

3.2 集群軟件平臺的設(shè)計與配置

操作系統(tǒng)為Red Hat Linux 9（Kernel 2.4.18-26），涉及到的軟件有：Linux 2.4.20內(nèi)核、LVS的內(nèi)核補丁，Linux-2.4.20-ipvs-1.0.9.path、Hear-beart軟 件 包、Ldirectord軟 件 包、WingMon監(jiān) 控 程 序 包、Web服 務(wù) 器 軟 件 Apache2.0、Tomcat7.0，GCC 3.2編譯器和Glib 1.2.10函數(shù)庫等。

3.3 LVS的配置

對負載均衡器，系統(tǒng)采用NAT模式下加權(quán)輪叫方式。

配置如下：

ipvsadm-A-t 202.120.224.33.33:80-s wlr

ipvsadm-a-t 202.120.224.33:80-r 10.11.6.3:80-m-w 2

ipvsadm-a-t 202.120.224.33:80-r 10.11.6.4:80-m-w 2

4 系統(tǒng)可靠性分析

通過 Heartbeat和 Lidirectord的完美組合極大地提高了系統(tǒng)的可靠性。

4.1 可靠的負載均衡器

系統(tǒng)通過負載均衡器將不同的用戶請求調(diào)度到真實的web服務(wù)器上去執(zhí)行，因此負載均衡器有可能成為系統(tǒng)的單一失效點。為了避免負載均衡器失效而導(dǎo)致整個系統(tǒng)不能工作，需要設(shè)立一個從負載均衡器作為主負載均衡器的備份。在主負載均衡器和從負載均衡器上，安裝Heartbeat軟件，兩個心跳（Heartbeat）進程，分別在主、從負載均衡器上運行，它們通過串口線和UDP等實時通信，就可以獲得對方的狀態(tài)。

Heartbeat配置文件在/etc/ha.d，，配置文件ha.cf用于設(shè)置一些基本參數(shù)，如下：

logfacility local10

keepalive 2

deadtime 10

warntime 10

initdead 10

nice_failback on

mcast eth0 225.0.0.7 694 1 1

mode PriLd#主調(diào)度器Prild

mode BakLd#備份調(diào)度器BakLd

haresources:設(shè)置管理的資源

PriLd 202.120.224.33/24/eth

4.2 可靠的Web服務(wù)

集群運作時，需要監(jiān)視集群中所有真實服務(wù)器的Web服務(wù)運行情況并對其中的變化作出反應(yīng)。

Ldirectord配置文件ldirectord，基本配置如下：

#Global Directives

checktimeout=10

checkinterval=2

autoreload=no

logfile=“l(fā)ocal0”

quiescent=yes

#Virtual Server for HTTP

virtual=202.120.224.33.33:80

fallback=127.0.0.1:80

real=10.11.6.3:80 masq

real=10.11.6.4:80 masq

service=http

request=”jsp/wingsoft/index.jsp”

receive=”Test Page”

scheduler=rr

protocol=tcp

checktype=negotiate

4.3 數(shù)據(jù)同步的實現(xiàn)

為了保證數(shù)據(jù)同步問題，使用網(wǎng)絡(luò)文件系統(tǒng)NFS。它為整個集群提供了一個統(tǒng)一存放 Web應(yīng)用程序的目錄。在每個真實服務(wù)器上，在其文件/etc/fstab中添加下面一行：

10.11.6.5:/usr/local/webs/usr/local/tomcat/webapps/ROOT/ wingsoft，

將webs映射為本地目錄/usr/local/tomcat/webapps/ROOT/ wingsoft。

5 結(jié)束語

該系統(tǒng)使用LVS技術(shù)，充分利用現(xiàn)有硬件設(shè)備，有較高的性價比。在此基礎(chǔ)上，利用多種方法來增強系統(tǒng)的可靠性、可管理性、大大提高了可用性，達到了實際應(yīng)用的需求。但這個計劃只適用于小規(guī)模的Web服務(wù)應(yīng)用程序請求。同時，在集群的透明度、高可用性、可管理性、可編程性等方面，需要做進一步的研究工作。

［1］王頤帥.基于LVS的服務(wù)器負載均衡技術(shù)［J］.計算機系統(tǒng)應(yīng)用，2014（7）:252-256.

［2］裴歐亞，康慕寧，張磊.基于SystemTap的Linux服務(wù)器性能分析系統(tǒng)的設(shè)計與實現(xiàn)［J］.電子設(shè)計工程，2014（10）:28-31.

［3］洪新建，洪新華.Linux虛擬服務(wù)器LVS負載均衡模式研究［J］.計算機安全，2014（10）:39-41.

［4］謝沛東，武延軍.基于Linux內(nèi)核的Key-Value存儲系統(tǒng)——Kstore［J］.計算機應(yīng)用，2015（1）:99-102，114.

［5］曹越，顧乃杰，任開新，等.一種面向多核系統(tǒng)的Linux任務(wù)調(diào)度算法［J］.計算機工程，2015（2）:36-40.

［6］朱永華，沈熠，劉玲.Linux內(nèi)核完全公平調(diào)度器改進的研究［J］.計算機工程與應(yīng)用，2014（12）:59-62.

Constructing and researching the cluster system based on Linux

SHAN Rong
（College of Network Security and Information Technology，Weinan Normal University，Weinan 714000，China）

In order to satisfy the requirement of campus network service，the network service cluster system which is based on Linux technology solution is designed in the paper.The LVS general structure and the working principle of the IPVS software been analyzed，showing feasibility of building web services；Then the hardware and software configuration of cluster system been designed.Cluster been established by 4 PC which connected through 100 MBPS switch，the operating system for the Red Hat Linux 9，using the technology of load banlance based network address translation（NAT）.The high cost performance，high reliability of the Web application server is designed.The practical application shows that the system has a good performance and good usability.

Linux；cluster；expandability；virtual server

TN915

A

1674－6236（2016）04-0102-03

2015-04-02 稿件編號：201504009

受陜西?。〝?shù)學(xué)）扶持學(xué)科建設(shè)項目，校級特色學(xué)科建設(shè)項目（14TSXK02）；渭南師范學(xué)院教改項目（JG201543）；渭南市科技計劃項目資助（2015KYJ-2-2）

單 蓉（1978—），女，甘肅古浪人，碩士，副教授。研究方向：計算機網(wǎng)絡(luò)，文本挖掘。