基于linux系統集群的架構與優化

華東石油局物探研究院系統保障部 楊 帆

基于linux系統集群的架構與優化

華東石油局物探研究院系統保障部 楊 帆

企業網絡中心作為企業局域網的數據傳輸的中心樞紐，必然會因流量增加而產生的性能及成本問題。從而采用Linux集群技術設計的企業網絡中心方案在此可以有效化解這種問題。本文主要介紹采用Linux集群技術構建高性能、低成本企業網的方法和相關技術，并對其進行了性能評測。

Linux；計算機集群；高性能；并行計算

1.引言

隨著互聯網技術飛速發展和各種應用軟件的逐漸開發，以及對計算機運行效率要求的不斷提高，依靠增加單一服務器的處理能力并不能很好地解決迅速增長的網絡應用的需求。因為采用單一服務器就意味著單點失效問題的存在，同時服務器的升級往往需要暫時中斷服務。這都難以保證網絡的高可用性，而且采用更高性能的服務器意味著更高的成本投入，由于這些特點，集群技術由此應運而生[1]。而且由于其造價低廉，性能優異，便于管理，編程方便，可擴展性好等優勢，集群系統的應用變得越來越廣泛。

2.集群技術簡介

集群就是一組計算機，它們作為一個整體向用戶提供一組網絡資源。這些單個的計算機系統就是集群的節點，它們之間通過高速網絡連接。這些計算機能夠協同工作，并對外表現為一個集成單一的計算機資源[1]。Linux作為自由軟件有兩個特點：一是它免費提供源碼，二是愛好者可以按照自己的需要自由修改、復制和發布程序的源碼，并公布在Internet上。

常見的Linux集群系統分為如下三種基本類型[2]：

（1）高性能計算集群(HPC:High Performance Clus ter)。主要特點為并行計算，目的是用于進行大規模數值計算，解決復雜的科學問題。這種集群中的服務器(也稱計算節點)采用并行計算方法，把一個海量的計算任務分解成各個子任務，然后分配給各節點并行計算，并通過標準化的消息傳遞接口(PVM或MPI)實現各計算節點的同步和數據的匯集。根據其高效的計算特性一般應于于航空航天、環境科學、石油地震勘探計算數學、DNA模型計算等領域。

（2）高可用性集群(HA:High Availability)。主要特點為主備服務器自動無縫切換，目的是提供不間斷的服務。它是由主、從或多臺服務器組成。發生故障時，服務器自動切換到后備服務器，這種切換對用戶是透明的，用戶無法感覺到服務器的切換。目前，對于要求24小時提供不間斷服務的地方常常使用高可用性集群。如實時計費系統、實時交易處理系統、氣象信息數據庫、科技信息數據庫服務等領域。

（3）高可伸縮性負載均衡集群(HSLB：High Scalability Load Balance)主要特點為負載均衡，目的是提供與節點個數成正比的負載能力，將系統的整體負載合理地分配到各個服務器節點上，使得每個節點都不會因為超負荷工作而崩潰；并且當對系統整體負載需求大于系統整體負載能力時，可以通過增加服務器節點，平滑地拓展系統負荷能力。這種集群非常適合提供大訪問量的網絡服務。如網上銀行、圖形對象發布、氣象信息檢索服務、科技信息檢索服務等領域。

本文只討論高可用性集群和高可伸縮性負載均衡集群的應用。

3.企業Linux集群設計思路

打破傳統的以單機為主的企業網絡，設計一個基于Linux的集群技術的企業網解決方案。以Linux集群技術為基礎，構成一個高可用性、高可靠性、負載均衡的操作平臺。該平臺能夠以很少的成本去解決網絡負載，同時可以不斷監視集群中各節點的負載狀況，并且將來自外網的多種應用請求轉發到到內網集群中的某一臺真實服務器上執行，從而解決企業網服務器面臨的大量并發訪問造成的高負載問題。

4.實現關鍵技術

該解決方案實際借助于網絡接入協議層的負載均衡技術，將用戶請求進行合理分布式處理，由應用服務器池中節點來共同承擔，以實現性能最大化、負載均衡化的一項集群技術。從用戶的角度看，所有請求是在一個并行的集群系統中運行的，主要通過消息傳遞方式實現各主機之間的通信。那么它與傳統的單一計算機相比，集群系統的主要特點是：

高可靠性：整個集群系統是由多個節點通過高速網絡進行互聯，并形成一個完整的系統，從而使用戶感覺高效可靠。

高并行處理能力：在集群系統同時接受多用戶請求時，集群系統中多個真實服務器節點之間通過并行環境和并行程序設計實現應用的高效并行處理。

負載均衡：通過多個節點實現負載均衡，極大地發揮節點的運行效率。

管理便捷性：通過相應的集群硬件和集群管理軟件能夠對整個集群實現單一的管理。

5.企業集群的實現方案

基于Linux集群技術的企業網的體系結構主要有三部分組成[3]，如圖1所示。

（1）負載均衡器

在整個企業網工作的過程中，內網主要是通過集群去接入Internet的。從局域網中的某個客戶端看，集群主要提供了一個Ip地址的映像，整個企業網共用這個虛擬IP地址，客戶端的所有應用請求都發往這個虛擬IP地址，通過地址轉換連接Internet，從而可以有效地解決企業網IP地址的短缺問題，在本解決方案中，整個集群系統如果只有一臺主負載均衡器，那么在多用戶并發請求時，容易造成負載均衡器的超負荷運行，從而造成該節點失效，使其成為集群系統中最薄弱的環節。所以在解決方案中，提出備份負載均衡器，這樣在主負載均衡器失效的時候，可以將請求移至備份負載均衡器并完成相應的工作。

（2）應用服務器集群

方案中服務節點池指的是真實服務的應用服務器群。客戶端發出的服務請求通過均衡器處理以后轉交到應用服務器群有相應的真實服務器作出響應并返回數據。在企業網中一般提供www、Ftp、vod視頻及會議等服務，使用單一服務器在訪問高峰期會造成服務器超負載運行。從而通過多臺應用服務器集群可以有效達到負載均衡，同時也是比較經濟可行的。應用服務器節點在工作過程中也有可能出現暫時無法連接的情況，特別是某一節點提供多種服務的時候，系統會根據故障將服務進行遷移至其他真實服務器節點執行。另外，對集群系統用戶來說，最關鍵的問題就是要把客戶的應用程序和管理系統有機地結合起來。

（3）存儲系統

存儲系統主要為整個集群系統內部運行提供穩定、一致的文件存取服務。該系統可以為應用服務器集群提供單一的文件系統入口；并且自動完成不同節點訪問文件系統所引發的文件鎖定、負載均衡、容錯、內容一致、讀寫事務等底層功能，對應用層提供一個透明文件訪問服務體系。

6.對公司集群應用的優化分析

根據以上分析和企業使用的曙光Linux集群技術方案能夠合理的解決企業網絡高性能低成本的需求。計算機集群系統通常采用并行計算體系結構，它能夠將一個大型的計算任務分解成各個子任務，然后分配到各節點并進行并行計算。一般來說，集群中的節點可以被劃分為5種類型[4]：

登陸節點：指的是外部用戶訪問改集群系統的入口。用戶可以登陸到該節點來編譯和運行作業。

管理節點：指的是用于監控各節點是否出現故障，并對出現故障的節點的任務進行轉移。

存儲節點：用于集群系統的數據存儲和備份。

安裝節點：提供在集群系統中各軟件安裝的節點。

服務器池節點：指的是整個集群系統的核心，也就是我們方案中的服務器池。主要功能就是執行計算。

該解決方案主要通過這些節點完成各節點的互相訪問[5]。每臺計算機所扮演的節點類型一般是由集群的實際需求和計算機的配置來決定的。該方案中，登陸節點、管理節點、存儲節點、安裝節點就存放在同一臺計算機上，這臺計算機通常被稱為主節點。其具體集群系統的結構如圖2所示。

當用戶的應用需求較大時，主節點負責進行作業的分配計算，主節點通常通過監視各個節點的運行狀態實現作業的分配。當發現某些節點失效時，系統會自動啟動其他應用服務器群里的真實服務器來執行當前的應用需求。同時在此方案中，若主節點出現故障，還專門配置了備份服務器來接受用戶的需求。從而達到系統的高性能運行。通過實驗，單一服務器與集群系統在處理同樣多的客戶數時，所花費的時間見圖3。

7.結束語

本文主要對企業網絡的結構的分析，利用Linux集群解決方案，并通過實例演示對該方案進行了闡述，同時通過性能測試，充分說明該方案性能是較高的。本方案同時給企業節省很大的成本，并給企業的用戶體驗帶來極大的收益，對于集群的應運具有深遠的影響。

[1]陳年.Linux服務器集群系統構建[J].福建電腦,2005(12).

[2]張林波,遲學斌.并行計算導論[M].北京:清華大學出版社,2006.

[3]姚耀文.基于Linux的服務器群集方案[J].計算機工程,2001(4).

[4]張瑩瑩.基于校園網的集群服務系統[J].計算機與信息技術,2006(3).

[5]古奮飛,王良俠,張莉.基于Linux集群的高性能低成本的校園網解決方案[J].電腦知識與技術,2012(1).

楊帆（1987—），女，江蘇興化人，大學專科，主要研究方向：計算機linux。