基于虛擬機的云計算管理平臺

文/漫步云端團隊

基于虛擬機的云計算管理平臺

文/漫步云端團隊

作品介紹

采用虛擬化技術構建一個云計算平臺方案，同時采用SpringSource中的軟件工具，開發一套面向虛擬Hadoop集群的管理平臺：vCirrus。通過該平臺配合虛擬機，可以方便的搭建一個Hadoop集群，對該集群進行監測和管理，還可以收集大量的系統運行信息，為整個云計算系統的維護和優化提供較好的依據。

價值主張

使用虛擬機搭建Hadoop云計算平臺主要有以下幾個優勢和價值：

1. 硬件獨立性

由于虛擬機獨立于底層物理硬件運行，我們可以為虛擬機配置與底層硬件上存在的物理組件完全不同的虛擬組件。這樣，在一個由多種不同硬件配置的計算機組成的Hadoop云計算集群中，可以使用虛擬機對物理硬件進行虛擬化，隱藏不同計算機之間的硬件差異，從而為整個云計算平臺提供一組統一的硬件設備，便于整個Hadoop平臺的統一環境配置，同時也保證了整個云計算平臺的一致性和兼容性，降低云計算環境搭建的復雜性。

2. 平臺的可擴展性

使用虛擬機可以方便地對云計算的集群環境進行節點的添加和刪除工作，以及節點之間的遷移工作和節點的備份工作，從而實現整個云計算環境的動態擴展。當進行遷移工作時，使用虛擬機的克隆技術將整個虛擬機打包，該壓縮包中包含了一整套虛擬硬件資源、操作系統及其所有應用程序的信息，之后只需在另一個節點上解壓縮后導入即可；當進行備份工作時，使用虛擬機的快照技術生成當前狀態的一個快照，該快照內保存了當前系統的各種狀態參數。當節點發生故障時，直接恢復快照即可；當需要增加節點時，可以啟動一個新的虛擬機，然后導入某個克隆壓縮包即可；當需要刪除節點時，直接關閉虛擬機即可。

3. 充分利用硬件資源

通常在一個大規模的集群中，每一個節點的資源利用率不是很高，有很多計算資源在大部分時間里被閑置。使用虛擬機可以充分利用現有的硬件資源，提高資源的利用率。在搭建一個云計算平臺的集群時，我們可以在一個物理計算機上開啟多個虛擬機，每一個虛擬機將被視作集群中的一個獨立的節點進行工作。這些虛擬機雖然共享一臺計算機的物理資源，但它們彼此之間保持完全的隔離狀態，被視作為不同的物理節點。如果其中一臺虛擬機崩潰，也不會影響到其他虛擬機的運行。虛擬化技術將硬件資源變成一個資源池，使用戶無需關心資源的具體分配情況，最大化硬件資源的使用價值。

架構設計

vCirrus云計算管理平臺包括三個部分：基于VMware虛擬機的Hadoop集群；基于Web的Hadoop集群配置工具；基于Web的Hadoop集群管理工具。

概述

在我們的方案中，首先使用VMware虛擬機搭建Hadoop云計算平臺。學生可以在學習云計算課程的時候，通過教學實驗平臺加深對云計算的理解，也可以使用該教學平臺進行MapReduce的編程學習。

對于管理員來說，該項目為該平臺開發一套基于Web的Hadoop平臺的配置和管理工具。該工具主要有兩部分功能：

首先，它包含一個Hadoop平臺的配置工具。它可以通過簡單明了的Web頁面，使用表單和按鈕等控件，協助管理員方便快捷地進行Hadoop的環境配置，避免了逐個修改Hadoop配置文件的繁瑣。同時，基于Web的設計架構，無需在每臺機器上安裝額外的客戶端程序，可以直接通過網絡進行同步配置更新，有助于教師和管理員更方便地進行維護和教學操作。

其次，它包含一個Hadoop云計算平臺的管理工具。該工具將對整個云計算教學實驗平臺進行監控，可以實時顯示出整個網絡中每一個節點的運行狀態（包括運行、故障和掛起等狀態），同時該工具將對每一個節點的CPU、內存、網絡通信、I/O等資源的使用率進行記錄，以便日后的跟蹤維護。除了監控功能之外，通過該工具也可以對每一個節點進行啟動、暫停、停止和重新啟動等操作，以圖形化界面的方式方便管理員進行整個教學實驗平臺的管理。

圖1 Hadoop集群

圖2 基于VMware虛擬機的云計算平臺

整體架構設計

傳統搭建Hadoop集群的方法如圖1所示。該集群共有11個節點，包含了一個Hadoop Master節點和十個Slave節點。

采用虛擬機搭建Hadoop的方式整體上與之類似，不同的是在每個節點上安裝一個或多個虛擬機，然后在虛擬機中安裝Hadoop軟件，并組成集群。

例如，以上面的Hadoop集群為例，可以在每個Host節點上先安裝VMware Workstation軟件，然后安裝Ubuntu虛擬機，再在虛擬機中安裝Hadoop并組建集群，即可完成和上面功能一樣的云計算平臺，如圖2所示。

基于上述步驟，就可以完成vCirrus云計算管理平臺第一個部分的內容。

管理平臺架構設計

vCirrus云計算管理平臺單個節點的整體架構如圖3所示。

該整體架構分為上中下三個層次：

第一，最下層是Host機的軟硬件環境。硬件上，既可以是普通的PC機，也可以是服務器，甚至是超級計算機；軟件上，既可以是Windows操作系統，也可以是Linux，只要是能夠支持VMware虛擬化軟件的操作系統都可以。

第二，中間層是Hadoop平臺

采用Cloudera組織的CDH平臺，該平臺集成了Hadoop穩定版本及其相關的許多軟件包，包括HBase，Hive等，是一個非常完善的開源平臺。

第三，最上層是vCirrus云計算管理平臺

主要是基于SpringSource開發平臺，提供Hadoop平臺的配置工具和管理工具，為Hadoop集群的維護和管理工作提供了一個可視化和方便的手段。

應用場景

該項目雖然是從云計算教學背景提出的，但是項目的應用場景顯然不局限在教學環境的搭建上面，“vCirrus云計算管理平臺”其他應用場景包括：

圖3 vCirrus云計算管理平臺

(1) 云計算的教學平臺的搭建

可以提供一個非常方便的手段為云計算課程搭建一個云計算環境，方便教師和學生進行云計算技術的學習。

(2) 云計算的實驗環境搭建

目前關于云計算方面的研究是國內外的熱點，利用“vCirrus云計算管理平臺”搭建云計算平臺研究各種算法，理論，以及分析各種現有云計算系統相關問題將是非常好的一個手段。

(3) 實際云計算環境的搭建

該方案可以用于不同異構的軟硬件環境中，利用虛擬機的優勢可以將一個組織的軟硬件資源更加充分有效的利用。因此，該方案也可以用于企業或組織進行內部的云計算環境的搭建。