數據中心服務器虛擬化平臺擴容實踐

張 穎，林 洋

(四川省地震局，四川 成都 610041)

四川省地震局依托汶川8.0級特大地震災后恢復重建項目，基于VMware虛擬化軟件搭建了服務器虛擬化平臺(林洋和張穎，2015)，整合了信息、應急、GPS、市縣綜合服務等業務系統。目前運行的虛擬機共計169臺，服務器虛擬化程度達90%，極大地提升了應用部署、服務上線效率；顯著提高了應用系統的可靠性和故障恢復速度；實現了業務系統的快速遷移和備份功能。隨著業務需求的不斷增加，各業務系統的服務功能不斷升級、服務范圍進一步擴大，對服務器虛擬化平臺的計算資源、存儲資源均提出了更大的需求，虛擬化平臺的資源已經接近飽和狀態。為保證虛擬化平臺的穩定運行，持續為各業務系統提供可靠支撐，對虛擬化平臺的計算資源和存儲資源進行了擴容。

1 虛擬化平臺擴容

1.1 虛擬化平臺架構

數據中心虛擬化平臺擴容沿用之前的系統架構，由承載虛擬機的宿主機、磁盤陣列、管理服務器、管理終端、網絡設備等構成，擴容增加宿主機、磁盤陣列、管理服務器、遷移服務器。宿主機通過SAN網絡連接磁盤陣列，通過IP網絡進行管理、提供網絡連接及服務。虛擬化平臺架構如圖1所示。

圖1 虛擬化平臺架構

虛擬化軟件依然選用了VMware，原虛擬化平臺采用的是VMware vSphere 4.1，與原宿主機的CPU版本具有良好的兼容性，在6年的連續運行中未出現任何軟故障，但在管理功能及支持的虛擬機硬件版本上與新版本存在較大的差距。綜合考慮不同版本軟硬件兼容性、運行的穩定性、管理的便捷性及應用需求等多種因素，最后采用最新版本VMware vSphere 6.0搭建了新的虛擬化計算資源池，新資源池的多臺主機通過FC SAN(光纖存儲網)與原資源池共享磁盤存儲空間，通過主機的網絡接口接入與原資源池相同的三個業務網段。計劃兩個資源池并行運行一段時間，隨著原資源池的宿主機逐漸淘汰，新資源池宿主機不斷增加，最終整合成一個資源池運行。因VMware vSphere 4.1與VMware vSphere 6.0的軟件版本跨度過大，不能采用同一管理服務器進行管理，新增管理服務器部署vCenter Server 6.0，管理員需通過終端部署的vSphere Client 4.1及vSphere Client 6.0分別對虛擬化平臺兩個資源池進行管理，并通過部署遷移服務器，實現虛擬化資源池間的虛擬機遷移。

1.2 設備配置

數據中心虛擬化平臺主要設備及配置如表1所示。

表1 主要設備及配置

1.3 擴容流程

虛擬化平臺擴容主要包括資源規劃、新計算資源池搭建、應用遷移三個重要階段，虛擬化平臺擴容流程如圖2所示。

圖2 虛擬化平臺擴容流程

1.3.1 資源規劃

資源規劃是虛擬化平臺擴容的重要步驟之一，做好資源規劃才能有條不紊地進行后續步驟，主要包括設備安裝位置規劃、存儲規劃、網絡規劃、SAN網絡規劃、虛擬機資源規劃等。存儲規劃:服務器本地存儲，做RAID5，用于安裝ESXi；磁盤陣列，用于存放鏡像、模板、虛擬機及備份。網絡規劃:每臺服務器作為宿主機連接到四臺不同VLAN的交換機，其中VLAN101、VLAN102和VLAN103用于虛擬機的網絡接入和服務，VLAN100用于虛擬化平臺的管理。每臺宿主機采用2個物理網卡連接同一個VLAN，起到網絡流量分擔和線路備份的作用。規劃好宿主機物理網口及以太網交換機接口之間的對應連接關系，并分配管理IP。SAN網絡規劃: 每臺宿主機分別連接兩臺SAN交換機，保證設備冗余、鏈路冗余，定義好宿主機物理光口及SAN交換機接口之間的對應連接關系。虛擬機資源規劃：綜合考慮當前應用服務處于高峰時段的CPU、內存、磁盤使用情況，預估應用將增加的資源需求量，尤其是對磁盤空間的需求以及應用系統計劃升級所需的資源，做好資源的合理分配和預留。虛擬化平臺擴容組網及設備連接拓撲見圖3。

圖3 設備連接拓撲

1.3.2 新計算資源池搭建

新計算資源池搭建包括宿主機的安裝配置、 線纜連接、管理服務器安裝配置、配置數據中心及集群、網絡配置、SAN交換機及存儲配置等步驟。(1)宿主機的安裝配置。根據資源規劃，將服務器按照規劃位置進行上架，加電。將每臺服務器本地磁盤做RAID5，以降低因磁盤故障導致的宿主機故障，安裝虛擬化軟件vSphere Client 6.0 server，并對主機名、IP、DNS與密碼等進行必要的配置以滿足實際需求。(2)連接線纜。根據資源規劃中對以太網絡及光纖網絡以及接口的規劃，進行線纜的連接，包括服務器到各業務網段交換機的網絡連接，以及服務器到光纖交換機之間的SAN網絡連接。按規范進行電源線、網線、光纖跳線等標注，在不影響線纜工作狀態與性能的前提下做到整潔與美觀。(3)管理服務器安裝配置。安裝vCenter服務器操作系統suse 11(64位)，配置vCenter數據庫，部署vCenter server管理軟件。(4)配置數據中心及集群。通過vSphere Client連接vCenter server，建立數據中心，創建并配置集群，設置HA、DRS、DPM、EVC等參數；連接主機，將主機添加到適當的集群，并根據規劃配置主機的網絡、NTP等參數；根據業務需求等建立適當的業務資源池，配置資源保留與限額等。(5)網絡配置。通過vSphere Client連接vCenter server，配置每臺主機的管理網絡和業務網絡，創建VMkernel 網絡用于VMware Vmotion，創建Management Network，用于主機管理，分別建立vSphere Distributed Switch對應不同的vlan，并定義相應的網卡適配器。(6)SAN交換機及存儲配置。分別配置兩臺SAN交換機，將每一臺新增服務器與磁盤陣列在SAN交換機上的接口配置成一個zone，完成5個zone的創建后將其全部加入同一個zoneset，最后激活zoneset生效，完成新增服務器到磁盤陣列的連接。

根據資源規劃，對存儲進行LUN劃分，定義新增主機組并映射。通過vSphere Client連接vCenter server，在其中一臺主機上添加存儲器，將從磁盤陣列映射的存儲LUN添加給服務器并進行掛載、命名，添加完成后新建的數據存儲會自動添加到集群內的所有主機。因VMware ESX Server 6.0支持的最大LUN已達62 TB，較VMware ESX Server 4.1支持最大LUN 2 TB已有極大的提高，為新虛擬化平臺在磁盤的分配及使用上提供了更大的便利，也在一定程度上降低了磁盤碎片產生，提高了利用率。

1.3.3 虛擬機跨資源池遷移

由于兩個計算資源池采用的虛擬化軟件VMware ESX Server 6.0和VMware ESX Server 4.1存在較大的版本跨度，資源池之間無法直接跨平臺管理，在此利用配有FC HBA卡的服務器通過安裝ESXi6.0虛擬化軟件、接入共享磁盤陣列，搭建了遷移服務器。通過遷移服務器將原計算資源池的業務系統遷移到新資源池中運行，解決了虛擬機及模板跨資源池遷移問題，為之后虛擬化平臺間的平滑過渡提供了解決方案。具體的實現方法如下：(1)將配有FC HBA卡的服務器安裝EXSi6.0虛擬化軟件，作為遷移服務器，通過SAN網絡連接磁盤陣列。管理新資源池的數據中心，新建一個集群vCluster-Transport，添加遷移服務器。(2)配置磁盤陣列的映射主機組，將新部署的遷移服務器添加至ESXi4.1的主機組中。重新劃分一個臨時中轉LUN，LUN空間需滿足待遷移虛擬機的磁盤空間需求，將LUN映射給VMware ESXi4.1主機組，并通過在ESXi4.1的主機上創建中轉存儲LUN,使遷移服務器和原資源池都能看到此中轉LUN。(3)在原資源池中，使用VMware Storage VMotion功能將需要遷移的虛擬機及模板從原數據存儲克隆或者遷移到中轉存儲LUN上，完成后關閉需要遷移的虛擬機并從清單中移除。(4)在新資源池中，使用VMware Storeage VMotion功能將需要遷移的虛擬機從中轉LUN克隆或者遷移到新資源池的數據存儲上。將發生遷移的虛擬機從新資源池的數據存儲中找出并添加到清單并啟動運行，完成遷移。

2 應用經驗

2.1 應用規劃

服務器虛擬化平臺擴容是虛擬化平臺運維的重要內容，擴容方案既要滿足當前及未來幾年業務系統的運行需求，也要兼顧平臺進一步擴展的可行性。并非所有的應用都適合被虛擬化，在虛擬化之前需要做好規劃，哪些應用適合被虛擬化，哪些不適合。不適合被虛擬化的應用包含：附加有特殊硬件才能運行的應用，對內存、CPU、磁盤空間有極高要求的應用，極重要但未在虛擬化平臺上成功測試的應用，對時間同步有高精準度要求的應用，存在涉密或敏感數據的高安全級應用等。

2.2 遷移

已經陳舊且混亂無序的應用，如果通過P2V直接遷移至虛擬機的話，很容易造成未來更多兼容性上的問題，所以最好還是全新安裝虛擬機系統(楊帆，2015)。無論是P2V遷移還是從原虛擬化平臺遷移至新平臺，發生遷移后，一定要保留原應用版本并行運行一段時間，確認沒有任何問題后再清除原應用版本；如果是極其重要的應用，建議保留原應用版本作為備用，一旦出現故障，方便切換恢復。

2.3 資源規劃

雖然虛擬化給資源增減提供了便利，但如果管理員毫無規劃地進行空間的分配會導致物理磁盤產生大量的磁盤碎片。如果沒有做好資源管理和規劃，供需就會失衡，導致資源浪費或資源不夠用，直接影響虛擬化平臺上虛擬機應用的運行效果及正常擴容需求，做好資源規劃可以避免成本浪費、更好地保障虛擬化平臺及虛擬機應用穩定運行。

2.4 虛擬機的生命周期管理

隨著虛擬化程度的進一步提高，業務應用對虛擬化平臺的依賴程度進一步加強，虛擬化平臺起到了越來越重要的信息支撐平臺作用，因此更要重視和加強日常的監控和運維管理。虛擬化平臺管理員應做好虛擬機整個生命周期的管理，即從虛擬機的創建、資源擴容、配置修改、應用下線后移除等。加強管理有助于資源的合理利用，對分配的過剩資源及時回收，對資源不足的虛擬機及時增加資源，為各應用系統提供更穩定的平臺。

3 結語

通過對虛擬化平臺的計算資源及存儲資源進行擴容，將CPU核心數由原來的192顆擴展至432顆，內存由原來的256 GB擴展至1536 GB，存儲由原來的80 TB擴展至160 TB，解決了擴容前出現的內存瓶頸、存儲容量無法滿足業務系統擴容需求以及因資源不足造成的可靠性降低等問題。擴容后對業務系統在虛擬化平臺上的分布做了進一步的優化，實現了在任意兩臺物理主機出現宕機的情況下，平臺上的業務系統不受影響，仍然可以正常運行。虛擬化平臺的擴容進一步提高了平臺的服務能力及穩定性，為各業務系統的安全可靠運行、功能升級和新業務上線提供了有力保障。