面向數據中心的能源效率和服務器虛擬化

文/何花 楊段生

圖1：實驗設置

隨著云計算的加速技術，數據中心在云計算中扮演了一個中樞角色，并且消耗了大量的電能。如何解決電力消費已經成為未來數據中心面臨的主要挑戰之一。最近，服務器整合被吹捧為提高數據中心能源效率的有效途徑。在這種方法中，運行在多個服務器上的應用程序可以通過虛擬化合并到一個服務器中。因此，數據中心的空閑服務器可以被關閉以減少服務器虛擬化的能源使用。并且已經證明，通過虛擬化優化數據中心操作，可以節省數據中心20%的能耗。然而，虛擬化還會導致潛在的危險效應，比如可能的能源開銷，或者可能減少最大吞吐量。這些有害的影響，如果不是很好理解的話，可能會抵消服務器虛擬化帶來的好處。因此，對數據中心服務器能量使用的清晰理解和精確建模將為數據中心的操作優化提供基本依據。

在本文中，研究了服務器虛擬化對數據中心能源使用的影響，目的是為優化數據中心操作提供見解。采用了一種經驗方法來度量不同虛擬化配置下的服務器所消耗的能量，包括一個基準案例和兩個替代的管理程序(即Xen和KVM，其中物理服務器被虛擬化為多個虛擬機(VMs)。在獲得了CPU使用率、任務執行時間、電力和能源消耗的統計數據后，在本地計算出密集型任務和網絡密集流量下，對應于云計算和數據中心的兩個重要資源、計算和網絡。

1 服務器虛擬化模型

1.1 虛擬化模型概述

虛擬機監控程序，也指虛擬機管理器(VMM)，它是允許多個操作系統(OSs)同時在一臺服務器上運行的虛擬化技術之一。現有的管理程序基于它們與硬件平臺的關系，可以分為兩種類型。具體來說，Xen是一個type-1管理程序，它直接與底層硬件接口，并使用一個特權域0來管理其他內核修改的客戶機。KVM被設計為一個type-2管理程序，其中虛擬化接口與實際物理硬件的作用相同。

1.2 虛擬I/O機制

Xen公開了一個超調用機制(也稱為半虛擬化接口)，所有用戶操作系統都必須被修改以執行特權操作(例如，更新頁表)。此外，還建議事件通知機制提供從實際設備中斷到VMs的虛擬中斷。相反，KVM通常使用完全虛擬化。在KVM之上的客戶OSs不需要改變，它們看起來是正常的Linux進程。當用戶OSs發出I/O指令時，系統管理程序中的進程上下文切換可以允許I/O信號通過。

Xen和KVM的虛擬化I/O機制的差異直接影響了虛擬服務器的能源消耗。Xen允許客戶在不調用主機OS的內核的情況下進行系統調用，而KVM則需要額外的內核操作來支持I/O行為。額外的操作可能會轉化為額外的CPU周期和內存訪問，這將進一步導致額外的能源使用。

1.3 虛擬CPU模型

Xen中的默認CPU調度器是基于信用的調度器。這個調度程序運行在主機上的一個獨立的會計線程上，為每個虛擬CPU(VCPU)分配一定的信用。當一個VCPU運行時，它會消耗它的信用。一旦VCPU耗盡了信用，它只在其他更節約的VCPU完成執行時運行。

KVM使用常規的Linux CPU和內存調度器。默認情況下，KVM使用完全公平的調度器(CFS)來將每個客戶視為正常的線程。在KVM上運行的每個任務都有一個優先級，這決定了CPU周期和內存分配的大小。

盡管有不同的機制，但這兩個CPU調度程序的目標是平衡多核上的全局負載，以達到更好的分配，這將得到我們的驗證。

2 實驗設備

2.1 物理設置

圖1展示了我們實驗的物理設置，該實驗由三個相同的服務器組成。正在測試的機器是浪潮3060服務器，每個服務器包含一個四核Intel 2.13 GHz英特爾至強處理器，2GB內存，500gb硬盤和1千兆以太網卡。所有這些都連接到友訊gds-1024t 1000 Base-T開關試驗網。Kill-A-Watt功率表，標準精度為0.2%，用于測量每個服務器的能源使用情況。使用Linux內核2.6.18的CentOS 5.6-final-x86 64被用作主機和客戶系統的操作系統平臺。Xen 3.0.3和KVM 83分別安裝在服務器B和C上。3個客戶虛擬機配置4個VCPUs、512mb RAM和50gb映像。我們保留了所有的軟件參數。

我們的實驗由另一臺計算機控制，它也與內部網相連，以獲得基準時間、能源和電能消耗。每個服務器負責收集其平均CPU使用量。

圖2：局部任務基準的相對能量開銷

圖3：網絡基準測試的相對能量開銷

圖4：完成時間曲線

圖5：能耗曲線

2.2 測試設計

我們從收集所有服務器空閑時的背景能耗開始。在此之后，一組本地和網絡的連接被啟動，以強調所有的三個服務器。詳細的測試用例說明如下：

（1）本地計算基準：Linux中的bc命令用于計算常量π到精確的水平(小數點后10萬位數)。我們同時運行多個實例來生成計算密集型負載。5個案例的數據數量從3個到7個，測試了2個或3個活動域。在物理機器上，所有實例都是在相同的操作系統上執行的，而在虛擬服務器上，并發實例分布在所有活動域上。

（2）Http請求基準：通過Http請求模擬網絡密集型的流量基準。

在服務器端，測試的所有服務器上配置了三個Apache服務器。在物理上，三個HTTP服務器在三個TCP端口上執行連接隔離。對于虛擬機，三個實例在所有活躍的客戶域上均勻分布，用于2或3個活動域。使用相同的TCP端口進行公平的比較。在HTTP服務器上存儲的內容是從商業web站點檢索的1000個唯一文件，平均文件大小為10.8 KB。

在客戶端，我們使用AB(Apache Bench)工具模擬真實的Web流量。配置了三個客戶端來生成特定速率的http GET請求，每個請求都將使用一個Apache服務器實例。每個客戶機向每個文件發送5000個請求。在這個測試概要文件中，傳輸的數據的總體大小可以達到大約150 GB。

我們的實驗產生了各種請求率，將能量使用作為工作負載的函數。具體來說，有2500、5000、10000、15000個請求/秒被用來模擬低、中等、高和峰值的Web流量負載，這是由真正的商業Web服務器的工作負載提出的

3 實驗分析

3.1 局部計算基準

（1）虛擬服務器比物理服務器消耗更少的能量。具體來說，當執行5個實例時(實例中比CPU核心的數量多一個)，基于Xen的服務器的能量開銷為負，如圖2所示。

圖2可以理解為在多核服務器中并發進程和CPU核心之間的相互作用。在這種情況下，基于Xen的服務器，運行2個或3個VMs，消耗的時間比物理服務器少10%，消耗的能量也少了11%。對于基于KVM的服務器，在大多數情況下，CPU調度器的優點被額外的系統管理程序所抵消，除了在配置了兩個活躍的VMs之外，導致節省了比物理服務器的2%的能量。這一發現表明，如果運行過程和cpu核心之間沒有綁定，本地操作系統就不能真正利用多核架構;相比之下，基于Xen或KVM的虛擬化系統可以將計算資源劃分為更小的部分，從而在活躍的VMs之間實現更好的資源分配，以節省能源。

（2）基于KVM的服務器比Xen-base服務器消耗更多的能量。例如，在處理7個并行任務時，2個KVM虛擬機消耗的能量超過2個Xen VMs的5.4%，而3個KVM VMs和3個Xen VMs之間的差距達到了23%。這是因為KVM管理程序比Xen管理程序消耗更多的CPU周期，占用更高的內存占用空間。額外的需求轉化為更高的能源消耗。

（3）活動VMs的數量影響了基于KVM的服務器的能源使用情況。特別是在配置3個活躍的VMs時，基于KVM的服務器消耗的能量比在同一臺服務器上配置的兩個活躍的VMs消耗的能量要多。這可以歸因于頻繁的鎖持有者搶占(LHP)機制。當主機調度VCPU線程時，基于KVM的服務器上的客戶機VCPU可能被搶占。如果搶占的VCPU在關鍵部分運行，那么鎖將從客戶VMs的角度持有一定時間。在更活躍的VMs中，LHP的概率更高。一旦LHP發生，CPU資源就會被簡單地浪費在鎖定期間，而這反過來又會增加任務完成時間。因此，以KVM為基礎的服務器和3個活躍的VMs的平均功耗最低，但任務完成時間最長。

圖6：虛擬化能量開銷

3.2 HTTP請求的基準

在圖3中繪制了HTTP基準的結果。

（1）網絡密集型流量的虛擬化開銷比計算密集型流量要大得多。對于基于Xen的服務器，計算密集型流量的能量開銷小于5%，而網絡密集型流量的開銷可能上升到70%。同樣的情況也發生在基于KVM的服務器上。這一發現的原因至少有兩方面。首先，對于網絡流量，虛擬化服務器的CPU使用率要遠遠高于本地服務器；對于本地計算任務，所有服務器的CPU使用情況幾乎是相同的。這一差異表明，在KVM的Xen或TUN/TAP中，VFR/VIF的預算為CPU周期。其次，根據鎖持有優先權(LHP)的概率，虛擬服務器的I/O密集型工作負載的概率為39%。高頻率的LHP轉化為高能源成本。

（2）虛擬服務器的能量開銷與活躍的VMs的數量相關。對于3個活動的KVM VMs，能量開銷大約是兩個活躍的VMs的1.5倍；類似地，3個活躍的Xen VMs消耗了2個活躍的VMs的幾乎兩倍的開銷。此外，基于KVM的服務器的差距也越來越大。例如，在15000 請求次/秒的情況下，KVM的活動VMs和2個活動VMs之間的開銷差距超過80%；而Xen的約為20%。

（3）基于KVM的服務器的網絡吞吐量最大達到10000個請求次/秒和15000個請求次/秒。圖4和圖5使這個發現非常清楚。

當請求率為15000個請求次/秒時，基于kvm的服務器需要更長的時間來完成任務，因此消耗了更多的能量，相比之下，10000次的請求次/秒就需要消耗更多的能量。作為一種比較，物理機和基于Xen的服務器的任務完成時間和能源成本隨著請求率的增加到15000個請求次/秒而單調減少。由于KVM的額外內存占用。在Apache服務器中，每個服務請求都需要特定的內存。可以同時服務的請求的最大數量與可用資源的數量成比例。對于KVM來說，額外的內存占用會縮小請求服務可用內存的數量。

（4）與服務器空閑時所消耗的功率相比，服務器在不同負載條件下消耗的邊際功率是有限的。具體地說，服務器在不同的網絡請求級別下消耗的額外能量最多為37.3%，而本地計算基準的額外功耗為57.6%。此外，邊際功耗與所觀察到的CPU使用率高度相關。因此，我們的實驗驗證了服務器以前的功耗模型，在此模型中，服務器的功耗幾乎可以看作是CPU使用的一個affline函數，而空閑功耗為y軸截距。y軸截距要盡可能小，才能達到能量比例的結構。

（5）虛擬化服務器的能量開銷非常大。如圖6所示。

由一個多項式擬合線是彎曲的基于不同配置的功耗，權力差距基線和虛擬化服務器Xen和KVM增加隨著吞吐量的增加，在基于KVM的服務器的最大吞吐量。當沒有網絡流量時，Xen和基線之間的差距約為1%(0.8W)，而基于kvm的服務器和基線服務器之間的差距約為10%(6.9W)。當吞吐量增加到10000個請求次/秒時，Xen的差距為15.2%(10.8W)，KVM的差距為11.2%(7.9W)。

4 結論

本文對服務器虛擬化對能源效率的影響進行了實證研究。通過密集的測量，我們獲得了來自本地服務器的能源使用的統計數據，以及Xen和KVM的虛擬化服務器，以及基于我們的動機的一些發現。最后，我們揭示了虛擬服務器之間的基本平衡，這將決定如何設計和部署服務器整合來控制數據中心的能源使用。

參考文獻

[1]羅亮,吳文峻,張飛.面向云計算數據中心的能耗建模方法[J].軟件學報,2014,25(07):1371-1387.

[2]王德文,劉楊.一種電力云數據中心的任務調度策略[J].電力系統自動化,2014,38(08):61-66+97.

[3]劉德欣,閆永明,郭軍等.云環境下基于多目標決策的待整合服務器選擇方法研究[J].小型微型計算機系統,2016,37(04):699-704.

[4]李佟,葛敬國,鄂躍鵬等.基于標簽的POF網絡虛擬化技術研究[J].計算機應用研究,2017(03):1-10.

[5]孫超.服務器虛擬化技術的應用[J].電子技術與軟件工程,2017(10):31.

[6]史椸,馮雨聲,齊勇等.多用戶服務器程序自恢復系統[J].軟件學報,2015,26(08):1907-1924.

[7]吳迪,薛政,潘嶸.基于XEN云平臺的網絡安全實驗教學[J].實驗室研究與探索,2013,32(07):62-66.

[8]范偉,孔斌,張珠君等.KVM虛擬化動態遷移技術的安全防護模型[J].軟件學報,2016,27(06):1402-1416.

[9]黃秋蘭,李莎,程耀東等.高能物理計算環境中KVM虛擬機的性能優化與應用[J].計算機科學,2015,42(01):67-70.

[10]湯儒,李秦偉.Openstack云環境中KVM虛擬機性能分析[J].微型機與應用,2013,32(23):94-96+100.

[11]曾少寧,汪華斌,袁秀蓮等.應用虛擬化技術的計算機虛擬實驗平臺[J].科技通報,2013,29(02):203-205.

[12]魏小鋒,郭玉東,林鍵.基于MNT隨機化容器文件系統安全性加強技術[J].計算機工程與應用,2017(04):1-6.

[13]王艷,陳衛衛.基于Nginx替代Apache在高并發WEB負載均衡系統中的應用[J].電子測試,2015(06):88-92.