Internet數據中心工作負載分配機制研究

郭澤華，段哲民

(西北工業大學電子信息學院，西安 710 072)

郭澤華，段哲民

(西北工業大學電子信息學院，西安 710 072)

當前的工作負載機制只考慮數據中心的部分因素，不能從整體上降低分布式數據中心的總體電力成本。為此，以減少分布式Internet數據中心的電力成本為目標，提出一種數據中心間和數據中心內的智能工作負載分配機制JECF。通過聯合考慮數據中心所在地區的時變電價、數據中心內冷卻系統的效率和服務器的動態運行頻率，JECF對分布式數據中心中運行服務器和冷卻系統的電力成本進行折中，以降低整體電力成本。實驗結果表明，與當前的數據中心工作負載分配機制相比，JECF的性能更好，能降低分布式Internet數據中心的電力成本。

Internet數據中心；工作負載分配；電力成本；電價；冷卻系統效率；動態頻率調節

1 概述

為了提供高質量、低延遲的Internet服務，Amazon、Google、Microsoft、Facebook等云服務提供商分別建立了各自的分布式Internet數據中心。通常來說，一個數據中心運行成本的30%～50%來自于電力消耗[1]。為了降低分布式數據中心的電力成本，如何合理地分配數據中心的工作負載成為了學術界和工業界一個熱點問題[2-3]。數據中心工作負載分配[4-5]是負載均衡在數據中心中的應用，它根據每個數據中心當前的狀態，動態地將云服務提供商收到的服務請求分配到特定數據中心的特定服務器來進行處理。工作負載分配的結果直接影響了數據中心電力成本。然而，當前的工作負載分配機制[6-7]只考慮了數據中心的部分因素，忽略了這些因素之間的相互影響，從而不能從整體上降低分布式數據中心的總體電力成本。本文提出了一種降低分布式數據中心總體電力成本的新型工作負載分配機制JECF (Joint Electricity Price-aware, Cooling Efficiency-aware, and Dynamic Frequency Scaling-aware Datacenter Load Balancing)。JECF聯合考慮了數據中心間電價和服務器動態頻率變化對運行服務器電力成本的影響，以及數據中心內部工作負載分配對冷卻系統電力成本的影響。

2 分布式數據中心的電力成本模型和約束條件

2.1 分布式數據中心的電力成本模型

2.1.1 運行服務器的電力成本模型

假定一個云服務提供商擁有N個數據中心，數據中心i(1≤i≤N)在t時刻的電價為Pri( t)( t＞0)，數據中心i中每個服務器采用相同的服務器和配置，其中，運行服務器數量為mi，每個運行服務器具有相同的運行頻率。因此，一臺運行服務器的功率Poi可由服務器的CPU運行頻率fi近似得到：

其中，Ai和Bi是正常數[8]。

因此，N個分布式數據中心運行服務器的電力成本(Electricity Cost of Active Servers, ECAS)為：

2.1.2 冷卻系統的電力成本模型

圖1描述了采用機房空調(Computer Ro om A ir Co nditioner, CRAC)的數據中心冷卻系統[9]。CRAC吸入由運行服務器產生的熱空氣，并將其產生的冷空氣通過屋內地面上的通風口送入屋中。數據中心中冷卻系統的效率通過CRAC設備的性能系數(Coefficient of Performance, COP)來描述。冷卻系統的功耗為運行服務器功耗/COP[10]。如圖2所示，COP是以CRAC輸出溫度為參數的一個增函數[10-11]。假定在一段時間內數據中心i外部周圍環境不變。為了保證數據中心i所在屋內的溫度不超過最高安全溫度TMAX，CRAC將溫度為Tout的冷空氣送入屋內。然而屋內溫度受到運行服務器溫度Tiserver的影響，Tiserver隨著處理工作負載數量及分布的變化而變化。為了保證屋內溫度不超過最高安全溫度，調整后CRAC新的輸出溫度為：

圖1 CRAC的數據中心冷卻系統

圖2 CRAC的COP曲線

利用文獻[10]中COP函數的表達式，得到：

圖3 冷區和溫區的溫度曲線

在數據中心i中，TMAX和Tout通常是確定不變的。對于一個給定的工作負載，可以通過合理地將服務請求分配到3個區域的服務器來減小3個區域的溫度差值，進而減小Tiserver，增大COP。

N個分布式數據中心的冷卻系統電力成本(Electricity Cost of Cooling Systems, ECCS)為：

2.1.3 分布式數據中心的整體電力成本模型

分布式數據中心的整體電力成本(Electricity Cost, EC)為：

2.2 分布式數據中心的QoS約束條件

假定一個云服務提供商在一個時間間隔內共收到數量為λ的服務請求，按照特定的工作負載分配機制，數據中心i分配到數量為λi的服務請求。數據中心i中服務器每秒運行的命令數為fi，處理每個用戶請求所需的命令數為L，因此，服務器每秒處理的用戶請求數量，即服務速率可以表示為fi/L。本文采用與文獻[6]中相似的時延模型，且平均時延di不超過時延上限Di。因此，得到QoS約束條件如下：

3 問題形成和解決

3.1 非線性約束條件和目標函數的轉化

為了解決一個復雜的優化問題，常用的方法是將其轉換為一類標準問題(例如凸優化問題)，而后利用現有優化問題的解決方案來求解這類標準問題。本文中問題的復雜度主要來自于非線性約束條件Tiserver(式(5))和非線性目標函數EC(式(8))。為了解決本文中的問題，應該將Tiserver轉化為線性約束條件，將EC轉化為凸函數，而后利用已有的解決方案來求解凸優化問題。

? mi, j為參數的非線性函數)。可以通過簡化EC的分母進而將EC轉化為與mi, j直接相關的函數。將3個以區域負載為參數的線性分段區域溫度曲線合并為如圖4所示的以整體數據中心負載為參數的一個整體數據中心溫度曲線。為了適應潛在的工作負載峰值，為每個數據中心預留了10%的處理余量[8]。將數據中心i的溫度曲線代入COP函數，再取COP的倒數即得到圖5中鉆石線所描述的1COPi曲線。1COPi是一個以數據中心整體負載為參數的非線性函數。為了簡化1COPi，采用一維線性回歸的方法將原始的1COPi轉換為圖5中三角線所描述的K個線性分段函數因此，得到：

圖4 數據中心的溫度曲線

圖5 數據中心的1/COP曲線和g(mp)曲線ki

因此，得到一個簡化的EC：

3.2 分布式數據中心最小電力成本問題

分布式數據中心最小電力成本問題定義如下：在一個時間間隔內，對于給定數量為λ的服務請求，利用工作負載分配機制使得數據中心i(1≤i≤N)中j(j=1,2,3)區開啟數量為mi, j的服務器來處理數據中心i被分配到數量為λi服務請求，從而最小化分布式數據中心的電力成本。首先，通過解決優化問題P1可以得到mi，而后將mi代入相應公式可以得到最終的mi, j。優化問題P1如下：

3.3 分布式數據中心最小電力成本問題的解決方案

分布式數據中心最小電力成本問題的解決方案稱為JECF，其包含2步：(1)計算mi；(2)計算mi, j。在第(1)步中，通過2個子步驟來獲得mi，iλ和fi。首先通過求解優化問題P1得到問題的小數解。在P1中，變量mi，iλ和fi是整數，目標函數newEC是非線性函數，所以，P1是一個非線性整數規劃問題(Nonlinear Integer Programming, NIP)。由于new

圖6 JE CF求解流程

4 機制評估

4.1 對比機制

本節描述了用于與JECF對比的數據中心負載分配機制。

(1)感知電價和感知服務器動態頻率的聯合數據中心負載均衡(Jointly Electricity price-aware and dynamic Frequency scaling-aware datacenter load balancing, JEF)[13]：JEF聯合考慮數據中心所在地的電價和服務器的運行頻率來確定每個數據中心所需要承擔的服務請求數量，以及每個數據中心中運行服務器的數量和服務器的運行頻率，從而降低運行服務器的電力成本。

(2)感知冷卻的數據中心內負載均衡電價(Coolingaware IntrA datacenter load balancing, CIA)[5-7]：CIA考慮了數據中心內不同位置的服務器所對應的冷卻效率，通過將服務請求分配到具有較高冷卻效率的服務器處理，進而降低冷卻系統的電力成本。

(3)JEF+CIA：JEF+CIA通過2個步驟來優化數據中心的電力成本。1)JEF確定每個數據中心所需要承擔的服務請求數量，以及每個數據中心中運行服務器的數量和服務器的運行頻率。2)CIA根據制冷效率確定每個數據中心中運行服務器的位置。由于此機制沒有聯合考慮影響數據中心電力成本的3個因素，因此不能實現電力成本的最小化。

(4)JECF：為了降低分布式數據中心的整體電力成本，JECF聯合考慮了影響電力成本的3個因素，即數據中心所在地區的時變電價、數據中心內冷卻系統的效率和服務器的運行頻率。根據服務請求數量和數據中心的狀態，JECF交替選擇對當前電力成本影響最大的因素，直接確定每個數據中心中運行服務器的數量、位置和運行頻率，對運行服務器和冷卻系統的電力成本進行了折中，從而降低了分布式數據中心的整體電力成本。

與JECF相比，由于JEF和CIA都是部分工作負載分配機制，因此使用隨機負載均衡機制來補充它們的其余部分。

4.2 評估設置

本文的機制評估主要針對請求-響應類型的Internet網絡服務，例如Google搜索和Bing搜索。在評測中，模擬了1個云服務提供商運行3個分布數據中心，數據中心1、數據中心2、數據中心3分別位于紐約州的長島、德克薩斯州的休斯敦和喬治亞州的亞特蘭大。長島和休斯敦位于電力批發市場(electricity wholesale market)地區，電價根據電網條件的變化進行波動。亞特蘭大處于電力穩定市場(regulated utility market)，電價在一段時間(例如3個月)內是固定不變的。3個數據中心的具體參數見表1[13]。在評測中，使用了圖1中所示的采用CRAC的數據中心冷卻系統。每個數據中心有4個CRAC單元，每個CRAC單元將15°C冷空氣通過屋內地面上的通風口送入屋中。為了防止房間溫度超過安全閾值溫度30°C，CRAC單元動態地調整其冷卻效率。通過匹配文獻[5-11]中均勻負載分布下數據中心的溫度資料，驗證了本文模型中的冷卻系統模型。

表1 數據中心參數

在2種特殊情況下分別對比了JECF和3個現有機制。與相關研究[6]類似，服務請求每秒收集一次。在情況1中，3個數據中心收到的服務請求總量實時變化，但3個數據中心的電價分別固定在Pr1( t)=42.93$/MWh、Pr2( t)= 20.27 $/MWh和Pr3( t)=55.3 $/MWh。在情況2中，服務請求數量固定在3個數據中心服務請求總量的40%，但是3個數據中心的電價根據它們所在的電力市場變化，其中，喬治亞州亞特蘭大地區的電價保持不變，而紐約州長島和德克薩斯州休斯敦地區的電價可以分別從NYISO[14]和ERCOT[15]獲得。為每個數據中心預留了10%的處理余量以適應潛在的工作負載峰值，因此，3個數據中心服務請求不超過服務請求總量的90%[8]。為了提高實驗的精度，將所有機制均運行100次以收集其統計特性。

4.3 評估結果

4.3.1 情況1

圖7描述了4種機制在各種整體負載下數據中心的整體電力成本。在所有的負載情況下，JECF比JEF、CIA和JEF+CIA的性能都要好。圖8分析了3種典型數據中心負載下4種機制的電力成本組成。正如4.1節分析的那樣，由于聯合考慮影響電力成本的3種因素，JECF的運行服務器電力成本較高，但其減少了更多的冷卻系統電力成本，從而實現了分布式數據中心的整體電力成本最小化。

圖7 情況1下3個數據中心在各種整體負載下的整體電力成本

圖8 情況1下3個數據中心在3種整體負載下的電力成本組成

4.3.2 情況2

由于不同區域電力機制的差異，亞特蘭大地區采用固定電價，而長島和休斯頓采用以小時為單位的變化電價。圖9顯示了2012年12月14日以上三地的電價。很明顯，長島和休斯敦兩地電價大幅度變化。因此，根據數據中心所在地電價來分配服務請求，可以減少數據中心的電力成本。圖10顯示了4種機制在實時電價下的電力成本。與其他機制相比，JECF隨著電價的變化產生了較小幅度的變化，性能最好。

圖9 2012年12月14日3個數據中心的每小時電價

圖10 情況2下3個數據中心在不同時刻的整體電力成本

5 結束語

本文提出了一種數據中心間和數據中心內的智能工作負載分配機制JECF。JECF聯合考慮時變的電價、運行服務器的頻率和冷卻系統的效率這3個因素，動態地分配服務請求到數據中心的運行服務器，從而實現了分布式數據中心電力成本的最小化。實驗結果表明，JECF比當前的數據中心工作負載分配機制性能更好，大幅度降低了分布式數據中心的電力成本。

[1] Barroso L, Holzle U. The Datacenter As a Computer: An Introduction to the Design of Warehouse-scale Machines[J]. Synthesis Lectur es on Comput er Arc hitecture, 2 009, 4(1): 10-18.

[2] 張 偉, 宋 瑩, 阮 利, 等. 面向Internet數據中心的資源管理[J]. 軟件學報, 2012, 23(2): 179-199.

[3] 錢瓊芬, 李春林, 張小慶, 等, 云數據中心虛擬資源管理研究綜述[J]. 計算機應用研究, 2012, 29(7): 2411-2415.

[4] Qureshi A, W eber R, Balakrishnan H, et al. Cutting the Electric B ill for Internet-scale Systems[J]. SIG COMM Computer Communication Review, 2009, 39(1): 123-134.

[5] Bash C, Forman G. Cool Job Allocation: Measuring the PowerSavings of Placi ng Jobs at Cooling-efficient Locations in the Data Center[C]//Proc. of USENIX Annual Technical Conference. Santa Clara, USA: [s. n.], 2007: 1-6.

[6] Lei Rao, Liu Xue, Xie Le, et al. Minimizing Electricity Cost: Optimization of D istributed Internet D ata Centers in a Multielectricity Marke t Environmen t[C]//Proc. of INFOC OM’10. San Diego, USA: [s. n.], 2010: 1-9.

[7] Sharma R, Bash C, Patel C, et al. Balance of Power: Dynamic Thermal Management for Internet Data Centers[J]. IEEE Internet Computing, 2005, 9(1): 42-49.

[8] Li Jie, Li Zuyi, Ren K ui, et al. Towards O ptimal Electric Demand Management for Internet Data Centers[J]. IEEE Transactions on Smart Grid, 2012, 3(1): 183-192.

[9] Ahmad F, Vij aykumar T. Joint Optimization of Idle and Cooling Power in Data Centers While Maintaining Response Time[J]. ACM Sigplan Notices, 2010, 45(3): 243-256.

[10] Moore J, Chase J, Ra nganathan P, et al. Making Scheduling “Cool”: Temperature-aware Workload Placement in Data Centers[C]//Proc. of US ENIX Annual Technical Conference. Anaheim, USA: [s. n.], 2005: 1-14.

[11] Stanford University. Minos 5.5 User’S Guide Technical Report SOL 83-20r[EB/OL]. (1998-03-13). http://www.stanford.edu/ group/SOL/guides/minos55.pdf.

[12] Google. Data Center Location[EB/OL]. [2012-12-14]. http:// www.google.com/about/datacenters/inside/locations/index.html.

[13] Lei Rao, Liu Xue, Ilic M, et al. M EC-IDC: Joint Load Balancing and Pow er Control for D istributed Inte rnet D ata Centers[C]//Proc. of I CCPS’10. [S. l.]: ACM Pre ss, 201 0: 188-197.

[14] NYISO. Hourly Electricity Price[E B/OL]. [2012-12-1 4]. http://www.nyiso.com.

[15] ERCOT. Hourly Electricity Price[E B/OL]. [201 2-12-14]. http://www.ercot.com.

編輯 任吉慧

數據中心工作負載分配機制研究

Research on Workload Dispatching Mechanism for Internet Datacenters

GUO Ze-hua, DUAN Zhe-min

(School of Electronics and Information, Northwestern Polytechnical University, Xi’an 710072, China)

Cutting the electricity cost of geographically distributed data centers is a hot topi c in th e area of cloud computer. Each of current workload dispatching mechanism only considers one factor that impacts the electricity cost of geographically distributed datacenters and thus cannot achieve the global minimizat ion. This pa per pro poses a smart workload dispatching mechanism, Joint Electricity Price-aware, Cooling Efficiency-aware, and Dynamic Frequency Scaling-aware Datacenter Load Balancing(JECF), to cut the electricity cost of distributed Internet datacenters. JECF jointly considers the time-variant electricity prices among datacenters, the efficiency of the cooling system, and the dynamic frequency of active servers in each datacenter, and thus, reduces the total electricity cost of distributed datacenters by trading off the electricity cost consumed by active servers and cooling systems. The evaluation results show JECF outperforms existing datacenter workload dispatching mechanism and achieves significant reduction on the electricity cost of distributed Internet datacenters.

Internet datacenter; workload dispatching; electricity cost; electricity price; efficiency of cooling system; dynamic frequency scaling

10.3969/j.issn.1000-3428.2014.05.058

郭澤華(1985－)，男，博士研究生，主研方向：云計算，數據中心網絡，軟件定義網絡；段哲民，教授、博士生導師。

2014-02-10

2014-03-07E-mail：guolizihao@hotmail.com

1000-3428(2014)05-0279-06

A

TP311.12