面向綠色數據中心的儲能系統：體系結構和管理方法

葉 冉 李 超 梁曉峣

（上海交通大學計算機科學與工程系 上海 200240）（lichao＠cs．sjtu．edu．cn）

面向綠色數據中心的儲能系統：體系結構和管理方法

葉 冉 李 超 梁曉峣

（上海交通大學計算機科學與工程系 上海 200240）（lichao＠cs．sjtu．edu．cn）

如今的數據中心嚴重受限于其功耗預算和碳排放配額．面對與日俱增的能耗開支和節能減排壓力，學術界和工業界不約而同地開始關注非傳統的綠色數據中心設計．最近，能源存儲設備（energy storage system，ESS）逐漸成為數據中心中一種新興的關鍵使能元件，它能夠極大提升數據中心的能效和可持續性．一方面，ESS使得數據中心可以通過削減由不規則負載帶來的短暫峰值功耗來降低運營成本；另一方面，它還能夠方便新能源在數據中心中的融合，從而極大降低對環境的不良影響．介紹ESS在新型數據中心設計中的系統結構，并重點分析了ESS在管理功耗尖峰和供電波動兩大方面發揮的重要作用．對比多項前沿研究并探討ESS的關鍵設計點如成本、能效、可靠性等，同時分析了ESS未來發展所面臨的其他機遇和挑戰．

儲能設備；綠色數據中心；新能源；峰值負載；功耗管理

云計算服務和大數據應用的推廣促進了數據中心的快速發展．一方面，數據中心服務器的各項配置不斷縱向提升（scale－up），使其單個節點的計算性能得以提高；另一方面，數據中心服務器的裝機容量呈現橫向擴張（scale－out）態勢，大規模服務器集群不斷涌現．然而，由于當今服務器的能效提升速度顯著低于期望值，強大運算能力的背后是快速攀升的電力需求［1］．在美國，2011年數據中心消耗的能源占其電網總量的2%［2］；同年，我國數據中心總耗電量達到700億千瓦時，占全國總耗電量的5%［3］．根據美國環境保護署的報告顯示，全球服務器的能源消耗預計每5年翻一番．到2020年，數據中心消耗的電力或將達到世界發電功率總和的8%［4］．

高能耗問題首先影響著數據中心的整體擁有成本（total cost of ownership，TCO）．數據中心的整體擁有成本包括初期資本投入（capital expenditure，CapEx）和后期運營費用（operating expenditure，OpEx）．傳統數據中心為滿足極端情況下峰值負載的需要，通常會以遠高于平均功耗需求的標準來配置供電傳輸設備，即“過供給”（over－provisioning）．由于數據中心通常情況下很少運行在峰值負荷［5］，過供給事實上造成了供電設備資源的浪費．考慮到供電設備成本大約在10～25美元每瓦特容量［6］，過供給會極大地增加數據中心的初期資本投入．在隨后的運營過程中，數據中心面臨的高額電費也不容忽視，據知名研究機構Gartner指出，數據中心電費可達到數據中心整體擁有成本的12%～19%［7－8］，僅次于服務器和供電制冷設備的資本投入．以上海超算中心為例，其一年的電費成本可超400萬元［9］．除去電能費用，大型工業用電客戶還面臨一項功耗需求費（demand charge）．以美國東南部為例，該費用一般在10～20美元每千瓦不等．對于一個平均利用率僅30%左右的兆瓦級數據中心而言，運營商不得不每年額外支付數十萬美元．

此外，數據中心龐大的能耗需求所引發的間接污染也開始為人詬病．公用電網發電主要依賴化石燃料，如煤．伴隨化石燃料的燃燒是大量溫室氣體的排放．因此，基于傳統電網供電的數據中心設計不可避免地導致了碳排放增加．據知名研究機構Gartner調查，IT行業目前的二氧化碳排放量約為3 500萬噸，占全球總排放量的2%［10］．數據中心是IT行業碳排放的大戶，僅美國數據中心的二氧化碳年排放量就超過了荷蘭全國的二氧化碳年排放量［11］．伴隨著數據中心的擴張，其對生態環境的壓力與日俱增．

面對全球對發展經濟環保型信息技術的迫切需求，“綠色數據中心”作為一種新型數據中心設計模式開始受到人們的關注．一方面，該模式注重提升基礎設施（主要包括IT設備和供電設備）的利用率以最大化經濟效益；另一方面，綠色數據中心強調通過融合計算機系統和新能源系統（如風能、太陽能、生物質能等）來緩解能源危機和實現綠色低碳．近年來，許多知名公司如微軟、IBM、Google和Apple等都開始把探索綠色數據中心作為企業的一項長期戰略目標，并積極嘗試把相關技術用于實踐．

在設計綠色數據中心過程中，儲能系統（energy storage system，ESS）的重要性不容忽視．在過去幾十年中，儲能系統一般以中央式非間斷電源（uninterruptible power supply，UPS）的形式存在于數據中心中．它們一般僅在供電異常時作為應急電源使用，為備用柴油發電機的預熱提供短暫的緩沖時間．然而近幾年儲能系統的結構和管理方式發生了較大的變化，它們不但由應急供電設備（極少使用）轉變為主動參與到功耗管理的能源緩存設備（較頻繁使用），還開始以分布式、小容量、大規模的形式集成到服務器周邊來［12－14］．

具體來說，儲能系統在新型數據中心設計中發揮著兩方面關鍵作用：1）儲能設備可以用來管理數據中心中偶爾發生的峰值負載．面對峰值負載帶來的功耗尖峰，ESS作為能源緩存可以提供削峰的功能，從而減輕數據中心對過供給的依賴；這有助于數據中心設計者達到削減建設成本的目的．2）儲能設備可以管理電源波動．ESS能夠改善可再生能源輸出的不穩定性，從而極大地方便數據中心利用輸出功率隨環境變化的風能和太陽能．對于以本地綠色能源為主要電源的數據中心，ESS能適時地吸收多余的可再生能源發電，并在可再生能源間歇性不足的時候放電以彌補供電缺口．這樣一來，綠色數據中心可以保護敏感的服務器負載不因供電不穩而停機．

儲能設備作為聯系供電系統和信息系統的紐帶將變得尤其重要．隨著ESS在未來綠色數據中心中集成規模的增長和使用頻率的增加，其體系結構和管理機制將在一定程度上影響數據中心整體設計能夠達到的高度．舉例來說，面對大數據應用和智能電網技術的快速發展，數據中心必須能夠應對新興負載和新能源電力的復雜性與多變性，從而既能滿足服務器供電需要，還能在頻繁隨機的充放電下保持較高儲能設備的可用性和使用壽命．總之，在未來跳過ESS來談功耗管理將愈發難以滿足數據中心對效能的需求．若不加以足夠重視，儲能設備將會成為綠色數據中心設計中的性能瓶頸乃至“阿喀琉斯之踵”，極大地影響到數據中心的運營安全和經濟效益．

本文綜合整理了近年來具有代表性的綠色數據中心功耗管理技術和設計方法，并著重對儲能系統這一關鍵使能模塊進行了探討．本文從負載管理和電源管理兩方面分析了儲能設備的重要作用，旨在加深對其體系結構和管理方法的理解．

1 數據中心供電系統背景

數據中心對電源供給的可靠性和可用性有較高的要求．即便幾分鐘的服務器停機也可能造成上千萬美元的業務損失．具統計，美國電網斷電時間在5min以上的可達50%以上［15］．一個高可用性的數據中心為避免供電異常造成的經濟損失，往往不惜配置冗余的供電設備．目前數據中心多采用分層冗余式供電系統，以保證數據中心各級供電設備的可靠性．數據中心的分層冗余式供電系統一般從電源供給、儲能備份、電力分配3個方面進行設計和優化．

在電源供給方面，采用多個主電源是較常用的設計方法．如圖1所示，一些高可用性的商業數據中心能夠同時從兩個市電供電站取電．此外，它們還會同時配備大容量的本地柴油發電機組以應對偶爾的長時間斷電．當公用電網電力異常時，基于機械電子裝置（一般是大型繼電器）的自動電力切換單元（automatic transfer switch，ATS）能夠在較短時間內把數據中心電源由電網切換至本地柴油發電機組；當主電網恢復正常時，ATS又可自動切換至電網供電．

Fig．1 Hierarchical power delivery system in data centers．圖1 數據中心層次化供電系統

儲能元件位于主電源設備的下游，在數據中心中同樣發揮著關鍵的作用．由于設備需要一定的啟動時間（往往需要幾分鐘），柴油發電機組并不能應對突發性的電網斷電．在發電機預熱過程中，數據中心需要借助能夠快速放電的儲能元件來提供短時間的電能供給．這類儲能元件一般以不間斷電源UPS的形式安裝在電力切換裝置ATS和電力分配單元（power distribution unit，PDU）之間．一旦主電源設備出現異常，UPS可以提供應急電力．考慮到UPS也存在失效的風險，一些數據中心同時預備了冗余的UPS系統．在圖1中，STS（statistic transfer switch）是借助電力電子元件進行靜態電力切換的裝置，具有速度快、功率大、可靠性高等優點，因此適用于儲能元件間的切換．借助STS數據中心可以實現冗余UPS系統的集成．

電力由主電源經過數據中心儲能設備后將主要由PDU實施各個服務器間用電的分配．PDU內一般配置變壓器，可以對電力進行降壓．在北美，數據中心PDU可以把480?277V三相電轉換為208?120V的單相電．PDU的電力輸出可以直接供電給服務器機柜，也可以經過遠程供電板（remote power panel，RPP）將電力進一步輸送到服務器．RPP和PDU作用類似，只不過體積小且不具備內部變壓器．在數據中心中，PDU往往會按照額定功率的1．5～3倍配置，以預留額外的供電容量．通過改進PDU與服務器間的拓撲連接，數據中心可以在PDU層面實現較高的可靠性．舉例來說，當某服務器機柜連接的PDU出現故障，其余PDU單元由于具備額外容量可以為該機柜備用電力．Power Routing技術能夠借助不同的拓撲結構實現對PDU預留容量的動態調度［16］．

最后，當電力經由PDU輸送至各個服務器機架時，數據中心還可以通過更細粒度的分配來提升可靠性．一個典型的例子就是雙電纜（dual－corded）服務器的應用．這種服務器具有2個供電單元（power supply unit，PSU），可以同時從2個電纜汲取同樣的電力．這樣，即使在服務器端有一個供電單元出現故障，服務器依然可以平穩地過渡到另一個供電單元而不至于停機．但是，PSU的能效隨著負載降低而變差［17］．由于雙電纜供電模式下每個PSU平均承擔負載，服務器可能會面對一定程度的能效降低．

Fig．2 Comparison of energy storage system topologies．圖2 儲能系統拓撲結構對比

2 數據中心中的儲能系統架構

儲能設備長久以來是數據中心供電系統當中重要的組成部分．儲能設備在傳統數據中心的主要存在形式是非間斷電源UPS．大多數UPS采用鉛酸電池（lead－acid battery）作為儲能元件．據估計，工業上鉛酸電池的份額可達到97%［18］．

當代數據中心采用鉛酸電池是因為它具有技術成熟、價格低廉、維護方便的特點．此外，許多供應商還提供標準化的電池柜模塊，電池柜模塊可以被串并聯架設從而實現方便的配置和更換．當前大多供應商還提供鼓勵性舉措包括電池回收（100%可回收），前提是數據中心購買其UPS設備．

在傳統設計中，儲能設備多采取中央式集成的方式存在于數據中心當中．近年來隨著數據中心的發展和特殊電源管理模式的需要，分布式儲能設備逐漸興起．圖2對比了2種儲能系統的設計架構：

2．1 中央式儲能設備

中央集中式的儲能設備從系統結構角度來看主要有2個缺點：1）擴展性差．中央儲能一般在建設初期采取一次到位的設計方法，不便于擴展．此外這種設計初期資本投入也較高．2）可靠性差．中央式UPS系統對于數據中心整體來說會造成單點故障（single point of failure，SPOF）．一旦發生異常，其影響的范圍將波及整個數據中心的服務器．

從電源管理的角度來看，中央式儲能設備同樣有2個問題：1）能效低．傳統UPS系統內部的儲能元件一般以雙重轉換（double－conversion）的模式集成在數據中心供電通路上．在這種情況下，來自電網的交流電先轉換為直流電為電池供電，然后電池的直流電輸出再被轉換為交流電提供給下級負載．這種設計雖然有利于提升供電質量（power quality），但反復的轉換會帶來大約10%的電能損失．2）靈活度差．UPS電池采取一種非0即1的二元運行模式：UPS全部待機備用（即完全不放電）或者承擔整個數據中心的負載（即最大電流放電）．這種運行模式是作為整體備用電源而存在的，并不能用來動態管理和協調數據中心中某一部分負載的功耗．

2．2 分布式儲能設備

分布式儲能設備的主要思想和初衷是降低傳統中央式UPS在雙重轉換過程中面臨的低能耗問題．在微軟最近針對本地能源模塊（local energy storage，LES）的設計中表明，分布式儲能設備有望提升15%的數據中心能效量值PUE（power usage effectiveness），并降低設計成本．在一項日立公司的研究中，研究人員對比了不同的服務器供電模式，并探討了服務器直流供電的優勢［19］．這項研究分析了中央式的電池系統和分布式的電池系統，中央式系統采用了鉛酸電池，而服務器級的細粒度集成則采用了鋰電池．研究顯示，分布式的電池系統可以將整體能效提升至92%．

分布式儲能設備的應用最先由工業界發起．Google的硬件工程師早在2009年就嘗試在每個服務器上安裝12V的電池來應對服務器級的電力故障和提升供電能效［20］．該分布式儲能系統的設計主要通過自主定制的主板完成，每個服務器都配備有本地的小容量鉛酸電池單元和電源管理模塊．

得益于開源硬件項目Open Compute，分布式儲能設備逐漸受到業界關注．該項目是社交網絡巨頭Facebook為提升互聯網數據中心的能效而推出的．文獻［21］介紹了Facebook自主定制的服務器機柜和分布式電池組的初始設計標準．圖3描繪了2種設計方法：粗粒度集成V1和細粒度集成V2．具體來說，在V1系統架構下，數據中心每個服務器機柜三元組（triplet）都將連接一個本地備用電池柜，該電池柜輸出24V直流電并直接連接到服務器機架內的直流供電導軌上．每臺服務器的供電單元PSU都是自主定制的，可以同時連接直流電導軌和來自市電的交流電導軌．在V2系統架構下，數據中心每個機柜的電源架上安裝了嵌入式的電池備份單元（battery backup unit），每個電池備份單元由高密度的鋰電池組成．雖然這種細粒度的電池集成方案比較昂貴，但對于節省數據中心有限的空間是有一定益處的．在V1和V2兩種架構下，電池組能為服務器滿負載提供大約45s的備份時間．

Fig．3 Two typical distributed ESS architectures．圖3 兩類典型的分布式儲能系統

2．3 儲能設備架構選擇

隨著服務器能耗的不斷攀升，數據中心開始需要借助儲能設備來降低整體電力成本和碳排放足跡．具體途徑主要有2點：借助儲能設備來削除峰值用電，以及借助儲能設備來集成本地新能源．在這2個應用場景中，分布式儲能設備因為其比較好的擴展性而備受關注．這是因為數據中心能夠根據服務器的用電需要而階梯式地擴展其儲能單元容量．此外，分布式儲能設備還提供更細粒度的電源管理能力，因而能夠用來削除數據中心的短小功耗尖峰或者為數據中心在服務器機架層面引入小規模新能源供電．

事實上，分布式儲能架構也有其缺點．在分布式儲能架構中，系統需要獲取所有的儲能設備的狀態以及設備功耗需求情況，因此增加了數據中心內部的通信負擔．此外，數據中心的空間資源很寶貴，分布式儲能單元占據了本可以放置服務器設備的空間．在中央式設備設計中，數據中心可將儲能設備集中放置在數據中心外部（如地下室），從而可以一定程度上降低建造成本．因此，具體采用何種類型的儲能設備架構應當因地制宜，根據數據中心的規模、土地價格、市電價格、能源類型等情況做出合適的選擇．

3 儲能設備動態應用：負載削峰

3．1 應用背景

峰值功耗是指數據中心的最大功耗需求值．峰值功耗對于數據中心的建造成本和運營成本有著較大的影響．設計和建造數據中心的資本投入（CapEx）被數據中心的峰值功耗直接影響．數據中心不間斷供電設備的規模、備用發電機的發電能力、電力轉換設備的配置都受到峰值功耗的影響．峰值功耗越大，這些設備的額定容量也越大，其購買費用就越高，會加大數據中心的初期資本投入．

傳統數據中心對基礎設施（包括服務器和供電設備）的利用率較低．這是因為數據中心的負載是隨時間動態變化的，真正達到峰值功耗的概率很低．據統計，Google數據中心總功耗需求超過峰值功耗的90%的時間不超過其運行總時間的1%［22］．但為了應對極端條件下的峰值負載，多數數據中心還是按照峰值負載和額定功率來配置供電設備，即便多數情況下這些設備處于閑置狀態，這造成了極大的浪費．

盡管數據中心在建造初期對供電設備采取了“過供給”，在經過一段時間的服務器擴張后，服務器的峰值負載還是會超過其設計的供電容量．這是因為云時代許多數據中心開始增加其所有的服務器數目以提升計算能力．然而事實上此時的數據中心并沒有達到飽和，而僅僅是峰值負載超出預期，其平均負載依然很低（比如60%）．從最大化利用已有供電設施角度來看，數據中心依然有增加服務器數目的潛力．但是峰值情況下的超載阻礙了數據中心的進一步擴張．通常使用的功耗限制技術（power capping）如性能牽制（performance throttling）并不能有效抑制服務器超載，反而會降低用戶使用體驗．升級數據中心的供電設備極其昂貴，且需要的建設時間也較長，因此是數據中心設計中的下策．

另一方面，峰值功耗還直接影響數據中心的運營成本．具體來說，電網公司會監控數據中心的瞬時功耗需求，對于峰值功耗會按照高度收費．根據關于美國電網公司對于峰值功耗的不同收費標準的對比發現，數據中心能耗費用一般在4～11美分每千瓦時，而功耗費用則在7～13美元每千瓦變化［12］．假使一個兆瓦級的數據中心每個月中99．9%時間運行在30%的負載，而僅僅0．1%遭遇100%的峰值負載，它依然會因為峰值功耗而不得不額外支出數萬美元的費用．

在此情況下，學術界開始研究借助儲能設備這一一度被忽視的電力系統來提升數據中心的經濟效益．其基本思想是繼續增加數據中心的服務器數目以提升數據中心利用率，并利用儲能設備來應對偶爾發生的峰值負載超載現象，如圖4所示．當數據中心負載較重、對功耗需求較大時，UPS可以臨時釋放部分儲能，從而降低對于電網的功耗需求；當數據中心負載較輕、對功耗需求較小時，可以利用電網或者新能源對儲能設備充電，以備下次使用．這種方法完全是基于數據中心已有的UPS基礎上的，因此不會帶來額外成本，也不需要長時間的改造建設．通過對數據中心計算負載進行移峰填谷，數據中心得以持續增加其服務器擁有量，實現云計算時代數據中心服務器的橫向擴展，進一步提升經濟效益．

Fig．4 Using ESS to lower peak power．圖4 利用儲能設備對功耗需求削峰

3．2 管理方式

表1中列舉了近幾年來具有代表性的針對數據中心負載削峰的儲能設備管理技術．這些研究都主要關注互聯網數據中心（IDC）中的負載調度，有少部分研究是針對高性能計算數據中心（HPC）的負載調度［23］．另外，目前并不是所有的研究都指明其儲能系統的設計結構．雖然中央式設計還居主流，但分布式儲能系統已占據一席之地并逐漸得到廣泛應用．

Table 1 Representative Energy Storage Studies on Peak Power Management表1 具有代表性的面向峰值負載管理的儲能研究

對比電源供給方案，大多數研究主要集中于單一市電的供電模式，即單純對傳統數據中心進行峰值負載削除．有少部分研究是針對新能源驅動的綠色數據中心進行儲能設備調度和管理．俄亥俄州立大學［25］和佛羅里達大學［23］在混合能源環境下的負載調度方面進行了相關研究，主要設計挑戰在于需要考慮新能源的波動對儲能設備充放電的影響．

具體到負載削峰本身，目前的研究關注點各有特色．Kontorinis等人率先研究了分布式UPS對于負載削峰的優勢［28］，主要目標是降低供電成本．這項研究分析了分布式UPS的整體擁有成本，并考慮了不同電池技術的性能．該文還指出，通過結合UPS負載削峰和服務器DVFS（dynamic voltage frequency scaling）有望進一步提升分布式儲能系統的削峰能力．在此基礎上，Aksanli等人對分布式儲能系統做了進一步的優化［24］．區別于文獻［28］，文獻［24］更實際地考慮了電池放電的非線性問題，并且提出了一種新型的儲能系統結構．這種儲能系統借助電力開關和并網逆變器來管理儲能系統的放電電流．雖然這項技術中的電池單元是集中式管理的，但其控制方式使得電池具有分布式儲能設備的特征，且放電電流可控，其技術可以進一步提升電池的使用壽命和經濟性．Govindan等人則分析了服務器供電飽和的數據中心［22］，并研究如何使用儲能設備幫助數據中心度過功耗峰值的難關．借助原型系統驗證，文獻［22］說明有機地結合電池放電和負載遷移可以有效管理短時電源異常并降低長時間斷電造成的系統開銷．

在系統建模和優化方面，Deng等人［25］和Urgaonkar等人［26］借助Lyapunov優化對儲能設備的使用進行了在線優化，其特點是不需要復雜的系統統計數據，因而運行開銷更小、更易在實際系統上實現．Deng等人的方法不同于Urgaonkar，它們更著眼于一種長時間的系統優化，并且同時考慮到多電源環境下新能源供電和計算機負載的波動性．

以上工作主要是考慮單一的儲能技術．與之不同的是，Zheng等人［27］和Liu等人［23］分別研究了混合式儲能技術．Zheng等人提出結合傳統UPS系統和新型熱儲能技術（thermal energy storage，TES）來共同管理數據中心功耗．TES主要是利用物質相變（如水?冰）原理對熱能進行存儲，并在需要的時候釋放能量供數據中心使用．TES的主要缺點是體積大、難集成，且其響應速度較化學電池慢很多，因此僅被用來管理數據中心制冷設備的功耗．在文獻［23］中，Liu等人提出結合傳統鉛酸電池和新型的超級電容（SC）系統來提供更有效的負載削峰．鉛酸電池具有技術成熟、價格低廉、維護簡單、回收方便等特點；但其缺點也較明顯，比如無法承受大電流放電、在高強度使用下壽命大幅縮短，以及存在較高充放電能源損失等（根據IEEE 1562－2007號標準介紹，一般在15%～30%間）．與之相比，超級電容作為一種新型儲能元件價格相對較高；但其優點是非常好的瞬時放電能力、極佳的使用壽命，以及可忽略不計的充放電損失．通過結合鉛酸電池和超級電容，并動態管理分配給二者的服務器數目，數據中心能夠削除更大更寬的峰值負載，并且實現較為理想的電池壽命和整體能效．

4 儲能設備動態應用：新能源集成

4．1 應用背景

新能源因其產能豐富、碳排放量低、成本低等優勢吸引著數據中心建設者．諸如太陽能、風能、燃料電池等新能源的裝機成本隨著技術的成熟逐年降低［3031］，而且風能和太陽能在裝機后就可以投入使用，不需要過多的額外成本．另一方面，為了應對全球變暖，各國通過征收碳排放稅引導企業減少二氧化碳的排放．降低電網電力的使用、減少碳排放能夠有效降低數據中心的運營成本．

新能源可有效緩解數據中心的能源危機問題．目前很多公司已經將太陽能和風能應用于數據中心．蘋果公司與NV Energy公司合作建設一個新的太陽能發電廠，為數據中心供應電力［32］．Google能源部從2010年7月30日開始向NextEra的愛荷華工廠采購風能［33］．此外，Google購買了德州阿里馬洛附近的一家風能發電站，于2014年為其數據中心提供240MW的電能［34］．另一方面，各類新能源相對于傳統的化石燃料，碳排放也降低很多，能夠有效緩解全球變暖問題．表2列舉了常見的各能源的碳排放因子［18］．可以看出太陽能、風能等新能源的碳排放因子遠遠低于化石燃料的碳排放因子；而氫氧燃料電池基本無碳排放．新能源驅動的綠色數據中心因此能有效減緩全球變暖過程，降低對環境的壓力．

Table 2 Carbon Emission Factor of Different Energies表2 各能源的碳排放因子

新能源種類眾多、優勢巨大，但出于技術、環境限制等原因，并不是所有的新能源都廣泛地應用于數據中心．根據新能源的特性可以將它們分為間斷性不可控的新能源和穩定可控的新能源．

1）間歇性不可控的新能源．間斷性是指能源產生的電力隨著時間而動態變化，低谷時期有可能為零．不可控則意味著其發電量的多少不可人為控制．太陽能和風能是最具潛力的2種間斷性不可控綠色能源，它們有兩大優點：①它們在全球廣泛存在；②蘊能豐富．但是太陽能和風能受環境影響較大，太陽能與日照強度和溫度關聯，風能則與風速密切相關．所以太陽能和風能的產電量隨著環境、時間的變化而變化，具有較大的不穩定性與不可控性．

2）穩定可控的新能源．除了風能和太陽能，一些新型的穩定可控新能源也日益得到人們的關注．這類新能源的發電量是穩定的，并且可以人為控制發電量的多少．燃料電池、基于生物質能等新能源是利用較為廣泛的穩定可控的新能源．燃料電池是一種高效的電化學能量轉換裝置，它直接將燃料的化學能轉化為電能，具有清潔、噪聲低、能量密度高、啟動快、連續供電時間長等優點［31］．已經有許多燃料電池公司如Bloom Energy推出一系列應用于數據中心的燃料電池模塊（energy server）．

圖5統計了自2010—2015年學術界發表的關于綠色數據中心的幾十篇論文中使用的新能源的分布情況［36－73］．可以看出太陽能和風能是主流趨勢．風能和太陽能是應用最廣泛的新能源，一方面是因為風能和太陽能資源沒有枯竭危險，資源分布廣泛，受地域限制小；另一方面則是由于它們的技術相對成熟，可以有效投入工業使用．工業界中，Google、蘋果、IBM等IT巨頭廣泛采用風能和太陽能．

Fig．5 The distribution of green energies used in green datacenters from 2010to 2015．圖5 2010—2015年綠色數據中心使用新能源分布

然而，在數據中心中應用太陽能和風能存在著諸多挑戰，其中最主要的問題是能源供給和能源需求不匹配．數據中心的負載動態變化，對于功耗的需求隨時間而變．而風能和太陽能的發電量隨著時間變化，兩相結合，數據中心利用新能源的供給不匹配問題尤為突出．圖6利用真實的數據中心的負載數據以及風能和太陽能發電數據繪制出了數據中心的功耗需求和供給情況，充分展示了數據中心功耗供給和需求的不匹配情況．當新能源供給充足時，數據中心負載可能很低，需要的功耗少，從而導致能源的浪費；而當新能源供給很少的時候，數據中心負載可能很高，新能源不足以驅動數據中心，如果沒有調節機制，數據中心只能從電網獲取電力甚至于關機．

Fig．6 Power mismatch between demand and supply．圖6 負載功耗需求和新能源供電的不匹配現象

儲能設備應用于數據中心可以保證數據中心的可靠性，提高新能源利用率，降低負載峰值功耗，從而降低數據中心建設和運營成本．儲能設備利用其儲能功能可以幫助數據中心在空間維度上有效地調度新能源．當太陽能和風能充足時，可以將多余的能源儲存在儲能設備中，提高能源利用率；當能源供給不足時，可以利用儲能設備對數據中心供電，不降低數據中心性能．目前，如何高效地使用儲能設備從而提高儲能設備壽命、降低成本、充分提高新能源利用率是學術圈和工業界共同關注和研究的問題．圖7統計了自2010—2015年綠色數據中心中與儲能設備相關的研究論文［36－73］．從圖7中可以看出，儲能設備作為新能源緩存或移峰的作用日益得到重視，在綠色數據中心的地位逐漸提高．

Fig．7 Survey for the roles of ESS in green datacenters．圖7 儲能設備于綠色數據中心的研究趨勢調查

4．2 能源緩存在綠色數據中心中的應用

我們根據電源管理機制把目前的新能源綠色數據中心大致歸為2大類：電源跟蹤式設計和負載追隨式設計，并具體探討其中儲能設備發揮或者有可能發揮的關鍵作用．

4．2．1 電源跟蹤式設計

在表3中我們對比了一系列典型的綠色數據中心電源管理技術．表3包含了處理器級別、服務器級別、集群級別及數據中心級別的能源管理研究．

Table 3 Comparison of Existing Green Data Center Power Management and Optimization Frameworks表3 目前的綠色數據中心電源管理與優化框架對比

在電源跟蹤式設計方法下，數據中心主動控制負載功耗的需求以匹配可再生能源的波動性．從負載控制的方式出發，目前的技術又可以大致歸為3個類型：負載限制技術（load scaling）、負載推遲（load deferring）、負載遷移（load migration）技術．負載限制技術主要是借助服務器開關機和動態頻率調節（DVFS）來升高或者降低數據中心的功耗需求；負載推遲技術則通過調整負載調度方式，在時間維度上對一些較低優先級的實時性不強的負載進行推遲處理；負載遷移技術則直接在可再生能源不足時把負載遷移到其他的服務器機群上面．

負載限制技術主要依賴處理器電壓頻率調節，其代表之一是SolarCore［39］．SolarCore通過改變多核處理器每個核的電壓和頻率，服務器可以將處理器的功耗和太陽能板的最佳功率輸出點匹配．但在SolarCore里，研究人員并沒有采取儲能設備，而是直接利用可變的太陽能．結果表明直接使用太陽能能夠達到和基于高效率電池的設計一樣的整體計算吞吐量，但其缺點是無法滿足實時的負載性能．若借助分布式儲能設備，SolarCore就有可能在太陽能不足的情況下依舊滿足用戶的需求．

負載推遲技術的一項代表性研究是GreenSlot［40］．這項技術通過歷史數據和天氣預報預測出太陽能的發電量，將不需要即刻完成的任務推遲至太陽能豐富的時候執行．GreenSlot主要使用市電接入的太陽能系統．儲能設備（電池）的作用主要是用來穩定太陽能板的輸出和跟蹤太陽能的最大輸出點．電池的輸出進一步被逆變為交流電，然后通過Grid－tie逆變器和市電電網相連．數據中心負載則直接通過Grid－tie逆變器取電．結果顯示，GreenSlot可以增加117%的綠色能源利用率，降低39%的電力開銷．進一步地，GreenHadoop［48］技術把GreenSlot的思想延伸到了目前流行的Hadoop計算框架中來，但僅僅是把電池作為穩定可再生能源的一個中間能源緩沖．

與以上2種設計不同，負載遷移技術往往需要混合式發電策略，即一部分服務器設備由新能源驅動，另一部分服務器由穩定的市電驅動．當新能源驅動的服務器面臨供電波動時，系統可以動態地把負載遷移到市電驅動的服務器集群上來．iSwitch［49］技術針對這種混合式發電研究了一種啟發式的優化方法．其基本思想是盡可能多地把負載保留在新能源驅動的服務器集群，并且減少不必要的負載遷移，從而實現提升綠色能源利用率和降低性能開銷的目的．其具體技術是根據風能的波動情況來采取一種具有惰性的跟蹤方法：當風能波動激烈時避免跟蹤風能（這一過程會浪費一部分風力資源），當風能較為平緩時對負載波動進行削除（利用模擬退火算法的優化有可能無法實現最佳平滑效果）．由于iSwitch僅僅把儲能設備當作電源備份，其實際上失去了進一步優化系統性能的機會．通過合理利用儲能設備，iSwitch可以把頻繁波動的風能存儲起來以備之后使用，它還可以進一步實現更好的負載平滑效果．

無論采取何種負載管理手段，電源跟蹤式設計的核心思想都是調節數據中心的能耗需求以適應綠色能源的功耗供給，儲能設備只發揮備份作用．然而，被動適應新能源供給有如下3個劣勢：1）通過動態調節或者推遲機制，會影響數據中心性能，降低服務質量；2）當綠色能源供給高于數據中心需求時，多余電量輸送給公用電網，但是電壓轉換會帶來能量損失；3）市電公司收購數據中心提供電力的價格低于數據中心購買電力的價格，當新能源供給不足時，通過電網供電，此時數據中心不得不支付高昂的電費用以支持數據中心的運行，這對于數據中心來說這不明智．如果將儲能設備納入以上新能源數據中心中來，則可以有效地克服上述劣勢，提高新能源利用率，降低運營成本，避免不必要的控制開銷和性能降低．

4．2．2 負載追隨式設計

不同于電源跟蹤式設計，負載追隨式設計的思想是通過調節場上新型供電設備的輸出來匹配計算機負載的時變功耗需求．這類供電設備一般都是穩定可控的，如燃料電池、渦輪機、新型內燃機等．然而由于燃料電池內部電化學反應需要時間，內燃機達到一定轉速也需要時間，因此這些供電設備并不能達到理想的跟蹤效果．對于高度波動的數據中心負載，必須借助儲能設備才能夠實現負載追隨．Power Demand Shaping（PDS）［56］技術的主要思想是對數據中心的負載進行輕微的修整，從而去除高頻波動的功率尖峰，實現一種近似于方波的負載功耗波形．這樣，場上供電設備可以較好地實現對數據中心的跟蹤，并且不需要過分依賴儲能設備．在不使用PDS的情況下，電池的使用壽命最多會降低25%；在使用PDS的情況下，儲能設備的壽命降低被控制在3%以下．

當數據中心中同時集成了間歇性新能源（如太陽能）和可控新能源（如燃料電池）時，數據中心依舊可以采取負載追隨式的設計．但在這一過程中，由于太陽能和計算機負載都具有波動性，因此燃料電池面對著的電力供需差異更大．為了不對儲能設備造成過度使用，綠色數據中心應當在控制供電設備輸出的同時適當地調節計算機負載．

同樣是基于負載追隨式設計，GreenWorks［64］電源管理框架采用了一種協同管理模式，同時借助3個管理模塊來優化數據中心：基礎電力管理模塊、儲能管理模塊以及負載管理模塊．基礎電力模塊控制穩定可靠能源的輸出功率，它每隔一段時間（例如15min）綜合風能和太陽能的供給狀況、數據中心負載、儲能設備狀況調節輸出功率，如果風能和太陽能不足、數據中心負載較大，或者儲能設備儲能不足那么提高基礎電力功率輸出，相反就會降低基礎電力功耗輸出．儲能模塊管理儲能設備，能在能源供給不匹配的時候，根據儲能設備的狀況決定儲能設備的充放電，緩解能源供需不匹配問題．負載模塊可以根據系統狀況，通過調節CPU頻率或者電壓來調節系統性能，緩解能源供需不匹配．

在面對本地供電預算和服務器功耗需求不匹配時，GreenWorks會根據負載任務的性能來決定究竟是優先使用儲能元件來提供更多能源還是優先使用服務器電壓頻率調節來降低負載功耗．當新能源供給很足（太陽能和風能充足）時，儲能設備進行充電，并提高CPU頻率或者電壓提高數據中心性能，如果還有多余能源，則賣給電網；當能源供給不足時，如果儲能設備的儲備能源還在警戒線內（儲能設備作為電力備份，需要保證一定量的能源儲備），那么會根據儲能設備可提供能源的量動態調節服務器的工作頻率，盡可能保證數據中心高性能運行．如果儲能設備的儲備能源低于警戒線，選取部分服務器降低性能節約功耗．如果能源供給嚴重不足，GreenWorks將不得不最小化數據中心的功耗需求．為了使綠色數據中心運行的各任務能夠按時完成，GreenWorks會根據以往的間斷性能源的供給情況和天氣預報預測未來一段時間內的能源供給情況，借此預計任務的最大延遲時間，從而最大限度地運行這些任務的服務器的頻率，節省功耗．如果依舊供需不能平衡，那么會從儲能設備處繼續汲取能源供給數據中心的運行，直到低于儲能設備儲能的預設危險系數．

4．3 原型系統設計對比

表4列舉了目前具有一定代表性的綠色數據中心原型系統．這些系統都借助負載管理來應對可再生能源的波動性，但并不都對儲能設備進行優化．

Blink［42］是麻省大學研發的一個面向互聯網數據中心的中間件系統．Blink采取的供電方法是本地小型風能和太陽能發電設備與電池組相結合，實驗借助了兩塊可供深度放電的1 320Wh的可充電電池．雖然該電池足夠為實驗用到的服務器集群連續供電14h，Blink僅將其作為5min的短時間能源緩存．在這項研究中，服務器負載能夠快速調節其開關狀態，從而改變整體集群的供電功耗．Blink的目的是盡量滿足具有高優先級的任務在Memcached系統中的命中率，因此并沒有優化電池的使用壽命和能效．

Parasol［57］是美國羅格斯大學團隊開發的一套綠色數據中心系統，其著眼點主要在于計算機負載的調度和對能源系統行為的預測．這套系統采用低功耗凌動（Atom）處理器配置虛擬化環境，采取集裝箱式管理，可以借助自由通風實現制冷．其一個關鍵特征是能夠動態在市電和綠色能源間實現切換，并且利用電池提供能源緩存．為了提升電池使用壽命，Parasol采取的方法是限制對電池的深度放電．

Oasis［59］是美國佛羅里達大學團隊開發的一套綠色數據中心解決方案，其著眼點主要在于數據中心的系統硬件實施和控制．具體來說，Oasis的目標是實現綠色數據中心經濟環保的拓展．為此，Oasis借助分布式儲能設備和模塊化的太陽能板，將綠色能源直接接入到服務器機柜層面．Oasis為每個服務器機柜配備了電源控制模塊，該模塊能夠實現服務期在綠色能源和市電間的自主切換．Oasis對儲能設備的優化方法較為深入，其主要思想是根據電池的額定使用周期來限制其一段時間內的充放電電量．

此外，惠普實驗室的研究人員也設計了凈碳排放為零的系統Net－Zero［47］．這套系統由太陽能板供電，同時還和市電相連接，因此市電可以彌補太陽能的不足．Net－Zero主要著眼于服務器系統的負載調度，目標是使得一段時間內服務器對市電的使用可以太陽能向市電的反饋相互抵消，從而實現對市電電力的零使用．該系統并沒有依賴儲能設備進行管理．

Table 4 Comparison of Current Green Data Center Prototypes表4 目前綠色數據中心原型系統對比

5 機遇與挑戰

儲能設備對于數據中心的改變有可能是革命性的．比如，儲能設備允許數據中心在極低供電預算條件下實現服務器的橫向擴展；又比如，目前的集裝箱式模塊化數據中心可以通過集成有效的儲能設備和綠色能源系統實現移動式的計算．此外，儲能設備還大大方便了數據中心和未來智能電網的融合等．從儲能系統本身的發展來講，數據中心未來還可以利用不同類型不同規模的儲能設備，比如研究混合式的儲能系統或者異構式儲能系統等．

然而隨著儲能設備在未來數據中心中規模的增長和重要性的增加，挑戰應運而生．數據中心會因儲能設備和服務器的融合而遇到一系列新的設計問題．概括起來主要涉及3點：近距離、小容量、大規模．

首先，隨著儲能單元和服務器設備距離的拉近，計算機系統和儲能設備間需要一種合理的接口．該接口一方面允許計算機系統對本地儲能系統進行主動訪問，還能夠方便儲能系統主動對服務器功耗進行干預．在協調儲能單元和服務器功耗的時候，要避免和現有的數據中心計算機功耗管理發生沖突．此外，由于儲能設備和服務器設備距離的拉近，服務器的散熱對電池電化學反應和能效的影響也應考慮在內．

其次，由于分布式的儲能單元大多容量較小，其充放電的管理必須更加嚴格，否則會極易造成無電可用的局面．一旦這種情況發生，數據中心應當研發相應的全局電源管理機制，使得本地服務器能夠從鄰近的儲能系統進行能源借調．

另外，數據中心目前還缺乏對大規模儲能設備的有效管理方法．隨著儲能單元在更細粒度層面的集成，數據中心亟需一種層次化的監控和控制手段來管理大量的分布式儲能單元；否則，數據中心不但會增加對電池單元的通訊和能效開銷，還可能造成電池單元間的不均衡使用和快速老化．

6 結束語

高能耗、高污染、高成本制約著數據中心的發展．綠色數據中心可以降低對市電的需求，抑制數據中心的碳排放，節約運行成本．儲能設備在構建新型綠色數據中心過程中發揮著重要作用，但其系統結構和管理方式還處于初期探索階段．隨著大數據應用和智能電網技術的快速發展，高效能的分布式儲能設備作為聯系負載和供電的紐帶將無疑受到更多的關注．本文通過調研綠色數據中心研究，整理了目前面向數據中心的儲能設備設計技術，并指出了最大限度發揮儲能設備在綠色數據中心中的效能所面臨著的嚴峻挑戰．研究智能的儲能技術能夠為數據中心與大數據負載及智能電網的交叉研究打下一定的基礎，有助于促進信息技術與能源技術的有機結合，對于構建科學合理的產業格局具有一定意義．

［1］Bill K．The economic meltdown of Moore s law and the green data center［R］．Seattle，WA：The Uptime Institute，2007

［2］Lv Tianwen．A deep analysis of data center energy efficiency in 2013［J］．The World of Power Supply，2013，（6）：7 8（in Chinese）（呂天文．2013年數據中心能效現狀深度分析［J］．電源世界，2013，（6）：7 8

［3］China IDC．Data center power will double in the next five years［EB?OL］．（2012－03－29）［2015－01－31］．http：??tech．idcquan．com?pro?34910．shtml（in Chinese）（中國IDC圈．未來五年國內數據中心能耗將翻一番［EB? OL］．（2012－03－29）［2015－01－31］．http：??tech．idcquan．com? pro?34910．shtml）

［4］Parker H．Energy efficient data centers［EB?OL］．（2013－02－19）［2015－01－31］．http：??www．alliancetrustinvestments．com?sri－hub?posts?Energy－efficient－data－centres

［5］Fan X，Weber W，Barroso L．Power provisioning for a warehouse－sized computer［C］??Proc of the Int Symp on Computer Architecture．New York：ACM，2007：13 23

［6］Turner W，Brill K．Cost Model：Dollars per kW plus dollars per square foot of computer floor［R］．Seattle，WA：The Uptime Institute，2008

［7］Robbins J．Data center power efficiency［EB?OL］．（2008－11－29）［2015－01－31］．http：??radar．oreilly．com?2008?11?datacenter－power－efficiency．html

［8］Christy P．Gartner says energy－related costs account for approximately 12percent of overall data center expenditures［EB?OL］．（2010－09－29）［2015－01－31］．http：??www．gartner．com?newsroom?id?1442113

［9］Chinastor．High energy cost hurts data centers［EB?OL］．（2011－09－22）［2015－01－31］．http：??www．chinastor．com?a? datacenter?0922303R011．html（in Chinese）（中國儲能網．高額電費數據中心傷不起的痛［EB?OL］．（2011－09－22）［2015－01－31］．http：??www．chinastor．com?a? datacenter?0922303R011．html）

［10］Christy P．Gartner estimates ICT industry accounts for 2 percent of global CO2emissions［EB?OL］．（2007－04－26）［2015－01－31］．http：??www．gartner．com?newsroom?id? 503867

［11］CO2emissions from US datacenters greater than all CO2emissions from Netherlands or Argentina［EB?OL］．（2010－07－15）［2015－01－31］．http：??green－broadband．blogspot．com?2010?07?co2－emissions－from－us－datacenters．html

［12］Govindan S，Sivasubramaniam A，Urgaonkar B．Benefits and limitations of tapping into stored energy for datacenters［C］??Proc of the Int Symp on Computer Architecture．New York：ACM，2011：341 351

［13］Wang D，Ren C，Sivasubramaniam A，et al．Energy storage in datacenters：What，where，and how much［J］．ACM SIGMETRICS Performance Evaluation Review，2012，40（1）：187 198

［14］Wang D，Ren C，Sivasubramaniam A．Virtualizing power distribution in datacenters［C］??Proc of the Int Symp on Computer Architecture．New York：ACM，2013：595 606

［15］Pelley S，Meisner D，Zandevakili P，et al．Power routing：Dynamic power provisioning in the data center［C］??Proc of the Int Conf on Architectural Support for Programming Languages and Operating Systems．New York：ACM，2010：231 242

［16］David M，Gold B，Wenisch T．PowerNap：Eliminating server idle power［J］．ACM SIGPLAN Notices，2009，44（3）：205 216

［17］Ponemon Institute．Study on data center outages［R］．Traverse City，MI：Ponemon Institute，2013

［18］Lizotte R．Data center VRLA battery end－of－life recycling procedures，White Paper＃36［R］．West Kingston，RI：APC，2011

［19］Kuroda Y，Akai A，Kato T，et al．High－efficiency power supply system for server machines in data center［C］??Proc of the Int Conf on High Performance Computing and Simulation．Piscataway，NJ：IEEE，2013：172 177

［20］Shankland S．Google uncloaks once－secret server［EB?OL］．（2009－12－11）［2015－01－31］．http：??www．cnet．com?news? google－uncloaks－once－secret－server－10209580

［21］Sarti P．Battery Cabinet Hardware v1．0，Open Compute Project［R］．Menlo Park，CA：Facebook，2012

［22］Govindan S，Wang D，Sivasubramaniam A，et al．Leveraging stored energy for handling power emergencies in aggressively provisioned datacenters［J］．ACM SIGPLAN Notices，2012，47（4）：75 86

［23］Liu L，Li C，Sun H，et al．Leveraging heterogeneous power for improving datacenter efficiency and resiliency［J］．IEEE Computer Architecture Letters，2015，14（1）：41 45

［24］Aksanli B，Eddie P，Tajana R．Architecting efficient peak power shaving using batteries in data centers［C］??Proc of the IEEE Int Symp on Modelling，Analysis ＆Simulation of Computer and Telecommunication Systems．Piscataway，NJ：IEEE，2013：242 253

［25］Deng W，Liu F，Jin H，et al．Online control of datacenter power supply under uncertain demand and renewable energy［C］??Proc of the IEEE Int Conf on Communications．Piscataway，NJ：IEEE，2013：4228 4232

［26］Urgaonkar R，Urgaonkar B，Neely M，et al．Optimal power cost management using stored energy in data centers［C］?? Proc of SIGMETRICS Joint Int Conf on Measurement and Modeling of Computer Systems．New York：ACM，2012：221 232

［27］Zheng W，Ma K，Wang X．TE－Shave：Reducing data center capital and operating expenses with thermal energy storage［J］．IEEE Trans on Computers，2015，64（11）：3278 3292

［28］Kontorinis V，Zhang L，Aksanli B，et al．Managing distributed UPS energy for effective power capping in data centers［C］??Proc of the Int Symp on Computer Architecture（ISCA）．New York：ACM，2012：488 499

［29］Li S，Hu S，Wang S，et al．WattValet：Heterogeneous energy storage management in data centers for improved power capping［C］??Proc of the 11th Int Conf on Autonomic Computing．Berkeley，CA：USENIX Association，2014：273 239

［30］Patel M．Wind and Solar Power Systems［M］．Boca Raton，FL：CRC Press，1999

［31］Gou B，Na W，Diong B．Fuel Cells Modeling，Control and Applications［M］．Boca Raton，FL：CRC，2010

［32］Kee E．Apple plans 20MW solar array for Reno data center support［EB?OL］．（2013－07－01）［2015－01－31］．http：?? www．ubergizmo．com?2013?07?apple－plans－20mw－solar－arrayfor－reno－data－center－support〗

［33］Electric Light ＆Power．Google buying wind power from NextEra Energy to run data centers［EB?OL］．（2010－07－20）［2015－01－31］．http：??www．elp．com?articles?2010?07?googlebuying－wind－power－from－nextera－energy－to－run－data－centers．html

［34］Renewable Energy Focus．Google buys texas wind farm［EB?OL］．（2013－09－18）［2015－01－31］．http：??www．renewableenergyfocus．com?view?34606?google－buys－texas－windfarm?

［35］Deng Wei，Liu Fangming，Jin Hai，et al．Leveraging renewable energy in cloud computing datacenters：State of the art and future research［J］．Chinese Journal of Computers，2013，36（3）：582 598（in Chinese）（鄧維，劉方明，金海，等．云計算數據中心的新能源應用，研究現狀與趨勢［J］．計算機學報，2013，36（3）：582 598）

［36］Gmach D，Rolia J，Bash C，et al．Capacity planning and power management to exploit sustainable energy［C］??Proc of the 2010Int Conf on Network and Service Management．Piscataway，NJ：IEEE，2010：96 103

［37］Stewart C，Shen K．Some joules are more precious than others：Managing renewable energy in the datacenter［EB?OL］．2009［2015－01－31］．http：??www．sigops．org? sosp?sosp09?papers?hotpower＿5＿stewart．pdf

［38］Murugesan S．Harnessing green IT：Principles and practices［J］．IT Professional，2008，10（1）：24 33

［39］Li C，Zhang W，Cho C，et al．SolarCore：Solar energy driven multi－core architecture power management［C］??Proc of the 17th IEEE Int Symp on High Performance Computer Architecture．Piscataway，NJ：IEEE，2011：205 216

［40］Goirií，Le K，Haque M E，et al．GreenSlot：Scheduling energy consumption in green datacenters［C］??Proc of the 2011Int Conf for High Performance Computing，Networking，Storage and Analysis．New York：ACM，2011：20

［41］Krioukov A，Goebel C，Alspaugh S，et al．Integrating renewable energy using data analytics systems：Challenges and opportunities［J］．IEEE Data Engineering Bullein，2011，34（1）：3 11

［42］Sharma N，Barker S，Irwin D，et al．Blink：Managing server clusters on intermittent power［J］．ACM SIGPLAN Notices，2011，47（4）：185 198

［43］Deng N，Stewart C，Li J．Concentrating renewable energy in grid－tied datacenters［C］??Proc of the IEEE Int Symp on Sustainable Systems and Technology（ISSST）．Piscataway，NJ：IEEE，2011：1 6

［44］Li C，Qouneh A，Li T．Characterizing and analyzing renewable energy driven data centers［J］．ACM SIGMETRICS Performance Evaluation Review，2011，39（1）：323 324

［45］Brown M，Renau J．Rerack：Power simulation for data centers with renewable energy generation［J］．ACM SIGMETRICS Performance Evaluation Review，2011，39（3）：77 81

［46］Aksanli B，Venkatesh J，Zhang L，et al．Utilizing Green energy prediction to schedule mixed batch and service jobs in data centers［J］．ACM SIGOPS Operating Systems Review，2012，45（3）：53 57

［47］Arlitt M，Bash C，Blagodurov S，et al．Towards the design and operation of net－zero energy data centers［C］??Proc of the 13th IEEE Int Conf on Thermal and Thermomechanical Phenomena in Electronic Systems．Piscataway，NJ：IEEE，2012：552 561

［48］Goirií，Le K，Nguyen T D，et al．GreenHadoop：Leveraging green energy in data－processing frameworks［C］??Proc of the 7th European Conf on Computer Systems．New York：ACM，2012：57 70

［49］Li C，Qouneh A，Li T．iSwitch：Coordinating and optimizing renewable energy powered server clusters［C］??Proc of the 39th Int Symp on Computer Architecture．Piscataway，NJ：IEEE，2012：512 523

［50］Liu Z，Chen Y，Bash C，et al．Renewable and cooling aware workload management for sustainable data centers［J］．ACM SIGMETRICS Performance Evaluation Review，2012，40（1）：175 186

［51］Ren C，Wang D，Urgaonkar B，et al．Carbon－aware energy capacity planning for datacenters［C］??Proc of the 20th Int Symp on Modeling，Analysis ＆Simulation of Computer and Telecommunication Systems．Piscataway，NJ：IEEE，2012：391 400

［52］Murugan M，Kant K，Du D．Energy adaptation for multitiered datacenter applications［J］．Intel Technology Journal，2012，16（3）：152 171

［53］Krioukov A，Alspaugh S，Mohan P，et al．Design and evaluation of an energy agile computing cluster，UCB?EECS－2012－13［R］．Berkeley，CA：University of California，Berkeley，2012

［54］Bianchini R．Leveraging renewable energy in data centers：Present and future［C］??Proc of the 21st Int Symp on High－Performance Parallel and Distributed Computing．New York：ACM，2012：135 136

［55］Gao P，Curtis A，Wong B，et al．It s not easy being green［J］．ACM SIGCOMM Computer Communication Review，2012，42（4）：211 222

［56］Li C，Zhou R，Li T．Enabling distributed generation powered sustainable high－performance data center［C］??Proc of the 19th IEEE Int Symp on High Performance Computer Architecture．Piscataway，NJ：IEEE，2013：35 46

［57］Goirií，Katsak W，Le K，et al．Parasol and greenswitch：Managing datacenters powered by renewable energy［J］．ACM SIGARCH Computer Architecture News，2013，41（1）：51 64

［58］Singh R，Irwin D，Shenoy P，et al．Yank：Enabling green data centers to pull the plug［C］??Proc of Networked System Design and Implementation．Berkeley，CA：USENIX Association，2013：143 155

［59］Li C，Hu Y，Zhou R，et al．Enabling datacenter servers to scale out economically and sustainably［C］??Proc of the 46th Int Symp on Microarchitecture．New York：ACM，2013：322 333

［60］Li C，Wang R，Goswami N，et al．Chameleon：Adapting throughput server to time－varying green power budget using online learning［C］??Proc of the Int Symp on Low Power Electronics and Design．Piscataway，NJ：IEEE，2013：100 105

［61］Deng W，Liu F，Jin H，et al．Multigreen：Cost－minimizing multi－source datacenter power supply with online control［C］??Proc of the 4th Int Conf on Future Energy Systems．New York：ACM，2013：149 160

［62］Zheng W，Ma K，Wang X．Exploiting thermal energy storage to reduce data center capital and operating expenses［C］??Proc of the 20th IEEE Int Symp on High Performance Computer Architecture．Piscataway，NJ：IEEE，2014：132 141

［63］Li C，Wang R，Hu Y，et al．Towards automated provisioning and emergency handling in renewable energy powered datacenters［J］．Journal of Computer Science and Technology，2014，29（4）：618 630

［64］Li C，Wang R，Li T，et al．Managing green datacenters powered by hybrid renewable energy systems［C］??Proc of the 11th Int Conf on Autonomic Computing．Berkeley，CA：USENIX Association，2014：261 272

［65］Patil T，Duttagupta S．Hybrid self－sustainable green power generation system for powering green data center［C］??Proc of the Int Conf on Control，Instrumentation，Energy and Communication．Piscataway，NJ：IEEE，2014：331 334

［66］Guo Y，Gong Y，Fang Y，et al．Energy and network aware workload management for sustainable data centers with thermal storage［J］．IEEE Trans on Parallel and Distributed Systems，2014，25（8）：2030 2042

［67］Kong F，Liu X，Rao L．Optimal energy source selection and capacity planning for green data centers［C］??Proc of the SIGMETRICS Int Joint Conf on Measurement and Modeling of Computer Systems．New York：ACM，2014：575 576

［68］Riekstin A，James S，Kansal A，et al．No more electrical infrastructure：Towards fuel cell powered data centers［J］．ACM SIGOPS Operating Systems Review，2014，48（1）：39 43

［69］Liu L，Li C，Sun H，et al．HEB：Deploying and managing hybrid energy buffers for improving datacenter efficiency and economy［C］??Proc of the 42nd Annual Int Symp on Computer Architecture．New York：ACM，2015：463 475

［70］Zhou X，Cao Q，Jiang H，et al．Underprovisioning the grid power infrastructure for green datacenters［C］??Proc of the 29th Int Conf on Supercomputing．New York：ACM，2015：229 240

［71］Hua Y，Li C，Tang W，et al．Building fuel powered supercomputing data center at low cost［C］??Proc of the 29th ACM Int Conf on Supercomputing．New York：ACM，2015：241 250

［72］Li C，Hu Y，Liu L，et al．Towards sustainable in－situ server systems in the big data era［C］??Proc of the 42nd Annual Int Symp on Computer Architecture．New York：ACM，2015：14 26

［73］Haque M，Goiri I，Bianchini R，et al．GreenPar：Scheduling parallel high performance applications in green datacenters［C］??Proc of the 29th ACM Int Conf on Supercomputing．New York：ACM，2015：217 227

Ye Ran，born in 1990．MSc candidate at Shanghai Jiao Tong University．His research interests include computer architecture and cloud computing．

Li Chao，born in 1986．Tenure－Track assistant professor and PhD supervisor at Shanghai Jiao Tong University．His research interests include computer architecture and systems．

Liang Xiaoyao，born in 1978．Professor and PhD supervisor at Shanghai Jiao Tong University．His research interests include computer architecture，GPGPU，and high performance computing．

Energy Storage System in Green Data Centers：Architecture and Management

Ye Ran，Li Chao，and Liang Xiaoyao
（Department of Computer Science and Engineering，Shanghai Jiao Tong University，Shanghai 200240）

Modern data centers are heavily constrained by their power budget and carbon footprint．Faced with a growing concern about the skyrocketing IT energy expenditure and the looming environmental crisis，academia and industry alike are now focusing more attention than ever on nonconventional data center power provisioning and management strategies．Recently，energy storage system（ESS）has emerged as a key enabler that allows modern data centers to greatly improve energy efficiency and system sustainability．It can help reduce data center operating expenditure（OpEx）through limiting the temporary power demand spikes caused by irregular workloads．On the other hand，it also facilitates the integration of clean and renewable energy sources（i．e．solar energy and wind energy）into the energy portfolio of green data centers．Given the growth in scale and importance of energy storage system in future data center design，this study aims to give a fairly comprehensive view of its architecture design and power management strategies．This paper surveys existing research works in two primary ESS application scenarios：power demand shaving and power supply smoothing．We compare a variety of state－of－the－art proposals and discuss major design considerations（e．g．cost，efficiency，and reliability）of ESS．We conclude today and tomorrow by discussing the opportunity and challenges created by energy storage systems in data centers．

energy buffer；green datacenter；renewable energy；power provisioning；power management

TP303

2015－04－15；

2015－10－19

國家自然科學基金項目（61502302）

This work was supported by the National Natural Science Foundation of China（61502302）．