分布式集裝箱數據中心的綠色層次化管理

侯小鳳　宋朋濤　唐偉超　李　超　梁曉峣

(上海交通大學計算機科學與工程系　上海　200240)

?

分布式集裝箱數據中心的綠色層次化管理

侯小鳳宋朋濤唐偉超李超梁曉峣

(上海交通大學計算機科學與工程系上海200240)

(xfhelen@sjtu.edu.cn)

摘要近幾年，模塊化數據中心(集裝箱數據中心)因其高能效可拓展的特點而成為極具前景的IT基礎設施解決方案.預定制的集裝箱數據中心不僅可以被部署在傳統倉庫級數據中心設施中以支持容量擴展，還能夠被部署在城市?郊外以支持物聯網數據的本地處理.把傳統集中建設和管理的數據中心與地理上分布的模塊化數據中心結合起來，能夠更加方便地利用本地綠色能源發電以及減少數據傳輸成本.針對目前涌現的地理上分布的集裝箱式數據中心模塊提出了一種新型分層化管理模式,該技術將分布式集裝箱數據中心邏輯上劃分成多個性質和功能不同的層級.一個中央調配系統被用來監控每個層級的集裝箱數據中心并施加動態休眠機制以進一步提升數據中心的整體效能.小規模測試實驗結果顯示分層化管理機制能夠提升12%～32%的數據中心整體能效，并且保持較高的服務性能.

關鍵詞云計算；集裝箱數據中心；綠色計算；分層管理；性能評估

隨著物聯網技術的飛速發展和各式智能終端的增加，傳統中央式“云”數據中心已無法適應目前信息處理的需要.此處的關鍵原因在于，越來越多的信息處理任務將圍繞來自于不同位置的分布式物理設備，如傳感器網絡、監控攝像頭、移動基站、智能儀表等.隨之而產生的分布式數據流如果全部匯集到中央“云”數據中心進行處理，將不可避免地面臨阻塞, 造成兩大問題：1)傳統數據中心受能耗和溫室氣體排放的限制，難以自由擴展其計算資源以應對不斷匯集的數據處理需要.據統計早在2007年全球數據中心二氧化碳排放量已超過1億噸[1]，碳足跡(carbon footprint)動態檢測已經成為許多數據中心的必要手段[2].2)海量數據傳輸不但造成高昂的網絡費用，還極大地增加了決策延遲和時間成本[3]，即便是利用低速網絡上傳一部分數據，2014年1月份亞馬遜公司數據傳輸價格也高達每兆60美元.因此，面對“互連網+”引發的分布式大數據的處理浪潮，探索一種與目前數據中心互補的、能夠有效降低數據傳輸開銷并借助新能源來驅動的綠色信息處理模式變得尤為關鍵.

面對人們不斷增長的計算需求和傳統數據中心資源日益緊缺的問題，集裝箱式數據中心(containe-rized datacenter)有望成為重要的IT基礎設施解決方案.集裝箱易于擴展，可以快速部署在使用者指定的適當位置，部署通常只耗費幾周時間.相比之下，建造傳統的數據中心因為機房建設涉及的基建、供電、制冷、電信等復雜因素而往往需要幾個月甚至幾年.此外，集裝箱數據中心因為優化了內部散熱通道因而具有較高能效優勢.

基于集裝箱數據中心以上特點，本文探索一種混合了傳統集中建設的大型數據中心與基于集裝箱部署的地理分布式微數據中心模塊的泛在化數據處理系統.這種混合式數據中心的好處是雙重的:一方面，分布式的集裝箱數據中心可以解決中央數據中心因數據流大規模涌入造成的網絡帶寬瓶頸問題，實現數據密集型應用的就近處理，避免數據傳輸開銷，提升決策速度.另一方面，雖然大規模的新能源發電與并網存在技術挑戰和成本問題，許多因地制宜的小型可再生能源發電設備卻得到了廣泛應用；而分布式集裝箱數據中心因其體積較小可以采用本地的新能源裝置或者儲能電池為其供電；因此分布式微型數據中心也有助于整個信息行業對環?？稍偕茉吹挠行Ю?

但是即便如此，對于分布式集裝箱數據中心而言，缺乏合理的結構規劃與運營管理同樣會造成嚴重的資源浪費.最直接的結果是導致如傳統數據中心中類似的服務器平均利用率低下的問題.為此，本文研究如何優化分布式集裝箱數據中心集群以達到進一步節能的目的.

我們借鑒集裝箱數據中心集群面臨的網絡延遲狀況將集裝箱數據中心集群在邏輯上劃分成分層結構，層數越高的數據中心其訪問開銷也更大.我們進而結合用戶應用的訪問熱度來為不同層級的數據中心分配任務.每一層保留特定的數據和處理的任務,距離用戶層次越“遠”的集裝箱數據中心其處理的任務優先級越低或者僅僅保存一部分冷數據.最“遠”點則匯合至傳統數據中心，可以用作長期保存數據使用.最后，我們針對不同層級的數據中心采取動態集中休眠策略.高層次的數據中心不必要保持24×7的在線時間，這樣做可以極大地節省混合式數據中心生態系統的整體效能，并不會造成明顯的性能影響.

1集裝箱數據中心現狀

集裝箱數據中心一般指的是將服務器和供配電基礎設施置入一臺可移動的大型集裝箱或固定空間中的數據中心，也常被稱為模塊化數據中心(modular datacenter)或便攜式數據中心(portable datacenter).這種預制的小規模數據中心相對傳統數據中心概括起來具有兩大優勢：

1) 集裝箱數據中心易于擴展.集裝箱可以部署在采用者指定的適當位置,且它們通?？梢苑浅Ｑ杆俚卦趲字軙r間內部署完畢；相比之下，建造傳統的數據中心通常得需要幾個月甚至幾年.通過添加集裝箱數據中心、預制單位或建筑面積我們能夠方便地擴展計算容量.

2) 集裝箱數據中心節能經濟.模塊化數據中心可提供恰如所需的供電、冷卻和計算能力.對傳統開放式數據中心及建筑大樓來說，不同的設備(例如服務器、配電系統以及供暖、通風和空調設備等)在設計時都要考慮到最差情況，所以在設計余量中存在著嚴重的成本浪費.

世界上第1款集裝箱式數據中心是Sun公司2007年推出的BlackBox，包含250臺服務器和超過2 PB的磁盤存儲，計算能力強大.相對于建設一個同樣規模的傳統數據中心，Blackbox只需110的時間和1%的建設成本[4].目前一些主流的模塊化數據中心設施生產商包括Sun,HP，IBM，SGI等公司.這些集裝箱數據中心都具有比較高的能源效益(PUE 1.2～1.3)和可觀的計算容量[5-6].

最初集裝箱數據中心的主要設計優化是通過特有的冷熱通道隔絕來提升整體能效.如果按照冷卻裝置的部署特點可以大致分為3類[7]：1)以HP公司POD集裝箱數據中心為代表的頂上冷卻架構，該結構中制冷裝置被裝在服務器機柜上，由上向下提供冷氣；2)SIG公司的ICE Cube，其采用的是行間冷卻架構，制冷裝置被安裝在機柜靠內的一側，這樣兩排機柜之間形成了一條冷氣流通道，而它們的另一側則是熱氣流通道，最后冷熱氣流交換實現了整個系統架構的制冷；3)Sun公司所采用的行間循環冷卻架構，此時制冷裝置被安裝在同行機柜之間的前后側，這樣在每個機柜周圍都形成了循環的冷熱氣流交替.

后期集裝箱數據中心設計開始向更加靈活且可擴展的方向發展.比如愛默生公司的SmartCabinet[8]實現了機柜級別的細粒度模塊化解決方案.一個標準機柜內包括所有IT設備所需的恒定運行條件，占地僅0.7～2 m2，可在1 d內部署完，能夠提供22U服務器空間(約5 kVA)的容量. Dell公司的Humidor[9]系統則獨辟蹊徑地提出了2個集裝箱的縱向堆疊架構：底層集裝箱具有24個全尺寸的機架來提供IT設備；頂層的雙集裝箱提供電力的轉換、測量、分配、以及非易失性電源和致冷散熱系統.這種設計尤其方便IT架構師和設施維護師互不干擾地同時作業.此外，Datapod公司的模塊化數據中心解決方案則更注重可重構性[10].運營商可以根據有機地借助預定義的多種計算設備與基礎設施的模塊來搭建成多種容量的集裝箱化數據中心.

以往關于模塊化數據中心部署的研究主要集中于各模塊間的網絡互聯與優化.Bcube[11]是一個具有代表性的針對數據密集型應用的數據中心網絡優化設計，其特點是能夠借助商用迷你交換機來實現高效經濟的模塊間通信.與之類似的技術還有MDCent[12]，一種數據中心模塊之間的互連結構.以及EBSN[13]，借助盡可能少的網絡資源來實現適用于模塊化數據中心的高可靠網絡架構.另一方面，meGautz[14]則創新地規定了不同模塊的網絡流量，動態平衡負載數量，并對集裝箱內部和外部的網絡進行隔離，從而有效避免了它們之間的帶寬沖突，使得各自擁有比較高的網絡吞吐量.在其它方面，微軟的研究人員則具體借助Markov過程對集裝箱承載的服務器可靠性進行了分析[15],率先提出了針對模塊化數據中心的一般性設計方法.佛羅里達大學的研究人員則調研了數據中心集裝箱的散熱效率問題[7].目前，針對模塊化數據中心的能效優化的研究非常有限，尤其是在和傳統數據中心之間的相互配合與調度之上.

2混合式數據中心系統

傳統數據中心一般是將電信機房與供電設備和制冷裝置統一建立大型計算中心.它們承載著大規模的計算資源，是云計算的重要基礎設施，占據著服務器市場的主要份額.然而，集裝箱數據中心所具有的得天獨厚的優勢正不斷促進中央式大數據中心與分布式微數據中心的協同部署和應用.

2.1傳統設計的局限性

傳統數據中心的一個顯著局限性是缺乏充足的電力供給，尤其是可持續獲得綠色能源.為了提供穩定的信息服務，數據中心需保持(24×7 h)地運行，因而消耗大量的電能.據估計，全球互聯網數據中心的用電功率可達300億瓦特[2]，相當于30個核電站的供電功率.伴隨龐大能耗而來的不僅是巨大的電費開支，還有能源危機與環境問題.為此，許多IT公司都開始發展新能源發電系統用于建設綠色數據中心[16-18]，包括惠普、微軟、Google、Facebook、蘋果等；在國內，阿里巴巴也將在河北建設綠色數據中心(建筑外表覆蓋太陽能電板、購買風能)，同時采用自然風冷和水冷系統[19]

然而，一味地為傳統數據中心增設新能源設備并不能解決數據中心的可持續發展問題.受周邊資源的天然限制，任何一個大型數據中心廠址都無法從本地獲取大規?？沙掷m的新能源供給.在現有情況下，傳統數據中心依賴于從遠處電廠調度電能.事實上，在2010年Google公司為了綠色環保地驅動其俄克拉何馬州的數據中心而買下了愛荷華州風力發電廠20年的發電量[20].這一過程不僅受電網架設的限制，還帶來極大的能源傳輸損耗.

此外，傳統中央式數據中心如果不改變自身的IT架構，將難以應對負載應用激增帶來的沖擊.近些年各種物聯網應用快速發展，生產了大量的數據.這些數據需要通過網絡直接傳到數據中心進行處理，其結果是來自四面八方的數據不論大小、不分時刻地涌入數據中心，給數據中心網絡和計算單元帶來了嚴重的負擔.高峰期間的數據傳輸會造成網絡帶寬資源緊缺.負載種類的復雜性會增加任務相互間的干擾[21]，進一步降低能效和性能.

2.2混合式設計的挑戰

傳統數據中心的局限性勢必會促進低成本可擴展的集裝箱數據中心的發展.利用集裝箱易于部署的特點，可以為傳統大型數據中心配備分布式的微型數據中心，從而構建一種混合式的數據中心系統.如圖1所示，在給定傳統大型數據中心之外，這些集裝箱式數據中心規模有大有小，且能源供給方式也不盡相同.有的是多個集裝箱集群構成的中型數據中心，利用配套的智能微電網驅動自身運轉；有的是小型獨立集裝箱數據中心，采用因地制宜的綠色能源供電(風能、太陽能、生物能源).

Fig. 1　Hybrid green datacenter ecosystem.圖1　混合式綠色數據中心生態環境

這種基于地理上分布的微型數據中心的泛在化數據處理系統在大數據時代具有重要意義.這是由于分布式的微型數據中心可以充分使用當地已存的綠色能源來驅動自身的運轉，解決數據中心用電難、不環保的問題；與此同時，大規模的用戶應用請求不必同時涌向某個單一數據中心，而是被分配到合適的本地集裝箱數據中心上進行處理.這樣不僅能緩解單一數據中心數據擁堵問題，還能緩解計算負荷過大和用電密度過高的壓力.

值得注意的是，雖然混合式設計能夠帶來以上的好處，任意分派的用戶請求并不能很好地解決能源浪費以及網絡代價過高的問題.因為沒有合理的結構規劃，混合式數據處理系統中仍然存在能源利用率不高、服務器能效低下的問題.導致的結果最終只不過是能源浪費和網絡擁堵從中央式數據中心轉移到了分布式的集裝箱數據中心.因此，建設混合式數據中心系統面對兩大挑戰：1) 如何提高對能源的利用效率；2) 如何調度負載從而保證性能.

3分層化設計

為實現對混合式數據中心的調度和管理，本節探索一種分層化的集裝箱數據中心組織架構.

3.1邏輯分層架構

數據中心應用服務存在多元性和多樣化.有的用戶請求需要較短的計算時間且對響應速度要求比較高，而有的用戶請求處理時間冗長但對響應速度卻沒有太嚴格的要求.根據數據中心部署地理位置的網絡性能情況，我們可將數據中心群首先劃分為不同的層，距離用戶層次越“近”的數據中心處理的任務的優先級高，層次越“遠”，處理任務的優先級更低，最“遠”點則匯合在傳統數據中心，基本不處理任務請求，用作保存大量存檔數據.

在圖1展示的混合式數據中心系統中，B,C,D等地區網絡設施比較齊全，數據流通過網絡能夠很快上傳到該位置上的集裝箱數據中心，因此我們認為把它們離用戶很“近”，由它們共同組成的數據中心層也被定義為邊緣層，用于處理用戶交互比較活躍的請求，它們可以配置一些能效比較高、性能比較好的服務器；而A,G,J等地區網絡資源不是很便利，并且該地區用戶活躍度也不是很高，因此可以作為邊緣層的上一層，處理一些對響應時間不敏感的應用，這些數據中心配置一些中端服務器就可以基本滿足服務性能要求；F是導航數據中心，基本不用于用戶交互，主要負責層與層之間的通信和狀態查詢，以及保存大數據時代日益增長的冷數據，因此它可以配置低端經濟的服務器.

上述系統的分層結構特點可以用圖2來表示：最下面一層是邊緣層，是距離用戶應用最“近”的數據中心層，該層主要用于處理那些緊急、活躍的任務.這部分任務數據往往是通過高速網絡上傳到這一層，因此可以滿足對性能要求嚴格的應用的需要；根節點代表導航數據中心，在距離用戶最“遠”的層次上，所有的數據或處理過的數據都將通過廉價的慢速網絡最終被送到導航數據中心中保存以便日后分析研究；實線連接表示下一層的數據中心可以通過網絡直接將任務請求轉發給上一層計算中心處理，也就是說對于非導航層的其它層之間，當下一層計算資源緊張，則可以將任務轉發到上層數據中心進行計算；同層的數據中心之間傳輸代價非常高或者缺乏連接.當下層數據中心轉發任務請求過程中，如果上層數據中心資源不夠或者處于休眠狀態，則考慮將任務轉發給同層數據中心進行計算.

Fig. 2　An example of layered structure.圖2　層次化結構舉例

在未來大數據爆發的時代，數據被訪問的頻率以及模式將成為影響底層硬件工作狀態的重要因素.在分層組織的結構下，不同數據層之間用于傳輸的通信性能不同，并且數據根據它們需要被處理的緊急程度可以被分成“熱”數據和“冷”數據[22].“熱”數據即用戶交互頻繁的應用請求使用到的數據，這部分數據量比較緊急并且數量相對比較少，使用較快速的網絡傳送到較“近”的數據中心層進行處理；“冷”數據指那些對響應時間要求不高的請求所使用的數據以及那些暫時不需要處理但是可以被存儲起來以便日后分析的數據，這部分數據未來將日益增加，可以利用慢速網絡在網絡空閑(比如說凌晨)時上傳到“遠”層進行處理或存檔.

3.2系統優勢分析

分層結構具有顯著的潛在性能優勢.1)分布式的數據中心可以將大規模的應用數據分散開來傳輸和處理，不僅可以減少網絡擁堵，而且能夠緩解數據中心集中式處理負擔過大的問題，可以提升計算性能.2)由于緊急任務不再耗費大量網絡資源和時間代價傳到中央數據中心處理，而是直接被分派到更高效距離更“近”的數據中心上處理，這種分類分層的處理方式可以減少任務的等待時間，進一步提升數據中心的處理性能.3)利用慢速網絡代替快速網絡傳遞大部分非緊急數據，還節約了網絡基礎設施的建設和運營成本；而非緊急數據放在空閑時傳輸對任務本身來說影響較小.

如果對分層結構采取更進一步的分析和優化，可以獲取很高的能效優勢，理由如下：分層結構根據不同應用的性質將它們部署在不同的層次上進行處理，因此邊緣層必須保持24×7 h在線以保證與用戶交互頻繁的應用的正常運行；但是越往里層，處理的用戶任務對時間相應要求越低，因此服務器也不必時時在線，可以根據負載性質情況動態選擇關閉一部分計算單元；導航數據中心基本不處理用戶任務，只是負責通信和數據存儲，因此只需要保持負責通信管理的計算單元在線，將其他計算單元周期性的關閉即可.換言之，如果我們針對集裝箱數據中心采用集中動態休眠的策略，就可以極大地提升分層結構的能源利用效率.

4動態調度

4.1集中休眠

在本文的分層結構中，邊緣層(近層)須保持實時在線，但是高層級(遠層)的集裝箱數據中心可以根據負載狀況動態調整服務器的在線狀態.

分層組織的混合式數據中心可以采用一種動態集中休眠的策略來進一步解決能源利用率的問題，獲取更大的能效優勢.具體調度過程如圖3所示.

該算法思路是把任務按照它們的性質分配不同的優先級，每個優先級對應一個優先級權值，優先級越高其權值也越高.優先級權值的總和臨界值一般交由數據中心管理人員決定，而處理中心的休眠時間和休眠率由優先級權值總和確定，也就是說管理人員可以根據需要自由控制分層數據中心中服務器的動態休眠比率和時間.如果對應任務隊列優先級權值總和比較低，則該層次集裝箱數據中心會比較頻繁地進入休眠狀態，反之如負載優先級增長，系統則動態減少休眠時間和休眠比率.在此管理模式下，集裝箱數據中心群會形成一種服務器在線時間逐層下降的局面.由于數據中心系統不再維持長時間的空閑運作，其整體能源消耗會極大降低.

AlgorithmDynamicSleeping① WhileTrue② lastPriority=currentPriority;③ currentPriority=accumulatedTotalPriorityValue;④ sleepTime=sleepTime×currentPriority∕lastPriori-ty;⑤ sleepRatio=newSleepRatio;⑥ Sleep(sleepTime,sleepRatio);⑦ End

Fig. 4　Program flow diagram of request.圖4　請求處理程序流程圖

Fig. 3Unified dynamic sleeping strategy.
圖3集中動態休眠策略

4.2請求處理

混合式數據中心的分層結構中，用戶請求被首先分配到邊緣層.隨后，根據用戶請求的緊急程度和數據的冷熱程度，低優先級的任務會逐漸被推送到較遠端的數據中心層處理和存儲.如果某一層不能滿足用戶數據處理所需要的計算資源，則該任務也會被轉發到上層處理，如果上層不能處理，才考慮轉發給同層的數據中心進行處理.

在整個請求處理過程中，每個數據中心容器配置一個控制器，其主要任務是管理該容器中服務器的動態休眠以及處理新任務請求和完成任務轉發.控制器是獨立于數據處理中心運行的，采用低功耗的高可靠性嵌入式系統模塊配備后備能源來運行.圖4描述請求處理過程.每個數據中心收到的請求可能來自2個方面:1)數據中心的下級站點(對于邊緣層的集裝箱來說，其下級站點就是不同的智能終端)；2)除下級站點的其他站點.將這2類請求區分的原因是，控制器對于這2類請求的處理優先級是不同的.下級站點的任務請求要優先于其他站點的處理請求，當某個數據中心滿載或者休眠時，控制器會將其標記為Bypass狀態.

在實驗中，我們模擬了3層系統結構，每層處理2種處理來源不同的任務，因此形成了2×3種不同的優先級.我們首先將下級站點的任務優先級劃分為較高的前3個等級，其次將其他站點的任務請求劃分為后3個等級.因而下級站點的所有任務優先級均高于其他站點.從這6個等級中依次派生出6個任務隊列儲存于控制器之上，為防止優先級較低的任務被餓死，控制器被設計為按一定概率選擇任務，任務依據其優先級被選中的概率也不同.

4.3轉發處理

數據中心的轉發請求發生在自身無法滿足本地用戶的請求，而且其上級站點同樣無法處理請求時.無法處理請求可能是數據中心已休眠或者當前站點正忙.對于轉發的處理類似于傳統的選擇算法，我們首先以當前數據中心為中心劃分出一塊臨近區域，該區域的大小確定依據整個架構的密度來決定，在此區域內控制器搜集各個站點的信息，各個站點的狀態由對于數據中心的控制器提供，而該數據中心到臨近數據中心的權值由相鄰數據中心的繁忙程度確定.相鄰數據中心當前負載越高，則到達該數據中心的權值越大.結合數據中心的狀態和權值可以確定一個最終權值，若站點離線或繁忙則權值被標記為無窮大.如果某個數據中心無法直達而需要通過其他數據中心進行中轉，則到達該數據中心的權值會依據中轉次數相應增加.通過以上過程，控制器可以降低整體開銷，但如何到達代價最小的數據中心還需要具體的算法保證.

5性能與能耗分析

為了驗證分層管理與組織以及引入動態休眠策略給混合式數據中心帶來的潛在能效和性能優勢，本節將設計實現對它們進行討論.

5.1實驗環境和設計

5.1.1負載選擇

我們選擇了5種常見的數據中心負載來代表對QoS要求不同的應用服務. 5種應用對應于不同的任務優先級，如表1所示：

Table 1　Workloads

具體描述如下：

1) PerlBench被用來模擬物聯網環境下多用戶并發訪問的場景，該Workload是一個用Perl語言實現的包含垃圾郵件處理、HTML解析器、IO測試等互聯網常用應用場景，該應用運行時間較長.

2) Astar應用是一個A*尋路算法的實際應用，多用于游戲中的智能路徑尋找.該應用被用來模擬智能導航等應用場景.該算法的復雜性導致了較長的運行時間.

3) TextProcess應用包括大量的IO和CPU操作密集型的任務，例如文件壓縮解壓縮、文本過濾等，用以模擬物聯網環境下大數據的預處理等場景.

4) AudioRecognization為語音識別應用，采用Pocketsphinx的運行庫，執行一段語音識別任務，用以模擬物聯網環境下采集的音頻信息進行后期處理的場景.

5) FaceDetection為圖像識別負載, 采用神經網絡算法識別圖像中的人臉，用以模擬對攝像頭采集的圖像進行實時處理的場景.

5.1.2設備參數

我們利用服務器模擬集裝式數據中心，搭建了分層的混合數據中心的一個縮小版的原型.在實驗設計中，混合式集裝箱數據中心被按分成了不同處理性能的3層，負載將會根據其優先等級部署在不同層的數據中心中，并且所有請求會通過Apache服務器發送給后臺PHP進行處理.表2顯示了不同邏輯層硬件配置.我們利用3臺8核Intel?Xeon?CPU模擬與用戶距離最“近”的層次上的數據中心，2臺Intel?CoreTMi5 CPU模擬第2層和導航數據中心.客戶端的任務則由5個多線程程序來模擬，我們采用單臺機器的多個線程進行隨機請求發送，根據不同的負載設定不同的請求速率.由于客戶端只負責發出請求，它們的能耗并不在實驗統計范圍之內.

Table 2　Hardware settings

對于每個數據中心都存在一個線程用以填充其任務隊列.控制器作為數據中心的控制單元而獨立于數據中心的運行,為了滿足不同控制器之間、控制器與導航數據中心之間的通信要求，我們將所有計算的運行都在一個局域網內進行，因此通信線路采用1 Gbps的雙絞線進行連接.客戶端與控制器以及處理中心間的信息交換使用HTTP協議，客戶端通過CURL命令將單個請求發送至控制器，控制器根據處理中心狀態選擇將請求加入隊列或者路由至處理中心處理，客戶端和處理中心間的數據交換通過基于SSH協議的SCP進行拷貝.控制器與處理中心一一對應，而控制器對于相應的處理中心有完全控制權.為了保證安全，控制器與處理中心間的通信全部采用非對稱加密，控制器通過SSH協議公鑰訪問處理中心.控制器與導航中心通信時采用SOCKET進行信息交換.

5.1.3管理策略

為了驗證本文提出的設計優勢，我們對比了分層管理的數據中心和未優化的混合式數據中心的性能和能源使用情況.我們采取專業精密功率和電能表對服務器的能耗和功耗進行實時檢測，并監測任務等待隊列堆積的請求數量來分析其性能.

最終實驗包含3種策略：

1) Origin策略.該情況作為實驗對比的基準，沒有將數據中心進行分層管理，因此也沒有引入動態休眠策略.該種情形下，所有客戶端依照不同的任務產生速率隨機發送請求至控制器，控制器將任務加入等待隊列，數據中心不斷從等待隊列中獲取任務并執行.在此種調度策略下，單一數據中心僅服務于固定區域，無法處理的請求會在任務隊列內堆積或者造成處理中心低能效運行.

2) Layered策略.相比傳統設計，該情況將混合式數據中心進行了分層管理.優先級等級較高的請求被發送到最“近”的層面的數據中心處理，優先級較低的發送到第2層計進行處理，導航中心基本不參與數據處理.下層數據中心不能處理的請求優先發送到上層站點進行處理，若上層站點不能處理則轉發至導航數據中心處理;若導航數據中心仍然繁忙，則才轉發至同層的數據中心請求幫助.

3) Layered+Sleep.在分層設計的基礎上對集裝箱數據中心群采用動態休眠政策，具體是最外層數據中心保持24×7實時在線處理用戶請求，第2層數據中心和最遠點的導航數據中心采用不同的動態休眠政策.此時，轉發過程中，如果被求助的對象處于休眠狀態，也不能幫助處理，只能繼續轉發至其它數據中心或者加入等待隊列.

5.2實驗結果

5.2.1性能分析

圖5是實驗中測得的任務等待隊列中任務數量隨時間的變化，其數值越大，說明任務堆積越嚴重，數據中心性能越低下，越難滿足計算需求.

Fig. 5　Monitored performance results.圖5　性能監測結果

圖5(a)(b)分別是Origin和Layered兩種策略下任務等待隊列的長度隨時間的變化.傳統的任務調度模式缺乏對隨機到達任務的管制和分配，因而數據中心存在任務分配不均以及一定的任務堆積現象.相比圖5(a)、圖5(b)中等待隊列里的任務能夠很快被處理完.這一方面說明分層的組織結構能夠很好的提升混合式數據中心的性能，即任務等待時間；另一方面也說明分層情況下計算資源有空閑的余地，即便是被關閉一部分計算資源仍有可能滿足計算需求，存在進一步用性能換能效的潛力.

圖5(c)和圖5(d)展示的是Layered+Sleep策略下的結果.由于計算隊列中任務數量變化較大，性能檢測顯示抖動較大.我們考慮了2種情形：輕度睡眠和深度睡眠.在輕度睡眠情況下，中間層數據中心的休眠頻率平均在20%;而在深度睡眠情況下，中間層數據中心的休眠頻率平均在50%.可以看到，輕度睡眠的服務器對于一些高優先級負載的隊列等待長度影響是較小的，而對于低優先級的任務(MailProcess)影響則比較明顯.若進一步增加休眠頻率，一些低優先機的任務可能面臨不斷增加的隊列長度，這會影響到隊列中每個任務的平均等待時間.雖然低優先級的任務對于響應時間并不敏感，但是如果我們在分層數比較小的情況下施加較為激進的休眠的話會造成比較嚴重的數據堵塞.

5.2.2能效分析

分層結構使得不同層次計算需求不同，利用這種計算需求上的差異引入動態休眠存在很大的能效優勢.在圖6中我們對比不同休眠狀態下可以帶來的數據中心整體節能效果.我們直接測得Origin情況下所有服務器(混合式數據中心系統)消耗的功率大約是最大功率的80%，圖6中縱坐標表示Layered情況下4×3種不同動態休眠策略下相比Origin節約的能源百分比，橫坐標表示代表中央數據中心的服務器的休眠比率.可以看出，隨著動態休眠時間的增長，數據中心可以節約更多的能源；但是這樣的能效優勢卻也是受到數據中心性能牽制的，即當關閉的計算資源過多或造成數據中心計算資源不夠，從而導致其服務質量嚴重下降.在實驗中，對各層級集裝箱數據中心采取適度的負載整合以及集體休眠策略可以帶來12%以上的節能. 綜上，針對分布式集裝箱數據中心集群的分層組織結構可以實現對計算資源合理的管理和規劃，并且在這種分層結構中使用合理的集體休眠策略可以在性能影響較低的情況下進一步提高能效.

Fig. 6　Experimental results of energy consumption.圖6　能耗測量結果

6結語與展望

模塊化預定制的硬件設計模式使得地理分布的微型數據中心能夠快速方便地部署.這些集裝箱數據中心與傳統集中建設的大型數據中心在未來共同組成了一種混合式的數據中心生態環境.對此類混合式系統進行合理的調度和管制，可以進一步提升數據中心能源利用的效率.本文著眼于集裝箱數據中心集群在部署時可能面臨的網絡狀況和本地待處理數據特性的差異，將混合式數據中心在邏輯上劃分成不同的分層結構來進行任務調度和資源分配.基于這種分層的邏輯結構，引入了一種動態集體休眠的管理方法來進一步提升能源利用效率.小規模實驗結果顯示所提出的設計機制能夠提升12%～32%的整體能效，并確保任務性能可控.

本文提出的分層化設計與管理技術作為集裝箱數據中心綠色節能的初步探索，還存在一些考慮不周的地方.例如，本文并沒有具體分析應該分多少層、每層數據中心的合理容量規劃等.另外值得注意的是數據中心集裝箱本身也存在一些劣勢：為放置在邊遠地區的集裝箱數據中心和預制單位提供水電和網絡資源的難度大費用高；孤立的集裝箱數據中心或預制單位比普通大樓更容易被入侵或搗毀；耐用性方面，目前的集裝箱數據中心還不適合長期用于惡劣環境中.如何設計和利用更加可靠經濟的集裝箱數據中心依然是個開放性問題.

參考文獻

[1]Ren C, Wang D, Urgaonkar B, et al. Carbon-aware energy capacity planning for datacenters[C]Proc of the 20th Int Symp on Modeling, Analysis & Simulation of Computer and Telecommunication Systems. Piscataway, NJ: IEEE, 2012: 391-400

[2]DatacenterDynamics. Green grid signs metrics collaboration pact with ODCA[EBOL]. (2011-11-08) [2016-03-01]. http:www.datacenterdynamics.comnewsgreen-grid-signs-metrics-collaboration-pact-with-odca55525.fullarticle

[3]Li C, Hu Y, Liu L, et al. Towards sustainable in-situ server systems in the big data era[C]Proc of the 42nd Annual Int Symp on Computer Architecture. New York: ACM, 2015: 14-26

[4]Christesen S. Data center containers[EBOL]. (2009-06-15) [2016-05-08]. http:www.datacentermap.comblogdatacenter-contai ner-55.html

[5]TechTarget. Investigating data center containers of different vendors[EBOL]. (2010-03-17) [2016-05-08]. http:www.searchdatacenter. com.cnshowcontent_32690.htm (in Chinese)(TechTarget. 各大廠商集裝箱式數據中心挨個看[EBOL]. (2010-03-17) [2016-05-08]. http:www.searchdatacenter.com.cnshowcontent_32690.htm)

[6]Sohu IT. Sun Blackbox a revolution in datacenter[EBOL]. (2007-10-22) [2016-05-08]. http:it.sohu.com20071022n252785910.shtml (in Chinese)(搜狐IT. Sun Blackbox引發數據中心革命[EBOL]. (2007-10-22) [2016-05-08]. http:it.sohu.com20071022n252785910.shtml)

[7]Qouneh A, Li C, Li T. A quantitative analysis of cooling power in container-based data centers[C]Proc of the 2011 IEEE Int Symp on Workload Characterization. Piscataway, NJ: IEEE, 2011: 61-71

[8]GrayBar. Emerson SmartCabinet: Intelligent, integrated infrastructure in an enclosure[EBOL]. (2015-12-03) [2016-05-08]. http:www. graybar.comblogiotemerson-smartcabinet

[9]Vance A. Dell sees double with data center in a container[EBOL]. (2008-12-08) [2016-05-08]. http:bits.blogs.nytimes.com20081208dell-sees-double-with-data-center-in-a-container

[10]Watson G. Server room solutions inside modular and containerized data centers[EBOL]. (2015-09-11) [2016-05-08]. http:blog. datapod.com.aublogserver-room-solutions-inside-modular-and-containerized-data-centers

[11]Guo C, Lu G, Li D, et al. BCube: A high performance, server-centric network architecture for modular data centers[C]Proc of the ACM SIGCOMM Conf on Data Communication. New York: ACM, 2009: 63-74.

[12]Lu Feifei, Zhu Guiming, Tao Zhirong, et al. MDCent: A modular data center interconnection with high scalability and high performance[J]. Journal of Computer Research and Development, 2015, 52(5): 1127-1136 (in Chinese) (陸菲菲，朱桂明，陶志榮, 等. MDCent: 一種高可擴展、高吞吐量的模塊間互聯結構[J]. 計算機研究與發展, 2015, 52(5): 1127-1136)

[13]Han Dong, Xiao Wenjun, Li Meisheng. EBSN: A new model with full-structure for modular data center[J]. Journal of South China University of Technology: Natural Science Edition, 2015, 43(1): 94-99 (in Chinese)(韓冬，肖文俊，李梅生. EBSN：一種新型全結構模塊化數據中心模型[J]. 華南理工大學學報: 自然科學版, 2015, 43(1): 94-99)

[14]Huang F, Zhang Y, Li D, et al. meGautz: A high capacity, fault-tolerant and traffic isolated modular datacenter network[JOL]. IEEE Trans on Services Computing, 2016 [2016-05-08]. http:ieeexplore.ieee.orgxplarticleDetails.jsp?arnumber=7440897

[15]Vishwanath K, Greenberg A, Reed D. Modular data centers: How to design them[C]Proc of the Workshop on Large-Scale System and Application Performance. New York: ACM, 2009: 3-10

[16]Li C, Wang R, Qian D, et al, Managing server clusters on renewable energy mix[J]. ACM Trans on Autonomous and Adaptive Systems, 2016, 11(1): No 1

[17]Deng Wei, Liu Fangming, Jin Hai, et al. Leveraging renewable energy in cloud computing datacenters: State of the art and future research[J]. Chinese Journal of Computers, 2013, 36(3): 582-598 (in Chinese)(鄧維, 劉方明, 金海, 等. 云計算數據中心的新能源應用: 研究現狀與趨勢[J]. 計算機學報, 2013, 36(3): 582-598)

[18]Ye Ran, Li Chao, Liang Xiaoyao. Energy storage system in green data centers: Architecture and management[J]. Journal of Computer Research and Development, 2016, 53(2): 326-340 (in Chinese)(葉冉, 李超, 梁曉峣. 面向綠色數據中心的儲能系統:體系結構和管理方法[J]. 計算機研究與發展, 2016, 53(2): 326-340)

[19]Zhao Gang. Ali Cloud built green data center in Zhangbei[EBOL]. (2015-06-08) [2016-05-08]. http:it.gmw.cn2015-0608content_15915778.htm (in Chinese)

(趙剛. 阿里云在張北建綠色能源數據中心[EBOL]. (2015-06-08) [2016-05-08]. http:it.gmw.cn2015-0608content_15915778.htm)

[20]Bosker B. Google buys 20 years’ worth of wind energy to power data centers[EBOL]. (2010-07-21) [2016-05-08]. http:www.huffingtonpost.com20100721google-wind-farm-purchase_n_653146.html

[21]Lo D, Cheng L, Govindaraju R, et al. Heracles: Improving resource efficiency at scale[C]Proc of the 42nd Annual Int Symp on Computer Architecture. New York: ACM, 2015: 450-462

[22]Kambatla K, Kollias G, Kumar V, et al. Trends in big data analytics[J]. Journal of Parallel and Distributed Computing, 2014, 74(7): 2561-2573

Hou Xiaofeng, born in 1993. PhD candidate. Her main research interests include computer architecture and highly available data center system.

Song Pengtao, born in 1991. Master candidate. His main research interests include computer architecture, IoT system, and cloud computing.

Tang Weichao, born in 1989. Received his Master degree in 2016 from Shanghai Jiao Tong University. His main research interests include computer architecture and green data center design.

Li Chao, born in 1986, Tenure-track assistant professor and PhD supervisor at Shanghai Jiao Tong University. Member of China Computer Federation. His main research interests include computer architecture and green computing.

Liang Xiaoyao, born in 1978. Professor and PhD supervisor. Member of China Computer Federation. His main research interests include computer architecture, GPGPU, and HPC systems.

收稿日期：2016-03-06；修回日期：2016-05-12

基金項目：國家自然科學基金項目(61502302)

通信作者：李超(lichao@cs.sjtu.edu.cn)

中圖法分類號TP391

Green Hierarchical Management for Distributed Datacenter Containers

Hou Xiaofeng, Song Pengtao, Tang Weichao, Li Chao, and Liang Xiaoyao

(DepartmentofComputerScienceandEngineering,ShanghaiJiaoTongUniversity,Shanghai200240)

AbstractIn recent years, modular datacenters (datacenter containers) have become promising IT infrastructure solutions due to their impressive efficiency and scalability. Pre-fabricated containers can be deployed not only in existing warehouse-scale datacenter facilities for capacity expansion, but also in urban?remote areas to support onsite Internet of Things (IoT) data processing. Combing conventional centralized datacenter servers with distributed containers can offer cloud providers new opportunities of exploiting local renewable energy resources and reducing unnecessary data movement overhead. This paper investigates a hierarchical management strategy for emerging geographically distributed datacenter containers. We logically group distributed datacenter containers into multiple classes that have different data accessing patterns. During runtime a central navigation system is used to monitor the utilization of each container class and perform dynamic sleeping scheduling to further improve the overall energy efficiency. Experimental results on our scaled-down test-bed show that the proposed mechanism can save 12%～32% energy cost while ensuring high performance.

Key wordscloud computing; datacenter container; green computing; hierarchical management; performance evaluation

This work was supported by the National Natural Science Foundation of China (61502302).