高效能數據中心全鏈路能耗管理技術研究

張春光，袁軍寶，張金帥，梅玉娜

（北京中電普華信息技術有限公司，北京 100192）

0 引 言

作為企業數據與信息管理的核心和業務管理應用的處理中心，數據中心肩負海量的關鍵任務。同時，數據中心的能耗問題也因為數據中心的體量不斷增加被提上議程，“高效能數據中心”的話題也被業界廣泛關注[1]。

如圖1所示，數據中心能耗中兩大主要的能耗來源是IT設備能耗和制冷的能耗。由于存在地理環境等因素的影響，數據中心不同設備的能耗占比存在波動，但對于多數情況，IT設備和制冷設備的能耗都能占據到數據中心總能耗的80%以上，因此對其的能耗管理與優化對于企業來說至關重要[2]。

1 全鏈路能耗管理

對數據中心的能耗優化管理是實現高效能數據中心的必由之路。本文將分別從供電、制冷、IT設備及業務調度四個方面對數據中心的能耗進行管理優化，實現數據中心的全鏈路能耗管理[3]。

圖1 數據中心能耗構成

1.1 供電系統能耗管理

數據中心能耗總量大主要是因為數據中心在工作時，大部分組件都將承受負載，這也是傳統的動態電壓調節方法只調節單一模塊難以有效降低數據中心總能耗的主要原因。為了實現“高效能數據中心”，本文將采用基于位置的負載平衡策略來管理數據中心供電系統的能耗[4]。

基于地理位置的負載平衡（Geographic Load Balancing，GLB）是利用不同數據中心所在地區的電價、碳補償系數等的差異進行相應的負載調度及路由。數據訪問操作的流程為：首先用戶發起訪問請求，請求被前端服務器接收，然后服務器將請求重定向到相對最優的地區的數據中心進行處理，由多個互斥的優化目標決定請求流量的大小。GLB的結構如圖2所示。

圖2 GLB結構圖

1.2 制冷系統能耗管理

氣流循環的綜合優化是數據中心制冷能耗優化的關鍵。對供氣模式的選擇，建筑結構和參數的選擇以及制冷的布局等都是優化設計的一部分。通過優化設計，可以有效減低制冷系統的能耗。一方面，優化氣流組織使得氣流的循環穩定，大大減少冷熱氣流的相互作用，使得冷氣流能夠被充分利用，所以制冷設備能耗量能得到優化；另一方面，因為機房機柜布局合理，使得機房整體溫度均勻，無局部熱點，整體的工作溫度可以維持在一個較高的值[5]。

（1）選擇送回風的方式

一般數據中心機房送風方式分為兩種，一種是上送風，另一種是下送風。送回風方式則分為開放式、局部管道式及全管道式。由不同的樓層設計模式和不同的送回風方式可以組合成多種送回風的模式。通過大量的實驗對比，目前數據中心主要采取兩種送回風模式，一種是硬地板結合開放式送回風，另一種是架空地板結合開放式送回風。前者形成了典型的上送風模式，如圖3所示；后者是下送風模式，如圖4所示。

圖3 典型的上送風形式

圖4 典型的下送風形式

（2）機柜布置優化

如圖5所示，在早期的數據中心中，由于經驗不足，沒有考慮氣流組織的因素，通常采用統一朝向的機柜排布。機柜排布經過優化設計后，如圖6所示，一般采用面對面，背靠背的布置方式。

在這種布置模式中，機柜將冷熱氣流的通道隔離開，冷氣流通過架空地板層從冷通道進入機柜，熱氣流通過熱通道也就是機柜背部升至上方返回制冷單元。冷熱通道的隔離意義重大，防止了冷熱氣流之間的相互作用，大大增加了冷氣流冷卻效率，節省了制冷系統的能耗。在采取這種布置模式時，還可以采用擋板將冷熱通道更加徹底的隔離，進一步提高制冷效率，實現冷氣流的高效利用。

圖5 統一朝向的機柜排布

圖6 面對面、背靠背的機柜排布

1.3 IT設備能耗管理

為了實現“高效能數據中心”，本文提出了基于數據中心節點重部署的能耗管理算法。該算法的基本思想就是將原本無規律的、隨機部署的節點重部署，使得它們有序化聚集，從而使得數據中心一部分節點充分發揮自身的計算能力，另一部分節點采取深度休眠等措施，同時與節點相關聯的制冷設備也可以進入休眠狀態，使得數據中心在保障了QoS的同時，達到高效能的目標。

算法所基于的系統模型如圖7所示。計算與存儲設備上包含了節點資源管理模塊、節點控制模塊、數據遷移模塊、訪問記錄管理模塊和節點運行監測模塊；溫控系統包含了環境監測模塊和溫控設備控制模塊。其中溫控系統與計算設備協同工作，特別根據節點運行監測模塊和環境監測模塊感知的情況，再利用溫控設備控制模塊來決定溫控設備是否開啟以及開啟的程度，使得溫控系統可以實現數據中心各區域的精確溫度控制[6]。

圖7 系統模型

該策略具有如下優勢。

（1）降低了數據中心總體的能耗。由于數據和節點聚集之后，部分區域節點的工作負載增加，使得功耗隨之上升，但是部分區域的節點進入了休眠狀態，同時制冷設備也無需運行，從而降低了總體能耗。

（2）提高了資源利用率。由于數據聚集之后，節點在開機運行時，都將處在高負載的狀態，進而提高了資源的利用率。

（3）系統的QoS得到保障。得益于算法采用的運行規律相反，節點數據的相互備份實現服務的持續提供和數據的不間斷訪問，使得系統QoS也得到了保障。

（4）通過輪換運行延長了硬件設備的使用壽命以及提升硬件設備的穩定性。

1.4 業務調度能耗管理

當前數據中心亟需解決的問題是，如何在降低整體的能耗成本的情況下，滿足用戶的資源需求。因此，相應的數據調度算法對于當前的數據中心至關重要。本文將分別對在線和離線兩種場景介紹適用的算法。

（1）在線遷移節能調度算法

該算法適用于在線請求分配場景。算法首先開啟一臺服務器接收虛擬機請求，當該服務器不能再接收請求分配時，則申請新的服務器進行分配。在設定的遷移時刻，將服務器隊列中的所有服務器，按照服務器上的虛擬機數量進行排序，篩選出負載低于設定的最低閥值的服務器集合，依次將這些服務器上的虛擬機按照服務器負載由低到高依次遷移到服務器隊列中剩余的服務器上。當服務器上的所有虛擬機遷移后，如果有空負載的服務器，則關閉該服務器，保證以較少數量的服務器滿足所有的任務請求[7]。

算法流程如圖8所示。

圖8 在線遷移節能調度算法流程圖

（2）離線負載跨度最大節能算法

該算法適用于離線請求分配場景。算法首先將相鄰請求的開始時間和結束時間的間隔劃分成時隙；然后依次計算每個時隙內所有虛擬機請求的CPU負載總和；根據負載計算出每個時隙所需的最大服務器數量，將服務器數量相同且相鄰的時隙劃分為一個個的連續區間；統計服務器數量最大的連續時隙構成的區間，考慮位于該區間里面的所有虛擬機請求，優先分配執行時間最長的虛擬機請求。

算法流程如圖9所示。

圖9 離線負載跨度最大節能算法流程圖

2 整體架構

圖10為高效能數據中心能耗管理及優化技術的運行模式示意圖。

圖10 運行模式示意圖

如圖10所示，該方案設計涵蓋控制中心的調度策略以及基礎環境數據的處理等。

控制中心是數據中心能耗管理方案的“大腦”，采集系統將所有的采集數據遞交給控制中心，由控制中心對各類數據通過神經網絡技術進行處理分析，采取最優措施，反饋給各個系統，以實現對整個系統的管理和控制。

采集系統由各類傳感器所組成，遍布于整個數據中心，對數據中心IT基礎設備全鏈路節點進行監控，并把相關信息傳遞給控制中心，由控制中心實現對IT基礎設備全鏈路各個節點的控制。

在數據中心的能耗管理控制過程中，所有鏈路上的IT基礎資源都將進行閉環控制，如圖11所示。對于每個鏈路節點，都將由采集系統采集相應的能耗數據，遞交給控制中心分析存儲，再由控制中心依據相應的算法給出管理控制策略，反饋控制鏈路節點。

圖11 閉環控制

3 結 論

隨著新興的技術理論不斷突破[8]，數據中心在支撐經濟社會發展的同時，其能耗管理將會更加精細，能源效率不斷提高，數據中心會變得越來越高效，越來越環保。