基于密集測量的數(shù)據(jù)中心能效研究

郭巧洪， 武 彤， 胡宇昭， 沈慶飛， 李安香

(1. 住房和城鄉(xiāng)建設部信息中心，北京 100835；2. 中國計量科學研究院，北京 100029；3. 德賽英創(chuàng)(天津)科技有限公司，天津 300300)

0 引言

能源是數(shù)據(jù)中心可靠穩(wěn)定運行的基礎，隨著近年來行業(yè)的快速發(fā)展，能耗已經(jīng)成為企業(yè)的主要成本，政府和公眾對數(shù)據(jù)中心的高效運行也更加關(guān)注。數(shù)據(jù)中心是一個綜合性的耗能單位，消耗的能源品類有電能、柴油、水和天然氣等。在數(shù)據(jù)中心的運營成本中約有一半是來自公共電網(wǎng)電能消耗，可見電能為最主要的耗能品類。

數(shù)據(jù)中心電能使用效率的測量和評價方法受到關(guān)注。近年來，各種技術(shù)組織制定了多種數(shù)據(jù)中心能效評價方法和標準，為數(shù)據(jù)中心尋找節(jié)能潛力提供了技術(shù)支撐。然而，隨著數(shù)據(jù)中心節(jié)能改造工程的實施，行業(yè)能源效率普遍提高，造成原有評價方法不能為未來的節(jié)能方向提供更深入的數(shù)據(jù)支持。

數(shù)據(jù)中心能源效率提升的手段也在向系統(tǒng)化方向發(fā)展。數(shù)據(jù)中心早期的能效提升主要依靠能源消耗設備和能源轉(zhuǎn)換設備的能效水平提升。然而，有時設備能效的提升會造成投入成本過高，使節(jié)能不具備經(jīng)濟性，行業(yè)推廣受限。另外，隨著高能效設備的普及，設備能效提升的空間越來越有限。因此，數(shù)據(jù)中心更應當被視為一個整體系統(tǒng)進行節(jié)能分析，從能源購入、存儲、轉(zhuǎn)化和使用等多個環(huán)節(jié)統(tǒng)籌考慮，從IT設備發(fā)熱量與制冷系統(tǒng)匹配的角度尋找節(jié)能潛力。在目前的節(jié)能實踐中，考慮到數(shù)據(jù)中心設計參數(shù)與實際運行狀態(tài)的差異，應當通過密集的能耗和運行狀態(tài)參數(shù)測量來獲取準確、可靠的數(shù)據(jù)，并采用相關(guān)性的分析方法獲得可行的節(jié)能策略，為數(shù)據(jù)中心能效提升分析方法開辟新路徑。

1 數(shù)據(jù)中心能效評價方法

在我國數(shù)據(jù)中心能效評價體系中主要存在四種方式：一是電能效率評價，例如PUE或者EEUE；二是綜合打分法，例如綠色數(shù)據(jù)中心評價；三是新增能耗限制等減量替代法；四是完成單位工作量的能耗評價。這四種方法均涉及到能源的計量數(shù)據(jù)，其中第二、三種方法以第一種方法為基礎。這樣的評價方式主要用于比較同一個數(shù)據(jù)中心在不同時期的能效水平，或者用于比較不同的數(shù)據(jù)中心的能效水平。在能效評價的基礎上，這些方法還致力于尋找節(jié)能潛力，為進一步的節(jié)能改造提供信息支撐。目前，大型數(shù)據(jù)中心在不同地理位置的能效水平差異較大，采用上述方式尚不能有效識別由于地理位置不同引入的能效差異，故此更加需要大量的計量數(shù)據(jù)作為分析的基礎。

2 數(shù)據(jù)中心與能效相關(guān)的主要計量參數(shù)

電能是數(shù)據(jù)中心消耗的主要能源品類。其中公共電網(wǎng)接入的電能是占總能源消耗的90%以上，另外柴油消耗也以發(fā)電量匯入總能源消耗。由此可見，電能是與數(shù)據(jù)中心能效強相關(guān)的計量參數(shù)。

數(shù)據(jù)中心電能的消耗可以分為三部分：IT設備耗電量、供配電系統(tǒng)耗電量、制冷系統(tǒng)耗電量。IT系統(tǒng)耗電量是主要電能消耗，一般占比超過總耗電量的50%，其主要節(jié)能方式是采用高效IT設備。供配電系統(tǒng)耗電量一般占比為10%～20%，其主要的節(jié)能方式也是采用高效供配電設備、市電直供和高壓供配電技術(shù)。實際中，以上兩個部分節(jié)能主要在設計階段，而在投產(chǎn)之后改造空間受限。制冷系統(tǒng)耗電量一般占比為30%～40%，在數(shù)據(jù)中心投產(chǎn)后具備多種節(jié)能潛力和改造空間，因此實際中的數(shù)據(jù)中心節(jié)能常常以制冷系統(tǒng)為對象。

在數(shù)據(jù)中心的物理基礎設施中，制冷系統(tǒng)起到冷卻IT設備發(fā)熱的作用，將熱量由建筑結(jié)構(gòu)內(nèi)部傳導至外部。在制冷系統(tǒng)的節(jié)能研究中，一方面從冷卻技術(shù)考慮，例如自然冷卻、氣流組織優(yōu)化等；另一方面控制制冷區(qū)域，例如封閉冷通道。這些技術(shù)的目標均為保障機房內(nèi)的溫度穩(wěn)定，確保IT設備可靠運行。

基于上述分析，在數(shù)據(jù)中心投產(chǎn)運行后，決定其能源效率的主要計量參數(shù)是電能和溫度。目前的數(shù)據(jù)中心能效分析主要參考能耗數(shù)據(jù)，然而高效節(jié)能的數(shù)據(jù)中心運維也離不開溫度的控制。故此，數(shù)據(jù)中心能效改進需要基于電能消耗和溫度的測量數(shù)據(jù)。

3 數(shù)據(jù)中心的能效提升工具

3.1 能源流程圖和能源計量網(wǎng)絡圖

目前數(shù)據(jù)中心的能源效率主要關(guān)注IT設備能耗與總能耗的比例關(guān)系，而總能耗的使用可能涉及到多種能源的轉(zhuǎn)換和不同設備模塊間的傳輸。為了能夠?qū)碗s的數(shù)據(jù)中心用能場景直觀、明確地反映出來，提升管理者和運維團隊對能耗結(jié)構(gòu)的理解，需要使用能源流程圖進行工作。

數(shù)據(jù)中心整體能效由各個組成部分的能效決定，因此整體能效分析可依據(jù)能源流向圖分階段開展，如圖1所示。能源消耗在數(shù)據(jù)中心的流向可分為4個部分：(1)購入存儲，例如從公共電網(wǎng)購入的電能、通過購買存儲柴油等能源使用發(fā)電機供電。在數(shù)據(jù)中心能源使用中，柴油發(fā)電機僅用于緊急供電，使用頻次較低，因此基本以購入的電能作為主用能源；(2)加工轉(zhuǎn)換，例如供配電、UPS等；(3)輸送分配；(4)終端使用，例如服務器、空調(diào)、水泵、照明等。每一部分的能效對數(shù)據(jù)中心整體的能效影響是不同的，需要關(guān)注重點部分的能效。

圖1 數(shù)據(jù)中心能源流程圖示例

圖2 能源計量網(wǎng)絡圖

能源計量網(wǎng)絡圖應當與能源流程圖協(xié)調(diào)一致，需明確清晰地反映出數(shù)據(jù)中心整體的能源計量結(jié)構(gòu)，如圖2所示。在大型數(shù)據(jù)中心的配電結(jié)構(gòu)中，每一個細分部分均有可能由數(shù)臺設備構(gòu)成，例如數(shù)據(jù)中心會使用數(shù)十臺UPS設備，需要針對每一個部分進行能效分析。使用能源計量網(wǎng)絡圖，結(jié)合按照能源計量網(wǎng)絡圖獲得的能耗數(shù)據(jù)，可以清晰地呈現(xiàn)各功率較大的設備對于整體能效的影響。實踐中，能源計量網(wǎng)絡圖將用能設備進行分類，主要分為用能單位、主要用能設備等，并確認用能儀表安裝位置、測量量程、最大允許誤差等技術(shù)參數(shù)。在最終的能源計量網(wǎng)絡圖中將繪制出數(shù)據(jù)中心的能源計量結(jié)構(gòu)，同時計量儀表位置、測量內(nèi)容、準確度也有相應體現(xiàn)。

通過能源流程圖和能源計量網(wǎng)絡圖，能夠?qū)崿F(xiàn)數(shù)據(jù)中心能源流動的全過程數(shù)據(jù)分析，可以作為綜合能效評價的基礎性數(shù)據(jù)，同時動態(tài)地反映各環(huán)節(jié)的能源利用效率,為尋找節(jié)能機會、利用人工智能算法制定節(jié)能策略提供數(shù)據(jù)基礎。

3.2 溫度密集計量裝置

雖然評價數(shù)據(jù)中心用能狀態(tài)的參數(shù)為能源效率，但影響能源效率的主要因素是機房溫度分布，故此溫度分布的計量測試對數(shù)據(jù)中心能效分析非常重要。目前新投產(chǎn)的數(shù)據(jù)中心絕大多數(shù)采用了溫度傳感器進行狀態(tài)監(jiān)控，主要目標是測量環(huán)境溫度是否處于服務器的可靠運行區(qū)間，其采用的設備精度較低，同時布點位置也相對單一。然而，與能效相關(guān)的溫度密集計量要求以更高準確度和密集度測量機房內(nèi)的溫度分布，數(shù)據(jù)中心現(xiàn)有測量系統(tǒng)很難滿足要求。

實際中，數(shù)據(jù)中心采用的標準機柜高度和服務器的安裝高度相對固定，為了研究每層服務器的進風口位置溫度參數(shù)，需要設計研制專門的溫度密集計量裝置，如圖3所示。該裝置采用推車設計方式，按照垂直方向設計了8個測量層，每個測量層采用60cm×60cm支架并安裝有9個溫度傳感器和1個濕度傳感器，兩層間隔為25cm，8層滿足標準機柜的測量高度要求。

圖3 數(shù)據(jù)中心溫度密集計量裝置

4 能源計量數(shù)據(jù)的分析

4.1 能源儀表的準確性分析

對于數(shù)據(jù)中心能效分析而言，電能和溫度測量數(shù)據(jù)是節(jié)能分析的基礎數(shù)據(jù)，其準確性直接影響了分析結(jié)果是否有效。為了保障數(shù)據(jù)的準確性，需對測量儀表進行量值溯源。數(shù)據(jù)中心的自有儀表一般采用固定安裝方式，不易拆卸送計量機構(gòu)進行實驗室校準，因此需要采用在線比對方式驗證準確性。

在線驗證的具體方法是使用經(jīng)過校準的標準儀表與數(shù)據(jù)中心儀表測量相同對象，例如對智能電表進行在線比對需要使用標準電能質(zhì)量分析儀測量相同用電設備電量。如果標準儀表與被比對儀表的測量數(shù)據(jù)偏差在一定范圍內(nèi)，則認為數(shù)據(jù)中心儀表測量結(jié)果準確可靠。

測量數(shù)據(jù)的評價方式可采用En值方法。En值方法表述了數(shù)據(jù)中心儀表與標準儀表的相對偏差，是一種在比對實踐中常用分析方法，其計算如式(1)所示。

(1)

式中，x為數(shù)據(jù)中心儀表測量結(jié)果；X為標準儀表測量結(jié)果；UDC2為數(shù)據(jù)中心儀表的擴展不確定度；ULab2為標準儀表的擴展不確定度。

當En≤1時，可認為數(shù)據(jù)中心測量儀表測量結(jié)果準確。在使用En值方法時需要注意公式中的4個參數(shù)需采用相同單位。

4.2 溫度分布參數(shù)分析

能源數(shù)據(jù)分析的一個重要方向是研究溫度場與能耗之間的相互關(guān)系。由于實際情況常受到隨機因素的影響，需要采用統(tǒng)計相關(guān)性的分析方法，同時采用能源流程圖和能源計量網(wǎng)絡評估各個環(huán)節(jié)的用能水平，提高節(jié)能措施的針對性和科學性。

從相關(guān)性分析角度，溫度場與列頭柜能耗數(shù)據(jù)具有相關(guān)性。通過兩者數(shù)據(jù)的收集和整理，可以較好地分析不同功率密度機架的過熱風險和冷量分配。如圖4所示，采用溫度密集計量裝置對數(shù)據(jù)中心的區(qū)域A和區(qū)域B進行了測量，得到了兩個區(qū)域的溫度分布。圖4中灰色矩形表示機架，藍色、黃色表示機房空間溫度，藍色表示低溫，黃色表示高溫。

圖4 數(shù)據(jù)中心分區(qū)域溫度分布

通過對數(shù)據(jù)中心不同區(qū)域電能與溫度場的分析研究，不僅能夠及時調(diào)整數(shù)據(jù)中心空調(diào)系統(tǒng)運行參數(shù)，以使機房環(huán)境的各項指標合規(guī)；通過電能與溫度場更精準的可分析性，可對不同功率密度區(qū)域進行制冷量分配調(diào)節(jié)，從而合理實現(xiàn)節(jié)能。基于能源計量數(shù)據(jù)可知，區(qū)域A和區(qū)域B的機架功率密度存在較大差異，區(qū)域A中的單機架平均功率為1.95kW，區(qū)域B中的單機架平均功率為2.88kW，兩個區(qū)域的入口溫度對比如表1所示。根據(jù)圖4和表1可見，區(qū)域A明顯處于過度制冷狀態(tài)，結(jié)合電能數(shù)據(jù)區(qū)域A負載功率密度較區(qū)域B低約32%。因此，適當提升空調(diào)末端的送風溫度，減小區(qū)域A的制冷量供應，不僅可消除機架入口冷點，同時也減輕了制冷負荷，優(yōu)化了制冷所需能耗。

數(shù)據(jù)中心密集測量數(shù)據(jù) 表1

5 結(jié)束語

數(shù)據(jù)中心能耗的快速增加已經(jīng)成為阻礙行業(yè)持續(xù)發(fā)展的重要因素，提升能源使用效率已經(jīng)成為行業(yè)關(guān)注的焦點。在節(jié)能分析中，應當重視能源測量數(shù)據(jù)，采用能源流程圖、計量網(wǎng)絡圖等方法工具反映復雜數(shù)據(jù)中心的能源計量結(jié)構(gòu)，采用在線比對的方式驗證傳感器的準確性，應用溫度密集測量裝置等獲得數(shù)據(jù)中心的關(guān)鍵運行參數(shù)，從相關(guān)性分析的角度進一步優(yōu)化數(shù)據(jù)中心的能效水平。