數(shù)據(jù)中心被動式散熱解決方案——通向綠色數(shù)據(jù)中心之路

文｜CPI公司亞太區(qū) 張 愚

1 前言

隨著新一代計算機設備的計算能力和功率能耗的大幅度提高，傳統(tǒng)數(shù)據(jù)中心如何增加每機柜的功率密度也變得越來越重要。Intel的研究表明，同樣的計算能力在2002年時需要25個機柜和128kW的能耗（5.1kW每機柜），到2008年時，只需一個機柜21kW的能耗（21kW每機柜）。 對比之下，我們節(jié)省了107kW的能耗，并且也大大節(jié)省了數(shù)據(jù)中心的物理大小和結構。

這種大幅度的計算能力的提升得益于虛擬計算、內(nèi)存系統(tǒng)、多核CPU系統(tǒng)、CPU速度和GPGPU技術的飛速發(fā)展。虛擬計算大大提高了服務器的使用效率，從而增加了單個機柜的發(fā)熱密度。隨著內(nèi)存容量和速度的飛速發(fā)展，最新的DRAM技術使得內(nèi)存的發(fā)熱量也大大的提升。工程和科學研究等應用大量使用圖形浮點運算，GPGPU使得顯卡的發(fā)熱量從25W提高到300W以上。雖然服務器的功耗持續(xù)不斷的提高，但是性能和功耗比在不斷的下降。從以上的例子可以看出，數(shù)據(jù)中心空調系統(tǒng)能夠高效的對機柜進行冷卻，將大大降低數(shù)據(jù)中心的總能耗，在本質上我們可以真正擁有一個綠色數(shù)據(jù)中心。

提高空調的制冷效率并節(jié)約能源只是數(shù)據(jù)中心管理的重要一部分，然而每機柜的熱密度不停的增加則帶給我們更多的挑戰(zhàn)。目前全球數(shù)據(jù)中心的每機柜的平均熱密度大概為6.5kW，但是ASHRAE2預測在2014年數(shù)據(jù)中心平均每機柜所需的制冷量為37kW，這種5倍的熱密度飛躍，需要我們對數(shù)據(jù)中心進行不斷的革新來解決。本文將對被動式散熱解決方案以及如何利用該技術實現(xiàn)綠色節(jié)能數(shù)據(jù)中心進行介紹。

2 數(shù)據(jù)中心散熱基礎

首先，我們將對數(shù)據(jù)中心散熱做一個基本的研究。IT設備散熱所需的風量可用下列等式來表明：

其中：m3/H 為機柜中的設備散熱所需的風量（立方米冷風/每小時）；W=瓦特數(shù)（IT設備的功耗）；△T=IT設備的溫差（設備回風溫度減去設備的進風溫度）。

該等式表明了機柜的散熱能力和高架送風地板的送風能力有著密不可分的關系。由于高架送風地板所送的冷風風量的不充足，使機柜上部的IT設備進風風扇所造成的負壓，會將機柜后部熱通道中的熱空氣抽入IT設備中，從而造成服務器過熱的問題。

研究表明，在一個設計不合理的數(shù)據(jù)中心內(nèi)，60%的空調機冷送風由于氣流組織的不合理而被浪費。目前，傳統(tǒng)的開放式熱通道結構數(shù)據(jù)中心面臨著兩大氣流管理難題：冷熱空氣相混合現(xiàn)象和空調冷送風的浪費現(xiàn)象，這兩種現(xiàn)象大大降低了空調制冷的效率。其中，冷熱空氣相混合現(xiàn)象指的是由設備產(chǎn)生的熱空氣和空調機的冷送風相混合，從而提高了設備的進風溫度；空調冷送風的浪費現(xiàn)象則是指空調機的冷送風并未進入設備并對設備進行冷卻，而是直接回流到空調機的現(xiàn)象。冷熱空氣混合現(xiàn)象也是導致數(shù)據(jù)中心溫度不一致的主要原因，并且這種現(xiàn)象也大大降低了數(shù)據(jù)中心空調的制冷效率和制冷能力。如何解決這兩種現(xiàn)象，最簡單、有效的方法就是將冷熱空氣物理隔離開。

3 數(shù)據(jù)中心散熱管理基線——隔離冷熱空氣

Intel公司多年的研究和實驗表明，良好的氣流組織管理，能夠大大減少冷熱空氣相混合現(xiàn)象和空調冷送風的浪費現(xiàn)象。Intel公司現(xiàn)在的數(shù)據(jù)中心的熱密度也從單個機柜310WPSF增加到781WPSF（每機柜15kW增加到40kW以上）。另外，Dell4和HP5的數(shù)據(jù)中心也正在使用冷池或熱池技術。本文將對這種被動型（通過物理手段，無任何有源設備）對數(shù)據(jù)中心進行散熱做出研究，并對可行的方案做出比較，從而找出最佳的數(shù)據(jù)中心散熱解決方案。

目前，主動性數(shù)據(jù)中心散熱也在行業(yè)內(nèi)普遍使用。但是其高昂的投資成本，復雜的安裝過程和維護等問題，我們將不在本文中討論。

圖1 標準熱池方案

4 數(shù)據(jù)中心散熱解決方案

4.1 方案1：冷池和熱池

熱通道封閉或熱池（HAC）是將熱通道密閉起來并通過回風管將熱回風傳回數(shù)據(jù)中心空調系統(tǒng)，如圖1所示。對比熱池，冷池（CAC）是將冷通道密閉起來。這兩種技術都將空調的冷送風和熱回風隔離開來，并使空調機回風溫度提高以此來提高空調的制冷效率。這兩種方式的區(qū)別主要是可擴展性，散熱管理和工作環(huán)境的適宜性。

冷池的可擴展性主要是受地板下送風和如何將地板下冷風送入多個冷池的制約。目前業(yè)界對該技術有著很多的誤解，很多人認為空調機的出風量能滿足設備的散熱風量即可。他們忽略了高架地板下冷送風對于多個冷池的壓力影響和空間的限制。相反，熱池則是使用整個數(shù)據(jù)中心作為冷通道來解決這個問題，正因為這樣，擴大了冷通道的空間。這樣熱池相比于冷池有著更多的空調冗余性能，多出的熱通道空間將會在空調系統(tǒng)出現(xiàn)故障時，能夠給予更多的寶貴維修時間。而且隨著服務器設備的散熱能力的提高，服務器所需的散熱風量將會大大的減少?，F(xiàn)在很多服務器的熱風出風溫度可以達到55℃。冷池的未被隔離部分空間的溫度將會比傳統(tǒng)數(shù)據(jù)中心大大的提高，這將大大增加數(shù)據(jù)中心工作人員的舒適度和減少數(shù)據(jù)中心其他設備的使用壽命。綜上所述，雖然這兩種方法都可以提高每臺機柜的熱密度，但是當合理使用熱池時，熱池的效率比冷池更加有效可靠。

通過以上的對比，我們可以發(fā)現(xiàn)熱池比冷池有著更多的優(yōu)點。另外在數(shù)據(jù)中心斷電的情況下，冷池數(shù)據(jù)中心的冷空氣只存在于高架地板下和密閉冷通道中，相反熱池數(shù)據(jù)中心中的冷空氣存在于高架地板下和房間內(nèi)的絕大多數(shù)地方，所以冷池數(shù)據(jù)中心的冷空氣體積遠遠小于熱空氣的體積。當數(shù)據(jù)中心斷電或空調出現(xiàn)問題時，冷池數(shù)據(jù)中心在幾秒鐘可以喪失所有的IT設備。所以在有可能的情況下，我們應該盡量采用熱池而不是冷池。使用部分密閉熱池或冷池的數(shù)據(jù)中心的熱點現(xiàn)象可能還會存在，其消防設施的位置也需要額外注意，但相比傳統(tǒng)數(shù)據(jù)中心則大大提高了每機柜的熱密度。但是，要到達2014年每機柜37kW的熱密度，這些是遠遠不夠的。

4.2 方案2：垂直排風管機柜

除此之外，另一種方案是機柜級的冷熱風隔離系統(tǒng)，如圖2所示。這種系統(tǒng)通常是機柜的一個延伸部分，最常見的系統(tǒng)為機柜垂直排風管系統(tǒng)，或稱作煙囪機柜系統(tǒng)。垂直排風管系統(tǒng)將密閉機柜內(nèi)的熱回風導入到天花板上方。對比冷池或熱池，煙囪機柜系統(tǒng)有著巨大的優(yōu)點：首先，對于機柜而言，煙囪機柜隔離冷熱空氣系統(tǒng)比冷池或熱池系統(tǒng)隔離整排機柜的冷熱空氣更為簡單有效，并且煙囪機柜在所有解決方案中是最簡單的全密閉系統(tǒng)。另外，煙囪機柜系統(tǒng)不和空調系統(tǒng)相連，這樣我們可以隨著需求的增加來任意增加機柜，從而達到更高的可擴展性。最后，該系統(tǒng)和空調系統(tǒng)的獨立性確保了數(shù)據(jù)中心可以使用大型的空調系統(tǒng)來提高制冷效率和節(jié)能。使用垂直排風管系統(tǒng)，冷空氣可使用高架地板（常用送風方法）送風或直接將冷風吹入數(shù)據(jù)中心內(nèi)部來送風，并且可以結合使用空氣節(jié)能器來起到更佳的節(jié)能效果，垂直排風管系統(tǒng)在數(shù)據(jù)中心內(nèi)的應用，如圖3所示。

圖2 垂直排風管系統(tǒng)或稱為煙囪機柜系統(tǒng)

圖3 垂直排風管系統(tǒng)在數(shù)據(jù)中心內(nèi)的應用

垂直排風管系統(tǒng)機柜的第一個挑戰(zhàn)是必須使用天花吊頂或者使用回風管，這樣，數(shù)據(jù)中心就需要額外的高度。第二個挑戰(zhàn)是風壓差，我們必須確保機柜前后具有風壓，使得冷風可以進入機柜來對機柜散熱。這種挑戰(zhàn)主要體現(xiàn)在機柜前部的送風風壓壓力、機柜后部熱回風的風壓、機柜后部的理線等功能區(qū)對風壓的影響以及機柜頂部垂直排風管的大小和長度。因此，必須在設計時特別注意，確保該垂直排風管系統(tǒng)不會造成錯誤的壓差。

我們可以通過控制機柜內(nèi)部的空氣流速來控制機柜內(nèi)部的空氣壓力，即使在沒有任何有源設備的情況下，利用自然壓力差將更多的冷送風吸入機柜，并將熱回風排放至天花板上部。

5 通向綠色數(shù)據(jù)中心之路——垂直排風管機柜

5.1 防止無效的冷送風浪費現(xiàn)象

Uptime（美國最大、最權威的數(shù)據(jù)中心研究機構）曾對美國的大型數(shù)據(jù)中心做過一次研究，美國平均每個數(shù)據(jù)中心冷送風風量是實際需求的2.7倍，但是這么多的冷量仍無法對大多數(shù)的數(shù)據(jù)中心進行冷卻——很多數(shù)據(jù)中心存在著局部過熱問題。實際上這么多的冷量并沒有進入機柜對IT設備進行降溫，而完全浪費掉。比如，我們通常所見高架地板上的過線孔，在下走線的數(shù)據(jù)中心內(nèi)，很多過線孔是開在熱通道或機柜底部，這些開口在過線的同時也將空調的冷送風送入了熱通道或機柜底部，從而繞開了設備的進風風扇。我們甚至不止一次的見到，由于水平走線的原因，有些數(shù)據(jù)中心在數(shù)據(jù)中心高級地板墻壁上開了很大的孔，該孔造成了大量空調冷送風向數(shù)據(jù)中心外部泄露，這些被浪費的冷送風帶來高架地板靜壓箱送風風壓的損失，從而導致冷送風不能送達關鍵的位置。

圖4 高架地板纜線開口造成冷空氣的浪費

Uptime通過實際測量很多數(shù)據(jù)中心，發(fā)現(xiàn)大多數(shù)的數(shù)據(jù)中心都存在不正確的浪費現(xiàn)象，其浪費達到50%甚至更多。如果將這些不正確的開孔密閉起來，可以大大提高數(shù)據(jù)中心空調制冷的效果。如果我們把這50%的冷量節(jié)省下來，該數(shù)據(jù)中心就有巨大的節(jié)能效果。我們用表1對同一數(shù)據(jù)中心做一個比較，在一個30個機柜的低熱密度的機房內(nèi)，如果我們將地板過線孔都密封起來，該數(shù)據(jù)中心空調運行每小時節(jié)省262度電。

表1

5.2 提高空調機熱回風溫度來提高空調制冷性能

眾所周知，空調的制冷效率和性能與空調機熱回風和冷送風的溫差有關，如表2所示。

表2

對于絕大多數(shù)的數(shù)據(jù)中心而言，它們給空調機的回風溫度并不高，這些可能是因為數(shù)據(jù)中心的布局不好或者是熱回風在回流空調機時被旁路（浪費的）冷送風降溫，從而導致數(shù)據(jù)中心的空調制冷效能未達到空調機的性能值。我們以Libert FH600C 30噸的空調機來看，大多冷熱通道布局的數(shù)據(jù)中心溫差為5.5℃（21℃回風溫度，15.5℃送風溫度），這時空調機的制冷量僅為23噸，遠遠未達空調機額定正常制冷指標。如果我們將回風溫度從21℃提高到40.5℃時，我們可以將空調額定制冷量翻倍，30噸冷量的空調機實際制冷效率為61.3噸。提高回風溫度，不僅可以少買空調機來節(jié)約投資費用，同時在數(shù)據(jù)中心實際運行中也節(jié)省了很多電費。

那么如何提高回風溫度？答案很簡單：使用煙囪機柜。因為使用煙囪機柜，我們幾乎忽略設備熱回風的路徑。所有熱空氣在天花板上方，冷熱空氣不再混合，所以不存在熱空氣在向空調機回流時被冷卻的現(xiàn)象。

5.3 提高空調機冷送風溫度

采用冷熱通道布局的數(shù)據(jù)中心，房間內(nèi)部的溫度不一。由于冷熱空氣的相混合和避免機柜過熱的問題，空調機通常的冷送風溫度在11℃～13℃之間。

但是在煙囪機柜的數(shù)據(jù)中心中，機柜頂部的垂直排風管將機柜內(nèi)部的熱回風導流至天花板上方，從而使機房內(nèi)部再無冷熱空氣混合的現(xiàn)象。IT設備過熱要求設備進風溫度不能超過25℃，這樣，對于空調機而言，24℃的冷送風完全能夠冷卻數(shù)據(jù)中心。

通過提高空調機的冷送風溫度，可以提高冷凍水管的水溫和冷水機組的制冷效率。

6 結束語

PUE是全球用來衡量數(shù)據(jù)中心是否綠色節(jié)能的重要一個技術指標。

美國高性能數(shù)據(jù)中心的PUE值大概為2.0左右，這代表了數(shù)據(jù)中心每用2度電，只有1度電是被IT設備用掉，另外1度電是用在管理該數(shù)據(jù)中心。通過對數(shù)據(jù)中心管理用電使用情況分析，得出空調和氣流管理大概占到40%左右的結論。

國內(nèi)數(shù)據(jù)中心的PUE值比歐美發(fā)達國家要大，這也意味著同樣的數(shù)據(jù)中心，我們使用了更多的能源。其中主要問題是管理人員對數(shù)據(jù)中心散熱的不熟悉，不重視。主要問題體現(xiàn)在以下幾個方面：

◆一味購買更多的、更大的空調機來對數(shù)據(jù)中心制冷；

◆空調冷送風溫度過低；

◆熱回風回流空調機時，預冷卻回風從而降低了空調的制冷效率；

◆機房布局不合理，機柜冷熱空氣相混合現(xiàn)象嚴重；

◆大量的錯誤地板開孔導致大量冷送風被浪費。

機柜的傳統(tǒng)概念正在被垂直排風管系統(tǒng)慢慢改變，機柜不再是傳統(tǒng)意義上只是用來安裝設備的柜子而已，使用垂直排風管機柜可將冷熱空氣徹底隔離，成為數(shù)據(jù)中心空調系統(tǒng)密不可分的一個重要組成部分。

目前垂直排風管機柜在國際數(shù)據(jù)中心中逐步應用。其中Intel在全球30個高熱密度數(shù)據(jù)中心廣泛使用。Intel在實際應用中，每機柜熱密度高達32kW，在機房中無任何機柜局部過熱現(xiàn)象。在高效地對IT設備進行散熱之外，該機柜還通過提高空調回風溫度和提高空調機冷送風溫度來大大節(jié)約數(shù)據(jù)中心能源。高密度刀片機柜中垂直排風管系統(tǒng)機柜應用，如圖5所示。

圖5 高密度刀片機柜中垂直排風管系統(tǒng)機柜的應用

使用垂直排風管系統(tǒng)機柜，我們不僅可以做到機柜的高密度應用，更可以做到以下節(jié)能指標，從而建設一個綠色節(jié)能的數(shù)據(jù)中心：

◆數(shù)據(jù)中心關鍵制冷量下降74%；

◆冷凍水峰值用水量下降35%；

◆要求的水箱24小時儲水量下降44%；

◆發(fā)電機重啟所需的散熱箱容量下降74%；

◆發(fā)電機、設施分配方面的HVAC負荷下降65%；

◆三相部件連接要求下降78%；

◆室內(nèi)HVAC設備的空間要求下降89%；

◆HVAC用水成本下降63%；

◆維護成本下降49%。