超高功率機柜改造制冷方案實踐應用

張朝陽 迮天怡 翁明全

關鍵詞：數據中心；超高功率機柜；局部熱點；制冷解決方案

1概述

制冷系統對數據中心的作用就是收集設備產生的熱量，將它們排到室外并保持規定的溫濕度，滿足服務器運行要求。現有的數據中心制冷方式有房間級、行級和機柜級制冷方式[1]。隨著現代IT設備的功率密度將峰值功率密度提升至每機柜10kW甚至更高，對于這類超高功率機柜，傳統制冷不再起到有效的作用。未來，新一代高密度和可變功率密度IT設備產生的熱量是傳統數據中心制冷系統無法應對的，這往往會導致制冷系統過度規劃，造成制冷效率低下、制冷性能難以預測。基于此，對現有已建造的數據中心進行制冷增容改造是一種較好的方法。

2某數據中心機房基礎設施背景介紹

2.1制冷系統介紹

某數據中心按照國標A類標準設計建造，主要安裝IDC機架，IDC機架的尺寸為600mm（寬）*1200mm（深）*2200mm（高），機架安裝的列間距為機架的冷通道間距1200mm，熱通道間距1200mm。機房內機架送風方式為除傳輸機房采用下送上回的方式外，其他IDC機房封閉通道均采用前送后回的方式。

數據中心機房樓有著熱度高負荷高、需全年供冷的特點[2]，對空調系統運行安全性、可靠性和適用性要求較高。充分考慮到建筑平面布局、地域氣候特點、綠色節能要求等諸多因素，該數據中心由集中式冷凍水系統供冷，機房空調配置冷凍水型機房空調，空調冷源采用“高壓冷水機組+板換+冷卻塔”方式。設計供水溫度為14℃、回水溫度為19℃。考慮到機房的安全性要求，空調管路采用環狀管路的閉式循環系統[3]，由立管和水平管組成，主干管采用異程式布置，各支管安裝平衡閥，冷凍水系統由高位開式蓄冷罐和定壓罐進行系統定壓。每個機房有6個微模塊，共254個機柜，每個微模塊列間空調為“N+1”配置，采用封閉冷通道形式，單機柜設計功率為4.4kW，機柜實際平均運行約3.6kW。

2.2空調配電系統介紹

機房空調供電為一路U電和一路市電的供電架構，U電由前端電力室空調專用UPS提供，滿足市電中斷情況下30分鐘不間斷供電。

3超高功率機柜改造需求介紹

隨著客戶業務需求發展，在其租賃的某個機房部署2個核心網絡機柜，核心網絡機柜平均運行功率在14～20kW。如圖1所示，AB為一個微模塊，使用冷通道封閉的形式，在B06807位置需部署2臺核心網絡機柜，在AB列通道中，A02，A03，A05，A08，A14，A21，A22，B10，B11，B19為配套無源ODF機柜，其余為常規使用低功率機柜。

按單個通道總冷量計算，AB列原有列間空調總冷量滿足設備制冷量需求[4]，但可能在設備運行過程中無法消除超高功率機柜周邊的局部熱點。為確保高功率機柜的制冷可靠且無新增局部熱點，本次改造需新增風冷空調且為“N+1”配置，與原有冷凍水列間空調系統形成2個故障域，滿足2N制冷需求。

4超高功率機柜制冷改造設計

針對所提出的超高功率機柜部署需求，進行了空調冷負荷計算，機房樓空調冷負荷Q=Qi+Q2，其中Q1為設備散熱量；Q2為機房外墻等圍護結構傳熱量、外窗太陽輻射、人員及照明等因素引起的冷負荷。根據工藝初步測算的設備裝機容量，本期機房新增2臺14kW網絡柜，如表1所列。

4.1制冷改造方案一

根據工藝專業規劃及本工程圍護結構的情況，在A數據機房AB通道右側增加2臺制冷量為45 kW的風冷精密空調，采用一主一備設計，如表2所列。

平面部署如圖2所示。

4.1.1精確送風方式選擇

如圖2所示，進深較大的數據機房需要增加送風管，以保證制冷量及送風均勻。空調系統風出口處宜安裝送風管道或送風帽，送風口可使用散流器或百葉風口，通過風管對目標高功率機柜進行精確送風降溫[6]。

（1）地板下送風方式。

通過地板下送風對超高功率機柜進行制冷，地板下送風方式是將處理過的低溫空氣通過地板下送風管道精確送至封閉冷通道內，吸收數據機柜的熱量后，從頂部返回到空調系統。地板下送風方式一般采用架空地板作為送風靜壓箱，架空地板的高度為60～100cm，甚至更高（應根據負荷密度、機房面積綜合確定）。地板送風口數量應保障每個服務器機架均具有足夠的冷卻風量，宜設在服務器機架進風處，風速宜在1.5～3.0m/s。

地板下送風方式制冷效率較高、安裝整潔、送風均勻，但結合實際情況，原機房為末端水冷列間空調，地板下遍布管道，可再利用空間非常有限，施工難度也非常大，容易出現地板下走線擁堵，送風不暢，距離空調機組較遠的區域溫度偏高，無法得到有效控制。地板下送風方式灰塵易進入機房，清理很難，如果管理不善，會造成一些部位有灰塵積聚，下送風方式會使灰塵隨風進入IT設備，增加設備故障概率，嚴重日寸影響IT設備的正常工作。

（2）上送風方式。

上送風系統與下送風方式相反，其從精密空調頂部出風，可通過精確送風管道對機柜設備進行降溫制冷。上送風的空調送風方式是由機房的上部送到通信設備，與熱空氣交換后，從機房的下部回到空調機組內。機房的送風氣流組織與空氣流動特性相矛盾，從而使房間最下部溫度偏高，不利于通信設備的運行。需要送風距離較短時，可以用消音送風帽的風口直接送到機房內，機房內的氣流組織為上側送風下側回風方式：需要送風距離較長時，就需要在機房上部設送風管道，通過空調送風管、送風口把空氣送到機房的所需部位。因此，送風管和送風口就需要與設備的各類走線架、照明燈具進行協調，以免相互干擾，給設計、施工帶來一定的工作量。但是，綜合對比下送風方式，上送風在空間可操作性、實施便利程度及部署快速性上都具有很大的優勢，因此本方案選擇上送風加精確送風管的方式作為風冷精密空調的送風方式。

4.1.2CFD氣流組織模擬

在工程實施前，利用CFD氣流組織仿真軟件模擬實際設備運行狀況，可有效識別氣流組織不均和可能的局部熱點[7]，因此本次制冷改造設計加入了CFD模擬的步驟。

（1） CFD軟件介紹。

CFD技術即計算流體力學技術，相當于虛擬的在計算機中做實驗，用以仿真實際的流體流動情況。其基本原理是數值求解控制流體流動的微分方程，得出流體流場在連續區域的離散分布，從而近似模擬流體流動情況。

Fluent軟件是我國工程應用中的主流CFD軟件，針對流體的物理特點，采用適合的數值解法在計算速度、穩定性和精度方面達到最佳。利用Fluent軟件能縮短設計論證過程和實驗室實驗時間。基于此，利用CFD軟件分析機房冷通道區域的空氣流動問題已經成為研究和機房建設中必不可少的環節。

（2）建模仿真。

選取1個AB和CD微模塊機房作為研究對象，實施過程主要分以下幾步。

①建立與實體機房相似的3D模型，主要包含機柜、風冷精密空調、水冷列間空調、地板及冷通道等。

②采集機房冷通道的各項參數（出風溫度、風速、風量等），并根據服務器主頻溫度變化曲線，建立數據機房冷通道內氣流流動的物理及數學模型，利用Fluent軟件模擬封閉冷通道內氣流的流場分布，分析其冷通道內氣流的形態分布和速度分布情況。

③模型建立后，輸出仿真結果，如圖3所示。

根據仿真結果，B06，B07新增超高功率機柜附近進回風溫度均在28℃以下，但是對向微模塊C05-C08處機柜的進風最大為30.3℃，依然存在局部熱點的可能，因此本方案還需完善。

4.2制冷改造方案二

根據工藝專業規劃及本工程圍護結構的情況，結合方案一中存在的局部熱點，方案二在A數據機房AB通道右側增加2臺制冷量為45 kW的風冷精密空調，一主一備設計；并在AB和CD模塊中間通道（熱通道）左側空余位置增加1臺風冷精密空調，主要作用為回收熱風，避免在C05-C08處產生局部熱點，相關配置如表3所列。

平面部署如圖4所示。

方案二設置2組制冷單元分別執行送風和回風工作，風冷送風空調將冷量輸送至AB和CD微模塊指定位置：而風冷回風精密空調將AB與CD模塊間的熱風定點回收，避免局部熱點產生。此方案的CFD模擬如圖5所示，對向機柜最大進風溫度為250C，滿足設備安全溫度運行要求。

5針對超高功率機柜改造不同制冷方式設計方案對比

兩種方案的主要差別為方案二較方案一增加了1臺專用的風冷回風精密空調，主要用于吸收超高功率機柜所產生的熱風，也確保本組機柜和對向機柜不受局部熱點的影響。本次擴容改造工程最終選定方案二為最終實施方案，此方案目前已經竣工交付客戶使用，在運行過程中未發生局部熱點的情況。

6結束語

本次針對超高功率機柜部署的制冷改造，在有限空間內，在高功率機柜的通道兩側部署2套制冷單元，通過精確送回風管道，分別執行空調送風與回風工作，實現冷量輸送與熱量回收，此舉既滿足了超高功率機柜（14kW以上）的制冷需求，又避免對向機柜因超高功率機柜散熱導致宕機的風險，在設備滿載運行時，通過CFD模擬仿真設備最高進風溫度25℃，完美消除了機房的局部高熱點隱患。