某數據中心機房氣流組織模擬與優化

逄書帆

華建集團上海現代建筑設計集團工程建設咨詢有限公司

0 引言

大數據時代引領了數據信息領域的高速發展，IT負載設備的高度集成化推動了數據中心的大規模建設。據IDC（Internet Data Center）數據中心能耗統計，自2013 年起，全球數據中心市場規模年增長率維持在10%，中國市場擴張較快，增長率高達37%[1]。空調系統作為我國數據中心總能耗的重要耗電來源，占據40%比例[2]。而氣流組織作為熱環境的主要影響因素，不僅可以避免機房局部受熱而導致的設備故障，還可以保障熱環境品質，最大效率得避免冷熱空氣不合理混合而導致的能耗浪費。

國內外均設立相關規范手冊來引導數據中心設計。我國規范以《數據中心設計規范》GB50174-2017[3]規范為主流，對數據中心工程建設的質量、安全、環保、節能等相關重點環節進行強制性要求，并根據數據中心使用特性劃分為A、B、C 三級。國外規范中對行業影響最深的當屬TIA 和Uptime Institute[4]，二者均將數據中心分為4 個等級，且共享4 個等級的相同核心詞：基本需求、冗余組件、在線維護、容錯[5]。

眾多專家學者對數據機房氣流組織已有過很多研究。Roger Schmidt 等[6]研究了數據機房封閉通道冷、熱氣流混合問題。Cho J.等[7]研究了機房在不同送風形式下氣流組織的效果。Patankar S.V.等[8]研究了不同靜壓層高度對機房氣流組織的影響。Fulpagare Y.等[9]研究了不同地板格柵開孔率對流體的影響。

專家學者雖對氣流組織的影響因素有較多研究，但基本均是基于某單一變量下的研究，而非是不同影響因素逐步優化后的研究，且結合冷通道封閉方面還不夠完善。因此，本文以上海某現有數據中心機房為例，基于數據中心專用CFD 模擬軟件6 SigmaRoom，對機房氣流組織進行逐步優化，并選擇合適的熱環境指標進行評價，旨在為今后實際工程設計提供建議和參考。

1 數據中心機房的模型建立

1.1 數值模型的求解控制

數據中心作為以安全性、高效性為主的特殊模擬對象，選擇合理的數值模型是至關重要的。為了簡化，首先對需要建立的數值模型做以下三點求解控制：

1）室內氣流忽略流體粘動力，視為不可壓縮流體，空氣滿足Boussinesq 假設。

2）模型外墻、內墻、高架地板均視為絕熱材料，室內無門無窗，密閉性良好。

3）流動為穩態湍流，采用標準κ-ε 湍流模型，殘差值穩定且趨于1[10]。

1.2 數據機房的物理模型

本文以上海某現有金融類數據機房為研究對象，基于模擬軟件6 SigmaRoom 建立數學仿真模型。如圖1 所示，模型由空調室與IT 機房組成，中間由一堵絕熱內墻隔開，內墻上設置回風口。IT 機房為低密度機房，機房負載密度為1.23 kW/m2，建設標準為國A 級。采用冷通道封閉、高架地板下送風的氣流組織模式，機柜以常規“面對面，背對背”形式排列。機房實際面積為727.32 m2（27.55 m×26.4 m），層高H 為5.7 m。該機房主要由8 臺150 kW 的CRAC（Computer Room Air Conditioning），10 列機柜及高架地板組成，架空地板高h=0.6 m。機房內共有機柜240 個，其中有32 個2U 機柜和208 個4U 機柜，總功耗為896 kW。

根據下列邊界條件，建立數學模型：

1）制冷冗余方案設為N+2，模擬工況為8 臺CRAC 同時按照最大風量的75%運行。

2）氣流組織方式為靜壓地板下送風上回風。冷通道寬1.2 m，熱通道寬1.8 m，地板采用防靜電絕熱材料，地板厚度0.01 m。網格尺寸mesh 為0.6 m。

3）高架地板高0.6 m，地板尺寸每塊為0.6 m×0.6 m，格柵開孔率為50%。

4）CRAC 設置出風溫度25±1 ℃，進風溫度為37 ℃，最大風量為27750 m3/h。制冷方式為冷卻水制冷，慣性阻力系數為100，出風口冷卻氣流量為7.708 m3/s。

5）機房外環境默認20 ℃。

圖1 機房示意圖

1.3 數據機房的6 SigmaRoom 模型

根據機房的物理參數建立6 SigmaRoom 模型，主要研究機房氣流組織。因機柜內部服務器分布及氣流走向對整體影響較小，又為冷通道封閉模式，故本文將每個機柜設為單個整體進行運算。同時，實際工程上，高架地板內電纜、電線所占面積較小且不易估算，本模型忽略高架地板內部障礙物。圖2 為數據機房3D 模型圖。

圖2 機房3D 模擬圖

2 數據中心機房的模擬研究

2.1 原方案氣流組織分析

2.1.1流場分析

通過6 SigmaRoom 進行CFD 求解運算，得到空調的回風流線如圖3。圖3（a）顯示空調下送風冷空氣全部通過高架地板送入冷通道封閉，整體氣流組織較穩定。但由于機房內機柜與CRAC 之間存在有孔內墻進行隔斷，使整個機房平面的溫度分布不太均勻。圖3（b）顯示，機房整體呈現CRAC 側回風溫度低、機柜側高的趨勢，且整體溫度較高，易造成機房內局部熱點。同時隨距CRAC 距離的增大，流線密度逐漸變小，即機柜獲得冷量減少，散熱能力變慢，機柜升溫快，造成機房熱點。根據ASHARE 2011 的溫度劃分規則，圖4也驗證了此次推測，總體機柜溫度較好，但后排中間部分機柜溫度較高，出現局部熱點。

圖3 空調回風流線圖

圖4 空調機柜溫度分布（ASHARE 2011）

2.1.2溫度場分析

氣流組織的作用直接反映出溫度分布，而溫度場是熱環境的一個直接體現因素，尤其對于數據機房而言，機柜的正常運行與溫度場息息相關。本文分別截取y=0.1 m（高架地板附近上方）、y=1.0 m（機柜中心平面）、y=2.1 m（機柜頂部）這三個典型平面進行分析。

如圖5 所示，隨著所取截面高度的增加，溫度逐步上升。靜壓層送風平面處，空氣的高速流動加速了與機柜的對流換熱，機柜熱量及時散出。出風處冷氣流快速耗散，于機柜中間位置衰減完成，故而機柜中下部熱環境較好。同時，熱空氣上浮，冷空氣下壓的物理特性也是導致機柜上部溫度普遍較高的一個原因。

圖5 機房三個典型面溫度分布圖

2.1.3速度場分析

速度場是氣流組織變化的一個重要參照，圖6 分別是三個典型平面的速度矢量圖。隨著高度增加，速度矢量越密集，速度越大。同時，越近CRAC 處速度矢量越稀疏，速度越小。這是由于越近CRAC 側空氣速度越大，動壓大，靜壓小，使高架地板壓降而冷量降低。因此CRAC 兩側速度場大，中間垂直側小。同時，隨著離CRAC 距離的增大，冷空氣速度降低，靜壓加大，冷量逐漸加大，于冷通道中部達到峰值，隨之逐步衰減。故機柜前段速度場大而后段速度場小。

圖6 機房三個典型面速度分布圖

2.2 數據機房氣流組織的優化設計

根據模擬結果發現，數據機房溫度場與速度場不均勻，機房產生局部熱點，易造成服務器散熱不及時或故障溫度。針對上訴問題，本文將通過以下兩個方面逐步對機房進行氣流組織優化，即調整高架地板高度與地板格柵開孔率。整個優化設計可分為三步：

1）保持原設計其他參數不變，僅改變高架地板高度此單一變量，模擬0.4 m、0.6 m、0.8 m、0.9 m 四個不同地板高度的熱環境，再選出最佳值做下一步輸入值。

2）將上步最優值作為設定值，改變地板格柵開孔率為30%、40%、50%、60%四個變量，分析比較機柜氣流組織，得出熱環境最佳模型的靜壓層高度與開孔率。

3）利用熱環境評價的參數對方案優化前后進行評價。

2.2.1高架地板優化

如圖7 所示，分別為高架地板0.4 m、0.6 m、0.8 m、0.9m 時的機柜溫度，可發現，圖7（a）與（b）中均出現局部熱點，隨著高架地板高度的升高，機柜局部熱點消失。靜壓層高度從0.4 m 升至0.9 m，機柜最高溫度降低2.2 ℃。說明高架地板高度的升高能有效降低機房整體溫度，改善局部熱點。

高架地板為0.8 m、0.9 m 時，機房內均無局部熱點產生。進而比較二者在冷通道中部處的速度場結果，如圖8 所示，兩種工況的速度場均較穩定，未于機房側出現局部高速情況，整體氣流變化趨于合理，速度變化范圍均在0.175～0.635 m/s，可見高架地板高度在0.8～0.9 m 時氣流組織分布較好。鑒于實際工程施工情況，本文取高架地板高度h=0.8 m 為最佳設定值。

圖7 不同高架地板方案機柜溫度圖

圖8 不同高架地板方案速度分布圖

2.2.2地板格柵開孔率優化

數據機房將冷量沿高架地板通過格柵送入機柜冷通道，在固定高架地板高度的工況下，通道內氣流組織和靜壓層壓力均受地板格柵開孔率影響。實際施工中，由于支撐要求，通常格柵最大開孔率不大于60%。因此，本文在高架地板h=0.8 m 設定值下，分別模擬了30%、40%、50%、60%開孔率下氣流組織情況。

圖9 不同格柵開孔率方案速度分布圖

機房速度場較均勻，氣流速度變化范圍在0.19～0.52 m/s。如圖9 所示，分別為4 個不同開孔率下y=1.0 m 時的速度矢量圖，速度場隨格柵開孔率的增大，前排機柜冷通道中心處局部氣流速度增大，與機柜外速度場差值增大，最大速度差可達0.72 m/s。30%～40%開孔率工況下的冷通道局部高速面積較小，氣流組織較均勻。50%～60%開孔率時局部高速面積明顯增大，易致機房冷熱摻混程度加劇而損失冷量。

同時，根據模擬結果，4 個方案均未有機柜出現熱點，且溫度差異較小，不同開孔率方案的平均出口溫度差在0.15～0.88 ℃。可見相對于靜壓層高度對氣流組織的影響，格柵開孔率影響不大，溫度變化趨于平緩。表1 為不同開孔率大小下4 個典型平面上的最大溫度，分別是地板出風口，機柜底部，機柜中部和機柜頂部。可發現，對于30%～40%開孔率工況，隨著開孔率加大，平面溫度逐步降低，冷卻效果提升。而對于50%～60%開孔率工況，與上述情況相反，冷卻效果不佳。其中，40%開孔率時的4 處典型溫度均為最低，冷卻的效果最佳。

表1 不同開孔率方案在4 個典型位置處的最大溫度/℃

工程實際中，數據機房一般采用帶小圓孔的防靜電架空地板，地板格柵流動阻力與壓力損失由式（1）[11]獲得。

式中：v 為地板格柵附近速度，m/s；ρ 為空氣密度，kg/m3；K 為阻力系數。

Idelchik[12]通過實驗得到的經驗公式如下：

根據式（1）～（2）可知，隨格柵開孔率增加，阻力系數降低，壓力損失減少，壓差增大，相同冷量下的出風量增大。

圖10 為不同開孔率下的格柵出風量，可發現，出風量最大處均位于冷通道中部偏后，主要由于近CRAC 側壓力小，出風量小。遠離空調側壓力大，冷量大，冷通道前部易因氣流組織不佳而出現局部過熱。若溫度持續升高，過熱面積繼續擴大，會導致機柜制冷效果不佳。圖10 中當開孔率為40%時，格柵出風量較大且分布均勻，而30%、50%、60%開孔率時，出現出風量不均，產生局部低速區的情況，易導致局部熱點。因此，本文選擇40%為最佳地板開孔率。

圖10 不同開孔率方案的格柵出風量

2.3 氣流組織優化方案前后對比分析

2.3.1溫度場對比

機房原設計值為高架地板0.6 m，地板格柵開孔率50%，方案逐步優化后調整為高架地板0.8 m，格柵開孔率40%。優化后，原機房的局部熱點消失，氣流組織改善。表2 為優化前后的不同截面最高溫度值，數據顯示優化后機柜整體溫降1.9 ℃，機柜不同位置溫降范圍在1.6～2.2 ℃，機柜出送風溫降均為1.2 ℃。

表2 優化前后兩種方案不同截面最高溫度值/℃

2.3.2熱環境指標比較

在眾多熱環境評價指標中，熱摻混指標HMI 能有效反映機柜氣流組織與熱環境，數值越小說明冷熱摻混程度越小，氣流組織越合理，冷量利用率越高，機柜冷卻效果越好。HMI 由公式eq.2[13]獲得。

式中：Tin_max為機柜進風截面最高溫度，K；Tin_min為機柜進風截面最小溫度，K；Tin為機柜平均進風溫度，K；Tout為機柜平均進風溫度，K；Tref為空調送風溫度，K。

通過模擬結果對機房后排局部熱點區域機柜進行計算，比較HMI 值。如圖11，優化后方案的HMI 值明顯小于原始方案，使HMI 值從0.18 降至0.02，氣流組織效果良好，冷卻效果佳。

圖11 兩種方案局部熱點機柜HMI 值曲線圖

3 結論

數據機房氣流組織的優化是為了減少冷熱氣流摻混程度，提高冷量利用率，消除局部熱點。通過調整設計方案高架地板的靜壓層高度和格柵開孔率來逐步優化氣流組織，并比較優化方案前后的氣流組織與熱環境指標，最終得到以下結論：

1）較于格柵開孔率，靜壓層高度對氣流組織影響更大。

2）提高靜壓層高度可使機房整體溫度出現明顯降低，局部熱點消失，氣流組織改善。但當高架地板高度提高到某種程度時，速度場與溫度場變化不大，改善效果不再顯著。因此，應結合施工要求和氣流組織合理選擇。本模型靜壓層高度為0.8～0.9 m 時氣流組織效果較好。

3）近CRAC 側壓力小，出風量小。遠離空調側壓力大，冷量大，冷通道前后氣流組織不均勻，地板格柵出風量最大處通常位于冷通道中后部。

4）格柵開孔率的增大會導致冷通道溫度增加不均，而造成機房內氣流組織分布不均。格柵開孔率為40%～50%時氣流組織效果較好。此外，建議工程上亦可采用高、低開孔率相結合的方案，來達到最佳的氣流組織效果。