數據中心兩相冷卻技術現狀與展望

李芳寧 曹海山

(清華大學能源與動力工程系 北京 100084)

近年來，隨著人工智能、云計算、大數據、5G技術等信息技術的快速發展，數據中心數據量呈指數增長，帶來的能耗問題日益突出[1]。當前電子芯片內晶體管密度超1.7億/mm2，核功率密度高達4.5 W/mm2，數據中心中制冷系統的能耗占比超過30%[2]，數據中心面臨著追求高性能、低能耗、低數據中心總能耗與IT設備能耗比值(power usage effectiveness，PUE)的巨大挑戰。《全國數據中心應用發展指引(2020)》[3]顯示，截至2019年底，全國超大型數據中心(規模大于等于10 000個標準機架，以功率2.5 kW為一個標準機架)平均PUE為1.46，大型數據中心(規模大于等于3 000個標準機架，小于10 000個標準機架)平均PUE為1.55。全國數據中心2020年耗電約2 035億kW·h[4]，若PUE降低10%，年度可節約用電203.5億kW·h，折合630萬t標煤，減少CO2排放量約1 700萬t(計算標準：煤耗按照310 g/(kW·h)，CO2排放按照2.7 g/(g標準煤)。

數據中心的實際應用中，主要包括3種冷卻方式：空氣冷卻、單相液體冷卻和兩相液體冷卻。空氣冷卻多采用恒溫恒濕的空調設備，通過冷熱通道送、回風的方式排出機房熱量，存在自然冷源利用率低、多次換熱降低傳熱效率、氣流分配不均引起能耗增加等缺點[5]。在單相液體冷卻系統中，服務器垂直安裝在裝有冷卻液的箱體中，熱量通過與服務器組件的直接接觸傳遞給冷卻液，也可以通過冷板間接接觸進行熱交換，被加熱的冷卻液通過冷卻分配單元(cooling distribution unit，CDU)中的熱交換器被冷卻后再返回冷卻液箱中[6]。兩相液體冷卻分為浸沒式和噴射式兩種，噴射式是在浸沒式基礎上通過增加流速進一步增強換熱性能，與單相液體冷卻相比，沸騰換熱強化了服務器芯片和冷卻液之間的換熱，但存在系統壓力波動和冷卻液逃逸損失等問題。圖1所示為當前6種主要的浸沒式兩相冷卻系統。圖1(a)為蒸氣外部冷卻系統，該系統利用壓差將沸騰的冷卻液蒸氣導入冷凝器中冷凝成液體，冷卻液再利用重力通過管路回流至冷卻液箱中，該系統設備簡單，但過程可能存在壓力損失，影響蒸氣流動，可能導致冷卻液難以正常循環。圖1(b)為蒸氣內部冷卻系統，該系統冷卻液蒸氣在冷凝管冷卻凝結后通過重力作用返回冷卻液箱，而冷凝管中冷凝液吸熱后進入冷凝器中冷卻實現循環，其中冷凝管可以布置在箱體內部的上方或兩側，冷凝器可以是空氣冷卻器、液冷冷卻器或恒溫箱。圖1(c)為蒸氣內部冷卻系統(風冷翅片+冷凝液區)，該系統增加了一個內部導熱系數高的冷凝液區，箱中的冷卻液蒸氣上升接觸到冷凝液區底部隔板部分凝結，冷凝液區和風冷翅片共同作用對冷卻液蒸氣進行冷凝，使其回落到冷卻液液體中。圖1(d)為蒸氣內部冷卻系統(液冷翅片)，該系統與蒸氣內部冷卻系統(風冷翅片+冷凝液區)類似，區別是利用冷凝管回路代替風冷對冷凝液區和翅片進行冷卻，而冷凝液區和液冷翅片共同對冷卻液蒸氣進行冷凝。圖1(e)為蒸氣內部冷卻系統(風冷翅片全面布置)，該系統冷卻液箱頂部布置翅片式換熱器，換熱器內部為冷凝液，下側通過翅片對冷卻液蒸氣冷卻，上側通過風冷散熱，箱體四周與下側布置風冷散熱片增強散熱效果，但該安裝較復雜，實際應用存在一定困難。圖1(f)為分布式蒸氣外部冷卻系統，該系統是基于現有系統的延伸，采用分布式兩相冷卻系統，多個服務器布置在機架上，每個服務器分別單獨浸沒在冷卻液中，每個冷卻液箱中的蒸氣利用壓差進入熱交換器冷凝，然后液體經過分流閥調整流量后回至各冷卻液箱中，熱交換器吸收的熱量再通過冷凝器進行冷卻，實現整個兩相分布式冷卻系統的循環。

圖1 六類兩相冷卻系統Fig. 1 Six kinds of two-phase cooling system

兩相浸沒冷卻系統常應用于溫度均勻性要求高和熱流密度高的領域。例如，高熱流激光二極管冷卻、電力電子機柜冷卻[12]以及高功率、高重復頻率脈沖發生器等[10]。兩相冷卻相比于空氣冷卻和單相液體冷卻具有較大優勢:1)對流換熱表面傳熱系數高，冷卻液沸騰發生相變，汽化潛熱的存在增強了換熱效果，能有效去除高熱通量;2)提高冷卻系統可靠性，冷卻部件溫度變化范圍較小，增強了系統穩定性。

本文對現有的兩相冷卻系統進行了歸納、分類和延伸，并重點介紹了兩相浸沒冷卻系統所涉及的冷卻液物性、強化換熱方法和系統熱力學評估3個方面的研究進展。

1 冷卻液物性

兩相冷卻液有很多產品，如美國3M公司的產品有兩大類，包括氟化液和Novec工程流體，兩類冷卻液的常用產品物性如表1所示。氟化液無色透明、無味、不可燃、無油基、毒性低、無腐蝕性，具有極高的介電強度且溫度操作范圍廣、熱穩定性和化學穩定性高。Novec工程流體不但具有以上特性，還具有較低的全球變暖潛能值(glowbal warming potential,GWP)和臭氧損耗潛能值(ozone depletion potential, ODP)[13-14]。此外，美國科慕公司也研制了特種氟化液，包括Opteon和Vetrel兩類[15-18]，參數與3M公司產品接近，實際應用時可按需選取。

表1 3M公司兩相冷卻液物性參數[13-14]Tab. 1 Physical properties of two-phase coolants of 3M company[13-14]

冷卻液物性的研究對兩相冷卻技術十分重要，不同種類冷卻液的傳熱系數、介電常數等均有差異，會影響換熱效果及服務器運行，因此該研究能夠有力推動兩相冷卻的發展及其在數據中心的應用。針對上述情況，M. Wada 等[19]實驗研究了不同Novec冷卻液(Novec774、Novec649、Novec7000、Novec7100、Novec7200)的傳熱性能，發現上述Novec冷卻液作為工作介質的兩相浸沒冷卻系統總熱阻(空氣與被冷卻器件之間)無顯著差異。在保持被冷卻器件浸沒的狀態下，冷卻液的填充率對總熱阻的影響較小。

Li Xingping等[20]采用封閉式兩相冷卻系統對3種不同介電液體(乙醇、FC-72、R113)的傳熱性能進行了實驗研究，該系統的熱源與冷卻液直接接觸，內部沒有活動部件，減小了熱源與散熱片之間的接觸熱阻。通過開關風扇來制造強制空氣對流和自然對流條件，從而對圓筒周圍的風冷翅片進行冷卻，冷卻液蒸氣在重力作用下被圓筒外翅片管冷凝滴回到圓筒內。圖2所示為強制對流與自然對流條件下總熱阻與加熱功率的關系。由圖2(a)可知，強制空氣對流條件下，系統可以承受1 000 W的熱負荷，最小總熱阻為0.073 ℃/W。由圖2(b)可知自然對流條件下，系統可以承受300 W 的熱負荷，最小總熱阻為0.2 ℃/W，其中乙醇的熱阻較低，性能更佳。

為保證電子器件的正常運行，冷卻液需具有較小的介電常數，即較弱的導電能力。C. Benson等[21]研究了FK(氟酮)和HFE(氫氟醚)流體工作在0～20 MHz頻率范圍內的介電常數，發現HFE流體的介電常數高于FK流體，當頻率由0增至20 MHz時，HFE流體的介電常數由8降至3，FK流體的介電常數與頻率無關，保持在2不變。

2 強化換熱方法

強化換熱是提高兩相浸沒冷卻系統性能的關鍵，包括沸騰換熱強化和冷凝換熱強化。

2.1 表面沸騰換熱強化

表面沸騰換熱強化的研究很多，目前可以應用于數據中心的方法主要為表面改性和電子器件排布。

2.1.1 表面改性的影響

根據沸騰換熱機理，材料表面狀況對沸騰換熱的影響較大，而強化換熱的關鍵是使沸騰表面有更多半徑大于最小成核半徑的氣泡核。

多孔表面能夠成倍提高沸騰換熱表面傳熱系數，提供大量的汽化核心點，從而穩定地固定住大量的氣泡核，使泡態沸騰更容易實現。為了增強元件表面的沸騰，3M公司發明了一種應用于液體浴槽內厚度為100 μm的多孔金屬材料[6]電子芯片以實現強化沸騰換熱。

Fan Simiao[22]將二氧化鈦納米管排列在銅和鈦表面(圖3(a))，并與普通表面進行對比得到Novec流體沸騰曲線(圖3(b))。由圖3(b)可知，涂覆在鈦板上的納米管可以有效提高熱通量，而涂覆二氧化鈦納米管的銅板熱通量偏低，主要是由于界面熱阻造成，修正后熱通量與涂覆二氧化鈦納米管的鈦板相當。實驗結果表明，該涂層在鈦材質電子器件上具有優異冷卻性能和巨大潛力，但涂層的穩定性及引入的界面熱阻問題還有待進一步研究。

圖3 測試表面及飽和Novec流體的沸騰曲線[21]Fig. 3 Test surface and boiling curve of saturated Novec fluid[21]

2.1.2 電子器件排布的影響

對于兩相浸沒冷卻系統，箱體中電子器件的排布也會影響沸騰換熱效果，適當調整可以強化換熱。An Xudong等[23]使用CFD對用于高性能處理器設計的兩相浸入式冷卻解決方案進行了三維數值模擬，以電子元件CPU代表數據中心服務器熱源。圖4所示為CPU排列方式對最大允許功率的影響。在一塊計算板上分別嵌入垂直排列的兩個和一個CPU(圖4(a))，研究在熱源溫度不超過80 ℃下的最大允許功率。圖4(b)所示為雙插槽排列的2A和2B以及單插槽2的最高溫度與功率的關系，由于A插槽處氣泡上升到B插槽處出現熱點，導致B插槽處CPU升溫更快，當熱源溫度達到80 ℃時，雙插槽排列方式的最大允許功率225 W低于單插槽的最大允許功率275 W。

圖4 CPU排列方式對最大允許功率的影響[23]Fig. 4 Effect of CPU arrangement on the maximum allowable power[23]

A.Niazmand等[24]采用CFD模擬研究了3個不同傾斜角度(垂直于水平面的傾角設為0°)對沸騰換熱的影響，結果表明，在相同沸騰溫差(壁面溫度與飽和溫度之差)下，隨著芯片傾角的增大，熱通量降低，表明傾角對熱通量及沸騰換熱具有顯著影響。

三維芯片堆疊可以增加集成電路密度，提高空間利用率，在更小的電路板面積上提供更強的功能和更好的電氣性能。但隨狹窄垂直通道中汽化核心的增加，不斷增長的蒸氣部分可能導致受熱表面變干，從通道出口或附近開始出現嚴重的換熱退化。圖5所示為K.J.L.Geisler等[25]使用飽和FC-72作為冷卻液進行CFD模擬的結果，對于不同厚度的芯片，當芯片間距約為0.5 mm時，熱通量達到峰值。因此，確定了最佳芯片間距，優化了微觀電子芯片的布局。

圖5 硅芯片的臨界熱通量[25]Fig. 5 Critical heat flux of silicon chip[25]

2.2 冷凝換熱強化

冷凝過程在宏觀上可分為滴狀冷凝和膜狀冷凝，分類依據為冷凝液能否潤濕壁面。若冷凝液能夠很好的潤濕壁面，則在壁面形成液膜，在重力作用下沿壁面流動，此時液膜為冷凝換熱的主要熱阻。若冷凝液不能很好的潤濕壁面，接觸角較大，則在壁面形成一個個小液滴，液滴長大后沿壁面流動，此時冷凝相變熱可以直接傳給壁面。滴狀冷凝換熱表面傳熱系數要比相同條件下的膜狀冷凝大幾倍甚至一個數量級，因此目前針對滴狀冷凝換熱的研究較多，可以通過表面改性和強化管(改變表面結構)措施進行強化。

2.2.1 表面親潤性的影響

材料表面的親潤性對滴狀冷凝至關重要，Quan Xiaojun等[26]制備了一種油浸納米草疏水薄膜，并在涂有這種薄膜的傾斜表面進行液滴滑動實驗，結果表明，液滴的流速相比在原銅表面顯著提高，薄膜增強了表面的疏水性。在冷凝管外表面涂覆該薄膜進行冷凝換熱實驗，結果表明，相比于原銅表面，覆蓋涂層的冷凝換熱表面傳熱系數可提升50%，表明該涂層對管外滴狀冷凝的強化效果顯著。

穩定性差是疏水涂層實際應用中面臨的主要問題。為了長時間維持滴狀冷凝而避免出現膜狀冷凝，D.Seo等[27]提出一種在旋轉管表面不斷刷潤滑油的方法，旋轉管壁與刷毛之間接觸使冷凝器上流失的潤滑油得到補充，而毛刷內的潤滑油通過毛細作用從儲油器中自動填充，同時，該方式還可以掃除液滴、降低液膜厚度、促進新液滴產生，提高換熱性能。

圖6(a)所示為穩定冷凝階段光管表面、刷式光管表面、疏水表面、刷式疏水表面、超疏水表面和刷式浸油表面的液滴狀態。由圖6(a)可知，刷式浸油表面能夠有效去除液滴。圖6(b)所示為不同表面的冷凝換熱表面傳熱系數隨過飽和度(蒸氣飽和壓力與管表面溫度下飽和壓力的比值)的變化，光管表面和刷式光管表面處于膜狀冷凝階段，而通過刷子可以減少液膜厚度，使后者表面傳熱系數高于前者。疏水表面和刷式疏水表面處于滴狀冷凝階段，而刷子可以促進新液滴的產生，使后者表面傳熱系數更高。刷式浸油表面相比于刷式疏水表面能夠有效去除產生的液滴，使前者表面傳熱系數在很寬的過飽和度范圍內顯著高于后者，體現了更好的換熱性能。

圖6 不同表面冷凝狀態及換熱性能[27]Fig. 6 State and surface heat transfer performance of different condensation[27]

2.2.2 表面結構的影響

改變管壁或冷板等表面結構一方面可以增加傳熱面積，另一方面有利于冷凝液滴的滑移、滴落，減少熱阻，提高冷凝換熱效率。Ren Bin等[28]設計了一種雙管換熱器，分別采用波紋低翅片管和光滑管作為內管，使蒸氣/空氣混合物在內管冷凝，而冷卻水在雙管間環形通道對內管進行冷卻。測量計算管內冷凝換熱表面傳熱系數結果如圖7所示，由于不凝氣體增加了傳熱傳質的阻力，兩管的管內平均冷凝換熱表面傳熱系數均隨著不凝性氣體質量分數的增加而減小。同時低翅片管的冷凝換熱表面傳熱系數更大，體現出低翅片管對冷凝換熱的強化作用。A.S.Dalkilic等[29]總結了R410A冷卻液在不同流量下光滑管、螺紋管和人形翅片管的管內冷凝換熱表面傳熱系數，均隨濕度增加而降低，且兩種流量下(G=100 kg/(m2·s)和G=300 kg/(m2·s))強化管均比光滑管的冷凝換熱表面傳熱系數高。

圖7 冷凝換熱表面傳熱系數隨不凝性氣體質量分數的變化[28]Fig. 7 Variation of heat transfer coefficient of condensation heat transfer surface with mass fraction of non condensable gas[28]

3 冷卻系統的熱力學評估

數據中心兩相浸沒冷卻系統理論上具有高效節能的特點，為此多位學者進行了模擬或實驗驗證，對給定的冷卻系統進行熱力學分析，主要對制冷性能系數(COP，coefficient of performance)和PUE進行定量分析，COP和PUE分別定義為：

(1)

(2)

式中：Qcond為系統制冷量，W；W為系統輸入功率，W；Wtotal為數據中心總功率，W；WIT為IT負載功率，W。

Liu Cheng等[30]通過CFD分析評估了服務器的間隔與表面溫度的關系，并在各種IT負載下評估了給定系統的COP和PUE。冷卻裝置的功率通過功率計進行實時監測，服務器功率通過計算機進行調控。圖8所示為給定系統的熱力學分析結果，由圖8(a)可知，當服務器功率由1 127 W增至1 577 W時，COP由19.0增至26.7。根據已有研究可知[31-32]，給定兩相冷卻系統COP比空氣冷卻和單相冷卻系統COP約高4～20。由圖8(b)可知，當服務器功率由1 127 W增至1 577 W時，系統PUE由1.053降至1.037，相比于空氣冷卻和單相冷卻系統(PUE>1.2)PUE更低。綜上所述，兩相冷卻系統更加高效節能。

圖8 給定系統熱力學分析[30]Fig. 8 Thermodynamic analysis of a given system [30]

馬躍征等[33]搭建了一種磁力泵驅動的兩相冷卻復合制冷裝置，當室外溫度較高或泵循環冷卻能力低于數據中心需求時，將泵驅動模式切換為壓縮制冷模式。蒸發器和冷凝器迎面風速為1 m/s的條件下，泵循環模式和壓縮制冷模式的制冷量和功率如圖9所示。由圖9(a)可知，泵驅動模式下泵僅提供給系統循環的動力，系統功率變化較小，系統制冷量隨室外溫度的升高迅速降低。由圖9(b)可知，壓縮制冷模式的制冷量隨室外溫度的升高逐漸降低，但壓縮制冷模式的功率遠高于泵驅動模式。

圖9 制冷量、功率隨室外溫度的變化[33]Fig. 9 Variation of refrigerating capacity and power with outdoor temperature[33]

4 總結與展望

面向數據中心的冷卻需求，兩相冷卻是一種比空氣冷卻和單相液冷更高效節能的制冷方式，能夠有效提高制冷系統COP，降低數據中心PUE。本文介紹了兩相冷卻系統分類與相應系統的關鍵部件，并提出一種分布式兩相冷卻方法。該方法將各服務器分離，互不影響，便于各服務器的壓力和溫度監測，但系統壓力控制更具挑戰性。此外本文還對兩相冷卻技術涉及的冷卻液物性、強化換熱方法和系統熱力學評估3個層面的研究進行了梳理。

總體上看，目前兩相冷卻技術還不夠成熟，建議從如下方面開展進一步研究：

1)冷卻液物性對兩相冷卻系統性能的影響至關重要，但目前對于冷卻液物性的研究較少，特別是氣相冷卻液的物性參數。

2)冷卻系統涉及沸騰換熱和冷凝換熱，針對兩類換熱主要通過對氣泡和液滴的形成與脫離過程進行強化，建議開展冷卻液相變換熱強化相關研究。

3)兩相冷卻系統具有優越的熱力學性能(高COP和低PUE)，應結合低溫余熱回收系統等，將廢熱二次利用進一步提高能源的利用率、節約運行成本。

4)服務器和冷卻液均在密閉空間內，由于冷卻液汽化過程可能導致壓力過高，對設備材料和尺寸有一定要求，如何維持系統壓力穩定也是亟待解決的問題。

本文受北京市自然科學基金項目(3212019)資助。(The project was supported by the National Natural Science Foundation of Beijing (No. 3212019).)