蒸發(fā)冷卻技術(shù)在數(shù)據(jù)中心液冷系統(tǒng)中的應(yīng)用探討

田哲寧 黃 翔 屈名勛

（西安工程大學(xué) 西安 710048）

0 引言

隨著大數(shù)據(jù)和云計(jì)算時(shí)代的進(jìn)一步到來(lái)，信息產(chǎn)業(yè)蓬勃發(fā)展。尤其在2020年初疫情來(lái)襲，給人們出行工作帶來(lái)極大不便，大多數(shù)人選擇在線上辦公，這對(duì)數(shù)據(jù)信息的硬件承載者數(shù)據(jù)中心有了更高一步的要求。在除了滿足高能效型、安全性之外，另一方面數(shù)據(jù)中心能源消耗和運(yùn)行成本也越來(lái)越受到人們關(guān)注。根據(jù)相關(guān)統(tǒng)計(jì)數(shù)據(jù)，數(shù)據(jù)中心的能耗約占我國(guó)全社會(huì)總能耗的2%，占總建筑能耗的10%，且呈上升趨勢(shì)。而在2019年2月，工信部、國(guó)家機(jī)關(guān)事務(wù)管理局、國(guó)家能源局出臺(tái)《關(guān)于加強(qiáng)綠色數(shù)據(jù)中心建設(shè)的指導(dǎo)意見(jiàn)》，要求到2022年，數(shù)據(jù)中心平均能耗基本達(dá)到國(guó)際先進(jìn)水平，新建大型、超大型數(shù)據(jù)中心的PUE 降到1.4 以下。

在中國(guó)市場(chǎng)，現(xiàn)階段大多數(shù)據(jù)中心仍采用風(fēng)冷，而國(guó)外數(shù)據(jù)中心則進(jìn)入到了液冷時(shí)代。由于液體的比熱遠(yuǎn)大于空氣，液冷服務(wù)器將供水溫度提升至35℃，從而無(wú)需壓縮機(jī)制冷，全年采用自然冷源，使數(shù)據(jù)中心基礎(chǔ)設(shè)施制冷系統(tǒng)的運(yùn)行能耗降低30%-40%，同時(shí)，由于提高了功率密度，數(shù)據(jù)中心所需的機(jī)房面積可減少10%，或機(jī)房利用率提高10%，使得數(shù)據(jù)中心的能耗指標(biāo)（PUE）可降低至1.2 甚至更低，服務(wù)器的CPU 可實(shí)現(xiàn)超頻運(yùn)行，計(jì)算性能提高12%。不難看出液冷服務(wù)器使節(jié)能降耗帶來(lái)了變革性的創(chuàng)新，實(shí)現(xiàn)數(shù)據(jù)中心整體提升制冷能效[1]。

蒸發(fā)冷卻空調(diào)技術(shù)是人類利用自然條件改善生存質(zhì)量的一種降溫方式，制冷的驅(qū)動(dòng)力是使用豐富的干空氣能。該空調(diào)技術(shù)和傳統(tǒng)空調(diào)技術(shù)相比，不使用壓縮機(jī)，耗電設(shè)備僅為風(fēng)機(jī)和水泵，因此，其節(jié)電效果顯著；以水為制冷劑，不使用氟利昂，對(duì)空氣友好，并且對(duì)空氣中的一些顆粒物如PM2.5和PM10 有一定的過(guò)濾作用。所以蒸發(fā)冷卻技術(shù)是一項(xiàng)節(jié)能、低碳、經(jīng)濟(jì)、健康、環(huán)保技術(shù)，具有非常好的發(fā)展前景術(shù)[2]。

論文通過(guò)提出傳統(tǒng)冷卻塔與液冷技術(shù)結(jié)合的形式的不足，進(jìn)一步探討利用間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組代替冷卻塔與液冷技術(shù)結(jié)合的可行性，并進(jìn)行展望。

1 液體冷卻

液冷就是將某種液體作為導(dǎo)熱介質(zhì)，通過(guò)液體將數(shù)據(jù)中心內(nèi)服務(wù)器、CPU、內(nèi)存條等器件在運(yùn)行時(shí)產(chǎn)生的熱量帶走。由于近年來(lái)數(shù)據(jù)中心發(fā)展迅猛，單機(jī)架功率快速提升，單機(jī)架用電規(guī)模從標(biāo)準(zhǔn)單機(jī)架功率4kW 朝著20-30kW 甚至更高規(guī)模發(fā)展。導(dǎo)致數(shù)據(jù)中心單機(jī)架及整體散熱大幅度上升。傳統(tǒng)風(fēng)冷或水冷技術(shù)已不能完全滿足數(shù)據(jù)中心所需，液冷技術(shù)的重要性越來(lái)顯現(xiàn)出來(lái)。液體冷卻根據(jù)冷卻液體與數(shù)據(jù)中心發(fā)熱設(shè)備是否直接接觸可以分為兩大類，一類是直接接觸式液體冷卻，一種是間接接觸式液體冷卻。還可根據(jù)冷卻液體在冷卻過(guò)程中是否產(chǎn)生相變分為單相液冷及相變液冷。現(xiàn)今直接接觸式液體冷卻可分為浸沒(méi)式與噴淋式兩種形式，而間接接觸式液體冷卻主要體現(xiàn)為冷板式這種形式[3,4]。

1.1 浸沒(méi)式液體冷卻

圖1 浸沒(méi)式液冷數(shù)據(jù)通信設(shè)備Fig.1 Immersion liquid-cooled data communication equipment

浸沒(méi)式液體冷卻是將數(shù)據(jù)中心的發(fā)熱設(shè)備直接浸入冷卻液體的一種冷卻方式，此形式可以使冷卻液體與發(fā)熱設(shè)備直接接觸，由于冷卻液體與發(fā)熱設(shè)備直接接觸使其具有較低的對(duì)流熱阻，傳熱系數(shù)高，運(yùn)行溫度變化較小等特點(diǎn)。且不需要配備風(fēng)扇，帶來(lái)了噪音低的特點(diǎn)。使其成為機(jī)柜熱流密度大，需要綠色環(huán)保的超大型數(shù)據(jù)中心的絕佳之選。

但由于浸沒(méi)式液體冷卻技術(shù)對(duì)數(shù)據(jù)中心整體要求較高，對(duì)液冷機(jī)柜間及機(jī)柜內(nèi)冷卻液如何均勻分配，使得各電子信息設(shè)備獲得均勻冷量。這方面需要采用同程環(huán)路供回液設(shè)計(jì)，機(jī)柜間需要設(shè)置平衡管，機(jī)柜內(nèi)需要采用均流板供液。而如何降低主要熱源CPU 與冷卻液換熱熱阻，以避免通過(guò)增大換熱溫差來(lái)實(shí)現(xiàn)散熱過(guò)程，增大換熱溫差會(huì)降低利用自然冷源的可行性，從而增加系統(tǒng)能耗。這方面，需要選擇合適熱界面材料及CPU 散熱器。目前在國(guó)內(nèi)外并無(wú)使用該技術(shù)的大型數(shù)據(jù)中心出現(xiàn)，在如今國(guó)內(nèi)數(shù)據(jù)中心若使用浸沒(méi)式液體冷卻多數(shù)需要在原有的基礎(chǔ)上進(jìn)行較大改造，初投資及運(yùn)營(yíng)維護(hù)成本也較大，使用技術(shù)難度也較大，雖然其具有優(yōu)勢(shì)，不過(guò)也會(huì)帶來(lái)更大的技術(shù)挑戰(zhàn)。

1.2 噴淋式液體冷卻

圖2 噴淋式液冷數(shù)據(jù)通信設(shè)備Fig.2 Spray-type liquid-cooled data communication equipment

將冷卻液體通過(guò)噴淋器件噴淋在數(shù)據(jù)中心發(fā)熱設(shè)備表面使其熱量被直接或間接的帶走，降低設(shè)備溫度這種冷卻方式被稱作噴淋式液體冷卻。這種方式相較于浸沒(méi)式液體冷卻節(jié)省了液體，也可獲得較好的靜音效果。由于在噴淋式液體冷卻中冷卻液也可直接的與發(fā)熱設(shè)備接觸，進(jìn)而也可獲得較強(qiáng)的散熱效率。是解決大功耗機(jī)柜在數(shù)據(jù)中心機(jī)房部署以及降低IT 系統(tǒng)制冷費(fèi)用，提升能效，降低PUE的有效手段之一[5]。

但在噴淋時(shí)需要精準(zhǔn)噴淋流量設(shè)計(jì)，對(duì)液體的兼容性要求較高，在整體流量的控制上不易達(dá)到精準(zhǔn)，在噴淋時(shí)也會(huì)造成噴淋覆蓋面對(duì)發(fā)熱元件不能整體覆蓋的問(wèn)題。還需對(duì)冷卻液體頻繁補(bǔ)充，服務(wù)器頻繁維護(hù)，且對(duì)原有數(shù)據(jù)中心改動(dòng)較大，初投資較高，運(yùn)營(yíng)維護(hù)成本也較大。

1.3 冷板式液體冷卻

冷板式液體冷卻如圖3所示，冷板與CPU 等核心發(fā)熱元件直接接觸吸收熱量，通過(guò)直接在冷板內(nèi)通入冷卻液體或通過(guò)熱傳導(dǎo)等間接的方式對(duì)冷板進(jìn)行降溫。這種冷卻方式對(duì)機(jī)房、機(jī)柜、服務(wù)器改造較小，且服務(wù)器的維護(hù)與常規(guī)風(fēng)冷一致，方案成熟，雖然初投資較高，但運(yùn)維成本低。

圖3 冷板式液冷數(shù)據(jù)通信設(shè)備Fig.3 Cold plate liquid cooled data communication equipment

此種方式水冷板會(huì)有泄露風(fēng)險(xiǎn)，對(duì)機(jī)柜內(nèi)部造成損傷。需要漏液監(jiān)測(cè)及預(yù)警系統(tǒng)輔助，對(duì)整個(gè)數(shù)據(jù)中心機(jī)房還需要風(fēng)冷補(bǔ)償才能達(dá)到對(duì)機(jī)房整體溫度的控制[6]。

2 液冷在數(shù)據(jù)中心實(shí)際應(yīng)用及問(wèn)題。

2.1 數(shù)據(jù)中心用液氣雙通道散熱系統(tǒng)

數(shù)據(jù)中心用液冷服務(wù)器散熱系統(tǒng)架構(gòu)如圖4所示利用液冷技術(shù)將CPU 等高熱流密度元器件的熱量導(dǎo)出，使其形成液冷散熱通道。利用液冷技術(shù)帶走數(shù)據(jù)中心大部分熱量后，再通過(guò)房間級(jí)氣冷、行級(jí)氣冷、機(jī)柜氣冷這三種空氣散熱的形式，構(gòu)成氣冷散熱通道，將數(shù)據(jù)中心機(jī)房?jī)?nèi)其余熱量帶走。關(guān)于液冷散熱通道這里主要介紹如圖5所示，冷板直接接觸式液冷數(shù)據(jù)通信設(shè)備由熱沉直接接觸核心發(fā)熱部件再由冷卻板進(jìn)行熱量循環(huán)的形式。熱沉與發(fā)熱部件直接接觸，熱沉充分吸收發(fā)熱部件的熱量后，將熱量傳遞給熱管，熱管內(nèi)部通過(guò)毛細(xì)作用力實(shí)現(xiàn)熱傳導(dǎo)。將熱量傳遞給冷卻板，通過(guò)冷卻板內(nèi)的冷卻水循環(huán)將熱管熱端的熱量帶走。通常采用冷卻塔制取高溫冷水通入冷卻板，來(lái)進(jìn)行冷卻水的循環(huán)。

圖4 液/氣雙通道散熱系統(tǒng)的架構(gòu)Fig.4 Architecture of liquid/gas dual channel cooling system

圖5 冷板直接接觸式液冷數(shù)據(jù)通信設(shè)備Fig.5 Direct contact liquid cooling data communication equipment of cold plate

2.2 冷卻塔的不足

冷卻塔制取冷水的過(guò)程可以近似看作直接蒸發(fā)冷卻制取冷水的過(guò)程。如圖6 焓濕圖所示，當(dāng)從用戶回來(lái)的狀態(tài)E循環(huán)水噴淋到填料形成水膜與空氣進(jìn)行熱濕處理時(shí)，部分水分蒸發(fā)從空氣和水中吸收顯熱，轉(zhuǎn)為汽化潛熱，進(jìn)入到空氣中，水溫被降到狀態(tài)G，空氣實(shí)際情況下發(fā)生增焓降溫過(guò)程，從狀態(tài)A降溫增焓到狀態(tài)C，液態(tài)水發(fā)生降溫冷卻過(guò)程。從而實(shí)現(xiàn)對(duì)循環(huán)水的降溫，最終獲得的冷水溫度高于進(jìn)口空氣狀態(tài)點(diǎn)A的濕球溫度。冷卻塔出水溫度與濕球溫度的差值稱為逼近度。逼近度并非定值，在設(shè)計(jì)濕球溫度28℃時(shí)通常為3～5℃。一般選取5℃為冷卻塔最不利出水溫度。在如今實(shí)際工程應(yīng)用中考慮到通過(guò)管道將制取的高溫冷水送到冷板時(shí)還會(huì)產(chǎn)生一定的溫升，所以大都要求冷水機(jī)組出水溫度不宜超過(guò)35℃，而隨著單機(jī)架功率的上升，CPU 等核心元件發(fā)熱量逐步攀升，必將對(duì)供水溫度有更高要求。而通過(guò)實(shí)際計(jì)算繪制分區(qū)地圖發(fā)現(xiàn)利用冷卻塔制取出的高溫冷水在我國(guó)并非對(duì)所有地區(qū)都可直接滿足對(duì)數(shù)據(jù)中心液冷技術(shù)進(jìn)行降溫的條件，在有些區(qū)域單憑冷卻塔供冷制取的高溫冷水是無(wú)法滿足液冷技術(shù)所需條件[7,8]。

圖6 冷卻塔制取冷水的焓濕圖Fig.6 Enthalpy and humidity diagram of cold water produced by cooling tower

2.3 間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組

在冷卻塔不能完全滿足液冷技術(shù)所需時(shí)，利用間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組產(chǎn)出的冷水將液冷冷水板的熱量帶走。如圖7 焓濕圖所示，狀態(tài)E的噴淋水首先在填料處與狀態(tài)D的空氣進(jìn)行熱濕交換，狀態(tài)E的噴淋水被冷卻到狀態(tài)F。狀態(tài)F的淋水繼續(xù)往下流動(dòng)，在填料上往下流動(dòng)的過(guò)程中再被冷卻，最后聚集在水箱，變成狀態(tài)G的冷水。最終制取的冷水溫度低于狀態(tài)A點(diǎn)的濕球溫度，高于B點(diǎn)濕球溫度，高于A點(diǎn)的露點(diǎn)溫度。間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組供水溫度可達(dá)到濕球溫度和露點(diǎn)溫度之間的亞濕球溫度。如圖8所示間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組的預(yù)冷換熱器主要有外冷式和內(nèi)冷式，外冷式換熱器主要為表冷器，內(nèi)冷式預(yù)冷的間接蒸發(fā)冷卻器主要有臥管式、立管式、板管式、露點(diǎn)式，通常會(huì)采用內(nèi)外冷相結(jié)合的預(yù)冷形式。作為進(jìn)風(fēng)預(yù)冷將進(jìn)風(fēng)空氣的濕球溫度進(jìn)一步降低，使得蒸發(fā)冷卻的驅(qū)動(dòng)力“干濕球溫差”進(jìn)一步加大，進(jìn)而滿足在機(jī)組填料段可以使得空氣與水充分的換熱，使得水溫有更大的降溫幅度[8]。

圖7 間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組制取冷水的焓濕圖Fig.7 Enthalpy and humidity diagram of cold water produced by indirect precooled evaporative cooling chiller

圖8 立管與露點(diǎn)式間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組Fig.8 Riser pipe and dew-point indirect precooling evaporative cooling chiller

在最不利氣象條件下間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組也可將出水水溫降低到濕球溫度下2℃。且間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組擁有更良好的節(jié)水性，噪音低，更加節(jié)電。對(duì)預(yù)冷段的是否開啟可以進(jìn)行控制，有兩種運(yùn)行模式，使用起來(lái)更加靈活便捷[9]。

3 分區(qū)地圖

3.1 陜西省分區(qū)地圖

根據(jù)上述對(duì)冷卻塔及間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組最不利出水溫度的預(yù)測(cè)，結(jié)合陜西省各市區(qū)全年逐時(shí)8760 小時(shí)濕球溫度做出折線圖，并分別繪制出典型年出水溫度最高可達(dá)溫度范圍分區(qū)地圖。

3.1.1 陜西省部分市區(qū)冷卻塔典型年逐時(shí)最不利出水溫度折線圖

圖9 西安市冷卻塔典型年逐時(shí)最不利出水溫度Fig.9 Typical annual most unfavorable hourly outlet temperature of cooling tower in Xi'an

圖10 榆林市冷卻塔典型年逐時(shí)最不利出水溫度Fig.10 Typical annual most unfavorable hourly outlet temperature of cooling tower in Yu'lin

圖11 延安市冷卻塔典型年逐時(shí)最不利出水溫度Fig.11 Typical annual most unfavorable hourly outlet temperature of cooling tower in Yan'an

3.1.2 陜西省各市區(qū)典型年冷卻塔出水溫度最高可達(dá)溫度范圍

圖12 陜西省典型年冷卻塔出水溫度最高可達(dá)溫度范圍分區(qū)地圖Fig.12 Zonal map of the maximum reaching temperature range of outlet water temperature of cooling tower in typical years in Shaanxi Province

通過(guò)上述繪制的陜西省各市區(qū)典型年冷卻塔出水溫度最高可達(dá)溫度范圍圖可直觀地看出陜西省十個(gè)市區(qū)內(nèi)，僅有榆林市冷卻塔出水溫度可以滿足30℃以下，保證數(shù)據(jù)中心全年安全運(yùn)行。榆林市相較于其他市區(qū)，緯度較高。通過(guò)典型年逐時(shí)氣象參數(shù)也可看出榆林市干濕球溫差較大，干空氣能富足，蒸發(fā)冷卻效率高。而冷卻塔內(nèi)發(fā)生的熱濕交換過(guò)程又可近似的看作直接蒸發(fā)冷卻過(guò)程，故導(dǎo)致了這一結(jié)果。

3.1.3 陜西省部分市區(qū)間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組典型年逐時(shí)最不利出水溫度折線圖

圖13 西安市間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組典型年逐時(shí)最不利出水溫度Fig.13 Typical annual most unfavorable hourly effluent temperature of indirect precooled evaporative chillers in Xi'an

圖14 榆林市間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組典型年逐時(shí)最不利出水溫度Fig.14 Typical annual most unfavorable hourly effluent temperature of indirect precooled evaporative chillers in Yu'lin

圖15 延安市間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組典型年逐時(shí)最不利出水溫度Fig.15 Typical annual most unfavorable hourly effluent temperature of indirect precooled evaporative chillers in Yan'an

3.1.4 陜西省各市區(qū)典型年間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組出水溫度最高可達(dá)溫度范圍

圖16 陜西省典型年間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組出水溫度最高可達(dá)溫度范圍分區(qū)地圖Fig.16 Zoning map of the maximum effluent temperature range of indirect precooled evaporative chillers in typical years in Shaanxi Province

使用間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組替代冷卻塔后，從分區(qū)地圖中直觀的可以看出陜西省全省范圍內(nèi)間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組出水溫度皆可達(dá)到30℃以下，滿足數(shù)據(jù)中心全年安全運(yùn)行所需。

3.2 全國(guó)分區(qū)地圖

上述冷卻塔與間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組在相同氣象條件下出現(xiàn)的出水溫度不同的情況，根據(jù)各城市省會(huì)城市為代表，選取典型年氣象參數(shù)制作了以出水溫度為區(qū)分的分區(qū)地圖。

3.2.1 典型年冷卻塔出水溫度最高可達(dá)溫度范圍

圖17 全國(guó)典型年冷卻塔出水溫度最高可達(dá)溫度范圍分區(qū)地圖Fig.17 Regional map of the maximum outlet water temperature of cooling tower in a typical year in China

由于冷卻塔處出水溫度一般在濕球溫度之上的3～5℃，而數(shù)據(jù)中心的特點(diǎn)是要求全年不間斷運(yùn)行，且需要考慮最不利情況，隨意選取各省市省會(huì)城市典型年氣候參數(shù)中濕球溫度進(jìn)行計(jì)算，得出典型年冷卻塔出水溫度最高可達(dá)溫度范圍。可以看出在全國(guó)范圍內(nèi)有大部分區(qū)域都會(huì)有超過(guò)30℃的情況，這對(duì)于液冷技術(shù)是不利的，而還有八個(gè)地區(qū)超過(guò)了35℃，不能滿足液冷技術(shù)所需，隨著技術(shù)的不斷發(fā)展，單機(jī)架功率的不斷上升，數(shù)據(jù)中心發(fā)熱量勢(shì)必也會(huì)提高，對(duì)液冷技術(shù)的要求也會(huì)有更高的要求，不難看出冷卻塔已無(wú)法滿足全國(guó)各地區(qū)所需。

3.2.2 典型年間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組出水溫度最高可達(dá)溫度范圍

圖18 全國(guó)典型年間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組出水溫度最高可達(dá)溫度范圍分區(qū)地圖Fig.18 Regional map of the maximum effluent temperature of indirect precooled evaporative chillers in China in typical years

在使用了間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組后從全國(guó)地圖上可以明顯的看出冷水機(jī)組出水溫度顯著下降，全國(guó)33 個(gè)省區(qū)都可控制在30℃以內(nèi)，完全可以滿足現(xiàn)階段液冷技術(shù)的需要。在江西地區(qū)溫度超過(guò)了30℃，在此地區(qū)極端氣候條件下，可以在間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組內(nèi)增加表冷器，進(jìn)行入口空氣的預(yù)冷，使冷水機(jī)組出水溫度降得更低，最終達(dá)到需求。

4 結(jié)語(yǔ)

通過(guò)對(duì)液冷技術(shù)各形式的分析，同時(shí)總結(jié)了直接接觸式液冷數(shù)據(jù)通信設(shè)備可與蒸發(fā)冷卻技術(shù)緊密結(jié)合的液冷形式，通過(guò)繪制出的全國(guó)分區(qū)地圖可清晰看出冷卻塔在某些極端情況下不能滿足數(shù)據(jù)中心全年安全運(yùn)行的要求，利用間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組后，可以滿足數(shù)據(jù)中心全年安全運(yùn)行要求。故利用間接預(yù)冷式蒸發(fā)冷卻冷水機(jī)組取代原有的冷卻塔供冷模式是未來(lái)數(shù)據(jù)中心冷卻方式發(fā)展的其中一種趨勢(shì)。這種數(shù)據(jù)中心冷卻方式將很好的滿足數(shù)據(jù)中心向著高密度發(fā)展的同時(shí)，也滿足高效、綠色、低碳發(fā)展的目標(biāo)要求[10]。