5G微中心浸沒式液冷方案研究

周 平，程 雷，胡振鑫

（1.中國移動江蘇公司蘇州分公司，江蘇 蘇州 215028；2.中國移動江蘇公司，江蘇 蘇州 210000）

1 背 景

5G基站設備主要包括 AAU和BBU（AAU=RRU+天 線；BBU=CU+DU或BBU=DU （CU在 中 心 機房）），5G設備功耗如表1所示。

表1 各類5G設備典型功率表

（1）AAU=900～1 100 W 業務高峰時發射最大，耗電功率也大。

（2）BBU=800～1 100 W 業務高峰時流量最大，耗電功率也大（4G時代BBU功耗只有400～500 W，5G時代BBU是其翻倍水平）。

1.1 5G需要的BBU數量多、功耗大

5G基站密度遠比3G/4G大，一個BBU池化機房可能要集中放置20～40臺BBU，但一個機柜15臺BBU則總功耗近15 kW,在接入網機房空調能力是難以承受。即使按每個機柜10臺BBU計算，機柜內功耗也達7～10 kW以上，可見5G BBU機柜發熱功率比4G時代的BBU池化機柜功率大2～3倍，相應地需要空調冷量比4G時代的BBU池化機柜大得多[1]。

5G時代覆蓋同樣片區，BBU數量較4G時代布置的BBU增加多少，從連續覆蓋角度來看，5G的基站數量可能是4G的1.5～2倍。

1.2 基站空間緊張、電力擴容難

將BBU進一步分散確實可以把機柜散熱難題降低，但5G時代同一地域需要集中池化的BBU比4G時代還要多，在一個面積緊張、空間狹小的接入網機房內擺很多BBU機柜（比如大于4個）必然要擠占大量機房空間，無疑是不大現實，因此一個5G BBU機柜放10個BBU應該是比較合理、可行的[2]。

部分基站內設備較多，BBU及空調設備的安裝空間有限（常規基站為15～20 m2，安裝6～8個機架（傳輸/開關電源/ODF/無線），部署的BBU及邊緣計算設備需要電力容量大，電力擴容需與供電局協商、手續多、周期長、成本高，（申請18 kW，從申請到查勘到通電約3個月），盡量采用節能效果好的空調，相同的用電容量支持更多的設備。

1.3 BBU 池化布置

鑒于配置的BBU數量多，基站空間緊張，BBU設備需池化布置，多個BBU放置在同一機柜，一個標準高度機柜（2.2 m，47U）可以放15臺BBU（BBU高度2U，間距1U），單機柜總功耗近15 kW導致單機柜功耗大，傳統的基站空調很難解決。把BBU進一步分散降低機柜散熱，但5G時代同一地域需要的BBU比4G要多，由于基站面積緊張、空間狹小即使少放幾個，單機柜也需放10臺左右，功耗也要7～10 kW。傳統的基站空調仍然很難解決[3]。

1.4 BBU氣流組織與機柜不匹配

BBU設備氣流組織不合理：BBU產品采用左進右出或右進左出氣流組織，與機柜前進后出的氣流組織不匹配，當前BBU池大都由橫放改為豎放，部分緩解了散熱困難，但仍不能根本解決。

總結：5G總體功耗是4G的2.5～3.5倍以上，5G基站選址難、5G BBU池普遍采用集中池化部署方案、BBU設備氣流組織不合理。造成BBU池化機柜散熱面臨挑戰，亟需考慮創新優化方案，滿足使用需求。本研究試點應用浸沒式液冷技術解決5G BBU池散熱[4]。

2 浸沒式液冷研究試點概況

針對目前5G建設中存在CRAN基帶池機房市電需增容和空調能耗大的難題，在不具備機房改造和訂制無線網硬件的環境下，積極探索通過使用液冷技術，來攻克機房用電以及機房環境這一難題，并完成國內首個液冷5G基帶池站點開通。

目前5G無線設備為BBU集中放置和AAU拉遠形式，在室內部分的BBU基帶池采用液冷實驗：站點選用三莊節點，機柜選用微型浸沒式液冷機柜，外機自然冷卻。此機柜最大支持冷卻功率5 kW，可用空間21U； PUE可低至1.3左右，相比PUE約2.25的傳統基站，節能率達40%。

采用浸沒式液冷技術，可消除空氣中的灰塵、濕度、靜電的影響；保持溫場穩定，消除熱點。同時IT設備無風扇，靜音、無震動。

2.1 基站現狀

基站內裝有3套開關電源，其中一套傳輸電源，負載主要是城域網以及OLT設備，發熱量較大；另外兩套為無線電源，負載主要為BBU設備，以CRAN模式為主導的BBU的集中放置導致發熱量巨大；站內兩臺5P空調，基站總體環境溫度沒有過高現象，但是存在局部過熱的問題，尤其是BBU設備的出風口溫度較高，難以得到有效控制。

2.2 5G BBU池

測試負載設備其中BBU功率0.54 kW（安裝了3塊接口板，每塊接口板功率0.18 kW），另增加模擬負載，總負載整體功率約2.7 kW（相當于15塊BBU）。在測試前拆除設備上風扇，并將設備完全浸泡在液冷機柜的冷卻液中，冷卻液能將熱量快速有效地帶到室外，并隔絕空氣中的灰塵、濕度、腐蝕性氣體、靜電的影響。

（1）應用液冷技術的C-RAN單節點BBU池預計30個BBU，合計功率5.4 kW，預計PUE可低至1.3左右。

（2）5G節點用電容量大部分在15～60 kW，市電擴容困難。液冷基站能效利用更高，用電總容量更低，市電引入難度大大降低。

（3）采用浸沒式液冷技術，可消除空氣中的灰塵、濕度、靜電的影響；溫場更穩定，基本消除熱點；單機柜功率密度大大提升。

2.3 浸沒式液冷方案原理及系統圖

液冷機柜與空調外機系統圖如圖1所示：液冷機柜有一個可容納服務器的箱體，箱體中裝滿冷卻液，服務器完全浸沒在冷卻液中，當服務器運行時產生的熱量傳遞給冷卻液，溫度逐步升高的冷卻液被機柜中油泵抽走并由管路輸送到板式換熱器，經過換熱器的冷卻液被降溫，最終由管路輸送回到機柜，如此周而復始。板式換熱器中的冷量是由空調外機提供的[5]。

圖1 液冷方案原理及系統圖

冷卻液采用聚硅氧烷，是一種具有不同聚合度鏈狀結構的有機硅氧烷混合物，其端基和側基全為烴基（如甲基、乙基、苯基等）。液態時的聚硅氧烷為一黏稠液體。稱做硅油，一般的硅油為無色、無味、無毒、不易揮發的液體，具有以下特性：無色或淺黃色液體，無味，透明度高，好的柔軟特性及抗靜電性能，良好的降黏及流平性。具有耐熱性、耐寒性、黏度隨溫度變化小、防水性、表面張力小、具有導熱性，導熱系數為0.134～0.159 W/M*K，透光率100%，二甲基硅油無毒無味，具有生理惰性、良好的化學穩定性。電絕緣性和耐候性、疏水性好，并具有很高的抗剪切能力，可在-50～200℃下長期使用。

每個微型液冷數據中心都由液冷機柜+空調室外機+服務器吊裝組件（吊機）這3部分構成。

（1）液冷機柜：液冷機柜包括機柜內膽、內機換熱模塊及液冷監控系統，如圖2所示。機柜內膽：承載服務器和冷卻液，為服務器提供安全冷卻環境；內機換熱模塊：包含冷卻液循環泵、蒸發器（板式換熱器）等，屬于室內冷卻液和室外冷卻介質進行熱交換的換熱系統；液冷監控系統：包括系統控制板、采集單元、電子膨脹閥、低壓壓力傳感器、吸氣溫度傳感器、進液溫度傳感器、出液溫度傳感器、供液壓力傳感器、低液位開關等，對系統設備運行進行在線監測和智能控制。

圖2 液冷機柜實物圖

（2）空調室外機：空調外機包括變頻壓縮機、軸流風機、冷凝盤管、高壓壓力傳感器、排氣溫度傳感器、高壓開關、低壓開關、風機轉速控制器等。

（3）吊機：為方便微型液冷數據中心內提取或放置服務器，設計了一款簡易的服務器吊機。該吊機需要與機柜結構配合使用。

3 試點研究分析

3.1 5G BBU池分析

測試負載設備，其中BBU功率0.54 kW（安裝了3塊接口板，每塊接口板功率0.18 kW），另增加模擬負載，總負載整體功率約2.7 kW（相當于15塊BBU）。在測試前拆除設備上風扇，并將設備完全浸泡在液冷機柜的冷卻液中，冷卻液能將熱量快速有效地帶到室外，并隔絕空氣中的灰塵、濕度、腐蝕性氣體、靜電的影響。

測試時間為2019年3月—2020年5月，液冷機柜內冷卻液溫度基本穩定在30 ℃以下，CPU表面溫度穩定在60 ℃以下（CPU正常工作溫度上限為72 ℃，極限工作溫度為85 ℃ ）。測試結果如圖3所示。

圖3 測試結果

運行至今，未出現設備故障，整體設備運用比較平穩。

3.2 液冷設備

運行至今，冷卻液循環泵、室外機等未出現設備故障，機柜內溫場穩定，基本消除熱點。

3.3 維護性

5G微中心浸沒式液冷試點運行具有如下可維護性特點。

（1）高效節能：采用直接浸沒式液冷技術，PUE低至1.3，節約運營成本。

（2）高效運維：可以7×24小時服務維護，也可以遠程請求專業的遠程及現場維護服務，使用無憂。

（3）簡單：系統預制化生產，現場快速部署，3天即可交付使用，美觀大方，完全靜音，完美融入辦公環境；彩色大屏，機柜狀態一目了然。

（4）可靠：溫度場穩定，杜絕局部熱點，全浸沒設計，完全隔絕空氣，有效避免灰塵、氧化、腐蝕、靜電，降低設備故障率，可靠的文件系統提供多層高可用機制，可應對在磁盤故障、存儲控制虛擬機故障、服務器故障等多種問題導致的系統宕機問題。基于分布式架構，數據2～3個副本隨機分散在節點中，并且支持多副本自動修復技術，實現虛擬機、硬盤、節點等多維度高可用。

（5）開放的平臺全面兼容：VMware、kVM、Op enstack、Hyper-V，Docker，K8S，支持物理主機混合組網，幫助企業輕松實現基礎設施即服務/IaaS。服務器節點可以隨業務部署量的增加而逐次購買，并且可以無縫的擴展到集群系統中，可有效地減少初次部署成本和運維成本。

3.4 運行PUE

從2019年12月至2020年5月試點期至今，系統已運行兩年半，實測PUE在1.19～1.29，如圖4所示。

圖4 PUE變化曲線

4 試點總結

4.1 試點目的

BBU散熱問題得到有效解決，較低的PUE達到了節能效果。

4.2 經濟性分析

制冷量為12 kW節電專用空調大約5 kW耗電，屬于空間風冷式，實際機架獲得制冷量約4 kW，單機12 000（含安裝、銅管等），平均5 kW造價15 000元。液冷機柜現場實測綜合PUE在1.3以下，2.7 kW造價約49 500元（含安裝、銅管等），平均5 kW造價91 600元。按單機架5kW的平均功率計算為：

基站專用空調電費=5 kW功率×365天×24小時×0.8元平均度電電費×1.8=63 072元；

液冷機柜電費=5 kW功率×365天×24小時×0.8元平均度電電費×1.3=45552元。

結論：液冷比基站專用空調投資多76 600元，每年電費少17 520元，4.37年收回投資。

4.3 適用性及推廣性

表2為推廣推薦條件。

表2 推薦條件