胡 濤,宋嘉皓,鄭駿文
(中國移動通信集團設計院有限公司浙江分公司,浙江 杭州 310012)
隨著移動互聯網的迅速發展,用戶對數據業務的需求量越來越多,為了滿足用戶的需求,提供覆蓋更好、速度更快、時延更小的移動通信服務,運營商在網絡建設的投資越來越高[1]。基于5G網絡面向全國部署的政策,5G基站建設成為“新基建”的核心重點領域,但是5G基建成本高和能耗高的問題讓運營商難以承受。在這樣的背景下,中國移動提出了基于云計算的無線接入網構架(Cloud-Radio Access Network,C-RAN),有利于減少基站機房數量和能耗、降低基站選址難度和提高資源共享調度效率[2]。
C-RAN組網采用BBU集中部署方式,將現網匯聚機房作為室內基帶處理單元(Building Base band Unit,BBU)集中機房,由于存在大量BBU高度集中和BBU之間無空隙安裝等現象,使得C-RAN機房功耗急劇增加、設備局部熱點問題加重,最終導致供電和制冷系統出現一系列問題[3]。
由于匯聚機房一般采用房間級空調制冷的形式,把機房空調放置在機房周圍,通過高架地板和地板打孔把冷風送到機柜周圍,進而達到降溫的效果。隨著C-RAN機房不斷建設,設備密集度越來越高,對機房空調提出更高的需求,不僅不能解決設備過熱問題,還會增加耗電量和經濟成本。
針對上述背景和問題,本文提出一種新的機柜級制冷方案,可以根據匯聚機房現狀和供冷需求有效解決機房過熱問題,降低了能耗、建設和運維成本,同時追求未來可持續的節能路線。
由于C-RAN機房匯聚大量BBU,占據了機房機柜原有設備的空間,使得BBU與其他設備集中安裝。若機柜內部沒有空間,還會選擇柜頂放置。隨著機房設備增多,發熱量逐漸增大,導致機房設備密度高,出現設備局部過熱的問題,機柜表面過熱溫度可能超過64 ℃,機柜內部過熱溫度可能超過65 ℃,如圖1所示。如果為了考慮過熱問題將設備分散部署,空間浪費的問題會進一步加重。

圖1 機柜內外溫度示意
房間級空調制冷利用了冷熱空氣交換原理,空調送出冷風,通過流通傳遞給機柜設備進行冷卻,將熱量帶出設備。這種制冷方式為先冷環境、后冷設備,設備排出的熱量會擴散在環境中,在冷卻環境時增加了大量能耗[4]。此外,機房門窗漏冷嚴重、墻洞縫隙透風、空調位置不均和空調老舊損壞無效運行等情況使得空凋冷卻效率不高,容易出現局部熱點溫度過高的問題。
匯聚機房在使用過程中會受到氣流組織因素的制約和限制,由于IT設備是靠機房空調送入的低溫風與其散熱充分交換帶走熱量,降低機架內溫度,氣流組織起到熱交換媒介紐帶作用,當機房內空調送風距離遠、設備安裝在角落和設備背對空調時,熱交換的紐帶不順暢,空調送風受阻[5]。此外,機房內設備進出風口不一致,BBU和分組傳送網(Packet Transport Network,PTN)采用左進右出的通風方式,光線路終端(Optical Line Terminal,OLT)采用下進上出的通風方式,電源采用前進后出的通風方式,使得機柜內外氣流組織混亂,設備四周氣流受阻,冷熱氣流摻混,如圖2所示。

圖2 機柜內外氣流示意
氣流組織不合理時,現狀只能是機房空調設備容量配置遠遠大于實際需求量,以滿足機房需要,造成空調設備投資增大、運行費用增高,機房電源使用效率(Power Usage Effectiveness,PUE )值增大。
C-RAN機房設備長期高溫運行會增加運行風險,熱漲效應會導致設備出錯率和失效率增高,溫度過高還可能使服務器硬盤損壞、計算機可靠性和使用壽命降低,亟需針對機房設備過熱問題提出新的解決思路。
(1)高密設備收容。隨著BBU集中部署,機房設備呈現高密度化。高功耗BBU設備熱點高溫嚴重影響到其他設備散熱,可以將BBU設備單柜極簡收容,多類型發熱設備整站收容,既可以減少設備占用空間,還可以緩解設備高密度冗雜的情況。
(2)空調精確制冷。由于機房空調給環境降溫制冷效率低下,帶來高額的電費問題,可以將高密設備和高發熱設備收容后進行集中精確制冷,利用機柜空調進行有針對性的近端封閉降溫,有效解決設備送風不均的情況,降低空調能耗[6]。
(3)引導氣流組織。機柜內部設備進出風方式不一致,導致柜內氣流組織混亂,產生高溫過熱問題,可以在高密設備收容和空調精確制冷的前提下,加上隔離組件和導風組件,引導冷熱氣流有序流動,多個設備共享冷量,提高散熱效率。
基于5G時代通信設備的供冷需求以及機房設備過熱問題解決思路,使用機柜級制冷方案,提出新的一體化節能柜產品。節能柜將空調、電源、電池、BBU和PTN等設備進行整站收容,將原有機柜和空調柜門組合成節能機柜單元,將隔離組件和導風組件整合至柜內,實現高效降溫,如圖3所示。通過精確制冷、熱管換熱和氣流組織構建等技術,可以有效增大空氣流量、自動調節空調設定溫度、提高設備穩定性和擴容能力。

圖3 一體化節能柜產品外觀
匯聚機房及基站建設過程中,設備逐漸高密度化,為了精確高效制冷,一體化節能柜高密集成化和模塊化,保證在有限的空間內收容更多數量、更多類型的設備,共享冷量。傳統的機房配置一般具備電源柜、電池柜、BBU柜、PTN柜和光纖配線架(Optical Distribution Frame,ODF)柜等,存在散熱不均和浪費空間的問題,一體化節能柜單柜高密集成了電源、電池、BBU和空調模塊等,不僅可以集中處理高熱設備,還能同時滿足多種類型設備的散熱需求,單柜高密集成改造方案如圖4所示。

圖4 單柜高密集成改造方案
匯聚機房設備密集導致冷熱氣流混雜,為了對高功耗設備精確送風,構建良好的氣流組織,一體化節能柜通過增設隔離組件和導風組件,在柜內構建了冷熱通道,可以將“前進后出”“左進右出”和“下進上出”的多類型設備氣流引導為統一的“冷風前部送入,熱風后部集中”方式,達到氣流轉向和冷熱隔離的目的,達到散熱效果,如圖5所示。

圖5 機柜氣流組織構建
為了提升傳熱能力,消除局部設備熱點問題,一體化節能柜充分利用了熱管換熱技術[7]。熱管是利用介質在室內機熱端蒸發吸熱后在室外機冷端冷凝放熱的過程,將熱量快速傳導,達到冷卻效果,如圖6所示。

圖6 熱管換熱原理圖
熱管可以達到切換換熱的效果,當出現極端炎熱天氣,熱管能夠分擔散熱,壓縮機壓縮蒸汽,起到輔助供冷作用;當天氣比較涼爽,熱管模式運行,壓縮機只提供氣體流動的動力,空調能耗降低;當市電發生中斷,風機能夠持續運轉,繼續利用熱管散熱,實現應急散熱[8]。
將機柜級制冷方案應用于金華市某試點匯聚機房,對傳統機房建設模式進行改造,如圖7所示。機房內將5臺BBU設備密集布設于1臺一體化節能柜中,BBU綜合柜1有4臺BBU設備,BBU綜合柜2有3臺BBU設備,其他設備包括1臺FAN、3臺PTN、5 臺 OLT、1 臺光交換網絡(Optical Switch Network,OSN)、1臺3P空調和1臺5P空調,搭建成新型機房建設模式,如圖8所示。

圖7 傳統機房建設模式

圖8 新型機房建設模式
一體化節能柜中,BBU設備高密集中,具體集中配置模型和實際布置,如圖9所示。

圖9 BBU集中配置模型和實際布置
門式柜級空調采用機柜級制冷方式,將空調室內機集成于機柜,對機柜進行封閉,將柜內設備熱量通過空調室外機排放到機房外部環境中。集成于機柜的空調室內機由制冷模塊與回風模塊2個部分構成,制冷模塊置于機柜柜門,將柜內熱空氣通過熱交換處理為冷空氣,回風模塊置于柜內,將柜內熱空氣回風送入換熱模塊。具體空調架構如圖10所示。

圖10 門式柜級空調架構
一體化節能柜增設熱管切換換熱方式,在外墻放置1臺室外機,在墻上打孔,引入聯機管與室內機連接,聯機管與冷凝水管貼近地面布置,并對管槽進行固定及防護,具體熱管換熱布置實景如圖11所示。

圖11 熱管換熱布置實景
對比房間級和機柜級制冷方案的供冷效果,如圖12所示。機柜級制冷方案可以有效解決設備局部過熱問題,使機房內溫度均勻,設備保持高效運行,降低空調能耗。

圖12 不同方案供冷效果對比圖
為了更好地驗證機柜級制冷方案的有效性,于7月份進行產品應用效果實測,測試了柜內BBU進出風溫度、機房內溫度、設備及空調能耗等。進行柜內制冷加冷熱氣流隔離的效果測試。測試時關閉機柜前門與后門對機柜進行封閉,柜內熱量不會排放至機房,開啟機柜空調對機柜內部的5個5G BBU進行精確制冷。由于機房內還存在其他發熱設備以及外部環境透過圍護結構向室內的熱量傳遞,因此還需要開啟房間空調對機房內其他設備散熱。
共有3種測試方案,如表1所示。具體的測試數據如表2所示。

表1 測試方案

表2 測試方案數據
機房、節能柜、BBU綜合柜和傳輸柜溫度變化,如圖13所示。

圖13 溫度變化曲線
通過以上結果可以得出,開啟節能柜后使得BBU出風溫度由改造前最高65 ℃降低為最高50 ℃,機柜級制冷方案的溫控效果明顯。機房空調也由無法控制室內溫度的狀態轉變為室內溫度可控,空調溫度可降低至空調設定溫度。僅開啟1臺機房空調即可滿足室內散熱需求。機房空調回風溫度由35 ℃降低至25~30 ℃。機房空調溫度設定在26 ℃,機房內溫度可控制在25~27 ℃,當設定溫度為28℃時,機房內溫度可控制在27~30 ℃。整個機房溫度更加均勻,房間空調對機房空間的控溫效果明顯改善,空調能耗明顯降低。
按照方案一改造,節能柜和BBU綜合柜1溫度始終大于50 ℃,機房PUE為1.3;按照方案二改造,節能柜溫度小于50 ℃,BBU綜合柜1溫度大于50 ℃,機房PUE為1.18;按照方案三改造,雖然節能柜溫度小于50 ℃,但是機房PUE顯著上升,若關閉5P空調,傳輸綜合柜列溫度高溫影響較大,故不考慮。
最終選取方案二,開啟節能柜、關閉機房3P空調,傳輸綜合柜列溫度不受影響,機房整體PUE較方案C從1.3降至1.18。目前節能柜剩余2個BBU位,可將BBU綜合柜2中的2個5G BBU割接至節能柜,解決BBU綜合柜2高溫問題。通過節能柜對機房高發熱設備進行收容,有效控制設備運行溫度。
本文分析了C-RAN機房建設過程中設備密集導致局部過熱的問題,根據設備供冷需求,提出相應的解決思路,采用機柜級制冷改造方案并應用于實際工程中。
5G時代通信設備數量增多、功耗增大、發熱量劇增,勢必導致設備高密堆疊,出現局部過熱問題。單柜高密集成、空調精確降溫、氣流組織構建和熱管切換換熱是順應5G發展和解決過熱問題的關鍵技術。
機柜級制冷方案可以實現設備收容和動態精確制冷,減少冷量損耗,打破PUE限值,降低空調能耗。機柜級制冷方案測試結果表明,節能柜可以增加設備散熱效率,控溫效果良好,顯著降低空調能耗和空調耗電量,降低機房PUE。