淺議提供高密度數據中心的制冷效率

沈嘉琪，黃 赟

（中國移動通信集團上海有限公司）

1 制冷系統的系統性檢查

數據中心設計必須保證高效的操作維護業務流程以及杜絕可能的問題隱患。在建設初期的高昂的通信設備投資階段，就應進行制冷系統的基礎設施系統性檢查以確定潛在的設計缺陷。這些系統性檢查將明確數據中心的健康程度，以避免發生與溫度有關的通信設備故障，同時也可以用來評估未來數據中心擴容的制冷能力。

1.1 最大制冷量

全面檢查系統制冷量，1瓦的設備功率消耗1瓦的制冷量，確保數據中心的設備功耗不超過了制冷量最大范圍。一旦供過于求，將需要重新設計選型或采用獨立的高密度散熱解決方案。

1.2 數據中心的專用空調CRAC

檢查送、回風的溫度和濕度讀數必須與設計值相一致。檢查單臺專用空調CRAC送風溫度設置點。當回風溫度低于室內環境溫度，可能存在氣流短路，即送風繞過IT設備，并直接返回到空調機組。

檢查風機正常運作，檢查中效過濾器的壓差。

1.3 冷凍水和冷卻水循環系統

檢查冷凝器，泵輸送系統，及冷卻回路的狀況。確保所有閥門是否運行正常。

1.4 室內溫度

檢查在數據中心的過道關鍵位置的溫度（測量位置一般位于通信設備行內每四個機架位置的中心）。

1.5 通信機架的溫度

檢查溫度點應位于每個通信機架底部、中部、頂部的進氣口的中心。記錄這些溫度和IT設備制造商推薦的進風溫度并且對比。

1.6 地板下氣流速度

如果活動地板作為送風層，空氣流速應均勻穿過所有地板格柵。

1.7 活動地板的設置

檢查活動地板下的障礙物（網絡和電力電纜）是否阻礙送風氣流，是否對機架的冷卻效果產生不利影響。

1.8 機架內的氣流組織

檢查機架內間隙（未使用的機架有無安裝盲板，空的插槽有無覆蓋，電纜開口封閉）或多余的布線是否影響冷卻性能。

1.9 機房過道和活動地板布置

活動地板作為有效的冷卻送風層取決于地板通風網孔數量和機房專用空調的位置。

2 檢查與維修制冷設備

定期檢查和預防性制冷設備維護對數據中心高效運行是必不可少的。定期保養制度應達到制冷設備廠家建議指導要求。數據中心主要冷源來自于機房專用空調，維護工作應針對機房專用空調的各組冷卻元件，通過以下維護實施提高空調制冷效率。

（1）空氣過濾網是否堵塞：必須定期更換過濾網，保持額定壓差，保證空調所需的循環風量。

（2）干燥過濾器是否堵塞：為保證制冷劑的正常循環，制冷系統必須保持清潔、干燥，如果系統有雜質，就會造成干燥過濾器堵塞，系統供液困難，影響制冷效果。

（3）定期測量膨脹閥過熱度，調整膨脹閥開啟度。

（4）機房空調一般采用風冷式冷凝器，結合空調使用環境，根據結灰情況，定期對空調室外機進行沖洗。

3 實施機架和電纜管理制度

由于機架垂直空間未封閉，設備的熱量通過旁路回到設備通風口，這種無限制的熱循環導致設備溫度持續上升。在一些廠方服務器安裝說明上有一條建議，將盲板擋住機架空余的前面板。機架如果沒有使用盲板可以導致不適當的冷卻，可以導致熱損傷。這個建議是往往被忽視，是過熱的主要原因。安裝盲板防止冷卻空氣通過繞過服務器的通風口和防止熱空氣循環。圖1為盲板使用前后效果圖。

氣流還受機架內雜亂布線的影響。當一個單一機架增加的設備越來越多時，線纜布置的問題將變多。雜亂的布線會影響設備的熱量釋放。除去不必要的或不應有電纜。數據電纜應該削減到正確的長度和適當放入線槽內。同樣設備電源的電纜也要減少到適當的長度。

圖1 盲板使用前后效果圖

4 清除地板下的堵塞和密封地板

數據中心地板底層為冷風從機房空調達到機架提供了一條路徑。地板底層往往還有其他設備如電力電纜、冷卻管、網絡布線，以及水和／或火災探測和滅火系統。

在數據中心的設計階段，設計工程師會指定樓層深度來滿足地板下空氣流量的要求隨著機架和服務器的增加導致更多的電力和網絡布線。通常，當服務器和機架移動或更換，舊電纜被遺棄在地板下方。架空電纜可以保證這個問題不會發生。如果電纜在地板下方，需要合適的冷量，則需有足夠的空間來滿足空氣的流動。理想情況下，架空地板電纜橋架應該是架空地板的“上層”，讓架空地板的更下面的空間形成送風層。同時，缺失的地板應該補上，活動地板應重新調整消除空隙，特別是機架移走后應用全板補上防止漏風。

5 建立冷熱通道

除了少數例外，大多數的機架式服務器的設計都是前面吸氣和后面排氣。圖2顯示的一個房間所有行面對同一個方向。使用此設置，熱空氣混合了送風空氣從排1排到相鄰的過道，然后進入排2機架。當空氣通過每個連續行，服務器通風口將吸入較熱空氣。如果所有的行服務器的通風口以此排列，通信設備故障是不可避免的。通常這種情況發生在架空地板和硬地板的環境。

圖2 冷熱氣體混合

最好的做法是設備配置為交替的“熱”與“冷”的過道，如圖3所示。冷通道包含通風地板，機架服務器通風口被安排朝向冷通道。熱空氣向沒有通風地板的熱通道排出。

圖3 冷熱通道

6 專用機組與熱通道之間的布置關系

機房專用空調機組必須對準熱通道提高冷卻效率。圖4（a）顯示了典型機房的布局，機房空調機組已均勻地放置在房間的熱通道冷通道周邊。在這個例子中，沿兩側壁的機房空調太靠近冷通道，使氣流繞過近端通道通風口。專用空調機組應沿墻頂部和底部更好的放置從而使通道獲得更好的氣流。

圖4 專用機組與熱通道之間的布置關系

圖4 （b）機房空調單位已移到頂部和底部的墻壁對準熱通道。傳統經驗表明，專用機組應對準冷通道產生的氣流達到地板通風口。然而，CFD流體動力學分析表明，專用機組對準熱通道，當空氣回到機組時，熱空氣從熱通道穿過機架進入冷通道，會造成部分冷熱空氣混合，即機架前端的送風溫度升高。

總之，在架空地板制冷系統實踐中，專用空調對準熱通道比冷通道更有效。

7 管理地板通風口

機架氣流和機架布局是最大限度地提高制冷性能的關鍵因素。然而，不合適的地板通風口位置可導致送風冷空氣與熱空氣混合，再達到負載設備，將引起前面描述一連串的設備性能下降和運行成本升高的問題。不良氣流傳遞或回風口錯誤布置是很常見的，幾乎可以讓熱通道和冷通道設計無效。

空氣送風口的關鍵是盡可能靠近設備通風口，把冷風最大限度的送到冷通道。由于是下送風，這意味著在冷通道有通風地板。上送風同樣有效，但是，關鍵是送風口只位于冷通道，而且風口目標氣流直接向下到冷通道（沒有橫向使用擴散通風）。在上送風和下送風系統，任何位于設備不運行的風口應該被關閉，因為這些回風以較低的溫度最終回歸到機房空調機組，造成機房濕度減少和降低機房空調性能。

圖6 地板下負壓的形成

地板風口太接近機房空調機組會使地板下產生負壓，如圖6所示。一個簡單的空氣流速測量裝置可以安裝在送風口，保證正確的靜態壓力。

小結：近年來，隨著數據業務高速發展，數據中心內高密度設備密集安裝，對于制冷系統的要求日益提高。為了保證數據中心的安全性、可靠性、節能性，本文針對數據中心機房制冷系統常見問題進行分析研究，提出相關各項建議措施，下一步需要設計和運維人員因地制宜結合不同場景的具體情況，提出合理的最佳解決方案。

［1］ APC－ten－cooling－solutions white paper 42［Z］.

［2］ 新一代綠色數據中心方案建議書［Z］.