論數據中心微模塊測試技術

□ 文 齊曙光 王長山 李 尚

1、引言

隨著移動互聯網、大數據、云計算、物聯網等新興技術的興起，全球數據中心數量持續增長，并呈現出高功率密度和高能耗的發展趨勢。近年來，我國超大型數據中心的建設速度也逐漸加快，部署機架數量大幅增長。為了縮短數據中心建設周期，減少初期投入成本，數據中心微模塊（以下簡稱微模塊）成為了互聯網行業、通信行業及其他行業的數據中心的最佳選擇。與此同時，隨著5G和工業互聯網等實際應用規模不斷擴大，邊緣數據中心和小型數據中心的數量呈現出倍增的趨勢。而在上述邊緣數據中心和小型數據中心中，微模塊也成為了標準化、綠色化建設的不可缺少的組成部分。

2、數據中心微模塊概念

基于行業訴求，目前國內各大供應商均在著手研發數據中心微模塊。它雖然是小型的機房，但隨著其標準化步伐的加快，目前已成為了新型產品。那么，什么是微模塊產品？該產品不同于傳統意義上的產品，它選擇性地包含了數據中心的供配電設備、制冷設備、監控部分、儲能設備等機房內的各類基礎設施。在行業標準YD/T 3004-2016《模塊化通信機房技術要求》標準中定義通信機房（含數據中心）微模塊是指由機柜系統、配電系統、監控系統、供電系統（可選）、制冷末端（可選）、綜合布線系統、安防系統等組成的具有標準的功能定義和輸入輸出接口，能夠完成單項或多項業務的功能單元。從該定義中，可以看出微模塊是一個完成多項業務的功能單元，其構成較為復雜。在行業標準YD/T3290-2017《一體化微型模塊化數據中心技術要求》中定義的微模塊是由一定數量的兩列背對背或面對面的IT機柜以及不間斷電源、近端冷卻設備等通過封閉通道而形成的小型機柜集群。通過封閉兩列IT機柜間的冷或熱通道，形成與大機房和其他集群相對隔離的物理環境。根據機柜內設備情況設計獨立的電氣、制冷、安防、監控、布線甚至消防系統，用戶僅需要提供外部市電、網絡和必要的冷源即可使數據中心投入運營。微模塊內各子系統、組件均可在工廠進行預制、調試，現場快速組裝后即可投入使用。多個微模塊之間極少或者沒有物理關聯，用戶可按需建設，實現將一個大規模數據中心模塊化分步部署。此描述較清晰具體，并對提前預制、調試等情況均提出了要求。

為了便于讀者理解，微模塊如圖1所示。

圖中的虛線部分可依據數據中心規模和微模塊的具體部署而靈活配置。例如，很多大型數據中心基礎設施中會具有高壓機組、高壓配電及變壓器等設備，而小型數據中心中很可能會不包含此部分。另外，微模塊中的空調末端設備，可以采用列間空調，根據冷量需要布置于服務器機柜中間采用水平送風；也可以采用傳統機房專用空調，布置于列的兩端采用下送風方式進行制冷。

3、數據中心微模塊測試技術

微模塊作為一個產品，可以從其整體、電氣子系統、制冷子系統、監控子系統、通道組件和安全性能等幾大部分進行測試驗證，若詳細進行驗證參數有數十余條。由于篇幅有限，微模塊重要參數的測試方法及具體案例簡要分析如下：

3.1 整體性能測試技術

在整體性能中包括了輸入特性、能效PUE、溫度場均勻性等參數。

（1）輸入電壓與頻率范圍測試

圖1 微模塊示意圖

若將微模塊當作黑盒來看，其在一定輸入電壓范圍及輸入頻率范圍之內應正常工作。對于配備交流UPS或高壓直流模塊的微模塊，在上述電源設備以額定負荷運行的條件下，使用凈化電源等輸入電源設備調節其電壓至被測模塊所允許的電壓上限值和下限值，檢查在此范圍之內微模塊內的ICT設備或模擬負載是否能夠正常穩定運行。頻率范圍測試方法與電壓范圍測試方法非常類似，調節凈化電源頻率參數即可。對于供電設備在微模塊外部的情況，即微模塊內部只包含配電設備，同樣調節輸入參數，檢查包括ICT在內的微模塊各設備是否能夠運行正常。

（2）能效（PUE）測試方法

微模塊的PUE測試方法較其他參數測試復雜，對于采用風冷空調系統的微模塊該參數的測試涉及負載率的變化以及室外溫度的變化。由于負載變化直接影響微模塊內的電源及配電產品效率，而室外環境溫度的變化直接影響到空調系統的能效，因此，嚴格意義上該參數只能在焓差實驗室內進行測試，并且應具備可調負載，均勻分布在微模塊里ICT機架內。按照筆者經驗，宜采用25%、50%、75%和100%負載率和室外環境溫度-5℃、10℃、15℃、25℃和35℃的不同組合進行測試。具體試驗過程為：在輸入條件為額定電壓條件下，連接好負載（即將模擬負載插入IT機柜內），并在模擬負載的適當位置布置溫度傳感器。溫度傳感器應均勻布置在每個機柜上中下或者上下位置。但必須注意的是，盡量在具體運行的設備進風口處或者模擬負載處進行測試才具有溫度的代表性。針對某樣品進行PUE測試的圖如圖2-1至圖2-4所示。該微模塊通過實時監測負荷狀態，動態調整供電系統的工作模式（如開啟休眠功能）以及制冷系統的工作模式（如開啟輪巡工作），達到數據中心整體能效優化和總體能耗降低的目標。試驗案例中對動態節能PUE參數和關閉節能模式時的傳統PUE參數進行了比較，由試驗結果圖看出，在不同的負載率下節能效果均明顯。

值得注意的是，若無焓差實驗室的條件，只能在現場測試時，應重點考慮室外環境溫度的變化情況是否滿足驗證的要求。同時，對于水冷空調系統，要檢查室外冷源部分是否由單獨的配電柜進行供電，從而直接能夠測量室外冷源部分的能耗。若在大型數據中心等室外冷源部分是集中配置冷水機組和水泵時，無法直接測試微模塊所對應的室外冷源功耗，測試結果中應寫明測試條件。

（3）溫度場均勻性測試

溫度場均勻性對ICT設備的穩定運行有著非常重要的作用，是安全、穩定、可靠運行的重要保障。微模塊內的溫度場均勻性測試計算方式有兩種。第一種方法為依據所有傳感器的溫度數值計算出平均值T，再找出溫度最大值和最小值，依據如下公式計算出溫度場均勻度(μ1～μ2)。

式中Ta為溫度最高值，Tb為溫度最低值；

另一種計算方法為首先測得每個機柜的進風溫度的平均值T1、T2……Tn。再套用公式（1）得出溫度場的均勻度。其中T的計算方法如下。

圖2-1 25%負載率下不同室外環境溫度PUE值

圖2-2 50%負載率下不同室外環境溫度PUE值

圖2-3 75%負載率下不同室外環境溫度PUE值

圖2-4 100%負載率下不同室外環境溫度PUE值

上述兩種方法對比而言，第一種方法計算出的均勻性會差，因為整個溫度場中的最高溫度和最低溫度的相差會大。而第二種方法在每個機柜處都已經計算出了機柜進風口的平均溫度，所以套用同樣的公式（1）時，得到的均勻性數據范圍會小很多。

3.2 供電子系統測試

（1）供電架構檢查

微模塊各回路供電應考慮冗余，可采用1+1冗余或N+1冗余方式。依據保障等級可選擇空調系統是否由交流UPS或高壓直流供電。檢查供電架構和回路結構時測試人員應從供電接口輸入端開始把相關回路走線檢查到末端，清晰辨認回路的總體鋪設情況以及冗余情況，同時檢查線纜標識是否準確無誤，是否清晰可見。

（2）電池后備保障時間測試

首先使被測微模塊以設計的額定功率運行。應注意此功率不是微模塊內電源系統的額定容量，也不是機架額定容量的總和。由于考慮到冗余，不會把所有機架都按照額定容量插滿負載，因此驗證微模塊正常工作時的最大容量（即設計額定容量）進行放電時，測試后備電池所能支撐的時間。電池截止電壓應依據相關電池的行業標準截止電壓進行。按照筆者測試經驗，考慮到數據中心的安全性保障，配備的蓄電池容量應能夠維持產品以滿功率運行不少于15分鐘。

（3）電池管理功能測試

微模塊的供電子系統對電池組良好的管理功能對后備電池的使用壽命具有非常大的影響。因此管理系統應具備電池單體電壓、內阻、極柱溫度、電流、SOC/SOH監測功能以及蓄電池均充充電及浮充充電狀態進行手動或自動轉換功能。對蓄電池進行充電時，蓄電池管理部分應能限流充電，并且限流值能根據需要進行調整。此外，管理部分也應能根據蓄電池環境溫度，對系統的輸出電壓進行溫度補償或保護。

3.3 空調子系統測試

對于空調系統，首先檢查是否具有空調排水故障檢測和溢水停機保護兩級告警功能，是否具備冷媒泄露檢測，并且是否在管理系統上顯示相關的告警信息。對具有節能功能的空調系統，應驗證其空調系統的休眠和輪巡功能。具體方法是，調整模塊內IT負荷的負載率至50%以下，檢查空調機組是否部分進入休眠狀態，驗證其是否具備自動輪巡和手動輪巡功能。關閉其中一臺或幾臺空調，模擬空調機組故障，檢查休眠空調設備是否能夠自動啟動。此外，模擬微模塊內部出現高溫故障，檢查備機是否自動進入運行狀態，并測試上述狀態下，整個溫度場的均勻度是否滿足相關要求。

3.4 監控子系統測試

就目前的監控管理系統總體水平而言，大部分微模塊具備了整體布局、各鏈路和部分（具體包括供電鏈路、制冷鏈路、冷量視圖、溫度云圖等）顯示功能，能耗管理功能、資產管理功能等。也可依據客戶不同需求，設置更多的可視化的和支持各類終端接入的功能。測試人員應逐一檢查相關的鏈路和顯示是否與微模塊實際配置保持一致。同時，采用高精度的儀表對電壓、電流等參數進行測量，并檢驗監控系統所采集數據的相對誤差是否符合要求。

此外，告警與保護是監控系統保障整個微模塊安全可靠運行的重要部分。在發生開關斷開、輸入過/欠壓、機柜過載，局部過溫、有煙霧、水浸和濕度過高等異常情況時，模塊應能夠產生相應的告警，并作出對應的保護動作。檢測人員應通過人工手段逐一模擬上述各類異常情況并檢查驗證是否產生了相應告警信息和保護動作。此外，隨著數據中心基礎設施與新興ICT技術的深度融合，目前，較先進的微模塊也具備了基于人工智能技術的根源告警自動定位功能。通過智能化的手段，能夠準確定位故障源并呈現給維護人員，將根源告警衍生出來的其他告警信息隱藏在下級目錄中，從而讓維護人員第一時間處理根源故障，大大節省故障定位時間，保障數據中心安全穩定運行。

3.5 安全性能測試技術

（1）消防安全功能測試

首先應檢查系統的天窗控制器設備是否正常接入，且外部消防信號聯動、內部煙感聯動、遠程控制開窗、空調故障聯動功能是否均正常。在此基礎上，觸發告警信號，檢查天窗是否自動打開以及啟動滅火功能。

（2）承壓測試

承壓測試的目的是檢查在發生火災等情況下消防柜進行噴射時微模塊是否發生任何異常。測試時首先關閉微模塊門窗、洞口等，并采用手動啟動滅火控制模式，通過控制器使消防設備柜同時進行噴放，此時檢查消防聯動是否關閉了通風系統并打開頂上翻轉天窗。消防柜噴放后，檢查微模塊外殼是否有變形、損壞，泄壓閥是否自動開啟，通風系統是否自動開啟等。

（3）接地性能測試

微模塊內的電源設備、配電設備和空調設備等均需要保證接地良好，因此微模塊內部具有較多的接地端子。該測試中的接地性能指的是微模塊作為一個整體，是否具備完善的接地系統，檢查接地排布置是否合理，是否形成閉合環接地匯流母排，并測量微模塊平臺總接地點對地的接地電阻值。

（4）防護等級測試

該測試主要是在實驗室條件下進行防護等級試驗，可依據GB 4208中規定的相關IP等級進行測試，具體見表1、表2和表3所示，本文不做贅述。

4、總結

本文重點解析數據中心微模塊的測試方法，包括整體測試方法以及各子系統的測試方法和安全性能測試方法，希望對相關研發技術人員、標準化研究人員以及相關的運維人員提供支撐和幫助。■

表1 第一位特征字所表示的防護等級試驗方法

表2 防止固體異物進入的試驗方法

表3 防水試驗方法和主要試驗條件