建設(shè)數(shù)據(jù)中心機房

數(shù)據(jù)中心選址

IT數(shù)據(jù)中心選址非常重要，關(guān)系到數(shù)據(jù)中心未來的發(fā)展空間。因為要考慮到現(xiàn)有設(shè)備的規(guī)模，未來若干年可能的發(fā)展擴充，所以在選址時就需要規(guī)劃出一個合適的建設(shè)空間和未來的擴展空間。

筆者選擇了在二樓建立數(shù)據(jù)中心，因為數(shù)據(jù)中心要避開強電磁干擾環(huán)境，以防止對計算機電子設(shè)備運行產(chǎn)生影響。另外要避開有污染，有噪聲的環(huán)境。該空間還要具有良好的通排風(fēng)條件，提供新風(fēng)接入和排風(fēng)通道，保持內(nèi)部空氣清新。

筆者單位數(shù)據(jù)中心機房所在二樓有電梯直達，這樣方便機柜，服務(wù)器，核心交換機等大型設(shè)備的運輸和安裝。二樓的層高為4.3米，為機柜安裝和各類管路和橋架安裝提供空間。因為數(shù)據(jù)中心所在大樓是試驗樓，很多設(shè)備都比較重，所以在大樓建設(shè)時樓板載荷都是按照大于2噸/平米來設(shè)計和施工的，該指標滿足機房的承重要求。

圖1 UPS供電系統(tǒng)示意

數(shù)據(jù)中心UPS供電系統(tǒng)

數(shù)據(jù)中心計算機電子設(shè)備對電能質(zhì)量要求很高，因為接入的市電，電壓、頻率波動較大，電力諧波較多，電能質(zhì)量不高，容易對計算機電子設(shè)備造成影響，所以市電不能直接供給數(shù)據(jù)中心使用，需要通過UPS設(shè)備進行穩(wěn)壓濾波后再供給數(shù)據(jù)中心使用，示意圖如圖1所示。

經(jīng)過我們調(diào)研，市場上UPS有塔式結(jié)構(gòu)和機架式結(jié)構(gòu)，相比塔式結(jié)構(gòu)，機架式結(jié)構(gòu)UPS采用模塊化UPS功率模塊，主機容量易于擴充，便于未來的擴展。UPS后備電池的數(shù)量可以通過以下公式來計算：

P*H*1000=12*100*X*0.9

P代表數(shù)據(jù)中心總的設(shè)備功率（KW），H代表電池后備小時數(shù)，12*100代表12V，100AH的電池，X代表電池數(shù)量。0.9代表轉(zhuǎn)換效率。

經(jīng)過UPS穩(wěn)壓濾波后，UPS輸出的電壓波動范圍＜2%，頻率波動范圍＜0.2HZ，諧波水平＜3%。

筆者單位數(shù)據(jù)中心模塊化UPS、單個功率模塊32KW。

數(shù)據(jù)中心空調(diào)系統(tǒng)

數(shù)據(jù)中心空調(diào)系統(tǒng)是給計算機電子設(shè)備提供舒適性溫濕度環(huán)境的重要設(shè)備，數(shù)據(jù)中心計算機電子設(shè)備運行的適宜溫度在23±2℃，濕度在55±10%，目前數(shù)據(jù)中心空調(diào)系統(tǒng)主要有以下兩種：

1.風(fēng)冷空調(diào)系統(tǒng)

風(fēng)冷空調(diào)系統(tǒng)主要采用的是壓縮機原理來給數(shù)據(jù)中心機房降溫，該系統(tǒng)需要較大地方放置室外機，優(yōu)點是每臺空調(diào)都是獨立運行，一臺出現(xiàn)故障不會影響整個數(shù)據(jù)中心機房設(shè)備運行，溫濕度控制較好，而且不會出現(xiàn)漏水的風(fēng)險。缺點是功率大，電能消耗高。

2.水冷空調(diào)系統(tǒng)

水冷空調(diào)系統(tǒng)主要采用的是冷凍水循環(huán)的熱交換方式來給數(shù)據(jù)中心機房降溫，該系統(tǒng)需要外部提供冷凍水接入冷凍水分配單元，在數(shù)據(jù)中心內(nèi)部要通過管路將冷凍水引入水冷空調(diào)。

它的優(yōu)點是功率小，比較節(jié)能。缺點是冷凍水管路鋪設(shè)工程量較大，施工質(zhì)量難以保證，存在漏水的風(fēng)險，而且后續(xù)的維護保養(yǎng)工作比較復(fù)雜（為了保證冷凍水管路的施工質(zhì)量，在招標時我們要求必須要求中標廠商必須提供原廠施工，并且要求施工質(zhì)量要滿足自驗收合格后五年內(nèi)無故障要求并簽訂承諾書），一旦出現(xiàn)冷凍水機組出現(xiàn)故障的情況，整個數(shù)據(jù)中心將失去唯一的冷源。所以，如果采用水冷空調(diào)系統(tǒng)，最好是能夠保證獨立運行的冷凍水機組1+1冗余運行，保障冷凍水的穩(wěn)定供給。

因為筆者單位新建大樓有冷凍水機組提供恒溫冷凍水，所以單位數(shù)據(jù)中心空調(diào)系統(tǒng)采用冷凍水上走水的水冷空調(diào)。

圖2 冷凍水管路

沒有采用冷凍水下進水的方式是因為在設(shè)計的時候選擇的是機柜直接落地，方便設(shè)備進出，如果采用架空靜電地板，跟地平面就會有高度差和臺階，不方便設(shè)備進出和安裝。

目前系統(tǒng)運行時間接近1年，運行情況良好，但是在濕度控制方面不是很理想。由于水冷空調(diào)不具備加濕和除濕功能，在夏天尤其是梅雨季節(jié)，機房濕度很高，高的時候濕度達到70%以上，容易產(chǎn)生冷凝水，需要額外放置除濕機除濕。冬天的時候又相反，機房濕度很低，低到只有百分之十幾，容易產(chǎn)生靜電，又要額外加濕。

另外，采用冷凍水上走水的方式最大的風(fēng)險就是冷凍水管路問題，一旦出現(xiàn)漏水情況，后果不堪設(shè)想，為了預(yù)防漏水情況，我們在冷凍水管路上放置了很多的漏水檢測繩，盡量做到漏水情況的早發(fā)現(xiàn)早解決。數(shù)據(jù)中心冷凍水管路如圖2所示，圖中上方黑色垂直圓管就是冷凍水進回水管路。

數(shù)據(jù)中心電能分配單元

數(shù)據(jù)中心從UPS處輸入電能，需要分配至每個機柜，這就需要一個動力分配單元。該單元主要由1個輸入回路總開關(guān)（160A），26個輸出回路分開關(guān)（32A），每個開關(guān)對應(yīng)1個PDU，4個輸出回路分開關(guān)（16A），每個開關(guān)對應(yīng)一臺精密空調(diào)組成，給兩排共13個機柜和4臺冷凍水空調(diào)供電。

該單元具備智能電網(wǎng)功能，能夠采集顯示并統(tǒng)計每相電壓、電流、功率因素、電能消耗、諧波水平和三相平衡等電能參數(shù)信息并上傳至數(shù)據(jù)中心動力監(jiān)控系統(tǒng)。

電能分配單元電源進線采用三相五線制，包括A、B、C三相和N線以及PE線。每個機柜分配2個PDU，滿足單機柜最大12KW電力供應(yīng)，每個水冷空調(diào)通過輸出回路分開關(guān)獨立供電，每個PDU對應(yīng)一個輸出回路分開關(guān)，每個PDU均采用航空插頭保障電氣連接的可靠性，強電電纜放置在專用的強電走線槽內(nèi)，采用機柜上走線的方式進入機柜，既隱蔽美觀又能保證供電安全。A、B、C三相均勻分配，保障三相動力平衡輸出。

數(shù)據(jù)中心防雷和接地系統(tǒng)

數(shù)據(jù)中心的防雷接地系統(tǒng)除了有所在建筑物的防雷接地系統(tǒng)保護外，還應(yīng)該施加額外的保護，這類保護就是在UPS設(shè)備和末端動力分配單元安裝防雷器，這樣就可以起到對數(shù)據(jù)中心計算機電子設(shè)備的雙重防雷保護。我單位采用的是德國OBO防雷器。

圖3 滅火消防系統(tǒng)

數(shù)據(jù)中心接地系統(tǒng)主要采用3MM*25MM銅帶組成的網(wǎng)格銅排，構(gòu)成一個穩(wěn)定可靠的信號基準電位，該銅排網(wǎng)絡(luò)通過與機柜可靠連接，機柜與PE線可靠連接，各機柜相互可靠連接，包括各類強弱電橋架和吊頂支架等都要相互可靠連接，再連接至大樓的接地端子和樓層等電位連接端子，做到PE線和局部等電位的重復(fù)接地，保障數(shù)據(jù)中心機房的良好接地。

數(shù)據(jù)中心消防系統(tǒng)

數(shù)據(jù)中心消防系統(tǒng)是計算機電子設(shè)備安全運行的保護傘，目前數(shù)據(jù)中心消防系統(tǒng)主要有兩種滅火方式：

1.氣體滅火系統(tǒng)

主要采用的是七氟丙烷滅火系統(tǒng)，該系統(tǒng)在檢測到數(shù)據(jù)中心發(fā)生火災(zāi)后自動釋放七氟丙烷氣體，隔絕氧氣，使火災(zāi)熄滅，優(yōu)點是對計算機設(shè)備無影響，缺點是七氟丙烷有毒，對人體和環(huán)境有危害。

2.高壓細水霧滅火系統(tǒng)

該系統(tǒng)在檢測到火災(zāi)后采用的是超高壓噴水，將水噴灑成水霧狀來完成滅火的功能，對設(shè)備和人體均無影響。

筆者單位數(shù)據(jù)中心采用的是高壓細水霧滅火消防系統(tǒng)。該設(shè)備從德國原裝進口，經(jīng)過在數(shù)據(jù)中心消防演習(xí)，該設(shè)備能很好的完成消防滅火功能，如圖3所示。

數(shù)據(jù)中心綜合布線系統(tǒng)

數(shù)據(jù)中心綜合布線系統(tǒng)是整個信息系統(tǒng)的數(shù)據(jù)高速公路，負責(zé)連接服務(wù)器設(shè)備，存儲設(shè)備和網(wǎng)絡(luò)設(shè)備的數(shù)據(jù)通道。當(dāng)前主流的綜合布線網(wǎng)絡(luò)介質(zhì)是六類千兆網(wǎng)線和千兆光纖， 未來幾年會逐漸被全萬兆光纖網(wǎng)絡(luò)替代。

考慮到現(xiàn)有服務(wù)器、存儲和網(wǎng)絡(luò)設(shè)備基本上都是千兆電口和千兆光口，為了節(jié)省成本，根據(jù)現(xiàn)有設(shè)備規(guī)模計算所需六類千兆網(wǎng)線端口數(shù)和千兆光纖網(wǎng)絡(luò)數(shù)目，以后再慢慢的根據(jù)設(shè)備更新增加萬兆光纖網(wǎng)絡(luò)。

綜合布線工程需要根據(jù)數(shù)據(jù)中心實際情況實施，如果采用架空靜電地板，網(wǎng)線和光纖可以采用放置在地板下面的弱電走線槽內(nèi)，從機柜下部進入機柜內(nèi)部，也可以采用上走線從機柜上方的弱電走線槽內(nèi)，從機柜上方進入機柜內(nèi)部。

如果不采用架空靜電地板的方式，機柜直接落地，那么網(wǎng)線和光纖就必須采用上走線的方式從機柜上方進入機柜內(nèi)部。綜合布線是數(shù)據(jù)中心的面子工程，直接反映數(shù)據(jù)中心的建設(shè)水平和管理水平，要求既要好用又要美觀整齊。

數(shù)據(jù)中心動力環(huán)境監(jiān)控系統(tǒng)

數(shù)據(jù)中心動力環(huán)境監(jiān)控系統(tǒng)是一個先進的數(shù)據(jù)中心必不可少的組成部分，是數(shù)據(jù)中心的智能化管理平臺。通過分布在各個機柜和數(shù)據(jù)中心區(qū)域的溫濕度傳感器、煙感報警器、火災(zāi)報警器、漏水報警檢測等將數(shù)據(jù)實時傳遞到動力環(huán)境監(jiān)控系統(tǒng)主機，該系統(tǒng)可以集成數(shù)據(jù)中心視頻監(jiān)控系統(tǒng)、門禁系統(tǒng)、日志管理、故障聲光報警以及短信報警系統(tǒng)。

圖4 動力環(huán)境監(jiān)控系統(tǒng)示意

同時該系統(tǒng)還可以通過485協(xié)議、TCP/IP協(xié)議、modbus協(xié)議等將其他設(shè)備，比如動力分配單元、精密空調(diào)、UPS以及第三方設(shè)備的運行信息讀取出來，集成到一個總的管理界面上來。

所有的設(shè)備運行參數(shù)和環(huán)境數(shù)據(jù)全部集中顯示，并且能夠提供數(shù)據(jù)中心各設(shè)備運行參數(shù)的歷史運行數(shù)據(jù)軌跡圖。

該功能不僅對數(shù)據(jù)中心管理人員有用，對于設(shè)備運行維護人員同樣有用，比如我們數(shù)據(jù)中心所在的大樓冷凍水機組，通過查詢冷凍水供水溫度曲線，冷凍水機組運行維護人員可以清楚地了解冷凍水機組的運行狀態(tài)，冷凍水供水溫度變化曲線等信息，可以讓數(shù)據(jù)中心運行管理人員很方便的管理設(shè)備運行信息，查看設(shè)備運行狀態(tài)等等。筆者單位數(shù)據(jù)中心動力環(huán)境監(jiān)控系統(tǒng)如圖4所示。

總結(jié)

以上幾點內(nèi)容是筆者在數(shù)據(jù)中心建設(shè)過程中總結(jié)的部分經(jīng)驗。

單位數(shù)據(jù)中心建設(shè)前期，筆者參觀走訪了多家大公司和兄弟單位的數(shù)據(jù)中心，詳細考察了他們的數(shù)據(jù)中心的建設(shè)思路，詳細了解了多家公司的數(shù)據(jù)中心相關(guān)產(chǎn)品性能，結(jié)合我單位的實際情況，最終制定了數(shù)據(jù)中心的建設(shè)目標和方案。

通過一年多的建設(shè)，筆者單位的數(shù)據(jù)中心竣工驗收并順利投入使用，在前期使用過程中雖然發(fā)現(xiàn)了一些小問題，比如濕度無法控制，冷凝水問題，冷凍水管路漏水等，但總體來說運行狀況良好，達到了我們預(yù)定的建設(shè)要求。