大型數(shù)據(jù)中心機房基礎(chǔ)設(shè)施的發(fā)展趨勢

覃建國（中國移動通信集團設(shè)計院有限公司，北京 100080）

大型數(shù)據(jù)中心機房基礎(chǔ)設(shè)施的發(fā)展趨勢

覃建國
（中國移動通信集團設(shè)計院有限公司，北京 100080）

摘 要云計算、大數(shù)據(jù)的興起和發(fā)展，帶來了大型數(shù)據(jù)中心的建設(shè)熱潮，數(shù)據(jù)中心機房基礎(chǔ)設(shè)施的建設(shè)也發(fā)生了巨大的變化。本文闡述了國內(nèi)外數(shù)據(jù)中心的發(fā)展趨勢，總結(jié)了數(shù)據(jù)中心機房基礎(chǔ)設(shè)施的發(fā)展特點。

關(guān)鍵詞數(shù)據(jù)中心； 機房； 基礎(chǔ)設(shè)施； 趨勢

覃建國 1986年畢業(yè)于清華大學(xué)，高級工程師，現(xiàn)任中國移動通信集團設(shè)計院建筑所總工程師。自參加工作以來，主要從事通信建筑設(shè)計和研究工作。在近30年的工作中，作為總負責(zé)人完成了多項通信建筑標準化設(shè)計，主持編寫了多項中國移動企業(yè)標準，完成了多項大型工程的咨詢設(shè)計，多次獲得省部級優(yōu)秀工程設(shè)計獎。

1　引言

近年來，隨著我國互聯(lián)網(wǎng)、云計算和大數(shù)據(jù)產(chǎn)業(yè)的加速發(fā)展，數(shù)據(jù)中心機房基礎(chǔ)設(shè)施進入了大規(guī)模的建設(shè)階段。據(jù)報道，2014年中國數(shù)據(jù)中心總面積約為13 km2，預(yù)計到2020年，中國數(shù)據(jù)中心總面積將超過30 km2，各地謀劃建設(shè)的數(shù)據(jù)中心眾多，大型數(shù)據(jù)中心將成為主流。

數(shù)據(jù)中心機房基礎(chǔ)設(shè)施是信息技術(shù)和電信網(wǎng)絡(luò)賴以生存的基礎(chǔ)，主要包括土建機房、空調(diào)系統(tǒng)、電源系統(tǒng)、智能化管理系統(tǒng)等。數(shù)據(jù)中心機房基礎(chǔ)設(shè)施的建設(shè)技術(shù)上既要滿足IT設(shè)備的相關(guān)需求，也要兼顧未來的技術(shù)發(fā)展趨勢。滿足綠色節(jié)能要求；具有高度的靈活性、適應(yīng)性；高效率和易管理，全生命周期的造價最低已成為數(shù)據(jù)中心發(fā)展的共識。

2　數(shù)據(jù)中心機房基礎(chǔ)設(shè)施的發(fā)展趨勢

2.1可用性規(guī)劃

數(shù)據(jù)中心機房基礎(chǔ)設(shè)施的宏觀規(guī)劃核心是“可用性等級”和“單機架功耗”。根據(jù)GB50174—2008《電子信息系統(tǒng)機房設(shè)計規(guī)范》，機房可用性等級由高到低分為A級、B級、C級。越來越多的證據(jù)顯示，新建的數(shù)據(jù)中心機房基礎(chǔ)設(shè)施的可用性等級不再一味定位在高等

級上，這是因為災(zāi)備系統(tǒng)日益完善，通過在異地建立和維護備份存儲系統(tǒng)，利用地理上的分離來保證系統(tǒng)和數(shù)據(jù)對災(zāi)難性事件的抵御能力；經(jīng)過技術(shù)經(jīng)濟論證，在數(shù)據(jù)中心機房基礎(chǔ)設(shè)施的可用性等級上片面追高是不劃算的。一個典型的例子是eBay，eBay由原來所有數(shù)據(jù)中心Tier4級別轉(zhuǎn)變?yōu)?0%的Tier4和80%的Tier2，建設(shè)成本和運維成本減半，依然可滿足業(yè)務(wù)發(fā)展所需。國內(nèi)數(shù)據(jù)中心可用性等級的確定大多以B級為基本等級，20%～30%機房通過提高電源和空調(diào)的配置，可以達到A級，這種配置既可以滿足客戶對不同等級需求，同時又兼顧了數(shù)據(jù)中心的經(jīng)濟性。

隨著IT設(shè)備的發(fā)展，計算機日趨小型化，電子元件的排列越來越密集，計算機散熱量也越來越大。國外資料顯示，近10年來，服務(wù)器功耗增加了15倍；機架的供電密度也提高了10倍。過去一個機架功耗為2～3 kW，現(xiàn)在往往高達20～30 kW。無論是數(shù)據(jù)中心運營商還是客戶，單機架功耗越高，能夠為他們提供的利潤也就越大，主要原因是擴大了機架的可用空間，省去構(gòu)建新的數(shù)據(jù)中心的費用。單機架功耗呈增加的趨勢，已經(jīng)是一個不爭的事實，基礎(chǔ)設(shè)施設(shè)計在空調(diào)、供電能力及冗余備份上應(yīng)對此有足夠的應(yīng)對措施。

2.2數(shù)據(jù)中心選址

數(shù)據(jù)中心的選址一般主要考慮自然地理條件、資源狀況、配套設(shè)施、周邊環(huán)境。

對應(yīng)空調(diào)系統(tǒng)來說，要降低PUE，主要的途徑是利用自然冷源，如果沒有利用自然冷源，通信機房PUE值很難低于1.5。根據(jù)氣候分區(qū)的不同采用合理的免費制冷方案，通信機房制冷系統(tǒng)全年能耗通常能節(jié)約10%～50%，甚至有可能更高。數(shù)據(jù)中心是能耗、用電大戶，要想降低能耗和運維費用，電價也是需要考慮的重要因素。表1為一個6 000機架單機功耗3 kW/架的數(shù)據(jù)中心，當不同電價、不同PUE值所對應(yīng)的節(jié)電的費用。可以看出，當PUE=1.4時，0.5元/度的電價較0.75元/度的電價20年共節(jié)約電費為11.04億元，數(shù)量是非常巨大的。

從以上數(shù)據(jù)不難看出，數(shù)據(jù)中心建設(shè)，選址在自然冷源豐富的高緯度地區(qū)、電價便宜地區(qū)對數(shù)據(jù)中心的能耗降低、提高數(shù)據(jù)中心的能源效率，降低運營成本具有舉足輕重的作用。

表1　不同電價、不同PUE數(shù)據(jù)中心電費比較

2.3數(shù)據(jù)中心機房

2.3.1 靈活性

數(shù)據(jù)中心機樓的建設(shè)是基本建設(shè)，建設(shè)周期長，一般一個鋼筋混凝土框架結(jié)構(gòu)的2 km2的數(shù)據(jù)中心機房樓從開始建設(shè)到投入使用大約需要1.5～2年的時間，建成后改造起來難度很大。業(yè)主在開始建設(shè)數(shù)據(jù)中心時的條件，在市場需求、機電技術(shù)、目標客戶等與建成后往往有很大不同。數(shù)據(jù)中心建設(shè)在強調(diào)保持可用性、高效安全地運營的同時；又要使數(shù)據(jù)中心具備靈活的應(yīng)變能力，以應(yīng)對多變的業(yè)務(wù)需求及未來的不確定因素。為了解決上述問題，目前數(shù)據(jù)中心機房樓普遍采用標準化設(shè)計，數(shù)據(jù)中心園區(qū)采取統(tǒng)一規(guī)劃、分布實施的策略。

標準化數(shù)據(jù)中心機房樓一般采用整體設(shè)計理念，空調(diào)采用能效比高的大中型容量冷水機組，充分利用自然冷源；電源采用高壓直流和市電直供系統(tǒng)；選擇價格適宜的建筑材料；選用成熟的結(jié)構(gòu)形式，設(shè)備選型考慮廠家較多的區(qū)段，降低采購成本。圖1為某數(shù)據(jù)中心機房標準層平面。

圖1　某數(shù)據(jù)中心機房標準層平面

標準化方案布局緊湊、合理，裝機效率高。采用標準化方案能夠減少建造時間，方便維護管理，提高裝機率，使機房樓的成本控制在合理的范圍內(nèi)。

數(shù)據(jù)中心園區(qū)建設(shè)采用統(tǒng)一規(guī)劃，分步實施的策

略，這是一種邊成長邊投資的策略，這種策略降低了資金一次性投入的壓力，減少了固定資產(chǎn)折舊造成的損失，最大程度規(guī)避市場起伏造成的風(fēng)險。圖2為某數(shù)據(jù)中心分期總平面圖。

圖2　某數(shù)據(jù)中心分期總平面圖

大多數(shù)數(shù)據(jù)中心園區(qū)都采用分期建設(shè)的方式，整個園區(qū)分成2～3期進行建設(shè)，每期建設(shè)2～4棟機房樓，分期時應(yīng)注意每期地塊與總體規(guī)劃的關(guān)系，每期地塊能自成系統(tǒng)，配套齊全，可以獨立運行，同時注意減少后期建設(shè)對前期已建成設(shè)施的不利影響。

2.3.2 數(shù)據(jù)中心機房的柱網(wǎng)、層高、荷載

機房的整體設(shè)計考慮不同使用性質(zhì)的房間組合，滿足IT設(shè)備、機電設(shè)備、空調(diào)管路、電纜橋架等管線路由對建筑空間的要求，符合IT工藝、配套設(shè)施對各類空間組織的要求，盡量增加可裝機面積。建筑的柱網(wǎng)、層高、樓板的承重等均需經(jīng)過精心核算，既要滿足現(xiàn)有設(shè)備的使用要求，同時保留一定的富余量，為未來設(shè)備的使用留出改造空間。

機房柱網(wǎng)尺寸以8.4 m×7.2 m，8.4 m×8.4 m為主，同時有向更大尺寸發(fā)展的趨勢，如6 m×12 m，通過加大柱網(wǎng)，可優(yōu)化機架排列，減少柱子對機房內(nèi)設(shè)備的影響，柱子不占機位，增加裝機數(shù)量。機房的樓面荷載具有通用性，各類房間布局不再受樓面核載的牽制，使機房后續(xù)改造更加靈活。目前已經(jīng)出現(xiàn)了樓面荷載全部按照16 kN/m2設(shè)計的機房樓。機房的層高是架空地板高度、工藝安裝凈高、上部回風(fēng)空間、氣體滅火管線高度、建筑構(gòu)件高度之和，目前取值在4.6～5.4 m之間。隨著微模塊等模塊化設(shè)計的廣泛使用，數(shù)據(jù)機房的層高還有加高的趨勢。

微模塊機房也是發(fā)展趨勢之一，微模塊機房是集機柜、供配電、制冷、安防與消防、布線為一體的獨立的數(shù)據(jù)中心運行單元，可工廠預(yù)制，快速組裝，能夠?qū)崿F(xiàn)數(shù)據(jù)中心的快速部署、擴容及標準化建設(shè)。微模塊機房對局房的土建要求較為簡單。微模塊安裝盡量避免柱子的影響，減少因柱網(wǎng)帶來的現(xiàn)場改造以及非標定制，放置微模塊的柱網(wǎng)間距要求至少是9 m以上。

2.4空調(diào)系統(tǒng)

2005年前互聯(lián)網(wǎng)企業(yè)的IT機房多采用風(fēng)冷精密空

調(diào)，2005～2009年由于風(fēng)冷精密空調(diào)固有的缺點，逐漸被可以大幅降低運行能耗的冷凍水系統(tǒng)取代。2010年以來，節(jié)能已成為數(shù)據(jù)中心的重要發(fā)展方向，自然冷卻技術(shù)由于應(yīng)用范圍廣、高效節(jié)能、環(huán)境污染小、運行穩(wěn)定可靠以及運行費用低而逐漸被應(yīng)用到數(shù)據(jù)中心空調(diào)系統(tǒng)中。自然冷卻分為水側(cè)自然冷卻和風(fēng)側(cè)自然冷卻，國內(nèi)通常采用水側(cè)自然冷卻。水側(cè)自然冷卻系統(tǒng)應(yīng)用在大型數(shù)據(jù)中心項目中的節(jié)能效果顯著，已經(jīng)成為數(shù)據(jù)中心的主流空調(diào)系統(tǒng)。

在冷源側(cè)系統(tǒng)不斷演進發(fā)展的同時，空調(diào)末端形式也在迅速演進。在冷凍水型精密空調(diào)的基礎(chǔ)上，各廠商提出的空調(diào)末端解決方案通常可以分為行級空調(diào)和機柜級空調(diào)兩種形式，行級空調(diào)通常是列間空調(diào)和頂置式空調(diào)，常常與封閉冷通道或熱通道配合實施，該種空調(diào)末端送風(fēng)距離短，利于預(yù)制化；機柜級空調(diào)通常有水冷冷門或熱管背板等，直接對機柜進行冷卻，空調(diào)送風(fēng)距離更短，節(jié)能性更好。

與水側(cè)自然冷卻系統(tǒng)相比，自然新風(fēng)冷卻系統(tǒng)減少了能量轉(zhuǎn)換和傳遞環(huán)節(jié)，節(jié)能效果更加直接和顯著。目前在美國、歐洲等地區(qū)均建設(shè)有直接風(fēng)側(cè)自然冷卻數(shù)據(jù)中心，完全不設(shè)置機械制冷設(shè)備，PUE可實現(xiàn)接近1.07。從趨勢上講，自然新風(fēng)冷卻也是國內(nèi)數(shù)據(jù)中心發(fā)展的一個選擇。風(fēng)側(cè)自然冷卻依賴于高溫耐腐蝕服務(wù)器的發(fā)展和應(yīng)用，同時要注意自然新風(fēng)冷卻的環(huán)境要求；建筑方案上要配合全新風(fēng)制冷特點設(shè)計建筑的剖面和平面。

利用數(shù)據(jù)中心余熱向辦公、生活用房提供采暖和生活熱水，也是一種新型的免費制冷方式。設(shè)置集中冷凍水空調(diào)系統(tǒng)的數(shù)據(jù)中心，根據(jù)數(shù)據(jù)中心所在區(qū)域的熱源狀況、供熱需求，設(shè)置機房余熱回收裝置，利用機房余熱向辦公、生活用房提供采暖和生活熱水，可提高能源的綜合利用率。

數(shù)據(jù)中心的發(fā)展趨勢決定了制冷空調(diào)系統(tǒng)的發(fā)展方向。優(yōu)化空調(diào)系統(tǒng)參數(shù)，最大程度利用自然冷源，合理優(yōu)化氣流組織，靈活可擴展的模塊化冷卻系統(tǒng)、高密度制冷等技術(shù)勢必會成為數(shù)據(jù)中心空調(diào)發(fā)展的趨勢。圖3為國際著名數(shù)據(jù)中心PUE值。

圖3　國際著名數(shù)據(jù)中心PUE值

2.5電源系統(tǒng)

隨著通信網(wǎng)絡(luò)及電源技術(shù)的發(fā)展，打造低成本、低能耗的供電系統(tǒng)是通信電源系統(tǒng)的發(fā)展趨勢。從節(jié)能角度及通信設(shè)備發(fā)展現(xiàn)狀，數(shù)據(jù)中心供電系統(tǒng)將向著簡單化、高效化發(fā)展。

高壓外市電引入電源主要有10 kV、35 kV、110 kV 3種電壓等級。采用更高的電壓等級引入，具有減少線路損耗、降低電纜投資及施工難度、節(jié)省有色金屬用量、合理供電距離長等特點。大型數(shù)據(jù)中心一般以引入110 kV市電并自建110 kV/10 kV變電站為主，個別項目電源引入方案為多路35 kV或10 kV市電。

發(fā)電機組一般有高壓發(fā)電機組和低壓發(fā)電機組，電壓等級的選擇要結(jié)合供電系統(tǒng)的結(jié)構(gòu)、油機房布局、用電設(shè)備電壓等級、供電系統(tǒng)容量設(shè)置等因素綜合考慮。10kV高壓發(fā)電機組具有以下特點：發(fā)電機組可集中設(shè)置，遠離負荷中心，適合長距離傳輸電能；可多臺并機，根據(jù)負荷大小自動投入適當?shù)臋C組數(shù)量，避免大功率機組小負荷運行，實現(xiàn)錯峰控制，減少燃油、機油浪費；并機系統(tǒng)容量大，可承受較大負荷變化的沖擊；降低線路損耗、減小電纜截面、降低電纜投資及施工難度；能有效抑制非線性負載啟動時產(chǎn)生的諧波對發(fā)電組的影響，提高發(fā)電機組的效率；與0.4 kV發(fā)電機組價格接近。

大型數(shù)據(jù)中心的發(fā)電機組一般均選用10 kV高壓發(fā)電機組，多臺并聯(lián)運行供電。

336V高壓直流電源是中國移動提出的面向未來的供電模式。336 V直流電源是一種集中了UPS供電系統(tǒng)和-48 V直流供電系統(tǒng)的優(yōu)點為一體的新型供電系統(tǒng)，具有電路簡單、可靠性高、效率高、易于擴容等優(yōu)點。336 V直流/市電混供技術(shù)是ICT設(shè)備由兩路電源供電，一路為336 V直流電源，另一路為交流220 V市電，兩路電源互為備用。當市電電源滿足要求時主要由市電供電，當市電電源出現(xiàn)故障或電源質(zhì)量不滿足要求時，由336 V直流電源供電，由此最大限度的降低電源系統(tǒng)損耗。48 V開關(guān)電源高效率整流模塊與普效整流模塊相比，采用了創(chuàng)新的高能效技術(shù)、全新的高效拓撲結(jié)構(gòu)、低壓降的功率器件以及更低阻抗更低能耗的材料，效率可達95%以上，并且，高效率整流模塊可以在較寬負載率下均具有較高的效率點，也能夠獲得較好的節(jié)能效果。采用高效整流模塊所節(jié)省的電量可在2～3年內(nèi)收回高出的成本。相對工頻UPS， 高頻UPS具有體積小、 重量輕、輸入輸出功率因素高、輸入諧波分量小、效率高等特點。經(jīng)過近幾年的發(fā)展，高頻UPS的大部分技術(shù)指標已經(jīng)超過了工頻UPS。圖4為市電直供或混供方案示意圖。

圖4　市電直供或混供方案示意圖

目前，主流UPS生產(chǎn)廠商均生產(chǎn)全系列高頻UPS，高頻UPS正逐步取代工頻UPS。大型數(shù)據(jù)中心內(nèi)的通信電源系統(tǒng)建設(shè)趨勢正朝著推動相關(guān)設(shè)備集采，推廣336V高壓直流系統(tǒng)、48V高效整流模塊、高頻UPS設(shè)備的應(yīng)用方向演進。

大型數(shù)據(jù)中心內(nèi)市電油機一般采用自動切換方式，電源系統(tǒng)電池后備時間15 min，滿足主用電源和備用電源切換要求；對于散熱量高的機房配置UPS供電保障的蓄冷設(shè)備。滿足市電停電后油機啟動前，機房不停電、不過溫的要求。電池方面還要關(guān)注2 V/12 V的高功率鉛酸蓄電池的設(shè)備采購和應(yīng)用，提升設(shè)備性能，減少資金投入。

磷酸鐵鋰電池相比普通鉛酸電池具有重量輕、體積小、大電流充放電、循環(huán)壽命好等優(yōu)點。目前磷酸鐵鋰電池產(chǎn)品形式多樣，電芯有卷繞、疊片兩種類型，殼體封裝形式主要有金屬殼、鋁塑膜軟包裝、塑料殼三種形式，單體容量從幾安時至幾百安時不等。從國際市場來看，國外通信運營商鋰電池使用較少。鋰電池技術(shù)目前仍在快速發(fā)展之中，從最近幾年測試情況來看，磷酸鐵鋰電池的一致性、低溫性能和高溫性能在持續(xù)的改進之中，大型數(shù)據(jù)中心應(yīng)持續(xù)關(guān)注該產(chǎn)品的試用情況和成熟度。

2.6智能化管理

目前我國數(shù)據(jù)中心建設(shè)數(shù)量多，規(guī)模大，但是數(shù)據(jù)中心的使用效率還有待提高。數(shù)據(jù)中心使用效率不高的重要原因之一是機房基礎(chǔ)設(shè)施的管理出現(xiàn)了各自為政，操作離散化、能耗加劇化的現(xiàn)象。如何打破管理孤島，發(fā)揮綜合管理的集成效應(yīng)和倍增效應(yīng)，提高數(shù)據(jù)中心的

節(jié)能能力，為管理人員提供一個高效易用、智能化管理系統(tǒng)成為迫切需要解決的問題。

數(shù)據(jù)中心基礎(chǔ)設(shè)施管理系統(tǒng)（DCIM）的興起，是為了解決關(guān)鍵動力設(shè)備和基礎(chǔ)設(shè)施一體化管理，實現(xiàn)數(shù)據(jù)中心機房基礎(chǔ)設(shè)施動態(tài)優(yōu)化。DCIM的手段是通過一整套硬件設(shè)施、從所有系統(tǒng)收集數(shù)據(jù)，實現(xiàn)機房基礎(chǔ)設(shè)施的容量規(guī)劃、集中監(jiān)控、準確處置、智能管理、預(yù)測模型、成本控制等管理目標。

DCIM系統(tǒng)通過數(shù)據(jù)中心各類監(jiān)控系統(tǒng)及被監(jiān)控設(shè)備提供的接口，實現(xiàn)統(tǒng)一機房監(jiān)控報警策略及報警等級，通過短信平臺統(tǒng)一報警或?qū)缶畔l(fā)送至監(jiān)控平臺；通過機柜內(nèi)部加裝傳感器，實現(xiàn)對機柜級溫濕度監(jiān)控，實現(xiàn)機房溫濕度環(huán)境精細化管理，并生成實時機房內(nèi)溫濕度云圖；同時依靠機柜電力監(jiān)控數(shù)據(jù)，結(jié)合機柜內(nèi)溫濕度檢測提供運維數(shù)據(jù)支持。

依托2D/3D可視化管理平臺，DCIM系統(tǒng)可以對數(shù)據(jù)中心所在園區(qū)、樓層及機房進行全元素三維展示，還可根據(jù)機房CAD圖紙等文件導(dǎo)入或制作生成機房圖紙，并按照電力、空調(diào)系統(tǒng)繪制動態(tài)監(jiān)控視圖；結(jié)合設(shè)備管理的定位功能及機房圖紙布局，按照實際安裝位置顯示每臺機柜內(nèi)設(shè)備，并可顯示該設(shè)備詳細信息及連線信息；同時通過精準識別定位的硬件設(shè)備，實現(xiàn)對機房內(nèi)設(shè)備進行管理，解決傳統(tǒng)手工運維與信息盤點的效率低下問題。

DCIM系統(tǒng)將數(shù)據(jù)中心各項基礎(chǔ)設(shè)施資源量化處理，可按照空間、冷量、電力、承重等多種條件篩選，快速定位可用區(qū)域及設(shè)備；通過持續(xù)記錄資源消耗量及分析增長模式，使數(shù)據(jù)中心管理人員能夠更加準確地預(yù)測哪種資源將被耗盡，能夠更為高效地管理各項關(guān)鍵資源。維護人員遠程接入DCIM云服務(wù)平臺，實施各種運維操作，采用遠程巡檢的方式，可在短期內(nèi)對多地數(shù)據(jù)中心完成巡檢工作，以提高效率，減小維護成本。

3　結(jié)束語

隨著信息化的持續(xù)發(fā)展，數(shù)據(jù)中心已經(jīng)逐漸成為一個專門的建筑類別，大型數(shù)據(jù)中心的建設(shè)在全球各地都是一個嶄新的課題。把握數(shù)據(jù)中心基礎(chǔ)設(shè)施的發(fā)展趨勢，建設(shè)綠色數(shù)據(jù)中心機電系統(tǒng)，必須從實際需求出發(fā)、認真細致地進行規(guī)劃設(shè)計、把握好安全可靠性、重視節(jié)能環(huán)保、維護管理方便、降低建設(shè)成本。

參考文獻

[1] 孫景毅，吳辰，于艷芳. 數(shù)據(jù)中心布局研究[J]. 通信電源技術(shù)， 2014(1).

Development trend of large data center infrastructure

QIN Jian-guo
(China Mobile Group Design Institute Co., Ltd., Beijing 100080, China)

AbstractThe rising and accelerated development of cloud computing and big data have brought the construction upsurge of large-scaledata centre, while the construction of basic facilities of data centre rooms has changed a lot. The paper expounds the development tendency of data centre at home and abroad, and summarizes the development characteristics of basic facilities of data centre rooms.

Keywordstrend； data center； equipment； room； infrastructure

收稿日期：2015-10-26

中圖分類號TN915

文獻標識碼A

文章編號1008-5599（2015）11-0001-06