大型數據中心基礎設施規劃的思考與體會

唐為民，王 澄，王蓓蓓

（1.中國移動通信集團江蘇公司，江蘇 南京210029；2.東南大學電氣工程學院，江蘇 南京210096）

1 概 述

隨著互聯網及云計算等先進技術的飛速發展，IT設備集成度越來越高，單機架功耗由早期的3～4 kW逐步向5～10 kW邁進，甚至達到20 kW。機房的建設也突破傳統思維，單一數據機房的建設將越來越少，大型數據中心基地的建設模式將成為主流。據了解，目前國內各大運營商及互聯網公司正紛紛建設自己的大型數據中心基地，基地模式的建設對基礎設施的規劃和建設提出了更高的要求，主要體現在選址位置、征地規模和建設規模的模式確定、電價、高低壓配電系統結構優化、外電引入以及節能減排等方面。

2 數據中心的概念

數據中心是指在一定規模的地塊上為集中實現客戶及自身業務發展所建設的多棟通信機房的統稱，其功能包括信息處理、存儲、傳輸、交換和管理等各種業務的綜合處理。

數據中心建設的終極目標是綠色數據中心（Green Data Center），目前行業內定義綠色數據中心主要以是否節能為衡量指標（即PUE指標）。PUE（Power Usage Effectiveness的簡寫）是評價數據中心能源效率的指標，其值是數據中心消耗的所有能源與IT負載使用的能源之比。PUE指標越小表明一定容量的IT負載所消耗的配套能耗（包括空調、照明、配電等能耗）越小，數據中心越節能。據了解國外谷歌、IBM等公司大型數據中心的PUE指標能夠做到1.2以下，國內好的數據中心也僅能做到1.6以下。

但PUE指標僅僅反映數據中心是否節能，對其他指標卻沒有考慮，如系統可靠性保障、項目總成本（TCO）、后期擴容便利性、維護運營成本等指標，所以規劃好一個綠色數據中心應追求可靠性、投資、運營成本、節能等各方面的綜合平衡，綠色數據中心應定義為在滿足系統安全可靠基礎上以最經濟的投入和最少的運營成本獲得最佳的能源效率。綠色數據中心的“綠色”具體體現在整體的規劃設計以及機房空調、UPS、服務器等IT設備上，要具備節能環保、高可靠性和合理性。

影響綠色數據中心的因素較多，但在規劃前期需重點考慮項目選址、建設規模設置、投資成本、后期維護等方面。

3 項目選址

傳統單一數據機房對地塊選址要求較少，只要周邊有一定電力容量、管道路由便利、價格便宜等即可。但大型數據中心的選址恰恰相反，非常重要，可以說好的選址可以起到事半功倍的效果。前期需充分論證和比較，考慮因素牽涉到多個方面，包括區域位置、征地價格、征地規模、周邊電力資源、電價因素、政府指標要求和資源支持等。

3.1 征地區域位置

征地位置除傳統提及的交通便利、城郊結合部、外線引入便利等因素外，為追求更低的PUE指標，征地位置務必能充分利用室外自然熱冷源且當地自然環境較好。對于一些大型數據中心，可能會采用空調水冷系統，征地區域最好離自然湖泊較近。

考慮到中國國土面積較大，各省各地區域氣候特性和自然環境差別較大，選址時北方區域需考慮氣溫較低對水冷空調冰凍的問題（不建議采用空調雙冷源系統，不但投資翻番且建筑面積翻番）以及建設周期的影響（冬季無法施工）；而南方區域氣溫較高其自然冷源無法利用，不節能，后期運營成本支出較大。

3.2 征地價格

對于數據中心的征地，首先需要了解當地政府產業規劃，積極利用地方政府的優惠政策，降低地價成本。考慮到各省及各地區地塊價格差異較大，無法進行統一。但地塊價格主要需考慮地塊的用地性質（以工業用地為宜，價格較低）、位置區域（郊區或城郊結合部）、符合當地政府的產業規劃，容積率指標不宜太高、地塊開發成熟度等因素。

3.3 征地規模

數據中心的征地規模與項目建設規模密切相關，而建設規模是由業務發展所需的機房面積確定，考慮到數據中心從征地到建成投入使用周期較長，且建設是分階段進行的，短則5年，長則10～20年，給業務預測帶來較大不確定性。征地規模較大一旦后期沒有業務需求將造成地塊浪費，面臨國土部門的罰款甚至沒收；相反征地規模偏小將影響業務發展，選址如果過于分散，維護難度較大。

除提高業務預測準確性外，還需通過反推方式來確定具體征地規模。數據中心征地主要受制于外線引入的電力容量，根據不同的電力引入方案來確定不同的征地規模。目前供電部門高壓電壓等級主要有10 kV、20 kV（較少使用）、35 kV 以及110 kV（220 kV 和500 kV使用較少），供電部門對不同電壓等級的供電容量有明確要求。

（1）用電容量測算：按照數據中心內單機架平均功率4 kVA計算，含主設備、空調、電池充電等設備1萬平米機房樓總功耗可達到7 000 kVA。

（2）供電局政策：傳統通信機房引入外線為2路10 kV（一主一備，相當于1路），最大使用容量為8 000 kVA（各地區略有差異），該容量只能滿足1.15萬平米房機房容量。為滿足數據中心更大電力容量引入，要么提高電壓等級（如35 kV、110 kV），要么引入多路外線。

對于采用單路高壓引入的數據中心，其不同電壓等級對應的數據中心征地規模和建設規模建議如表1。

表1 不同電壓等級對應數據中心征地及建設規模表

備注：（1）按照1萬 m2機房樓占地3 000 m2，建筑密度按照35%考慮，則所需用地約13畝；（2）如供電部門允許同一地塊外線多路引入，其建設面積和征地面積相應可以倍數增加；（3）上述計算數值未考慮數據中心地塊內建設其他低功耗的倉儲用房、管理用房等。

3.4 電力價格

考慮到數據中心耗電量巨大，1萬平方米通信機房年耗電約6 132萬度（7 000×8 760），按照1度電0.9元計算，年電費成本約5 500萬元，如果電價便宜一半，每年節省電費達到2 750萬元，所以在地塊位置選取上就應該選擇電力輸入省，而非電力輸出省。

供電電壓等級越高，單價越便宜，同時不同用電種類其價格又不同。表2為江蘇省電價統計表，從表中可看出，要爭取按照大工業電價和35 kV電壓等級以上計量，同時也需要爭取地方政府政策支持，切實降低電價。

表2 江蘇地區不同用電種類電價表

同時隨著國家政策的相應調整及直供電試點工作的逐漸開展，后續可能存在發電側直供電的可能性。所謂直供電是指作為用電大戶，直接參與發電側供電談判，根據試點通知要求電壓等級不低于66 kV或110 kV。發電側直供電也需通過公共電網變電所取電，需付供電部門一部分過網費用，比供電部門的轉供電價格要便宜。

4 建設規模和單層面積設置

4.1 數據中心建設規模

數據中心建設規模包含兩個部分，第一個部分是數據中心地塊內的總建設規模，這部分已在前面提及，需結合電力外線引入容量綜合考慮，建議總建筑規模控制在1.2×104m2、6×104m2和15×104m2左右。第二個部分就是數據中心地塊內單棟機房樓建設規模，考慮到數據中心整體建設規模較大，包含多棟機房樓建筑，結合機房樓綜合利用率以及外線引入容量，建議單棟建筑規模控制在1.2×104m2左右（1路10 kV外線容量可滿足需求）。

4.2 單層面積設置

從機房樓規劃考慮，為節省低壓電纜饋線引入長度、減少搬運難度，機房樓建設不宜過高，4～7層左右較為合適。同時機房樓單層面積設置需綜合考慮設備安裝的便利性和樓層配電總容量，目前機房樓單臺變壓器容量以2 000 kVA和2 500 kVA為多。為便于樓層分散供電，建議單臺變壓器容量按照1層樓或2層樓總容量設置，盡量不采用1臺變壓器帶多個樓層（導致供電電纜交叉）。

如果按照單臺變壓器容量為2 000 kVA計算，單層面積在3 000 m2（含IT設備、空調及電池充電每平方米負荷約700 kVA，則2 000 kVA變壓器容量可滿足3 000 m2左 右）。如 果 按 照 單 臺 變 壓 器 容 量 為2 500 kVA，建議1臺變壓器帶2層負荷，則單層面積在1 800 m2左右。

5 大樓配電建設模式

數據中心功耗巨大，其配電結構有別于傳統通信機房的配電系統。

5.1 外市電引入

數據中心采用10 kV外線引入，可將高壓側部分直接放到一層配電房，對于35 kV及110 kV外線引入的高壓部分，建議單獨在場地中央設置電力配送中心（由35 kV/110 kV變為10 kV電壓等級），然后通過10 kV高壓線向不同機房樓內配電房供電（10 kV轉變為0.4 kV電壓等級），不宜由電力配送中心直接送0.4 kV電力至各通信機房，損耗和投資均大大增加。

5.2 變壓器配置

從投資角度來看，對于非VIP數據中心，不宜采用2 N方式配置，宜按照N＋1或N＋2方式配置較為妥當，不但總投資有所降低，且減少配電房面積。如果機房樓樓層面積較大，可將10 kV/0.4 kV降壓變壓器直接安裝到機房樓層內，減少變壓器輸出至樓層低壓線纜損耗。

5.3 低壓配電系統

數據中心功耗巨大，對于單層面積為1 800 m2的機房，測算含電池充電功耗的遠期功耗可達到1 250 kVA，如有條件可直接將降壓變壓器安裝在樓層；如沒有條件，一層配電房的變壓器至樓層配電宜采用密集型母排，且母排安裝一次性到位，不宜分批建設。

同時，對于樓層安裝ATS總屏的配電系統，為避免一路市電停電后所有不同樓層ATS總屏均瞬時切換帶來的問題，建議各個樓層ATS總屏設置時延，錯時切換，如二層延時2分鐘、三層4分鐘、四層6分鐘，這樣可以避免變壓器負荷突增。

5.4 油機配置

油機房應與主機房分開設置，不宜設置在一層大樓配電房內，不但浪費配電房面積而且排風、散熱很難解決。對于35 kV或110 kV引入的數據中心，推薦使用高壓油機，在10 kV電壓等級側進行切換。高壓油機不但便于并聯（減少油機配置），且待載非線性負載能力較低壓油機更強，減少油機冗余量。

6 總 結

本文從數據中心基礎設施的項目選址、征地規模、建設面積、外線引入、配電結構等各個方面闡述了如何規劃一個好的數據中心，但數據中心基礎設施規劃牽涉到因素較多，不能為片面追求某一方面而忽視了其它方面，應在綜合考慮各類因素基礎上尋求最佳的規劃方案。

［1］ TT數據中心，數據中心冷卻指南［Z］，2010.

［2］ YD/T5003－2005電信專用房屋設計規范［S］.2005.

［3］ 工信部電信研究院.數據中心能效測評指南［Z］.2011.