郭方圓
(上海普平數據服務有限公司,上海 200032)
據不完全統計,預計2030年數據中心的用電量達到社會總用電量的1.5%~2%,而數據中心的制冷空調系統用電量占整個數據中心的30%~50%,制冷空調系統用電產生的碳排放量巨大[1],故優化制冷空調系統對減少能源消耗起著關鍵性的作用。
目前,數據中心的主要制冷模式為風冷,冷源采用集中式冷凍水系統,空調末端采用房間級精密空調,主要配置為冷卻塔+板換+冷機+末端空調,如果負載率達到80%以上,PUE值能保持在1.3左右;經過技術人員多年的研究、探討及小規模實踐,證實浸沒式液冷和冷板式液冷適用于數據中心,并能大大降低PUE值使其保持在1.1內,對于能耗指標的降低做出了巨大的貢獻。
以上海某數據中心風冷改液冷的實際案例,結合成熟的價值工程的理論方法,對比風冷空調系統與浸沒式液冷的制冷模式的設計PU E和對應之成本,從浸沒式液冷的建設成本(CAPEX)和運營成本(OPEX)角度提出費用優化的方法。
本工程為上海某數據中心DC01,鋼筋混凝土結構,共計2層,樓高16.1 m,建筑面積23 000 m2,總IT負載14 MW。原設計,一層集中設計10 kV配電間、冷凍機房、配電室、消控室、運營商接入間;二層為8個包間及其輔助用房,制冷模式采用風冷,冷源采用集中式冷凍水系統。因客戶需求變動,需將其中1個包間C05共1750 kW體量的IT負載改變制冷模式,由原來的風冷改成浸沒式液冷模式。
浸沒式液冷包含HVDC的配電、列頭的配電、CDU設備、管線及支架、tank設備、CDU一次側的管道、CDU二次側的管道、樓板的承載、弱電工程、自控系統等的設計工作,相對應常規的風冷制冷模式,根據以上內容,結合圖紙及技術資料,進行全方位的價格分析,比對兩者成本差異。
(1)資料的不完備:相比國內所有數據中心,歷史數據中心用液冷技術所承載的tank數量基本保持在6~8個,還處于試施工和運行階段,而本次承載的規模較大,tank數量為84臺,故未有非常完善的技術資料來支撐出圖和計算成本。
(2)多元化溝通:從技術熟悉—技術深入探討—方案圖紙—施工圖紙—工作界面—工程量清單—成本談判—定標—施工—竣工驗收等環節,與客戶、合作伙伴、同事從技術層面、施工層面、成本層面進行全方面的溝通及探討研究,溝通任務量巨大,溝通質量以及信息的暢通性如何保證也成為難點。
(3)專業性強:一是樓板承重,浸沒式液冷是將服務器整體直接浸沒在液體中,依靠流動的工程液體吸收服務器的發熱量,故tank裝的氟化液的單體質量遠遠高于機柜,需對樓板進行荷載測算并進行樓板加固處理;二是綜合管線的布置,列頭柜到tank的布線、配電箱到CDU的布線、CDU一次側的管道、CDU二次側的管道及弱電、自控等管線的整體布局;三是CDU集成化產品,包含1臺不銹鋼板式換熱器、一臺冷卻液循環泵、一套冷卻液循環過濾裝置、閥門、管道、排氣裝置、壓力傳感器、溫度傳感器、電導率傳感器等自控儀表、強電接線盒、弱電接線盒、接地用接線柱及與之配套的外框和支腳等;四是CDU與tank的精度要求,大大提升了成本,均為預制化產品,法蘭、閥門、管道、軟連接必須滿足法蘭日標要求、不銹鋼管無縫鏈接、閥桿和閥體不銹鋼材質、進口軟連接等苛刻的要求。
通過對數據中心C05包間液冷和風冷制冷技術的比對,發現兩種模式的差異點較多,為能更好地進行PUE及建設成本的對比,假定在液冷施工工藝完全成熟的情況下,風冷和液冷的施工進度、施工質量能保持同步,并以客戶服務器的一次側為成本測算的分界點為前提,再結合成熟的價值工程的理論方法比較風冷和浸沒式液冷兩種模式。
本次通過研究分析本案例中的所有資料,包括但不限于液冷圖紙、技術文件等,對本項目所使用的浸沒式液冷制冷模式從技術角度、施工角度、成本角度等方面進行技術溝通、施工界面安排、成本對比,得出最優成本方案,并與之功能做對比,得出價值系數,并從價值系數中的功能值和成本值入手,提出如何實現價值最優的解決方案。
價值工程(Value Engineering),也稱價值分析(Value Analysis),是對產品或勞務的功能進行充分的成本分析,從而找出提高產品或勞務功能降低成本的有效且可行的方法。價值工程的主要原則就是用最低的總成本滿足所需要的功能。價值工程(V)主要是指產品或勞務的功能(F)(功能指的是產品的用途或作用)與產品或勞務的成本(C)(成本指的是滿足產品的所需要的功能所付出的周期成本)的對比值,即V=F/C。
價值分析是個相對比較復雜的過程,研究者會利用經驗分析法、ABC分析法及百分比分析法選定研究對象,而本文主要通過經驗分析法選定數據中心的重要指標PUE作為研究對象,用04評分法進行PUE值得功能評分,并通過成本精準測算,進而得出價值指數。
首先,確定研究對象的功能值(F):組織技術部的技術總監、暖通技術負責人、弱電技術負責人、施工項目經理、運維總監、運維經理、運維值班員等7人,完全獨立地對設計PUE實際所達到的功能(Fa、Fb)進行打分,計算總分和平均分,從而得出功能值,計算結果如表1所示。

表1 功能測算表
其次,確定研究對象的成本值(C):根據施工工作界面,對液冷涉及的4個標段機電總包工程(CDU一次側工程、弱電工程、CDU二次側工程及甲供設備)分別進行成本測算及核對,為了方便成本計量,將4個標段的總成本換算成成本指標(元/kW),用于評價研究對象的成本值,如表2所示。

表2 成本測算表
最后,確定價值:價值(V)=功能(F)/成本(C),計算結果如表3所示。

表3 價值測算表
從功能測算表可以得出液冷的制冷模式功能值(即PUE值越低,功能值得分越高)非常高,高出風冷模式100%,功能性能完美,但其成本值過高,比風冷模式高出267%,導致價值數遠遠低于1。為了實現價值數趨向于1,則在保持功能值(即PUE)絕對優勢的情況下,如何降低成本值將作為液冷技術的改進方向。
數據中心作為互聯網行業的基礎設施,對于像第三方數據中心供應商而言,全生命周期成本包括建設成本(CAPEX)和運營成本(OPEX),而運營成本(OPEX)又分租電分離模式和包租包電模式。假設項目類型屬于包租包電模式,并在固定的IT負載量下(假設1750 kW),電費0.6元/度,在不同的PUE下,測算每年的電費價格,如表4所示。通過上述分析,采用液冷在包租包電模式下電費有較大幅度的節約,并與國家號召的打造綠色節能數據中心相匹配。從成本角度分析,液冷技術雖然在建設成本(CA PEX)的投資中費用有所上升,但結合2~3年的運營成本(OPE X)價值數趨于1,達到功能與成本的平衡,所以基于建設成本(CAPEX)和運營成本(OPEX)的兩者綜合考慮,利用液冷技術的制冷措施,在提高功能值的同時,也能有效控制成本。

表4 電費測算表
3.2.1 規模化投產運營
近幾十年在很長的一段時間內,早期數字信息需求量小,之前主要運用在電信的IDC服務器托管企業或政府單位的數據業務,單機柜容量主要以4 kW以下機柜為主,限制了液冷技術的有效發展;其次,與風冷技術相比,液冷技術在系統部署、制冷原理以及技術方向等方面存在較大的研發及應用困難[3]。近兩年,隨著業務量需求的日益劇增,單機柜趨于10 kW以上,甚至20 kW以上,高功率的機柜的散熱量極具加大,制冷面積不斷加大,導致相同面積高密度機柜的產出率大大降低,而且提高制冷要求,利用傳統的風冷制冷模式,不管從產出率還是成本方面,都不是最好的選擇。由此,液冷技術開始慢慢運用在數據中心,但由于技術的壁壘,局限于個別互聯網企業的研發和實踐階段,但隨著時間的推移,液冷技術逐步會趨于成熟化和規模化,經濟價值會日益顯現。
3.2.2 技術優化
(1)CDU到tank間的管道連接,產品材料及施工工藝要求極高,如使用的管道(要求:無縫、預制成段)及其配套的閥門(要求:日標)、法蘭(要求:日標)、軟連接、三通、彎頭等均要求為316不銹鋼材質,CDU內用的液體循環泵需采用協磁(ASSOMA)原裝進口品牌,并進行高精度的預制組裝,而隨著液冷技術的不斷革新,產品材料及施工工藝是否能優化,比如管道是否能從無縫不銹鋼管變成有縫鍍鋅鋼管,或者預制成品能變成現場直接焊接產品,又或者進口產品能慢慢用國產品牌替換等,從而在滿足tank運行需求的同時能有效降低成本,提高價值(V)。
(2)承重要求高,tank是承載液體、服務器及配套設施的大容器,它所要求的濕荷載為4T,遠遠大于機柜的荷載。對于改造建筑,一般情況建筑荷載只有1T左右,那采取何種加固措施的性價比最高,就需要通過加固多方案討論及成本測算,得出最優加固方案,從而降低成本投入;而對于新建建筑,則可以采用性價比高的抗壓材料做為結構材料,并合理安排tank的放置位置,較少配筋率及混凝土的使用量,從而降低成本,提高價值(V)。
(3)服務器浸沒的液體,據目前了解,該液體的價格等同于黃金價格,極其昂貴。如果優化和選擇冷卻液,也需進一步的研究,該液體直接與服務器接觸,就必須保證該液體與服務器是絕緣的,還必須從環保性能、穩定性能、電化學反映、pH值、液體濃度、微生物總數指標、導熱系數、散熱能力等方面全面研究測試,結合經濟指標,選出性價比高的冷卻液,從而可大幅度的降低后期運維成本。
本文運用價值方法僅對浸沒式液冷與風冷的技術PUE功能和成本差異進行簡單的分析比較,液冷屬于高功能產品,為了得到更合理的價值數,本文最后提出三方面的改進措施,一是從建設成本(CAPEX)和運營成本(OPEX)兩方面成本整體考慮,加入運營成本(OPEX)的液冷攤銷成本情況;二是荷載方面,針對不同的建筑提出不同的荷載方案來優化成本;三是從建設成本(CAPEX)把控方向考慮,從技術優化角度,通過現實的技術要求及實際運用的液體材料分析,提出優化方案,最終給出液冷制冷技術的可行性。■