基于數(shù)字孿生的數(shù)據(jù)中心一體化智能管理系統(tǒng)研究

摘要：2021年國家發(fā)改委等四部門發(fā)布《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實施方案》明確指出：秉承“綠色集約”的原則，推動數(shù)據(jù)中心綠色可持續(xù)發(fā)展，加快節(jié)能低碳技術(shù)的研發(fā)應(yīng)用，提升能源利用效率，降低數(shù)據(jù)中心能耗。在此政策背景下，本文探討了一種研發(fā)數(shù)據(jù)中心一體化管理系統(tǒng)的解決方案：基于數(shù)字孿生架構(gòu)，利用物聯(lián)網(wǎng)（IoT）和大數(shù)據(jù)開發(fā)技術(shù)，通過對數(shù)據(jù)中心的能耗和容量數(shù)據(jù)的采集感知，數(shù)字化定義和動態(tài)算法構(gòu)建孿生體信息模型，實現(xiàn)能耗管理、容量管理、資源3D可視、集中監(jiān)控和統(tǒng)一告警功能。同時，對能效和容量的相關(guān)數(shù)據(jù)建立AI模型，通過Deep Learning獲得推薦和調(diào)優(yōu)決策依據(jù)，有效推進了數(shù)據(jù)中心數(shù)智化建設(shè)、精細(xì)化管理和綠色節(jié)能降本目標(biāo)的實現(xiàn)。關(guān)鍵詞：數(shù)據(jù)中心；數(shù)字孿生；能耗管理；容量管理；3D可視化

近年來，伴隨著中國政企數(shù)字化轉(zhuǎn)型的深入推進和數(shù)字經(jīng)濟的飛速發(fā)展，國內(nèi)數(shù)據(jù)中心行業(yè)保持了30%的高增長態(tài)勢。與此同時，數(shù)據(jù)中心行業(yè)的高能耗和資源利用率低的問題也日益凸顯，主要表現(xiàn)在兩個方面：

第一，能耗居高不下。耗電量不斷刷新紀(jì)錄。2020年，中國DC用電量已經(jīng)超過2000億kW·h，占用電總量的2.7%。已經(jīng)被列為與傳統(tǒng)八大“雙高”行業(yè)并列的高能耗產(chǎn)業(yè)。大多數(shù)數(shù)據(jù)中心用電效率值（PUE）甚至超過2.2，與政策定義的綠色低碳數(shù)據(jù)中心PUE小于1.3的相去甚遠(yuǎn)，甚至50%以上的傳統(tǒng)數(shù)據(jù)中心無法做到PUE值自動計算和監(jiān)測。

第二，容量的利用率低下。數(shù)據(jù)中心的空間、電力、制冷、承重、網(wǎng)絡(luò)等是數(shù)據(jù)中心高昂成本的主要組成部分。從實際運營情況看，國內(nèi)大多數(shù)DC超過70%的容量資源沒有得到有效的應(yīng)用，造成了嚴(yán)重的資源浪費。

針對以上問題，利用數(shù)字孿生技術(shù)，設(shè)計開發(fā)數(shù)據(jù)中心一體化智能管理系統(tǒng)，進行細(xì)化到機柜和設(shè)備的能耗管理和多維度容量管理，有效促進節(jié)能、降碳、增效，解決容量利用率低下造成資源浪費的困擾。緊密契合國家“碳達峰碳中和”戰(zhàn)略決策和推動數(shù)據(jù)中心綠色可持續(xù)發(fā)展，意義重大。

一、總體設(shè)計與實現(xiàn)

數(shù)據(jù)中心一體化智能管理系統(tǒng)主要由能耗管理、容量管理、流程管理和數(shù)字孿生3D展示四部分組成。技術(shù)架構(gòu)上主要包括采集層、數(shù)據(jù)層、應(yīng)用層、展示層和管控層等（見圖1總體架構(gòu)圖）。采集層利用物聯(lián)網(wǎng)設(shè)備進行數(shù)據(jù)采集，數(shù)據(jù)層進行數(shù)據(jù)的存儲計算，應(yīng)用層負(fù)責(zé)系統(tǒng)功能的實現(xiàn)，展示層和管控層實現(xiàn)用戶操作、展示、監(jiān)控等。

數(shù)字孿生應(yīng)用基于采集感知、網(wǎng)絡(luò)傳輸、數(shù)字建模、虛擬仿真融合，運用物聯(lián)網(wǎng)連接數(shù)據(jù)中心實體和數(shù)字孿生體，合成高精度數(shù)字模型，匹配精確地測量數(shù)據(jù)的動態(tài)更新。借助Deep Learning的AI虛擬沉浸式仿真，結(jié)合實景視頻孿生引擎，獲取3D的渲染效果展示。

技術(shù)框架采用B/S模式設(shè)計，通過智能電量表和傳感器設(shè)備，加上Dubbo技術(shù)框架，實現(xiàn)基于分布式的采集。通過Databus Server+Agent集群搭建采集數(shù)據(jù)管理服務(wù)，并部署TDH（Hadoop+Hbase）實現(xiàn)大量采集數(shù)據(jù)的寫入和存儲。利用分布式文件系統(tǒng)及Hbase技術(shù)，實現(xiàn)針對大量采集數(shù)據(jù)的讀寫、存儲、壓縮、備份機制。數(shù)據(jù)庫采用MongoDB+MySQL。Redis集群實現(xiàn)熱點數(shù)據(jù)緩存服務(wù)，并采用Spring Cloud微服務(wù)技術(shù)獨立編譯及部署，提供功能模塊的開發(fā)。Activiti平臺設(shè)計工作流邏輯流程，并運用3D虛擬仿真技術(shù)構(gòu)建整個數(shù)據(jù)中心的三維虛擬環(huán)境。可對各監(jiān)控子系統(tǒng)實現(xiàn)數(shù)據(jù)的集中監(jiān)控，對各子系統(tǒng)實時/歷史的監(jiān)控數(shù)據(jù)和告警信息進行集中展現(xiàn)。同時，利用LVS+Keepalived技術(shù)保證系統(tǒng)的運行穩(wěn)定。Nginx實現(xiàn)Web服務(wù)的高效率開發(fā)，用Echarts定制數(shù)據(jù)統(tǒng)計的可視化圖表。開發(fā)完成后的系統(tǒng)應(yīng)該具有高性能、高可用、高安全的特點，并且具有實時監(jiān)控、整體管控、按需伸縮、直觀展示的特性。同時，提供各類標(biāo)準(zhǔn)接口（SOCKET、FTP、EJB、LDAP、XML、HTTP、JMS、Email、Web Services、WSRP、JCA、CORBA、RMI等），滿足第三方應(yīng)用的連接支持。

二、數(shù)字孿生可視化

數(shù)字孿生是以數(shù)據(jù)（包括實時傳感數(shù)據(jù)、歷史數(shù)據(jù)以及算法模型等）與模型（涵蓋物理模型、機理模型、流程模型等）的集成融合為基礎(chǔ)與核心。通過在數(shù)字空間構(gòu)建物理對象的數(shù)字化映射（包含物理實體、物理對象的行為、流程與過程），基于數(shù)據(jù)整合與分析預(yù)測，來模擬、驗證、預(yù)測、控制物理實體全生命周期過程。最終形成智能決策的優(yōu)化閉環(huán)[6]。

數(shù)據(jù)中心數(shù)字孿生可視化利用3D技術(shù)，將孿生體對象，包括園區(qū)建筑、機房布局、基礎(chǔ)配套、冷通道和機柜、IT設(shè)備、強弱電鏈路等，通過數(shù)據(jù)處理和建模仿真實現(xiàn)數(shù)字化映射。這樣可以實現(xiàn)IT設(shè)施、動環(huán)、容量、鏈路、告警等信息的可視化，并對數(shù)據(jù)進行模擬、分析、預(yù)測和驗證，提供決策依據(jù)。關(guān)鍵技術(shù)包括仿真幾何信息模型、物聯(lián)網(wǎng)（IOT）采集、3D展示、能耗預(yù)測模型、告警信息等，實現(xiàn)基礎(chǔ)設(shè)施、能耗、容量、動環(huán)、鏈路、監(jiān)控、溫度云圖等信息的可視化。

（一）仿真幾何信息模型

首先收集數(shù)據(jù)中心建設(shè)和機房內(nèi)多角度實景照片、CAD建設(shè)圖、平面圖等素材，利用3DMax建立仿真模型，Unity引擎實現(xiàn)3D視覺的編輯，遠(yuǎn)景采用軸測法，布局更清晰，進行采用透視法，細(xì)節(jié)更真實，CMDB系統(tǒng)獲取實例動態(tài)的信息關(guān)聯(lián)和邏輯關(guān)系。

（二）物聯(lián)網(wǎng)IOT采集

智能PDU、溫濕度傳感器、串口服務(wù)器等物聯(lián)網(wǎng)采集器是實體動態(tài)信息的數(shù)據(jù)泵，采集到的數(shù)據(jù)通過Modbus等協(xié)議和RESTFul接口映射到孿生體。

（三）3D展示

通過WebGL建立3D可視化環(huán)境，逐級放大方式瀏覽，前端框架采用vue-cli3微框架+Element-UI，集成采用WebService、ActiveMQ、RESTFul，展示效果見圖3。

（四）能耗預(yù)測模型

AI的深度學(xué)習(xí)技術(shù)Deep Learning是能耗預(yù)測的核心，利用LSTM建立能耗預(yù)測模型針對全生命周期內(nèi)的數(shù)據(jù)進行智能學(xué)習(xí)獲取動態(tài)依存關(guān)系和優(yōu)化模型。

（五）告警信息

Dashboard技術(shù)可以用于告警展示和資源定位，同時支持全面靈活的故障告警規(guī)則設(shè)置。它可以支持實時告警、壓制告警、延時告警等多種告警機制，同時將告警分為活動告警和歷史告警。通過設(shè)定某段時間內(nèi)滿足告警表達式的頻率，可以有效抑制瞬時告警的效果。

三、能耗管理

數(shù)據(jù)中心能耗管理包括數(shù)據(jù)采集、分析、指標(biāo)及展示、告警、報表、集中監(jiān)測、用能設(shè)備管理、PUE測算等功能。前端的數(shù)據(jù)采集及定時任務(wù)系統(tǒng)可以計算出各個分項能耗，展示整體和分項能耗信息和趨勢圖形，為機房管理人員提供直觀的能耗數(shù)據(jù)。采用控制變量法，可以采集相關(guān)運行變量，測算變量對PUE的影響權(quán)重，進行靈敏度分析和動態(tài)趨勢分析，并設(shè)定閾值參考。數(shù)字孿生技術(shù)可以用于建立機器學(xué)習(xí)模型，對能效管理相關(guān)數(shù)據(jù)進行采集監(jiān)測、統(tǒng)計審查和趨勢展示，并提供節(jié)能建議，為PUE的調(diào)優(yōu)提供決策支持。此外，能耗的數(shù)字化定義和建模可以構(gòu)建仿真分析和優(yōu)化模型，通過虛擬空間映射和3D空間展示，進行能耗管理的仿真分析和優(yōu)化。

能耗數(shù)字采集是通過采集器對智能電量儀、UPS、列間空調(diào)、精密空調(diào)、精密列頭柜、智能PDU等設(shè)備數(shù)值指標(biāo)進行采集。利用多種通信協(xié)議如modbus、SNMP傳輸數(shù)據(jù)。我們使用apache的commons-pool2對所有連接進行池化管理，并使用任務(wù)管理（Quartz）調(diào)度不同設(shè)備的采集過程。使用Flume（分布式數(shù)據(jù)傳輸框架），將數(shù)據(jù)統(tǒng)一發(fā)送到調(diào)度平臺。同時，我們發(fā)起兩個數(shù)據(jù)流傳輸，其一是做數(shù)據(jù)的異步持久化存儲。另一個是發(fā)布到kafka中，作為其他業(yè)務(wù)功能訂閱的實時數(shù)據(jù)。我們從時間、空間、設(shè)備維度進行能耗分析，使用時間序列的機器學(xué)習(xí)技術(shù)統(tǒng)計學(xué)習(xí)、傳統(tǒng)機器學(xué)習(xí)、前饋神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)及其變種（包括LSTM、GRU）等方法進行能耗預(yù)測。同時，我們使用JEXL3構(gòu)建規(guī)則引擎進行配置公式的計算。其中重點計算公式如下：PUE=實時總設(shè)備能耗/IT設(shè)備能耗；EUE=累計總設(shè)備能耗/累計IT設(shè)備能耗；CLF=制冷設(shè)備耗電/IT設(shè)備能耗；PLF=供配電系統(tǒng)耗電/IT設(shè)備能耗。

基于物理的數(shù)字孿生模型能夠通過協(xié)同動力與環(huán)境系統(tǒng)、配電系統(tǒng)、仿真氣流組織和冷源系統(tǒng)，對電氣設(shè)備、空調(diào)設(shè)備、服務(wù)器及網(wǎng)絡(luò)設(shè)備的能耗進行動態(tài)分析。該模型提供多維度的數(shù)據(jù)展示功能，包括時間維度（年、季、月、日）和空間維度（數(shù)據(jù)中心、單樓層、單機房、子系統(tǒng)、服務(wù)器和服務(wù)器組合及設(shè)備維度），清晰展示數(shù)據(jù)中心能耗分布，實時展示各設(shè)備及子系統(tǒng)能耗使用情況。此外，該模型還能夠建立AI模型，對能效管理相關(guān)數(shù)據(jù)進行自我學(xué)習(xí)，并確定其最佳的設(shè)定值。同時，該模型還能夠提供節(jié)能建議，為PUE的調(diào)優(yōu)提供決策支持。能耗預(yù)警功能提供能耗指標(biāo)閾值管理，對用能超限進行告警，提醒對告警區(qū)域及時干預(yù)。此外，該模型還提供多種功能能耗報表，為數(shù)據(jù)中心精細(xì)化用能管理提供了堅實的基礎(chǔ)。作為節(jié)能低碳技術(shù)的研發(fā)的典型應(yīng)用，該模型推動數(shù)據(jù)中心“綠色集約”的可持續(xù)性發(fā)展。

四、容量管理

容量管理包括電力、空間、網(wǎng)絡(luò)、磁盤等多個方面的全局分析、分層分析、數(shù)據(jù)統(tǒng)計、設(shè)備上架推薦和變更跟蹤等功能。它的目標(biāo)是確保數(shù)據(jù)中心的基礎(chǔ)設(shè)施容量資源能夠高效、經(jīng)濟地應(yīng)用，在不斷演進的數(shù)據(jù)中心業(yè)務(wù)和容量資源進行優(yōu)化和調(diào)整。同時，通過實時容量數(shù)據(jù)、歷史容量數(shù)據(jù)和容量閾值等進行規(guī)劃和預(yù)測容量未來資源，進一步提高基礎(chǔ)設(shè)施資源的使用率，減少容量超載對業(yè)務(wù)的影響，降低容量成本。數(shù)據(jù)中心的整體容量信息包括空間、電力、制冷、承重和網(wǎng)絡(luò)等五個維度。容量管理系統(tǒng)以電力、制冷量和空間容量為基礎(chǔ)，實現(xiàn)對機房進行整體管理和資源規(guī)劃。通過對數(shù)據(jù)中心機房進行容量管理，可以全面展示機房的整體容量利用情況和剩余率，提升數(shù)據(jù)中心機房用戶的管理水平和資源利用率。

系統(tǒng)通過設(shè)置模塊，為操作人員提供數(shù)據(jù)中心容量可視化與規(guī)劃管理工具。運維人員可以配置規(guī)劃的機房資源的基本參數(shù)（電力、冷量、U位）。電力容量通過采集讀取配電柜、UPS和PDU電力信息，實時計算出相應(yīng)的負(fù)載率及剩余可帶載能力，并生成相應(yīng)的容量報表及歷史趨勢圖。當(dāng)需要加入設(shè)備時，系統(tǒng)可根據(jù)機房的電力容量剩余量判斷當(dāng)前增加的設(shè)備是否超過剩余量，進行閾值告警。制冷容量通過讀取采集配電柜、精密空調(diào)、列間空調(diào)等的電力信息，實時計算出相應(yīng)的負(fù)載率及剩余可帶載能力，并生成相應(yīng)的容量報表及歷史趨勢圖。空間容量對接CMDB系統(tǒng)獲取每個機房的機柜數(shù)量以及每臺機柜的U空間使用情況，實時計算出相應(yīng)的負(fù)載率及剩余U空間，并生成相應(yīng)的容量報表及歷史趨勢圖。承重和網(wǎng)絡(luò)通過動態(tài)采集工具獲取容量的實時數(shù)據(jù)，對獲取的實時數(shù)據(jù)進行加工配置，可以得到數(shù)據(jù)中心運維人員關(guān)心的容量指標(biāo)，分析變化所帶來的影響，從而做出合理的決策及規(guī)劃，確保物理設(shè)施符合當(dāng)前及將來的需求。同時，系統(tǒng)利用數(shù)據(jù)孿生技術(shù)，基于當(dāng)前數(shù)據(jù)中心的實際機柜占用情況，進行模擬操作。在不影響真實環(huán)境數(shù)據(jù)的條件下，可以進行設(shè)備的添加、刪除、遷移，以便更好地進行容量規(guī)劃和管理。

五、結(jié)束語

智能管理系統(tǒng)的設(shè)計為數(shù)字孿生技術(shù)在數(shù)據(jù)中心的應(yīng)用和實踐開拓了思路。通過數(shù)字孿生系統(tǒng)中數(shù)據(jù)的分析和聚合，仿真業(yè)務(wù)模型不斷深化，實現(xiàn)了靈活的容量管理、能耗管理和預(yù)測分析等。這進一步提升了數(shù)據(jù)中心的能效比和使用密度，提高了設(shè)備使用效率，降低了運營成本，實現(xiàn)了數(shù)據(jù)中心穩(wěn)定運行和降低成本的總體目標(biāo)，符合數(shù)據(jù)中心綠色節(jié)能發(fā)展趨勢。同時，該系統(tǒng)緊密契合國家“碳達峰”和“碳中和”的重大戰(zhàn)略決策，滿足了數(shù)據(jù)中心降低成本和提高效率的切實需求。該研究已經(jīng)在上港集團的數(shù)據(jù)中心投入使用，發(fā)揮了重要的作用，為數(shù)據(jù)中心的數(shù)智化建設(shè)和精細(xì)化運營管理提供了行之有效的解決方案。

作者單位：王偉 李東 上海海勃物流軟件有限公司

參" 考" 文" 獻

[1]Ma Haizhou，Ding Aiping. Method for evaluation on energy consumption of cloud computing data center based on deep reinforcement learning[J]. Electric Power Systems Research，2022，208.

[2]Information Technology - Data Centers; New Findings from Lulea University of Technology in the Area of Data Centers Described （Capacity Management of Hyperscale Data Centers Using Predictive Modelling）[J]. Computer Weekly News，2019.

[3]石云鵬.“雙碳”背景下數(shù)據(jù)中心能耗現(xiàn)狀與節(jié)能技術(shù)研究[J].中國新通信，2022，24（08）：119-121.

[4]楊頤，劉漫賢，葉范亭，等. 基于數(shù)字孿生的數(shù)據(jù)中心機房動環(huán)管理系統(tǒng)[J]. 電工技術(shù)，2021（20）：35-37.

[5]劉虹，馮汀，阮前，等.基于數(shù)字孿生與AI仿真技術(shù)的數(shù)據(jù)中心能耗優(yōu)化研究與實踐[J].長江信息通信，2022，35（09）：203-205.

[6]張?zhí)戾Ш? 數(shù)字孿生綜述[C]//中國自動化學(xué)會專家咨詢工作委員會，中國計算機系統(tǒng)仿真應(yīng)用工作委員會，中國儀器儀表學(xué)會產(chǎn)品信息委員會，北京國信融合信息技術(shù)研究院.2019中國系統(tǒng)仿真與虛擬現(xiàn)實技術(shù)高層論壇論文集.[出版者不詳]，2019：77-82.