數(shù)據(jù)中心AI節(jié)能技術研究及應用

蔡 榮，吳昕燁，徐 遲，金立標，曹 燦

（1.中國聯(lián)通無錫分公司，江蘇 無錫 214142；2.中國聯(lián)通江蘇省分公司，江蘇 南京 210029）

0 引 言

數(shù)據(jù)中心的主要能耗系統(tǒng)為IT系統(tǒng)與暖通系統(tǒng)，IT設備節(jié)能技術主要用于新建數(shù)據(jù)中心。對于既有數(shù)據(jù)中心，其節(jié)能重點主要是暖通系統(tǒng)節(jié)能改造與運行控制優(yōu)化。暖通系統(tǒng)作為數(shù)據(jù)中心的重要組成部分之一，既要達到安全、節(jié)能、高效運行的狀態(tài)，同時也要具有高可靠性、高可控性[1]。基于此，對數(shù)據(jù)中心暖通系統(tǒng)進行控制與高效監(jiān)管是保障數(shù)據(jù)中心安全運行和高效節(jié)能減排的重要方式。

目前，Google、阿里、華為等云服務商都有將人工智能（Artificial Intelligence，AI）算法在水冷設備端運用的典型例子，但主要集中在一些技術基礎較好、歷史數(shù)據(jù)較多以及數(shù)據(jù)處理維度較完整的互聯(lián)網(wǎng)數(shù)據(jù)中心（Internet Date Center，IDC）中。數(shù)據(jù)中心的暖通制冷功率一般由水冷式機組功率、末梢精密空調(diào)功率、冷卻/冷凍水泵功率以及冷卻塔功耗4部分構成[2]。末端車間的精密空調(diào)功率約為整體冷卻功率的30%，控制策略也和風冷機房基本相似。由于水冷式機組設計復雜、運行參數(shù)繁多，各組成部分的效率也受多種參數(shù)的制約，因此將通過收集水冷式機組的各種運行參數(shù)和歷史數(shù)據(jù)進行建模，擬合水冷式機組的總功率，從而找出各技術參數(shù)和總功率之間的關聯(lián)。擬合建成后，采用隨機游走、遺傳算法等策略，在確保最大輸出制冷量達到末端機房負荷的條件下，維持水冷式機組良好的運行狀況。

1 華東云數(shù)據(jù)中心現(xiàn)狀

中國聯(lián)通華東云數(shù)據(jù)中心為自有自建，園區(qū)占地面積100 000 m2，總體規(guī)劃包含4棟IDC機房樓及配套動力中心。整個園區(qū)分3期逐步實施，現(xiàn)已建成投產(chǎn)一期。一期項目占地17 031 m2，包含一棟4層IDC機房及配套動力中心。

數(shù)據(jù)中心對環(huán)境溫度和濕度的要求較高，需要建設高效制冷系統(tǒng)對IT設備進行散熱。同時為保障IT設備穩(wěn)定運行，往往依賴空調(diào)、冷水機等設備來降溫，這是數(shù)據(jù)中心制冷系統(tǒng)能耗較高的主要原因[3]。數(shù)據(jù)中心制冷系統(tǒng)包括空調(diào)壓縮機、冷卻水系統(tǒng)、冷凍水系統(tǒng)以及冷卻塔等，能耗占比約40%。影響制冷系統(tǒng)能耗的因素有各類設備的發(fā)熱、建筑圍護設備傳熱、太陽輻射熱、系統(tǒng)能效比、氣流組織以及空調(diào)運行時間等，可以概括為設備因素與環(huán)境因素。數(shù)據(jù)中心節(jié)能改造通常以提高制冷系統(tǒng)效率和降低冷量損耗為主，制冷系統(tǒng)能效提升對于數(shù)據(jù)中心節(jié)能意義重大。華東某IDC機房熱力圖如圖1所示。

圖1 華東某IDC機房熱力圖

現(xiàn)冷機模式水溫設置為12 ℃，回水溫度為17.7 ℃，機組電流比81%。設計水溫為7 ℃，板式換熱器（以下簡稱板換）模式時水溫會更高。目前，負載只開一套系統(tǒng)，基本已經(jīng)滿負荷運行，后面負載上升需要再開一套。根據(jù)室外溫度人為切換板換，切換板換的條件是濕球溫度低于10 ℃，而切換冷機的條件是機房高溫告警。機房是冷通道封閉，冷通道溫度控制在27 ℃以內(nèi)，回風溫度高的地方達到34 ℃。此外，全年自然冷源使用時間為兩個半月[4]。

目前，IDC機房的節(jié)能切入點設備大多為制冷裝置，一般依據(jù)人工經(jīng)驗和暖通常識來優(yōu)化機房環(huán)境溫度和氣流組織。冷卻泵、冷卻塔、冷凍泵的電量無法分開采集，系統(tǒng)冷卻水側(cè)水利不平衡情況較為嚴重，無AI系統(tǒng)自動控制，機組切換時需要人為調(diào)整冷卻水水利平衡。空調(diào)回風反映了機艙內(nèi)電器的總體發(fā)熱狀況，但機械的工作負荷在動態(tài)變化，氣流組織也在不斷改變，很難人為預測。

2 基于AI技術的節(jié)能方案

2.1 方案原理

基于AI和大數(shù)據(jù)分析的智能化節(jié)能管理系統(tǒng)的研發(fā)重心在IDC核心數(shù)據(jù)分析層面，通過對數(shù)據(jù)的綜合分析，即可獲取節(jié)能決策中所需要的調(diào)節(jié)依據(jù)。數(shù)據(jù)采集資源主要包括自動環(huán)控系統(tǒng)信息、自動儀表使用信息、水冷式發(fā)電機組控制系統(tǒng)信息等。水冷式發(fā)電機組的信息包含水冷式電動機的執(zhí)行技術參數(shù)（冷凝器進出水溫度、蒸餾器進出水溫度、冷凍供水電壓、主機電壓等）、泵的執(zhí)行技術參數(shù)（運轉(zhuǎn)次數(shù)、流量等）、冷卻水塔的執(zhí)行技術參數(shù)（運轉(zhuǎn)次數(shù)、流量等）與其他技術參數(shù)（如室外溫濕度、IT總負荷等）。風冷機組的主要數(shù)據(jù)包含IT產(chǎn)品耗電量、室內(nèi)空調(diào)耗電量、機房室內(nèi)外濕度、機房尺寸、機房地面架空高度、機柜數(shù)機房列頭柜功耗、機柜總送風速度、機柜進風口濕度、機柜出風速度、機柜出通風濕度、區(qū)域中央空調(diào)出通風濕度、區(qū)域中央空調(diào)回風口濕度以及中央空調(diào)發(fā)電機組的總功率等[5]。

AI算法將持續(xù)采集冷機、水泵、冷卻塔等冷站主要部件的溫度、流量、壓力、功率等基礎參數(shù)，通過實時算法計算識別冷機啟停、水泵變頻、輸送系數(shù)以及冷站能效等冷站基礎運行情況數(shù)據(jù)，并與自控系統(tǒng)上傳數(shù)據(jù)進行清洗比對。在累計一定基礎數(shù)據(jù)后，建立冷站各設備運行特征模型，通過智能匹配最優(yōu)運行策略下發(fā)自控系統(tǒng)，根據(jù)自控系統(tǒng)回傳數(shù)據(jù)進行實時數(shù)據(jù)迭代計算，動態(tài)監(jiān)測與評估冷站運行情況，診斷冷站運行問題，優(yōu)化下發(fā)策略，以提高冷站整體運行效率。

智能AI控制系統(tǒng)可以對各網(wǎng)絡系統(tǒng)的啟、停、工作或失效狀態(tài)等進行自動檢測、管理調(diào)度。與此同時，控制器還可以對各網(wǎng)絡系統(tǒng)和監(jiān)控點的配置、工作方法、歷史數(shù)據(jù)曲線等進行顯示。各系統(tǒng)運行不良時，操作系統(tǒng)會產(chǎn)生非正常或故障狀態(tài)的語音和圖像報警信號。管理系統(tǒng)所有工作參量、信息均以圖片方式表示，同時以圖表、曲線等方式打印記錄[6]。

控制系統(tǒng)必須具備擴充功能，未來擴充功能及系統(tǒng)時只需加裝一個可獨立編程軟硬件整合控制器即可。信息系統(tǒng)中的設施需要根據(jù)特性要求的變化需求進行適當調(diào)整，通過與綜合系統(tǒng)的融合，為其使用提供必要的機電設備運行基礎。場內(nèi)控制器應能安全可靠、獨立工作，各場內(nèi)控制器之間能進行點對點通信，當場內(nèi)某一控制器故障時不會干擾控制系統(tǒng)中其他部分的工作。

將控制值班室的網(wǎng)絡主機、網(wǎng)絡控制臺和現(xiàn)場控制器結合組成集散管理系統(tǒng)，通過設置在控制裝置周圍的現(xiàn)場傳感器對各裝置進行自動控制，使各控制區(qū)域的參數(shù)符合建筑物設計要求、故障告警指示以及建筑物節(jié)能的設定。由現(xiàn)場控制臺經(jīng)通信端口與網(wǎng)絡系統(tǒng)控制器和監(jiān)控值班室中的網(wǎng)絡系統(tǒng)管理工作站通信后，控制系統(tǒng)工程管理站。系統(tǒng)工作站通過各地區(qū)的設備工作狀態(tài)信息對現(xiàn)場裝置參數(shù)實施自動/手動調(diào)節(jié)和監(jiān)視管理，進而提供對受控裝置狀況的運動態(tài)勢分析與報告。

對于系統(tǒng)工作站的控制用戶界面，需要具有人員密碼信息管理、樹形構造、日期信息管理、趨勢圖表信息管理、告警信息管理、群組信息管理、控件實時展示、控件信息管理以及控件記憶體加載等控制功能。控制系統(tǒng)具有在線編程控制功能，現(xiàn)場控制器應用軟件可以在系統(tǒng)工作站編輯并輸入信息，設置正確后即可運行。

2.2 冷凍站AI節(jié)能

AI節(jié)能方案采用典型的大數(shù)據(jù)平臺架構，支持主流的兼容接口協(xié)議，例如RS485、Modbus、控制器域網(wǎng)（Controller Area Network，CAN)以及傳輸控制協(xié)議 /網(wǎng)際協(xié)議（Transmission Control Protocol/ Internet Protocol，TCP/IP），同時支持從第三方平臺獲取源數(shù)據(jù)。基礎運行數(shù)據(jù)是實現(xiàn)大數(shù)據(jù)+機器學習機房節(jié)能的前提和必要條件，通過傳感器、數(shù)據(jù)網(wǎng)關與自控系統(tǒng)采集暖通系統(tǒng)運行動態(tài)數(shù)據(jù)，建立運行數(shù)據(jù)庫，如圖2所示。

圖2 運行數(shù)據(jù)庫

采用連續(xù)數(shù)據(jù)采集終端，建立云平臺數(shù)據(jù)庫，實現(xiàn)高并發(fā)數(shù)據(jù)采集與存儲。使用基于Python的物理模型、經(jīng)驗模型與數(shù)據(jù)挖掘算法，動態(tài)計算冷站運行情況。采用機器學習算法和降維手段生成數(shù)據(jù)特征量，提取并建立冷站運行模式。根據(jù)馬爾可夫決策理論,采用Q-Learning的強化學習方法，選擇最優(yōu)運行策略。通過串口、TCP/IP等接口下發(fā)控制策略，實現(xiàn)閉環(huán)控制。此外，提供圖形可視化展示界面，直觀理解運行狀態(tài)，優(yōu)化人機交互過程。數(shù)據(jù)處理模型如圖3所示。

圖3 數(shù)據(jù)處理模型

通過建立能耗分析平臺，使用不同算法模塊實現(xiàn)對數(shù)據(jù)的儲存、清洗、流轉(zhuǎn)、計算以及分析，完成對冷站各設備的完整閉環(huán)控制。在每個數(shù)據(jù)計算周期，根據(jù)平臺采集得到的各項運行數(shù)據(jù)，結合現(xiàn)場獲取的銘牌參數(shù)與額定數(shù)據(jù)，利用各項功能模塊基于動態(tài)調(diào)參的經(jīng)驗模型與物理模型計算冷站設備基本性能參數(shù)。在累計一定時長的運行數(shù)據(jù)后，通過基于人工智能的層次聚類、密度聚類等算法對數(shù)據(jù)進行回歸、聚類，提取該冷站設備運行的主要特征模型。同時對冷站所在地的室外溫度、濕度等具有明顯周期性的數(shù)據(jù)進行子集劃分，并對子集進行層次聚類，獲取當?shù)赝獠織l件的典型周期特征。

通過AI算法提取冷站內(nèi)部與外部特征，劃分若干種冷站運行典型工況，并利用人工神經(jīng)網(wǎng)絡（Artifical Neural Network，ANN）、隨機森林、貝葉斯網(wǎng)絡等算法建立典型工況下的主要運行參數(shù)預測模型。將分析得到的典型工況與數(shù)據(jù)庫中存儲的專家模型進行比對識別，根據(jù)設備自身條件，利用主要運行參數(shù)預測模型判斷當前各參數(shù)與設定值的合理性，計算優(yōu)化潛力與節(jié)能空間，為自控系統(tǒng)下發(fā)最優(yōu)設定值與控制策略。與此同時，對調(diào)控后的設備運行情況進行實時監(jiān)控，擴充數(shù)據(jù)集維度，提高模型精度，對優(yōu)化控制建議進行動態(tài)迭代，使其更加匹配冷站實際運行工況。

2.3 機房末端空調(diào)AI節(jié)能

持續(xù)采集設備能耗、環(huán)境溫濕度以及空調(diào)運行參數(shù)，將累計至少一個月的數(shù)據(jù)作為歷史數(shù)據(jù)集，根據(jù)實施機房狀況、采樣點分布以及不同空調(diào)型號分別建立制冷影響力模型、空調(diào)能耗與制冷量關聯(lián)模型、機房溫度預測模型和空調(diào)控制邏輯模型，并且評估空調(diào)的制冷量冗余情況，最終通過實時數(shù)據(jù)輸入模型生成最佳的調(diào)配參數(shù)。針對可變頻和不可變頻設備類型，分別下發(fā)策略進行精準控制。采用深度學習、時間序列數(shù)據(jù)挖掘以及偏微分方程求解的推理框架，基于單指令多數(shù)據(jù)流（Single Instruction Multiple Data，SIMD）機器學習算法實現(xiàn)并行化加速。采用流式數(shù)據(jù)處理引擎，實現(xiàn)對實時數(shù)據(jù)的高并發(fā)數(shù)據(jù)采集及存儲。此外，提供K8s容器化運行環(huán)境，支持動態(tài)部署以及彈性擴縮容。末端AI節(jié)能架構如圖4所示。

圖4 末端AI節(jié)能架構

機房空調(diào)AI節(jié)能是一個動態(tài)循環(huán)過程，每個循環(huán)周期包括的主要步驟如下文所述。

（1）數(shù)據(jù)采集。通過智能傳感器和網(wǎng)關設備采集相關靜態(tài)和動態(tài)數(shù)據(jù)，包括環(huán)境溫濕度、設備能耗和空調(diào)運行工況，結合機房和傳感器物理分布情況構建靜態(tài)點位數(shù)據(jù)和動態(tài)信號量的關聯(lián)數(shù)據(jù)集。

（2）分析建模。基于歷史數(shù)據(jù)集建立制冷影響力模型、空調(diào)能耗與制冷量關聯(lián)模型、機房溫度預測模型、空調(diào)控制邏輯模型以及空調(diào)制冷量冗余度模型，根據(jù)實時數(shù)據(jù)集推理和驗證模型的準確度。

（3）數(shù)據(jù)分析。采集空調(diào)運行情況下機房的環(huán)境溫度變化，通過數(shù)據(jù)分析評估當前機房環(huán)境溫度是否偏低或偏高，生成控制策略。

（4）設備控制。通過人工操作或程序下發(fā)自動調(diào)整末端空調(diào)運行參數(shù)，使其達到合理制冷量輸出時能耗最低的狀態(tài)，實現(xiàn)空調(diào)的運行省電。

3 暖通系統(tǒng)整體AI節(jié)能優(yōu)化控制

通過大數(shù)據(jù)和AI技術分析機房歷史溫度數(shù)據(jù)、電量數(shù)據(jù)、空調(diào)運行數(shù)據(jù)，建立機房熱交換模型。熱交換模型逐級傳參，典型的層級包括末端風機→表冷器→水閥→分集水器→冷凍/冷機水泵→冷卻水泵/塔。除此之外，考慮外部氣象和IT負荷因素，通過對全部機房內(nèi)冷量需求的精準預測來調(diào)整冷站的最優(yōu)輸出，同時仿真推理得到制冷設備的最低功耗運行狀態(tài)。精確匹配冷量需求曲線如圖5所示。

圖5 精確匹配冷量需求曲線

通過對室內(nèi)溫場進行分析來確定最佳的供冷需求，具體是采集每個機房內(nèi)的溫度、機柜和末端空調(diào)耗電以及精密空調(diào)的運行數(shù)據(jù)等，建立機房熱量預測模型、區(qū)域溫度影響力模型等，使區(qū)域溫差最小，滿足每臺末端對冷量的需求。室內(nèi)調(diào)節(jié)不僅需要考慮平衡本機房內(nèi)部的需求，同時還要結合全局策略滿足整個機樓的需求。

利用AI節(jié)能系統(tǒng)采集末端和冷熱源設備的運行數(shù)據(jù)，以滿足所有機房冷量需求為前提進行后續(xù)的模型推導，推理冷熱源設備運行的最佳參數(shù)。AI節(jié)能系統(tǒng)需要實時分析全局、全量數(shù)據(jù)，對設備穩(wěn)定性和可靠性有較高的要求。全量數(shù)據(jù)不僅包含通過群控系統(tǒng)和末端空調(diào)分散采集到的靜態(tài)、性能數(shù)據(jù)，而且還依賴于大量由室內(nèi)優(yōu)化算法建模產(chǎn)生的結果數(shù)據(jù)和中間數(shù)據(jù)。除此之外，調(diào)節(jié)策略同樣需要考慮全局能耗最低，理想狀態(tài)下能夠?qū)崿F(xiàn)冷熱源和末端空調(diào)能耗的雙降。冷熱源和末端工況聯(lián)合建模如圖6所示。

圖6 冷熱源和末端工況聯(lián)合建模

華東云數(shù)據(jù)中心夏季日用電量約99 000 kW·h，冬季約92 000 kW·h，AI系統(tǒng)上線后可節(jié)電約12%。

4 結 論

通過收集IDC機房信息和AI建模，利用深度學習的控制方法將分析結論下發(fā)到機房的管理系統(tǒng)中，實現(xiàn)數(shù)據(jù)中心節(jié)能高效運轉(zhuǎn)。將AI算法運用于IDC機房節(jié)電方面，能夠使機房的節(jié)電方式變得更加智能化、精細化，節(jié)電效益更加顯著。