基于生成對抗網(wǎng)絡(luò)的Q學(xué)習(xí)能耗預(yù)測方法

王悅 黃澤天 鄒鋒

摘要：針對大型公共建筑之中實際能耗數(shù)據(jù)缺乏、能耗預(yù)測精度低的問題，提出了一種方法——基于生成對抗網(wǎng)絡(luò)的Q學(xué)習(xí)能耗預(yù)測算法（Reinforcement Learning Algorithm Based on Generative Adversarial Networks，GAN_RL）。該算法首先將能耗數(shù)據(jù)轉(zhuǎn)化成時間標記的數(shù)據(jù)，同時利用生成對抗網(wǎng)絡(luò)生成部分建筑能耗數(shù)據(jù)，并將其加入原始能耗數(shù)據(jù)之中，將前幾個時辰的能耗數(shù)據(jù)通過環(huán)境狀態(tài)進行建模，結(jié)合Q學(xué)習(xí)方法預(yù)測后續(xù)能耗。該算法采用結(jié)合生成對抗網(wǎng)絡(luò)與Q學(xué)習(xí)的方法解決了能耗數(shù)據(jù)不足的問題。實驗表明，該算法能有效地預(yù)測建筑能耗，預(yù)測精度高。

關(guān)鍵詞：建筑能耗; 生成對抗網(wǎng)絡(luò);Q學(xué)習(xí);能耗預(yù)測

中圖分類號：TP181? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2020）23-0222-03

Abstract： Aiming at the problem of lack of actual energy consumption data and low accuracy of energy consumption prediction in large public buildings， a method based on Q-learning algorithm based on generative adversarial networks （GAN_RL） is proposed. Firstly， the energy consumption data is transformed into time tagged data. At the same time， part of the building energy consumption data is generated by the generation of countermeasures network and added to the original energy consumption data. The energy consumption data of the first few hours are modeled through the environmental state， and the subsequent energy consumption is predicted by combining the Q-learning method. In this algorithm， the problem of energy consumption data shortage is solved by combining the generation of countermeasure network and Q-learning. Experimental results show that the algorithm can effectively predict building energy consumption with high accuracy.

Key words： building energy; generative adversarial networks;Q-learning; energy consumption prediction

1 緒論

在我國經(jīng)濟突飛猛進的今天，大型公共建筑的總數(shù)量呈逐年上升的態(tài)勢，同時大型公共建筑的耗電量也是普通居民住宅的幾十倍[1]。隨著社會發(fā)展速度的加快，大型公共建筑耗能高的難題日漸凸顯，關(guān)于大型的公共建筑能耗變化和發(fā)展特性進行剖析，能夠為城市的建筑節(jié)能任務(wù)給予一定的根據(jù)[4]。因而在大型建筑的用電能耗進行預(yù)測是必要的。

關(guān)于大型公共建筑一類能耗預(yù)測的問題， 2018年，Lai等人提出了一種能耗預(yù)測算法，該算法使用人工神經(jīng)網(wǎng)絡(luò)用歷史能耗數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，達到預(yù)測能耗的目的[3]。但是該算法存在收斂速度慢、效率比較低的問題。因此，劉倩穎等人于2018年提出了基于kmeans聚類與BP神經(jīng)網(wǎng)絡(luò)的建筑能耗預(yù)測模型，此算法在BP神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，應(yīng)用kmeans聚類算法以在它之上聚類，顯著提高了預(yù)測精度[1]。但是，目前人工神經(jīng)網(wǎng)絡(luò)算法的改進基本來說是從改良神經(jīng)網(wǎng)絡(luò)的方面入手的，或者提高歷史能耗數(shù)據(jù)的利用率，沒有考慮到從數(shù)據(jù)樣本大小的角度出發(fā)去改善預(yù)測精度。生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）主要是生成器模型及判別器模型構(gòu)成，其暗含的根本思想是從訓(xùn)練數(shù)據(jù)庫中得到足量的經(jīng)驗樣本，并學(xué)習(xí)這些經(jīng)驗樣本的概率分布，以處理數(shù)據(jù)樣本缺乏的難題[4]。

本文針對大型公共建筑能耗預(yù)測精度不高的問題，提出一種算法，該算法將生成對抗網(wǎng)絡(luò)與Q學(xué)習(xí)相結(jié)合作為一種建筑能耗預(yù)測算法（Reinforcement Learning Algorithm Based on Generative Adversarial Networks，GAN_RL）。該算法通過采集建筑能耗形成真實能耗樣本池，而后應(yīng)用GAN構(gòu)成GAN產(chǎn)生的數(shù)據(jù)樣本池作為新生成的能耗樣本。兩者共同為Q學(xué)習(xí)預(yù)測模型提供訓(xùn)練樣本。這個算法將能耗數(shù)據(jù)轉(zhuǎn)化成時間標記的數(shù)據(jù)，經(jīng)過前幾個時辰的能耗對環(huán)境狀態(tài)進行建模，結(jié)合Q學(xué)習(xí)方法預(yù)測后續(xù)能耗。該算法有效解決了因能耗樣本不足而導(dǎo)致的大型建筑能耗預(yù)測準確率較低的問題，為解決能耗預(yù)測問題提供了新思路。試驗結(jié)果表明，該能耗預(yù)測方法預(yù)測的精度較高。

2 背景知識

建筑能耗的預(yù)測與分析是確定合理節(jié)能策略的根底，是節(jié)約能耗降低耗能工作的研究熱點之一， 目前很多專家學(xué)者于建筑節(jié)能問題進行了深入的研究[5]，從研究對象的角度大抵可以被分兩類：第一類主要從建筑結(jié)構(gòu)方面著手，在建筑最初規(guī)劃設(shè)計階段使用建筑能耗模擬軟件對建筑能耗進行預(yù)測[1]。在建筑構(gòu)建階段進行軟件仿真對于建筑能耗剖析具備相當價值的側(cè)面作用，通過軟件模擬可以細致研究建筑物本身不可變因素對能耗的影響。雖然在建筑設(shè)計初期通過軟件模擬可以獲得建筑物能耗預(yù)測，但是由于不同人生活習(xí)慣的差異以及之后對建筑物使用方式的不同導(dǎo)致模擬軟件所預(yù)測的能耗與實際能耗有很大差異。建筑能耗數(shù)據(jù)包含了在使用建筑物過程中能耗的所有相關(guān)信息，所以通過研究建筑能耗數(shù)據(jù)可以了解建筑能耗產(chǎn)生規(guī)律，并基于此選擇合適的建筑物能耗使用方案和節(jié)能措施;第二類研究主要集中在對建筑能耗數(shù)據(jù)的分析處理上，經(jīng)過線性回歸算法尋找能源數(shù)據(jù)與影響變量因素的權(quán)值聯(lián)系，然后對建筑能耗數(shù)據(jù)做進一步的分處理以達到分析預(yù)測能耗的目的[3]。但此類研究的對象一般是整個地區(qū)或整個城市的能耗數(shù)據(jù)，并且時間段一般以月/單位耗電量和年/單位耗電量為單位，關(guān)于逐時耗電量簡直未曾提及，不可以充分的達到短期的能耗預(yù)測的目的標準。

目前，建筑能耗預(yù)測方法大致可分為以下四種：工程簡化算法、統(tǒng)計學(xué)方法、并行計算方法和人工智能方法。工程簡化算法不需要煩瑣的輸入，通過月平均溫度來預(yù)測校園、大型商業(yè)建筑或住宅的能耗;統(tǒng)計學(xué)方法以多元回歸方法為例，使用回歸方法關(guān)聯(lián)建筑能耗與建筑參數(shù)快速預(yù)測能耗;并行計算方法在保證原有計算精度的同時增加計算資源以達到快速預(yù)測能耗的目的;而人工智能方法以人工神經(jīng)網(wǎng)絡(luò)模型為例，不僅能夠改變各個變量之間的非線性關(guān)系，在能耗預(yù)測方面也比傳統(tǒng)方法具有更高的精度。

3 基于GAN的Q學(xué)習(xí)能耗預(yù)測算法

基于Q學(xué)習(xí)的能耗預(yù)測算法需要通過計算值函數(shù)來獲得最優(yōu)策略，但是在訓(xùn)練過程中，由于agent缺少建筑物能耗樣本，所以存在學(xué)習(xí)速度慢、預(yù)測準確率低的情況。因此，在面對Q學(xué)習(xí)預(yù)測算法效率不高的問題，引入生成對抗網(wǎng)絡(luò)，采用一種結(jié)合生成對抗網(wǎng)絡(luò)技術(shù)的以Q學(xué)習(xí)為根底研討措施的能耗預(yù)測算法。在面對能耗數(shù)據(jù)不足的問題上生成符合已有數(shù)據(jù)特征分布的“仿真”數(shù)據(jù)解決數(shù)據(jù)不足的問題，從而提高研究中所要預(yù)測的數(shù)據(jù)的精度。

3.1 基于Q學(xué)習(xí)的建筑能耗預(yù)測方法

在Q學(xué)習(xí)任務(wù)中，Q學(xué)習(xí)算法能夠在不理解馬爾科夫動態(tài)的特點的情況下找到馬爾科夫決策進程最優(yōu)的策略，Q學(xué)習(xí)不會為馬爾科夫決策進程其動態(tài)特性去建立模型，通常直接估量每個狀態(tài)下每個舉措的Q值，而后經(jīng)過抉擇每個狀態(tài)下最高Q值所對應(yīng)的舉措來構(gòu)成策略[2]。面對能耗數(shù)據(jù)預(yù)測的問題接下來利用馬爾可夫決策過程來進行建模：

因為收集到的能耗數(shù)據(jù)具備時間序列的特性，因此預(yù)測模型樣本也應(yīng)該具有時間序列結(jié)構(gòu)，這是一種時間序列結(jié)構(gòu)。因此，預(yù)測模型樣本包含以下幾個部分：

基于上述預(yù)測模型的樣本，使用Q學(xué)習(xí)算法進行Q學(xué)習(xí)， 如式（1）所示：

其中，α 表示學(xué)習(xí)率，[γ]表示的是折扣因子，動作[a∈A]， [A]則是被稱作為動作空間，狀態(tài)[s，s'∈S]，[S]則是被稱作為狀態(tài)空間，[r]為agent執(zhí)行從當前狀態(tài)到下一狀態(tài)的操作所獲得的獎勵值，[Q（s，a）]為動作值函數(shù)。在每個時辰，依據(jù)上一時辰狀態(tài)[s]抉擇動作a，并觀察獎賞[r]和下一時刻狀態(tài)[s']，結(jié)合公式更新Q值。

3.2 基于GAN的建筑能耗樣本生成方法

針對由于訓(xùn)練過程中缺少建筑物能耗樣本導(dǎo)致能耗預(yù)測算法效率低的問題，在預(yù)測模型中引入之前所提到的生成對抗網(wǎng)絡(luò)。此時建筑物能耗真實樣本集如式（2）所示：

[s]表示上一狀態(tài)建筑物能耗，[s']表示下一狀態(tài)建筑物能耗。由于后續(xù)狀態(tài)[s']基于上一時刻狀態(tài)[s]。因此，[s]與[s']之間存在一定的聯(lián)系，并通過其聯(lián)系基于深層神經(jīng)網(wǎng)絡(luò)（Rectified Relationship Unit，R-RU）的關(guān)系校正單元的構(gòu)建，其中作為輸入用[s]表示，作為輸出用[s']表示，關(guān)系修正單元用于訓(xùn)練建筑能耗真實樣本集[s]和[s']之間所存在的內(nèi)在關(guān)系。

主要是用于指導(dǎo)生成對抗網(wǎng)絡(luò)GAN生成更加近似真實能耗數(shù)據(jù)的樣本。

與建筑物能耗真實樣本集一致，利用GAN所生成的建筑物能耗數(shù)據(jù)如式（3）所示：

[sz]代表生成器模型所生成前一狀態(tài)的建筑能耗值，[sz']代表生成器模型所生成的后續(xù)狀態(tài)的建筑能耗值。生成器所生成的建筑物能耗數(shù)據(jù)與原先所測得的真實能耗樣本集共同訓(xùn)練agent，以獲得最優(yōu)策略。

考慮利用建筑物能耗真實樣本集訓(xùn)練GAN，GAN能夠?qū)W習(xí)到屬于最初收集的真實樣本地概率分布，然后GAN以此生成建筑物能耗樣本，同時，結(jié)合生成的能耗樣本中的上一狀態(tài)建筑物能耗[sz]，將[sz]輸入R-RU，R-RU的輸出作為構(gòu)建的下一狀態(tài)建筑物能耗[sz'']，目標是使得所生成的下一狀態(tài)建筑物能耗[sz']與構(gòu)建的下一狀態(tài)建筑物能耗[sz'']他們之間有很高的相似性。[sz']和[sz'']之間的相似程度采用相對熵（[KL]散度）來描述，如式（4）所示：

[P]表示生成的上一狀態(tài)建筑物能耗[sz']，[Q]表示構(gòu)建的下一狀態(tài)建筑物能耗[sz'']。因此，值函數(shù)[W（D，G）]如式（5）所示：[]

其中k是權(quán)重參數(shù)。同時，通過對GAN模型的正則化，提高了數(shù)據(jù)生成的質(zhì)量。的一個輔助方法。另外，當GAN參數(shù)不斷改變時， [sz]和[sz']也會依據(jù)真實能耗數(shù)據(jù)集不斷地改變更新，最終[W（D，G）]會趨向一個全局最小值。

3.3 GAN_RL算法

針對大型公共建筑能耗預(yù)測精度低、實際能耗數(shù)據(jù)缺乏的問題，提出了一種方法——基于生成對抗網(wǎng)絡(luò)的Q學(xué)習(xí)能耗預(yù)測算法（Reinforcement Learning Algorithm Based on Generative Adversarial Networks，GAN_RL）。該算法在Q學(xué)習(xí)的基礎(chǔ)上引入了生成對抗網(wǎng)絡(luò)，具體流程圖如圖1所示。

其中，首先收集真實能耗數(shù)據(jù)，在對能耗數(shù)據(jù)進行簡單的預(yù)處理之后導(dǎo)入到GAN之中生成的數(shù)據(jù)一并加入建筑能耗數(shù)據(jù)之中，以改善數(shù)據(jù)不足的問題，同時在訓(xùn)練GAN的過程中加入R-Ru算法。

根據(jù)算法流程圖可以大致了解能耗預(yù)測模型中數(shù)據(jù)的處理過程，以此為基礎(chǔ)建立GAN_RL算法，如算法1所示。

算法1? ?GAN_RL算法

GAN_RL算法其中訓(xùn)練生成對抗網(wǎng)絡(luò)GAN和關(guān)系修正單元R-RU的同時，根據(jù)收集真實數(shù)據(jù)，R-RU也會不斷改進GAN，提高GAN生成數(shù)據(jù)的可靠度。在訓(xùn)練agent的同時，GAN也會生成新的樣本加入[D2]中，最后結(jié)合[D1]和[D2]共同選擇樣本數(shù)據(jù)，提供給控制器agent訓(xùn)練獎賞值函數(shù)，以達到最大化累計獎賞，來實現(xiàn)更加精準的建筑能耗預(yù)測效果。

4 實驗結(jié)果分析

如圖2，表示的是原始建筑能耗數(shù)據(jù)量，坐標軸橫軸表示時間，坐標軸縱軸表示相對應(yīng)的建筑能耗。上圖圖3表示的是經(jīng)過能耗預(yù)測擬合曲線與真實能耗數(shù)據(jù)的對比圖。由于要避免偶然性，預(yù)測算法需要獨立執(zhí)行50次，摒棄具有異常值的數(shù)據(jù)曲線，求各個節(jié)點數(shù)據(jù)的均值。在試驗最初，獲取能耗數(shù)據(jù)的同時，將其排列為時間序列，如圖2，之后將這些數(shù)據(jù)作為算法的輸入值即原始數(shù)據(jù)，算法的輸出值與實際值的對比如圖3，根據(jù)圖3可知該算法通過結(jié)合GAN與Q學(xué)習(xí)，將其應(yīng)用到建筑能耗預(yù)測中，具有很好的預(yù)測效果，預(yù)測模型的預(yù)測精確度也較高。

5 結(jié)束語

本文主要針對大型公共建筑中的能耗預(yù)測任務(wù)準確率不高的問題，提出一種算法，該算法將生成對抗網(wǎng)絡(luò)GAN結(jié)合Q學(xué)習(xí)作為一種能耗預(yù)測算法應(yīng)用到建筑領(lǐng)域中。該算法首先采集能耗數(shù)據(jù)構(gòu)成真實能耗樣本池，而后通過GAN產(chǎn)生數(shù)據(jù)作為新的能耗數(shù)據(jù)。新數(shù)據(jù)與原始數(shù)據(jù)兩者合并一起作為Q學(xué)習(xí)預(yù)測模型的訓(xùn)練樣本，之后這些數(shù)據(jù)則用于能耗預(yù)測。該算法有效解決了因能耗樣本不足而導(dǎo)致的預(yù)測準確率不太高的問題，為解決能耗預(yù)測問題提供了新思路。根據(jù)實驗結(jié)果可以得出該能耗預(yù)測方法的準確率較高。

參考文獻：

[1] Banihashemi S，Ding G，Wang J.Developing a hybrid model of prediction and classification algorithms for building energy consumption[J].Energy Procedia， 2017，110：371-376.

[2] Watkins C J C H，Dayan P.Q-learning[J].Machine Learning， 1992，8（3/4）：279-292.

[3] 陳建平，鄒鋒，劉全，等.一種基于生成對抗網(wǎng)絡(luò)的強化學(xué)習(xí)算法[J].計算機科學(xué)，2019，46（10）：265-272.

[4] 鄒鋒，田大偉，王悅，等.基于生成對抗網(wǎng)絡(luò)的深度學(xué)習(xí)能耗預(yù)測算法[J].電腦知識與技術(shù)，2019，15（2）：198-200.

[5] 鄒鋒.基于生成對抗網(wǎng)絡(luò)的強化學(xué)習(xí)方法及其在建筑節(jié)能方面的應(yīng)用[D].蘇州：蘇州科技大學(xué)，2019.

【通聯(lián)編輯：唐一東】