基于改進(jìn)子任務(wù)門控網(wǎng)絡(luò)的非侵入居民負(fù)荷分解

郭艷霞，徐正一，琚 赟

（華北電力大學(xué)，北京 102200）

0 引言

非侵入式負(fù)荷監(jiān)測技術(shù)（non-intrusive load monitoring，NILM）指通過在用戶進(jìn)戶總線處設(shè)置傳感器，獲取家用電器的聚合信息，然后計算得到目標(biāo)電器的負(fù)荷電量以及負(fù)荷模式，有利于用戶合理規(guī)劃資源，節(jié)約用電，同時幫助電力公司規(guī)劃電源建設(shè)，優(yōu)化能源結(jié)構(gòu)［1—3］。

NILM最早的方法是基于組合優(yōu)化的解聚技術(shù)，采用諸如進(jìn)化算法、線性和非線性整數(shù)規(guī)劃等方法進(jìn)行非侵入負(fù)荷分解［4—6］。但是，組合優(yōu)化方法在任一時刻均獨立執(zhí)行功率分解，不考慮負(fù)荷隨時間的變化。這些算法對噪音非常敏感，只對安裝少量電器的用戶分解準(zhǔn)確。因此，此類方法不適合應(yīng)用于現(xiàn)實生活場景。

隨著研究的深入，機器學(xué)習(xí)被證明是解決NILM問題的關(guān)鍵技術(shù)，例如K-近鄰、支持向量機、決策樹等分類器［7—8］。文獻(xiàn)［9］為了減少模型計算學(xué)習(xí)的時間，提高分類性能，提出了一種改進(jìn)的K-最近鄰算法，提高了對于不同類別電器之間的辨別能力。但是，機器學(xué)習(xí)方法適用于淺層網(wǎng)絡(luò)和小批量數(shù)據(jù)，隨著電器設(shè)備數(shù)量和類別的增加，這些方法會遇到可擴展性問題，阻礙模型的性能。

2015 年開始，深度學(xué)習(xí)模型被應(yīng)用到NILM 領(lǐng)域中。文獻(xiàn)［10］首次基于序列到序列和神經(jīng)網(wǎng)絡(luò)來建模，利用滑動窗口解決功率序列數(shù)據(jù)訓(xùn)練問題，嘗試使用遞歸神經(jīng)網(wǎng)絡(luò)［11］和去噪自動編碼器［12］在輸入序列和輸出序列之間進(jìn)行映射，取得了先進(jìn)的成果。此后，很多學(xué)者基于序列到序列進(jìn)行改進(jìn)［13—14］。文獻(xiàn)［15］提出了一種基于互感器雙向編碼器表示和改進(jìn)目標(biāo)函數(shù)的結(jié)構(gòu)，性能優(yōu)于其他序列到序列模型。然而，當(dāng)輸入和輸出序列的長度變長時，應(yīng)用序列到序列學(xué)習(xí)使訓(xùn)練過程難以收斂。針對此難題，文獻(xiàn)［16］提出了序列到點模型，在輸入序列和輸出序列中點之間進(jìn)行映射，解決了輸出信號的每個元素被預(yù)測多次，從而平滑邊緣的問題。在此基礎(chǔ)上，眾多研究進(jìn)行了網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化［17—19］。文獻(xiàn)［20］利用時域卷積網(wǎng)絡(luò)訓(xùn)練負(fù)荷分解模型，并用激活函數(shù)Gelu 代替?zhèn)鹘y(tǒng)的激活函數(shù)Relu，有效提高了分解精度。但是，序列到點方法的每個正向過程只產(chǎn)生一個輸出信號，因此在推斷期間引入了太多的計算量。文獻(xiàn)［21］權(quán)衡了序列到序列和序列到點兩種方法的利弊，提出序列到子序列的方法。此外，目前非侵入負(fù)荷分解模型均只利用負(fù)荷數(shù)據(jù)的時間序列信息，將NILM問題定義為回歸任務(wù)。文獻(xiàn)［22］為了將時間序列功率信息和開∕關(guān)狀態(tài)信息進(jìn)行結(jié)合，基于多任務(wù)學(xué)習(xí)的思想，提出了子任務(wù)門控網(wǎng)絡(luò)（subtask gated networks，SGN），同時進(jìn)行回歸任務(wù)和分類任務(wù)，有效提高分解效率。但是這項研究中的回歸和分類網(wǎng)絡(luò)均基于序列到序列方法，處理長時間序列數(shù)據(jù)時模型收斂困難。

針對以上問題，文中提出了基于序列到子序列和SGN的非侵入負(fù)荷分解模型，并嘗試在SGN的兩個分支網(wǎng)絡(luò)中添加空間注意力和通道注意力模塊。本文主要研究內(nèi)容如下:

（1）采用序列到子序列方法構(gòu)建網(wǎng)絡(luò)模型，實現(xiàn)電源主序列到目標(biāo)電器子序列中間較短部分的映射，減小模型收斂的困難度和推理周期的計算量。

（2）基于多任務(wù)學(xué)習(xí)的思想，構(gòu)建回歸子網(wǎng)絡(luò)和分類子網(wǎng)絡(luò)，利用目標(biāo)電器開∕關(guān)狀態(tài)分類任務(wù)降低功率分解回歸任務(wù)的誤差，提高功率分解精度。

（3）在回歸子網(wǎng)絡(luò)和分類子網(wǎng)絡(luò)中添加通道注意力機制和空間注意力機制，混合注意力機制考慮到卷積層輸出對各通道的依賴性，選擇性地增強信息量最大的特征，減少特征學(xué)習(xí)過程中其他電器的噪聲干擾。

1 非侵入負(fù)荷分解模型

1.1 非侵入負(fù)荷分解概念

非侵入負(fù)荷分解指在家庭電力入口處安裝傳感裝置采集總負(fù)荷數(shù)據(jù)，然后進(jìn)行分析，得到各用電設(shè)備的用電量以及用電模式。

文中的分解信號為采集到的功率數(shù)據(jù)。假設(shè)Y(t)為t時刻某一家庭的主電源讀數(shù)，Xi(t)為t時刻設(shè)備i的電源讀數(shù)，則可表示如下

式中:T為采集功率數(shù)據(jù)的時間段；m為家庭中被觀測電器的總個數(shù)；ε為當(dāng)平均值為0、方差為σ2時的高斯噪聲因子，即為家庭中未被觀測到的電器設(shè)備的干擾讀數(shù)。非侵入負(fù)荷分解的任務(wù)則是根據(jù)Y(t)得到Xi(t)。

1.2 序列到子序列方法

1.3 通道注意力與空間注意力

將文獻(xiàn)［23］提出的卷積塊注意模塊應(yīng)用到NILM任務(wù)中，可提高模型的特征表達(dá)能力。若給定的輸入特征圖為F，卷積塊注意模塊首先通過式（3）得到維度為1的通道注意圖Mc，然后通過式（4）得到二維空間注意圖Ms，兩者表示如下

式中:?為兩個特征映射逐元素相乘；F′為通道注意特征圖與輸入特征圖相乘得到的特征映射；F″為經(jīng)過空間注意模塊調(diào)整得到的最終特征映射。

1.3.1 通道注意力

普通的卷積層沒有考慮每個通道之間的依賴程度，每一個卷積層的卷積核可以視為一個特征通道。通道注意力模塊首先同時進(jìn)行最大池化和均值池化，得到平均池特征和最大池特征，然后分別由多層感知器（multi-layer perceptron，MLP）和一個隱藏層組成的共享網(wǎng)絡(luò)計算兩個特征，輸出結(jié)果直接求和，最終使用sigmoid函數(shù)獲得通道注意特征圖Mc∈RC×1×1。結(jié)構(gòu)圖如圖1所示，其過程表達(dá)如下

圖1 通道注意力模塊Fig.1 Channel attention module

式中:σ為sigmoid 函數(shù)；W0、W1為權(quán)重參數(shù)，W0∈RC r×C，W1∈RC×C r；WLP為多層感知器模型函數(shù)；MaxPool為最大池化函數(shù)。

1.3.2 空間注意力

空間注意力關(guān)注“哪里”是重要信息，與通道注意力互補。如公式（6）所示，通道注意模塊和初始特征圖計算得到的F′在通道軸上進(jìn)行平均池和最大池操作，分別得到∈R1×H×W和∈R1×H×W，然后將其連接成一個二維特征圖，輸入到卷積核為7×7 的隱藏層進(jìn)行卷積得到與輸入特征圖維度一致的二維特征映射，最終使用sigmoid函數(shù)獲得空間注意特征圖Ms∈R1×H×W。空間注意力模塊結(jié)構(gòu)圖如圖2所示，其過程表達(dá)如下

圖2 空間注意力模塊Fig.2 Spatial attention module

式中:AvgPool為平均池化函數(shù)。

2 基于改進(jìn)SGN的非侵入負(fù)荷分解模型

2.1 模型整體架構(gòu)

文中將電器開∕關(guān)狀態(tài)作為門控機制，為其添加門控?fù)p失，使得模型可以直接從門控分類子網(wǎng)進(jìn)行學(xué)習(xí)，并且與主回歸任務(wù)結(jié)合共同形成模型的最終輸出，分解模型如圖3所示。

圖3 基于序列到子序列和SGN的整體結(jié)構(gòu)圖Fig.3 Schematic based on sequnce-to-subsequnce and SGN

式中:?為兩個輸出結(jié)果逐元素相乘，不同于文獻(xiàn)［22］的計算方式，文中不再是將回歸網(wǎng)絡(luò)輸出的功率值直接乘以電器開∕關(guān)的概率值，而是乘以0或者1，函數(shù)H直接將小于0.5的概率值轉(zhuǎn)換為0，反之，轉(zhuǎn)換為1。

在整個模型架構(gòu)中，我們分別利用以下?lián)p失函數(shù)進(jìn)行優(yōu)化

2.2 子網(wǎng)絡(luò)架構(gòu)

結(jié)合通道注意力機制和空間注意力機制的子網(wǎng)絡(luò)架構(gòu)如圖4 所示。首先通過5 層基本卷積學(xué)習(xí)特征；然后經(jīng)過通道注意力和空間注意力模塊細(xì)化特征；最后全連接層實現(xiàn)線性映射，得到輸出結(jié)果。

圖4 分支網(wǎng)絡(luò)模型Fig.4 Branch network model

3 實驗分析與結(jié)果

3.1 性能指標(biāo)

兩個性能指標(biāo)用于評估提出的模型，分別為平均絕對誤差（mean absolute error，MAE）和均方根誤差（root-mean-square error，RMSE）。根據(jù)1.1 節(jié)的定義，Xt為t時刻設(shè)備的真實讀數(shù)，為t時刻本文模型的預(yù)測輸出讀數(shù)，MAE顯示每個時刻真實值和預(yù)測值的平均差，表示為，RMSE 顯 示每個時刻預(yù)測值與真實值偏差的平方與總觀測時間T比值的平方根，表示為。

3.2 數(shù)據(jù)分析與處理

3.2.1 數(shù)據(jù)集及電器分析

本文使用文獻(xiàn)［24］公布的UK-dale 數(shù)據(jù)集進(jìn)行實驗。數(shù)據(jù)采樣時間周期為2012年11月到2015年1 月，每個家庭的數(shù)據(jù)包括一個主電源功率讀數(shù)和其對應(yīng)的每個電器的單獨功率讀數(shù)。

文獻(xiàn)［25］根據(jù)工作模式將電器分為4類，分別為開∕關(guān)兩狀態(tài)電器、多狀態(tài)電器、連續(xù)變化型電器和持續(xù)工作型電器。開∕關(guān)兩狀態(tài)電器工作模式單一，運行期間功率恒定；多狀態(tài)電器的多種工作模式是相對固定的，每個工作模式每次運行時功率值較穩(wěn)定，而且一種模式切換到另一種模式時，功率的變化過程也較穩(wěn)定。文中主要以這兩種電器類型為研究對象，通過對5個家庭的電器種類進(jìn)行統(tǒng)計，發(fā)現(xiàn)家庭1、2、5均包含5種電器，文中采用家庭1、2進(jìn)行實驗。

3.2.2 數(shù)據(jù)處理

在數(shù)據(jù)采集過程中，由于設(shè)備原因，很多采樣點缺失數(shù)據(jù)，本文利用NILMTK［26—27］工具包中的預(yù)處理方式進(jìn)行了數(shù)據(jù)分割，當(dāng)任意兩個連續(xù)數(shù)據(jù)樣本間的時間間隔大于3 min，則將其刪除。另外，我們對數(shù)據(jù)進(jìn)行了歸一化和標(biāo)準(zhǔn)化處理。

3.3 結(jié)果分析與可視化

文中選取家庭1 中2013 年5—12 月的數(shù)據(jù)和2014年1—8月的數(shù)據(jù)作為訓(xùn)練集，其中20%劃分為驗證集，家庭1 中2014 年8—12 月的數(shù)據(jù)作為測試集，故測試集與訓(xùn)練集相互獨立，無重疊部分。在實驗過程中，聚合功率窗口長度為200，對應(yīng)1 200 s的連續(xù)樣本；目標(biāo)電器窗口長度為32，對應(yīng)192 s的連續(xù)樣本；聚合功率窗口兩側(cè)增加的額外時間序列長度為32，對應(yīng)192 s的連續(xù)樣本。

為了驗證文中序列到子序列模式相較于序列到序列和序列到點收斂速度快、模型推理計算量小的優(yōu)勢，我們首先將SGN 網(wǎng)絡(luò)分別構(gòu)建為以上3 種模式，以洗碗機的訓(xùn)練結(jié)果為例，迭代次數(shù)對比如圖5所示，模型訓(xùn)練結(jié)果如表1所示。

由表1可知，在序列到子序列模式下，參數(shù)量和訓(xùn)練時間兩個指標(biāo)優(yōu)于序列到序列，計算量優(yōu)于序列到點。由圖5可知，序列到點和序列到子序列的第1次和第2次訓(xùn)練大幅度降低了loss值，在第13次訓(xùn)練時達(dá)到了基本穩(wěn)定；但是序列到序列模式在第8次訓(xùn)練才達(dá)到前兩種方法第2次的訓(xùn)練效果，并且最終達(dá)到模型性能穩(wěn)定時，訓(xùn)練次數(shù)為21，由此看出序列到子序列模式改進(jìn)了序列到序列方式模型收斂速度慢的問題，并且大幅減小了序列到點的計算量。

表1 洗碗機3種構(gòu)建模式性能對比Table 1 Comparison of metrics of three construction modes of dishwasher

圖5 不同訓(xùn)練次數(shù)的損失值Fig.5 Loss values of different epochs

為了驗證文中添加的通道注意力和空間注意力的有效性，以冰箱為例，圖6 顯示了訓(xùn)練過程中，模型有∕無注意力模塊的迭代過程中損失值的變化。結(jié)果顯示，兩個注意力模塊對于回歸子網(wǎng)和分類子網(wǎng)的性能提升均有幫助，尤其是很大程度上降低了分類網(wǎng)絡(luò)的損失值，更大程度上發(fā)揮了分類門控子網(wǎng)對于非侵入負(fù)荷分解任務(wù)的修正作用。

圖6 有無注意力模塊的損失值的對比Fig.6 Comparison of loss value with and without attention module

為了驗證模型的分解性能，我們在相同的實驗環(huán)境下，將提出的模型與其他模型進(jìn)行對比，結(jié)果如表2 所示。結(jié)果顯示，文獻(xiàn)［22］提出的SGN 模型相較于DAE和序列到點模型，在運行時間長的電器上表現(xiàn)出優(yōu)勢，但是在水壺和微波爐這種運行時間短的電器上性能反而降低，這是因為這兩種電器運行時功率變化快，SGN 模型難以學(xué)習(xí)到特征。相較于SGN模型，文中的模型在大部分電器上的性能表現(xiàn)優(yōu)異，水壺和微波爐的效果最為明顯，水壺的平均絕對誤差降低了87%，均方根誤差降低了67%，微波爐的平均絕對誤差降低了62%，均方根誤差基本持平，說明文中添加的混合注意力機制改進(jìn)了短時間運行電器信息難以提取的問題并且增強了長時間運行電器的特征提取能力，減少了噪聲的影響。相較于文獻(xiàn)［28］提出的模型，本文模型在開∕關(guān)狀態(tài)電器上分解效果具有優(yōu)勢，在多狀態(tài)長時間運行的電器上分解精度略差，說明本文模型在提取多狀態(tài)變化特征時具有困難，但是文獻(xiàn)［28］提出的多頭概率稀疏自注意機制擴展了模型集中于不同位置的能力，能夠更好地擬合多種特征。

表2 模型分解結(jié)果對比Table 2 Comparison of model disaggregation results

圖7 給出了5 種電器局部分解效果對比實驗結(jié)果，由圖7可知文中的模型有效提高了5種電器的分解精度。對于小功率電器冰箱而言，文中模型幾乎擬合了真實分解值，但是對比模型存在較大波動；對于水壺和微波爐這兩種運行時間短、功率變化為瞬時狀態(tài)的電器，文中模型可以精準(zhǔn)地捕獲到特征變化，但是SGN模型很難學(xué)習(xí)到突變的特征，分解值幾乎為一條平滑的直線，文獻(xiàn)［28］提出的模型分解精度基本與本文持平，但是在功率突變時，分解值與真實值差距較大；對于運行時間長的大功率電器，文中提出的模型在電器開啟時功率分解精度略勝于SGN模型，分解值更加接近于真實值，功率變化情況捕獲更加準(zhǔn)確，但是與文獻(xiàn)［28］相比，本文模型在多狀態(tài)功率峰值分解精度不佳，與真實值有一定差距。

圖7 電器分解效果對比Fig.7 Comparison of decomposition effects of electrical appliances

4 結(jié)束語

本文提出了基于序列到子序列和SGN 的非侵入負(fù)荷分解模型，以序列到子序列的模式構(gòu)建網(wǎng)絡(luò)，解決了序列到序列中模型收斂困難以及序列到點計算量大的問題，在兩者之間進(jìn)行了平衡；且將負(fù)荷分解任務(wù)同時定義為回歸任務(wù)和分類任務(wù)，構(gòu)建了多任務(wù)框架，在每個子任務(wù)網(wǎng)絡(luò)中添加了通道注意力機制和空間注意力機制，有效提高了模型提取特征的能力。實驗結(jié)果表明，本文提出的模型不僅減小了模型收斂的困難度和推理周期的計算量，而且減小了平均絕對誤差和均方根誤差，提高了分解精度，未來可以進(jìn)一步調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，增強網(wǎng)絡(luò)的泛化性，并將網(wǎng)絡(luò)部署到實際場景中，提高其實用性。D