一種基于自注意力機制的CNN-BiLSTM非侵入式負荷分解方法研究

朱瑞琪 陸佳敏 陸佳艷 李梓滔

摘 要：作為智能電網發展的分支，非侵入式負荷監測技術在促進用戶用電行為信息細粒化、提高電能資源利用效率、推動智能電力可持續發展等方面起著重要作用。為提高用電設備特征提取的有效性以及負荷分解的精確度，提出了一種基于自注意力機制的CNN-BiLSTM非侵入式負荷分解方法。首先，采集用電設備端智能電表的總負荷功率，對原始數據進行歸一化處理，缺失值填充后劃分為訓練集與測試集。其次，對卷積神經網絡（CNN）與雙向長短期記憶網絡（BiLSTM）的混合模型進行訓練與優化，同時引入自注意力機制，決定輸出權重值，從而提高網絡預測精度和表征能力。最后，將測試集中的總功率送入網絡進行負荷分解，結果表明，在研究神經網絡后提出的模型能充分挖掘數據的空間與時序特征，同時對重要特征進行有效提取，提高了負荷分解的能力。

關鍵詞：非侵入式負荷分解；自注意力機制；卷積神經網絡；雙向長短期記憶網絡

中圖分類號：TM714? ? 文獻標志碼：A? ? 文章編號：1671-0797（2023）16-0077-05

DOI：10.19514/j.cnki.cn32-1628/tm.2023.16.020

0? ? 引言

非侵入式負荷監測，又稱“負荷分解”，是一種電力系統監測技術，通過數學模型從總負荷的電氣量中分解出特定用電設備的電氣量，用以預測各電氣設備的具體耗能情況及用電規律。根據技術的不同實現方式，負荷監測分為兩大類：侵入式負荷監測（NILM）和非侵入式負荷監測與分解（ILM）。在ILM中，傳感器需要安裝到每一個待測設備上，這種方式雖然可以獲得各設備的精確耗能信息，但其高昂的投資和維護成本限制了其應用范圍。相比之下，NILM將智能電表裝設在主電路處，通過監測主電路的功率變化，識別出各設備的負荷信息，具有成本投入低、實用性強的特點。除了實現供給側能源的優化配置與管理，NILM還提高了用戶節能環保的意識，并為用戶與電網之間的良性互動提供了基礎支撐。

非侵入式負荷監測技術由20世紀90年代發展至今，已有多位專業學者開展了大量研究。文獻[1]提出了一種利用功率簽名與狀態機技術的負載分解方法，可以準確記錄設備的開關信息，并輔以機器學習對設備進行識別，但在使用前須做好負荷信息收集工作。文獻[2]利用隱馬爾可夫模型將復雜的功率信息劃分為幾種有限的運行狀態，實現電器狀態自動辨識與分類，但該模型在捕捉長期依賴關系方面有所欠缺。文獻[3]根據奇次諧波電流幅值為負載特性的敏感指標，使用其作為負荷的辨識特征，利用綜合k-NN的簡捷性與核Fisher判別的非線性分類能力，針對相近設備進行有效識別，但同時需要考慮電網中可能產生的干擾和噪聲對分解精度的影響。文獻[4]采用遺傳算法與基于近鄰傳播聚類的方法來構建負荷特征數據集，用穩態功率來區分不同負荷，但需要占用大量的計算資源。

如今，越來越多的學者開始投入這一領域的研究，這得益于深度學習的廣泛應用和不斷取得的研究進展。神經網絡因其優異的特征學習能力與良好的泛化特性，逐漸被應用于負荷監測與分解中，成效斐然。文獻[5]提出基于注意力時序網絡實現對于信息重要級別的劃分。文獻[6]通過搭建編碼器和解碼器的seq2seq框架并引入殘差網絡，降低了模型訓練難度。文獻[7]利用一維卷積神經網絡與注意力機制相結合，相對提高了負荷分解的精確度。文獻[8]采用基于批量規范化和爬山算法的卷積神經網絡，減少了過擬合現象的發生，同時提高了網絡的泛化能力。

為了完善CNN模型，本文提出了一種混合深度學習模型，將CNN與BiLSTM相結合，以充分挖掘用戶數據的時空特征，并通過自注意力機制優化網絡，提高重要特征的注意力權重并抑制非重要特征，確保有用數據的優先級。該模型不僅能有效減少訓練時間，同時在非侵入式負荷分解精度方面也有顯著提高。另外，該模型在降低參數數量、提高穩定性的同時，還能充分發揮深度學習的優勢。

1? ? 網絡介紹

1.1? ? CNN

如圖1所示，CNN（卷積神經網絡）[9]屬于典型的前饋神經網絡，具有從空間維度逐層提取數據特征的能力，是深度學習的代表之一。CNN一般由輸入層、卷積層、池化層、全連接層、輸出層組成。其中卷積層根據卷積核滑動對一個范圍內的數據提取特征值；池化層通過對卷積層輸出的特征映射進行降維操作，來保留重要特征，剔除冗余特征，其中最大值池化（Max Pooling）是常用的池化方法。多層卷積層與池化層交疊處理后，將輸出數據通過全連接層進行整合和歸一化處理，輸出層采用softmax函數進行多負荷識別。

1.2? ? LSTM

LSTM（長短期記憶網絡）[10]是RNN的一種特殊類型，擁有三種類型的門結構，分別為遺忘門、輸入門和輸出門。

遺忘門通過讀取上一個時刻的短期記憶ht-1和當前時刻輸入xt，做Sigmoid激活函數的非線性映射，然后輸出過去記憶衡量因子ft，如式（1）所示：

ft=σ（Wf·[ht-1，xt]+bf）? ? （1）

輸入門用于更新信息記憶。it控制對當前時刻信息的記憶程度，通過tach激活函數縮放當前時刻單元記憶值ct，再加上遺忘門與記憶門調節上一個時刻的舊信息ct，便可獲得更新后的信息，如式（2）（3）（4）所示：

it=σ（Wi·[ht-1，xt]+bi） （2）

（3）

（4）

輸出門用于確定下一個隱藏層的值。ot控制當前時刻單元狀態輸出給隱藏層的狀態ht并作為LSTM的輸出，如式（5）（6）所示：

ot=σ（Wo·[ht-1，xt]+bo） （5）

ht=ot×tanh（ct）? ?（6）

式中：Wf、Wi、Wc、Wo分別為遺忘門、輸入門、tach層、輸出門的權重向量；bf、bi、bc、bo分別為其對應的偏移量；σ為Sigmoid激活函數；ht為輸出的負荷狀態特征。

LSTM能在時序資料中捕捉到長期的依賴關系，有效地解決了RNN在反向傳播中出現的梯度彌散問題。LSTM的基本結構如圖2所示。

1.3? ? BiLSTM

BiLSTM由兩個并行的正向和反向標準LSTM通道構成，能兼顧前后時刻的信息對當前狀態的影響，相比于LSTM提高了特征提取效率與性能，如式（7）（8）（9）所示：

（7）

（8）

（9）

的權重向量；bt為該時刻隱藏狀態的偏移量。

BiLSTM的基本結構如圖3所示。

1.4? ? 自注意力機制

注意力機制通過對上級網絡所輸出的狀態信息序列進行權重分配，自動篩選重要信息，舍棄干擾信息，以全面掌握輸入內容的核心。而自注意力機制（self-attention mechanism）是注意力機制的一種變體，能夠捕捉同一序列中兩個不同位置信息的相互作用，更加注重數據本身的特征和數據之間的內部交互，減少了對外部信息的依賴程度，提高了信息的利用率。自注意力機制的基本結構如圖4所示。

自注意力機制包括縮放點積注意力（SDA）機制和多頭注意力（MHA）機制兩部分，本文重點關注SDA部分。SDA是對輸入序列X做線性映射，過程如式（10）（11）（12）所示，得到矩陣Q、K和V：

Q=WqX? （10）

K=WkX? （11）

V=WvX （12）

通過Q和K矩陣的點積除以 進行相似度計算，以防止計算所得值過大，再通過softmax函數進行歸一化處理，最后通過加權求和法得到最終數據，如式（13）所示：

（13）

式中：Q，K，V為同一輸入矩陣做線性映射所得到的矩陣；Dk為穩定訓練梯度的矩陣；softmax（·）為具有歸一化功能的激活函數。

1.5? ? 基于自注意力機制的CNN-BiLSTM網絡結構

本文提出的基于自注意力機制的CNN-BiLSTM網絡結構整體由兩層CNN網絡、一層BiLSTM、兩層全連接層構成，如圖5所示。

首先，將包含L個時刻信息的總有功功率時間序列輸入兩層卷積層，用于提取更深層次的負荷特征，得到特征矩陣B×CH1×W1與B×CH2×W2。其中W1=W2=L為兩卷積層輸出矩陣的特征長度，B表示模型的批處理個數，CH1、CH2表示各層網絡中卷積核個數（特征通道）。第一層卷積層的卷積核個數為16，尺寸為3；第二層卷積層的卷積核個數為32，尺寸為3；兩層激活函數均選擇ReLU。池化層和Flatten層分別用于數據降維和扁平化處理。

其次，CNN網絡把提取到的特征輸入神經元個數為32的BiLSTM網絡。由于BiLSTM網絡所產生的隱藏層狀態ht= t是由相反的兩個隱藏層狀態拼接而成，所以其維度相對于普通LSTM網絡增加一倍，輸出神經元個數翻倍為2HD，最終BiLSTM輸出特征矩陣維度為B×W2×2HD。

為使模型的最終輸出為設備概率分布向量，利用兩層全連接層分別將W2轉變為需分解的設備個數n，2HD轉變為所有分解設備的最大狀態個數kmax，并通過兩個全連接層計算注意力機制得分對網絡進行優化，使用softmax函數計算各隱層狀態權重，與對應隱層狀態按權相加得到動態時序向量ct，如式（14）所示：

（14）

式中：αi表示各隱層權重；hi表示BiLSTM層所得的第i個ht。

2? ? 基于自注意力機制的CNN-BiLSTM的非侵入式負荷分解

2.1? ? 分解原理

有功功率是電器耗電特性中最常用的指標之一，可直接從智能電表中準確讀出，本文以有功功率作為研究對象，以用電設備的開啟和關閉狀態作為標簽，其中開啟狀態為1，關閉狀態為0。在只有N個簡單投切二狀態且投入時沒有功率畸變的負載與智能電表相連的情況下，t時刻總表功率可表示為公式（15）：

P（t）= t）Pm+e（t）? ?（15）

式中：am（t）為負荷m在t時刻的狀態，數值為1或0分別代表負荷的開啟或關閉；Pm為負荷m所消耗的有功功率；e（t）為噪聲干擾或誤差。

2.2? ? 負荷分解流程

如圖6所示，具體負荷分解流程如下：

1）數據輸入提取：數據在輸入神經網絡之前需要進行重疊滑動窗口處理，即將原始數據劃分為恒等長度的向量序列，再進行缺失值填充。

2）數據歸一化處理：將數據以8：2比例劃分為訓練集與測試集，分別用于網絡模型的訓練與預測結果輸出。在數據輸入模型訓練前，將輸入與輸出數據進行歸一化處理，即通過線性變化將取值固定于[-1，1]的區間內，如公式（16）所示：

（16）

式中：xi為功率的真實值；xmin、xmax分別為有功功率的最小值和最大值；xi′為歸一化的結果。

3）模型訓練：將訓練集的數據輸入模型進行訓練，由CNN層在空間維度上進行負荷特征提取，BiLSTM層聯系上下層向量，在時間維度上提取特征。

4）結果輸出：Attention層分配權重值，突出重要特征，得到負荷預測輸出。

3? ? 分解結果

圖7為真實的總有功功率運行曲線。圖8為采用本文模型得到的各用電設備功率分解結果，其中實線為設備真實功率，虛線為本文模型的分解結果。由圖可得，所得分解結果與設備真實運行曲線基本擬合，本文模型具有良好的分解性能。

4? ? 結束語

本文所述模型通過構建CNN逐層在空間維度上抽象數據特征，進一步引入BiLSTM提取其時間特性，并對重要特征進行更大的權重分配，從而提高了負荷分解的準確率。由實驗分解結果可得，該模型具有良好的負荷分解性能。

[參考文獻]

[1] ZHU Y，LEE S G，CHUNG K S，et al.Investigation of Auxiliary Poles Design Criteria on Reduction of End Effect of Detent Force for PMLSM[J].IEEE Transactions on Magnetics，2009，45（6）：2863-2866.

[2] JI T Y，LIU L，WANG T S，et al.Non-Intrusive Load Monitoring Using Additive Factorial Approximate Maximum a Posteriori Based on Iterative Fuzzy c-Means[J].IEEE Transactions on Smart Grid，2019， 10（6）：6667-6677.

[3] 宋旭帆，周明，涂京，等.基于k-NN結合核Fisher判別的非侵入式負荷監測方法[J].電力系統自動化，2018，42（6）：73-80.

[4] 徐青山，婁藕蝶，鄭愛霞，等.基于近鄰傳播聚類和遺傳優化的非侵入式負荷分解方法[J].電工技術學報，2018，33（16）：3868-3878.

[5] 沙建峰，席樂，馮亞杰，等.基于注意力時序網絡的非侵入式負荷分解[J].南京信息工程大學學報（自然科學版），2023，15（4）：448-459.

[6] 何健明，李夢詩，張祿亮，等.基于Attention和殘差網絡的非侵入式負荷監測[J/OL].電測與儀表：1-9.（2021-08-06）[2023-04-20].https：//kns.cnki.net/kcms2/article/abstract？v=3uoqIhG8C45S0n9fL2suRadTyEVl2-pW9UrhTDCdPD64iLFH7p67cuPgOSGeusRoUT9AI2ej7O8j8 -LOJCqArNsGNSYiTLE1dL&uniplatform=NZKPT.

[7] 蒙亮，于超，張希翔，等.基于一維卷積神經網絡和自注意力機制的非侵入式負荷分解[J].電力大數據，2020，23（10）：1-8.

[8] CHEN H，WANG Y H，FAN C H.A Convolutional Autoencoder-based Approach with Batch Normalization for Energy Disaggregation[J].Journal of Supercompu-ting，2021，77（3）：2961-2978.

[9] LECUN Y，BOTTOU L，BENGIO Y，et al.Gradient-based Learning Applied to Document Recognition[J]. Proceedings of the IEEE，1998，86（11）：2278-2324.

[10] HOCHREITER S，SCHMIDHUBER J.Long Short-term Memory[J].Neural Computation，1997，9（8）：1735-1780.

收稿日期：2023-04-26

作者簡介：朱瑞琪（2002—），女，安徽界首人，研究方向：非侵入式負荷監測。