人工智能在電力系統中應用的近期研究熱點介紹

朱永利，石鑫，王劉旺

（1．新能源電力系統國家重點實驗室(華北電力大學)，河北省 保定市 071003；2．上海交通大學大數據工程技術研究中心，上海市 閔行區 200240；3．國網浙江省電力有限公司電力科學研究院，浙江省 杭州市 310014）

0 引言

隨著海量數據的積累和計算機硬件計算能力的提升，新一代人工智能發展迅速，呈現出深度、自主學習的新特征。2011年以來，微軟和谷歌的研究人員采用一種稱為“深度學習”的機器學習模型，使得語音識別錯誤率降低了20%~30%，取得了語音識別領域近十多年來最大的進展。2012年，多倫多大學 Hinton教授帶領他的學生在ImageNet競賽中將錯誤率從26%降低到15%，取得了圖像識別領域驚人的結果，采用的也是這種“深度學習”技術。2016年 3月，谷歌旗下DeepMind公司基于“深度學習”和蒙特卡洛樹搜索技術研發的AlphaGo以4：1完勝圍棋職業九段棋手李世石；2017年5月，它又以3：0戰勝中國圍棋名將柯潔。深度學習在工業界取得的巨大成功使得它迅速成為人工智能近期研究熱點[1-5]。

信息化和智能化程度的提升使得電力系統數據累積量越來越大，大量數據中含著豐富的信息維度，而傳統的淺層線性或非線性模型由于表征能力有限，無法充分挖掘數據中蘊含的信息；深度學習則不同，深層的機器學習模型使得它能夠擬合任意復雜的函數，利用大數據來自動學習特征，所學習到的特征往往更能夠刻劃數據內在信息。因此，大數據需要深度學習，新一代人工智能也必是基于大數據的深度學習智能。同時，大數據具有體量大、增長速度快、實時性要求高等特點，大數據環境下的新一代人工智能方法，需要充分考慮計算資源限制、數據計算速率、模型實時更新等問題。

結合本人所在課題組最近幾年的研發和應用情況，本文總結了人工智能近期研究熱點深度學習常用模型和方法，包括深度信念網絡、堆棧自動編碼器、卷積神經網絡、循環神經網絡、深度強化學習和深度混合網絡，重點介紹了各網絡模型的特點、原理及其在電力系統中的應用研究現狀。在此基礎上，進一步分析了大數據背景下新一代智能方法發展趨勢及在應用時需要考慮的問題，并給出了基于分布式機器學習和增量學習的解決方法，希望能為該領域相關研究工作者提供參考。

1 深度學習在電力系統中的應用研究

深度學習是機器學習的一個新分支，近年來在語音識別、目標檢測、文本處理等領域取得了突破性進展[1]，迅速成為工業界和學術界的研究熱點。DL思想最早建立在模擬人腦對聲音、圖像、文本等信號處理的機理之上，以圖像為例，首先檢測邊緣、初始形狀，然后逐步形成更復雜的視覺形狀[2]。DL簡單可以理解為多隱含層的神經網絡，通過學習一種深層非線性網絡結構來實現對任意復雜函數的逼近，表征數據的分布式表示。與傳統機器學習方法相比，DL重點突出網絡的深層結構和特征的自動學習，通常具有5層、10層、甚至上百層，更深的層次使其具有更強地從大量樣本中自動提取數據特征的能力。

多倫多大學 Hinton等人[3]于 2006年提出深度學習的思想，基于深度信念網絡(deep belief network，DBN)設計了逐層無監督貪婪訓練算法，解決了傳統BP算法在訓練深層網絡時梯度消失、易陷入局部最優、必須有監督學習等問題，隨后他們又提出了堆棧自動編碼器(stacked auto-encoder，SAE)[4]深層網絡結構模型。紐約大學 Lecun等人[5]于 1989年提出的卷積神經網絡(convolutional neural network，CNN)最早成功應用于手寫字體的識別，但由于在自然圖片上效果不好而沒有得到重視，直到2012年Hinton等在ImageNet上用更多層的CNN取得圖像識別冠軍。瑞士人工智能實驗室Schmidhuber等人提出的循環神經網絡(recurrent neural network，RNN)經過不斷改進，近年來由于在語音識別[6]、機器翻譯[7]、自動生成[8]等應用中的巨大成功而被廣泛研究。隨著研究的深入和各種實際應用需求的驅動，更加復雜的混合網絡結構模型不斷被提出，如將DL與傳統強化學習結合形成的深度強化學習(deep reinforcement learning，DRL)、將兩種或以上網絡模型相結合的深度混合網絡(deep hybrid network，DHN)。

1.1 深度信念網絡

DBN是最早被提出的深度學習網絡模型，由多個受限玻爾茲曼機(restricted Boltzmann machine，RBM)組成，一個基本的 RBM 包括可視層v和隱含層h，兩層節點均服從玻爾茲曼分布，其網絡結構如圖1所示。當輸入是v=[v1,v2,…,vm]時，可以通過 P(h|v)求得 h=[h1,h2,… ,hn]，然后利用求得的h通過P(?v|h)求得?v，通過調整網絡參數使得?v與v盡可能地相近，當二者誤差足夠小時，便可以認為該 RBM對訓練樣本的似然度足夠高，其本質是Gibbs Sampling的過程。DBN在訓練時采用逐層無監督貪婪訓練，這種訓練方法支持它們擁有更深的網絡結構，使其適用于高維復雜數據的自動特征提取，可以有效避免人工特征提取的繁復和不確定性。實際應用中，DBN通常與其他方法相結合，用于解決分類或預測問題。

圖1 受限玻爾茲曼機網絡結構Fig. 1 RBM network structure

朱永利等[9]在國內較早將 DBN應用于電力系統，率先提出將DBN與Softmax分類器相結合應用于電力變壓器故障診斷，考慮H2、CH4、C2H6、C2H4、C2H2、CO、CO2七種變壓器油中溶解氣體，所構建的故障分類模型可以充分利用工程現場大量無標簽樣本作為模型預訓練數據，有效提高了故障診斷準確率。

此外，上海交通大學代杰杰等[10]綜合考慮變壓器油中溶解氣體濃度、環境溫度和油溫，構建了 DBN預測模型，對變壓器油中溶解氣體濃度進行預測，取得了較高的預測準確率。文獻[11]將 DBN和分位數回歸相結合，利用小波變換后的風速數據，構建了一種新的風速預測模型。

1.2 堆棧自動編碼器

SAE結構與DBN相似，由多個自動編碼器(auto-encoder，AE)堆疊而成，一個基本的AE可視為一個輸出層與輸入層具有相同的神經元個數的 3層神經網絡，其網絡結構如圖 2所示。AE是一種盡可能復現輸入信息的神經網絡，從輸入層到隱含層的變化過程稱為編碼，從隱含層到輸出層的變化過程稱為解碼，將原始信息x輸入網絡，通過調節網絡參數使得變換后的信息?x與x盡可能相似，當二者誤差足夠小時，便認為h為輸入信息的另一種特征表示。SAE通過將多層AE堆疊，采用逐層無監督貪婪訓練，這樣便得到了原始輸入信息的分層特征表示。實際應用中，為了滿足不同領域的任務需求，研究人員通常對SAE進行改進或與其他方法結合，如增加了稀疏性限制的SAE、具有較好魯棒性的降噪SAE、卷積SAE等[12]。

圖2 自動編碼器網絡結構Fig. 2 AE network structure

朱永利等[13]在國內率先將 SAE應用于電力系統，首次提出利用SAE對大量電力變壓器油色譜樣本數據進行自動特征提取，并結合 softmax分類器對所提取特征進行分類，設置了中低溫過熱、高溫過熱、局部放電、低能放電、高能放電、正常6種變壓器狀態類型，綜合分類正確率達到90%以上，高于傳統神經網絡和支持向量機方法。

在此之后，將SAE或其變體應用于電力系統的研究不斷開展，例如，文獻[14]中針對輸變電設備狀態監測數據清洗過程繁瑣、信息易丟失等問題，提出采用堆棧降噪自動編碼器對數據進行清洗，工程實例測試結果驗證了方法的有效性；文獻[15]提出將 SAE用于風機齒輪箱的故障檢測，通過預訓練和調優對網絡模型進行訓練，計算測試數據集的重構誤差作為齒輪箱的狀態檢測量，仿真實驗結果證明了方法的有效性。

1.3 卷積神經網絡

CNN不同于SAE和DBN，它是一種有監督深度學習網絡模型，由輸入層、卷積層、子采樣層、全連接層和輸出層組成，其中卷積層和池化層通常取若干個，且二者交替設置，網絡結構如圖3所示。其中，卷積層由若干卷積單元構成，通過卷積運算進行特征提取，更多的層通常能夠提取更復雜的特征；子采樣層則是對卷積獲取到的高維特征降維，通過取均值或最大值得到新的、維度小的特征；全連接層則是把所有局部特征結合變為全局特征，便于后續計算判別。相比其他神經網絡，CNN的特點在于其每一層特征都由上一層的局部區域通過共享權值的卷積核激勵得到，大大減少了網絡的參數，這使得它特別適合于圖像特征的學習和提取。

圖3 卷積神經網絡結構Fig. 3 CNN network structure

隨著研究的深入，CNN的結構不斷被優化和改進，先后產生了各種大型卷積網絡(AlexNet[16]、VGG[17]、GoogLeNet[18]等)、基于邊緣檢測的R-CNN[19]、Faster R-CNN[20]等。近兩年，CNN應用于電力系統的研究工作不斷涌現。文獻[21]將 CNN與隨機森林方法結合，用于電力設備圖像特征提取和分類，識別準確率高達 90%；文獻[22]將Faster R-CNN用于輸電線路無人機巡檢圖像識別，克服了 R-CNN計算復雜、識別速度慢的缺陷，識別準確率高達 92.7%；文獻[23]將CNN與softmax結合，用于解決輸電線路區內外故障判斷和故障選相問題，數據測試結果證明了方法的準確可靠。

1.4 循環神經網絡

RNN是一類用于處理序列數據的神經網絡，具體表現為網絡會對前面的信息記憶并用于當前輸出的計算中，網絡在設計時隱藏層之間的神經元節點有連接，并且隱藏層的輸入包括輸入層的輸入和其自身上一時刻的輸出，網絡結構示例圖如圖4所示。圖中，xt是t時刻的輸入，st是t時刻隱藏層的狀態，ot是t時刻的輸出，U、V、W為所有層共享權重系數。由于 RNN在訓練時易出現梯度爆炸或消失，導致其在處理處理長序列數據時效果表現較差，Hochreiter等人對RNN進行改進，提出長短期記憶(long short-term memory，LSTM)網絡[24]，近幾年又被 Alex Graves等[25]進行改進，引入Attention機制等。相比于傳統RNN，LSTM主要是增加了門限控制，使得自循環的權重是變化的，因此累積的時間尺度可以動態改變，有效避免了梯度消失或爆炸問題。

圖4 RNN網絡結構示意圖Fig. 4 RNN network structure

近年來，隨著LSTM在語音識別等領域取得巨大成功，再度成為各行各業研究熱點，在電力系統中主要被用于解決預測類問題。例如，文獻[26]中提出將AE與LSTM結合用于光伏發電預測，實驗結果證明了所提方法優于傳統神經網絡和其他物理預測模型；文獻[27]中基于 LSTM模型，綜合考慮風電功率相關程度高的多個變量，構建了風電功率實時預測模型，較傳統方法擁有更高的預測精度。

1.5 深度強化學習

DRL是 DL與增強學習(reinforcement learning，RL)的結合，實現感知到動作的一種端到端學習算法，最早是由DeepMind提出[28]。RL是一種試錯學習算法，更加符合人類學習習慣，其原理如圖5所示。Agent通過與環境反復交互，最終學習到一種較優的策略，以獲得最大回報。相比于傳統RL算法，DRL優勢在于可以處理場景復雜的任務，DL用于自動提取大規模輸入數據的抽象特征，RL則以此特征為依據進行自我激勵，進而優化解決問題的策略。

圖5 增強學習原理圖Fig. 5 RL principle

自 AlphaGo[29]問世，DRL迅速成為研究熱點，目前，中國電科院王繼業等已經開展了基于DRL的電網仿真、調控云平臺研究[30]。廈門大學肖亮等[31]將 DRL應用于微電網電能交易，以便自動實現最優電能交易方案，并申請了相關專利。

1.6 深度混合網絡

DHN是由降噪自動編碼器[32]和高斯伯努利受限玻爾茲曼機[33]堆疊混合而成的神經網絡，如圖6所示。底層使用降噪自動編碼器，可以最小化出表現形式變化之外的其他損失，有效應對噪聲的影響，擁有更優的魯棒性；中間層使用GRBM，使用概率實數值作為輸入，可以更加有效的重構和復現輸入信號中的有用信息，提高模型的分類準確率。相比于SAE和DBN，DHN擁有更優的特征提取能力和抗噪能力。

何子襄等[34]使用圖6所示的深度混合網絡進行了變壓器故障診斷研究，將課題組積累的變壓器油色譜樣本作為輸入向量，變壓器的狀態編碼作為輸出。訓練過程總共分為兩個步驟，首先使用無標簽樣本進行訓練并得到相對較優的初始化參數W和b，有效防止傳統神經網絡易陷入局部最優問題；然后通過少量有標簽樣本進行微調，進一步參數優化，進而提高診斷的準確率。實例表明，與常見的基于BP和SVM等的變壓器故障診斷方法相比，該方法不僅可以充分使用大量的無標簽樣本進行訓練，而且其識別準確率亦有所提升，可以達到91%左右。

圖6 深度混合網絡結構示意圖Fig. 6 DHN Structure

隨著深度學習的發展，各種深度學習混合模型相繼提出。文獻[35]中提出一種基于受限玻爾茲曼機與卷積神經網絡混合模型遷移學習的圖像分類方法，并在Caltech101數據集上進行了測試。實驗結果證明該方法提高了分類準確率。文獻[36]中提出一種將卷積神經網絡和支持向量分類器相結合的模型結構，并在短時交通流中進行了預測。實驗結果表明相比于傳統的預測模型方法，該模型有效提高了預測準確率。

2 大數據智能分析及其在電力系統中的應用研究

隨著電力系統朝著高度信息化和智能化方向的發展，在發電、輸電、變電、配電、用電和調度等各個環節產生了海量的生產、運行、控制、交易、消費等數據。電力系統中的數據已經呈現出了體量大、類型多、變化快和價值密度低的大數據主要特征。隨著電力系統與天然氣、供冷、供暖、交通等能源系統的不斷融合，大能源系統內產生的數據量將呈幾何級數上升[37]。

新一代人工智能主要是大數據基礎上的人工智能，是從傳統的人工知識表達轉向大數據驅動的知識學習技術。然而，大數據具有體量大、增長速度快、類型多等特點，諸多傳統人工智能方法都不能直接使用。大數據環境下的人工智能方法，需要從分布式機器學習和增量學習兩個方面著手解決。

2.1 分布式機器學習

大數據具有體量大的特征，而很多用于分析小數據的傳統人工智能方法是基于內存。由于計算機內存有限，無法同時裝載大量數據，對于機器學習模型的訓練和應用都存在挑戰。而分布式機器學習技術正是迎合了當前的大數據分析的強烈應用需求，通過分布式和并行化計算技術與機器學習技術相融合，來解決當前的大數據機器學習的問題。一方面，仍然需要持續關注機器學習中的方法和算法本身，即尋求新的更優的學習模型和學習方法，以不斷提升分析結果的準確性和魯棒性。與此同時，還要充分考慮數據體量帶來的計算時效性問題。

圖7 模型并行與數據并行Fig. 7 Model parallelism and data parallelism

分布式機器學習在模型訓練階段的并行化可分為模型并行和數據并行兩種方式，如圖1所示。在模型并行方式下，機器學習模型的不同部分由分布式系統中的不同計算單元(CPU或 GPU)負責。在數據并行方式下，不同的計算單元中都有一個完整的模型副本，但它們都僅有不同的一部分數據，最終將所有計算單元的結果通過一定方法進行合并。模型并行需要并行的部分滿足獨立不依賴的條件，而數據并行需要數據具有可分性，較為容易滿足，通常是大多數分布式系統的首選。另一方面，數據并行在實現難度、容錯率和集群利用率方面都優于模型并行。數據并行學習方式的關鍵點在于需要整合不同計算單元的結果，并且在計算單元之間如何同步模型參數。

近年來出現了很多針對包括深度學習在內的人工智能算法進行分布式或并行化改進的成果[38-40]，雖取得了一定的成效，但對于像電力系統等各專業領域的業務人員來說，構建并實現一個高效的分布式學習算法絕非易事。因而，面向大數據機器學習，目前已出現了眾多易于應用的分布式系統及其并行算法庫，例如基于MapReduce并行模型的Mahout[41]、Spark環境下的MLlib[42]、以及支持深度學習的TensorFlow[43]等。這些分布式機器學習系統或平臺都為目前電力系統中的人工智能應用需求提供了基礎的方法或算法，也為將來構建電力系統私有的分布式機器學習平臺提供了技術支撐和參考范式。目前已有借助于上述大數據平臺研究電力系統中的分布式機器學習應用的成果，主要包括電力負荷預測[44-46]、電力設備的故障診斷[47-48]等方面。

針對高壓電力設備的大量局部放電分析問題，王劉旺等[49]利用Hadoop MapReduce編程模型對局部放電信號的基本參數提取、譜圖構造和特征計算以及基于 KNN的放電類型識別三階段進行了高粒度并行化，顯著提高了批量放電信號的處理效率。由于Hadoop MapReduce在迭代過程中需要反復的磁盤操作，在特征構造階段應用復雜性較高的信號處理算法時將耗費過多的運行時間，故改用Spark平臺，顯著提高了運算效率[50]。

2.2 增量學習

大數據機器學習的另一個挑戰來源于大數據產生速度快的特性，在逐漸完善的量測系統下，眾多用于在線監測的傳感器在整體上以極快的速度采集數據，并且在重要場景中往往要求被實時處理。針對如此高速變化的大數據，傳統的批量學習方式已經難以適應。隨著數據的不斷更新，批量學習方式下重新訓練模型對時間和空間的需求也會迅速增長，最終會出現模型更新趕不上數據更新的窘境，增量學習方式為此提供了解決方案。增量學習是指在已建立模型的基礎上，根據新獲得的樣本更新當前模型的參數與結構，使之能夠利用新數據的信息，同時又盡力保持模型的原有信息，使得新模型仍能有效解決歷史問題，而不需要對大量歷史數據進行重新的完整訓練。

隨著智能電網信息化程度的不斷提高，當前電力系統的多個環節都面臨著大規模數據流快速分析的挑戰，如針對大范圍輸變電設備或發電設備的在線監測、大規模智能電表的快速實時信息采集等。這些數據源源不斷產生，其速率和規模均難以預知，往往需要及時處理并反饋結果，呈現出實時性、易失性、突發性、無序性與無限性的流式大數據特性，對面向數據流的人工智能技術提出了需求。目前針對電力系統流式大數據的成果相對較少，大部分集中在簡單的數據處理上[51-52]，針對智能電網流式大數據的機器學習方面的研究還很少見。針對大規模用電信息采集中用電數據流的快速聚類和異常檢測技術展開研究。文獻[53]結合Spark Streaming流式計算平臺，基于用戶用電模式的相似性設計并實現了流式DBSCAN聚類算法，以應對大規模用電數據流的快速異常檢測。

圖8 電力設備在線并行故障診斷拓撲Fig. 8 Online parallel fault diagnosis topology of power equipment

針對大范圍輸變電設備的故障診斷問題，王劉旺[54]提出了一種基于Storm實時處理技術和變量預測模型分類(VPMCD)的在線并行故障診斷方法。為了滿足在線診斷需求，將增量學習機制引入VPMCD中，采用遞推最小二乘法實現了變量預測模型(VPM)的增量更新?？紤]到大規模電力設備的在線故障診斷問題，設計了基于 Storm的流式數據實時處理框架，如圖2所示，通過構建 Storm拓撲組件的監聽機制實現了 VPM 在Storm上的初始化、增量學習與應用分類。在這個實時處理框架中，增量式VPMCD方法可以根據應用場景需求替換成其他更為有效的增量學習方法。

3 結論

隨著信息化和智能化水平的提升，電力系統累積了大量數據，驅動了深度學習為代表的新一代人工智能方法在電力系統中的應用研究。

1）介紹了深度學習基本網絡模型及常見混合模型結構、原理，分析了各網絡模型特點及適用場景，重點總結了其在電力系統中應用研究情況。

2）針對大數據驅動下新一代人工智能方法在電力系統應用中面臨的數據體量大、增長速度快、實時性要求高等問題，結合本人課題組相關工作，充分考慮計算資源限制、數據計算速率、模型實時更新等問題，給出了基于分布式機器學習和增量學習的解決方法。

隨著人工智能理論研究的深入和大數據分析研究的推進，人工智能在電力系統中的應用研究將掀起新的高潮，在研究單位和電力企業的緊密合作的前提下很多研究成果將接近實用化水平，為電力系統的安全、經濟、高自動化和高智能化做出重要貢獻。

[1] LeCun Y，Bengio Y，Hinton G．Deep learning[J]．Nature，2015，521(7553)：436．

[2] Serre T，Kreiman G，Kouh M，et al．A quantitative theory of immediate visual recognition[J]．Progress in Brain Research，2007，165：33-56．

[3] Hinton G E，Osindero S，Teh Y W．A fast learning algorithm for deep belief nets[J]．Neural Computation，2006，18(7)：1527-1554．

[4] Hinton G E，Salakhutdinov R R．Reducing the dimensionality of data with neural networks[J]．Science，2006，313(5786)：504-507．

[5] LeCun Y，Boser B，Denker J S，et al．Backpropagation applied to handwritten zip code recognition[J]．Neural computation，1989，1(4)：541-551．

[6] Graves A，Mohamed A R，Hinton G．Speech recognition with deep recurrent neural networks[C]//IEEE International Conference on Acoustics，Speech and Signal Processing．Vancouver，Canada，2013：6645-6649．

[7] Sutskever I，Vinyals O，Le Q V．Sequence to sequence learning with neural networks[J]．2014(4)：3104-3112．

[8] Graves A. Generating sequences with recurrent neural networks[J]. arXiv preprint arXiv：1308.0850, 2013.

[9] 石鑫，朱永利，薩初日拉，等．基于深度信念網絡的電力變壓器故障分類建模[J]．電力系統保護與控制，2016，44(1)：71-76．

[10] 代杰杰，宋輝，楊祎，等．基于深度信念網絡的變壓器油中溶解氣體濃度預測方法[J]．電網技術，2017，41(8)：2737-2742．

[11] Wang H Z，Wang G B，Li G Q，et al．Deep belief network based deterministic and probabilistic wind speed forecasting approach[J]．Applied Energy，2016，182：80-93．

[12] Goodfellow I，Bengio Y，Courville A，et al．Deep learning[M]．Cambridge：MIT Press，2016：300-320．

[13] 石鑫，朱永利，寧曉光，等．基于深度自編碼網絡的電力變壓器故障診斷[J]．電力自動化設備，2016，36(5)：122-126．

[14] 代杰杰，宋輝，楊祎，等．基于棧式降噪自編碼器的輸變電設備狀態數據清洗方法[J]．電力系統自動化，2017，41(12)：224-230．

[15] 劉輝海，趙星宇，趙洪山，等．基于深度自編碼網絡模型的風電機組齒輪箱故障檢測[J]．電工技術學報，2017，32(17)：156-163．

[16] Krizhevsky A，Sutskever I，Hinton G E．Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. Nevada，USA，2012：1097-1105．

[17] Simonyan K，Zisserman A．Very deep convolutional networks for large-scale image recognition[C]//International conference on learning representations.San Diego，USA，2014．

[18] Szegedy C，Liu W，Jia Y，et al．Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recogintion，Boston，USA，2015．

[19] Girshick R，Donahue J，Darrell T，et al．Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，Columbus，USA，2014：580-587．

[20] Ren S，He K，Girshick R，et al．Faster r-cnn：Towards real-time object detection with region proposal networks[C]//Advances in Neural Information Processing Systems，Montreal，Canada，2015：91-99．

[21] 李軍鋒，王欽若，李敏．結合深度學習和隨機森林的電力設備圖像識別[J]．高電壓技術，2017(11)：3705-3711．

[22] 王萬國，田兵，劉越，等．基于 RCNN的無人機巡檢圖像電力小部件識別研究[J]．地球信息科學學報，2017，19(2)：256-263．

[23] 魏東，龔慶武，來文青，等．基于卷積神經網絡的輸電線路區內外故障判斷及故障選相方法研究[J]．中國電機工程學報，2016，36(S1)：21-28．

[24] Hochreiter S，Schmidhuber J．Long short-term memory[J]．Neural Computation，1997，9(8)：1735-1780．

[25] Graves A，Jaitly N，Mohamed A R．Hybrid speech recognition with deep bidirectional LSTM[C]//Automatic Speech Recognition and Understanding．IEEE，Olomouc，Czech Republic，2014：273-278．

[26] Gensler A，Henze J，Sick B，et al．Deep learning for solar power forecasting—an approach using AutoEncoder and LSTM neural networks[C]//Systems，Man，and Cybernetics (SMC)，2016 IEEE International Conference．on IEEE，Budapest，Magyarország，2016：002858-002865．

[27] 朱喬木，李弘毅，王子琪，等．基于長短期記憶網絡的風電場發電功率超短期預測[J]．電網技術，2017(12)：3797-3802．

[28] Mnih V，Kavukcuoglu K，Silver D，et al．Playing atari with deep reinforcement learning[J]．arXiv preprint arXiv：1312(5602)，2013．

[29] Silver D，Huang A，Maddison C J，et al．Mastering the game of Go with deep neural networks and tree search[J]．Nature，2016，529(7587)：484-489．

[30] 王繼業．人工智能在能源電力領域的探索[R]．北京：中國電科院，2017．

[31] 肖亮，戴燦煌，肖星宇，等．基于深度強化學習的微電網電能交易方法：CN107067190A[P]．2017-08-18．

[32] Vincent P，Larochelle H，Bengio Y，et al．Extracting and composing robust features with denoising autoencoders[C]//International Conference on Machine Learning．ACM，Maryland，USA，2008：1096-1103．

[33] Cho K H，Raiko T，Ilin A．Gaussian-Bernoulli deep Boltzmann machine[C]//International Joint Conference on Neural Networks．IEEE，Beijing，China，2014：1-7．

[34] 何子襄. 深度混合網絡研究及其在變壓器故障診斷中的應用[D]．保定：華北電力大學，2018．

[35] 石祥濱，房雪鍵，張德園，郭忠強．基于深度學習混合模型遷移學習的圖像分類[J]．系統仿真學報，2016，28(1)：167-173，182．

[36] 羅文慧，董寶田，王澤勝．基于CNN-SVR混合深度學習模型的短時交通流預測[J]．交通運輸系統工程與信息，2017，17(5)：68-74．

[37] 趙俊華，董朝陽，文福拴，等．面向能源系統的數據科學：理論、技術與展望[J]．電力系統自動化，2017，41(4)：1-11．

[38] Hutchinson B，Deng L，Yu D．Tensor Deep Stacking Networks[J]．IEEE Transactions on Pattern Analysis &Machine Intelligence，2013，35(8)：1944-1957．

[39] Raina R，Madhavan A，Ng A Y．Large-scale deep unsupervised learning using graphics processors[C]//International Conference on Machine Learning．ACM，California，USA，2009：873-880．

[40] Dean J，Corrado G S，Monga R，et al．Large scale distributed deep networks[C]//International Conference on Neural Information Processing Systems．Curran Associates Inc．2012：1223-1231．

[41] Li M，Andersen D G，Park J W，et al．Scaling distributed machine learning with the parameter server[C]//In Proceedings of the 11th USENIX conference on Operating Systems Design and Implementation(OSDI'14)．USENIX Association，Berkeley，CA，USA，583-598．

[42] Meng X，Bradley J，Yavuz B，et al．MLlib：machine learning in apache spark[J]．Journal of Machine Learning Research，2015，17(1)：1235-1241．

[43] Abadi M，Barham P，Chen J，et al．TensorFlow：a system for large-scale machine learning[C]//In Proceedings of the 12th USENIX conference on Operating Systems Design and Implementation(OSDI'16)．USENIX Association，Berkeley，CA，USA，265-283．

[44] 王保義，趙碩，張少敏．基于云計算和極限學習機的分布式電力負荷預測算法[J]．電網技術，2014，38(2)：526-531．

[45] 王德文，孫志偉．電力用戶側大數據分析與并行負荷預測[J]．中國電機工程學報，2015，35(3)：527-537．

[46] 王保義，王冬陽，張少敏．基于 Spark和 IPPSO_LSSVM的短期分布式電力負荷預測算法[J]．電力自動化設備，2016，36(1)：117-122．

[47] 張少敏，毛冬，王保義．大數據處理技術在風電機組齒輪箱故障診斷與預警中的應用[J]．電力系統自動化，2016，40(14)：129-134．

[48] 王德文，劉曉建．基于MapReduce的電力設備并行故障診斷方法[J]．電力自動化設備，2014，34(10)：116-120．

[49] 王劉旺，朱永利，賈亞飛，等．局部放電大數據的并行PRPD分析與模式識別[J]．中國電機工程學報，2016，36(5)：1236-1244．

[50] 朱永利，王劉旺．并行EEMD算法及其在局部放電信號特征提取中的應用[J/OL]．電工技術學報，http：//kns.cnki.net/kcms/detail/11.2188.TM.20171220.1103.003.html．

[51] 王德文，楊力平．智能電網大數據流式處理方法與狀態監測異常檢測[J]．電力系統自動化，2016，40(14)：122-128．

[52] 屈志堅，王冬．面向智能調度監測的流計算并行滑動窗口技術[J]．電網技術，2016，40(7)：2219-2226．

[53] 王桂蘭，周國亮，趙洪山，等．大規模用電數據流的快速聚類和異常檢測技術[J]．電力系統自動化，2016，40(24)：27-33．

[54] 王劉旺．基于云計算的電力設備監測數據的集中并行處理與診斷[D]．北京：華北電力大學，2017．