基于Meta-Network的變壓器紅外圖像分類方法研究

裴澤林 趙曙光 王建強

摘 要：隨著我國經濟發展，高質量的穩定電網變得愈發重要。在負荷逐漸加重的今天，對變壓器紅外圖像識別已經成為一個研究方向。本文基于小樣本學習方法Meta-Network（即MetaNet），通過微調原理改進VGG19模型，使用GRU替代傳統的LSTM網絡，增強了小樣本情況下的學習效果。其中數據集包含600多張變壓器紅外圖像，初步實現了減少訓練樣本與時間、提升分類器性能的效果。

關鍵詞：圖像識別;小樣本學習;微調原理;Meta-Network;GRU;LSTM

1 緒論

社會經濟不斷發展，巨大的用電壓力下，為了滿足供電需求，各種變電站中的變壓器將長時間處于大負荷乃至超負荷運轉中，極易出現非人為故障，這將對電力系統安全平穩運行產生巨大挑戰。因此，尋找一個可以及時發現故障的方法就顯得尤為重要。

針對這個問題，傳統解決辦法是采用定期人工巡檢的方案，每隔一段時間人工檢查變壓器運行狀態，從20世紀50年代開始，國內企業就開始對電力設備進行定期檢修維護。

20世紀末開始，隨著傳感器技術的不斷發展，電力設備紅外檢測方法開始在我國得到廣泛應用，利用紅外圖像識別技術對電力設備溫度異常的故障進行診斷也逐漸成為行業內研究的新方向。

本文所研究的紅外圖像故障主要針對變壓器溫度異常，這是變壓器最基本，最常見的故障類型。傳統的圖像識別通常采用監督學習方法，基于大量的訓練數據對模型進行訓練，例如k近鄰算法（k-Nearest Neighbors，KNN），決策樹（Decision Trees）等;或者使用無監督學習方法，例如經典的k均值聚類算法。監督學習準確度較高，但是需要大量有標簽的樣本。無監督學習不需要有標簽樣本，但是在識別準確度上不盡如人意。為了在兩者間取得平衡，我們采用小樣本學習方法，基于Meta-Network方法通過少量已知樣本對新輸入的圖像進行分類識別。

我們首先搭建Meta-Network模型，分析該模型在變壓器紅外圖像識別上的不足之處，然后對訓練過程中表征函數的學習進行優化改進，并增加新的卷積層，實現對紅外圖像的有效分類識別。

2 Meta-Network介紹

Meta-Network作為一種基于元學習思想的小樣本學習方法，與MANN類似，Meta-Network也包含有一個外部的memory部分，并且相似于其他元學習，也是對一系列的task進行訓練，具有泛化的體系結構和訓練流程，通過相對較少的參數迭代步數，快速自適應各種不同的任務。

如圖1所示，Meta-Network的訓練包括三個主要過程：

（1）meta information的獲取;

（2）fast weight的生成和slow weight的優化;

（3）base learner和meta learner的共同執行。

在這之中，訓練數據主要包含兩種數據集即支持集（support setx1i，y1iNi=1）與訓練集（train setxi，yiLi=1）。權重上，分為樣例級別的權重（Example-level Weight）和任務級別的權重（Task-level Weight），分別基于兩個層級的學習：基學習器和元學習器。其中元學習器由動態表征函數u和兩個快速權重生成函數m和d構成。具體學習過程下所示：

（1）首先從support set中采樣t例樣本，隨后通過動態表征學習函數u（權重參數為慢速權重Q）對這些樣本預測，計算得到表征損失和梯度信息即元信息。

（2）根據計算所得梯度值，通過快速權重fast-weight生成函數d（權重參數為G）生成任務級別的快速權重Q*。

（3）使用基學習器b（權重參數為樣例級別的slow-weight W）對support set中N個樣本進行預測，計算得到任務損失以及梯度（元信息）。

（4）通過快速權重生成函數m（權重參數為Z），利用得到的梯度生成樣例級別快速權重W*。

（5）將每個樣本分別對應的快速權重值存儲到外部儲存器M里，通過u計算得到對應的表征r*i并放入外部索引R中。

（6）使用u計算得到訓練集中L個樣本各自相對的ri。

（7）計算表征ri與R中放入的表征r*i之間余弦距離，使用sofmax函數轉化成權重，再將M里面的值進行加權求和，得到當前樣本的快速權重值。

（8）通過基學習器b對train set中的樣本進行預測，并得到任務損失，將所有的任務損失losstask累加得到訓練損失losstrain，同時利用梯度下降更新網絡中參數Θ={W，Q，Z，G}。

3 改進措施

傳統的Meta-Network學習器中u和b采用卷積神經網絡結構，學習器m和d使用的是LSTM網絡。

首先，針對學習器u和b所用的卷積神經網絡，我們選取VGG19作為初始模型，并通過微調原理，在不改變模型池化層和卷積層的情況下增加全連接層參數個數，通過support set中的樣本進行訓練，生成自己的模型文件，以便模型更加貼合任務需要，提高識別精度。

學習器m、d所采用的LSTM作為一種改進后的循環神經網絡，可以通過門結構（Sigmoid神經網絡層和一個元素級相乘）選擇性添加或刪除信息，通過繞過單元記住更長時間步驟的方法，一定程度上減輕了梯度消失的問題，在圖像處理上得到了廣泛的應用。但是，本質上LSMT仍然是一個循環網絡，記憶通道容納量有限，不支持過長的輸入序列，而且不能并行訓練，計算量過大，過于消耗時間。因此，我們使用GRU替代LSTM網絡。

GRU也是循環神經網絡的一種，不同的是，使用同一個門控Z就可以進行遺忘和選擇記憶操作，相比LSTM減少了一個門控，參數也更少，在相同的功能下計算能力和時間成本上更加出色。

4 實驗結果及分析

關于實驗，設置參數為：迭代次數num_epoch=50，初始學習率為0.03，批數量為4，改進后的NetWork訓練過程中Train loss損失值變化曲線和準確度變化曲線如圖2所示。

如下圖3所示是輸入測試圖像，原圖與灰度化處理后圖像對比。訓練集一共480余張圖片，測試集120張圖片，隨機測試無標簽樣本70余個，共計36個溫度故障變壓器紅外圖片和23個無故障變壓器紅外圖片分類正確，準確度達到約84%。

5 結論

本文基于NetWork模型提出了一種變壓器紅外圖像識別分類方法，首先對VGG19網絡進行微調，以便模型更加適合我們的識別訓練。隨后使用GRU網絡替代LSMT網絡，以便得到更好的計算能力和更快的反應速度，最后的準確度變化曲線表明該方法有不錯的應用效果和應用前景。

紅外圖像識別分類在電力系統維護中有著獨特的作用，未來可以對所用卷積神經網絡進行改進，使用泛化能力更強、運算量更小的Inception、Faster-RCN等模型，進一步提升整體運算速度和準確度。

參考文獻：

[1]Chung J，Gulcehre C，Cho K，et al.Empirical evaluation of gated recurrent neural networks on sequence modeling[J].arXiv：Neural and Evolutionary Computing，2014.

[2]張越，夏鴻斌.基于弱監督預訓練CNN模型的情感分析方法[J].計算機工程與應用，2018，54（13）：27-33.

[3]段萌，王功鵬，牛常勇.基于卷積神經網絡的小樣本圖像識別方法[J].計算機工程與設計，2018，39（1）：224-229.

[4]潘崇煜，黃健，郝建國，等.融合零樣本學習和小樣本學習的弱監督學習方法綜述[J].系統工程與電子技術，2020，42（10）：2246-2256.

[5]楊洋.電氣設備紅外圖像分析與處理[D].北京交通大學，2015.

作者簡介：裴澤林（1997— ），男，漢族，安徽人，東華大學碩士研究生在讀，研究方向：電力設備紅外圖像處理，深度學習;趙曙光（1965— ），男，漢族，上海人，東華大學教授，研究方向：圖像處理與模式識別，量子邏輯設計自動化，可進化硬件（EHW）等;王建強（1987— ），男，漢族，山東煙臺人，碩士，上汽大眾汽車有限公司中級工程師，研究方向：整車電子電器與電器檢測系統。