王元峰 龍思璇 曾惜 王宏遠 林家杰 陳華彬



摘要:針對現有的CNN網絡模型在電網變壓器銘牌識別應用中容易發生過擬合,訓練速度慢等問題,為提高變壓器銘牌識別準確率,提升訓練效率,基于傳統CNN算法理論提出一種I_CNN算法。首先設計全局池化層來代替傳統CNN網絡中的全連接層,降低過擬合風險;然后引入一種改進的softmax分類器構建softmax分類層,有效提高訓練效率;最后使用實地采集的變壓器銘牌圖片數據集上訓練I_CNN網絡模型,識別準確率達96.21%,并通過對比實驗表明,本文提出的I_CNN算法具有較高的準確率和訓練效率。
關鍵詞:卷積神經網絡;圖片識別;變壓器;銘牌識別
中圖分類號:TP391.4 文獻標識碼:A 文章編號:1007-9416(2020)07-0113-03
0 引言
電網變壓器是供配電系統中關鍵的一個環節,起到電力系統中電壓等級的變換的作用,是電能輸送、分配和使用的關鍵設備。所以,對電網變壓器的運維工作顯得尤為重要。電網變壓器的運維工作一般從變壓器的銘牌出發,銘牌就類似于變壓器的一張“身份證”,從銘牌上可以獲取變壓器的編號和主要技術參數,為運維工作的開展提供更加充足的信息支持。但由于銘牌貼附在變壓器表面,而變壓器投入使用后基本都處于帶電工作狀態,而且相對位置都較高,加之雨水腐蝕、自然風化等條件影響,對變壓器銘牌信息的采集和整理都十分困難。
圖像識別是近幾年人工智能領域的主要研究方向之一,在配電網絡運維領域,圖像識別可以根據現場采集的圖像數據進行模型訓練,從而對圖像數據中提取出關鍵信息,為運維工作提供指導。因此,越來越多學者將圖像識別技術結合到電力變壓器等設備的運維工作中。文獻[1]采用一種并行結構優化的卷積神經網絡模型與增強現實技術相結合對變壓器圖像進行識別,與傳統神經網絡算法相比,該方法具有較高的識別準確率;文獻[2]充分利用線性修正函數與柔性光滑函數的優勢設計了一種神經元激勵的方法應用于卷積神經網絡中對變電站監控圖像進行異常識別,識別效果良好;文獻[3]提出一種M_CNN算法,該算法根據網絡對小樣本的識別情況設置置信度判決函數,并對識別率低的樣本重新進行特征提取用于訓練下一層網絡,從而構造多層卷積神經網絡,與傳統CNN模型相比,M_CNN模型在變電站異常場景識別中具有更高的準確率。上述學者研究都是基于卷積神經網絡(Convolutional Neural Network,CNN)開展圖像識別應用研究,但上述方法都未考慮過擬合現象和模型訓練速度,限制了模型在變壓器銘牌識別應用中的實用性。
本文在傳統CNN網絡基礎上,設計全局池化層來代替傳統CNN網絡中的全連接層,并引入一種改進的softmax分類器構建softmax分類層,提出一種I_CNN(Improved CNN,I_CNN)算法。將I_CNN應用于真實變壓器銘牌圖片數據集中進行模型訓練,結果表明,本文提出的I_CNN模型具有更高的準確率和訓練速度。
1 傳統卷積神經網絡算法
CNN網絡是深度學習模型的一種,也是當前圖像識別應用領域的熱門研究方向[4]。CNN模型是一種端到端的學習模式,其網絡中所有參數都可以在迭代過程中通過梯度下降法優化求解,訓練好的CNN模型能夠對輸入圖像的特征進行提取,從而完成圖像分類、內容檢測、識別等任務[5]。
CNN網絡由經典神經網絡模型發展而來,保留了神經網絡模型中的輸入層、全連接層和輸出層,在此基礎上新增了卷積層、下采樣層。CNN網絡基本結構如圖1所示。
卷積層是CNN網絡的特征提取層,每一個卷積層中節點通過一個卷積核與前一層小范圍的節點相連接,進行特征提取,對于上一層中的特征圖,使用不同的卷積核提取到不同的卷積圖像。下采樣層作用是將卷積層中卷積后的特征進行抽樣,也就是將輸入的特征圖劃分為不重疊的子區域,對每個子區域進行池化操作,所以下采樣層也被稱為池化層。因為卷積層和下采樣層局部連接和權值共享的特點,整個網絡模型更加接近于生物神經網絡,因此在語音識別和圖像處理等領域CNN網絡模型能夠得到越來越多的應用[6-7]。
2 改進的卷積神經網絡算法
傳統CNN網絡結構包含多個卷積層和多個下采樣層,這使得網絡中相鄰層節點直接可以局部連接和權值共享,這是CNN網絡的兩大功能特色。但這也造成了CNN網絡結構的復雜性,降低了CNN網絡模型的訓練效率。為此,本文在傳統CNN模型基礎上進行優化,提出一種I_CNN(Improved CNN)模型。如圖2所示,I_CNN模型由1個輸入層、3個卷積層、2個池化層以及1個全局池化層和1個softmax分類層組成。
在傳統CNN模型中,圖像數據經過卷積和池化操作后以長特征向量的形式傳入到全連接層,在全連接層中,各層節點之間是完全連接的,這種方式不僅參數量大,訓練效率低,且容易導致過擬合,降低模型準確率。針對這一問題,在I_CNN模型中用一個全局池化層來代替全連接層,這里的全局池化層可以將上層中傳遞過來的特征圖所有像素用平均值替代,獲得一個更低維度的特征向量。通過全局池化層后輸出的特征向量可以理解為圖像數據類別的置信圖,且在全局池化層中沒有需要優化的參數,從而降低過擬合風險,達到減少參數量、提高訓練效率的目的。
全局池化層之后是softmax分類層,傳統CNN模型softmax分類層完成的是一個回歸操作,輸出屬于各個類別的概率,但在這一層參數求解時存在大量參數冗余,使得模型結構更加復雜,降低訓練效率。為此,在I_CNN算法中,本文引入一種改進的softmax分類器構建softmax分類層[8],損失函數為:
3 實驗結果與分析
3.1 實驗環境
本文實驗均在CentOS 7.5系統,Inter(R) Core(TM) i7-6500U CPU,8GB內存計算機中進行,模型均采用Python開發實現。
3.2 數據預處理
本文使用的圖片數據集是貴州電網貴陽供電局城北分局實地采集的電網變壓器銘牌數據,如圖3所示是從變壓器上采集的兩張銘牌圖片,圖片上包含變壓器名稱、型號等信息,本文主要目標就是對銘牌上的信息就行識別。
圖3所示的銘牌圖片并不能直接使用模型進行識別,需要先進行一系列的預處理操作。 本文采用文獻[9]中的圖片處理方法對銘牌圖片進行預處理:首先對圖片中的銘牌進行定位,然后以銘牌作為整體進行角度矯正、灰值化等處理,最后對銘牌中的字符進行定位并切割,輸出包含單個字符的圖像。
3.3 實驗對比分析
為驗證本文提出的I_CNN算法性能,分別使用本文提出的I_CNN算法、傳統CNN算法、文獻[3]的M_CNN算法分別構建變壓器銘牌識別模型,3種模型都采用按3.1所述預處理方法獲得的同一圖片數據集進行訓練。為更好的分析比較模型性能,每種模型訓練20次,分別比較每種模型20次訓練的平均準確率和平均收斂時間,實驗結果如表1所示。
表1實驗結果表明,在識別準確率上,本文提出的I_CNN模型要優于傳統CNN模型和M_CNN模型;在模型訓練效率上,I_CNN模型平均收斂時間為28.69秒,遠小于M_CNN模型的34.53秒和傳統CNN模型的32.85秒,具有更高效率,收斂速度更快。實驗證明,本文提出的I_CNN模型不僅在銘牌識別準確率較傳統CNN模型和M_CNN模型有一定優勢,且模型收斂速度更快。
4 結語
針對現有的CNN網絡模型在電網變壓器銘牌識別應用中容易發生過擬合,訓練速度慢等問題,本文基于傳統CNN模型理論提出了一種I_CNN網絡模型。通過在真實變壓器圖片數據集上的對比實驗驗證表明,I_CNN算法具有較高的識別準確率和收斂速度,在變壓器運維工作中具有較高的實用性。
參考文獻
[1] 李軍鋒,何雙伯,馮偉夏,等.基于改進CNN的增強現實變壓器圖像識別技術[J].現代電子技術,2018,41(7):29-32.
[2] 廖家齊,錢科軍,方華亮,等.基于泛在電力物聯網的電動汽車充電站運維關鍵技術[J].電力建設,2019(9):20-26.
[3] 趙繼生.基于卷積神經網絡的變電站監控圖像識別方法研究[D].北京:華北電力大學,2016.
[4] 高昆侖,楊帥,劉思言,等.基于一維卷積神經網絡的電力系統暫態穩定評估[J].電力系統自動化,2019,43(12):18.
[5] Zhaoye Zhou,Gengyan Zhao,Richard Kijowski,etc.Deep Convolutional Neural Network for Segmentation of Knee Joint Anatomy[J].Magnetic Resonance in Medicine,2018(6):2759-2770.
[6] 劉萬軍,梁雪劍,曲海成.自適應增強卷積神經網絡圖像識別[J].中國圖象圖形學報,2019,22(12):1723-1736.
[7] Rocco,Ignacio, Arandjelovi, Relja, Sivic, Josef. Convolutional neural network architecture for geometric matching[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2019,41(11):2553-2567.
[8] 冉鵬,王靈,李昕,等.改進Softmax分類器的深度卷積神經網絡及其在人臉識別中的應用[J].上海大學學報:自然科學版,2018,24(3):26-40.
[9] 劉波.變電站設備銘牌識別系統設計與實現[D].成都:電子科技大學,2013.