基于改進CL-ML方法的接地網不開挖腐蝕速率預測模型

李文彬，王勇，馮硯廳，王慶，徐雪霞，范孝良，王鵬

基于改進CL-ML方法的接地網不開挖腐蝕速率預測模型

李文彬1，王勇1，馮硯廳1，王慶1，徐雪霞1，范孝良2，王鵬2

（1. 國網河北省電力公司科學研究院，河北 石家莊 050021； 2. 華北電力大學 能源動力與機械工程學院，河北 保定 071003）

接地網是保障電網完全運行的重要部件，但接地網材料易被腐蝕，甚至發生斷裂。鑒于接地網腐蝕存在樣本數目少、非線性強的特點，在引入對比學習（contrastive learning，CL）和度量學習（metric learning，ML）的基礎上，將對比學習和度量學習進行了組合優化，使輸出結果變為參與擬合錨點的腐蝕速率系數，在此基礎上提出了基于改進CL-ML方法的接地網不開挖腐蝕速率預測模型。該方法把已經采樣的珍貴樣本作為錨點，顯著減小了擬合函數的壓力與復雜性，并充分挖掘了稀有樣本的內在相關性。試驗結果表明，采用該模型的預測結果比采用廣義回歸神經網絡和BP神經網絡具有更高的精度。

接地網；腐蝕；比較學習；度量學習；預測

0 引言

隨著我國電力系統向高壓和大容量的發展，對系統運行的安全性和可靠性提出了更高的要求[1,2]。接地網是電網為了保障人身和設備安全而必備的裝置，目前我國普遍采用鍍鋅鋼和碳鋼作為接地網導體。隨著生態環境的惡化和線路電壓等級的提升，接地網材料表面的腐蝕程度不斷加劇甚至發生斷裂，嚴重影響電網的安全運行[3]。傳統的開挖檢測接地網腐蝕狀態方法雖然準確，但存在需要停機檢查、浪費時間的缺點[4]。因此，有必要系統地研究接地網的腐蝕狀態，建立穩定可靠的腐蝕預測模型，在不開挖的情況下準確預測接地網事故，從而顯著提升電網運行的可靠性。

基于已有的接地網腐蝕數據，通過智能算法構建模型，進而對接地網腐蝕模型進行預測是一種潛在的解決方法。文獻[5]應用BP神經網絡建立了以腐蝕影響因素為輸入參數的腐蝕預測模型。文獻[6]首先應用層次分析法對各腐蝕因素進行科學權重，進而應用模糊理論建立預測模型。文獻[7]建立了支持向量機的接地網預測模型，并通過人工蟻群算法對向量機的參數進行優化。文獻[8]提出了一種將誤差校正與改進最小二乘法支持向量機相結合的組合模型，并應用其對接地網腐蝕速率進行預測。文獻[9]提出了一種改進果蠅算法優化BP神經網絡算法，較準確地對接地網腐蝕速率進行預測。

由于腐蝕是一個長期和漸變的過程，故對實際電站接地網進行動態監測時通常選擇以月為時間間隔，這就導致了腐蝕數據的樣本通常少于100個，屬于典型的小樣本情況。而在樣本情況過少的情況下，直接采用神經網絡或其他擬合的方法，極易產生過擬合的問題，甚至因為樣本過少，對過擬合的分析都具有很大的不確定性。此外，腐蝕速率雖然與土壤中的各項指標有關，但直接根據這些物理量綱差異巨大的參數擬合出腐蝕速率還是欠佳的。腐蝕是一個長期的、復雜的、包含時間積分的、非線性的電化學過程，相關環境參數也是探索研究中發現的比較重要的參數，而根據這些參數推斷的腐蝕速率的趨勢具有自然的對比性和相關性，因此，樣本也具有超越僅僅用于擬合的價值。

本文提出了基于改進CL-ML模型的接地網不開挖腐蝕預測方法，把已經采樣的珍貴樣本作為錨點，預測新數據的腐蝕速率與現有樣本腐蝕速率的關系，顯著減小了擬合函數的壓力與復雜性，并充分挖掘了稀有樣本的內在相關性。通過進一步應用測量的樣本模型對本文模型進行測試，證明其誤差遠小于采用傳統的BP神經網絡和廣義回歸神經網絡的方法。

1 相關理論

1.1 對比學習

在對比學習（CL）中，數據本身將為學習算法提供監督[10]。對于任何數據點，對比方法的目的是學習編碼器：文中列項說明格式如下：

式中：+是與相似或相等的數據點，稱為正樣本；–是與不同的數據點，稱為負樣本。score函數用來度量兩個特征之間相似性，其表達式為：

上述的score函數其實是N-way softmax分類器常見的交叉熵損失，在對比學習文獻中通常稱為InfoNCE損失。InfoNCE也與互信息有關系，最小化InfoNCE損失可使()和(+)之間互信息的下界最大化。作為樣本輸入的也可以被稱為錨定點。為了優化這一特性，本文通過構造一個softmax分類器正確地分類正樣本對和負樣本對。這個分類器鼓勵讓正樣本對相似，負樣本對差異化：

1.2 度量學習

度量學習是學習一個度量相似度的距離函數。相似的目標距離近，不相似的距離遠。度量學習（ML）的基本步驟為[11]：

（1）計算淺入度距離度量。

（2）將每個樣本都當作一個錨點。

（3）根據距離挑一部分同類做正樣本，一部分其他類做負樣本組成子集。

（4）對每個要么是一個大的子集里基本包含整個mini-batch（小批量，個樣本）只是權重不同，要么是個更小的數據對。

度量學習的一個關鍵點是損失函數的選擇，目前國內外眾多文獻給出了多種損失函數。本文選取了其中一種常用的損失函數，并將在建模過程中給出詳細的說明。

1.3 SE模塊

SE模塊為包含SE單元的復合結構，其中SE全稱為Squeeze-and-Excitation，意思是“壓縮與激勵”[12]。在Squeeze階段，輸入參數為5個原始數據的歸一化數據，經過5個不同的全連接層FC和LReLU函數后變為包含5個元素的向量1。在Excitation階段，經過膨脹后向量1再次轉變為5個元素的向量，并經過Sigmoid函數輸出，成為衡量1中每個元素重要性的系數并與1相乘。具體結構示意圖如圖1所示。

圖1 SE模塊示意圖

其中，FC是全連接層。而LReLU是激活函數，其表達式為：

式中：c是（1,+￥）區間內的固定參數。

與此同時，Sigmoid函數作為另一個激活函數，將變量映射到（0,1）之間。其表達式為：

2 建模方法

2.1 基于改進的CL-ML模型

傳統的CL-ML方法主要是學習一個虛擬度量指標，其正比于腐蝕速率但非腐蝕速率本身，這是顯著降低直接擬合壓力的重要措施，神經網絡結構如圖2所示。

圖2 傳統的CL-ML模型圖

為了更精確地預測，利用緊鄰的兩個或更多錨點，使用第二個神經網絡，輸出結果是參與擬合錨點的腐蝕速率系數，即：

=1′1+2′2+,···,a′fushi（6）

式中：是組合輸出結果；1、2等是需要擬合的系數；1、2等是原始樣品的腐蝕數值。針對腐蝕這一特殊情況，在差異較大的情況下腐蝕速率往往相差更大。非線性程度強的情況導致目標腐蝕速率擬合困難，所以擬采用-臨近的方法進行擬合。改進后的神經網絡示意圖如圖3所示。

圖3 改進的CL-ML模型圖

相對其他算法，本文提出的算法一個突出特點就是能夠充分利用珍貴的采樣數據，對新數據具有較強的泛化性，并且網絡能夠快速收斂。如圖4所示，在訓練采樣組數為5時，算法需要約30 epoch就能使網絡收斂到穩定狀態。

圖4 本文算法的迭代尋優過程

2.2 訓練過程

本文令為，其表示為只有預測出虛擬度量指標正確大小關系時才能獲得相應的獎勵分數。經此訓練，每當遇到類似的新樣本時，通過與60組錨點的對比，就可以判斷出位于哪兩個錨點之間，此外60組錨點的順序排列平均差異僅為0.129 83，理論上，在上述成功預測的情況下，實際借助錨點二次預測的真實腐蝕速率不會超過該平均值。

3 實驗分析

本文選取來自25個變電站的觀測數據作為樣本[13]。接地網在土壤中腐蝕受到多種因素的影響，選取土壤物理化學性質和電阻平均增長速率作為輸入參數，選取電阻平均增長速率作為輸出參數。其中，土壤物理化學性質包括含水率、電阻率、孔隙率、SO42–含量和Cl–含量，可定量地顯示出接地網所處的土壤環境；電阻平均增長速率根據支路電阻變化情況和接地網工作時間綜合得出，可以間接反映接地網腐蝕狀態；接地網腐蝕速率通過失重法確定。

將72組實驗數據中的前60組作為訓練樣本，后12組作為測試樣本。因為5個輸入量和1個輸出量的維度和量綱各不相同，為防止其對預測模型的預測精度和模型靈敏度產生影響，按照公式（9）對所有數據歸一化：

式中：和′分別表示原始數據和歸一化后的數據；max和min分別表示原始數據中的最大值和最小值。

為了更準確地預測接地網腐蝕結果，采用圖3所示改進的CL-ML模型，輸出結果是參與擬合的錨點腐蝕速率的系數。改進的CL-ML模型把傳統的擬合升級為基于錨點的系數預測。特別是針對工業環境學習中，非線性強、樣本稀少、獲取困難等難題而設計，是一種具有普遍適應性的創新性框架。與直接擬合類算法以及傳統機器學習算法中需要大量樣本的特性相比有本質的不同。圖3網絡的輸入是2.1節中度量網絡輸出中與錨點度量近似的兩個真實樣本，經過包含注意力模塊的卷積后，兩個樣本共同融合成具有內在耦合系數組，與公式（8）結合后形成所需的真實腐蝕速率。值得注意的是，圖3示意網絡僅為敘述方便，實際運行中提出的網絡可以擴展位同時包含多組錨點和需要預測組的多輸入網絡，本身具有尺度可變性。

針對非線性程度強導致目標腐蝕速率擬合困難的問題，擬采用-臨近的方法進行擬合。-臨近算法的核心思想是：在已知訓練集數據的前提下，代入測試集數據并將測試集數據的特征和訓練集特征相比較，通過比較距離找出訓練集中與之最接近的前個數據，進而個數據中出現次數最多的分類就是測試集所屬的分類。-臨近算法的基本流程為：

（2）對歐式距離進行從大到小排序。

（3）根據步驟（2）選取距離最近的個點，確定值。

（4）確定個附近點的類別，進而根據投票機制決定待分類樣本的類別。

為了顯示本文采用方法的優越性，同時采用了廣義回歸神經網絡（GRNN）和BP神經網絡對樣品進行了訓練、擬合和預測。進一步應用了上述3種模型對測試樣本進行了預測，相關測試結果如表1所示。

為了更加直觀和深入地對3種預測模型的誤差進行對比分析，采用平均相對誤差MAPE、相對誤差的標準差MAPE和均方誤差（MSE）MSE3個指標進行評價，相關計算公式為：

基于表1中3個模型預測的結果，進一步通過公式（10）~（12）分別對ICL-ML模型、廣義回歸神經網絡（GRNN）、BP神經網絡的結果進行了評價，見表2。

表1 實際值和3種模型的預測值對比

表2 3種模型的誤差對比

通過分析表2中的指標，可以發現ICL-ML預測模型的MAPE遠小于廣義回歸神經網絡和BP神經網絡，表明ICL-ML模型預測結果的相對誤差波動性較小，即ICL-ML模型的適應性和穩定性良好。與此同時，ICL-ML預測模型的MAPE和MSE也均遠遠小于廣義回歸神經網絡和BP神經網絡，說明ICL-ML模型的預測值更加接近于真實值，表現出更加優異的準確度。

4 結論

針對接地網腐蝕小樣本和非線性強的問題，本文提出基于改進CL-ML模型的不開挖接地網腐蝕預測方法。基于對比學習和度量學習的思想，通過組合優化，把已經采樣的珍貴樣本作為錨點，預測新數據的腐蝕速率與現有樣本腐蝕速率的關系，顯著減小了擬合函數的壓力與復雜性，并充分挖掘了稀有樣本的內在相關性。測試結果顯示提出的模型在3個關鍵指標（平均相對誤差、相對誤差的標準差、均方誤差）的結果均遠遠小于常用的廣義回歸神經網絡和BP神經網絡。文中建模方法通過將比較學習和度量學習相結合，可以在不開挖的情況下對接地網的腐蝕情況進行準確性很高的預測，對變電站優化檢修策略和降低運行風險具有重要的意義。

[1] 王劭菁, 馬文嘉, 王豐華, 等. 基于虛擬樣本生成技術與概率神經網絡的接地網故障診斷[J]. 高壓電器, 2020, 56(6): 309-316. WANG SHAOJING, MA WENJIA, WANG FENGHUA, et al. Fault diagnosis of grounding grid based on virtual sample generation and probabilistic neural network[J]. High Voltage Apparatus, 2020, 56(6): 309-316(in Chinese).

[2] 盛青, 王豐華, 盛連軍, 等. 基于回聲狀態網絡的接地網地表電位計算[J]. 高壓電器, 2019, 55(3): 144-149. SHENG QING, WANG FENGHUA, SHENG LIANJUN,et al. Calculation of surface potential distribution of grounding grid based on echo state network[J]. High Voltage Apparatus, 2019, 55(3): 144-149(in Chinese).

[3] 李謙, 文習山. 基于安全性的大型接地網均壓優化策略[J]. 高壓電器, 2018, 54(6): 177-183. LI QIAN, WEN XISHAN. Voltage grading optimization strategy for large grounding grid based on security[J]. High Voltage Apparatus, 2018, 54(6): 177-183(in Chinese).

[4] 荊晶, 彭敏放, 周斌, 等. 基于擴展卡爾曼濾波算法的接地電阻狀態可靠估計[J]. 高壓電器, 2018, 54(2): 166-172. JING JING, PENG MINFANG, ZHOU BIN, et al. Reliable estimate state of grounding resistance based on extended Kalman filter[J]. High Voltage Apparatus, 2018, 54(2): 166-172(in Chinese).

[5] 花廣如, 李文浩, 郭陽陽. 基于神經網絡模型的海南變電站接地網Q235鋼腐蝕率預測[J]. 腐蝕與防護, 2017, 38(8): 573-577. HUA GUANGRU, LI WENHAO, GUO YANGYANG. Corrosion rate prediction of Q235 steel in Hainan substation grounding grid based on neural network models[J]. Corrosion and Protection, 2017, 38(8): 573-577(in Chinese).

[6] 杜京義, 韓娟, 寇水潮, 等. 基于模糊可拓層次分析的接地網腐蝕速率預測[J]. 計算機應用與軟件, 2014, 31(6): 170-173. DU JINGYI, HAN JUAN, KOU SHUICHAO, et al. Predicting grounding grid corrosion rate based on fuzzy extensible analytic hierarchy process[J]. Computer Applications and Software, 2014, 31(6): 170-173(in Chinese).

[7] 劉渝根, 陳超. 基于人工蜂群算法優化支持向量機的接地網腐蝕速率預測模型[J]. 電力自動化設備, 2019, 39(5): 182-186. LIU YUGEN, CHEN CHAO. Corrosion rate prediction model of grounding grid based on support vector machine optimized by artificial bee colony algorithm[J]. Electric Power Automation Equipment, 2019, 39(5): 182-186(in Chinese).

[8] 黃歡, 劉彥辰, 高翔, 等. 基于組合模型的接地網腐蝕速率預測算法[J]. 計算機技術與自動化, 2019, 38(3): 79-83. HUANG HUAN, LIU YANCHEN, GAO XIANG, et al. Corrosion rate prediction of grounding grid based on combined model[J]. Computing Technology and Automation, 2019, 38(3): 79-83(in Chinese).

[9] 程宏偉, 高蓮, 于虹, 等. 基于改進果蠅算法優化BP神經網絡的接地網腐蝕速率預測模型[J/OL]. 電測與儀表: 1-10[2021-03-03]. https://kns.cnki.net/kcms/detail/ 23.1202.TH.20200925.1733.006.html CHENG HONGWEI, GAO LIAN, YU HONG, et al. Corrosion rate prediction model of grounding grid based on BP neural network optimized by updated fruit fly optimization algorithm[J/OL]. Electrical Measurement & Instrumentation: 1-10[2021-03-03]. https://kns.cnki. net/kcms/detail/23.1202.TH.20200925.1733.006.html (in Chinese).

[10] FUJIWARA T, KWON O H, MA K L. Supporting analysis of dimensionality reduction results with contrastive learning[J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 26(1): 45-55.

[11] CHENG G, YANG C Y, YAO X W, et al. When deep learning meets metric learning: remote sensing image scene classification via learning discriminative CNNs[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(5): 2811-2821.

[12] WANG L, PENG J T, SUN W W. Spatial-spectral squeeze-and-excitation residual network for hyperspectral image classification[J]. Remote Sensing, 2019, 11(7): 884.

[13] 陳超. 接地網腐蝕速率預測方法研究[D]. 重慶: 重慶大學, 2019. CHEN CHAO. Research on corrosion rate prediction method of grounding grid[D]. Chongqing: Chongqing University, 2019(in Chinese).

The Non-excavation Corrosion Rate Prediction Model of Grounding Grid Based on Improved CL-ML Method

LI Wenbin1, WANG Yong1, FENG Yanting1, WANG Qing1, XU Xuexia1, FAN Xiaoliang2, WANG Peng2

(1. Electric Power Research Institute, State Grid Hebei Electric Power Company, Shijiazhuang 050021, China; 2. School of Energy Power and Mechanical Engineering, North China Electric Power University, Baoding 071003, China)

Grounding grid is an important component to ensure the safety operation of power grid. However, the grounding grid material is easy to be corroded or even broken. In view of the small number of samples and strong nonlinear characteristics of grounding grid corrosion, the idea of contrastive learning (CL) and metric learning (ML) was introduced in this paper. The combined optimization of the CL and ML method was carried out to change the output result into the corrosion rate coefficient involved in fitting the anchor point. Thus, a new non-excavation corrosion rate prediction model of grounding grid based on improved CL-ML method was proposed. This method takes the precious samples as anchor points, which not only significantly reduces the pressure and complexity of fitting function but also fully excavates the intrinsic correlation of rare samples. The experimental results show that the prediction results of this model are more accurate than those of generalized regression neural network and BP neural network.

grounding grid; corrosion; contrastive learning; metric learning; prediction

TM73

A

1672-0792(2021)04-0049-06

10.3969/j.ISSN.1672-0792.2021.04.007

2020-12-16

國家自然科學基金（51607067）；國網河北省電力有限公司科技項目（kj2019-063）

李文彬（1975—），男，高級工程師，研究方向為金屬材料檢測。