基于SLIC超像素分割和ICP配準的牽引變壓器套管紅外三維立體重構(gòu)方法

曾 晗，林文萱，郭思雨，辛建波

(1.華東交通大學(xué) 電氣與自動化工程學(xué)院，江西 南昌 330013；2.國網(wǎng)江西省電力有限公司 電力科學(xué)研究院, 江西 南昌 330096；3.中國鐵路武漢局集團有限公司 信陽供電段，河南 信陽 464100)

隨著近年來我國高速鐵路的迅猛發(fā)展，鐵道電氣化水平得到了不斷的強化，牽引供電系統(tǒng)的設(shè)備數(shù)量也在逐年增加。牽引變壓器作為牽引供電系統(tǒng)的重要組成部分，其運行的安全可靠性一直廣受關(guān)注[1-3]。從2015年至2020年間，由于鐵路線路的擴增，武漢鐵路局集團有限公司信陽供電段管內(nèi)的牽引變壓器年平均增加約8%，按此遞增速度，到2030年，牽引變壓器數(shù)量將會是現(xiàn)有變壓器數(shù)量的兩倍，這會導(dǎo)致運維人員的工作難度和工作量顯著增加。依據(jù)國鐵集團下發(fā)的《關(guān)于進一步深化高速鐵路綜合維修生產(chǎn)一體化站段改革的指導(dǎo)意見》(以下簡稱“《指導(dǎo)意見》”)，如何提升鐵路運維檢修的自動化和友好性是目前急需解決的問題。

牽引變壓器作為電力變壓器的一種，其狀態(tài)檢測主要采用紅外熱成像技術(shù)[4-5]。對變壓器等級在110 kV以上的缺陷統(tǒng)計分析可以發(fā)現(xiàn)，發(fā)熱缺陷占總?cè)毕莸?0%以上[6]。在不需停電的狀態(tài)下，當變壓器因局部放電、產(chǎn)生泄漏電流以及水分子介質(zhì)損耗產(chǎn)生了小范圍的局部發(fā)熱現(xiàn)象時，利用紅外熱像儀對其進行探測以便檢測出變壓器的內(nèi)部故障是電力設(shè)備運維檢修中較為常用的一種方法[7-10]。但在對設(shè)備紅外圖像的處理中目前往往采用人工識別歸類的方式，對人員的實踐經(jīng)驗要求較高，且處理中容易出現(xiàn)遺漏的現(xiàn)象，需要進行二次復(fù)核，難以達到《指導(dǎo)意見》中提高自動化減少工作量的要求。為降低運維人員工作量及工作難度，提升檢測精度，文獻[11]提出了使用深度學(xué)習(xí)的方法對紅外目標進行自動探測。文獻[12]通過特征提取和分類完成了基于紅外圖像的電力設(shè)備自主故障診斷過程。但紅外圖像具有信噪比低和紋理細節(jié)模糊的缺點，雖然文獻[13-14]分別提出了基于降噪和與可見光融合的解決方法，但其僅可展示二維數(shù)據(jù)，無景物深度信息的特質(zhì)也導(dǎo)致無法反映具體的設(shè)備故障位置，這為快速準確地進行實時故障定位帶來了困難。

為克服二維圖像的局限性，彌補位置信息的不足，國內(nèi)外各領(lǐng)域研究人員在提取了3D數(shù)據(jù)點并對數(shù)據(jù)進行簡化分析后，提出通過三維可視化展示數(shù)據(jù)[15]，這些三維數(shù)據(jù)可以被運用在各類數(shù)字孿生模型構(gòu)造中。文獻[16]將利用點云數(shù)據(jù)進行三維建模的技術(shù)應(yīng)用在測繪中。三維建模技術(shù)也被大量地運用在醫(yī)學(xué)中[17]。隨著激光掃描成像技術(shù)和計算機視覺技術(shù)的不斷發(fā)展，如今已有學(xué)者將三維激光技術(shù)應(yīng)用于鐵路之中。為了達成鐵路扣件的狀態(tài)檢測需求，文獻[18]提出一種利用三維數(shù)據(jù)自動檢測扣件缺陷的方法。文獻[19]建立了牽引變壓器的三維有限元模型。文獻[20]提出了基于三維圖像技術(shù)的無砟軌道表面裂縫自動識別技術(shù)。通過三維數(shù)據(jù)展示出的設(shè)備信息相較于二維圖像而言更具有可觀性，在提供了更強分析能力的同時，也可以協(xié)助運維人員對設(shè)備狀態(tài)做出更加精確的判斷。但上述三維重構(gòu)方法僅限于可見光監(jiān)測，無法有效反映電力設(shè)備內(nèi)在的缺陷，不能滿足其運維檢修的基本要求。

為解決傳統(tǒng)紅外圖像缺乏位置信息、三維模型缺乏熱力信息的問題，文獻[21]結(jié)合熱成像技術(shù)和激光雷達掃描技術(shù)將紅外圖像與點云模型運用在深空空間探測領(lǐng)域，但對于電力設(shè)備尺度下的紅外圖像三維可視化研究并不常見。

本文以牽引變壓器為例，在考慮到其故障產(chǎn)生機理的基礎(chǔ)上，基于SLIC算法對牽引變壓器套管紅外圖像進行超像素分割以便提取其溫度數(shù)據(jù)，使用激光雷達掃描技術(shù)獲取套管的點云數(shù)據(jù)，經(jīng)ICP配準及處理后構(gòu)建其三維模型。再將紅外測溫數(shù)據(jù)與三維立體模型結(jié)合以便使故障檢測和診斷過程更加直觀。以武漢鐵路局集團有限公司信陽供電段110 kV變壓器套管實測圖片和數(shù)據(jù)為算例進行測試。結(jié)果表明，本文提出的超像素分割算法和點云數(shù)據(jù)處理方法可有效提高分割效果與點云模型構(gòu)建效果，且紅外測溫數(shù)據(jù)三維重構(gòu)作為牽引變壓器套管狀態(tài)評估手段的一種方法行之有效。

1 三維立體重構(gòu)方法設(shè)計

隨著鐵路系統(tǒng)發(fā)展的逐步壯大，牽引供電系統(tǒng)中包含的變壓器、避雷器、電流互感器和電壓互感器等一系列用電設(shè)備數(shù)量都在逐漸增加。表1為武漢鐵路局集團有限公司某供電段管轄內(nèi)某一條鐵路沿線的用電設(shè)備種類及數(shù)量。在如此龐大的數(shù)據(jù)下，運維人員檢修的難度逐年攀升。為解決該問題，減少重復(fù)工作量、提高天窗檢修效率和精準度尤為重要。

表1 某供電段管轄內(nèi)設(shè)備數(shù)量 臺

在設(shè)備運行過程中，牽引變壓器套管受裝配工藝、運行工況以及運維檢修水平的制約，往往是容易出現(xiàn)缺陷的部位。綜合過往運維檢修的數(shù)據(jù)可以發(fā)現(xiàn)，絕緣套管因接觸不良過熱而導(dǎo)致的故障屢見不鮮[22]。

由于水油比熱容的差異，當變壓器套管中油量減少而散熱不均，套管內(nèi)外形成溫度差異時，紅外熱成像可以直觀準確地將其工作狀態(tài)反映出來。因此考慮到工程中對于變壓器套管的檢修需要，同時為了降低運維人員的工作難度，提出基于紅外影像的牽引變壓器套管三維立體重構(gòu)方法，其技術(shù)原理如圖1所示。

圖1 紅外三維模型重構(gòu)原理

此方法主要分為超像素分割、搭建三維紋理模型和紅外三維模型重構(gòu)三部分。為了在設(shè)備外表面模型上引入可展示內(nèi)部溫度信息的紅外圖像，使用超像素分割算法提取紅外圖片中的牽引變壓器套管，掃描采集變壓器套管的點云數(shù)據(jù)并處理，最后將紅外圖像投影至展開坐標的套管三維模型上。因考慮了設(shè)備溫度和位置信息，此方法適用于與周圍自然環(huán)境存在溫差，且背景復(fù)雜的大型發(fā)熱用電設(shè)備故障檢修與維護。

2 基于超像素分割的目標設(shè)備紅外圖像提取

為有利于紅外圖像和三維模型融合過程，對套管的紅外熱成像進行目標分割。使用紅外測溫儀拍攝牽引變壓器套管，獲取套管的紅外圖像。

使用簡單線性迭代聚類(Simple Linear Iterative Clustering，SLIC)[23]超像素分割算法，考慮變電所環(huán)境復(fù)雜器械較多，采用六角網(wǎng)格對紅外圖像進行超像素分割。六角網(wǎng)格的標準間距為

( 1 )

式中：S為六角網(wǎng)格的標準間距；R和C分別為牽引變壓器紅外圖片的行和列；k為超像素的個數(shù)。

定義初始聚類中心，形成矩陣Ci為

Ci=[liaibixiyii]T

( 2 )

式中：li為Lab色彩空間的亮度；ai和bi為顏色對立維度；xi和yi分別為聚類中心的行和列；i為超像素的標簽。

以聚類中心點為中心，搜索附近兩倍步長范圍內(nèi)的所有像素點進行聚類。根據(jù)像素和聚類中心的顏色以及空間距離，更新像素點的標簽和信息，計算每個像素點和聚類中心的距離分別為

( 3 )

式中：dC、dS分別為顏色、空間距離；m為加權(quán)因子；lj、aj、bj分別為Lab空間的亮度、空間坐標。對超像素的邊界進行劃分，得到超像素分割后的紅外圖像。

根據(jù)變壓器設(shè)備的紅外圖像特征和現(xiàn)場檢測要求[24]，為提高設(shè)備紅外信息的準確性，應(yīng)在光照較弱無陽光直射的時候進行拍攝。同時在保證紅外圖像的背景對目標設(shè)備產(chǎn)生的噪聲相對較小的前提下，應(yīng)盡量將目標設(shè)備置于相機的中間部位。為此制定目標和背景標記規(guī)則，將圖像中央亮度最低的超像素塊和圖像邊緣亮度較大的超像素塊標記為背景，將圖像中位于非邊緣區(qū)域亮度最高的超像素塊標記為目標。

為解決因目標區(qū)域中包含多連通區(qū)而存在目標設(shè)備欠分割的問題，引入Otsu閾值作為預(yù)處理，預(yù)選背景區(qū)域。依據(jù)合并算法(Maximal Similarity based Region Merging,MSRM)把背景標記區(qū)域與相鄰超像素塊合并，再對未標記超像素塊進行合并，最后用形態(tài)學(xué)運算得到更光滑的圖像邊界，算法流程如圖2所示。

圖2 套管紅外圖像分割算法

在SLIC超像素分割的同時用Otsu閾值做背景預(yù)選，根據(jù)設(shè)定規(guī)則標記目標和背景超像素塊，基于MSRM算法融合超像素塊，再用形態(tài)學(xué)運算處理圖像。

將Jaccard和Dice系數(shù)[25]作為提出算法和其他超像素分割算法的精度對比評估方案，KJ測量了兩組(θ1和θ2)的相交面積之比除以它們的并集面積

( 4 )

式中：θ1為樣本分割的結(jié)果；θ2為算法分割的結(jié)果。

Dice系數(shù)KD計算相交區(qū)域的比率除以每個單獨區(qū)域的平均和

( 5 )

3 點云數(shù)據(jù)獲取與三維模型重構(gòu)

為構(gòu)建牽引變壓器套管的三維立體模型，需獲取其點云數(shù)據(jù)并進行數(shù)據(jù)處理，具體步驟如下：

Step1獲取牽引變壓器套管點云數(shù)據(jù)

目前獲取點云數(shù)據(jù)的方法主要分為主動獲取和被動獲取兩種，無人機作為常用的被動獲取方法具有低成本的優(yōu)勢，但變電所的環(huán)境過于復(fù)雜，從安全和效率方面考慮，本文選擇采用激光雷達掃描(Light Detection and Ranging, LiDAR)的主動方式采集套管表面的三維密集點云。

Step2點云數(shù)據(jù)處理

因相鄰變電設(shè)備點云采集幀中存在數(shù)據(jù)重疊，故需要對點云數(shù)據(jù)進行配準和拼接。選擇迭代最近點方法(Iterative Closest Point, ICP)[26]進行點云精配準，基于歐氏距離殘差的ICP最優(yōu)目標模型f(R,T)為

( 6 )

式中：qi、pi為匹配點對；R、T為旋轉(zhuǎn)和平移矩陣。

為解決ICP算法模型對初始位置要求過高的問題，在精配準前采用SAC-IA算法對點云數(shù)據(jù)粗配準，將粗配準得到的值作為ICP算法的迭代初值以提升點云配準精度。

因變電所環(huán)境較為復(fù)雜，點云數(shù)據(jù)采集過程中常因微波折射產(chǎn)生噪聲，故在計算高斯曲率和平均曲率后使用雙邊濾波算法[27]對點云模型進行降噪處理，雙邊濾波式為

p′=p+αn

( 7 )

式中：n為數(shù)據(jù)點p的法向量；p′、α分別代表濾波完成后的數(shù)據(jù)點、雙邊濾波因子，α的表達式為

( 8 )

式中：x為數(shù)據(jù)點間距，x=p-pi；m為數(shù)據(jù)點p的M最近鄰域Nm(Pi)中的數(shù)據(jù)點個數(shù)；θp和θc分別為數(shù)據(jù)點p的M最近鄰域Nm(Pi)法向高度和內(nèi)切平面的高斯濾波。

旋轉(zhuǎn)誤差ER和平移誤差Et計算式分別為

( 9 )

(10)

式中：Ri和ti為定義的固定參考旋轉(zhuǎn)矩陣和平移矩陣；Rj和tj為算法生成的牽引變壓器套管旋轉(zhuǎn)和平移矩陣。

Step3點云數(shù)據(jù)處理后獲得目標設(shè)備點云模型，利用Delaunay細分算法[28]進行三角網(wǎng)格重建。常用的三角面質(zhì)量評估系數(shù)Q為

(11)

式中：dn和dmax分別為三角形第n邊和最長邊長。

Step4將牽引變壓器套管紅外二維圖像正交投影至展開三維坐標的套管模型上，獲取可有效展示紅外特征的牽引變壓器套管三維模型。

紅外三維立體模型重構(gòu)具體操作流程如圖3所示。

圖3 三維模型重構(gòu)

選擇合適的采樣交疊率以激光雷達掃描的方式獲取牽引變壓器套管點云數(shù)據(jù)，經(jīng)粗配準和精配準后對數(shù)據(jù)濾波，重構(gòu)三角曲面完成套管三維立體重建，再將第二章中提取的套管紅外圖像投影至套管三維坐標上得到變壓器套管紅外-三維立體模型。

4 算例測試及分析

4.1 分割紅外圖像

使用熱像儀FLIR T800拍攝紅外圖片，以武漢鐵路局集團有限公司110 kV牽引變壓器套管為算例，按照圖2流程對牽引變壓器套管進行超像素分割，套管原始圖像和分割后圖像如圖4所示。

由圖4(b)可知，超像素塊與設(shè)備邊緣輪廓貼合度較高，表明利用SLIC算法可有效分割牽引變壓器套管紅外圖像。在此基礎(chǔ)上利用Otsu閾值預(yù)選背景超像素塊,按照標記規(guī)則標定目標和背景超像素塊，用MSRM算法進行超像素合并，最后基于數(shù)學(xué)形態(tài)學(xué)開閉運算，消除與套管相連的高度干擾變壓器背景，得到分割完成的變壓器套管。為了利于套管分割后的紅外圖像與三維模型進行有效融合，將分割后套管的黑色背景刪除，生成無背景變壓器套管紅外圖像如圖4(c)所示。通過目標提取刪除復(fù)雜背景，簡化了紅外三維重構(gòu)難度的同時也排除了背景溫度噪聲干擾。

4.2 分割性能對比測試

選擇20幅牽引變電紅外圖像，測試區(qū)域增長算法(Regional Growth)、熵率算法(Entropy Rate)、隨機游走算法(Random Walks)、線性譜聚類算法(Linear Spectral Clustering, LSC)、SLIC+MSRM算法和設(shè)計標記規(guī)則的SLIC+MSRM+Otsu算法分割性能，根據(jù)式( 4 )、式( 5 )分別計算每種方法的Jaccard與Dice系數(shù)，測試結(jié)果如圖5所示。

圖5 不同算法精度計算結(jié)果對比

由圖5可知，因SLIC算法將圖像亮度作為算法的參數(shù)之一，其分割紅外圖像的Dice、Jaccard均值比LSC算法分別增加了7.45%、7.96%。在牽引變電較為復(fù)雜的環(huán)境背景下，使用區(qū)域增長算法，熵率算法和隨機游走算法分割編號6圖片時，得到Dice系數(shù)分別為0.75、0.7、0.71，而設(shè)計了背景標記規(guī)則基于SLIC的分割算法精度值為0.958，此分割精度差別也出現(xiàn)在編號14、18等圖片中，可知本文提出的算法能保持更好的穩(wěn)定性。

4.3 點云數(shù)據(jù)獲取

為預(yù)防采集牽引變壓器套管點云數(shù)據(jù)時出現(xiàn)數(shù)據(jù)缺失的現(xiàn)象，用二維交疊式掃描方法獲取點云數(shù)據(jù)。設(shè)置采樣范圍交疊率ROA分別為0%、25%、50%，采樣結(jié)果如圖6所示。

圖6 套管點云數(shù)據(jù)采樣

當采樣交疊率ROA=0時，牽引變壓器套管的多處點云數(shù)據(jù)缺失嚴重，噪聲干擾也相對較大，當ROA=25%時，交疊區(qū)域彌補了部分缺失數(shù)據(jù)但仍存在漏洞，而當交疊率ROA=50%時可以得到較完整的牽引變壓器套管點云模型如6(c)所示。圖6(d)展示了完整的測試結(jié)果，當交疊率為40%已實現(xiàn)牽引變壓器套管點云數(shù)據(jù)的完整采集，但按照擬合曲線判定其存在一定偶然性，故本文選擇50%的交疊率獲取變壓器套管點云數(shù)據(jù)。

4.4 點云數(shù)據(jù)配準

以交疊率ROA=50%掃描變壓器套管，獲得如圖7(a)所示套管點云數(shù)據(jù)。使用SAC-IA算法完成點云數(shù)據(jù)粗配準，如圖7(b)所示。將粗配準得到的數(shù)據(jù)作為原始數(shù)據(jù)輸入ICP算法進行精配準得到圖7(c)，再使用雙邊濾波算法濾除變壓器套管點云數(shù)據(jù)周圍存在的噪聲，獲得最終點云模型如圖7(d)所示。

圖7 配準濾波后套管點云模型

與相關(guān)熵ICP算法(Correntropy Iterative Closet Point, CICP)、修剪ICP算法(Trimmed Iterative Closet Point, TrICP)和傳統(tǒng)ICP算法進行對比。實驗中的配準誤差采用均方根誤差(Root-mean-square Error, RMSE)計算，根據(jù)式( 9 )、式(10)計算旋轉(zhuǎn)誤差和平移誤差，計算結(jié)果如圖8和表2所示。

圖8 算法對比

表2 拼接誤差對比

設(shè)定ICP迭代算法的目標配準誤差為5 mm,由圖8可得，SIICP算法經(jīng)4次迭代后配準誤差達到4.842 2 mm，CICP、ICP算法配準誤差為4.952 1、4.784 9 mm，分別需要經(jīng)過6次和7次迭代，而TrICP算法9次迭代后目標誤差可達4.837 2 mm。由表2可得，SIICP算法旋轉(zhuǎn)精度比CICP算法增加了約27%，平移精度增加了約31%，配準耗時比傳統(tǒng)ICP算法減少了約20.3%。

4.5 紅外三維模型重建

在取得完備點云數(shù)據(jù)后，分別用泊松算法和Delaunay細分算法對曲面進行重建。使用不同算法對武漢鐵路局信陽供電段牽引變壓器套管點云數(shù)據(jù)進行三角面重建，當獲得的三角網(wǎng)格更趨近于等邊三角形時，則質(zhì)量更優(yōu)，根據(jù)式(11)評估三角面的質(zhì)量，獲得的重建三角面質(zhì)量比例如圖9所示。

圖9 網(wǎng)格質(zhì)量分布

由圖9可知，經(jīng)泊松算法獲得的網(wǎng)格質(zhì)量大部分分布在區(qū)間[0.4,0.8]，而由Delaunay細分算法獲得的曲面三角網(wǎng)格質(zhì)量絕大部分分布在區(qū)間[0.8,1.0]，優(yōu)于泊松算法。因此使用Delaunay算法進行網(wǎng)格細分，獲得圖10所示的牽引變壓器套管三角網(wǎng)格模型和三維紋理模型。

圖10 變壓器套管三維紋理模型

為減少因無法展示溫度信息導(dǎo)致設(shè)備故障檢測量過大的弊端，將紅外圖像與變壓器套管的三維紋理圖進行結(jié)合。展開經(jīng)點云數(shù)據(jù)處理后獲取的變壓器套管模型三維坐標，將紅外二維圖像正交投影至展開的三維坐標上，得到可有效展示紅外特征的牽引變壓器套管紅外三維模型如圖11所示。

圖11 變壓器套管三維紅外模型

此三維模型在保留了套管紋理的基礎(chǔ)上很好地展示了套管的紅外溫度特征。紅外-三維模型重構(gòu)可有效解決目前三維可視化技術(shù)缺乏熱力信息、紅外圖像缺乏位置信息的問題，適用于大型變電設(shè)備的運維檢修。在運營維護中，當運維人員需要知曉設(shè)備以及設(shè)備周圍區(qū)域紅外熱像情況時，其可幫助運維人員及時掌握設(shè)備的熱力狀態(tài)，提高工作效率。三維紅外模型的可觀性要遠高于二維紅外圖像，根據(jù)此三維模型可有效分析牽引變電所輸變電設(shè)備熱源分布狀態(tài)和趨勢，并為熱像量化數(shù)值的詳盡分析提供一種高效的手段。這也有助于運維人員依據(jù)三維模型來對紅外熱像測溫數(shù)據(jù)進行更加詳盡地監(jiān)測，在增加了故障診斷直觀性的基礎(chǔ)上可減輕運維人員的工作量。

4.6 算法效率

本文實驗環(huán)境為Inter(R) Core(TM) i5-8265U處理器，8 GB內(nèi)存。對比本文改進的SIICP算法與原始ICP及CIICP和TrICP算法，計算其完成套管點云配準所需的時間，結(jié)果見表3。

表3 點云數(shù)據(jù)配準算法時間損耗 s

由表3可知，4種對比方法中，SIICP方法完成點云模型重構(gòu)方法耗時最少，約為10 s，TrICP方法耗時最多，需要約28 s。由于本文方法在粗配準階段引入SAC-IA算法，不需要進行大量的重復(fù)迭代計算尋找?guī)g點云的重疊部分即可完成點云位姿矯正，在精配準階段，使用ICP算法，有效提高了點云配準效率。

經(jīng)過完整計算，在此實驗條件下，從目標設(shè)備提取到紅外三維模型重構(gòu)的總計時間損耗約在16～28 s之間，這對于電氣設(shè)備的運行狀態(tài)監(jiān)測是可以接受的。

5 結(jié)論

本文采用三維激光掃描技術(shù)，基于紅外圖像對牽引變電所的變壓器套管開展三維可視化研究，主要結(jié)論如下：

(1)提出一種基于SLIC和MSRM的變電設(shè)備紅外圖片超像素分割算法，設(shè)計目標和背景標記規(guī)則，引入Otsu閾值作為背景超像素塊的預(yù)選條件，并加入數(shù)學(xué)形態(tài)學(xué)運算。通過多種算法分割多幅紅外圖片，證實該分割算法可更快速準確地提取目標設(shè)備，與其他算法相比其超像素分割精度最高可增加41%。

(2)以武漢鐵路局信陽供電段的變壓器套管為算例，采集并處理變壓器套管點云數(shù)據(jù)。結(jié)果表明，采樣交疊率為50%時可更加高效完整地提取點云數(shù)據(jù)。在精配準算法ICP前引入SAC-IA算法，迭代次數(shù)得以優(yōu)化的同時相較于ICP算法拼接精度增加了約70%。

(3)提出一種紅外-三維立體重構(gòu)方法，將紅外圖像與三維模型結(jié)合。通過對信陽供電段110 kV變壓器套管進行紅外三維重建測試，驗證了此方法可以有效地展示出電氣設(shè)備的三維紅外模型。