基于深度學習與Hu不變矩的絕緣子故障檢測

張子健，馬吉恩，2，李旭峰，方攸同

(1.浙江大學 電氣工程學院,浙江 杭州 310027；2.浙江大學 西部發展研究院,浙江 杭州 310012；3.浙江科技學院 機械與汽車工程學院，浙江 杭州 310023)

接觸網作為電氣化鐵路的重要組成部分，其狀態的優劣直接影響到電氣化鐵路的運行安全和可靠性[1]。目前的檢測系統主要是通過人工識別圖像進行檢測，存在檢測效率低、檢測周期長等問題。

隨著高速鐵路的快速發展，接觸網檢測和維護成為高速鐵路后期運營維護的重要內容[2]。為了實現接觸網快速、有效、自動檢測和故障反饋，各研究機構和科研院所開展了一系列基于圖像處理技術的高鐵接觸網方面的研究。文獻[3]利用形態學圖像處理與Hough變換相結合的方法，實現受電弓滑板狀態檢測。文獻[4]利用鏈碼與Randon變換相結合的方法，實現接觸網定位器檢測。文獻[5]利用二代曲波變換以及條帶能量法進行絕緣子故障檢測。文獻[6]利用模板匹配進行絕緣子的定位，利用灰度奇異值檢測實現狀態判斷。文獻[7]基于輪廓波變換和Chan-Vese模型，提出一種檢測和識別高速鐵路棒式絕緣子的方法。文獻[8]利用Harris角點與譜聚類實現絕緣子的抗旋轉匹配和故障檢測。文獻[9]利用Harris角點配準與圖像差分實現了絕緣子的定位和故障檢測。文獻[10]提出一種HOG特征與二維Gabor小波相結合的圖像檢測方法。文獻[11]利用深度學習Faster R-CNN模型和Hough變換進行接觸網定位器坡度測量。文獻[12]利用SIFT算法和改進的RANSAC算法實現雙耳部件定位，利用Hough變換和灰度值統計實現銷釘狀態檢測。

本文針對高鐵接觸網絕緣子故障檢測問題，提出一種基于EAST模型的絕緣子定位方法。在定位的基礎上，提取絕緣子每片輪廓，利用Hu不變矩進行相似度對比，判斷絕緣子是否存在故障。主要包括以下兩部分內容：

第一部分是絕緣子區域的檢測，檢測流程為

(1)將待檢測圖像輸入深度卷積神經網絡提取多層級的特征。

(2)將不同層級的特征融合。

(3)將融合結果送入輸出層生成掩膜圖，與輸入圖像進行掩膜操作得到絕緣子區域圖像。

第二部分是基于Hu不變矩的絕緣子故障檢測，檢測流程為：

(1)二值化邊緣檢測提取絕緣子每片輪廓。

(2)利用Hu不變矩逐片進行輪廓相似度對比，通過對比結果判斷絕緣子是否存在故障。

1 基于深度學習的絕緣子區域檢測

高效且準確的文本檢測器(Efficient and Accurate Scene Text Detector，EAST)是由ZHOU等[13]基于文本檢測問題提出的算法。該方法與以往文本檢測方法不同之處在于，省去不必要的中間過程，使用全卷積網絡直接在圖像中產生單詞或文本行級別的預測，預測結果可以是任意方向的四邊形。在文本檢測標準數據集上的實驗結果表明，EAST算法的精度和效率都達到了較高水平。由于EAST模型的預測結果可以是任意方向的，可用于高鐵接觸網場景下絕緣子的檢測識別。

1.1 特征提取

檢測階段流程如圖1所示。使用在ImageNet數據集上進行預訓練的、卷積層和池化層交錯的神經網絡進行特征提取。提取出4個層級的特征圖，特征圖fi的尺寸分別為輸入圖像的1/32，1/16，1/8，1/4。采用ResNet-50[14]作為特征提取網絡，各卷積階段的輸出結果分別作為4個層級的特征圖。

圖1 檢測算法流程

1.2 特征融合

在目標檢測場景中，目標的尺寸往往差異較大， 小目標的檢測依賴于網絡淺層的位置信息，大目標的檢測依賴于網絡深層的語義信息，但由于淺層語義及深層位置信息較少，導致檢測不夠準確。將淺層和深層的特征圖進行融合操作，可以提高檢測的準確性。

將提取出的不同層級的特征圖進行融合

(1)

(2)

式中：gi為特征融合的基礎；fi為各層級的特征圖；hi為融合后的特征圖；unpool為反池化層；convn×n為卷積核大小為n×n的卷積層；運算符[·;·]表示沿深度方向連結。在每個融合階段，將上一階段的融合后的特征圖hi-1送入反池化層使其尺寸翻倍，得到gi-1與當前階段的特征圖fi連結。通過卷積核尺寸1×1的卷積層削減特征圖的深度，減少計算量。最后通過卷積核尺寸3×3的卷積層聚合信息，生成本階段的融合結果hi。在最后一個特征融合階段，h4通過卷積核尺寸3×3的卷積層生成特征融合階段最終的特征圖，并將其送入輸出層。

1.3 輸出階段

在輸出階段，特征融合階段輸出的特征圖通過卷積核尺寸1×1、深度為1的卷積層生成掩膜圖，掩膜圖與輸入圖像進行掩膜操作得到輸出結果。對掩膜圖計算最小包圍矩形，取出絕緣子并旋轉至水平送入后續故障檢測算法。

EAST模型損失函數定義為

(3)

式中：Ypre為模型預測的掩膜圖；Ygt為訓練數據真實的掩膜圖；ξ為防止分母為0的小正值。

2 基于Hu不變矩法的絕緣子故障檢測

對于輸出結果圖像，通過最小包圍矩形將其絕緣子單獨提取出來，對絕緣子進行故障檢測。傳統方法如模板匹配算法或特征點匹配算法，在不同場景下，由于其拍攝角度、拍攝距離及光照等因素影響，對不同絕緣子直接匹配相似度效果不好。故采用Hu不變矩逐片進行絕緣子相似度對比。

2.1 圖像預處理

為了提高圖像識別算法的精度，降低噪聲對絕緣子圖像輪廓提取的影響并使輪廓更加明顯，需要對圖像進行降噪和銳化的預處理操作。

本文采用中值濾波降噪法，其是一種常用的非線性平滑濾波器，原理是把數字圖像中一點的值用以該點領域中各點值的中值替換。其主要功能是讓周圍象素灰度值相差較大的像素改取為與周圍的像素值接近的值，從而消除孤立的噪聲點。中值濾波器不但能去除噪聲，而且能保護圖像的邊緣，從而降低圖像的失真度。

圖像銳化是指增強圖像邊緣及灰度跳變部分，以此使得圖像清晰。根據其算子的不同，圖像銳化操作也分為多類，現在普遍采用的是拉普拉斯算子。拉普拉斯銳化是根據圖像中某個像素的周圍像素到此像素的灰度跳變程度，它的依據是圖像像素的變化程度。當某鄰域中心像素灰度低于它所在的領域內其他像素的平均灰度時，此中心像素的灰度應該被降低；反之此中心像素的灰度應該被升高。以此來實現圖像的銳化處理。

拉普拉斯銳化圖像的具體原理如下

(4)

(5)

(6)

以上為一階微分法，能用來檢測圖像邊緣是否存在。

以下為二階微分法，即拉普拉斯算子可以確定邊緣的位置。

f(x+1,y)-f(x,y-1)

(7)

形式為式(7)的拉普拉斯算子的模板可用矩陣表示為

將算得的值替換原(x，y)處的像素值，可以找到類似邊界的地方，最后根據式(8)銳化圖像。銳化效果如圖2所示，可以看出銳化后圖像更為清晰，便于接下來進行輪廓提取。

圖2 銳化圖像

(8)

2.2 絕緣子輪廓檢測

絕緣子圖像經過上述預處理后，即可進行輪廓提取。先對圖像進行二值化操作，再對二值化圖片進行輪廓提取，判定黑白交接處為邊緣輪廓。由于相機對絕緣子拍攝角度的影響，對圖像進行拉伸處理，突出輪廓的弧度以便后續的輪廓相似度對比。圖像二值化的公式為

(9)

式中：r代表圖像像素點的灰度值；0表示最黑；255表示最白；A、B分別代表灰度值的兩個邊界閾值。二值化結果如圖3所示。

圖3 二值化結果

2.3 絕緣子單片輪廓定位

為了尋找到最佳的絕緣子各單片輪廓，對每次二值化邊緣檢測后的輪廓進行分析，設定單片輪廓大小和數量作為標定的輪廓數據，將檢測到的輪廓數據，即單片輪廓長寬和單片輪廓數量，與設定的值相比較，自動調節圖像二值化操作的閾值。A的初始值為60，B的初始值為255，此處的自動調節閾值是對A進行調節，使其值從60向250進行遞增變化，每次遞增步長值為1，直到檢測到符合要求的絕緣子圖像的單片輪廓。若未檢測到要求的輪廓，則降低輪廓數量要求，并重復上述方法進行輪廓檢測。如圖4所示，對于檢測到符合要求的絕緣子圖像的單片輪廓，保留其弧形區域，即圖4中的每片輪廓的左半邊區域，剩下的區域用直線段對保留的弧形區域首尾進行連接。

圖4 二值化邊緣檢測及輪廓提取結果

2.4 絕緣子輪廓相似度對比

對于輪廓數不足設定數量的輪廓圖，計算每片絕緣子輪廓質心及相鄰質心的距離。根據距離信息判斷絕緣子是否存在缺片故障。對于輪廓數滿足要求以及距離計算未發現異常的輪廓圖，進行相似度對比判斷絕緣子是否存在缺陷。

輪廓相似度對比的原理是基于圖像的7個Hu不變矩，對上述方法提取到的絕緣子單片輪廓保留結果，選取其中一片輪廓與其他輪廓兩兩進行相似度對比，得到一組數據并計算標準偏差，然后換一片輪廓與其他輪廓兩兩進行相似度對比，再得到一組數據并計算標準偏差，直到所有單片輪廓都與其他輪廓兩兩比較完，比較得到最大標準偏差。輪廓相似度對比所得值越大表示兩輪廓不相似程度越大。

矩是描述圖像特征的算子，它可用于圖像分析領域并用于圖像特征的提取。常見的矩算子可分為以下幾種：幾何矩、復數矩、旋轉矩和正交矩。其中幾何矩提出的時間最早且對它的研究最為充分。幾何矩主要表現了圖像區域的幾何特征，由于其具有平移、旋轉、大小等特性的不變特征，所以又稱其為不變矩。對于圖像的不變特征屬性，Hu教授在1962年提出了7個不變矩(簡稱為Hu矩)[15]。在圖像處理中，幾何不變矩可作為一個重要的特征對圖像進行比對等操作。

一幅數字圖像f(x，y)的二維(p+q)階矩定義為

(10)

式中：p，q=0，1，2，…。

相應中心矩定義為

(11)

歸一化(p+q)階中心矩定義為

(12)

可由以上公式推導出以下7個對縮放、平移、旋轉和鏡像都不敏感的二維不變矩集合及7個Hu不變矩。

φ1=φ20+φ02

(13)

(14)

φ3=(φ30-3φ12)2+(3φ21-φ03)2

(15)

φ4=(φ30+φ12)2+(φ21+φ03)2

(16)

φ5=(φ30-3φ12)(φ30+φ12)[(φ30+φ12)2-

3(φ21+φ03)2]+(3φ21-φ03)(φ21+φ03)·

[3(φ30+φ12)2-(φ21+φ03)2]

(17)

φ6=(φ20-φ02)[(φ30+φ12)2-(φ21+φ03)2]+

4φ11(φ30+φ12)(φ21+φ03)

(18)

φ7=(3φ21-φ03)(φ30+φ21)[(φ30+φ12)2-

3(φ21+φ03)2]+(3φ12-φ30)(φ21+φ03)

[3(φ30+φ12)2-(φ21+φ03)2]

(19)

對于得到的7個Hu不變矩，通過式(20)計算如A，B兩個輪廓之間的相似度，0為兩個輪廓完全相似，其值越大越不相似。選取其中一片絕緣子輪廓與其他輪廓進行一一對比相似度，得到一組輪廓相似度數據，對該數據按照式(21)計算標準偏差。

(20)

(21)

3 實驗結果與分析

3.1 基于EAST模型的絕緣子區域檢測

為了驗證基于EAST的絕緣子檢測模型的可靠性，采用實際鐵路拍攝的3 500張接觸網圖像為樣本集。將該樣本集隨機分為訓練集(2 000張)和測試集(1 500張)。選用ResNet-50作為特征提取網絡，運行環境為Intel Core i7-7700和NVDIA TITAN Xp，訓練階段迭代次數24 000次。

如圖5所示，檢測階段，待檢測圖像通過特征提取網絡提取多層級特征并進行特征融合，根據得到的融合結果預測掩膜圖，最后與待檢測圖像進行掩膜操作得到結果圖。

圖5 檢測過程示意

傳統的目標檢測方法對圖像一致性要求較高，高鐵接觸網圖像由于拍攝角度不同存在形變、拍攝距離不同存在多種尺度、光照條件不同及背景干擾等原因，導致傳統方法難以達到較高的精度。而EAST模型使用卷積神經網絡提取圖像由淺到深不同層級的特征，與傳統方法相比，對形變、多尺度等不同場景的適應性更強。圖6展示了本文模型對于正反兩種定位結構、單一/多目標、不同尺度、存在遮擋等情況下的檢測結果。

圖6 部分檢測結果

準確率評價標準為：預測絕緣子區域和絕緣子真實區域交并比超過75%即為預測正確，具體計算如式(22)所示。

(22)

在測試集1 500張圖像上，準確率達到了97.1%。除檢測精度以外，檢測速度也是衡量模型的一項重要指標。經過實驗，在本文運行環境下，基于EAST模型的絕緣子區域檢測算法檢測每張圖像的平均時長為0.37 s，基本達到了高鐵接觸網場景下實時檢測的要求。

從實驗結果可以看出，基于EAST模型的檢測算法較為魯棒，在不同場景下可以保證一個較高的檢測精度和較快的檢測速度，實現了高精度實時絕緣子區域檢測識別。

3.2 基于Hu不變矩法的絕緣子故障檢測

根據前文所述流程進行故障檢測，檢測步驟分為圖像預處理(降噪和銳化)，圖像二值化，提取絕緣子每片輪廓，逐片計算絕緣子輪廓的Hu矩，兩兩計算其Hu矩的相似度以及最大標準偏差，并與閾值進行比較，大于閾值則認為存在故障。

正常絕緣子輪廓提取結果如圖7(a)所示，其輪廓相似度標準偏差最大值為0.304，具體結果見表1，這里的數據是選取了第2片絕緣子輪廓與其他絕緣子輪廓一一對比相似度，可見其值均較小，其標準偏差也較小，因此可判定該絕緣子無缺陷。

圖7 測試圖像及輪廓提取

表1 輪廓相似度(標準偏差0.304)

如圖7(b)所示缺陷絕緣子，可以看到其第9片絕緣子片有缺損情況，對其輪廓圖像進行相似度計算，其輪廓相似度標準偏差最大值為0.661，具體結果見表2，這里的數據是選取了第8片絕緣子輪廓與其他絕緣子輪廓一一對比相似度，當與第9片絕緣子做對比時，其值過大，可判定第9片絕緣輪廓與所選第8片絕緣子輪廓不相似，絕緣子存在缺陷。

表2 輪廓相似度(標準偏差0.661)

如圖7(c)所示缺陷絕緣子，可以看到其自左向右第4片絕緣子有較嚴重缺損情況，其輪廓提取圖像中只包含10片輪廓，計算其輪廓間距見表3，可見編號為3的間距明顯過大，進一步確認絕緣子存在缺陷。

表3 絕緣子片間距

圖7(d)所示為正常絕緣子，其輪廓相似度計算結果見表4，其表面未帶有缺陷，標準偏差卻達到了較高的3.0。造成這樣結果的原因是該絕緣子圖像拍攝角度較正，對該絕緣子提取到的輪廓偏窄，細微的不同也會對相似度計算產生較大影響，從而引起誤判。

表4 輪廓相似度(標準偏差3.0)

如圖7(e)所示缺陷絕緣子，可以看到其第1片絕緣子片左側有臟污情況，其輪廓相似度計算結果見表5，標準偏差僅為為0.264。由輪廓提取圖可以看出，該缺陷對輪廓提取未造成影響。

表5 輪廓相似度(標準偏差0.264)

整個測試數據共選取了圖片1 050張，其中正常絕緣子1 000張，缺陷絕緣子50張。設定相似度數據的最大標準偏差閾值為0.42，超過0.42的為有缺陷，檢測結果見表6，誤報94張，漏報2張。分析誤報圖片，主要分為以下兩類：一是質量較低，圖像較為模糊，提取不到有效的輪廓信息；二是拍攝角度較正，絕緣子圖像提取到的輪廓較狹窄，稍有不同就會得到較高的相似度偏差，從而被誤判為缺陷。分析漏報的2張圖片，有以下特點：缺陷不在絕緣子片上，無法通過輪廓相似度進行區分。

表6 檢測結果統計

4 結束語

為解決高鐵接觸網絕緣子故障檢測問題，本文引入深度學習EAST模型，實現較為魯棒、快速、高精度的絕緣子定位。故障檢測階段，采用二值化邊緣檢測提取絕緣子每片輪廓，根據Hu不變矩進行相似度對比，通過相似度差異判斷絕緣子是否存在故障。本文提出的基于深度學習的定位方法較傳統方法性能有較大提升，故障檢測方法通過對同一絕緣子不同片相似度判斷絕緣子狀態，避免了接觸網圖像一致性較差的問題，為高鐵接觸網絕緣子故障檢測提供一種新思路。