基于平行圖像與深度學習的絕緣子目標檢測法

劉鑫月，陳 瑞，王坤峰，翟永杰

(1. 華北電力大學自動化系，河北 保定 071003；2. 中國科學院自動化研究所，北京100190)

1 引言

絕緣子是電力能源傳輸系統中的重要元件之一，它一端連接輸電導線，另一端連接高壓塔，起著必要的絕緣作用[1]。因此絕緣子需要承受超高的電壓和機械張力。由于其長期工作在室外風雪雨霧等惡劣的環境，極易發生例如掉片，自爆和閃絡等故障。這些故障將給電力電網的運行留下很大的安全隱患，因此及時檢查絕緣子的工作狀態十分重要[2]。

為了方便檢修人員及時對故障進行檢修，需要在無人機拍攝采集的圖像中定位絕緣子故障，而此工作的重點之一就是先定位絕緣子。由于傳統的人工分析處理絕緣子圖像數據需要良好資格和經驗豐富的人員，且由于圖像的數量龐大而十分耗時，也容易出現漏分、誤分現象，不利于后續絕緣子狀態的診斷。絕緣子材質、顏色、串數種類多，圖像背景十分復雜[3]，可能包含桿塔、線路等偽目標，拍照的角度也具有不確定性，如圖1所示。這些干擾也為實現絕緣子的自動檢測和定位加大了難度[4]。

圖1 無人機拍攝的絕緣子和非絕緣子圖像

目前，隨著目標檢測算法的不斷更新，通過學習大量圖像樣本的特征，實現絕緣子目標檢測已逐漸成為的研究趨勢。由于各個算法在絕緣子目標檢測中的應用并沒有統一的評價標準，因此本文根據研究需求，采用在目標檢測中較為成熟的、檢測精度相對較高的深度學習分類算法[5]，來實現絕緣子的檢測。

但是，由于目前國內很多有關絕緣子的圖像數據并沒有公開，因此圖像的數據量較少成為該研究的瓶頸之一。本文借鑒王坤峰等人的“平行圖像”理念[6]，通過對絕緣子圖像數據結構進行研究，建立了人工絕緣子圖像，并將真實絕緣子圖像與人工絕緣子圖像相結合，以實現數據量的擴充。根據數據量與數據結構，本文搭建了5層的卷積神經網絡，用于特征提取與分類。

2 數據準備

2.1 平行圖像

平行圖像是利用從實際場景中采集得到的真實圖像，通過人工圖像系統對真實圖像的特點進行解析和吸納，從而自動生成大量新的人工圖像數據。人工圖像系統的實現方法包括：圖形渲染、圖像風格遷移、生成式模型等。平行圖像為平行視覺研究提供大規模多樣性的圖像數據[6]。

借鑒這個理念，根據國家標準GB/T 7253-87《盤形懸式絕緣子串元件尺寸與特性》及GB1001-86《盤形懸式絕緣子技術條件》中規定的絕緣子結構和技術條件，運用3ds Max軟件對絕緣子各個部件的形狀、材質和顏色進行建模，生成符合研究需求的人工絕緣子圖像[7]，建立人工絕緣子圖像數據集，主要流程如圖2所示。

由于真實圖像中的復雜背景是影響絕緣子檢測的最大干擾，因此在建立人工絕緣子圖像數據集時主要采用了單色的純凈背景，以凸顯出絕緣子目標的主要特征，提升數據質量。根據材質的不同，絕緣子可以分為玻璃絕緣子、瓷質絕緣子和復合絕緣子，生成三類人工絕緣子圖像有1000余張，大小均為256×256。再結合由無人機拍攝采集的如圖1所示的真實絕緣子圖像6000張以及非絕緣子圖像5000張，共同構成訓練和測試所需數據集。建立的人工絕緣子圖像數據集中的部分數據如圖3所示。

圖2 人工絕緣子圖像生成過程

圖3 人工絕緣子圖像數據集示例

2.2 顏色預選

圖像區域的顯著性取決于其自身特征與周圍環境之間的差異[8]，在基于內容的圖像理解中具有重要的作用。絕緣子是具有顏色顯著特征的目標，且顏色特征是計算機語言中較為準確、直接和快速的特征之一，因此采用與人類視覺系統最相似的HSV顏色空間，能夠在一定程度上有效地將目標與背景分離開[9]。

深度學習分類目標檢測算法的第一步就是根據提取的特征生成候選區域。借鑒此想法，本文對真實絕緣子圖像進行顏色特征提取，并利用此特征實現目標與背景的分離，獲取的不同程度的凸顯目標的圖像即為經過顏色預選的圖像。

顏色預選的主要目的有兩方面：一是為了改善數據質量，二是為了實現目標檢測。其主要步驟是，首先經過大量的實驗與測試，獲得最合適的HSV顏色空間設定閾值，然后以這些閾值為權重，建立顏色預選的數學模型，最后把真實圖像數據集中的1000張絕緣子圖像代入模型求解，將滿足閾值的像素點決策到相應的顏色系中，則這些顏色系的圖像共同構成了不同程度的包含絕緣子候選區域的圖像和背景圖像共計8000張的顏色預選圖，其包含兩類：顏色預選絕緣子圖像和顏色預選非絕緣子圖像。各個顏色系對應的H、S、V變量的閾值設置如表1所示，其中紅色系在H的閾值有兩種情況。

表1 各顏色系對應H、S、V變量的閾值

經過上述的顏色預選處理，獲得的顏色預選絕緣子圖像和非絕緣子圖像，如圖4所示。

圖4 顏色預選獲得絕緣子和非絕緣子圖像

3 基于深度學習的目標檢測方法

3.1 構建卷積神經網絡

深度學習目標檢測算法常用的CNN架構都包含32層以上的網絡層數，訓練用的數據都是幾萬甚至幾十萬的數據量，而研究所用的絕緣子圖像數據量則是千量級的，如果直接送入這些深層網絡中訓練很容易出現過擬合的問題。因此，經過對數據結構與內容的分析，選擇Pytorch深度學習框架，構建了一個5層的卷積神經網絡，如圖5所示。網絡的輸入是進行重設大小的256×256的RGB圖像，通道數為3；網絡第一層卷積核大小為5×5，通道數為16；第二層卷積核大小為5×5，通道數為32；第三層卷積核大小為4×4，通道數為64；第四層卷積核大小為4×4，通道數為128；網絡的前四層卷積的步長s都設為1，每一層不僅包含卷積層，也均包含了一個大小為5×5的感受野，以及步長s為2的最大池化層；網絡的第5層為全連接層，輸出通道為2，即獲得分類的兩種結果。

圖5 卷積神經網絡架構

3.2 模型訓練

利用CNN對輸入圖像進行特征提取，從而獲得一批權值的過程稱為訓練模型。訓練后獲得的預測值會與真實值之間存在一定的差異，這個差異通常被定義為損失函數。訓練的目的就是通過梯度下降、權值更新和不斷的迭代，讓損失函數無限趨近于0，從而讓計算機獲得對輸入圖像較好的認知理解。對于圖像數據來說，最終目標是建立一個良好的分類網絡，區分出包含絕緣子目標的圖像。

3.2.1 公式化

首先定義輸入數據為

S={(Xn，Yn)，n=1，…，N}

(1)

其中Xn表示原始圖像數據，Yn表示圖像的對應二進制標簽，Yn={y(n)}，y(n)∈{0，1}，y(n)表示真實輸出值。

為了緩解梯度消失，節省計算量，使用了ReLU函數作為激活函數。它可以提升網絡的稀疏性，減少參數之間相互依存的關系，從而緩解過擬合的情況[10]。還在部分隱藏層中添加了dropout來使部分神經元失效，防止過擬合[11]。除此之外，又通過設置批次數為64來適當提高內存的利用率[12]。在卷積神經網絡的每一層，都會得到輸出如式(2)所示的預測值。

n=ReLU()

(2)

選擇交叉熵損失函數(Cross Entropy Loss)作為訓練模型的loss。由于選用的是Pytorch深度學習框架，所以其中集成的交叉熵函數包括了歸一化指數函數(Log Softmax)和負對數似然損失函數(NLL Loss)兩部分，因此在上面圖5的網絡架構中沒有添加softmax層。

交叉熵函數的計算公式為

(3)

(4)

等式(4)是成本函數J，表示在整個絕緣子圖像訓練集上的loss的平均值。通過學習參數W，使總體成本函數最小化。如下式(5)所示，通過標準(反向傳播)隨機梯度下降實現最小化目標函數。

(W)*=argmin(J(Y))

(5)

其中，(W)*表示使成本函數最小的權值集合。

3.2.2 訓練方案1-無遷移學習

本文采用的訓練方案如下：

1) 訓練1：使用真實的絕緣子圖像A和真實非絕緣子圖像B訓練搭建的CNN分類模型，達到一定訓練效果以后，獲得模型1；

2) 分類：用模型1將顏色預選后的8000張圖像進行分類，得到兩類圖像，隨機選取其中部分數據作為訓練集的一部分(1000張顏色預選的絕緣子圖像D和1000張顏色預選的非絕緣子圖像D1)；

3) 訓練2：隨機初始化參數，在A中加入人工絕緣子圖像C，在B中加入真實非絕緣子圖像B1，用該數據結構重新訓練CNN分類模型，獲得模型2；

4) 訓練3：隨機初始化參數，在A中加入經過顏色預選的絕緣子圖像D，在B中加入經過顏色預選的非絕緣子圖像D1，用該數據結構重新訓練CNN分類模型，獲得模型3；

5) 對比不同數據集結構的訓練效果，包括loss的變化曲線和準確率變化曲線。

其中，訓練集的準確率實時反饋給訓練網絡作為更新參數的參考，因此訓練集的準確率是用來評價訓練集上模型訓練的程度的。準確率計算公式如下

P=(TP+TN)/(TP+FP+TN+FN)

(6)

其中，TP表示被模型預測為正的正樣本，TN表示被模型預測為負的負樣本，FP表示被模型預測為正的被模型預測為正的正樣本樣本，FN表示被模型預測為負的正樣本。

3.2.3 訓練方案2-遷移學習

遷移學習屬于機器學習的一個研究領域。它專注于存儲已有問題的解決模型，并將其利用在其它不同但相關的問題上，其最大的優勢在于節省訓練時間。采用遷移學習檢驗本文方法的效果，實驗步驟如下所示：

1) 訓練1：同3.2.2中的1)，獲得模型1；

2) 分類：同3.2.2中的2)，獲得1000張顏色預選的絕緣子圖像D和1000張顏色預選的非絕緣子圖像D1；

3) 訓練2：使用遷移學習，將訓練1獲得的模型1參數作為訓練2的初始化參數。用A+C與B+B1的數據結構訓練模型1，獲得模型2；

4) 訓練3：使用遷移學習，將訓練1獲得的模型1參數作為訓練3的初始化參數。用A+D與B+D1的數據結構訓練模型1，獲得模型3；

5)對比不同數據集結構的準確率變化曲線。

由于是遷移學習，因此loss的下降變化不大，因此這里只討論不同數據集結構的準確率變化曲線，而不再討論其loss的變化曲線。

3.2.4 訓練數據集結構

如下表2是訓練方案中不同的模型所對應的訓練集結構、數據量和標簽，0表示正樣本，1表示負樣本。訓練方案1和訓練方案2均使用表3中的數據結構。

表2 不同訓練的訓練集數據量和標簽

3.3 模型測試

3.3.1 公式化

在測試期間，給定圖像集X，訓練后得到參數W*，獲得預測輸出如式(7)所示

=CNN(X，W*)

(7)

其中CNN(·)表示由CNN網絡產生的預測標簽，然后進一步聚合這些生成的標簽獲得最終的統一預測輸出。

測試數據是模型未學習過的，測試的準確率是用來評價模型的泛化能力的。

3.3.2 測試數據集結構

測試過程是對訓練方案1和訓練方案2獲得的模型進行測試，測試數據集均使用表3中的數據結構。

表3 不同測試的數據集結構

3.4 目標檢測

3.4.1 步驟

1) 顏色預選處理目標檢測數據集中的圖像；

2) 采用訓練方案1和2中效果較好的模型3對顏色預選后的圖像進行分類預測，預測標簽為“0”的數據即為顏色預選的絕緣子圖像；

3) 對2)中獲得的顏色預選的絕緣子圖像進行連通域檢測，并進行形態學閉運算和面積閾值選擇去除噪聲；

4) 獲得滿足閾值的絕緣子目標區域，記錄其最大外接矩形框的坐標，并在原圖進行標記。

目標檢測的效果是根據模型畫出的矩形框和標注的標準矩形框之間的重疊率來評價的，其示意圖如圖6所示。評價指標交并比(IOU)的計算公式如式(8)所示。

圖6 矩形框重疊示意圖

3.4.2 目標檢測數據集結構

目標檢測的數據集是模型在訓練和檢測中沒有用過的真實絕緣子圖像數據，數據量為100，該數據集需要標注標準矩形框來表示絕緣子在圖像中的準確位置，即記錄矩形框的坐標。

4 實驗結果與分析

4.1 訓練結果

4.1.1 訓練方案1-無遷移學習

圖7 訓練1、2、3中的loss變化曲線對比

計算對比3種不同數據集結構的模型訓練效果，其中loss在訓練過程中的變化曲線如圖7所示，3個模型在訓練集上的準確率變化如圖8所示，其中epoch是指訓練迭代的次數。從圖7(a)的趨勢線可以看出，模型2的loss在訓練過程中下降速度最快，最后收斂的程度與模型1相近。在最后階段，模型2的loss比模型1穩定一些；從圖7(b)的趨勢線可以看出，模型3的loss在訓練的前期下降速度較快，最后收斂的程度也與模型1相差無幾，雖然在訓練的中間階段速度不如模型1，但是在后期收斂時模型1的loss波動更大。

從圖8可以看出，模型2和模型3的準確率在訓練過程中上升的速度都比模型1 更快，在后期收斂的階段準確率也比模型1更高。

圖8 訓練1、2、3的準確率變化曲線對比

模型1和模型2的對比實驗結果表明，利用人工絕緣子圖像加入訓練數據集是可行的；而模型1和模型3的對比實驗結果表明，顏色預選處理對訓練的過程也有明顯的積極的影響。二者都可以提升訓練的效率，并且準確率也均有明顯提高。

4.1.2 訓練方案2-遷移學習

使用遷移學習后，計算對比使用3種不同數據集結構的模型訓練效果，其中3個模型在訓練集上的準確率變化如圖9所示。

圖9 訓練1、2、3的準確率變化曲線對比

從圖9(a)可以看出，由于使用了遷移學習，因此在訓練前期模型2的準確率就能達到較高的水平，由此可以推斷，在達到相同或者更高的準確率的前提下，模型2能夠有效的節省訓練時間；雖然在訓練后期二者準確率收斂程度相似，但是模型2的準確率在整個訓練階段的平均水平明顯超過模型1；從圖9(b)可以看出，針對模型3的訓練，在訓練前期，模型3的準確率也很高，而且在后期收斂階段模型3的準確率也明顯超過了模型1。

對比實驗結果證明，利用遷移學習進行訓練，也可以顯著提升模型的訓練效果，而且可以在達到相同性能要求的情況下消耗更少的訓練時間，提升效率。

4.2 測試結果

統一使用表3中的數據，測試兩個不同的訓練方案(未使用/使用遷移學習)獲得的模型，計算得到準確率和測試時間如表4所示。

表4 測試準確率和時間

由測試結果可以看出，在未使用遷移學習的訓練中，模型2和模型3的泛化能力較模型1均有所提升，測試時間也大大減少，說明人工絕緣子圖像的加入和顏色預選方案也可以有效提升模型的泛化能力。

而在遷移學習的過程中，模型2的準確率提升較大，但是時間沒有明顯提高，而模型3的測試時間雖然有所提高，但準確率提升不大，說明遷移學習方法具有可行性，但是對模型的泛化能力影響較小。

4.3 目標檢測結果

IOU代表著兩個框之間的重疊率，其值越接近于1代表檢測到的矩形框位置越準確。根據3.4.1所提的目標檢測步驟，進行目標檢測實驗，其中每個步驟的實驗結果如下：

1) 100張真實絕緣子圖像經過顏色預選處理后獲得100張顏色預選的絕緣子圖像和700張顏色預選的非絕緣子圖像；

2) 選用訓練后的效果較好的模型對混合數據分類后，在獲得的預測標簽為“0”的圖像中選取100張；

3) 對數據進行連通域檢測等處理后在標注了標準矩形框的原圖上標記出預測的矩形框并記錄矩形框坐標，如圖10所示，其中藍色框代表標注的標準矩形框，紅色框代表預測的矩形框；

圖10 目標檢測結果

4) 計算獲得的平均IOU為0.81，這表明通過該方法能夠較好的檢測出圖像中的絕緣子并獲得較準確的定位。

5 結論

本文介紹了一種平行圖像與深度學習相結合的絕緣子檢測方法。其中三個關鍵性改進是：

1) 利用平行圖像理念，建立人工絕緣子圖像數據集，突出絕緣子目標的主要特征，忽略背景及干擾，用于擴充訓練數據獲得了較好的效果；

2) 搭建了5層的CNN架構用于訓練模型，并采用了剝離實驗對不同的訓練方案進行了獨立研究與對比；

3) 對待檢測的絕緣子圖像進行顏色預選，一方面改進了數據集質量，另一方面也實現了絕緣子目標檢測。

通過實驗驗證，本文所提出的方法可以有效提升模型訓練效果，即loss和準確率收斂的更快，也更穩定。對于目標檢測，根據實驗的評估指標顯示，所提方法也可以較準確的檢測定位絕緣子，有助于進一步的絕緣子故障檢測，維護電網的安全運行。