基于改進PCL模型的輸電線路缺銷螺栓弱監督檢測方法

趙振兵 ， 丁潔濤

(1.華北電力大學電子與通信工程系， 保定 071003； 2.華北電力大學河北省電力物聯網技術重點實驗室， 保定 071003； 3.華北電力大學復雜能源系統智能計算教育部工程研究中心， 保定 071003)

輸電線路是中國新一代電力系統中最重要的部分之一，保障輸電線路的可靠性是能源互聯網和智能電網建設的重要內容[1]。在輸電線路中，螺栓用于連接各個部件，維持結構穩定。螺栓長期暴露于風吹、雨淋等環境中，會受到外力的拉扯產生晃動，從而導致螺栓銷釘脫落[2]。因此，定期進行輸電線路的巡檢，排查出缺銷螺栓，對電網系統的安全運行起到了至關重要的作用。

近些年，由于卷積神經網絡(convolutional neural networks, CNN)[3]能學習真實世界對象抽象視覺特征，這種特征具有泛化性,已被證明在許多視覺領域取得成功。基于深度神經網絡的目標檢測算法主要分為兩類：一類是以Faster R-CNN[4]為代表的基于區域建議的二階段檢測模型；另一類是以SSD(single shot detector)[5]和YOLO(you only look once)[6]為代表的基于回歸的一階段檢測模型。隨著深度神經網絡在目標檢測領域的成功，基于深度神經網絡的目標檢測模型也逐漸應用到輸電線路航拍圖像的檢測任務中。文獻[7]提出了一種螺栓視覺形狀的無監督聚類方法，并應用該方法建立了一個能夠學習視覺形狀差異的缺陷檢測模型。然后，在模型中采用了三種深度卷積神經網絡優化方法：特征增強、特征融合和區域特征提取，對區域特征進行回歸計算和分類，得到缺陷檢測結果。文獻[8]提出一種基于改進Mask R-CNN模型的電力場景目標檢測方法，利用遷移學習策略初始化主網絡參數，結合特征金字塔算法進行自上而下的特征提取，解決目標多尺度問題，引入拉普拉斯卷積層增強目標邊緣提取能力，提高低質量視頻檢測性能。文獻[9]提出一種基于YOLOv4的輸電線路關鍵部件實時檢測方法，利用自適應路徑融合網絡增強網絡的位置信息和語義信息的提取能力。文獻[10]提出一種將傳統方法與神經網絡相結合的方法進行輸電線路故障識別。首先利用經驗小波變換提取輸電線路的故障特征，再使用改進的學習矢量量化神經網絡識別故障類型。文獻[11]提出一種MobileNet-SSD目標檢測網絡，并將模型部署到了嵌入式設備上，測試結果顯示，在保持高精度檢測結果的前提下，檢測速度快了28倍。文獻[12]提出了一種將多尺度注意力和空間注意力相結合的輸電線路螺栓缺陷檢測方法，達到了增強螺栓特征和突出螺栓位置的效果。文獻[13]提出了一種基于DBSCAN(density-based spatial clustering of applications with noise)算法與FPN(feature pyramid network)相結合的螺栓缺陷檢測方法。DBSCAN算法充分地利用了螺栓目標結構的相似性，在FPN網絡中引入了先驗知識指導模型訓練，同時利用雙線性插值和卷積濾波方法進行螺栓特征的融合。

螺栓圖像具有目標小的特點，標注人員需要具備一定的專業知識。將全監督檢測模型應用于螺栓缺陷檢測，圖像的目標級標注是一個巨大的挑戰，會消耗大量的人力物力財力。

弱監督目標檢測的網絡基礎為多實例學習(multiple instance learning, MIL)[14]，隨著深度神經網絡在圖像處理領域取得顯著成果，將CNN與MIL 結合可以得更好地弱監督檢測性能。弱監督深度檢測網絡(weakly supervised deep detection networks, WSDDN)[15]于2017年提出，它是一種端到端的深度檢測架構，首先把在ImageNet[16]上預訓練好的深度卷積網絡作為特征提取器，特征圖和候選框輸入到空間金字塔池化(spatial pyramid pooling, SPP)[17]層得到候選框特征圖，經全連接層(fully connected layers, FC)得到的特征向量送入分類數據流和檢測數據流，兩個數據流進行內積合并與區域求和，得到類別分數，最后通過交叉熵損失函數指導模型的訓練。WSDDN為此后的深度弱監督模型提供了良好的基礎，在線實例分類提純(online instance classifier refinement, OICR)[18]弱監督深度檢測網絡提出了一種新穎的在線實例分類器細化算法，將 MIL和實例分類器細化過程集成到單個深度網絡中，在僅利用圖像級監督的情況下端到端地訓練網絡。區域聚類學習(proposal cluster learning, PCL)[19]弱監督檢測網絡在OICR的基礎上融合了聚類的思想，該方法認為空間上具有高重疊度的候選框被分組到一個集合中，同一集合中的不同候選框更有可能覆蓋同一實例的不同部分，可以將多個候選框的信息進行組合，找到最合適的候選框。文獻[20]針對弱監督目標檢測中在具有相同類別的對象簇中進行部分對象檢測和錯誤檢測的問題，提出了一種三重優化策略。首先，利用融合類激活圖生成某一類別的定位圖，這些定位圖用于修改從實例分類分支學習到的候選框，然后，利用了深度強化學習網絡以進一步細化建議，最后，將細化的邊界框反饋到實例分類網絡。細化操作使模型能學習對象的完整性并大大提高檢測性能。文獻[21]將弱監督檢測問題看作是缺少邊界框的目標檢測問題，提出一種偽Ground Truth挖掘算法，以在訓練數據中自動找到未標記實例的缺失邊界框，然后結合挖掘的偽Ground Truth和標記的注釋，以增量學習的方式來訓練一個完全監督的目標檢測器。文獻[22]提出了一種實例感知和上下文聚焦的端到端檢測框架，設計了一種實例感知自訓練算法和內存高效的順序批量反向傳播方法。

針對螺栓圖像和弱監督模型的特點，提出一種基于改進PCL(proposal cluster learning)模型的輸電線路缺銷螺栓弱監督檢測方法。首先，引入通道注意力機制，提取螺栓精細特征，充分挖掘特征圖中的螺栓位置信息；然后，對傳統分類損失函數進行加權和，平衡正負樣本，挖掘出困難螺栓目標；最后，融合全監督的多任務學習思想，修正預先得到的邊界框，提高定位準確度。僅利用圖像級標注的情況下，實現了缺銷螺栓檢測，并且改進后的PCL模型比基礎模型檢測性能有顯著提升。

1 改進PCL模型整體框架

本文方法的整體架構如圖1所示。輸入一個螺栓圖像，首先利用Selective Search[23]或Edge Box[24]算法生成大約2 000個候選框。然后將螺栓圖像輸入到主網絡得到特征圖，再經過通道注意力模塊輸出加權特征圖，突出螺栓目標特征。再把加權特征圖和預先得到的候選框輸入到一些帶有感興趣域池化(region of interest pooling, RoI pooling)[25]層的卷積層中，以針對每個候選框生成一個固定大小的卷積特征圖。之后，候選框特征圖被送入兩個全連接層以生成候選框特征向量集合。這些特征向量輸入不同的支路：第一個是 MIL 網絡，第二個是實例分類提純網絡，第三個是多任務學習網絡。MIL網絡又分為兩個支流，支流一為分類流，對候選框進行歸一化操作，輸出每個區域中各個類別的概率；支流二為檢測流，對類別進行歸一化操作，輸出每個類別在所有候選框中的概率，采用內積的方式將支流結果進行合并，再對區域求和，轉換為圖像級別的類別預測分數，利用加權交叉熵損失函數Lw指導多實例分類器的訓練，得到初步檢測結果；實例分類提純網絡包含具有相同結構的多級實例分類器求精網絡，前一級的輸出作為偽標簽來訓練下一級，并且第一級實例分類器將MIL網絡的輸出作為偽標簽。經過多級分類器細化，分類器傾向于選擇貼合度較好的框作為正實例，可以用作多任務學習的偽標注數據回歸量，多任務學習網絡就可以像全監督模型一樣進行分類和回歸。

2 研究方法

2.1 通道注意力

本文中對數據集中螺栓目標尺寸進行了統計，螺栓目標平均與原圖的寬比例為0.14，與原圖的高比例為0.15，面積占比為0.025，螺栓樣張如圖2所示。螺栓圖像具有目標小、視覺表示不明顯的特點，深度神經網絡提取螺栓特征過程中容易出現信息丟失、難以提取精細特征和螺栓位置檢測精度低的弊端。

為了解決這種問題，把主網絡生成的特征圖當作通道注意力網絡的輸入，生成加權特征圖。使模型抑制背景這種無關特征，突出螺栓特征，增強網絡提取位置信息的能力，從而提升模型的缺銷螺栓檢測精度。通道注意力機制如圖3所示，首先，利用全局平均池化將輸入的特征圖進行通道維度上的特征壓縮，每個二維特征H×W被壓縮為一個標量，得到1×1×C的向量。這個標量可以表征通道特征上的全局信息。

接下來一步是整個通道注意力機制的關鍵。為了建立特征通道間的依賴關系，生成每個通道的權重值，兩個全連接層可以隨著損失函數的優化去自動學習，學習到的參數即為每個特征通道的權重值，輸出和輸入特征同樣數目的權重值。第一個全連接層輸出1×1×C/r，r是一個縮放參數，本方法取值16，目的是為了減少通道個數從而降低計算量，再經過一個Relu層，輸出維度不變；第二個全連接層還原出維度為C的向量，再經過Sigmoid函數得到1×1×C的權重向量。如圖3中的第二個1×1×C向量，顏色深的區域表示需要突出的通道特征，顏色淺的區域表示需要抑制的通道特征。

圖1 改進PCL模型整體網絡結構Fig.1 The overall network structure of improved PCL model

圖2 螺栓圖樣Fig.2 Bolt image samples

圖3 通道注意力機制Fig.3 Channel attention mechanism

最后，將前面得到的歸一化權重通過廣播相乘的方式作用到物征圖對應通道上，完成在通道維度上的加權操作，形成加權特征圖。

2.2 加權損失函數

弱監督模型為了定位目標會利用Selective Search算法在每張圖像上產生大約2 000個候選框，一幅螺栓圖像中正樣本數量很少，剩余大量的候選框處于背景區域，這就導致了正負樣本極不平衡。此時，大量的易分類背景框會主導損失函數，使網絡把大量的迭代訓練花在簡單背景負樣本上，減少了對真正應該學習的螺栓目標的關注程度，導致模型不能充分學習螺栓特征，螺栓目標檢測效果差；同時，螺栓數據集中存在大量污漬、遮擋、陰影等困難樣本，大大增加了缺銷螺栓檢測任務的難度，數據集中困難樣本如圖4所示。

針對以上兩個問題，對傳統的交叉熵損失函數進行加權和，為正負樣本賦予不同的權值，控制正負樣本在損失值的占比，避免了模型把大量的迭代訓練在簡單負樣本上；同時大大降低易識別螺栓的損失值，保持難識別螺栓的損失值幾乎不變，以達到增大困難樣本總損失值比重的目的，使模型提高對困難樣本的關注程度，從而提高對螺栓的檢測能力。

圖4 困難樣本Fig.4 Hard examples

本方法定義參數pt為

(1)

式(1)中：pt為某一類的得分，值為0～1；y表示標注數據的真實類別；p表示經過激活函數后的輸出，值為0～1。

傳統的交叉熵損失函數為

L(p,y)=L(pt)=-lnpt

(2)

對于正樣本而言，輸出的概率值越大損失值就越小，對于負樣本而言，輸出的概率值越小損失值就越小。此時，模型的訓練消耗在大量的背景負樣本的迭代過程中，對于少數真正感興趣的螺栓目標卻難以學習。

加權交叉熵損失函數為

Lw=-α(1-pt)γlnpt

(3)

式(3)中：α表示正負樣本平衡系數，值為0～1；(1-pt)γ表示難易樣本調制系數。通過控制α的取值，控制正負樣本對總損失值的權重。當pt越大時，樣本越容易被分類，1-pt越小，再經過γ次立方后，此時就會大大降低易分類樣本的損失值；當pt越小時，樣本越不容易被分類，1-pt越大，再經過γ次立方后，此時難分類樣本的損失值也會降低，但是降低的幅度遠遠小于易分類樣本，增大了困難樣本損失值比重，挖掘出困難樣本。

2.3 多任務學習

邊框回歸是典型的全監督目標檢測器的必要組成部分，能夠減少定位誤差。適用于弱監督檢測模型的數據集沒有標注框以及框的類別，無法像全監督模型一樣對候選框進行回歸。

經過實例分類提純網絡后，分類器傾向于選擇精確度較高的候選框作為正實例，這可以作為多任務學習的偽Ground Truth的標注信息，多任務分支就可以像全監督模型一樣進行分類和回歸。

Lmtl=Lcls+Lreg

(4)

式(4)中：Lcls為分類損失函數；Lreg為邊框回歸損失函數。

對于Lcls，使用了ln損失函數，即

(5)

邊框回歸過程如圖5所示。

圖5 邊框回歸Fig.5 Bounding box regression

給定候選框P，找到一種映射關系f，得到回歸框G′，使G′無限接近偽Ground Truth，使用smoothL1損失函數進行優化得到映射關系f，邊框回歸損失函數表示為

(6)

式(6)中：參數ti表示回歸框的位置信息，參數vi表示偽標注數據里含有的位置信息，函數smoothL1(x)為平滑最小絕對值偏差損失函數，表示為

(7)

整個網絡的復合損失函數如式(8)所示，然后通過隨機梯度下降法對復合損失函數進行優化，以尋求到最優的參數，使得損失值最小。

(8)

3 實驗結果與分析

3.1 實驗環境

本文使用的實驗環境如表1所示。

表1 實驗環境Table 1 Experiment operating environment

3.2 數據與評價指標

實驗部分使用的輸電線路缺銷螺栓數據集中包含1 984張圖片，其中含有2 186個缺銷螺栓(pmb)和1 363個正常螺栓(nb)。以8∶2的比例將數據集隨機劃分為訓練集和測試集，其中訓練集1587張，測試集397張。因為本文是探究缺銷螺栓的弱監督檢測，所以在訓練時只提取了圖像類別信息作為訓練的輸入監督數據，以向量的形式表示每張圖片的圖像級標簽，如{1,1}表示這張圖像中有正常螺栓和缺銷螺栓兩類目標。以每個類別平均精確率(average precision,AP)和所有類別平均精確率(mean average precision,mAP)作為評價指標，在測試集上對模型進行檢驗。同時，平均定位準確率(CorLoc)作為定位準確度的評價指標，在訓練集上對模型進行檢驗。這是目前在弱監督目標檢測領域最常用的兩個評價標準。

3.3 模型訓練

實驗中采用隨機梯度下降(stochastic gradient descent, SGD)的優化方法對模型進行訓練，使用Selective Search算法生成候選框，并采用預先在ImageNet數據集上訓練好的VGG16作為本文提取特征主網絡。在訓練過程中，采用了4幅圖像的小批量大小，總的迭代次數為75 000，并在最初的55 000迭代中將學習率設置為0.001，然后在接下來的20 000迭代中將學習率降低到0.000 1。動量和權重衰減系數分別設置為0.9和0.000 5。對于數據增強，使用五種圖像比例，即{480，576，688，864，1 200}，將最短的一側調成成為其中一個比例，以及水平翻轉來增強訓練和測試數據。

3.4 不同NMS閾值實驗分析

非極大值抑制(non-maximum suppression，NMS)[26]是目標檢測領域中重要的一步，用來去除冗余的檢測框，保留得分最高的檢測框。對不同NMS取值下檢測精度進行實驗，實驗結果如表2所示。

當NMS取值為0.2、0.5和0.6時，正常螺栓和缺銷螺栓的AP和mAP均明顯小于NMS為0.3和0.4時的AP和mAP。雖然NMS為0.3時的缺銷螺栓AP比NMS為0.4時低0.1，但是正常螺栓的AP和mAP分別高出0.4和0.1。綜合以上，選取NMS取值為0.3，后續的實驗均以0.3為基礎進行研究。

表2 NMS對檢測精度的影響Table 2 Influence of NMS on detection accuracy

3.5 通道注意力實驗分析

引入通道注意力機制后模型的檢測精度和定位精度的對比如表3和表4所示，mAP提升了2.8%，缺銷螺栓的AP提升了1.1%，CorLoc提升了3.1%，缺銷螺栓的定位精度提升明顯，提升了5.3%。說明了通道注意力能增強螺栓目標特征，充分挖掘出螺栓的位置信息，彌補了因目標過小而導致的螺栓深度特征提取過程中容易出現信息丟失的不足。

通道注意力對可視化特征圖的影響如圖6所示，左側列為原圖，中間列為微調后模型可視化特征圖，右側列為用通道注意力訓練后得到可視化特征圖。通過對比得到，微調后模型的噪聲較多，引入通道注意力后得到的加權特征圖能抑制背景特征，突出目標區域特征。因此，噪聲較少，且定位更準確。

表3 引入通道注意力前后檢測精度比較Table 3 Comparison of detection accuracy before and after introducing channel attention

表4 引入通道注意力前后定位精度比較Table 4 Comparison of location accuracy before and after introducing channel attention

圖6 引入通道注意力前后可視化特征圖對比Fig.6 Comparison of visualized feature maps before and after introducing channel attention

3.6 加權損失函數實驗分析

加權損失函數中的α和γ的取值會對模型訓練過程產生影響，從而導致檢測性能的差異。α和γ聯調下模型檢測的mAP如表5所示，可以看出當α=0.25、γ=2時模型的mAP最高，比微調后的模型提升了13.1%。因此，合理地設置α和γ的取值對模型的檢測效果有一定提升。

損失函數改進前后分類損失值隨迭代次數增加的變化曲線如圖7所示。通過對比可見，在迭代次數為0～10 000時，加權損失函數曲線變化圖比改進前更陡，說明了改進后的損失函數，減少了大量背景負樣本對損失值的貢獻，增加了正樣本在損失值中的占比，挖掘出困難螺栓樣本，提高了模型對真正需要學習的螺栓目標的關注程度，增強了識別螺栓的能力。另外，損失函數改進前分類器在迭代次數33 000時達到收斂，損失函數改進后分類器在迭代次數28 000時達到收斂,說明損失函數改進后不僅收斂速度更快而且檢測性能有了顯著提高。

在通道注意力的基礎上聯合加權損失函數進行了實驗，實驗在α=0.25和γ=2條件下進行。模型改進前后檢測精度和定位精度的對比如表6和表7所示。通過對比，檢測精度和定位精度都有顯著提升。缺銷螺栓的檢測效果提升最明顯，AP值提升21.2%，定位精度提升27.6%。可以驗證，兩種方法不論單獨使用還是聯合使用均能提升模型的檢測性能。

表5 不同α和γ取值對檢測精度的影響Table 5 Influence of different α and γ values on detection accuracy

圖7 損失函數改進前后分類損失曲線對比Fig.7 Comparison of classification loss curve before and after improvement of loss function

表6 loss改進前后檢測精度比較Table 6 Comparison of detection accuracy before and after loss improvement

表7 loss改進前后定位精度比較Table 7 Comparison of detection accuracy before and after loss improvement

3.7 多任務學習實驗分析

改進后的PCL模型(注意力+加權損失函數+多任務學習)、微調后的PCL模型、OICR(online instance classifier refinement)、OICR+多任務學習和文獻[16]在測試集上的檢測結果對比如表8所示。從表8可以看出，使用通道注意力、加權損失函數和多任務學習訓練模型后，PCL模型對測試集的檢測mAP達到了45.0%，并且正常螺栓、缺銷螺栓的檢測AP也都遠高于其他弱監督檢測模型。相比于進行參數微調后的PCL模型，正常螺栓的檢測AP提升了25.0%，缺銷螺栓檢測的AP提升了25.6%，mAP提升了25.4%。這是由于通道注意力機制的引入使模型能增強小目標深度特征，挖掘出特征圖中隱含的位置信息；對交叉熵損失函數進行加權和，減少了大量背景負樣本和易分類樣本的損失占比，提高了模型對真正需要學習的螺栓目標的關注程度；多任務學習網絡利用學習到候選框到偽Ground Truth之間的映射關系，修正預先得到的邊界框，進一步提高模型的定位能力。同時從OICR和OICR+多任務學習的檢測結果對比，也可以驗證多任務學習對提升缺銷螺栓弱監督檢測能力的有效性。

表8 不同模型的檢測性能對比Table 8 Comparison of detection performance among different models

3.8 實際檢測效果對比

對模型改進前后在測試集上的實際檢測效果進行了對比，測試時改進后模型IoU(intersection over union)閾值為0.8，改進前模型IoU閾值為0.4。模型改進前后對小目標樣本檢測結果對比如圖8所示，模型改進前后對困難樣本的檢測效果對比如圖9所示，改進后模型部分檢測結果如圖10所示。

通過圖8中的對比可見，微調后的模型得到的檢測框非常粗糙，只能檢測出目標的大概位置，圖像中存在多個目標時，容易出現漏檢的情況。改進后的模型得到的檢測結果要明顯好于微調后的模型。檢測框與螺栓的貼合度好，而且漏檢的情況改善明顯。

通過圖9中的對比可見，微調后的模型在污漬樣本上的檢測框精確度低，在遮擋和陰影樣本上均出現了漏檢的情況。改進后的模型在污漬樣本上得到的檢測框貼合度好，能精確地檢測出被遮擋目標，雖然在陰影樣本上的檢測框不夠精準，但是減少了漏檢的現象。

圖8 小目標樣本檢測效果對比Fig.8 Comparison of detection effect on small target examples

圖9 困難樣本檢測效果對比Fig.9 Comparison of detection effect on hard examples

圖10 測試集上部分檢測結果展示Fig.10 Display of some test results on the test set

4 結論

為了減少目標級標注成本，針對螺栓圖像和弱監督模型本身的特點，提出一種基于改進PCL模型的輸電線路缺銷螺栓弱監督檢測方法，得出以下結論。

(1)通道注意力的引入能突出螺栓特征，增強模型提取位置信息的能力，解決了螺栓特征表達不明顯的問題，提升了小目標檢測的檢測性能。

(2)通過對交叉熵損失函數進行加權和，提高了正樣本在損失值中的比重，挖掘出困難螺栓樣本，使模型在訓練過程中把更多的關注度放在螺栓上，提高模型對螺栓的學習能力。

(3)多任務學習思想使模型能學習到候選框與偽Ground Truth之間的映射關系，修正預先得到的邊界框的位置和大小，進一步提升定位準確度。

通過對比實驗，不論與微調后的模型相比，還是與其他模型相比，改進后PCL模型都表現出更優異的檢測性能。