基于深度學習和視覺語義關系的防振錘滑移目標檢測

安金鵬，王曉春

（新疆信息產業有限責任公司，烏魯木齊 830011）

0 引 言

長期穩定供電能夠保障國家經濟的發展以及居民的穩定生活，因此輸電線路的安全防護至關重要。國內外常見的電力導線斷股原因，主要是微風振動導致的線路疲勞，最終形成斷股。而防振錘的安放位置在保護電力導線中起著關鍵作用，因此對防振錘是否存在滑移異常檢測就顯得尤為重要。傳統人工篩檢方式，對于防振錘滑移目標的檢測成本高、效率低，并對大量檢測數據不能做出及時的處理。針對于此，國內外一些學者開始著手研究相關的機器視覺識別方法。判斷防振錘是否滑移，首先需要能夠識別出防振錘部件。關于防振錘部件的識別在國內外已有大量的研究資料。如：文獻［1］中提出對圖像的LBP特征、Haar特征及HOG特征進行組合，來識別防振錘所在位置。經驗證，精確度能夠滿足檢測要求。文獻［2］提出利用改進的Canny算法，對采集到的防振錘螺栓圖像進行邊緣提取后，利用改進的Hough變換，對防振錘緊固螺栓的框架和中心進行精確定位，從而完成防振錘部件的位置判斷，實驗結果表明，此方法非常可靠有效。文獻［3］中提出了一種基于深度學習的多特征融合檢測方法，該方法首先利用卷積神經網絡對防振錘進行訓練，隨后使用多個特征融合后的特征圖像識別防振錘。經實驗證明，此方法不僅能夠提高防振錘檢測精度，同時還提升了檢測速率。

綜上所述，雖然大量資料表明對于防振錘等相關部件的檢測取得了突破性的進展，但對于防振錘滑移異常診斷還未有后續研究。

本文結合前人經驗，提出一種基于深度學習和視覺語義關系的防振錘滑移異常目標檢測方法。首先基于Cascade R-CNN網絡訓練了多級聯的檢測器，實現對防振錘部件及其相關聯部件的檢測與定位。依據空間上下文信息，判斷所檢測目標間的語義關系。基于輸電線路相關規范，制定以下判斷規則：

（1）防振錘與其它部件或兩防振錘間相對距離小于規范時，判斷為防振錘滑移。

（2）當圖像中出現（≥2）個防振錘時，利用幾何約束關系及聚類分析算法實現異常判別。

最終依據上述制定的相應視覺語義判別規則及約束算法，結合Cascade R-CNN目標檢測方法，實現防振錘滑移異常判別。

1 防振錘滑移目標檢測算法

1.1 基于Cascade R-CNN的相關部件目標識別與定位

1.1.1 Cascade R-CNN簡介

CascadeR-CNN是目前兩階段目標檢測算法中表現較為優異的網絡，算法中提出了一種多階段目標檢測體系結構，即級聯R-CNN。級聯網絡由一系列經過提高閾值訓練的檢測器組成，檢測器是按順序訓練的，每個階段負責預測特定類別下的置信度分數給定的前景／背景閾值。由于在目標檢測時需要為每個目標實例分配一個類別標簽（如防振錘、線夾等），因此使用檢測器的輸出作為下一個檢測器的訓練集，這種方式能夠逐步提高假設質量，保證了所有檢測器的正訓練集大小相等，并使過度擬合達到最小化。

1.1.2 多尺度骨干網絡Res2Net

卷積網絡中的骨干網絡主要就是用于提取圖像不同通道中不同顏色的語義特征。例如，ResNet-50、ResNet-101、ResNeXt-101。目前常用的骨干網絡特征提取大多采用分層方式表示多尺度特征，而Res2Net則在更細粒度的級別上提高了多尺度表示能力。區別于利用不同分辨率的特征來提高多尺度的能力，Res2Net在更細粒度的級別上提供了多尺度表示能力。為了實現這個目標，Res2Net用一組較小的濾波器組替換了個通道的3×3濾波器，每個濾波器組都有個通道。

基本卷積模塊與Res2Net模塊之間的差異如圖1所示。圖1中，“*”代表卷積操作。經過1*1卷積后，將特征圖平均分成個用x表示的特征圖子集。與輸入特征圖相比，每個特征子集x具有相同的空間大小，但通道數為1。除外，每個x都對應一個的3×3卷積。此時，y為特征子集x與K（）的輸出相加，并與輸入K（）作用后的卷積結果。為了在增加的同時減少參數，網絡中省略了的3×3卷積。因此，y可以表示為：

圖1 基本卷積模塊與Res2Net模塊之間對比Fig.1 Comparison between the basic convolutional module and the Res2Net module

其中，∈｛1，2，，｝，K（）表示33卷積結果。

這些較小的過濾器組以類似分層殘差的樣式連接，用來增加輸出特征可以表示的尺度數量。具體來說，將輸入特征圖分為幾組，過濾器首先從一組輸入特征圖中提取特征，然后將前一組的輸出特征與另一組的輸入特征圖一起發送到下一組過濾器。重復上述過程，直到處理了所有輸入特征圖后為止。最后將來自所有組的特征圖融合，并發送到另一組1×1過濾器，以完全融合信息。所輸入的信息會經過不同的特征提取通道，每當其通過3×3過濾器時，等效感受野就會增加。這種先拆分、后融合的策略能夠使卷積更高效地處理特征，使網絡的特征提取能力更強大。

1.1.3 整體網絡結構

目標檢測架構如圖2所示。首先，將來自無人機巡檢時拍照的輸電線路檢測圖片輸入到Res2Net網絡進行目標特征提取；此外，在網絡NECK結構中還引入了FPN結構，在基本不增加原有模型計算量的情況下，大幅度提升了較小缺陷目標檢測的性能，FPN結構通過自上而下的路徑和橫向連接，將低分辨率語義的強特征與高分辨率語義的弱特征相結合，構建了具有更多層的特征金字塔信息，能夠獲取所檢測目標準確定位的低級信息和高級信息，使得特征更具有魯棒性，可有效提高較小目標的檢測精度，所構建的目標檢測網絡能夠極大地提升防振錘相關目標檢測精度，確保后續防振錘滑移目標判斷的正確性。

圖2 目標檢測網絡結構圖Fig.2 Target detection network structure diagram

1.2 防振錘與相關部件視覺關系

視覺關系是圖像中目標間的相互作用，存在于由多個物體組成的圖片中，而每個目標間的關系在語義上是相互關聯的。當分析一幅圖片時，視覺關系往往會作為已知的知識或經驗參與到分析過程中，幫助人們辨別事物。針對本文提出的問題，簡單來說，當需要判斷防振錘目標是否滑移時，只需要運用相關目標之間的關系，將目標所處的環境與姿態描述出來，說明物體之間語義關系，并將其轉化為特征信息輸入至神經網絡中即可。

圖3展示了防振錘可能出現滑移的多種姿態與位置變化情況。分析可知，圖3（a）中存在多線電纜時，會出現防振錘并排現象；圖3（b）中，防振錘與絕緣子相對距離超過標準安裝距離（或接觸），可判斷為防振錘滑移；圖3（c）中，線夾兩側防振錘相對距離超過標準安裝距離（或接觸），可判斷為防振錘滑移；圖3（d）中，防振錘與連接金具相對距離超過標準安裝距離（或接觸），可判斷為防振錘滑移。

圖3 防振錘位置與姿態Fig.3 The position and attitude of the vibration damper

其中，（，）為防振錘的圖像坐標；（，）為防振錘相鄰部件的圖像坐標；（）為圖像像素距離與空間距離變換的求解公式。

結合模型預測結果，本文利用位置關系描述防振錘與相關目標（絕緣子、連接金具、線夾）的空間關系，距離關系可直接判斷防振錘是否出現滑移異常。

2 實驗及分析

2.1 防振錘異常及相關部件的常規目標檢測方法

實驗訓練和評估模型所使用的硬件環境為Tesla V100-DGX Work Station，其中搭載了4塊NVIDIA Tesla V100 Tensor Core GPU。考慮到可編程性和靈活性，選擇Pytorch作為深度學習框架，并使用經過ImageNet-1000預訓練的模型，在輸電線路數據集上做遷移學習，隨機初始化其它層參數。使用Cascade-RCNN級聯網絡，訓練防振錘、線夾、連接金具、絕緣子四類目標。訓練過程中，判斷正負樣本的閾值分別設為0.5、0.6、0.7，輸入圖像訓練尺寸為（（1 200，600），（2 400，1 200）），學習率初始化為0.01。

本文所使用訓練集共有22 873張圖片，經過150 000輪迭代，選取最優模型在測試集上進行測試。測試分為2部分：

（1）使用7 600張測試集數據對絕緣子、線夾等相關部件進行測試。

（2）收集2 831張含有防振錘滑移異常與無異常的數據，驗證常規方式下Cascade-RCNN級聯網絡對防振錘滑移異常的檢測效果。

采用目標識別應用中常用的評價標準：精準率（）和召 回 率（），評估 算法 的有 效性。推導得到的公式分別如下：

其中，表示防振錘滑移目標被算法正確檢測的數量，表示被算法錯誤分類為防振錘滑移目標的數量；表示算法遺漏的防振錘滑移目標。

測試結果詳見表1。針對絕緣子、線夾等部件目標識別的測試結果顯示，Cascade-RCNN級聯網絡檢測效果顯著，能夠實現0.9以上的平均檢測精度，得到的召回率均在0.95以上，說明部件目標漏檢情況極少發生。然而，在對2 831張混合有防振錘滑移異常與無異常的數據進行驗證時，常規方式下Cascade-RCNN級聯網絡對防振錘滑移異常的檢測效果只能達到0.584的平均檢測精度，說明單純利用Cascade-RCNN級聯網絡進行目標識別，網絡對目標的形狀、輪廓、紋理、顏色等特征提取效果顯著，而對目標相對位置變化并不敏感，無法滿足輸電線路防振錘滑移異常的檢測需求。但Cascade-RCNN級聯網絡對相關部件識別效果甚佳，為后期的防振錘滑移識別工作提供了良好的基礎。

表1 常規目標檢測精度結果Tab.1 Model test results on common components

2.2 基于視覺語義關系的防振錘滑移識別

基于目標在語義上的相互關聯性，利用本文提出的目標檢測方法，通過最優模型判斷目標，并結合語義位置關系、距離關系，判斷在圖片檔距范圍內是否出現防振錘滑移異常。首先將部件識別結果及防振錘相關部件空間位置關系映射到向量空間，并通過距離約束，判定防振錘滑移異常。判斷過程如下：

（1）判斷存在防振錘目標的個數。

（2）判斷是否出現防振錘相關聯部件目標（如絕緣子、線夾、連接金具等）。

（3）當圖像中出現（≥2）個防振錘時，需利用幾何約束關系及聚類分析算法實現異常判別。將圖片中展示的二維空間，通過Cayley-Menger行列式提供的距離幾何約束，結合加權質心計算約束距離，進行判斷。

（4）若同時出現防振錘相關聯部件目標，還需計算出相鄰部件與防振錘之間的軸間距，并轉化為世界坐標，通過距離約束判定防振錘滑移異常。

基于此，又對研發出的算法流程做具體描述如下：

同樣使用2 831張混合有防振錘滑移異常與無異常的數據，對上述算法步驟進行驗證。在實驗中，擬將檢測所提算法的有效性，并對檢測結果進行了可視化分析，測試結果如圖4所示。由圖4可見，雖然防振錘滑移目標的形態位置變化較大、目標大小不一，增加了檢測復雜度，但加入視覺語義關系的檢測算法，檢測到防振錘滑移異常正確率卻非常高。算法精度測試結果見表2。表2中數據顯示，基于視覺語義關系的目標檢測算法在防振錘滑移異常中的表現很大程度上優于Cascade R-CNN級聯網絡。與其相比，基于視覺語義關系的防振錘滑移異常目標檢測，在召回率方面提升了38.4%，準確度方面提升了30.3%。基于視覺語義關系目標檢測方法的結果如圖4所示。分析可知，圖4（a）與圖4（c）中，為并排線路中防振錘出現滑移現象；圖4（b）中顯示防振錘滑移狀況非常嚴重，而且出現了碰撞現象；圖4（d）中，防振錘距離線夾部件小于標準安裝距離，也被判別為防振錘滑移。綜合上述可視化結果，本文所提算法在不同場景下對防振錘滑移異常檢測都得到不錯的效果。該模型能夠應對多種環境變化，滿足無人機巡檢的實際需求，具有很好的魯棒性和泛化能力。

圖4 防振錘滑移目標檢測結果Fig.4 Detection results of vibration damper sliding target

表2 算法精度測試結果Tab.2 Results of different algorithms

3 結束語

針對無人機輸電線防振錘滑移異常對線路帶來的危害，本文結合深度學習和視覺關系目標檢測，提出了一種基于Cascade R-CNN算法聯合視覺語義關系進行防振錘滑移異常檢測算法，能夠對輸電線路防振錘滑移異常進行自動識別定位。經巡檢圖像實踐測試，所提方法實現了防振錘滑移異常檢測且效果顯著，由此得到以下結論：

（1）本文提出的輸電線路中防振錘滑移目標的檢測方法，依據空間上下文信息，判斷所檢測目標間的視覺語義關系，并聯合Cascade R-CNN目標檢測算法及約束算法，實現了防振錘滑移異常判別。最終實驗結果表明，本文所提的算法與常規目標檢測算法相比在召回率方面提升了38.4%，準確度提升了30.3%，平均準確度為78.9%，能夠有效地檢測出3類防振錘滑移異常目標。

（2）對實驗結果進行了不同場景的測試與分析，所訓練模型能夠應對多種環境變化，滿足無人機巡檢的實際需求，具有很好的魯棒性和泛化能力。

（3）本文算法能夠及時監測輸電線路中防振錘滑移所引起的線路隱患，完成輸電線缺陷自主巡檢任務，有效地避免了輸電線中防振錘滑移造成的線路問題，具有較高的理論價值和實際應用前景。