融合共現推理的Faster R-CNN輸電線路金具檢測

翟永杰，楊旭，趙振兵，王乾銘，趙文清

（1. 華北電力大學 控制與計算機工程學院，河北 保定 071003; 2. 華北電力大學 電氣與電子工程學院，河北 保定 071003）

近年來，隨著電網高速發展與全面覆蓋，輸電線路作為電力傳輸中的核心系統，其穩定運行對電網的安全有著至關重要的影響[1-2]。其中，金具作為輸電線路的重要附件，起到了固定、防護與接續以及維持整個線路穩定運行的作用[3-4]。由于金具的工作環境往往處在復雜惡劣的野外環境，極易發生銹蝕、變形、破損等缺陷，因此對輸電線路進行定期巡檢將大大減少輸電線路故障的發生[5]。

隨著數字圖像處理與無人機監控技術的發展，基于航拍圖像處理的輸電線路金具巡檢技術已成功應用[3]。目前常用的方法可以分為3類：基于特征描述的算法、基于經典機器學習的算法和基于深度學習的算法。其中，基于特征描述的算法主要利用形狀[6-7]、邊緣[8]、輪廓[9-10]等形態學特征，或圖形基元[11]、共生紋理[12]等手工特征實現對防振錘、絕緣子、間隔棒等輸電線路部件的特征提取與識別，在實際應用中往往會受到成像條件、外界環境等因素變化的影響，導致金具的識別可靠性不高，難以滿足工業應用要求。基于經典機器學習算法的金具識別往往通過傳統特征提取方法與經典線性分類器相結合的方法[13-15]完成金具識別任務。相比于最初的特征描述方法，機器學習算法在一定程度上提高了可靠性，但模型受到人工構建的限制難以無法深度挖掘樣本特征，在識別的準確率上仍有很大的提升空間。隨著深度學習在公開數據集中的流行與發展[16]，基于深度學習目標檢測算法的金具定位與檢測研究得到了國內外研究學者的廣泛關注，如文獻[17]結合多顯著性目標檢測技術與邏輯判斷對輸電線路金具航拍圖像實現目標檢測；文獻[18]結合輸電線路金具的特征，使用深度可分離卷積與多尺度特征融合方法實現絕緣子、懸垂線夾、防震錘三類部件的識別與檢測；文獻[19]結合RFB模型與Focal-loss損失函數一定程度上緩解了絕緣子樣本不平衡問題，提高了檢測速度與準確率；文獻[20]采用ResNet網絡對SSD目標檢測算法進行改進，完成了較高檢測精度與置信度的絕緣子任務。然而，上述工作僅是針對輸電線路金具本身特性對目標檢測模型進行適用性應用與改進，未能將模型與電力領域業務知識有效融合。同時，受限于金具工作環境的特殊性，金具數據集往往存在嚴重的樣本不平衡問題，對于某些樣本較少的金具，單一的深度檢測模型不能準確地對關鍵部件進行檢測。

為促進深度學習模型與電力領域業務知識有機融合，緩解金具樣本間樣本不平衡問題，本文深入研究輸電線路金具結構化組合規則，結合輸電線路航拍圖像構建多種金具間的共現矩陣，以Faster R-CNN模型作為目標檢測基礎框架，利用表達金具組合規則的共現矩陣作為先驗指導，設計共現推理模塊并嵌入目標檢測模型中，進一步提高了模型檢測的準確性，為輸電線路金具運行狀態的智能檢測提供新的思路。

1 研究背景

在輸電線路中多種金具的組合結構具有一定的規則性[21]，如懸垂絕緣子串系統中，從低壓側到高壓側間金具排列結構由絕緣子與均壓環和U型掛環與掛板、聯板依次連接，最終通過懸垂線夾與高壓側導線相連；而用于避免導線舞動幅度過大導致線路跳閘的重錘，也上接均壓環、下連懸垂線夾，通過這樣的連接方式保證重錘安全、有效地增加絕緣子串垂直荷重。輸電線路常見金具組合結構如圖1所示，其中圖1(a)和圖1(b)分別展示了輸電線路懸垂絕緣子結構與防舞動結構的部分示例。由圖可知，目前輸電線路中金具的組裝結構較為固定，具有豐富經驗的巡檢工人只需要通過組裝結構就可以判斷出被遮擋金具的大致位置。然而，當前的深度檢測算法僅對圖像中的物體進行獨立檢測，沒有有效利用目標之間的相互關系。

圖 1 輸電線路常見金具組合結構示例Fig. 1 Examples of common hardware combinations in transmission lines

同時，由于輸電線路工作環境的復雜多變，常用金具種類繁多，可分為線夾、連接金具、接續金具、防護金具、拉線金具、接觸金具、母線金具等多個粗粒度類別，每一大類下還有眾多細粒度類別。由于多種金具的運行環境與作用各不相同，因此在輸電線路中多個金具的組合結構所需數量也往往各有不同，如提包式懸垂線夾常用于多個組合結構中連接金具與導線，使用數量與頻率都比較高；而用于非直線桿塔跳線的并溝線夾，因其承擔任務的特殊性，所以應用數量與頻率較少。因此，在輸電線路航拍圖像金具數據集中，會出現數據不平衡和長尾分布的問題。圖2展示出本文所用金具檢測數據集中各個金具的標注框在整個數據集的分布情況，其中數據集共含金具14種，標注框9 101個。可以看出，各個金具標注框數量依次降低，且前5種金具標注框數量占整體標注框數量70%以上，呈現出非常嚴重的長尾分布問題。然而當前深度學習算法往往是基于數據驅動的，面對缺乏大量樣本的混淆類別與長尾數據，性能會有很大下降。

圖 2 金具檢測數據集中標注框數量分布Fig. 2 Quantity distribution of bounding boxs in fittings detection dataset

物體之間的關系可以幫助提高物體識別能力，這在人類常識上已經得到了很好的認識[22-24]?，F有通用目標檢測模型由于多類目標檢測缺乏共性的結構性描述，因此大多還是針對每個物體單獨進行檢測，這種相對獨立的檢測模型僅僅利用了待檢測物體本身的特征，每種物體的數據集數量和質量對檢測結果具有很大的影響。而在輸電線路金具目標檢測場景中，輸電線路金具具有較高規則性的組裝結構特點，通過對金具組裝結構特點進行分析，挖掘相應關系信息為目標檢測進行輔助判斷以解決數據長尾問題。

為了有效利用金具間固有的連接結構，將輸電領域業務知識與深度學習目標檢測模型相融合。本文提出采用共現矩陣[24-27]作為金具目標結構性信息的表達方法，設計了描述多類金具間共現關系的推理模塊并嵌入Faster R-CNN模型中，實現了融合金具目標結構關系的深度目標檢測模型。

2 Faster R-CNN模型

Faster R-CNN算法[28]自2015年由Ren等提出后受到了目標檢測領域的廣泛應用。相比于單階段的SSD(Single Shot MultiBox Detector)[29]，YOLO(You Only Look Once)[30]算法，二階段算法結合大規模數據集與深度檢測框架的優勢，得到的檢測結果具備較高的檢測精度與泛化性能。Faster R-CNN算法創新性提出區域建議網絡(Region Proposal Network, RPN)，通過端到端的方式解決了R-CNN[31]、Fast R-CNN[32]檢測算法中候選框生成耗時問題，極大提高了雙階段檢測算法的效率。

Faster R-CNN算法的基本框架如圖3所示，主要由卷積神經網絡、RPN網絡、感興趣區域池化單元(region of interest pooling, RoI Pooling)以及結果輸出單元4部分組成。

圖 3 Faster R-CNN檢測框架Fig. 3 Faster R-CNN detection framework

1)卷積神經網絡：利用一系列卷積、池化、非線性模塊的組合，從淺至深提取輸入圖像的多通道特征并形成圖像特征圖(feature map)。

2) RPN網絡：通過預設尺寸與比例的多種錨框進行特征圖滑動并生成多個候選框，采用非極大值抑制(non-maximum suppression, NMS)分析并篩選出Nr個目標候選區域。

3) RoI Pooling：將每個目標候選區域均勻分成n×n個圖塊并進行最大值池化計算，得到固定尺度的特征圖候選區域向量。

4)結果輸出單元：將步驟3)得到的特征向量輸入全連接層，判斷特征圖候選區域的類別以及準 確位置。

3 融合共現推理的Faster R-CNN

3.1 共現概率矩陣構建

由圖1可知，輸電線路金具的組裝連接呈現出結構化、固定化的特點，因此屬于同一連接結構的金具往往會在同一幅航拍圖像中共同出現。在大多數應用中，相關關系是預先定義的[22-23,27]。本文通過數據驅動的方式構建共現概率矩陣，即通過挖掘標簽在數據集中的共現模式來定義標簽之間的相關性。

本文以條件概率P(Ly|Lx)的形式對標簽相關性進行建模，其中P(Ly|Lx)表示當標簽Lx出現時標簽Ly出現的概率。如圖4 所示，P(Ly|Lx)與P(Lx|Ly)并不相等，因此共現矩陣是非對稱的。

為了構建金具檢測數據集的共現矩陣，本文首先計算了訓練集中每一圖像中金具標簽成對出現的次數，得到共現次數統計矩陣H∈RC×C其中C表示金具類別數，Hxy表示標簽Lx與標簽Ly在同一張圖像中出現的次數，Hxx即對角線元素數值表示所在金具種類在訓練集圖像中出現的次數。然后通過行歸一化得到共現概率矩陣P∈RC×C，如式(1)所示：

圖 4 成對標簽間的條件概率Fig. 4 Conditional probability between pairs labels

根據式(1)在金具檢測數據集中計算得到的共現如圖5所示，其中每一行金具類別為前文所述標簽Lx，每一列金具類別為前文所述標簽Ly。可以看出，當聯板在一張圖像中出現時，U型掛環、掛板、提包式懸垂線夾等金具出現的概率相應增大；同樣的，與重錘共現概率較大的金具分別是提包式懸垂線夾與均壓環。該結論與金具組合結構一致，可知共現概率矩陣能夠有效表達標簽間的共現關系，有利于進一步將輸電線路金具組裝結構與深度學習模型進行合理融合。

圖 5 共現概率矩陣生成圖解Fig. 5 Cooccurrence probability matrix generation diagram

3.2 共現推理模塊

為融合輸電領域業務知識與深度學習模型，通過共現概率矩陣形成共現推理模塊嵌入Faster R-CNN算法，本文結合圖學習方法，通過學習共現概率矩陣中各個種類金具間的相關關系并映射計算共現概率關聯作為共現圖的鄰接矩陣，通過Faster R-CNN算法提取的Nr個候選區域特征向量 作為共現圖的輸入特征，通過自學習的變換權重矩陣作為共現圖傳播的權重，完成共現圖信息傳播并得到增強知識特征，與原有候選區域特征級聯后送入邊界框回歸層與分類層，計算類別與位置的最終結果，算法流程圖如圖6所示。

圖 6 本文檢測算法流程圖Fig. 6 Flow chart of detection algorithm for this article

3.2.1 共現圖鄰接矩陣

參照圖推理技術，本文所設計的共現推理模塊通過候選區域特征與共現關聯等概念實現共現圖信息傳播與深度模型融合。首先本文通過Faster R-CNN算法所提取的Nr個具有固定特征維度的特征圖候選區域向量共現圖中結點N與輸入特征X進行定義，其中Nr為Faster R-CNN算法提取候選目標數量，D為每個候選目標區域的特征維度，ε和W分別為圖的鄰接矩陣與傳播權重。根據特征圖候選區域向量f的維度，本文使用Nr個視覺特征作為圖傳播結點的輸入特征X，即可得到Nr個圖傳播結點

對于共現圖鄰接矩陣，本文采用有監督的方式將金具結構性特征通過共現概率矩陣與目標檢測模型進行融合。計算過程如下所述：

1)為保證能夠有效利用預訓練的共現概率矩陣P中的信息并嵌入目標檢測模型形成端對端網絡，本文定義共現候選圖表示C類目標種類到Nr個目標結點及其先驗邊權的共現關系映射矩陣。在訓練過程中，當我們知道每個區域的真實類別時，兩個區域節點的邊權V是按照P中對應真實類別的共現概率映射的，即這種利用區域結點真實樣本的顯式映射將確?？煽康墓铂F信息提取，為后續共現圖鄰接矩陣的有監督學習提供有力保證。

式中：MLPQ表示給定共現候選圖Q情況下通過MLP學習的矩陣參數；α(·) 表示對于兩兩結點的輸入特征 (fi,fj) 進行L1范式計算的結果。對于給定不同的共現候選圖Q， M LPQ通過可學習參數利用兩兩視覺特征的差異形成不同結點間的不同邊緣關系連接，從而實現個性化知識推理。

3.2.2 基于圖推理的特征挖掘

最后，將原始視覺特征f與增強特征f′級聯，得到融合共現推理模塊的聯合特征，輸入到Faster R-CNN算法的結果輸出單元，完成類別分類與位置框回歸，得到最終結果。聯合特征計算流 程圖如圖7所示。

圖 7 聯合特征計算流程圖Fig. 7 Flow chart of joint feature calculation

4 實驗結果及分析

本文選用金具檢測數據集包含預絞式懸垂線夾、提包式懸垂線夾、壓縮型耐張線夾、鍥型耐張線夾、掛板、U型掛環、聯板、并溝線夾、防震錘、間隔棒、均壓環、屏蔽環、重錘、調整板等14種金具，其中訓練集與測試集樣本圖像分別為1 092和363張，數量比例為3∶1，共包含金具目標數9 101個。

本文所述模型采用NVIDIA 1080Ti專業加速卡進行訓練與測試；采用的操作系統為Ubuntu16.04.6 LTS，利用CUDA10.0加速訓練；使用的計算機語言為Python3.6，網絡開發框架為Pytorch。為了驗證共現推理模塊的有效性，以Faster R-CNN作為基礎框架進行改進。本文采用目前目標檢測模型中常用的評價指標平均精度均值(mean average precision, mAP)對模型進行評估，通過度量目標檢測框與真值框間的交并比(intersection over union,IoU)計算各類目標平均精度(average precision,AP)，以所有類目標的AP平均值作為目標檢測模型的最終評價指標。

表1給出了融合共現推理模塊前后的金具檢測的AP值結果，所用模型的batchsize為1，學習率為0.002，學習率衰減為9，最大迭代次數為20?？梢暬Y果如圖8所示，其中x軸為各個金具的類別，y軸為每一類金具檢測的AP值，藍色柱為Faster R-CNN模型檢測結果，紅色柱為融合共現推理模塊后檢測模型結果，色柱上方數字為融合推理模塊后檢測AP值的提升情況，金具種類按照AP提升數值從左至右降序排列。

表 1 融合共現推理模塊前后的金具檢測結果Table 1 Fitting detection results before and after integrating co-occurrence reasoning module

由圖8可以看出，融合共現推理模塊對絕大多數金具都具有較高的提升，比較圖4可知，鍥型耐張線夾、壓縮性耐張線夾、并溝線夾、預絞式懸垂線夾等AP值提升較大的金具與其他金具間共現關系較為密切，且該4類金具的目標樣本數量僅占數據集內總樣本數量的8.03%。然而，均壓環、提包式懸垂線夾等金具的AP值并沒有提高，甚至有所下降，其原因在于：這些金具往往在多種結構中都有應用，因此共現概率差別較小。綜上可知，融合共現推理模塊的目標檢測模型可以有效利用金具間的固定結構關系，通過共現關系將輸電領域業務知識嵌入到目標檢測模型之中，降低了對數據集樣本的數量要求，能夠有效緩解輸電線路航拍數據集的樣本不平衡與長尾分布問題。

為全面評估融合共現推理的目標檢測模型性能，本文在保證超參數相同的情況下比較了SSD512[29]、Faster R-CNN[28]、RetinaNet[33]以及本文算法的模型性能，如表2所示。

圖 8 金具檢測可視化結果Fig. 8 Visual results of fitting detection

表 2 檢測方法性能比較Table 2 Performance comparison for detection methods

由表2可知，融合共現推理模塊后的Faster R-CNN模型相比于基線模型檢測性能mAP提升了6.56個百分點，與其他算法相比，對于采用V GG16作為骨干網絡的SSD算法或ResNet101作為骨干網絡的RetinaNet算法仍有較高提升。

圖9給出了融合共現推理模塊前后的Faster R-CNN模型的定性可視化結果?？梢钥闯觯瑘D9(a)中基線模型雖然檢測出防震錘，但漏檢了U型掛環與提包式懸垂線夾，同樣的，圖9(b)中基線模型漏檢了重錘上側與絕緣子相連的均壓環，在圖9(c)中基線模型誤將遠處背景的棚架檢測為屏蔽環。而在圖9(d)、(e)、(f)中，融合共現推理模塊的Faster R-CNN模型檢測結果對這些問題均有了很好的改善。結合圖4可知，當防震錘出現時，U型掛環與提包式懸垂線夾出現頻率往往較高，并且防舞動結構中重錘與均壓環存在著較為固定的結構性連接，在共現模型輔助信息的判斷下，這些漏檢問題都得到了改善。同樣的，用于引導避雷器外泄電流的屏蔽環與壓縮型耐張線夾、掛板、U型掛環等金具連接，與圖9(c)中重錘、提包式懸垂線夾等金具關聯不大，因此融合共現推理模塊能夠有效利用金具間共現關聯關系，有效避免此類非結構化金具的誤檢問題，同時促進固定連接結構的金具檢測性能，驗證了共現推理模塊的有效性。

圖 9 融合共現推理模塊前后檢測可視化結果Fig. 9 Detection visual results before and after integrating co-occurrence reasoning module

為了更好理解共現矩陣和增強特征維度在算法中的作用，本文修改部分超參數進行了消融實驗，首先采用全1矩陣替換所提取的共現概率矩陣P，然后采用不同參數對增強特征維度E進行超參數對比實驗，結果如表3所示。

可以看出，當利用全1矩陣替換共現概率矩 陣后，增強特征僅能利用基線模型輸入的視覺特征進行加權并輸出，無法對金具間的共現關聯進行有效學習，其檢測結果低于本文所述算法結果3.87個百分點。因此，本文所用的共現概率矩陣可以對金具間結構性關聯進行有效表征，有利于融合輸電線路業務知識提高金具檢測準確性。另外，通過對增強特征維度 E 的超參數實驗可以看出，適宜的增強特征維度可以有效提升算法性能0.35～0.71個百分點，維度過高或過低會產生特征欠 擬合或特征冗余等問題，導致檢測性能的下降。

表 3 消融實驗性能比較Table 3 Performance comparison of ablation experiments

5 結束語

由于輸電線路金具的結構性連接與組裝結構往往具有規則性，且該特點具有緩解樣本數量不均衡這一優勢，本文結合輸電線路航拍圖像構建了多種金具間的共現矩陣，基于Faster R-CNN模型作為目標檢測基礎框架，利用表達金具組合規則的共現矩陣作為先驗指導，設計共現推理模塊并嵌入目標檢測模型中，提出了融合共現推理的Faster R-CNN模型。通過在包含14類金具的數據集上進行實驗，融合共現推理模塊的目標檢測模型較基線模型有了6.56%的檢測準確率提升，單類目標的AP提升最多達到21.9%，對于一些樣本數量較少的金具檢測提升尤其顯著。實驗表明，結合金具目標間的結構化組合，提升模型在先驗指導下的檢測能力是實現金具檢測效果進一步提升的有效思路，為促進深度學習模型與電力領域業務知識有機融合，緩解金具樣本間樣本不平衡問題奠定了堅實的基礎。