基于自監督學習的輸電線路螺栓螺母異常檢測技術

楊景崳，辛 巍，劉 全，劉曉華，孫忠慧，張治國，劉文超，王沐東，付思詩

(1.國網湖北省電力有限公司 超高壓公司，武漢 430050；2.浙江大學 濱江研究院，杭州 310000)

0 引言

電力供應是生產生活的重要保障。我國輸電線線路眾多，覆蓋廣泛，因此基層巡檢、運維成本都面臨著極大的挑戰，迫切需要一種自動化與智能化檢測技術來改變這一現狀[1-2]。近年來，越來越多的研究嘗試將人工智能應用于電力設備的運維以期達到高通量檢測、自動化篩選故障點用以提高檢測效率、降低運維成本[3]。主要使用計算機視覺算法來分析輸電線路航拍圖像，以識別圖像中關鍵部件的缺陷類型并進行準確定位作為目標。目前，如何對輸電線路關鍵部件視覺缺陷進行準確檢測仍是關鍵問題之一[4-5]。其中，在輸電線路中用于固定、連接的螺栓部件在人為或者環境的影響下經常會出現螺栓損壞故障，輕則引發輸電線路部分組件脫落的故障，重則引發重大電網事故[6-7]，因此對輸電線路中螺栓檢測對于輸電線路運維具有重大意義。

輸電線路螺栓故障檢測技術主要是將計算機視覺算法做為技術基礎，輸電線路無人機巡檢圖像作為待檢測對象，以識別圖像中螺栓缺陷目標[8]。基于深度學習的目標檢測模型目前是處理輸電線路巡檢圖像的最優選擇[9]。為了將深度學習模型用于輸電線路關鍵部件缺陷檢測，首先需要構建完備的關鍵部件缺陷數據集用于訓練和測試。在無人機將航拍圖像傳回之后，使用數據集訓練搭建好的深度學習模型即可完成各類缺陷檢測任務[10]。

對于輸電線路螺栓檢測方法，主要依靠無人機巡檢技術、圖像處理、深度學習的圖像識別技術實現螺栓檢測。檢測流程通過無人機對輸電線路巡檢，獲得輸電線路的高清圖像，再通過人工或圖像處理等方式對無人機巡檢圖像中的螺栓進行檢查[11-14]。近幾年，隨著深度學習技術和無人機技術的快速發展。有監督學習的目標檢測被廣泛應用到螺栓檢測任務中。通過SSD[15]和YOLOv3[16]目標檢測模型對螺栓進行有監督學習，先對關鍵掛點部位進行有監督學習，再對掛點中的螺栓目標進行有監督學習，同時依靠數據增強方法，提高了螺栓檢測的準確率。利用AdaBoost和與或圖基于Haar特征建立螺栓開口銷分類器，但是這方法對螺栓角度和亮度變化魯棒性差[17]。通過有監督學習訓練兩次特征金字塔分別提取可能螺栓缺失開口銷的區域和螺栓缺失開口銷的區域，再通過DBSCAN[18]對螺栓銷釘缺失進行目標檢測。使用基于注意機制的弱監督螺栓檢測模型[19]，提升了螺栓檢測的精度。應用知識圖譜和知識特征融合方法提升螺栓和螺母分類任務的準確率和召回率[20]。

但是，由于目前螺栓故障檢測技術仍不能保證具有較高的識別準確率，故該工作主要采用計算機視覺螺栓故障檢測技術輔助加人工復檢，人工復檢工作量仍然很大。目前在所有關于輸電線路螺栓檢測的研究主要中存在三點問題。第一，所有研究均使用少量的有標簽的自建數據集進行螺栓檢測相關任務的有監督學習和驗證。第二，少量的標注數據導致了大量的巡檢原始數據沒有被模型學習，造成了訓練數據集資源的浪費。第三，若對大量的原始數據進行標注，需要花費極大的時間和人力成本才能完成這一項漫長而又艱巨的標注任務[19]。

針對以上輸電線路螺栓檢測有監督學習通常依賴大量標注數據以達到較好的性能的問題。本文采用自監督學習方法從大量的無標簽螺栓數據中獲取螺栓信息有很大價值。自監督學習通過學習大量無標簽數據的內存在特征，SimCLR[21]和MoCo[22-24]自監督學習通過拉大不同樣本的之間的距離實現和縮小同一樣本內的距離，學習數據集的內在特征實現自監督學習。該方法需要需要保證數據集中不同類別數據量的均衡，但是對于螺栓異常檢測負樣本是極少的。直到BYOL[25]自監督學習方法的出現，不再需要數據均衡，可以學習數據分布及內在特征。該方法對于螺栓檢測樣本及不均衡的場景十分適用。最近，最先進的自監督學習框架DINO[26]基于BYOL方法和先進的視覺Transformer[27]主干網絡在大模型預訓練任務中展現出了很好的表現。

本文針對數據集資源浪費的問題，為了充分利用無標簽的螺栓數據集資源，首次提出使用自監督學習進行螺栓檢測大模型預訓練方法，并驗證自監督學習在螺栓檢測預訓練的效果。首先通過有監督學習目標檢測方法獲得115萬張無標簽螺栓數據。然后使用無監督學習的方式預訓練螺栓檢測大模型。最后通過預訓練大模型生成螺栓注意圖，驗證了自監督學習在螺栓大模型預訓練中可以學習并關注到有效的螺栓特征。

為了驗證預訓練大模型在螺栓檢測任務中的效果，建立了螺栓分類任務數據集和螺栓圖像檢索數據集。通過下游任務的有監督學習，驗證了自監督螺栓預訓練大模型，在螺栓分類任務和螺栓圖像檢索任務中效果優于傳統的有監督學習。

總之，本文在螺栓檢測領域主要有4個方面的貢獻：1)證明了使用大量無標注螺栓圖像數據集的自監督學習在輸電線路螺栓、螺母異常檢測中是有效的。2)實驗結果表明該方法在下游螺栓狀態分類任務和螺栓圖像檢索任務中都有很好的表現。3)實驗結果對比了各種計算機視覺結構，顯示了ViT在螺栓異常檢測中的優越性，ViT-B/8在分類任務中表現最好，ViT-S/8在檢索任務中由于ResNet50。4)展示了模型在自監督學習過程中學習到的螺栓特征。

1 研究思路

該研究根據輸電線路原始數據特點和自監督學習方法對輸電線路螺栓螺母檢測方法進行設計。首先獲取螺栓數據集，包括螺栓原始數據集、單圖無標簽螺栓數據螺栓分類數據集、螺栓圖像檢索數據集。然后使用自監督學習DINO訓練螺栓預訓練大模型。最后驗證該算法在螺栓遷移學習和螺栓圖像檢索任務中的有效性。

螺栓數據集獲取包括原始數據的采集，為了使自監督模型學習到更廣泛的螺栓場景，充分利用所能獲取的輸電線路螺栓數據，通過標注少量的螺栓目標檢測數據集，使用Yolo訓練螺栓目標檢測模型，用于提取單圖無標簽螺栓數據。使用Yolo模型推理出大量單圖無標簽螺栓數據用于自監督學習大模型訓練。螺栓分類數據集、螺栓圖像檢索數據集分別用于驗證自監督預訓練模型在螺栓分類任務中和螺栓檢索任務的有效性。DINO是目前表現最好的自監督學習方法，首次獲取無標簽螺栓數據集在自監督模型上訓練螺栓預訓練大模型。

因此本文的研究思路是基于自監督學習的輸電線路螺栓螺母檢測算法，實現螺栓檢測大模型的訓練，并提升算法的準確率。

圖1 算法整體研究流程

2 螺栓檢測自監督學習算法

2.1 螺栓數據集獲取

2.1.1 原始數據集來源

本文采用的原始數據集有3個來源，分別為中國電網公司提供的真實輸電線路無人機巡檢圖像、輸電線路人工采集圖像和輸電線路零件圖像。輸電線路無人機巡檢圖像是使用像素為2 000 W、焦距為8.8 mm、光圈為f/3.2的高清攝像機在距離輸電線路塔1.5～3 m的距離上拍攝的像素大小為547 236 48的輸電塔圖像。采用無人機定點巡航或人工飛行無人機進行拍攝。每個輸電塔用固定拍攝位置，主要對地線掛點、絕緣子上掛點、絕緣子下掛點進行拍攝。拍攝距離在1.5～3 m之間。輸電線路人工采集圖像是將輸電線路各部件組裝，人工制造模擬不同的螺栓狀態進行拍攝的圖像。拍攝相機參數與無人機巡檢圖像保持一致。首先將絕緣子下掛點和底線掛點懸掛在空中，模擬實現螺栓狀態多種狀態，包括螺栓松動、螺栓平扣、螺栓欠扣、缺螺母等狀態。然后由人工手持無人機模擬無人機飛行。最后在一組固定點位進行拍攝，點位分別為間隔角度為30度，和上、中、下3個視角進行拍攝。一組螺栓圖像為36張圖像。拍攝時間包括造成、中午、傍晚，模擬了不同光照角度的信息。拍攝天氣為自然天氣，包括晴天、陰天、小雨天氣，增加了天氣對檢測數據信息。輸電線路零件圖像是將多個包含螺栓的輸電線路零部件擺放在一起進行拍攝的圖像。拍攝方法與輸電線路人工采集圖像方法相同。

圖2 輸電線路螺栓原始數據，真實的輸電線路無人機巡檢圖像(左)、輸電線路人工采集圖像(中)、輸電線路零部件圖像(右)

真實的輸電線路無人機巡檢圖像可以保留數據的實際應用場景信息，輸電線路人工采集圖像和輸電線路零部件圖像通過模型不同的螺栓狀態、拍攝角度、自然環境的光照強度豐富了螺栓的數據信息，并添了一定的噪音，可以適當的環境模型學習過程的過擬合現象。

從原始圖像中獲得單獨的螺栓圖像用于自監督學習，本文使用目標檢測模型從原始數據集檢測螺栓圖像。首先通過人工標注的方式，在原始圖像為3通道的RGB圖像i∈R3×H0×W0中使用矩形框將螺栓標注。然后訓練一個螺栓的目標檢測模型，本文采用Yolo[28-30]進行訓練。最后對原始數據進行推理，從原始數據中裁剪出所有檢測到的螺栓。Yolo的網絡結構主要由4個部分構成，分別為輸入端、骨干網絡 Backbone、強特征提取網絡 Neck 以及預測網絡 Prediction 這4個部分構成。輸入端采用 Mosaic 數據增強方法的同時，融合了 Mixup 數據增強方法，通過隨機縮放、隨機裁剪、隨機排布、不同圖片加權融合等方式對圖片進行拼接，豐富了數據的多樣性，可提升小目標的檢測效果。

bboxn=yolo(i)n=0，1，…，N

(1)

ib=crop(i，bboxn，ratio)

(2)

其中：yolo為螺栓目標檢測模型，bboxn為識別到的螺栓框其形狀為N×4，N為識別到的螺栓數量，4為[x1，y1，x2，y2]表示識別螺栓框的坐標，x1，y1為原始圖像i的左上角坐標，x2，y2為原始圖像i的右下角坐標，crop為從圖像i裁剪螺栓方法，ratio為在1到1.1之間隨機取值的螺栓圖像坐標放大比率。ib為無標簽的螺栓數據集。

2.1.2 螺栓狀態分類數據集

螺栓狀態分類數據集用于預訓練模型的遷移學習和有監督學習。螺栓的狀態由開口銷、單螺母和雙螺母的狀態組成，狀態有3種形式分別為存在、不存在、未知。通過人工識別對螺栓的狀態進行標注。

2.1.3 螺栓圖像檢索數據集

通過對輸電線路巡檢的圖像中的螺栓進行分析，將螺栓按照不同位置和不同作用劃分為6種螺栓類型。6種螺栓分別為：塔身垂直螺栓、塔身U型螺栓、活動件水平螺栓、活動件垂直螺栓，地線掛點線夾螺栓、絕緣子下掛點線夾螺栓。每種類別的螺栓按照圖片清晰度又分為清晰螺栓和模糊螺栓。

2.2 基于DINO的自監督模型

2.2.1 DINO自監督框架

DINO自監督學習框架是目前最先進的自監督學習框架，本文首次將DINO自監督學習框架應用輸電線路螺栓檢測任務中。DINO[31]，該方式的網絡結構包含兩個結構完全相同的網絡結構，一個作為學生網絡一個作為教師網絡。

圖3 DINO螺栓自監督框架結構圖

知識蒸餾的學習方法通過訓練學生網絡g(θs)，將訓練結果匹配給教師網絡g(θt)，分別用θs和θt參數化。給定一個無標簽的螺栓圖像數據集ib作為輸入，學生網絡教師網絡分別輸出K維向量，通過softmax函數進行歸一化得到學生網絡輸出的概率向量和老師網絡輸出的概率向量，分別用Ps和Pt表示。

(3)

(4)

其中：τs和τt分別為學生網絡的溫度參數和教師網絡的溫度參數。

損失函數為：

loss=-Pt(i)logPs(i)

(5)

通過模型不斷學習，得到使loss最小的θs作為螺栓自監督與訓練模型參數。

2.2.2 ViT主干網絡

ViT[32]主干網絡是DINO自監督框架中教師網絡和學生學生網絡常用的結構。該研究主要對比了不同規格的ViT和ResNet50的在螺栓螺母檢測任務中的精度表現。ViT將Transformer模型從自然語言處理NLP成功應用計算機視覺領域，并取得非常優秀的成績。該網絡參考文本處理方法，將圖片分割成非重疊連續N個圖像塊，每個圖像小塊的分辨率為 或。將每個圖像塊通過一個線性層映射成N個向量，并和一個可學習的向量組成一個(N+1)D的向量，同時在向量中添加圖像塊位置信息后，將向量序列輸入到Transformer中進行計算輸出圖像編碼。

2.3 遷移學習

遷移學習將DINO得到的螺栓預訓練大模型后添加一個可學習的多層感知機MLP用來學習一個特定的螺栓分類任務。螺栓分類任務通過標注少量的螺栓分類數據集，在螺栓預訓練大模型的基礎上訓練。經過遷移學習后，得到螺栓圖像的特征向量fi。

fi=MLP(gθs(i))，fi∈RN*M

(6)

其中：M為分類任務的類別數量，fi經過softmax函數得到分類的概率Pi。

(7)

損失函數采用CE(Cross Entropy)[34]進行計算。具體而言，每一類的預測標簽與標注標簽計算CE損失。

2.4 螺栓圖像檢索方法

圖像特征向量的高效表示是圖像檢索的一個重要基礎，使用DINO得到的螺栓預訓練大模型得到螺栓圖像特征向量進行圖像檢索。采用K最近鄰(K-Nearest Neighbor，KNN)KNN[33]方法進行圖像檢索。將螺栓圖像檢索數據集中的圖像經過螺栓預訓練大模型得到螺栓圖像的特征向量。K最近鄰檢索通過在螺栓圖像檢索數據集中查找與查詢螺栓特征向量距離最近的向量來獲得相同類型的螺栓圖像。螺栓圖像特征向量之間的距離采用余弦相似度方法計算。

3 實驗結果與分析

本研究將自監督學習應用到輸電線路螺栓檢測任務中，并驗證自監督學習在輸電線路螺栓檢測任務中的效果。首先完成數據集的建立，包括螺栓無監督學習數據集、遷移學習數據集、螺栓檢索數據集。然后通過自監督學的視覺表征特征驗證自監督學習在輸電線路中螺栓特征的學習效果。最后使用自監督學的螺栓預訓練大模型在螺栓分類任務和螺栓檢索任務中進行對比實驗。

3.1 數據集建立

3.1.1 自監督無標簽數據集

為了從原始數據獲得大量的自監督無標簽的螺栓數據集，使用少量標注數據進行有監督訓練目標檢測模型，再使用模型對原始圖像推理，最后獲得大量的無標注螺栓圖像。人工標注12 302張原始圖像中的螺栓，使用yolo模型進行訓練。batch size設置為240，使用CSPResNeXt50主干網絡在單機8個A100 GPU上進行訓練。優化器使用Adam。學習率采用cosine衰減策略。訓練100個epoch。訓練環境配置及參數，本實驗使用Python 3.7、PyTorch 1.7.1、 CUDA 11.0、 torchvision 0.8.1環境進行有監督學習訓練。

圖4 原始圖像螺栓檢測結果

對檢測到的螺栓進行摳圖，獲得115萬輸電線路單螺栓圖像，用于DINO框架下的自監督學習。在螺栓摳圖的過程中，將螺栓圖像長和寬各放大1.1倍，使螺栓位于圖像中央。通過該方式獲的數據數量多，螺栓類型多樣，螺栓數據與真實數據一致。

3.1.2 螺栓狀態有標簽數據集

為了減少人工標注成本，僅挑選出小部分螺栓圖像進行人工標注，將標注的圖像用于有監督學習和遷移學習任務。第一行到第六行分別標注為單螺母存在、開口銷存在、雙螺母存在、單螺母未知、開口銷未知、雙螺母未知。

圖5 螺栓狀態分類數據集

3.1.3 螺栓圖像檢索驗證集

為了驗證自監督螺栓預訓練大模型在檢索任務中的效果，建立螺栓圖像檢索數據集。通過人工篩選了6類螺栓數據用于圖像檢索任務，每類螺栓數據分為清晰和模糊兩個類別。清晰和模糊的標準按照是否可以看清螺栓中每個部件的邊緣輪廓進行區分。6類螺栓為輸電線路中常見的螺栓圖像，包括雙螺母螺栓、單螺母螺栓、開口銷螺栓，其中雙螺母螺栓包括塔身垂直螺栓、塔身U型螺栓，單螺母螺栓包括地線掛點線夾螺栓、絕緣子下掛點線夾螺栓，開口銷螺栓包括活動件螺栓(水平方向)，活動件螺栓(豎直方向)。每個類別螺栓數據分布如表2，清晰螺栓每個類別為數量為1 332張2 632張圖像，模糊類別的螺栓數數量為63到1 344張圖像。如圖6，數據集中包含6個類別螺栓的查詢圖像(左側第一列)和清晰圖像(中間部分)與模糊圖像(右側部分)，圖中從上到下6列分別為地線掛點線夾螺栓、活動件螺栓(豎直方向)、絕緣子下掛點線夾螺栓、塔身U型螺栓、活動件螺栓(水平方向)、塔身垂直螺栓。通過每類螺栓的查詢圖像檢索該類別螺栓圖像。

表1 螺栓狀態分類數據集標簽分布

表2 螺栓圖像檢索數據集標簽分布

表3 不同backbone和不同遷移學習任務的acc結果

圖6 螺栓檢索數據集

圖7 螺栓自監督學習注意力圖

3.2 自注意力視覺表征

使用沒有標簽的螺栓數據集對模型進行預訓練。batch size設置為1 024，分別使用resnet50和ViT-S/8主干網絡在單機8個A100 GPU上進行訓練。優化器使用Adamw。學習率在前10個epochs使用線性上升策略從0至0.002。其中0.002使用Lr = 0.000 5 * batchsize/256計算方法獲得，在10個epochs后采用cosine衰減策略，權重衰減采用從0.04到0.4的cosine 衰減策略。學生網絡的溫度參數設置為0.1，教師網絡的溫度參數前30個epochs采用0.04到0.07的線性變化。訓練環境配置及參數，本實驗使用Python 3.6、PyTorch 1.7.1、 CUDA 11.0、 torchvision 0.8.2環境進行系監督學習訓練。

使用螺栓自監督預訓練大模型，對雙螺母螺栓、水平視角螺栓、垂直視角螺栓圖片進行推理獲得螺栓圖片注意力圖。從注意力圖中可以看出，基于DINO的自監督螺栓預訓練大模型可以學習到螺栓的特征。圖6中上層結果為雙螺母螺栓結果，中間層結果為水平視角的螺栓、底層為豎直方向的螺栓。觀察實驗結果可知，模型能很好的學習到兩個螺母、螺栓桿、螺帽、連接件的特征。說明DINO對于螺栓自監督學習具有很好的效果。

3.3 自監督預訓練遷移學習實驗

為了驗證自監督預訓練的效果，采用5種backbone進行自監督預訓練實驗。5種backbone分別為Resnet50[36]、ViT-S/16、ViT-S/8、ViT-B/16、ViT-B/8。遷移學習任務分別為開口銷狀態分類、單螺母狀態分類、雙螺母狀態分類。在表中比較了5中主干網絡在自監督預訓練遷移學習和有監督學習條件下開口銷狀態、單螺母狀態、雙螺母狀態的準確率。準確率使用acc表示，單位%。

(8)

其中：TP、TV、FP、FN分別為正例預測正確的數量、負例預測錯誤的數量、負例預測正確的數量、正例預測錯誤的數量。

可以看出基于Dino的自監督螺栓預訓練大模型的遷移學習在螺栓狀態分類任務中表現優于有監督學習。螺栓預訓練大模型在在分類任務中相對于監督學習準確率提升了2%到7%，在ViT-B/8的主干網絡上的自監督預訓練遷移學習表現最好。

3.4 螺栓圖像檢索

將DINO自監督預訓練模型應用到螺栓圖像檢索任務中，將DINO自監督預訓練模型參數凍結，并提取訓練數據集的螺栓圖像特征。使用KNN方法驗證DINO自監督預訓練模型獲得的螺栓圖像特征的在檢索任務中的效果。

為了評估性能，使用平均精度(AP)度量作為查詢的精度-召回曲線下的面積計算。精度定義為檢索到的正圖像與檢索到的總圖像數量之比。召回率定義為檢索到的正例圖像數量與數據集中正例圖像總數的比值。理想的精度-召回曲線在所有召回級別上的精度為100%，這對應于平均精度為100%。計算6類螺栓的每類AP分數，將它們平均起來以獲得 (mAP)分數來評估整體表現。

在自建的螺栓數據集中的檢索結果如表4，通過實驗結果可知DINO的mAP在ResNet50和ViT-S/8主干網絡上均比有監督學習高，清晰圖像檢索任務比模糊的效果要好。DINO自監督預訓練模型在螺栓圖像檢索任務效果較好，平均精度提升了8%。

表4 螺栓自監督大模型檢索任務結果

4 結束語

本文提出了一種基于自監督學習的輸電線路螺栓檢測技術，首次將DINO自監督學習應用到輸電線路螺栓檢測任務中。從原始輸電線路數據中生成無標簽螺栓數據集、螺栓狀態分類數據集、螺栓圖像檢索驗證集。分別在3個數據上完成自監督訓練、有監督螺栓分類遷移學習和螺栓圖像檢索任務實驗。實驗結果表明，自監督螺栓預訓練大模型可以學習到螺栓的組成特征，并且可以提升下游的分類任務準確率，在螺栓檢索任務效果也有明顯提升。無標簽的螺栓數據集獲取成本相對較低，可以獲得更的螺栓數據集，通過自監督的學習方式訓練一個關于螺栓檢測任務更通用的螺栓預訓練大模型，為輸電線路的螺栓缺陷檢測提供更實用的模型基礎。