高鐵接觸網(wǎng)支持裝置緊固件識別與定位的深度學(xué)習(xí)方法

張 珹

(中鐵第一勘察設(shè)計(jì)院集團(tuán)有限公司，西安 710043)

1 引言

高速鐵路接觸網(wǎng)是對電力機(jī)車提供動力的關(guān)鍵設(shè)備.接觸網(wǎng)工作于露天環(huán)境，風(fēng)吹日曬容易發(fā)生故障.為了保障行車安全，4C 檢測裝置定期采集接觸網(wǎng)高清圖像，通過人工瀏覽的方式對接觸網(wǎng)部件進(jìn)行檢查，發(fā)現(xiàn)其安全隱患.接觸網(wǎng)絕緣子固定件、雙套管連接件、套管座、定位環(huán)連接件和定位器支座等支持裝置的緊固件，容易發(fā)生松動、脫落和變形等故障，是檢測人員關(guān)注的重點(diǎn)對象.人工檢測工作量大，檢測周期長，且受個人情緒和責(zé)任心等因素的影響.如何利用人工智能技術(shù)，實(shí)現(xiàn)對高鐵4C 檢測系統(tǒng)獲取的接觸網(wǎng)圖像進(jìn)行高效檢測，是一項(xiàng)迫切需要攻克的技術(shù)難題.

近幾年來，一些研究者對高鐵接觸網(wǎng)圖像檢測進(jìn)行了一些嘗試.文獻(xiàn)[1]提出了基于Hough 變換、Canny 算子和特征匹配(SURF 和ORB)等特征提取技術(shù)對斜腕臂管帽和定位支座等部件進(jìn)行故障檢測的算法.這些算法通過人工設(shè)計(jì)檢測特征，故障檢測精度有限.AlexNet[2]網(wǎng)絡(luò)出現(xiàn)之后，可以自動提取特征的卷積神經(jīng)網(wǎng)絡(luò)得到了快速地發(fā)展，一些分類性能優(yōu)良的深度網(wǎng)絡(luò)，如VGGNet[3]、Inception[4]等相繼出現(xiàn)，并在圖像分類工程中開始初步應(yīng)用.隨著Resnet[5]殘差網(wǎng)絡(luò)的提出，CNN 向更深的網(wǎng)絡(luò)邁進(jìn)，已經(jīng)在深度學(xué)習(xí)領(lǐng)域顯現(xiàn)出獨(dú)特的優(yōu)勢.Girshick 提出了基于CNN的R-CNN[6]網(wǎng)絡(luò)，其核心是對圖像中每個區(qū)域通過CNN 提取特征，然后對區(qū)域進(jìn)行SVM[7]分類和邊框校準(zhǔn).Girshick 等人在R-CNN 和SPPNet[8]的基礎(chǔ)上又提出了Fast R-CNN[9]，解決了RCNN 對每一個區(qū)域都進(jìn)行特征提取而產(chǎn)生的冗余計(jì)算問題.進(jìn)而，Girshick 在2016 年提出了Faster R-CNN[10]，通過使用RPN 網(wǎng)絡(luò)，將區(qū)域推薦階段和CNN 分類融合，實(shí)現(xiàn)了一個完全意義上的端到端的CNN 目標(biāo)檢測模型.文獻(xiàn)[11]基于Faster R-CNN，運(yùn)用VGG16 等特征提取網(wǎng)絡(luò)對接觸網(wǎng)懸掛目標(biāo)、支柱號和定位器等部件實(shí)現(xiàn)檢測，取得了較好的檢測效果.

接觸網(wǎng)絕緣子固定件、雙套管連接件、套管座、定位環(huán)連接件和定位器支座等支持裝置的緊固件，尺寸很小，利用常規(guī)深度網(wǎng)絡(luò)技術(shù)進(jìn)行故障識別時，由于特征表達(dá)不明顯，導(dǎo)致在區(qū)域推薦網(wǎng)絡(luò)中分類困難，最終檢測精確度不高.對于這類問題，本文提出兩階段解決方案：首先進(jìn)行緊固件的識別與定位，將緊固件圖像分割為小圖片，然后對這些尺寸小的緊固件圖像，建立故障識別的深度網(wǎng)絡(luò)模型.基于這種思路，本文提出一種改進(jìn)的Faster R-CNN 深度網(wǎng)絡(luò)算法，用于第一階段對緊固件進(jìn)行識別與定位.

2 引入注意力機(jī)制的目標(biāo)檢測網(wǎng)絡(luò)設(shè)計(jì)

本文提出的目標(biāo)檢測網(wǎng)絡(luò)以Faster R-CNN 為基礎(chǔ)，使用ResNet50 作為初始的特征提取網(wǎng)絡(luò)，在ResNet50 的殘差模塊中引入基于SE 模型[12]的注意力機(jī)制，通過對網(wǎng)絡(luò)模塊特征圖的每個通道進(jìn)行賦權(quán)提取更有效的特征；同時對傳統(tǒng)的RPN 網(wǎng)絡(luò)進(jìn)行改進(jìn)，引入GA-RPN[13]，在特征圖進(jìn)入?yún)^(qū)域推薦網(wǎng)絡(luò)之后，對像素點(diǎn)進(jìn)行分類，判斷其是否可作為候選區(qū)域中心點(diǎn)；然后對區(qū)域中心點(diǎn)的邊框信息進(jìn)行回歸操作.網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖1 所示.

圖1: 目標(biāo)檢測網(wǎng)絡(luò)的整體結(jié)構(gòu)

2.1 基于注意力機(jī)制的特征提取網(wǎng)絡(luò)

為了在特征提取時更關(guān)注有效特征，在通道維度加入注意力模塊，其結(jié)構(gòu)如圖2 所示.本文的注意力機(jī)制借鑒SE 模型.首先對進(jìn)入注意力模塊的特征圖F 進(jìn)行卷積操作，生成特征圖F1, F1∈RH×W×C，注意力模塊在通道維度關(guān)注輸入特征圖的有用部分，通過將特征圖F1全局最大池化生成一維注意力圖Fmax，為了得到每個通道最強(qiáng)的特征表示，全局最大池化后再經(jīng)過共享的多層感知機(jī)(MLP)得到兩個注意力的特征圖，特征圖元素按比例相加，經(jīng)過Sigmoid 函數(shù)激活生成權(quán)重特征圖M, M ∈R1×1×C，即為通道注意力特征圖.其公式表示為

其中σ1為Sigmoid 函數(shù).將帶有注意力的權(quán)重M 加入網(wǎng)絡(luò)，M 與特征圖F1進(jìn)行元素相乘得到注意力模塊輸出特征圖

圖2: 注意力模塊

鑒于殘差網(wǎng)絡(luò)在圖像分類領(lǐng)域表現(xiàn)出優(yōu)異的性能，本文在部件檢測網(wǎng)絡(luò)中使用殘差網(wǎng)絡(luò).它由若干殘差模塊組成，每一個殘差模塊的結(jié)構(gòu)如圖3 所示，x 是該殘差塊的輸入，F(xiàn)(x)表示殘差塊在第二層激活函數(shù)之前的輸出，即F(x) = W2σ2(W1x)，其中W1和W2表示第一層和第二層的權(quán)重，σ2表示ReLU 激活函數(shù)，最后殘差塊的輸出為σ2(F(x)+x).

圖3: 殘差塊結(jié)構(gòu)

本文將注意力機(jī)制與殘差網(wǎng)絡(luò)結(jié)合，形成殘差注意力網(wǎng)絡(luò).在每個殘差塊中，對殘差塊第二層的輸出F(x)之后，接入一個注意力模塊，形成殘差注意力模塊，最終輸出為

把殘差注意力模塊加入ResNet50 網(wǎng)絡(luò)中，構(gòu)建新的殘差網(wǎng)絡(luò)注意力網(wǎng)絡(luò)Attention-ResNet50 作為特征提取網(wǎng)絡(luò).殘差注意力模塊結(jié)構(gòu)如圖4.

圖4: 殘差注意力模塊

2.2 GA-RPN

借鑒Wang 等人提出的GA-RPN 方法[12]，改進(jìn)傳統(tǒng)的RPN 網(wǎng)絡(luò)，新網(wǎng)絡(luò)包括兩個分支：區(qū)域中心點(diǎn)預(yù)測分支和目標(biāo)邊界框回歸分支，區(qū)域中心點(diǎn)預(yù)測分支主要對像素點(diǎn)是否為有用區(qū)域中心進(jìn)行二分類，邊界框回歸分支對像素點(diǎn)回歸生成邊界框的尺寸信息.

中心點(diǎn)預(yù)測分支的作用是針對像素點(diǎn)是否為有用中心點(diǎn)進(jìn)行分類，在訓(xùn)練階段，通過判斷像素點(diǎn)是否處于相應(yīng)類別人工標(biāo)注的目標(biāo)框的中心區(qū)域中，對特征點(diǎn)進(jìn)行分類，劃定閾值，篩選出相應(yīng)的中心點(diǎn)(xi,yi).

首先，特征圖FL輸入?yún)^(qū)域推薦網(wǎng)絡(luò)，進(jìn)入?yún)^(qū)域中心預(yù)測點(diǎn)分支，特征圖通過1×1 卷積壓縮到單通道，然后用Sigmoid 函數(shù)對每個像素點(diǎn)計(jì)算得分，預(yù)測該特征圖中每個像素點(diǎn)作為物體中心點(diǎn)的可能性.

中心區(qū)域是一個與標(biāo)注框形狀相同的矩形，其大小比例可以根據(jù)實(shí)際情況確定.本文實(shí)驗(yàn)所用中心區(qū)域大小為人工標(biāo)注框的1/4，圖5 為中心區(qū)域劃定示意圖.若某像素點(diǎn)落入人工標(biāo)注的目標(biāo)框的中心區(qū)域，分類為正樣本；若落入目標(biāo)框外，分類為負(fù)樣本；落入標(biāo)注框內(nèi)的無效區(qū)域，舍棄，不參與計(jì)算.

邊框回歸分支不同于RPN 直接給出每個像素點(diǎn)固定的9 個推薦框，而是直接對特征圖所有像素點(diǎn)進(jìn)行邊框回歸，預(yù)測每個位置的最優(yōu)形狀(W,H)，即與該像素點(diǎn)最近的人工標(biāo)注框的IOU 最大的形狀.考慮到W 和H 的取值范圍較大，所以先進(jìn)行如下轉(zhuǎn)化

其中S 是步長，μ是經(jīng)驗(yàn)因子(本文中取σ =8).首先通過1×1 卷積層產(chǎn)生通道為2 的特征圖，得到預(yù)測的dW 和dH，然后經(jīng)過逐元素轉(zhuǎn)換層實(shí)現(xiàn)W 和H 的轉(zhuǎn)化.由于可以預(yù)測任何形狀的邊框，所以對于極端形狀的目標(biāo)具有更好的效果.

這部分使用絕對損失函數(shù)訓(xùn)練回歸網(wǎng)絡(luò)，將得到的預(yù)測框位置信息，結(jié)合有用區(qū)域中心點(diǎn)，篩選與人工標(biāo)注目標(biāo)框的IOU 大于0.7 的檢測框作為候選區(qū)域，輸出有用區(qū)域中心點(diǎn)的檢測框.

圖5: 中心區(qū)域劃定示意圖

2.3 候選區(qū)域所屬類和精確位置

與Faster R-CNN 一樣，在RPN 中得到區(qū)域推薦信息之后，將感興趣區(qū)域的坐標(biāo)映射到特征圖，得到了特征圖上的邊框坐標(biāo)后，使用Pooling 得到相同尺寸的特征圖輸出，ROI 池化采用最大化方法將感興趣區(qū)域內(nèi)的特征轉(zhuǎn)換為具有固定尺寸H ×W 的小特征圖，然后通過全連接層映射到特征向量.之后對特征向量進(jìn)行分類和回歸操作，這兩個操作的輸出是最終目的，輸出候選區(qū)域所屬的類和候選區(qū)域在圖像中的精確位置.具體過程如圖6 所示.

圖6: 候選區(qū)域所屬類和精確位置輸出

3 實(shí)驗(yàn)

實(shí)驗(yàn)硬件環(huán)境：GPU 卡為NVIDIA Tesla P100，16 GB 顯存，3584 個流處理器；主機(jī)CPU 為Xeon E5-2664 v4 Gold，3.2 GHz，16 核.深度網(wǎng)絡(luò)框架使用Pytorch1.1.0.

3.1 數(shù)據(jù)集

選取4C 檢測系統(tǒng)采集的1935 幅高分辨率接觸網(wǎng)圖像，圖像分辨率為6600?4400.數(shù)據(jù)集中包含絕緣子固定件、雙套管連接件、套管座、定位環(huán)連接件和定位器支座等支持裝置的5 類緊固件，對每張圖像進(jìn)行了標(biāo)注.類別使用one-hot 編碼.數(shù)據(jù)集采用VOC 格式.訓(xùn)練集、測試集和驗(yàn)證集的比例為0.70:0.15:0.15.

3.2 緊固件識別與定位

對本文構(gòu)造的數(shù)據(jù)集，分別采用Faster R-CNN 和本文改進(jìn)的Faster R-CNN 進(jìn)行緊固件識別與定位.特征提取網(wǎng)絡(luò)前者采用ResNet50，后者使用本文提出的Attention-ResNet50.區(qū)域推薦網(wǎng)絡(luò)均為GA-RPN.試驗(yàn)中，經(jīng)過超參數(shù)優(yōu)化，學(xué)習(xí)率設(shè)置為0.02，區(qū)域推薦網(wǎng)絡(luò)的IOU 的閾值為0.7，batch size 取2，優(yōu)化方法使用SGD，動量參數(shù)設(shè)置為0.9，經(jīng)過20 次迭代，兩種方法的精度對比見表1.本文提出的方法對緊固件識別效果如圖7 所示.

圖7: 本文方法對緊固件識別效果圖

3.3 實(shí)驗(yàn)結(jié)果分析

從表1 中本文方法與Faster R-CNN 識別精度的對比可以看出，在幾乎沒有降低緊固件召回率的前提下，本文改進(jìn)的方法對絕緣子固定件、雙套管連接件、套管座定位環(huán)連接件和定位器支座的識別精度分別提高了3.2%、2.0%、2.2%、2.4%和2.8%.從表1 還可以看出，本文提出的部件識別方法，對各種接觸網(wǎng)緊固件的識別精度均達(dá)到了93.4%以上，這樣的識別精度是在1935 幅接觸網(wǎng)圖像數(shù)據(jù)集的70%樣本上訓(xùn)練的深度網(wǎng)絡(luò)模型得到的，如果采集更多的訓(xùn)練樣本，接觸網(wǎng)緊固件的識別精度還有一定的提升空間.

表1: 本文方法與Faster R-CNN 的精度對比

4 結(jié)論

本文針對高鐵接觸網(wǎng)緊固件的識別定位問題，在Faster R-CNN 目標(biāo)檢測網(wǎng)絡(luò)中引入注意力機(jī)制，提取了更有效的特征，同時引入GA-RPN，改進(jìn)了原來的區(qū)域推薦網(wǎng)絡(luò)RPN，這兩種改進(jìn)策略有效地提升了接觸網(wǎng)緊固件識別效果.下一步將從4C 系統(tǒng)采集更多的緊固件圖像進(jìn)行訓(xùn)練，進(jìn)一步提升緊固件的識別精度.