一種輸電線路三跨點(diǎn)下工程機(jī)械的改進(jìn)Faster-RCNN檢測(cè)方法

張 申，劉志翔，李永祥，陳青松，張智柏

（1.國(guó)網(wǎng)山西電科院，太原 300001；2.華北電力大學(xué) 自動(dòng)化系，河北 保定 071003）

0 引言

隨著中國(guó)經(jīng)濟(jì)的快速發(fā)展，電網(wǎng)的覆蓋面積不斷擴(kuò)大，輸電線路不可避免地跨越高速鐵路、高速公路和重要輸電通道區(qū)段，“三跨”施工日益頻繁[1]。由于輸送里程不斷增加，運(yùn)行環(huán)境日趨復(fù)雜，輸電線路一旦出現(xiàn)線路缺陷及故障，將對(duì)電力輸送與運(yùn)行產(chǎn)生惡劣影響[2,3]。據(jù)統(tǒng)計(jì)，往年外力破壞造成的跳閘占輸電線路跳閘率的70%，而施工機(jī)械特別是吊車、吊臂等工程機(jī)械，由于碰線造成的跳閘又占外力破壞的70%以上[4]。因此，對(duì)運(yùn)行中的輸電線路進(jìn)行在線工程機(jī)械監(jiān)視與檢測(cè)顯得尤為重要。

目前，輸電線路防護(hù)多采用人工巡視和直升機(jī)巡視方法[5]，但該方式易受到地形環(huán)境、天氣狀況等因素的影響，存在工作效率低下、工作量大、巡檢周期長(zhǎng)等問(wèn)題。因此，輸電線路在線監(jiān)測(cè)技術(shù)苛待引用新型傳感系統(tǒng)，如基于深度信息的雷達(dá)傳感器[6]，基于溫度的紅外檢測(cè)裝置[7]，基于外物測(cè)距的超聲波或激光等檢測(cè)裝置[2,4,8]，基于音量監(jiān)控的微波感應(yīng)裝置[9,10]，但上述傳感方式大多存在易受外界環(huán)境因素干擾、易短路失靈、檢測(cè)范圍狹窄、缺乏預(yù)警能力等問(wèn)題[11]。

隨著數(shù)字圖像與視頻監(jiān)控技術(shù)的發(fā)展，輸電線路圖像在線監(jiān)測(cè)技術(shù)已成熟應(yīng)用。當(dāng)前用于圖像的入侵檢測(cè)方法主要分為3 大類[12]：第一類是基于傳統(tǒng)圖像處理技術(shù)結(jié)合機(jī)器學(xué)習(xí)方法，實(shí)現(xiàn)大型工程機(jī)械的識(shí)別與分類，如文獻(xiàn)[13]采用局部二值模式（Local Binary Pattern，LBP）提取色調(diào)飽和值（Hue Saturation Value，HSV）空間的吊車紋理特征并使用隨機(jī)森林分類器完成目標(biāo)識(shí)別，但這一類算法提取的特征往往具有較高的特異性，無(wú)法適用大型入侵機(jī)械的所有種類，難以大規(guī)模推廣；第二類是基于混合高斯模型（Gaussian Mixture Model，GMM）[14]、碼書建模[15]、背景差分法[16]、視覺背景提取器（Visual Background Extractor,Vibe）[17]等運(yùn)動(dòng)目標(biāo)檢測(cè)算法，處理輸電線路監(jiān)控視頻并提取運(yùn)動(dòng)的工程車輛，但該類算法的問(wèn)題是：易受到其他運(yùn)動(dòng)目標(biāo)的干擾，算法敏感性過(guò)高；第三類方法是引入當(dāng)前比較流行的深度學(xué)習(xí)目標(biāo)檢測(cè)算法，如單階段的目標(biāo)檢測(cè)算法SSD（Single Shot MultiBox Detector）[18]，YOLO（You Only Look Once）[19]算法，以及雙階段算法R-CNN[20]、Fast R-CNN[21]和Faster R-CNN[22]等，通過(guò)構(gòu)建深度網(wǎng)絡(luò)框架對(duì)輸電線路大型機(jī)械圖像進(jìn)行特征提取與目標(biāo)檢測(cè)，該類算法結(jié)合大規(guī)模數(shù)據(jù)集與深度檢測(cè)框架的優(yōu)勢(shì)，得到的檢測(cè)結(jié)果既具備較高的檢測(cè)精度，也具備在輸電系統(tǒng)中大規(guī)模推廣的泛化性能。因此，本文使用Faster R-CNN 目標(biāo)檢測(cè)算法作為基本框架，并進(jìn)行適應(yīng)性改進(jìn)，并利用輸電線路監(jiān)控?cái)z像頭采集的圖像數(shù)據(jù)，對(duì)所提出的算法進(jìn)行了驗(yàn)證。

1 Faster R-CNN

圖1 Faster R-CNN檢測(cè)框架Fig.1 Faster R-CNN Detection framework

Ren 等人[22]在2015 年提出了Faster R-CNN 算法，最大的創(chuàng)新是提出了區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network，RPN），通過(guò)共享卷積層，將RPN 網(wǎng)絡(luò)和Fast R-CNN 統(tǒng)一至一個(gè)網(wǎng)絡(luò)中，解決了R-CNN、Fast R-CNN 檢測(cè)算法中候選框生成耗時(shí)問(wèn)題，極大提高了雙階段檢測(cè)算法的效率。

Faster R-CNN 的基本算法框架如圖1 所示，主要由卷積神經(jīng)網(wǎng)絡(luò)、區(qū)域生成網(wǎng)絡(luò)（Region Proposal Networks，RPN）、感興趣區(qū)域池化單元（Region Of Interest Pooling，RoI Pooling）以及分類和回歸單元4 部分組成：

1）卷積神經(jīng)網(wǎng)絡(luò)：利用一系列卷積、池化、激活模塊的組合，從低到高提取輸入圖像的深層特征并得到圖像特征圖（Feature Map）。

2）RPN 網(wǎng)絡(luò)：預(yù)設(shè)3 類尺寸（8，16，32）和3 種比例（2:1，1:1，1:2）的9 種錨框（Anchor Box）。通過(guò)錨框在特征圖上的滑動(dòng)輸出生成多個(gè)候選框，并利用候選框與真實(shí)候選框的回歸得到目標(biāo)候選框。采用非極大值抑制（Non-Maximum Suppression，NMS）分析并篩選出最終的N個(gè)目標(biāo)候選區(qū)域。

3）RoI Pooling：通過(guò)特征圖與目標(biāo)候選區(qū)域的輸入得到特征圖候選區(qū)域，并將每個(gè)區(qū)域均勻分成 m×n 個(gè)圖塊，對(duì)每一塊進(jìn)行最大值池化（Max Pooling）計(jì)算，將不同大小的特征圖候選區(qū)域映射為一個(gè)固定尺度的特征向量。

4）分類與回歸單元：將步驟3 得到的特征向量輸入全連接層，判斷特征圖候選區(qū)域的類別以及準(zhǔn)確位置。

為了匹配輸電線路下大型機(jī)具檢測(cè)任務(wù)的特點(diǎn)與需求，本文對(duì)Faster R-CNN 算法進(jìn)行適應(yīng)性改進(jìn)，通過(guò)不同特征提取網(wǎng)絡(luò)實(shí)驗(yàn)；基于聚類的錨框尺寸修改；引入浮點(diǎn)數(shù)插值的RoI Align 池化層等方法，在下文中分別探究適用于目標(biāo)任務(wù)的特征提取網(wǎng)絡(luò)和目標(biāo)候選框選取的錨框尺寸，以及降低取整誤差，提高回歸精度的池化方法，并通過(guò)定量比較與定性分析的方式分別提供了對(duì)應(yīng)改進(jìn)的實(shí)驗(yàn)結(jié)果與效果提升。

表1 網(wǎng)絡(luò)參數(shù)設(shè)置Table 1 Network parameter setting

圖2 不同特征提取網(wǎng)絡(luò)的模型損失對(duì)比Fig.2 Comparison of model loss of different feature extraction networks

表2 不同特征提取網(wǎng)絡(luò)的檢測(cè)結(jié)果Table 2 Detection results of different feature extraction networks

2 模型改進(jìn)與實(shí)驗(yàn)

2.1 實(shí)驗(yàn)環(huán)境與參數(shù)

本實(shí)驗(yàn)的模型采用NVIDIA 1080Ti 專業(yè)加速卡進(jìn)行訓(xùn)練與測(cè)試；采用的操作系統(tǒng)為Ubuntu16.04.6 LTS，利用CUDA10.0 加速訓(xùn)練；使用的計(jì)算機(jī)語(yǔ)言為Python3.7，網(wǎng)絡(luò)開發(fā)框架為Pytorch，在此基礎(chǔ)上搭建Faster R-CNN 目標(biāo)檢測(cè)模型。

按照PASCAL VOC 數(shù)據(jù)集格式，利用輸電桿塔監(jiān)控設(shè)備采集的4003 張樣本圖像，制作大型機(jī)具數(shù)據(jù)集，其中包含3 種大型機(jī)具共10262 個(gè)，分別為挖掘機(jī)（excanator）、吊車（crane）與塔式吊車（towercrane）。采用LabelImg 軟件對(duì)大型機(jī)具進(jìn)行標(biāo)注，并將輸電線路數(shù)據(jù)集劃分為互斥的訓(xùn)練集和測(cè)試集，比例約為3:1。

訓(xùn)練參數(shù)設(shè)置見表1，并利用平移、旋轉(zhuǎn)、縮放方法等數(shù)據(jù)增加方法，將訓(xùn)練樣本擴(kuò)充至23976 張。

2.2 不同特征提取網(wǎng)絡(luò)的實(shí)驗(yàn)對(duì)比

為了選取更合適的特征提取網(wǎng)絡(luò)，本實(shí)驗(yàn)在Faster R-CNN 模型的基礎(chǔ)上，分別使用不同特征提取網(wǎng)絡(luò)進(jìn)行模型的訓(xùn)練。首先，基于VGG-16、ResNet50 和ResNet101分別進(jìn)行20 輪epoch 共480000 次迭代的訓(xùn)練，模型的損失曲線如圖2 所示。其中，曲線表示不同網(wǎng)絡(luò)每1000 次迭代的模型損失，紅色直線代表VGG-16 網(wǎng)絡(luò)，藍(lán)色虛線代表ResNet50 網(wǎng)絡(luò)，綠色點(diǎn)劃線代表ResNet101 網(wǎng)絡(luò)，畫中為迭代次數(shù)在21 萬(wàn)次～27 萬(wàn)次損失曲線的細(xì)節(jié)展示?？梢钥闯?，基于VGG-16 的Faster R-CNN 網(wǎng)絡(luò)無(wú)論收斂速度，還是模型損失都要優(yōu)于其他網(wǎng)絡(luò)，而且3 個(gè)特征提取網(wǎng)絡(luò)在迭代次數(shù)為240000 次時(shí)均已基本收斂。

圖3 不同聚類中心數(shù)的聚類結(jié)果Fig.3 Clustering results with different numbers of cluster centers

然后，本實(shí)驗(yàn)使用平均精度（Average Precision，AP）和平均精度均值（Mean Average Precision，mAP）作為評(píng)價(jià)模型準(zhǔn)確率的評(píng)價(jià)指標(biāo)，對(duì)比了VGG-16、ResNet50 和ResNet101 三種特征網(wǎng)絡(luò)在不同訓(xùn)練迭代次數(shù)下的檢測(cè)精度，檢測(cè)結(jié)果見表2?？梢钥闯?，更深的網(wǎng)絡(luò)反而導(dǎo)致了性能的下降。由本實(shí)驗(yàn)采用的數(shù)據(jù)集規(guī)?？梢园l(fā)現(xiàn)，所采用的數(shù)據(jù)集屬于小批量數(shù)據(jù)集，當(dāng)使用層數(shù)較多的網(wǎng)絡(luò)時(shí)易形成過(guò)擬合現(xiàn)象，導(dǎo)致測(cè)試結(jié)果較差，所以層數(shù)較少的VGG-16 網(wǎng)絡(luò)相較于其他兩個(gè)網(wǎng)絡(luò)表現(xiàn)出更加優(yōu)異的性能。同時(shí)，比較不同epoch 的VGG-16 檢測(cè)結(jié)果可以看出，由于數(shù)據(jù)集規(guī)模的原因，設(shè)置較高的epoch 并不能提高檢測(cè)精確率。因此，選擇epoch 為10 的VGG-16 網(wǎng)絡(luò)作為特征提取的基礎(chǔ)網(wǎng)絡(luò)。

2.3 錨框尺寸修改

本實(shí)驗(yàn)所使用的輸電線路數(shù)據(jù)集中，監(jiān)控?cái)z像頭安裝在輸電桿塔上，為獲得較廣闊的監(jiān)控視野所以處于較高位置，故圖像中的目標(biāo)尺寸往往較小。因此，使用Faster R-CNN 模型的原始預(yù)設(shè)尺寸對(duì)于目標(biāo)的覆蓋效果不佳，需要重新設(shè)置預(yù)設(shè)錨框參數(shù)，人工預(yù)設(shè)的方式往往需要進(jìn)行大量驗(yàn)證實(shí)驗(yàn)，且易與模型不匹配影響檢測(cè)結(jié)果。

本實(shí)驗(yàn)以輸電線路數(shù)據(jù)集中大型機(jī)具各個(gè)目標(biāo)的標(biāo)注框?qū)捙c高作為輸入數(shù)據(jù)，采用k-means++算法進(jìn)行目標(biāo)框聚類分析，根據(jù)聚類結(jié)果重新設(shè)定Anchor，以改進(jìn)預(yù)設(shè)錨框大小。實(shí)驗(yàn)步驟如下所示：

1）標(biāo)注框尺寸獲?。涸谳旊娋€路數(shù)據(jù)集中每一幅圖像的XML 文件中，計(jì)算大型機(jī)具標(biāo)注框的坐標(biāo)差值作為當(dāng)前目標(biāo)的標(biāo)注框?qū)挾扰c高度，遍歷所有圖像獲取10262 個(gè)目標(biāo)的標(biāo)注框尺寸。

2）使用k-means++算法處理標(biāo)注框尺寸：首先，初始化K 個(gè)初始聚類中心，不同于k-means 算法隨機(jī)初始聚類中心的方式，k-means++算法采用歐式聚類與輪盤法選擇K 個(gè)距離較遠(yuǎn)的聚類中心；然后，計(jì)算每一個(gè)數(shù)據(jù)點(diǎn)到聚類中心的距離，并將數(shù)據(jù)點(diǎn)分到距離最小的聚類中心所對(duì)應(yīng)的類；最后，重復(fù)迭代步驟直到聚類中心的位置不發(fā)生變化。

表3 不同聚類中心數(shù)的聚類結(jié)果Table 3 Clustering results with different numbers of cluster centers

3）設(shè)置初始聚類中心K 為2、3、4、5，對(duì)標(biāo)注框尺寸進(jìn)行聚類，結(jié)果如圖3 所示。

其中，圖4 的橫、縱坐標(biāo)分別表示標(biāo)注框的寬與高，不同顏色的數(shù)據(jù)點(diǎn)表示不同的簇，每一個(gè)簇內(nèi)的黑色叉號(hào)表示該類數(shù)據(jù)的聚類中心。由圖4 可以看出，大量標(biāo)注框尺寸都集中在圖像的左下方，即由于輸電線路監(jiān)控?cái)z像頭安裝位置的原因，圖像中的工程機(jī)械往往尺寸較小，其中目標(biāo)框的寬與高都在200 像素以內(nèi)的數(shù)量為5295 個(gè)，約占全部目標(biāo)的50%以上。

使用CH 指標(biāo)[23]對(duì)聚類效果進(jìn)行評(píng)估，CH 指標(biāo)的定義如式1 所示。其中，n 表示聚類的數(shù)目；k 表示當(dāng)前的類；trB(k)表示類間離散度矩陣的跡；trW(k)表示類內(nèi)離散度矩陣的跡?？梢缘贸?，CH 越大代表著簇內(nèi)部數(shù)據(jù)點(diǎn)越緊密，簇與簇之間越分散，即更優(yōu)的聚類結(jié)果。不同聚類中心數(shù)的中心點(diǎn)坐標(biāo)與聚類評(píng)價(jià)見表3。

由表3 可以看出，當(dāng)聚類中心數(shù)為3 時(shí)，CH 指標(biāo)的值最大，即此時(shí)聚類效果最好。同時(shí)，分析聚類中心數(shù)為3 的中心點(diǎn)坐標(biāo)可以看出，中心點(diǎn)尺寸集中在1002 ～4502之間，寬高比集中在0.57 ～2.14 之間，所以設(shè)定錨框尺寸為（4，8，16，32），此時(shí)可以覆蓋（642，1282，2562，5122）大小的原始圖像，此時(shí)錨框極大值、極小值尺寸分別大于、小于中心點(diǎn)坐標(biāo)尺寸，滿足Faster R-CNN 的模型適應(yīng)需求。分析寬高比可以發(fā)現(xiàn)，目標(biāo)標(biāo)注框的比例與預(yù)設(shè)錨框比例基本一致，所以錨框比例保持不變。

2.4 引入RoI Align的實(shí)驗(yàn)對(duì)比

Faster R-CNN 算法使用的RoI Pooling 單元使得生成的特征圖候選區(qū)域映射為固定尺寸的特征圖，使該算法不再限制輸入圖像的尺寸與比例。但RoI Pooling 會(huì)通過(guò)兩次浮點(diǎn)數(shù)取整特征圖候選區(qū)域與最開始回歸得到的候選框存在一定差異，影響檢測(cè)準(zhǔn)確度。尤其在進(jìn)行小目標(biāo)檢測(cè)時(shí)，RoI Pooling 會(huì)造成較大的精度損失，降低了后續(xù)回歸和定位的準(zhǔn)確性。

為解決上述問(wèn)題，本文引入Mask R-CNN 算法[24]中提出的RoI Align 算法，該算法使用雙線性插值算法替代了原有的取整量化，有效保留了浮點(diǎn)數(shù)，避免取整帶來(lái)的精度損失。RoI Pooling 與RoI Align 算法的計(jì)算結(jié)構(gòu)如圖5 所示，具體實(shí)現(xiàn)過(guò)程如下：

1）第一次量化：假設(shè)輸電線路數(shù)據(jù)集圖像中，工程車輛的目標(biāo)尺寸為300×200，圖像尺寸設(shè)為1800×1400，首先該圖像會(huì)經(jīng)過(guò)特征提取網(wǎng)絡(luò)得到特征圖，經(jīng)過(guò)網(wǎng)絡(luò)層后將原圖縮小為原圖的1/16，則原圖尺寸取整量化為112×87。使用RoI Align 層進(jìn)行目標(biāo)候選框的第一次量化時(shí)，得到尺寸為18.75×12.5 的特征區(qū)域（300/16=18.75，200/16=12.5）。

2）第二次量化：特征區(qū)域經(jīng)過(guò)RoI 池化處理，劃分為49 個(gè)等大小的子區(qū)域，RoI Align 單元在第二次量化時(shí)使用雙線性插值給每個(gè)子區(qū)域取2.68×1.79 大小（18.75/7=2.68，12.5/7=1.79）。

3）最大值池化：對(duì)每個(gè)子區(qū)域取最大值作為該區(qū)域的輸出值，得到7×7 大小的特征圖。

由圖4 可知，RoI Pooling 算法經(jīng)過(guò)兩次的取整量化，將原本18.75×12.5 大小的特征區(qū)域映射為14×7，這些像素偏差給后續(xù)的回歸與定位帶來(lái)了較大的精度損失。RoI Align 算法使用雙線性插值算法有效解決了取整量化導(dǎo)致的像素映射誤差問(wèn)題，有利于提高候選框回歸的精確性。

3 算法結(jié)果對(duì)比

為了測(cè)試本文所改進(jìn)的Faster R-CNN 模型性能，本節(jié)采用原始Faster R-CNN 算法，以及使用錨框尺寸修改、RoI Align 引入等優(yōu)化的改進(jìn)Faster R-CNN 算法，分別進(jìn)行輸電線路工程機(jī)械檢測(cè)性能的測(cè)試對(duì)比，不同算法的實(shí)驗(yàn)對(duì)比見表4。

由表4 可知，本文所提改進(jìn)Faster R-CNN 算法相比于前3 種方法，本文算法的平均精確率最高，達(dá)到了72.58%，相比于原始Faster R-CNN 提升了16.19%。主要原因是本文算法在檢測(cè)階段采用了與所檢測(cè)目標(biāo)更匹配的錨框尺寸，同時(shí)減少了候選框回歸中的精度誤差。

圖4 RoI Pooling、RoI Align結(jié)構(gòu)圖Fig.4 RoI Pooling, RoI Align structure diagram

表4 不同算法實(shí)驗(yàn)對(duì)比Table 4 Experimental comparison of different algorithms

為進(jìn)一步研究本文所提算法對(duì)輸電線路下工程機(jī)具檢測(cè)精度的提高，部分樣本的模型檢測(cè)對(duì)比如圖5 所示。

比較圖5 中檢測(cè)結(jié)果一可以看出，原始Faster R-CNN在左側(cè)吊車檢測(cè)中發(fā)生了虛警誤報(bào)的現(xiàn)象，即同一輛吊車產(chǎn)生了多個(gè)檢測(cè)框，這是因?yàn)樵妓惴ㄋ褂玫腻^框尺寸與目標(biāo)圖像并不匹配，給工程車輛目標(biāo)框的位置回歸帶來(lái)影響，導(dǎo)致多個(gè)回歸框?qū)ν荒繕?biāo)產(chǎn)生檢測(cè)效果，進(jìn)而誤報(bào)。比較檢測(cè)結(jié)果二可以看出，原始算法未能成功檢測(cè)出圖片左側(cè)的兩輛小型挖掘機(jī)，圖片中部互相遮擋的3 輛吊車也只得到了兩個(gè)結(jié)果，同樣的，檢測(cè)結(jié)果三中由于兩臺(tái)挖掘機(jī)的位置重疊，原始Faster R-CNN 發(fā)生了漏檢現(xiàn)象，只產(chǎn)生一個(gè)挖掘機(jī)的檢測(cè)結(jié)果。發(fā)生這些問(wèn)題的主要原因是：原始Faster R-CNN，由于RoI Pooling 單元產(chǎn)生的精度誤差問(wèn)題，導(dǎo)致其小目標(biāo)檢測(cè)的不敏感，同時(shí)對(duì)于重疊物體也難以精準(zhǔn)定位。本文所述的改進(jìn)Faster R-CNN 算法引入RoI Align 單元的優(yōu)勢(shì)，在訓(xùn)練階段將候選框盡可能精確保留，大大提高了目標(biāo)檢測(cè)與定位的準(zhǔn)確性，尤其對(duì)于因距離傳感器較遠(yuǎn)、目標(biāo)重疊等原因?qū)е碌男∧繕?biāo)檢測(cè)產(chǎn)生了非常優(yōu)秀的效果。從實(shí)驗(yàn)結(jié)果來(lái)看，本文算法提高了對(duì)輸電線路下機(jī)具目標(biāo)的檢測(cè)能力，達(dá)到了預(yù)期的檢測(cè)效果。

圖5 Faster R-CNN及其改進(jìn)算法的檢測(cè)比較Fig.5 Faster R-CNN and its improved algorithm detection comparison

4 結(jié)論

隨著電網(wǎng)的發(fā)展，對(duì)于輸電線路大型機(jī)械入侵檢測(cè)的準(zhǔn)確性和泛化性提出了更高的要求，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法表現(xiàn)出良好的性能。本文采用Faster R-CNN 模型，針對(duì)輸電線路周圍常見的工程機(jī)械進(jìn)行了位置檢測(cè)與提取。同時(shí)，針對(duì)輸電線路下監(jiān)控圖像數(shù)據(jù)集的特點(diǎn)，采用k-means++算法對(duì)入侵機(jī)具標(biāo)注框進(jìn)行聚類分析，得到更符合檢測(cè)目標(biāo)的錨框尺寸，并引入RoI Align 單元降低候選框回歸的精度誤差。實(shí)驗(yàn)表明，改進(jìn)算法大大提高了檢測(cè)精度，有效改善了漏檢和誤檢問(wèn)題。在后續(xù)研究中，可考慮對(duì)回歸算法進(jìn)行改進(jìn)，進(jìn)一步提高工程車輛檢測(cè)的精度和準(zhǔn)確率。