基于無人機圖像處理的輸電線路提取技術研究

沙偉燕，何寧輝，丁培，胡偉，李秀廣，周秀

(1.國網寧夏電力有限公司電力科學研究院，銀川 750011； 2.國網寧夏電力有限公司，銀川 750001)

0 引 言

近年來，無人機巡視線路已逐漸深入供電公司各個基層單位，通過提升無人機自動巡檢程度可以實現無人機沿既定線路自動巡視跟蹤，通過預定程序控制無人機的飛行軌跡，可以實現輸電線路的自動跟蹤，并且實現輸單線路的定時拍攝線路圖像[1-3]。但為了更有效提升線路巡視水平，需要提升線路巡視手段，對巡視結果提取關鍵信息。采用無人機自動導航，并對線路關鍵部位進行拍攝跟蹤，將有助于提取線路安全診斷的關鍵信息，對提升線路巡視結果有著重要的現實意義[2,4-5]。

隨著無人機巡檢技術的日益成熟，電網公司逐步引入無人機開展線路巡視[6-7]，2012年國網公司在青海進行的無人機巡檢測試，首次實現了高海拔地區線路巡視；2015年南方電網公司在莆田開展無人機巡視試點工作，并實現了輸電線路斷股的故障識別；2016年福建電網公司利用無人機實現了區域內1000公里的輸電線路走廊的巡視，將無人機巡檢的應用推向了新的高度。針對無人機拍攝的輸電線路圖像的提取研究[8-10]：2008年，有人使用Canny算子對拍攝圖像進行邊緣檢測，再利用鏈碼算法對各個像素點進行識別和連接，實現了輸電線路的提取；2012年，有人使用Ratio算法對輸電線路的邊緣進行了提取，并對圖像進行了降噪，再結合Ransac算法對像素點進行了擬合，以此完成輸電線路的自動提取；2017年，有人利用Ratio-radon和卡爾曼濾波跟蹤方法對輸電線路的提取。

目前無人機巡檢已成為輸電線路的主要巡檢方法，但是如何準確對拍攝的圖像進行提取和識別仍存在較大的困難。當前雖然不少學者對輸電線路圖像的提取進行了研究。通過對文獻調研[11-17]，目前的這些算法未考慮無人機拍攝時周圍環境較為復雜導致圖像中噪聲較多的問題；此外輸電線路一般較長，因此不能僅僅使用拍攝圖像的方法來進行巡檢，這就需要對輸電線路進行跟蹤。

鑒于此，開展了輸電線路的提取和跟蹤研究。首先，針對航拍圖像中目標與背景對比度相差較小，導致目標與背景區分較難的問題，采用了直方圖均衡化處理，較好地解決了對比度相近問題；針對航拍圖像中存在噪聲信號問題，分別采用中值濾波和雙邊濾波進行處理，并對比了兩種濾波算法的處理效果，結果表明雙邊濾波算法更能保存輸電線路細節部分。其次，對Line Segment Detector (LSD)算法進行了研究，實現了輸電線路的邊緣提取，一條長線路的提取結果經常為多條短線段，因此使用Hough變換對輸電線路進行了連接。最后，對比了粒子濾波和擴展卡爾曼濾波對線路跟蹤的效果，仿真結果表明兩種跟蹤方法的檢測準確度分別為94.21%和93.68%，結果相差不大，但是粒子濾波算法處理時間較長，因此對于長距離的輸電線路使用擴展卡爾曼濾波即可滿足要求。

1 圖像預處理

1.1 基于直方圖均衡化的圖像增強

為提升圖像信息提取速度，簡化程序算法，對航拍獲得的彩色圖像進行了灰度化處理，換而言之為將RGB(Red、Green、Blue)三色通道圖像轉變為單通道圖像。進行轉換過程中，需要對三種顏色進行賦權，并進行加權平均，從而獲得圖像各個像素點的灰度值，具體計算公式為：

Gray=Y=R*0.229+G*0.587+B*0.114(1)

由于輸電線路所處環境較為復雜，所處光照強度不一，線路與背景的對比度較為相近。為了解決光照的影響，將電力設備與背景圖像的草木區分開來，文中采用直方圖均衡化處理，提升兩者的對比度，具體流程如圖1所示。

圖1 直方圖均衡化流程Fig.1 Histogram equalization process

根據圖1所示流程，對航拍圖像進行了處理，原圖及均衡化處理的結果如圖2所示。對比可以看出，經過直方圖均衡化處理后的圖像對比度比較均勻，圖像中的目標元素(電力設備)與背景有了明顯區分。

圖2 圖像處理過程Fig.2 Image processing

1.2 圖像濾波去噪

為降低無人機航拍的過程中受到風、煙或者污染物等偶然因素以及數碼相機光、電成像設備的特性的影響，拍攝的圖像中存在較多噪聲，本節采用濾波處理完成圖像的降噪。

本節使用兩種常用的非線性濾波方法對航拍圖像進行處理[18-20]，分別如圖3和圖4所示。

觀察圖3、圖4，經過中值濾波處理后，航拍圖像中的輸電線路等細線型元素保存效果較差，存在部分線路段缺失；經過雙邊濾波處理后，電力設備的各類細節能完好地保留下來。經過對圖4分析，σ值(雙邊濾波算法中值域的標準差)過大，將導致濾波處理后的圖像變得模糊，因此為了保留圖像更多信息同時又不失真，選擇σ=10的雙邊濾波方法對航拍圖像進行處理。

圖3 中值濾波處理后圖像Fig.3 Median filtered image

圖4 雙邊濾波圖像Fig.4 Bilateral filtered image

2 輸電線路的提取與連接

2.1 LSD算法的優化

經過前期對各類邊緣提取算法的研究，選取LSD算法作為局部線特征的提取算法，其精度更高、能夠減少非直線背景的干擾[21-22]。

為保證LSD算法對航拍圖像中的各種直線、曲線均能有效提取，對LSD算法進行了優化，通過優化原始算法中部分參數提升了線路檢測效率：

(1)梯度閾值。當像素點的梯度值較小時，對應的區域灰度變化較小，不易被認定為邊緣區域。在此情況下，按照既定算法流程需對此類像素點進行直線區域生長處理，則將導致線路誤檢率升高。故在優化LSD算法中，需要對像素點進行處理，避免對梯度值較小的像素點進行直線區域生長，采用閾值法，去除梯度值小于設定閾值的像素點。原始LSD算法中q取經驗值2(q是梯度值計算過程中量化效應產生的可能誤差)，為了讓更多的像素參與直線支持區域的生成，減少漏檢率，將q的值設置為1(q越大，圖像越模糊)；

(2)角度誤差閾值。完成像素點梯度值的排序后，并將小梯度值的像素點進行抑制剔除后，需要對排序后的“未使用”的像素點作為種子點進行區域生長，那么該像素點所在的連通區域角度將隨連通域擴大而持續變化，直至達到更新條件。原始算法中差異角t閾值通常為22.5°，優化后的算法中將此參數更改為28°，利于獲得最大的直線支持區域面積；

(3)同性點密度。經過角度誤差閾值處理后，得到了一系列直線支持區域面積，經過進一步計算處理得到支持區域的最小外接矩形后，獲得區域內的同性點。在使用LSD算法時，當同性點與像素點比值小于閾值時，則截斷此區域。原算法中控制截斷的閾值通常為0.7，在優化后的算法中將其改為0.5，將有助于減少截斷的矩形數量，從而提高線段的識別率。

根據上述三點優化算法，對圖像進行處理，獲得優化前后圖像提取的結果，如圖5所示。

圖5 LSD算子提取圖像Fig.5 Image extraction using LSD operator

通過對比圖5(a)、圖5(b)可知，采用優化后LSD算法處理圖像后，電力設備的桿塔、線路關鍵信息提取的更為全面，設備邊緣信息保留的更充足，區域生長得到的線段特征比原算法更長。綜合優化后的處理圖像結果，保留了設備更多的細節信息，避免了過多線段被截斷，實現了初始設定的優化目的。由于處理過程中是對整個圖像進行處理，電力設備信息保留更多的同時，背景的干擾短線段同樣也增加了較多，故還需對背景圖像進行處理，減少電力設備線段提取的干擾因素。

2.2 基于連通域分析的圖像背景干擾去除

LSD算法是對圖像中的線段進行分割，分別對每個局部的線段進行提取，根據上節處理后的圖像中可以看出，圖像中存在較多的干擾線段，這些線段主要是從背景圖像中提取出來的，將為后續電力鐵塔、線路的進一步提取帶來較大困難；除此之外，由于線路及桿塔中交叉線路，這也為線段的分割與提取帶來一定的困難，本小節將對以上兩種問題進行處理。為提升LSD提取線路信息的完整率，降低對設備的誤檢率，需要對灰度圖像進行去噪聲處理，去除背景中的干擾短線段，采用幾何形態學對干擾短線段進行處理。

對于處理后的灰度二值圖像而言，所述連通域即為相鄰的白色區域，對各個白色連通區域進行搜索，以此完成連通域分析，本節采用種子填充法對連通域進行分析。

針對航拍輸電線路的二值圖像，采用種子填充法時，先在經邊緣提取后的二值圖像中選擇種子點，通常選擇各個線段矢量的某一端點，開始搜索區域內白色像素點。當搜索區域內不存在白色像素點時，重新選取新的像素點進行處理，依據以上步驟，以此處理區域內的所有白色像素點。當區域內所有像素點均被處理、識別標記后，最終將形成若干個白色像素區域。

經過種子填充法得到孤立短線段，這些短線段的特征是不連通、面積小，基于此可以對得到的各個白色區域進行面積統計，設定篩選閾值從而獲得屬于電力線路的圖像，實現去除背景噪聲圖像的目的，處理結果如圖6及表1所示。

圖6 不同鄰域不同閾值效果Fig.6 Image extraction using LSD operator

表1 不同閾值下去除的小區域數量Tab.1 Number of small areas removed using different thresholds

根據圖6和表1所示結果可知，同一閾值下4領域檢測去除的區域數量始終大于8鄰域。通過分析，4鄰域探測會誤將部分面積大于閾值的區域去除。因此，在進行去除干擾的小區域時，采用8鄰域探測，從而盡可能保留電力線路的信息。

2.3 輸電線路的連接

LSD算法屬于局部檢測，利用區域生長算法進行圖像檢測，針對分析的電力線路及設備，由于航拍時光照、拍攝角度、無人機抖動等原因可能使得拍攝到的圖像中存在部分模糊區域[23-25]，導致使用LSD檢測算法后，原本屬于一條線路的線段被提取分割為多條短線段，故需對這些短線段進行連接，還原圖像原本特征[26]，本節采用Hough變換對這些短線段進行連接處理，還原原圖像中電力線路。

2.3.1 桿塔邊緣直線辨別

采用LSD提取后的線段均是有方向的矢量線段，通過對矢量矩陣分析，獲得每一線段的起始點和終止點。采用Hough變換后擬合得到的線段也是已知首末端點的矢量線段。已知線段的首末端點坐標，即可得到此線段的兩點式方程：

(y-yi2)/(yi1-yi2)=(x-xi2)/(xi1-xi2)

(2)

式中(xi1,yi1)為Hough變換后線段的首端點，(xi2,yi2)為變換后的末端點。

根據直線斜率可以將直線進行分組，直線斜率誤差小于設定值δ的為一組，剩余的為雜散直線。斜率相差較大的不平行的雜散直線分割為一組，這部分直線為鐵塔輪廓線。

為了提升線段檢測正確率，設定了一個閾值，不平行直線小于閾值2，則認為提取的圖像中未檢測到鐵塔輪廓的直線簇，結果如圖7所示。在圖7(b)中直線簇即為鐵塔輪廓，由此可知設定閾值2對于檢測電力線路及桿塔輪廓的精度是足夠的。

圖7 電力塔直線檢測結果Fig.7 Detection results of power tower straight line

2.3.2 線路連接結果與分析

根據上述線段處理流程和方法，獲得線路及桿塔的直線簇后，將直線簇進行延伸，可還原原始圖像。為驗證文中線路連接方法的有效性，分別對圖像中有、無桿塔的圖像進行處理，連接結果如圖8和圖9所示。分析圖8和圖9，無論圖像中是否含有桿塔，采用此方法均能完好地提取出電力線路及桿塔的邊緣信息。

圖8 含有桿塔的航拍圖像及提取結果Fig.8 Detection results of aerial images with towers

圖9 不含桿塔的航拍圖像及提取結果Fig.9 Aerial image and extraction result without tower

依據提出的上述圖像處理方法，分別對航拍圖像進行線段提取，統計得到原始圖像中含有桿塔以及不含桿塔的處理結果，獲得的結果如表2所示。其中，如果線路信息提取后未將桿塔或線路信息漏檢或者誤檢，則可視為圖像檢測正確。

表2 檢測結果Tab.2 The detection results

分析表2，無論航拍圖像中是否存在桿塔，均能取得較好的檢測結果，可以將線路纖細完整提取出來。

3 輸電線路自動跟蹤方法研究

3.1 基于粒子濾波的線路跟蹤

使用粒子濾波算法對線路跟蹤主要分為四個階段：初始化、搜索、決策和重采樣。下面將對這四個階段分別進行說明：

(1)初始化階段。確定需跟蹤的對象，并識別獲得跟蹤目標(跟蹤目標即為輸電線路)的特征；

(2)搜索階段。根據xk-1的概率分布進行采樣，根據映射關系及約束條件，獲得每一粒子與之對應的預測粒子，并計算相似度；通過對各個相似度進行歸一化處理，使最終獲得的相似度和為1；

(3)決策階段。采用篩選算法獲得正態分布N(0,1)的隨機數z，假定z為觀測值，計算其條件概率p(z|xk(i))，獲得的條件概率即為此粒子的權重值。獲得各個粒子的權重值后，采用加權平均，獲得圖像中預測圖像。假定第i個粒子的像素坐標為(xi,yi),該粒子的權重值為wk(i)；

(4)重采樣階段。經過上述三個步驟后，得到各個粒子的權重值，保留權重值較高的粒子，得到真實狀態xk。此步驟稱為重采樣，重采樣后得到的粒子反映了圖像中各個粒子的真實概率分布。

根據上述四個步驟可以對目標元素下一幀位置進行了預估，從而提升了圖像處理效率。

3.2 基于擴展卡爾曼濾波的線路跟蹤

采用無人機拍攝的相鄰兩幀圖像基本一致，圖像內容不會存在很大的偏差，故航拍所得相鄰兩張圖像的截距變化量與速度變化量基本一致，斜率變化量與角度變化量基本一致[27]。基于此假設，電力線路初始狀態可表示為：

(3)

式中θk為電力線運動模型中線路l的第k幀圖像與x軸夾角；bk為y軸上的截距；l在第k-1幀圖像上與x軸的夾角為θk-1，在y軸上的截距為bk-1。

基于上述假設以及線路的初始狀態，通過仿真軟件對相鄰航拍圖像進行跟蹤，具體流程如圖10所示。

圖10 EKF跟蹤流程圖Fig.10 EKF tracking flow chart

第一步：輸入航拍圖像，并完成圖像的預處理，獲得線路的完整信息；

第二步：獲取線路的斜率、截距以及無人機飛行速度，并設置初始擴展卡爾曼濾波(Extended Kalman Filter，EKF)參數；

第三步：讀取下一幀航拍圖像，開始線路的跟蹤循環；

第四步：確定輸電線路感興趣區域(Region of Interest，ROI)，并在此區域內進行邊緣檢測與連接，判斷是否滿足跟蹤條件。如果不滿足，則認為跟蹤失效，此時返回初始環節，需要對圖像的初始化參數進行更新。當判斷為圖像跟蹤成功時，程序自動讀取下一幀圖像，并完成圖像的跟蹤處理，直至所有視頻圖像均完成。

3.3 仿真結果分析

為驗證文中算法對實際航拍圖像處理效果，對部分航拍圖像進行實際檢測，選用同一航拍圖像分別使用上述兩種線路跟蹤方法進行過處理，連續4幀跟蹤效果圖如圖11和圖12所示。

圖11 粒子濾波跟蹤結果圖Fig.11 Particle filter tracking results

圖12 EKF跟蹤結果圖Fig.12 EKF tracking results

通過觀察圖11、圖12，采用上述兩種跟蹤方法均能準確提取出相鄰圖像幀中的電力線路。為了量化兩種方法的優劣，通過正確率(圖像檢測正確數與圖像總數的比值)指標進行評價。通過對一定數量的航拍視頻進行處理，獲得兩種跟蹤方法的對比。

分析表3，兩種跟蹤方法的正確率基本一致，均能較好地檢測出圖像中的線路。在處理時間指標上EKF跟蹤算法用時較短，速度更快。簡而言之，粒子濾波跟蹤算法準確性比EKF算法相差不大，而計算量卻是EKF算法的2倍以上，實時性不高。綜上所述，針對文中輸電線路的跟蹤與提取，采用EKF濾波已能滿足跟蹤要求。

表3 兩種算法對比Tab.3 Comparison of two algorithms

4 結束語

綜上所述，文章對無人機拍攝的輸電線路圖像進行了圖像提取與跟蹤，為后續提升無人機智能巡檢的效率以及故障識別提供了基礎，經過分析研究，得出以下重要結論：

(1)考慮航拍圖像的隨機性，拍攝得到的圖像中目標元素與背景對比度較為相近，采用直方圖均衡化有效提升線路與背景的對比度；同時航拍圖像時周圍環境較為復雜，通過對比中值濾波和雙邊濾波處理效果，結果表明使用雙邊濾波更能保存輸電線路的細節；

(2)對預處理的圖像使用LSD算法實現了輸電線路的邊緣提取，針對提取結果經常為多條短線段的問題，使用了Hough變換實現了輸電線路的鏈接，完成了輸電電路的提取；

(3)基于對粒子濾波和擴展卡爾曼濾波兩種的分析，分別對相同的實際拍攝視頻幀圖像進行處理，檢測準確度分別為95.34%和94.72%；但由于EKF濾波算法平均圖像處理時間要小于粒子濾波跟蹤算法，因此利用EKF濾波建立的ROI就能滿足輸電線路的跟蹤要求。