架空輸電線路無(wú)人機(jī)自適應(yīng)拍攝算法研究

袁 野，付子峰，李 響，吳星奇，于 江

（國(guó)網(wǎng)湖北省電力有限公司超高壓公司輸電檢修中心，湖北 武漢 430064）

0 引言

目前無(wú)人機(jī)自主巡檢通過(guò)預(yù)先設(shè)置基于GPS的拍攝航線，無(wú)人機(jī)起飛后通過(guò)GPS 坐標(biāo)到達(dá)航線預(yù)定位置航點(diǎn)后開始拍攝，采集輸電桿塔等設(shè)備的圖像［1-3］。但是目前各類自主巡檢無(wú)人機(jī)可靠性低，無(wú)法滿足巡檢需求。無(wú)人機(jī)到達(dá)規(guī)劃航點(diǎn)后，需通過(guò)自主巡檢程序控制調(diào)整機(jī)身姿態(tài)，微調(diào)云臺(tái)控制相機(jī)變焦采集圖像，使目標(biāo)設(shè)備在圖像中居中顯示并確保對(duì)焦正確、圖像清晰、曝光正常［4-6］。

若拍攝過(guò)程中定位信號(hào)受到干擾，或者陣風(fēng)造成無(wú)人機(jī)位置姿態(tài)變化，都會(huì)導(dǎo)致自主巡檢拍攝的圖像中丟失目標(biāo)設(shè)備的情況［7-9］。本項(xiàng)目采用實(shí)時(shí)圖像識(shí)別的方式，其技術(shù)路線如圖1所示。

圖1 典型工況條件下自適應(yīng)拍攝技術(shù)路線Fig.1 Adaptive shooting technique route under typical working conditions

用自主巡檢航線中各個(gè)拍攝位置的無(wú)人機(jī)及云臺(tái)朝向設(shè)置，控制目標(biāo)設(shè)備部件在圖像中位置的初值［10-12］。無(wú)人機(jī)到達(dá)航點(diǎn)位置懸停后，調(diào)用相機(jī)廣角端完成設(shè)備圖像采集，相機(jī)采集設(shè)備圖像后，發(fā)送到前端智能分析模塊進(jìn)行實(shí)時(shí)分析，檢測(cè)目標(biāo)位置。根據(jù)目標(biāo)設(shè)備在圖像視野中的方位，聯(lián)通飛控系統(tǒng)調(diào)整相機(jī)位置，控制云臺(tái)向反方向轉(zhuǎn)動(dòng)，并實(shí)時(shí)檢測(cè)目標(biāo)設(shè)備距離視野中心的偏移量，自主巡檢拍攝過(guò)程中［13-15］。始終進(jìn)行動(dòng)態(tài)伺服，保障設(shè)備始終在圖像中居中顯示。通過(guò)前端質(zhì)量校驗(yàn)機(jī)制，防止對(duì)焦錯(cuò)誤、機(jī)身抖動(dòng)造成的圖像模糊，以及經(jīng)常由于逆光拍攝造成圖像對(duì)比度異常，全面保障圖像拍攝質(zhì)量［16-18］。

1 無(wú)人機(jī)自主巡檢設(shè)備圖像拍攝

無(wú)人機(jī)自主巡檢作業(yè)應(yīng)實(shí)現(xiàn)對(duì)桿塔設(shè)備、附屬設(shè)施的全覆蓋，根據(jù)機(jī)型特點(diǎn)、巡檢塔型，遵照標(biāo)準(zhǔn)化作業(yè)流程開展作業(yè)，巡檢導(dǎo)、地線、絕緣子串、銷釘、均壓環(huán)、防振錘等重要設(shè)備或發(fā)現(xiàn)缺陷故障點(diǎn)時(shí)，從俯視、仰視、平視等多個(gè)角度、順線路方向、垂直線路方向以及距離設(shè)備5 m處進(jìn)行航拍，拍攝過(guò)程宜由遠(yuǎn)及近、由高及低、由內(nèi)及外、先俯后仰［19-21］，根據(jù)現(xiàn)場(chǎng)情況設(shè)置定點(diǎn)、定距、定時(shí)拍照。對(duì)于直線塔，從大、小號(hào)方向分別拍攝，重點(diǎn)拍攝地線、光纜等掛點(diǎn)以上設(shè)備和線夾、掛環(huán)連接金具；對(duì)于同塔多回輸電線路和耐張塔，采取雙側(cè)巡檢方式。除掛點(diǎn)以上設(shè)備和連接金具外，還需重點(diǎn)檢查跳串、跳線間隔棒和調(diào)整板、間隔板等承載橫向荷載的設(shè)備，實(shí)現(xiàn)對(duì)桿塔及導(dǎo)線全方位精細(xì)化檢查［22-24］。

開展自主巡檢時(shí)，其圖像采集內(nèi)容包括桿塔及基礎(chǔ)各部位、導(dǎo)地線、附屬設(shè)施、大小號(hào)側(cè)通道等；采集的圖像應(yīng)清晰，可準(zhǔn)確辨識(shí)銷釘級(jí)缺陷，拍攝角度合理［25-27］。無(wú)人機(jī)拍攝時(shí)應(yīng)等待無(wú)人機(jī)穩(wěn)定后再進(jìn)行拍攝，有光學(xué)防抖功能的相機(jī)應(yīng)開啟光學(xué)防抖，盡量避免因?yàn)闊o(wú)人機(jī)晃動(dòng)而造成的圖像模糊。另外在光線較強(qiáng)烈時(shí)，應(yīng)盡量選擇順光拍攝，逆光拍攝需及時(shí)調(diào)節(jié)相機(jī)感光度和曝光補(bǔ)償系數(shù)［28-36］。

1.1 桿塔拍攝

塔頭從線路大、小號(hào)側(cè)分別拍攝塔頭全貌，如圖2。可能存在的缺陷包括塔材及地線支架明顯變形和受損、塔材缺失、嚴(yán)重銹蝕導(dǎo)地線掉串掉線、懸掛異物等。

圖2 塔頭拍攝示例Fig.2 Example of tower head shooting

塔身整體或分段拍攝A-B、B-C、C-D、D-A 4個(gè)面全貌（不同面可分別拍攝，也可多面拍攝一張照片），如圖3。可能存在的缺陷包括塔材明顯變形、受損和缺失；嚴(yán)重銹蝕懸掛異物等。

圖3 塔身拍攝示例Fig.3 Example of tower body shooting

全塔拍攝從大、小號(hào)側(cè)分別拍攝桿塔全貌，如圖4。可能存在的缺陷包括主材明顯變形、桿塔傾斜懸掛異物、導(dǎo)地線掉串掉線等。

圖4 全塔拍攝示例Fig.4 Example of full tower shooting

1.2 導(dǎo)地線拍攝

地線拍攝時(shí)，無(wú)人機(jī)近似垂直地線方向內(nèi)、外兩側(cè)分別拍攝；拍攝內(nèi)容應(yīng)包括整個(gè)金具串及連接的地線、塔材，如圖5。可能存在的缺陷：地線從線夾抽出；地線滑移；線夾斷裂裂紋、磨損；螺栓及螺帽松動(dòng)、缺失；連接板、連接環(huán)調(diào)整板損傷、裂紋；銷釘脫落或嚴(yán)重銹蝕、連接點(diǎn)塔材變形等。

圖5 耐張、直線塔地線拍攝示例Fig.5 Shooting example of tension and linear tower ground wire

對(duì)引流線，無(wú)人機(jī)采用近似垂直線路方向內(nèi)、外兩側(cè)分別拍攝，每個(gè)方向可多張拍攝或只拍一張，每個(gè)方向拍攝的內(nèi)容匯總后應(yīng)包括引流線兩端線夾及之間的所有導(dǎo)線，如圖6。可能存在的缺陷包括：引流線松股、散股、斷股、表層受損、斷線、放電燒傷分裂導(dǎo)線扭絞，間隔棒松脫、變形或離位等。

圖6 引流線拍攝示例Fig.6 Shooting example of by-pass jumper

對(duì)防振錘，無(wú)人機(jī)近似垂直線路方向內(nèi)、外兩側(cè)分別拍攝，如圖7。每個(gè)方向可多張拍攝或只拍一張；每個(gè)方向拍攝的內(nèi)容匯總后應(yīng)包括所有防振錘，可能存在的缺陷包括：防振錘跑位、脫落、嚴(yán)重銹蝕、阻尼線變形、燒傷等。

圖7 防振錘拍攝示例Fig.7 Shooting example of vibration damper

對(duì)導(dǎo)線本體，無(wú)人機(jī)至少?gòu)膬蓚€(gè)方向拍攝分段拍攝，每相拍攝內(nèi)容匯總后應(yīng)包括整根導(dǎo)線（地線、OPGW）及所有間隔棒，如圖8，可能存在的缺陷包括：散股、斷股、損傷、斷線、放電燒傷、懸掛漂浮物、嚴(yán)重銹蝕；分裂導(dǎo)線扭絞、覆冰；間隔棒松脫、變形或離位等。

圖8 導(dǎo)線拍攝示例Fig.8 Example of wire shooting

1.3 絕緣子及金具拍攝

絕緣子串導(dǎo)線端拍攝，可拍攝部分為絕緣子串和金具。無(wú)人機(jī)對(duì)耐張串、懸垂串，近似垂直導(dǎo)線方向上、下、左、右分別拍攝；每張照片均應(yīng)包括所有線夾、金具螺栓，且每串不少于2 片絕緣子。對(duì)近似垂直導(dǎo)線方向上、下、左、右分別拍攝，如圖9?？赡艽嬖诘娜毕莅ǎ簩?dǎo)線從線夾抽出；導(dǎo)線滑移；線夾斷裂裂紋、磨損；螺栓及螺帽松動(dòng)、缺失；連接板、連接環(huán)調(diào)整板損傷、裂紋；銷釘脫落或嚴(yán)重銹蝕；均壓環(huán)、屏蔽環(huán)脫落、斷裂、燒傷；絕緣子彈簧銷缺損，鋼帽裂紋、斷裂，鋼腳嚴(yán)重銹蝕或破損等。

圖9 耐張串、懸垂串絕緣子導(dǎo)線端拍攝示例Fig.9 Shooting example of tensioning string, suspension string insulator wire end

絕緣子串掛點(diǎn)，可拍攝部分為絕緣子串和金具。無(wú)人機(jī)采用近似垂直導(dǎo)線方向上、下、左、右分別拍攝；每張照片均應(yīng)包括所有線夾、金具螺栓、掛點(diǎn)塔材，且每串不少于2 片絕緣子，如圖10?？赡艽嬖诘娜毕莅ǎ郝菟奥菝彼蓜?dòng)、缺失；連接板、連接環(huán)調(diào)整板損傷、裂紋；銷釘脫落或嚴(yán)重銹蝕；掛點(diǎn)塔材、變形；絕緣子彈簧銷缺損，鋼帽裂紋、斷裂，鋼腳嚴(yán)重銹蝕或破損等。

圖10 耐張串、懸垂串絕緣子掛點(diǎn)拍攝示例Fig.10 Shooting example of tensioning string and suspension string insulator hanging point

對(duì)整串絕緣子，近似垂直導(dǎo)線方向上、下、左、右分別拍攝；每張照片均應(yīng)包括整個(gè)絕緣子串，如圖11?？赡艽嬖诘娜毕莅ǎ簜闳蛊茡p、嚴(yán)重污穢、有放電痕跡；彈簧銷缺損；鋼帽裂紋、斷裂；鋼腳嚴(yán)重銹蝕或破損；絕緣子串順線路方向傾斜角過(guò)大；絕緣子自爆等。

圖11 絕緣子串拍攝示例Fig.11 Shooting example of insulator strings

1.4 附屬設(shè)施拍攝

附屬設(shè)施包括各種拍攝桿塔所有標(biāo)識(shí)標(biāo)牌、防雷、防鳥、在線監(jiān)測(cè)裝置，如圖12?？赡艹霈F(xiàn)的缺陷包括：標(biāo)識(shí)標(biāo)牌缺失、損壞、字跡或顏色不清、嚴(yán)重銹蝕等。防雷設(shè)置破損、變形、引線松脫，螺栓松脫， 銷釘脫落或嚴(yán)重銹蝕，放電間隙變化、燒傷、計(jì)數(shù)器動(dòng)作情況等；防鳥裝置缺失、破損、變形、螺栓松脫銷釘脫落或嚴(yán)重銹蝕等；在線監(jiān)測(cè)裝置外觀損壞、引線松脫，螺栓松脫、銷釘脫落或嚴(yán)重銹蝕等。

圖12 桿塔標(biāo)識(shí)標(biāo)牌拍攝示例Fig.12 Shooting example of tower identification signs

1.5 線路走廊拍攝

線路走廊拍攝，對(duì)本基桿塔下相導(dǎo)線側(cè)面分別拍攝大、小號(hào)側(cè)順線路方向分別至下一基桿塔的通道整體情況，通道內(nèi)建（構(gòu)筑物、魚塘、水庫(kù)、農(nóng)田、樹竹生長(zhǎng)、施工作業(yè)情況；周邊及跨越的電力及通信線路、道路、鐵路、索道、管道情況；地質(zhì)情況等），如圖13?？赡艹霈F(xiàn)的缺陷主要是塔吊、推土機(jī)、挖掘機(jī)等施工外破目標(biāo)、樹線距離不足、違章建筑、地質(zhì)環(huán)境變化等。

圖13 線路走廊拍攝示例Fig.13 Shooting example of transmission line corridor

2 典型工況下自適應(yīng)拍攝算法

2.1 視野中電力設(shè)備目標(biāo)檢測(cè)

目前無(wú)人機(jī)自主巡檢航線規(guī)劃完全依賴基于北斗系統(tǒng)的差分定位，控制無(wú)人機(jī)到達(dá)預(yù)設(shè)航點(diǎn)后，調(diào)整機(jī)身以及云臺(tái)朝向，按順序在預(yù)設(shè)位置對(duì)設(shè)備部件進(jìn)行拍攝。在具備前端識(shí)別設(shè)備的基礎(chǔ)上，可以通過(guò)基于檢測(cè)反饋調(diào)整的設(shè)備拍攝算法，使無(wú)人機(jī)精準(zhǔn)對(duì)向目標(biāo)設(shè)備執(zhí)行拍攝，進(jìn)一步提升巡檢圖像拍攝質(zhì)量。

無(wú)人機(jī)到達(dá)懸停航點(diǎn)后，飛控發(fā)送指令至前端智能分析模塊，開啟圖像分析流程，前端智能分析模塊向無(wú)人機(jī)云臺(tái)相機(jī)獲取實(shí)時(shí)視頻。為降低處理壓力，可以從原視頻文件中每多幀中抽取1幀圖像進(jìn)行分析處理，推薦每10幀抽取1幀，其抽取比例可在系統(tǒng)中設(shè)置。

通過(guò)智能分析模塊運(yùn)行的深度學(xué)習(xí)模型，采用經(jīng)過(guò)輕量化改進(jìn)的目標(biāo)檢測(cè)算法（You Only Look Oncee，YOLO）YOLO 模型檢測(cè)典型設(shè)備，從相機(jī)廣角端拍攝圖像中定位典型設(shè)備位置，并對(duì)視野內(nèi)的設(shè)備進(jìn)行編號(hào)排序。經(jīng)試驗(yàn)，可以將待識(shí)別的目標(biāo)設(shè)備抽象為幾個(gè)重點(diǎn)拍攝位置多個(gè)設(shè)備的組合，包括：塔全景、塔頂?shù)鼐€掛點(diǎn)、懸垂絕緣子接地端掛點(diǎn)、懸垂絕緣子串整體、懸垂絕緣子導(dǎo)線端、耐張絕緣子接地端掛點(diǎn)、耐張絕緣子串整體、耐張絕緣子導(dǎo)線端。選取典型拍攝位置的圖像標(biāo)注后，預(yù)先訓(xùn)練模型集成于無(wú)人機(jī)飛控上。

以上位置設(shè)備有相對(duì)明顯的組合輪廓特征，智能分析模塊運(yùn)行的輕量化深度學(xué)習(xí)檢測(cè)模型即可準(zhǔn)確識(shí)別。相對(duì)于對(duì)絕緣子、線夾等各類設(shè)備的識(shí)別，本節(jié)方案更加抽象地概括了電力場(chǎng)景下需要拍攝的位置特征，發(fā)揮了深度學(xué)習(xí)模型的優(yōu)勢(shì)。避免了針對(duì)不同電壓等級(jí)線路中不同型號(hào)設(shè)備識(shí)別算法的開發(fā)，降低了開發(fā)成本，提升了識(shí)別穩(wěn)定性。

將拍攝時(shí)刻設(shè)為T0，此圖片記為Pic0，記錄T0時(shí)刻飛控各項(xiàng)參數(shù)，包括GPS 坐標(biāo)，無(wú)人機(jī)IMU 三軸參數(shù)，包括偏轉(zhuǎn)角、俯仰角、翻滾角，云臺(tái)的三軸參數(shù)，包括偏轉(zhuǎn)角、俯仰角、翻滾角。前端模塊調(diào)用輕量化深度學(xué)習(xí)模型，識(shí)別Pic0，識(shí)別出的設(shè)備區(qū)域從上至下進(jìn)行順序編號(hào)，按照編號(hào)順序，決定后續(xù)的變焦拍攝順序，目標(biāo)識(shí)別及編號(hào)示例如圖14。

圖14 從圖像中定位出設(shè)備并排序Fig.14 Positioning and sorting devices from images

2.2 考慮風(fēng)速影響的無(wú)人機(jī)及云臺(tái)反饋調(diào)節(jié)

前端智能分析模塊計(jì)算圖像中設(shè)備區(qū)域中心點(diǎn)位置與視野中心位置偏差，反饋給無(wú)人機(jī)飛控，調(diào)節(jié)無(wú)人機(jī)及云臺(tái)，使目標(biāo)圖像采集過(guò)程中，目標(biāo)設(shè)備區(qū)域在圖像中居中顯示。

首先建立圖像坐標(biāo)系，以左上角為原點(diǎn)，右方為X軸，下方為Y軸建立圖像坐標(biāo)系，其X軸方向最大值為圖片的最大橫向分辨率（Xm，0），Y軸方向最大值為圖像最大縱向分辨率（0，Ym）通過(guò)頂點(diǎn)坐標(biāo)計(jì)算目標(biāo)設(shè)備中心在圖像坐標(biāo)系中的坐標(biāo)。

根據(jù)坐標(biāo)反饋到無(wú)人機(jī)飛控，控制無(wú)人機(jī)及云臺(tái)向?qū)?yīng)方向調(diào)整。例如目標(biāo)在圖像中偏左上，則應(yīng)通過(guò)飛控控制云臺(tái)向左上移動(dòng)。通過(guò)實(shí)時(shí)獲取飛控IMU中無(wú)人機(jī)姿態(tài)參數(shù)和云臺(tái)三軸參數(shù)，若目標(biāo)采集過(guò)程中受到陣風(fēng)影響，導(dǎo)致無(wú)人機(jī)姿態(tài)參數(shù)出現(xiàn)變化，則前端模塊發(fā)送命令使云臺(tái)應(yīng)朝反方向補(bǔ)償，保持鏡頭朝向不變。例如若檢測(cè)到無(wú)人機(jī)偏轉(zhuǎn)角較上一時(shí)刻改變了α度，則云臺(tái)應(yīng)在上一時(shí)刻三軸位置的基礎(chǔ)上，偏轉(zhuǎn)角補(bǔ)償-α度，從而始終保持相機(jī)拍攝朝向方位穩(wěn)定。重新計(jì)算坐標(biāo)值，重復(fù)以上步驟，至同時(shí)滿足設(shè)置值，過(guò)程示例如圖15。

圖15 圖像中設(shè)備識(shí)別反饋相機(jī)調(diào)整拍攝示例Fig.15 Shooting example of device recognition feedback camera adjustment in the image

2.3 目標(biāo)設(shè)備圖像自動(dòng)對(duì)焦拍攝

通過(guò)前端智能分析模塊與無(wú)人機(jī)飛控通信伺服無(wú)人機(jī)及云臺(tái)，保證采集過(guò)程中目標(biāo)設(shè)備始終保持居中顯示，防止因陣風(fēng)等因素引起無(wú)人機(jī)姿態(tài)變化導(dǎo)致的拍攝目標(biāo)丟失。由于變焦相機(jī)鏡片組是機(jī)械結(jié)構(gòu)，飛控控制相機(jī)從最短焦距變化到最長(zhǎng)焦距需要1 s～2 s的時(shí)間，遠(yuǎn)大于拍照時(shí)的曝光時(shí)間1/100 s，因此通過(guò)變焦過(guò)程中圖像識(shí)別與無(wú)人機(jī)云臺(tái)伺服步驟，保證變焦過(guò)程中鏡頭始終鎖定拍攝目標(biāo)，防止因陣風(fēng)等外界變化造成的目標(biāo)丟失。

若無(wú)人機(jī)為搭載定焦相機(jī)的精靈4 等型號(hào)無(wú)人機(jī)，則前端智能分析模塊控制無(wú)人機(jī)朝向拍攝目標(biāo)飛行，使目標(biāo)圖像在視野中逐漸變大。前端智能分析模塊實(shí)時(shí)讀取采集過(guò)程中圖像，并識(shí)別出目標(biāo)設(shè)備包圍盒，確保采集過(guò)程中設(shè)備始終保持在圖像中居中顯示。采集過(guò)程如圖16。完成上述變焦操作，對(duì)準(zhǔn)目標(biāo)設(shè)備后，相機(jī)對(duì)目標(biāo)設(shè)備進(jìn)行自動(dòng)對(duì)焦操作，拍攝目標(biāo)設(shè)備部位清晰圖像。

圖16 目標(biāo)設(shè)備圖像拉近居中顯示原理示例Fig.16 Example of zooming in and centered display of target device images

2.4 考慮光照影響的圖像質(zhì)量校驗(yàn)

對(duì)焦正確的第i幀圖像，計(jì)算其灰度直方圖，若存在明顯的波峰波谷，則對(duì)灰度值直方圖進(jìn)行均衡化操作，并計(jì)算其正確曝光時(shí)間及曝光補(bǔ)償參數(shù)，保障圖像對(duì)比度適中，如圖17。

圖17 曝光參數(shù)優(yōu)化后圖像采集效果對(duì)比Fig.17 Comparison of image acquisition effect after exposure parameter optimization

第1 個(gè)目標(biāo)拍攝完成后，可見(jiàn)光相機(jī)恢復(fù)至最短焦距，根據(jù)檢測(cè)算法模塊檢測(cè)結(jié)果進(jìn)行比對(duì)。讀取每個(gè)設(shè)備區(qū)域中心點(diǎn)坐標(biāo)PAi（XApi，YApi）通過(guò)最小歐式距離完成Pic0與Pic0A中各設(shè)備中心點(diǎn)的對(duì)應(yīng)，確認(rèn)拍攝排序2 的設(shè)備，避免順序混亂和重復(fù)拍攝。關(guān)聯(lián)飛控和工單，對(duì)每個(gè)拍攝部位進(jìn)行命名，例如命名為“500 kVxxx線10號(hào)上相絕緣子導(dǎo)線端”。

重復(fù)上文步驟，完成排序2 設(shè)備的高清圖像采集與清晰度檢測(cè)，以此類推完成本航點(diǎn)視野內(nèi)所有設(shè)備的圖像采集與清晰度檢測(cè)。通過(guò)在一個(gè)航點(diǎn)完成視野內(nèi)多個(gè)設(shè)備的拍攝，降低航線規(guī)劃的難度和規(guī)劃工作量，避免了飛行航線過(guò)程中的能量損耗和在GPS 定位精度有限的條件下多個(gè)航點(diǎn)尋找懸停點(diǎn)消耗的時(shí)間，提升巡檢效率。

3 結(jié)語(yǔ)

考慮不同拍攝背景、光照、拍攝距離等典型環(huán)境工況條件，對(duì)自主巡檢無(wú)人機(jī)拍攝的圖像進(jìn)行了規(guī)范，基于輕量化改進(jìn)YOLO 算法，建立了基于圖像識(shí)別反饋的無(wú)人機(jī)巡檢自適應(yīng)拍攝算法，通過(guò)從無(wú)人機(jī)視頻中識(shí)別出桿塔、絕緣子、金具等典型電力設(shè)備部件，反饋給無(wú)人機(jī)飛控系統(tǒng)。在拍攝前調(diào)節(jié)控制無(wú)人機(jī)拍攝位置、相機(jī)焦距、角度等拍攝參數(shù)，使拍攝圖像居中且清晰可見(jiàn)，在考慮風(fēng)速、光照影響的工況條件下，實(shí)現(xiàn)了對(duì)桿塔、導(dǎo)地線、絕緣子、金具、附屬設(shè)施、線路走廊的高清自適應(yīng)對(duì)焦拍攝。