變電站邊緣計(jì)算多無人機(jī)協(xié)同避障方法

王干軍，江玉歡，丁宗寶，溫佳靜

(1. 廣東電網(wǎng)有限責(zé)任公司中山供電局，廣東 中山 528400；2. 武漢大學(xué)電氣與自動(dòng)化學(xué)院，湖北 武漢 430072)

1 引言

隨著無人機(jī)技術(shù)的成熟，無人機(jī)在電力系統(tǒng)中得到了廣泛的應(yīng)用。在輸電線路、配電線路的機(jī)巡中，應(yīng)用圖像識(shí)別技術(shù)以及紅外檢測技術(shù)，基于圖像識(shí)別技術(shù)對(duì)缺陷進(jìn)行預(yù)判已經(jīng)較為成熟，逐步進(jìn)入實(shí)用階段[1]。

由于無人機(jī)續(xù)航能力有限，采用單臺(tái)無人機(jī)開展巡檢工作效率顯然很低，現(xiàn)有電力巡檢要求也開始要求無人機(jī)搭載多種載荷開展巡檢[2，3]。顯然，采用多無人機(jī)開展協(xié)同巡檢，是提高機(jī)巡效率的有效手段。

與輸電線路、配電線路機(jī)巡相比，在變電站中開展機(jī)巡由于空間有限，帶電高壓設(shè)備密集，對(duì)飛行和避障的精度要求顯然更高。通常采用的避障手段是通過雙目識(shí)別或者毫米波雷達(dá)進(jìn)行避障[4-5]。文獻(xiàn)[6]提出了一種基于迭代重組(iterative recombination，IRIS)和人工勢場(artifical potential field，APF)相結(jié)合的避障方案。文獻(xiàn)[7]對(duì)農(nóng)田環(huán)境中的障礙物進(jìn)行了分類，并提出了作業(yè)視場的避障分區(qū)及各區(qū)避障策略。文獻(xiàn)[8]采用自下而上的建模方法，對(duì)單個(gè)個(gè)體建立變系數(shù)控制器，包括一致性運(yùn)動(dòng)模塊和避障模塊，提出自組織避障的控制策略，實(shí)現(xiàn)了集群自組織避障。

在變電站中開展機(jī)巡工作空間有限，選擇小型無人機(jī)顯然更加合適，因此無人機(jī)的載荷也相對(duì)而言有限。為了避障，單一無人機(jī)搭載多種檢測裝置顯然不現(xiàn)實(shí)，而變電站內(nèi)有大量的監(jiān)控終端數(shù)據(jù)，或者是多臺(tái)無人機(jī)協(xié)同飛行的數(shù)據(jù)可以參考。

邊緣計(jì)算適用于具有海量數(shù)據(jù)特征的業(yè)務(wù)動(dòng)態(tài)管理、邊緣化安全隱私防護(hù)等技術(shù)需求[9]，其中下行數(shù)據(jù)表示云服務(wù)，上行數(shù)據(jù)表示萬物互聯(lián)服務(wù)。有數(shù)據(jù)表明，物聯(lián)網(wǎng)產(chǎn)生數(shù)據(jù)的45%都將在網(wǎng)絡(luò)邊緣處理[10]。文獻(xiàn)[11]提出了提出基于邊緣計(jì)算的主動(dòng)配電網(wǎng)的PTN物理架構(gòu)模型，構(gòu)建了基于邊緣計(jì)算的分層自治協(xié)同的主動(dòng)配電網(wǎng)信息物理系統(tǒng)(CPS)管控模型。

與現(xiàn)有方法相比，本文將多臺(tái)巡檢無人機(jī)以及變電站攝像頭的數(shù)據(jù)整合，并提出一種基于邊緣計(jì)算框架的分析方法，在匹配特征點(diǎn)以及線段后，可以全面分析障礙物的外形以及動(dòng)態(tài)特征，從而可以提前為無人機(jī)避障提供精準(zhǔn)的分析及計(jì)算依據(jù)。

2 變電站邊緣計(jì)算框架

邊緣計(jì)算中涉及三類設(shè)備：邊緣終端，邊緣服務(wù)器以及中心節(jié)點(diǎn)。在變電站中，涉及到機(jī)巡的邊緣終端包括監(jiān)控?cái)z像頭，紅外攝像頭以及無人機(jī)等多種終端；邊緣服務(wù)器主要是架設(shè)在變電站，用于數(shù)據(jù)分析的服務(wù)器；中心節(jié)點(diǎn)則隸屬于區(qū)域中心，例如集控站中的計(jì)算及分析平臺(tái)，通常基于云計(jì)算技術(shù)實(shí)現(xiàn)。

與民用邊緣計(jì)算的應(yīng)用有差異的是，變電站中應(yīng)用邊緣計(jì)算時(shí)，邊緣終端的數(shù)量要少，但計(jì)算分析的數(shù)據(jù)量大，實(shí)時(shí)性要求也高。電力系統(tǒng)當(dāng)中的機(jī)巡目前已經(jīng)開始嘗試無人機(jī)的自主飛行。

圖1 變電站機(jī)巡避障邊緣計(jì)算架構(gòu)

采用邊緣計(jì)算通常需要將數(shù)據(jù)通過互聯(lián)網(wǎng)與云平臺(tái)進(jìn)行交互，本應(yīng)用中飛行的基礎(chǔ)三維數(shù)據(jù)相對(duì)固定，而在變電站固定環(huán)境中避障，需要提高計(jì)算效率，因此，不需要與云平臺(tái)互動(dòng)。由此，采用邊緣計(jì)算對(duì)臨時(shí)出現(xiàn)的障礙物進(jìn)行辨識(shí)、避障的架構(gòu)如圖1。

變電站無人機(jī)在巡檢過程中，既要通過可見光、紅外等設(shè)備檢測設(shè)備的缺陷，也要采集邊緣終端上相應(yīng)的設(shè)備數(shù)據(jù)供缺陷以及故障的診斷。

由于變電站中設(shè)備較為密集，采用毫米波雷達(dá)信號(hào)進(jìn)行避障難度較大，在目前可見光設(shè)備分辨率較高的情況下運(yùn)用該技術(shù)較為合適。當(dāng)前變電站中監(jiān)控的覆蓋率相當(dāng)高，充分利用現(xiàn)有的攝像頭的邊緣終端數(shù)據(jù)，基于無人機(jī)機(jī)巡任務(wù)，對(duì)障礙以及障礙的性質(zhì)進(jìn)行判斷，從而做出合理的規(guī)避判斷決策。

3 邊緣計(jì)算協(xié)同避障算法

3.1 避障算法流程

對(duì)變電站障礙進(jìn)行分析，首先需要對(duì)變電站中的障礙性質(zhì)進(jìn)行判定并進(jìn)行相應(yīng)處理：

1)靜態(tài)障礙：在變電站中永久增加的障礙，如設(shè)備機(jī)柜、端子箱等；包括臨時(shí)增加的施工設(shè)備、現(xiàn)場改換位置的設(shè)備或者是檢修裝備。

這樣一些靜態(tài)障礙在檢測到后，無人機(jī)通過避障算法修改巡檢路徑，在安全區(qū)域內(nèi)通過。障礙在系統(tǒng)中記錄，如果是永久增加的靜態(tài)障礙，多次巡檢中均可以發(fā)現(xiàn)，此時(shí)應(yīng)在后臺(tái)三維模型中對(duì)數(shù)據(jù)進(jìn)行人工確認(rèn)與更新，對(duì)巡檢線路也進(jìn)行相應(yīng)的更新；對(duì)臨時(shí)出現(xiàn)的靜態(tài)障礙，障礙消除后恢復(fù)原始飛行線路，自動(dòng)更改飛行線路后也需要后臺(tái)確認(rèn)。

2)動(dòng)態(tài)障礙：在變電站中移動(dòng)的人或者是檢修車輛、裝備等；在變電站中協(xié)同當(dāng)前無人機(jī)開展巡檢的自動(dòng)化裝備，如其他的無人機(jī)或者機(jī)器人等。

對(duì)于隨機(jī)運(yùn)動(dòng)的人或者設(shè)備、裝備，需要充分預(yù)留相應(yīng)的空間、選擇避障線路或者返航；對(duì)于協(xié)同飛行的設(shè)備或裝備，由于飛行或者運(yùn)行線路都提前經(jīng)過設(shè)計(jì)，因此，不需要避障，除非檢測到設(shè)備運(yùn)行偏離了預(yù)設(shè)的軌跡和路徑。

由此，整個(gè)算法的流程圖如圖2所示。

圖2 機(jī)巡協(xié)同避障算法流程

障礙定時(shí)檢測可以根據(jù)需要設(shè)置，日常應(yīng)用中可以設(shè)定為30秒。在邊緣計(jì)算的機(jī)巡協(xié)同避障中，障礙物的識(shí)別、分類以及規(guī)避航線的設(shè)計(jì)是本文討論的重點(diǎn)。

3.2 障礙物識(shí)別及分類

單一運(yùn)用BIM信息和毫米波雷達(dá)導(dǎo)航誤差較大，而變電站中設(shè)備密集，毫米波雷達(dá)的應(yīng)用受到一定限制。有研究提出以偽距、偽距率差分信息，慣導(dǎo)航向與磁航向的差值信息，以及慣導(dǎo)高度與氣壓高度的差值信息作為觀測量，采用多源數(shù)據(jù)融合的方式提高導(dǎo)航精度[12]。

3.2.1 障礙物識(shí)別特征

現(xiàn)有變電站中有大量的監(jiān)控探頭，也有大量的歷史監(jiān)控圖像供比對(duì)。由此，為減少邊緣計(jì)算的計(jì)算量，障礙物特征識(shí)別采用以下步驟分析計(jì)算。

1)對(duì)攝像頭的彩色圖像采用差異圖識(shí)別方法，對(duì)無人機(jī)飛行航線上的圖像進(jìn)行預(yù)處理。現(xiàn)有圖像分析方法可以基于單幀圖像局部差異特征開展分析[13]。顯然，在絕大多數(shù)情況下，變電站中的障礙物具有一定的體積，通過簡單對(duì)比即可初步判定。在本應(yīng)用中，為提高分析效率，不需要對(duì)圖像進(jìn)行復(fù)雜的圖像邊緣特征分析[14]，如圖3只需要在無人機(jī)飛行航線及鄰近區(qū)域上初步判斷是否存在障礙物即可，采用改進(jìn)后的最為簡單的比值法進(jìn)行判定。

圖3 航線障礙物比值判定法

圖像首先經(jīng)過預(yù)處理，包括幾何配準(zhǔn)、幾何校正以及圖像去噪，并劃分為9塊。對(duì)于攝像頭采集到的兩幅單幀圖像，進(jìn)行圖3的劃分，其中M×N為航線的飛行包線及鄰近區(qū)域。

由此，對(duì)于圖3中每一塊的航線障礙物比值可以按照式(1)計(jì)算

(1)

其中，H，L分別為圖塊的像素長和寬，i，j分別為像素點(diǎn)在分塊中的坐標(biāo)，l為圖塊的序號(hào)。A1和A2分別為作為對(duì)比標(biāo)準(zhǔn)圖片與飛行前航線上對(duì)應(yīng)拍到的圖片。

則判定航線上沒有障礙物的公式為

?Min(Gdiff(l))〈TGl∈{1，2，3，…，9}且l≠5

(2)

其中，TG為圖塊判定差異過大的閾值，一般定為10%。如果超過閾值，則可以認(rèn)定整個(gè)圖片覆蓋區(qū)域都被障礙物所阻礙。

TR為判斷航線圖塊5中是否存在障礙的閾值，一般設(shè)定為5%。通過該公式，可以用比較粗略的辦法處理圖像噪聲。顯然，在一張照片上，噪聲數(shù)據(jù)相對(duì)比較一致，采用本方法，可以粗略判斷給定區(qū)域是否存在障礙物。

2)無人機(jī)對(duì)障礙物的精確識(shí)別采用雙目識(shí)別算法[15]，選擇圖塊5中Gdiff(l)中前10%的像素點(diǎn)開展分析，顯然最有可能優(yōu)先發(fā)現(xiàn)障礙物。該方法可以有效判定障礙點(diǎn)的景深。雙目識(shí)別采用圖4所示的識(shí)別方法，其中Lb是左右相機(jī)之間的固定基線長度，f為相機(jī)焦距，ul和ur分別為P點(diǎn)在左右相機(jī)上投影坐標(biāo)的橫坐標(biāo)，視差d=ul-ur。

圖4 障礙物識(shí)別特征

(3)

(4)

雙目識(shí)別算法較為成熟，但也存在一定的判定誤差。通過變電站其它方位的攝像頭SC1、SC2，可以協(xié)同參與判定障礙物特征點(diǎn)位置是否精確。由此，LC、RC、SC1以及SC2可以自由組合，通過本節(jié)的同構(gòu)相機(jī)算法，或者異構(gòu)相機(jī)算法，對(duì)障礙點(diǎn)的位置進(jìn)行精確判斷。為使用本文提到的雙目識(shí)別，對(duì)于部分沒有攝像頭覆蓋的區(qū)域，可以應(yīng)用多無人機(jī)的巡檢線路合理設(shè)計(jì)，為安全飛行提供有力的支撐。

3.2.2 障礙物三維拼接

目前對(duì)于立體視覺的研究多從圖像的邊緣信息、顏色信息、光流場的變化和立體視覺。與地面機(jī)器人巡檢不一樣的是：由于無人機(jī)巡檢在空中，一旦運(yùn)動(dòng)起來慣性較大，要實(shí)現(xiàn)精確避障控制存在較大的難度。還需要指出的是，不停的通過SLAM建模來判別障礙物的形態(tài)，對(duì)于無人機(jī)的續(xù)航、計(jì)算資源要求以及巡檢進(jìn)度都會(huì)有較大的影響。

通過多個(gè)攝像頭以及多無人機(jī)攝像頭獲取的圖像拼接為立體圖形，有利于提前規(guī)劃安全的路徑。為此，基于多個(gè)位置的攝像頭數(shù)據(jù)，實(shí)現(xiàn)障礙物的靜態(tài)識(shí)別。對(duì)于一個(gè)物理實(shí)體而言，其外邊緣在絕大多數(shù)情況下是由線段或曲線組成，在一張照片中，線段或曲線的特征具有相似性。由此，基于障礙特征點(diǎn)的外延，可以預(yù)先判定障礙物的外輪廓，從而為選擇避障路徑提供依據(jù)。

1)關(guān)鍵點(diǎn)匹配

關(guān)鍵點(diǎn)匹配采用灰度匹配法計(jì)算，一旦兩個(gè)點(diǎn)匹配，則進(jìn)一步判斷是否歸屬于同一條線段。

2)線段關(guān)聯(lián)

定義N(t)是t時(shí)刻已存在的環(huán)境特征，n′(t)為t時(shí)刻變電站攝像頭或者變電站攝像頭與多個(gè)無人機(jī)鏡頭合作采集的圖像，n(t)為對(duì)應(yīng)時(shí)刻無人機(jī)雙目識(shí)別采集的數(shù)據(jù)。由此，根據(jù)式(5)可以準(zhǔn)確判斷在兩個(gè)圖像中基本重合或者部分重合的線段。

(5)

3)輪廓生成

應(yīng)用多無人機(jī)以及變電站中攝像頭采集的數(shù)據(jù)，通過寬度優(yōu)先迭代算法，就可以將障礙物的三維輪廓生成。

3.2.3 障礙物動(dòng)態(tài)識(shí)別

通過3.2.2節(jié)的障礙物靜態(tài)識(shí)別算法，可以分析出障礙物的三維輪廓。障礙物的組合可能比較復(fù)雜，包括靜態(tài)和動(dòng)態(tài)的部分，例如：巡檢人員帶著巡檢設(shè)備到現(xiàn)場，兩者都會(huì)成為障礙物的組成部分，但是可能只有巡檢人員在現(xiàn)場走動(dòng)，是動(dòng)態(tài)障礙物。

為簡化分析，本文暫時(shí)不考慮運(yùn)動(dòng)速度變化較大的動(dòng)態(tài)障礙物。通過改進(jìn)的尺度不變特征變換SIFT(Scale-Invariant Feature Transform)算法，可以快速判斷障礙物的移動(dòng)方向與速度。

3.2.4 避障過程

圖5給出的是避障算法的流程，其中左下角表示有障礙物以及巡檢人員，巡檢人員可以移動(dòng)。正常情況下，無人機(jī)沿著線路1飛行，如果碰到障礙物，則需要進(jìn)行決策。多無人機(jī)在飛行時(shí)，

圖5 避障過程示意圖

無人機(jī)避障的線路，在躲過障礙物后應(yīng)盡快恢復(fù)到原始線路，如圖中線路2，3所示。在變電站中，出于飛行安全考慮，應(yīng)優(yōu)先選擇圖3中的1，2，3，4，6幾個(gè)方位中沒有障礙物的線路飛行。

1)如果是靜態(tài)障礙物，則在繞過障礙物后，恢復(fù)到原始巡檢線路即可，如圖5線路2。

2)如果是動(dòng)態(tài)障礙物，如圖5中的人從位置a向位置b移動(dòng)，則根據(jù)動(dòng)態(tài)障礙物的移動(dòng)方向，移動(dòng)速度并充分預(yù)留余量后選擇避障線路，如圖5線路3所示。

3)如果沒有合適的避障線路，則無人機(jī)原地等待10秒后再次檢測并規(guī)劃避障線路。

4)如果無人機(jī)剩余電量有限，則放棄本次巡檢并返航。

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)所采用一臺(tái)臺(tái)式服務(wù)器作為邊緣計(jì)算服務(wù)器，配置為：XeonSilver 6130 2.0GHz CPU,128G內(nèi)存，在Windows操作系統(tǒng)下對(duì)中山某變電站進(jìn)行基于邊緣計(jì)算無人機(jī)協(xié)同避障測試。選用2臺(tái)自主研發(fā)的四旋翼無人機(jī)，對(duì)變電站瓷瓶開展巡檢工作，飛行時(shí)間15分鐘，覆蓋巡檢線路的現(xiàn)場有4個(gè)攝像頭。由于變電站中開展機(jī)巡都是精細(xì)巡檢，飛行速度控制在0.5m/s以內(nèi)，重點(diǎn)部位需要定點(diǎn)拍照。

現(xiàn)場模擬測試如圖6所示，其中(a)為正常無障礙的情況，(b)為存在靜態(tài)障礙物的情況，(c)為存在動(dòng)態(tài)障礙物的情況。

圖6 避障選擇測試

無人機(jī)A主要任務(wù)是巡檢，為全面觀測瓷瓶的狀態(tài)，需要分別從圖6 (a)中標(biāo)注為1，2，3的方位飛行，標(biāo)注為綠色；黃色為優(yōu)先可以選擇的備選路徑；紅色為無人機(jī)最大可以飛行的邊界，即無人機(jī)飛行的電子圍欄。而線路B上的無人機(jī)B主要任務(wù)是為巡檢提供避障參考，即圖6(a)中右上角綠色的部分。無人機(jī)A需要與設(shè)備盡可能的接近以方便檢出故障，對(duì)避障的要求高；而無人機(jī)B不需要貼近設(shè)備，對(duì)避障的要求不高。

經(jīng)過現(xiàn)場5條線路，選擇8：00，10：00，12：00，15：00，17：00五個(gè)時(shí)段進(jìn)行測試，500架次飛行的結(jié)果可以得到以下主要結(jié)果：

1)對(duì)于靜態(tài)障礙物，無人機(jī)可以在優(yōu)選路徑，或者電子圍欄內(nèi)飛行，如圖6(b)所示；對(duì)于動(dòng)態(tài)障礙物，如人、車，則對(duì)于可選路徑的要求更為嚴(yán)苛，如圖6(c)所示。

2)最早在8.73s即可判定，通過監(jiān)控?cái)z像頭數(shù)據(jù)即可；最短在2.46s可以判定，障礙物較為隱蔽，通過2臺(tái)無人機(jī)協(xié)同分析才能得到結(jié)果。結(jié)合攝像頭數(shù)據(jù)后，對(duì)障礙物外輪廓的判斷可以提高3～5秒。

3)平均避障檢測時(shí)間為3s，由于變電站中精密巡檢時(shí)速度較低，按照0.5m/s的速度以及飛控的響應(yīng)時(shí)間，1.5s以內(nèi)可以完成檢測以及線路的重新規(guī)劃。

4)光線過強(qiáng)、光線過暗，都可能影響到障礙物檢測的準(zhǔn)確性。檢測率與障礙物的性質(zhì)也有密切關(guān)系，這主要是由光線與障礙物自身顏色的反差決定。

針對(duì)不同尺寸，不同性質(zhì)的典型障礙物，有以下有效避障率數(shù)據(jù)。

表1 有效避障率

從數(shù)據(jù)分析可以看出，體積大的障礙物識(shí)別效率顯然更高。其中，巡檢人員處于運(yùn)動(dòng)狀態(tài)，由于在工作區(qū)域佩戴安全帽，可以有效識(shí)別和避障。暗色工具箱在光線不強(qiáng)的情況下避障有困難。以扳手為代表的金屬材質(zhì)工具在強(qiáng)光下，如果角度不理想也存在避障困難，但在實(shí)際工作中，處于影響飛行路徑的情況比較少見。

現(xiàn)場檢修設(shè)備以及遺忘在現(xiàn)場的設(shè)備是對(duì)無人機(jī)飛行安全可能造成影響最為普遍的障礙物。針對(duì)光線對(duì)檢測率的影響，在不影響檢修裝備性能的前提下，在純色裝備上貼上彩色標(biāo)簽或者涂上顏色，如圖7所示，在暗色或者強(qiáng)光下，可以大幅度提升障礙物識(shí)別的精確度，對(duì)比數(shù)據(jù)見表2。

圖7 檢修設(shè)備改造

表2 改造后有效避障率

實(shí)用過程中，本文提出的協(xié)同避障算法不僅可以確保無人機(jī)飛行安全，也可以檢測到現(xiàn)場需要清理的遺留工具、設(shè)備或者是垃圾。

5 結(jié)論

無人化巡檢是變電站巡檢未來發(fā)展的趨勢，無人機(jī)是其中重要的組成部分。

提出了協(xié)同利用無人機(jī)及攝像頭數(shù)據(jù)的邊緣計(jì)算框架。基于此架構(gòu)，能比單純采用無人機(jī)攝像頭數(shù)據(jù)提前3～5秒完整判斷障礙物形狀。

現(xiàn)場實(shí)驗(yàn)驗(yàn)證表明，現(xiàn)有避障算法可以有效提前完成障礙物檢測與避障路線的規(guī)劃，驗(yàn)證了算法的可行性和合理性。

光線、障礙物的性質(zhì)與檢測率有著密切關(guān)系，可為今后現(xiàn)場設(shè)備，人員裝備的設(shè)計(jì)、巡檢方案的選擇提供參考。