變電站無人機(jī)巡檢的動態(tài)目標(biāo)跟蹤方法

謝幸生，張永挺，吳啓明，溫佳靜

(1. 廣東電網(wǎng)有限責(zé)任公司中山供電局，廣東 中山 528400；2. 武漢大學(xué)電氣與自動化學(xué)院，湖北 武漢 430072)

1 引言

變電站設(shè)備密集，是電網(wǎng)的重要中心節(jié)點(diǎn)。隨著一次設(shè)備，二次設(shè)備的智能化改造，變電站的集約化、智能化的趨勢越來越明顯，基于集控站的管理，無人值守變電站也越來越普及。

無人機(jī)由于不會受到空間的限制，是變電站中推進(jìn)無人化巡檢的重要手段，通常與機(jī)器人結(jié)合實現(xiàn)站內(nèi)的動態(tài)巡檢。現(xiàn)有多基于可見光以及紅外圖像分析[1]，對設(shè)備外觀和運(yùn)行情況進(jìn)行巡視，發(fā)現(xiàn)問題后，根據(jù)缺陷的性質(zhì)進(jìn)行相應(yīng)的處理。

變電站由于空間狹小，對無人機(jī)飛行要求的精度較高，影響無人機(jī)飛行安全的主要因素是動態(tài)目標(biāo)，既有可能是在站內(nèi)的合法施工人員，執(zhí)行巡檢任務(wù)的機(jī)器人、無人機(jī)，也有可能是非法闖入的人員，非法闖入的動物等。現(xiàn)有采用SLAM方法[2]開展定位與地圖構(gòu)建，并進(jìn)一步區(qū)分靜態(tài)目標(biāo)與動態(tài)目標(biāo)[3]。顯然，靜態(tài)目標(biāo)避障相對容易，動態(tài)目標(biāo)跟蹤和避障就較為困難，對變電站安全的影響更大。未知環(huán)境下的UUV避碰策略[4]，無人汽車的控制策略[5]都需要對跟蹤精度進(jìn)行準(zhǔn)確的預(yù)估。

對動態(tài)目標(biāo)，應(yīng)用小數(shù)據(jù)對動態(tài)目標(biāo)進(jìn)行跟蹤[6]是研究的熱點(diǎn)，其真實位置、速度以及加速度都是需要監(jiān)測的參數(shù)[7]。由于變電站中可能出現(xiàn)的動態(tài)對象類型和數(shù)量的多樣性，顯然要采用無標(biāo)識動態(tài)目標(biāo)跟蹤方法[8]更為合適。

工業(yè)物聯(lián)網(wǎng)的深度開展和電力無線專網(wǎng)的推進(jìn)，可以融合攝像頭、機(jī)器人以及無人機(jī)數(shù)據(jù)，從而不受無人機(jī)飛行條件的限制，提供更為準(zhǔn)確的動態(tài)目標(biāo)的形狀與速度。而基于多關(guān)鍵點(diǎn)的對象匹配算法，不受觀察角度限制，在對象運(yùn)動導(dǎo)致外形變化時依然可以保持很高的識別準(zhǔn)確率。在小計算量條件下可以保證很高的跟蹤精度，實用性強(qiáng)。

2 動態(tài)目標(biāo)描述模型

2.1 模型建立

有研究者針對船舶疏散建立了人員的Agent模型以及對應(yīng)的狀態(tài)描述[9，10]。顯然，變電站中的動態(tài)目標(biāo)的類型更多，運(yùn)動模式也更復(fù)雜。對于變電站內(nèi)的運(yùn)動目標(biāo)，可以劃分為以下幾個類別：

1)無人機(jī)：無人機(jī)在空中飛行，需要規(guī)避任何在設(shè)定線路上出現(xiàn)的障礙物。

2)機(jī)器人等按照預(yù)設(shè)線路自動運(yùn)行裝置：其行為、路徑均按照規(guī)劃進(jìn)行。

3)運(yùn)維人員：現(xiàn)場運(yùn)維人員一般具有良好的標(biāo)識，例如戴安全帽，其行為也通常在給定的安全區(qū)域內(nèi)。

4)其他：包括闖入人員或者動物，其行為通常不受安全條件或約束的影響。

由此，對于動態(tài)目標(biāo)，分別以動態(tài)和靜態(tài)特征對其進(jìn)行描述：

2.2 對象覆蓋

無人機(jī)在飛行的過程中，攝像頭覆蓋的范圍有限，變電站設(shè)備密集，也會存在較多的死角。對于動態(tài)目標(biāo)的跟蹤難以全面，這樣在飛行過程中對可能侵入航線的對象缺乏預(yù)判。

目前變電站，尤其是采用機(jī)器人、無人機(jī)巡檢的變電站多實現(xiàn)了三維建模，也存在大量的攝像頭。現(xiàn)有自動巡檢的技術(shù)手段，機(jī)器人、無人機(jī)在巡檢過程中從發(fā)現(xiàn)目標(biāo)，檢測目標(biāo)到控制存在一定的時間差，存在一定風(fēng)險。因此，在無人機(jī)開展巡檢時，可以綜合運(yùn)用物聯(lián)網(wǎng)技術(shù)，以無人機(jī)的巡檢進(jìn)程為主導(dǎo)，綜合運(yùn)用無人機(jī)、機(jī)器人以及攝像頭的數(shù)據(jù)，對動態(tài)目標(biāo)進(jìn)行全過程、全方位的跟蹤，既可以針對變電站的非法入侵行為提供警示信息，也可以為無人機(jī)的安全飛行提供參考。

當(dāng)鏡頭與動態(tài)目標(biāo)的運(yùn)動方向在一條直線上時，即使應(yīng)用高端的相機(jī)或攝像頭也難以準(zhǔn)確判斷動態(tài)目標(biāo)的飛行速度；當(dāng)鏡頭位姿與動態(tài)目標(biāo)的運(yùn)動方向垂直時，對速度和方向的判斷可以更為準(zhǔn)確。

以圖1為例，假定要對動態(tài)目標(biāo)Obj1進(jìn)行觀測，U1為無人機(jī)，D1為機(jī)器人攜帶的攝像頭，Vu1及VD1是對應(yīng)的速度，D2～D3為固定攝像頭，則D3由于在運(yùn)動目標(biāo)V的運(yùn)動方向上，難以判斷V的速度。

圖1 動態(tài)對象覆蓋指數(shù)

動態(tài)目標(biāo)覆蓋指數(shù)用來衡量對于動態(tài)目標(biāo)跟蹤的完整性。其定義為

(1)

其中K為在巡檢過程中根據(jù)覆蓋范圍劃分的可見區(qū)段數(shù)量。另外的部分，如圖中F-H-G，可能由于攝像頭分布，或者靠近設(shè)備側(cè)等原因，無法覆蓋到，因此不予考慮。t是采樣的時間點(diǎn)，x(i，t)是根據(jù)攝像頭的覆蓋劃分分段的長度，例如：BC段是D1攝像頭覆蓋，AB段由D1和D2攝像頭覆蓋等。C(i，t)是覆蓋分段的攝像頭數(shù)量，比如加上無人機(jī)攝像頭的覆蓋后：BC段的值是2，AB段的值是3。顯然，的值越高，對應(yīng)的對象覆蓋也就越全面，可以獲取的數(shù)據(jù)也就越多，對移動目標(biāo)的判斷也就越精確。

3 動態(tài)對象跟蹤及避障

按照行為模式是否可預(yù)測，動態(tài)對象可以劃分為可規(guī)劃對象和不可規(guī)劃對象。需要針對對象的性質(zhì)確定如何執(zhí)行避障操作，其算法流程圖如圖2所示。

圖2 動態(tài)對象跟蹤及規(guī)避算法流程圖

3.1 算法流程圖

3.2 動態(tài)可控對象

動態(tài)可控對象按照固定的路線，或者在指定的區(qū)域運(yùn)動。典型的可規(guī)劃對象包括無人機(jī)、機(jī)器人、巡檢人員或者其它自動巡檢裝備。無人機(jī)巡檢過程中涉及到的大部分都是動態(tài)可控對象。

對于可規(guī)劃對象，重點(diǎn)需要關(guān)注：

1)實際狀態(tài)是否與理論狀態(tài)一致。可能包括狀態(tài)檢測不準(zhǔn)確，也可能由于其它故障引發(fā)；

2)在預(yù)設(shè)范圍內(nèi)可規(guī)劃對象的行動路線調(diào)整可能對其它對象造成的影響。可能包括機(jī)器人發(fā)現(xiàn)設(shè)備有外觀缺陷后根據(jù)預(yù)設(shè)的程序調(diào)整巡檢的線路。

動態(tài)可控對象的外輪廓通常可以很方便的界定，以Pos=[x，y，w，h]描述，其中(x，y)是運(yùn)動目標(biāo)外接矩形左上角的坐標(biāo)，而w和h分別是該矩形的寬和高。

雖然機(jī)器人、無人機(jī)等動態(tài)可控對象在空間上少有完全重合的情況和風(fēng)險，還是要避免在二維空間上存在交叉。比如：如果無人機(jī)由于故障墜落，正好掉在機(jī)器人上，可能會造成多方面的傷害。

假定圖3中無人機(jī)U1對動態(tài)目標(biāo)Obj1進(jìn)行觀測，首先需要判定兩者是否有可能發(fā)生路線交叉和碰撞的風(fēng)險。

圖3 動態(tài)可控對象避障

假定圖像采樣分析的決策時間間隔為Δt，對U1而言，該設(shè)備的最小安全距離為

Gr[f1(x1，y1)]=|f1(x1，y1)-f1(x1+1，y1)|

(2)

其中admax為最大的減速加速度。從圖2可以看出，由于無人機(jī)飛行速度快，制動也沒有機(jī)器人方便，所以安全距離比機(jī)器人要大。

假定以上兩設(shè)備的中心位置坐標(biāo)分別為Pu1及PD1，設(shè)備的外輪廓半徑分別為Ru1及RD1。則無人機(jī)巡檢過程中應(yīng)確保任意兩點(diǎn)在Δt時間內(nèi)的

Dds(U1，D1)=‖PU1-PD1‖

≥Dds(U1)+Dds(D1)+RU1+RD1

(3)

若該條件不滿足，則續(xù)航時間長的可規(guī)劃對象優(yōu)先避讓續(xù)航時間短的設(shè)備。

3.3 動態(tài)不可控對象

動態(tài)不可控對象的來源比較復(fù)雜，有可能是非法闖入的人或者動物，有可能是落葉，也有可能是風(fēng)箏。它們對變電站的安全運(yùn)行造成威脅，對無人機(jī)飛行安全造成威脅。及時發(fā)現(xiàn)、確認(rèn)、取證，不僅對巡檢有作用，對變電站的安全管理也有價值。

對動態(tài)不可控對象進(jìn)行跟蹤和規(guī)避顯然更加困難。

若Obj2最大加速的加速度為aamax，那么安全距離的最大值是

(4)

在圖4中，紅色的圈代表對應(yīng)的安全距離最大值。顯然，在這種情況下，只有機(jī)器人、無人機(jī)或其它可控終端避障才能有效的規(guī)避風(fēng)險。

圖4 動態(tài)不可控對象避障

對于無標(biāo)志的動態(tài)目標(biāo)[10]，可以用高斯背景差分法獲得運(yùn)動目標(biāo)在圖像中的位置Pos=[x，y，w，h]。在變電站的環(huán)境下，動物入侵以及類似風(fēng)箏這樣的不定型對象由于形態(tài)多樣，方向、速度加速度的隨意性較強(qiáng)，跟蹤比較困難，判斷及跟蹤速度也是最為重要的。例如：一只野貓闖入變電站，可能會窩著睡覺，步行，跑步，變化比較大，關(guān)鍵點(diǎn)也可能不同。現(xiàn)有的攝像頭，如果基于復(fù)雜的圖像分析技術(shù)，可以實現(xiàn)跟蹤分析等功能，但成本較高。本文提出一種簡單易行的立體圖像融合及分析方法計算不可規(guī)劃對象的速度參數(shù)。

1)邊緣銳化

對于動態(tài)目標(biāo)跟蹤，需要將照片與空曠的原始圖片進(jìn)行對比。設(shè)原始圖片為Go，待分析的照片為G1，對應(yīng)圖像的某一行用函數(shù)f(x，y)表示。G1對應(yīng)的圖片梯度矢量為

Gr[f1(x1，y1)]=|f1(x1，y1)-f1(x1+1，y1)|

(5)

圖像的邊緣無法計算梯度時，該值設(shè)定為最后一個可以計算的梯度。≥0.05時，說明該行的特定數(shù)據(jù)在圖像邊緣上。

為進(jìn)一步判定該圖像是否為需要跟蹤的異物，做以下分析計算。

Gs(G1)=|f1(x1，y1)-fo(xo，yo)|

(6)

其中是Go上對應(yīng)位置的圖像某一行的數(shù)據(jù)，當(dāng)≥0.10，可以確證該數(shù)據(jù)為邊緣數(shù)據(jù)。

2)關(guān)鍵點(diǎn)提取與配準(zhǔn)

對于G1的[x，y，w，h]中的數(shù)據(jù)，劃分為n×m個矩形。每個矩形中選擇作為特征點(diǎn)。

每隔Δt，拍攝一張圖片，設(shè)為G2，按照同樣的方式計算出關(guān)鍵點(diǎn)，對應(yīng)區(qū)域的關(guān)鍵點(diǎn)的像素灰度值按照RGB的順序構(gòu)成v1和v2。以對應(yīng)區(qū)域兩個向量夾角的余弦為判據(jù)，當(dāng)cosθ(i，j)≥0.9，其中1≦i≦n，1≦j≦m，則兩個關(guān)鍵點(diǎn)認(rèn)為是匹配的。

(7)

令cosθ(i，j)≥0.9的點(diǎn)數(shù)量為K，則有匹配系數(shù)為

(8)

3)基于關(guān)鍵點(diǎn)的立體對象配準(zhǔn)

由圖1可知，單一攝像頭，甚至雙目相機(jī)的攝像全面性很難滿足全面了解動態(tài)對象的需求。由此，通過變電站多方位攝像頭的數(shù)據(jù)，獲取非計劃動態(tài)對象的全方位圖像。

為進(jìn)行數(shù)據(jù)融合，需要確保，兩個不同攝像頭在同一時刻拍攝的圖片G2和G3上至少有H個關(guān)鍵點(diǎn)相同(H≥3)，即滿足式(7)。

且這3點(diǎn)間的距離比例相同，即在G2和G3上，在考慮到不同的傾斜角度后，H個點(diǎn)構(gòu)成的多邊形應(yīng)為相似多邊形。由此，通過幾何變換后，將G3的圖像與G2拼接，假定最初采樣時間為t，最終形成一個完整的三維圖像E(t)=[x，y，w，h，P{p(i，j),vi，j}]，即包括該圖像的外輪廓、對應(yīng)關(guān)鍵點(diǎn)的坐標(biāo)及圖像性質(zhì)。如果有多個點(diǎn)匹配，則保存好相關(guān)的數(shù)據(jù)，計算更為精確。

由此，在Δt后，又可以得到對應(yīng)的三維圖像E(t+Δt)。

4)速度及加速度計算

知道了時間以及距離，速度及加速度就比較好計算。為確保不受單一關(guān)鍵點(diǎn)的影響，將E(t)和E(t+Δt)上所有關(guān)鍵點(diǎn)數(shù)據(jù)的均值作為計算值。

(9)

其中是間隔Δt后所有匹配關(guān)鍵點(diǎn)的最大平均加速度。對于動態(tài)可控對象，其最大加速的加速度可以預(yù)知，但對于不可規(guī)劃對象，只能通過歷史數(shù)據(jù)獲取數(shù)據(jù)，該值是變化的，需要根據(jù)參數(shù)的定義更新Pos數(shù)據(jù)。

4 測試及結(jié)果

4.1 測試環(huán)境

以中山供電局某220kV變電站為測試環(huán)境，現(xiàn)場巡檢距離400米，巡檢設(shè)備5臺，現(xiàn)場運(yùn)行機(jī)器人3臺，無人機(jī)1臺。

為測試算法效果，選擇人員2人，工字梯1個，模仿闖入動物的不同大小，顏色電動玩具10個，小型風(fēng)箏2個。

如圖5所示，測試現(xiàn)場中，人員模擬闖入的人員，攜帶人字梯，攝像頭對動態(tài)物體的邊緣分析的結(jié)果如圖所示，在較小的計算量下可以得到相對準(zhǔn)確的邊界條件。每個對象測試連續(xù)跟蹤50張照片。

圖5 測試現(xiàn)場

4.2 測試結(jié)果

以動態(tài)目標(biāo)周邊30cm為邊界，若根據(jù)本算法確定的坐標(biāo)在該范圍內(nèi)，則認(rèn)為成功，反之則認(rèn)為失敗。

由表1可知，機(jī)器人的識別準(zhǔn)確度最高，這也是因為其是典型的動態(tài)可控對象。

表1 測試結(jié)果(%)

對于動態(tài)不可控對象，在完整性指數(shù)∈[1，2)時(低于1認(rèn)為不滿足無人化巡檢的基本要求)綜合識別準(zhǔn)確率在53.72%左右，無人機(jī)飛行的風(fēng)險較高；在完整性指數(shù)∈[2，3)時綜合識別準(zhǔn)確率在74.36%左右，無人機(jī)飛行的風(fēng)險可控；在完整性指數(shù)∈[2，3)時綜合識別準(zhǔn)確率在78.29%左右，安全性最高，但投入的攝像頭也更多，性價比偏低。

測試過程中，成功規(guī)避22次，成功率73.3%；未規(guī)避8次，誤規(guī)避5次，由于主要是地面對象，因此沒有對無人機(jī)飛行造成影響。

5 結(jié)論

在變電站中對動態(tài)目標(biāo)開展跟蹤有助于全面推進(jìn)變電站的無人化巡檢。對動態(tài)目標(biāo)確定了描述模型，將動態(tài)目標(biāo)劃分為動態(tài)可控對象和動態(tài)不可控對象。

提出了一種基于關(guān)鍵點(diǎn)識別，匹配以及數(shù)據(jù)融合的識別方法，即使在產(chǎn)生形變的條件下依然可以保持較高的識別準(zhǔn)確度，有針對性的提出了規(guī)避原則。

在中山變電站的實際測試中發(fā)現(xiàn)算法效率較高，在C(V，t)∈[2，3)時，綜合識別準(zhǔn)確率可以達(dá)到74.3%左右，規(guī)避成功率為73.3%，基本達(dá)到實用水平，性價比最高。