直升機光電吊艙自動跟蹤技術(shù)在輸電線路巡檢中的應(yīng)用

金明磊 王鵬程 雷建勝

摘? ?要：傳統(tǒng)的有人直升機對架空輸電線路進行巡檢時，對搭載檢測設(shè)備的吊艙或者云臺必須手動進行控制以使待檢測目標(biāo)一直處于視角范圍內(nèi)，這需要巡視人員對視頻進行高度集中的觀察。為了減輕巡線員的負(fù)擔(dān)，提出了一種光電吊艙自動跟蹤方法。該方法選取Struck算法并利用Haar特征描述運動目標(biāo)，跟蹤過程中，搜索上一幀目標(biāo)區(qū)域的鄰近位置，利用Structured Output SVM對待選區(qū)域進行二元分類，取得分最高的候選區(qū)域作為當(dāng)前運動目標(biāo)跟蹤的結(jié)果。實驗結(jié)果表明，算法的平均偏移率（視場角）為1.6%，目標(biāo)丟失率為14%，能夠?qū)U塔、絕緣子、均壓環(huán)等輸電線路關(guān)鍵部位進行實時跟蹤。

關(guān)鍵詞：直升機;輸電線路;巡視光電吊艙;自動跟蹤;Struck;SVM;

中圖分類號：TP273+.5? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標(biāo)識碼：A

Automatic Tracking Technology of Helicopter Patrol Photoelectric

Pod in Inspection of Overhead Transmission Line

JIN Ming-lei1?，WANG Peng-cheng2，LEI Jian-sheng1

（1. Tianjin Aerospace Zhongwei Data System Technology Co.，Ltd.，Tianjin 300301，China;

2. School of Electronic and Information Engineering，Tianjin University，Tianjin 300072，China）

Abstract：When a traditional helicopter is used to inspect an overhead transmission line，the pod or cradle head equipped with testing equipment must be manually controlled so that the target to be tested is always within the range of vision，which requires highly concentrated observation of video by the inspectors. In order to reduce the burden on the lineman，an automatic tracking method for the photoelectric pod is proposed. It selects Struck algorithm and uses Haar features to describe moving targets. In the tracking process，it searches the adjacent location of the target region of the previous frame，and uses structured output SVM to deal with the selected regions for binary classification，the candidate region with the highest score is obtained as the result of tracking the current moving target. The experimental results show that the average deviation rate （field Angle） of the algorithm is 1.6%，and the target loss rate is 14%，which can track the key parts of transmission line，such as tower，insulator and equalizing ring，in real time.

Key words：helicopter;transmission line;patrol photoelectric pod;automatic tracking;Struck;SVM;

傳統(tǒng)的有人直升機在對架空輸電線路進行巡檢的過程中，都需要手動控制搭載檢測設(shè)備的云臺或者吊艙使待檢目標(biāo)始終處于視角范圍內(nèi)，因此，巡線員必須高度集中觀察視頻[1-2]。光電吊艙自動跟蹤技術(shù)能夠減輕巡線員的負(fù)擔(dān)，通過跟蹤結(jié)果的位置反饋，自動調(diào)整吊艙姿態(tài)，使被關(guān)注的目標(biāo)始終處于視野中央。

2013年BenchMark通過大量實驗比較了SCM、TLD、ALSA、LSK、SCM、STC、CT、Struck等算法[3]，當(dāng)物體運動過快時，Struck、TLD等大密度采樣的算法效果更好，而隨機搜索的算法SCM、ASLA等由于粒子數(shù)的限制跟蹤不穩(wěn)定;在遮擋情況下，結(jié)構(gòu)學(xué)習(xí)和稀疏表示的方法使得Struck，TLD，LSK，ALSA等算法更有效[4];在尺度縮放情況下，Struck和采用仿射運動模型的ALSA、SCM算法的適應(yīng)性更好。Struck算法在綜合性能上比其他算法更為優(yōu)越，因此，選取Struck算法進行運動目標(biāo)跟蹤[5]。

1? ?算法思路或研究路徑

Struck算法主要包括運動模型、特征提取、觀測模型和模型更新四部分[6]，具體研究思路如圖1所示：根據(jù)上一幀或初始運動目標(biāo)的位置，在當(dāng)前圖像幀中通過運動模型估計目標(biāo)的候選區(qū)域，提取候選區(qū)域的Raw、Haar、直方圖等特征，輸入觀測模型Structured Output SVM，判斷候選區(qū)域是否屬于運動目標(biāo)[7]。

2? ?研究方法

2.1? ?運動模型

假設(shè)上一幀目標(biāo)所在區(qū)域中心為（x0，y0），候選區(qū)域中心點的獲取方法如下圖所示，以（x0，y0）為圓心，R為半徑，所有處于該圓內(nèi)的整數(shù)坐標(biāo)點都可以作為候選區(qū)域的中心點。候選區(qū)域的大小始終與初始目標(biāo)相同。

該運動模型在上一幀目標(biāo)周圍的360度范圍內(nèi)進行候選區(qū)域的提取，更好地適應(yīng)目標(biāo)在各個方向的運動。候選區(qū)域獲取示例圖如圖2所示。

2.2? ?特征提取

特征提取是將原始目標(biāo)區(qū)域圖像轉(zhuǎn)換為一組具有明顯物理意義、統(tǒng)計意義或核的特征[8]。一般，桿塔在巡線視頻幀中占據(jù)較大面積，且與周圍環(huán)境灰度差異較大，可以直接對桿塔區(qū)域進行縮小提取Raw特征或者采用直方圖特征進行跟蹤[9]。絕緣子的傘裙是均勻間隔分布，具有規(guī)律矩形特點，且與周圍環(huán)境灰度差異較大，可以采用Haar特征或直方圖特征進行跟蹤[10]。

因此，本算法提取Raw、Haar、直方圖等三個特征，特征可以單獨被使用，或者聯(lián)合使用。

（1）Raw特征。將圖像轉(zhuǎn)換到灰度空間中，并縮放固定的大?。ㄈ?6*16），直接采用原始的像素值作為特征。

（2）Haar特征。如圖3所示，a、b、c、d、e、f每個特征都是由白色填充區(qū)域像素值之和與黑色填充區(qū)域像素之和的差值計算得到。其中a、b屬于邊緣特征，c、d屬于線特征，e屬于對角特征，f屬于點特征。

（3）直方圖特征。如圖4所示，分別統(tǒng)計a、b、c、d幾個圖形中各個區(qū)域的直方圖，并將所有區(qū)域的直方圖聯(lián)合起來作為該目標(biāo)的直方圖特征。普通PC機上，采用直方圖特征或者聯(lián)合兩個特征，幀率都處于10幀以下，無法滿足實時性要求，因此，選擇的特征應(yīng)當(dāng)為Haar特征或者Raw特征，而Raw特征在目標(biāo)描述上不如Haar特征，因此，在實際操作過程中，可以只選取Haar特征作為特征提取的方法。

2.3? ?觀測模型

觀測模型即判定候選區(qū)域是否屬于運動目標(biāo)。本算法采用structured output SVM對每個候選區(qū)域進行分類，輸出每個候選區(qū)域?qū)儆谶\動目標(biāo)的概率（得分），取概率（得分）最大者作為當(dāng)前幀的跟蹤結(jié)果。假設(shè)pt-1表示上一幀的目標(biāo)位置，一個樣本對可以表示為（x，y），其中y表示的是目標(biāo)的變換，學(xué)習(xí)預(yù)測函數(shù)f：X→Y可以直接估計幀間的變換。即

其中F表示的是分類函數(shù)F：X×Y→R，度量的是（x，y）的匹配性，匹配度高，得分越高。將F（x，y）的格式限制為

其中，?（x，y）表示的是聯(lián)合映射，可以通過一系列的訓(xùn)練樣本對采用最小化凸目標(biāo)函數(shù)進行學(xué)習(xí)。

2.4? ?模型更新

2.4.1? ?樣本獲取

在極坐標(biāo)平面內(nèi)選取樣本，如圖5所示。樣本坐標(biāo)即樣本區(qū)域的中心點與當(dāng)前目標(biāo)中心點（x0，y0）的偏移量（dx，dy），通過（r sin θ，r cos θ）來獲取。其中r的取值范圍為（0，R），θ的取值范圍為[π/16，31π/16]或者[0，30π/16]。

2.4.2? ?在線更新

函數(shù)的最優(yōu)化采用標(biāo)準(zhǔn)的對偶拉格朗日法，可以轉(zhuǎn)化為：

i > 0時，y+ = yi，y-可以根據(jù)y- = arg gi（y）得到。跟蹤過程中，增加yi作為正的支持向量，進而根據(jù)當(dāng)前學(xué)習(xí)器的狀態(tài)結(jié)合損失函數(shù)尋找最重要的樣本稱為負(fù)的支持向量。當(dāng)然，如果SMO步驟并未調(diào)整β yi

i，也就不會增加支持向量。

（2）Process Old

對于一個已經(jīng)存在的隨機選擇的支持模式xi，y+ = arg gi（y），但是固定的搜索路徑需要滿足β y

i≤δ（y，yi）C，意味著最大化只會包含已經(jīng)存在的支持向量。對于Process New，y- = arg gi（y）。在跟蹤過程中，這種相關(guān)性會重新訪問已經(jīng)得到的支持向量，并且可能會加入新的負(fù)的支持向量。同時調(diào)整相關(guān)的置信度。當(dāng)然，新樣本的選擇也要考慮當(dāng)前學(xué)習(xí)器的狀態(tài)和損失函數(shù)。

（3）Optimize

處理隨機選擇的已經(jīng)存在的支持模式xi，但是只調(diào)整已經(jīng)存在支持向量的置信度。

具體的執(zhí)行流程是：給定一個訓(xùn)練樣本對（xi，yi），采用一個Process New過程，和nR個ReProcess過程（1個Process Old過程和nO個最優(yōu)化過程的集合）在實際的跟蹤過程中，維持一個支持向量集S，對于每一個（xi，y）∈S，存儲其置信度β y

i和梯度gi（y），兩者都在SMO步驟進行調(diào)整，如果調(diào)整后的β y

i變?yōu)?，那么相關(guān)的支持向量將會被移除。

上述的步驟可能會使得支持向量無限制地增長，所需的存儲空間和計算時間也會隨著支持向量的數(shù)量線性增加，因此必須控制支持向量的個數(shù)在一定范圍內(nèi)，即引入一個budget。維護budget的過程中，通常選擇對權(quán)重w影響最小的支持向量進行移除，可以用‖w‖2進行衡量。由于最優(yōu)化過程中的SMO步驟，必須確保β y

i = 0。一般在一個支持向量模式里面，只有一個正的支持向量，因此只考慮移除負(fù)的支持向量。如果一個支持模式只有兩個支持向量，那么他們兩個就必須都被移除。

移除一個負(fù)的支持向量（xr，y），支持向量的權(quán)重變化為

因此，每次通過最小化?||？w||?^2來移除支持向量。

3? ?試驗分析

本算法在Visual Studio 2010平臺基于OpenCV2.4.6的C++語言進行開發(fā)，實驗平臺為Inter（R） Core（TM） i7-4790CPU @3.60GHz，RAM4GB。選取了運動目標(biāo)跟蹤的標(biāo)準(zhǔn)數(shù)據(jù)集中的44個圖像序列測試了運動目標(biāo)跟蹤算法。這些數(shù)據(jù)包括位置突變、抖動、光照變化、遮擋、形狀變化、焦距變化等多種在運動目標(biāo)跟蹤過程中容易對跟蹤效果產(chǎn)生較大影響的情況。同時測試了該算法對絕緣子、桿塔等線路目標(biāo)的跟蹤效果。

在測試過程中，如果跟蹤得到的目標(biāo)框與實際的運動目標(biāo)框的重疊度大于50%，或者兩者的中心的距離小于25個像素時，則認(rèn)為該幀跟蹤正確，測試集中基于Struck的運動目標(biāo)跟蹤結(jié)果如表1所示。

，上述數(shù)據(jù)集為攝像機在定焦鏡頭下拍攝的視頻/圖像序列，即視場角不變，則平均偏移率指標(biāo)可等同于視場角指標(biāo)。

下面各圖展示了利用Struck算法在位置突變、抖動、光照變化、遮擋、形狀變化、焦距變化等多種情況下的跟蹤結(jié)果，綠色的框表示跟蹤得到的目標(biāo)邊界框，而紅色的框表示實際的運動目標(biāo)邊界框，可以看出該算法能夠較好的適應(yīng)光照變化、部分遮擋、目標(biāo)的形變及抖動等多種情況，如圖6至圖9所示。平均的跟蹤幀速是25幀，即目標(biāo)跟蹤時平均單幀處理時間為40 ms，跟蹤到的幀數(shù)占總測試幀數(shù)的86%，即丟失率為14%，而跟蹤結(jié)果的中心位置與實際目標(biāo)中心位置的像素差平均值是9個像素，平均偏移率（視場角）為1.6%，滿足跟蹤要求。

在相同樣本集的情況下，試驗同時測試了STC，CT，ACA算法，并與stuck算法進行比較。試驗測試結(jié)果如表2所示。

STC算法能夠適應(yīng)光照變化和簡單尺度變化，但在劇烈抖動和部分遮擋情況下，目標(biāo)容易丟失[11];CT算法計算簡單，速度快，但由于提取的特征和觀測模型簡單，正確跟蹤率較低[12];ACA算法適用于目標(biāo)與背景顏色相似的情況，但無法克服目標(biāo)遮擋、角度變化等情況。Struck算法正確跟蹤率較高，跟蹤偏移率小，更適用于線路目標(biāo)的跟蹤[13]。

基于Struck算法的架空輸電線路原件目標(biāo)的跟蹤結(jié)果如圖10至圖12所示，可以看出對桿塔、絕緣子、金具等線路元件，該算法都取得了較好的效果，滿足基本的跟蹤要求。

使用該算法，存在的不足主要有：當(dāng)目標(biāo)消失在視野內(nèi)一段時間重新出現(xiàn)時，目標(biāo)容易丟失，如圖13所示。對于焦距變化來說，對平緩的變焦使用效果較好，但是由于目標(biāo)跟蹤的結(jié)果框是固定的，并不能隨著大小變化而進行縮放，如圖14所示。

可以選取本地視頻、圖像序列或者當(dāng)前攝像頭采集的實時視頻進行運動目標(biāo)跟蹤[14]，初始跟蹤框可以手動選取或從本地文件讀入。在跟蹤過程中可以通過鍵盤按鍵暫?；蛘咧匦逻x取運動目標(biāo)[15]。

5? ?結(jié) 論

直升機巡視光電吊艙自動跟蹤算法主要選取Struck算法，并開發(fā)了其原型軟件。該算法采用Haar特征來描述運動目標(biāo)，在跟蹤過程中，搜索上一幀目標(biāo)區(qū)域的鄰近位置，利用Structured Output SVM對待選區(qū)域進行二元分類，取得分最高的候選區(qū)域作為當(dāng)前運動目標(biāo)跟蹤的結(jié)果。在支持向量的更新過程中，樣本的標(biāo)記依據(jù)樣本區(qū)域與目標(biāo)區(qū)域的重疊度來進行。為了保持算法的高效性，在跟蹤過程中始終維持一個支持向量budget防止支持向量的無限制增長。

實驗測試結(jié)果表明Struck運動目標(biāo)跟蹤算法的平均偏移率（視場角）為1.6%，標(biāo)清視頻的單幀處理時間為40 ms，目標(biāo)丟失率為14%，能夠?qū)U塔、絕緣子、均壓環(huán)等輸電線路關(guān)鍵部位進行實時跟蹤，適用于目標(biāo)形變（視角變換）、光照變化、部分遮擋、抖動等多種復(fù)雜情況。

參考文獻

[1]? ? 李文魁，王俊璞，金志華，等. 直升機機載光電吊艙的發(fā)展現(xiàn)狀及對策[J]. 中國慣性技術(shù)學(xué)報，2004，12（5）：75-80.

[2]? ? 吉書鵬，丁曉青. 機載光電吊艙傳感器圖像融合技術(shù)研究[J].北京：清華大學(xué)電子工程，2002.

[3]? ? 周克虎，周進，雷濤，等. 基于Struck算法的遮擋目標(biāo)跟蹤[J].半導(dǎo)體充電，2017，38（4）：585-591.

[4]? ? SAM H，AMIR S，PHILIP H S T. Struck：structured output

tracking with kernels[C]// MA USA：Proceeding of the 28th International Conference on Machine Learning，2011.

[5]? ? SMEULDERSA W M，CHU D M，CUCCHIARA R，et al. Visual tracking：an experimental survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，7（7）：1442-1468.

[6]? ? NAIMA A，ALI K，DAOUD B.Multiple target tracking using track before defect algorithm[C]// International Conference on Electrical Engineering and Automation，2017：692-695.

[7]? ?SUPSUKBAWORN T，LIN C E. Attitude stabilization in unmanned vertical takingoff/landing aircraft[C]// Industrial Electronics Society，IECON，2014-40th Annual Conference of the IEEE，2017：71-76.

[8]? ? CAO J，ZHAO T，WANG J，et al. Excavation equipment classification based on improved MFCC features and ELM[J]. Neurocomputing，2017，261：231-251.

[9]? ? MAHYARL M Y，CHANBARI M. Robust estimation of camera motion parameters[C]// Eletrical Engineering（ICEE），2014 22nd Iranian Conference，2014：850-855.

[10]? 李俊. 基于FPGA電子穩(wěn)像技術(shù)的研究[D]. 武漢：武漢理工大學(xué)，2012.

[11]? 謝月飛，蔡曉東，林景亮，等. 基于曲線擬合的視頻穩(wěn)像方法[J]. 計算機工程，2014，40（4）：151-153.

[12]? 秦曉敏. 智能視頻監(jiān)控中目標(biāo)跟蹤的研究與實現(xiàn)[J]. 電子設(shè)計工程. 2011，19（5）：40-42.

[13]? KALAL Z，MIKOLAJCZYK K，MATAS J. Tracking-learning-dection[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence，2012，34（7）：1409-1422.

[14]? 吉淑嬌，朱明，雷艷敏，等. 基于改進運動矢量估計法的視頻穩(wěn)像[J]. 光學(xué)精密工程，2015，5（23）：1458-1465.

[15]? 朱志玲. 智能視頻監(jiān)控中行人跟蹤技術(shù)研究[D]. 北京：北京交通大學(xué)，2014.