直升機巡視光電吊艙視頻去抖增穩算法研究

谷連軍 孟秀軍

摘 要：直升機在進行架空輸電線路巡視過程中，其光電吊艙受多變的載體姿態和復雜的飛行環境等因素影響，導致所攝取的巡視視頻失穩、模糊不清，分辨率嚴重下降，影響后續對巡視視頻的應用。為實時輸出穩定的巡視視頻，提出了一種直升機巡視光電吊艙去抖增穩算法，該算法在傳統運動估計模塊與運動補償模塊之外，增加了運動判斷模塊。實驗表明，該算法的巡視去抖增穩效果明顯，視頻抖動判斷準確率為91%;抖動量估計的均方根誤差的平均值為0.024像素，穩像精度達到亞像素級;對于標清巡視視頻的去抖增穩平均單幀處理時間為39 ms（處理幀率為25 f/s），滿足了實時性要求。

關鍵詞：直升機巡視;光電吊艙;視頻去抖增穩;運動估計;運動補償;自適應

中圖分類號：TP399文獻標識碼：A文章編號：2095-1302（2020）06-00-05

0 引 言

隨著電力建設的迅速發展，復雜地形條件下的電網建設和設備維護工作越來越多。隨著投運設備的日益增加，巡檢需求和人力缺員的矛盾日益突出，傳統依靠人力為主的線路運維模式已無法滿足當前及未來公司追求管理精益化、降本增效的戰略發展需要。直升機巡視方式的推廣應用提高了巡檢效率，縮短了巡檢周期[1-2]。

直升機在進行架空輸電線路巡視的過程中，其光電吊艙受多變的載體姿態和復雜的飛行環境等因素影響，導致所攝取的巡視視頻失穩、模糊不清，分辨率嚴重下降，影響后續對巡視視頻的應用[3]。因此亟需利用電子穩像技術[4]對所攝取的巡視視頻進行穩像處理，去除隨機抖動的干擾，為進一步的線路目標檢測識別與跟蹤等提供基礎。

運動估計[5]和運動補償[6]是電子穩像的關鍵，而實時性和準確性是決定電子穩像技術能否應用于直升機巡視系統等領域的關鍵指標。在國內外諸多算法中，基于特征點提取的運動估計方法結合適當的運動補償方法的電子穩像算法具有良好的應用。

基于特征點提取的運動估計的研究方向是選取適當的算子，快速準確的提取和匹配特征點，進而提高電子穩像的準確性和實時性。目前常見的提取特征點的算子有SIFT（Scale Invariant Feature Transfer，尺度不變特征變換）算子[7]、SURF（Speed-Up Robust Feature，加速魯棒特征）算子[8-9]、GFTT（Good Feature to Track，易于跟蹤特征）算子、BRISK（Binary Robust Invariant Scalable Keypoint，二進制局部特征）算子[10]、FAST（Features From Accelerated Segment Test，加速段試驗特征）算子等。Walhaa采用SIFT算子提取和匹配特征點進行運動估計，并利用Kalman濾波結合中值濾波獲取運動補償參數，取得了較好的穩像精度，然而所采用的SIFT的描述子維度太高導致耗費的時間較長。Matsushita采用GFTT算子提取特征點并通過LK（Lucas & Kanade）光流法[11]匹配進行運動估計，可以適應靜態背景和動態背景，然而GFTT算子計算圖像梯度時需要耗費較多時間，影響實時性。程德強等[12]利用SUSAN算子提取特征點，并采用LK光流法實現抖動視頻序列的運動估計，但實時性仍有待提高。周凱汀等[13]將ORB算法用于多姿態人臉識別中，通過改進ORB算子的采樣模式提高了魯棒性;李小紅等[14]將ORB算法用于快速目標檢測中，結合ORB（Oriented Brief）特征匹配算法使用幀差法獲得運動目標。初守艷利用ORB算法中具有方向性的FAST算子提取并匹配特征點進行運動估計，提取的特征點具有旋轉不變性，且FAST算子提取特征點速度快、準確率高，其算法具有較高的穩像實時性和運動估計準確性，可以進一步通過改進運動補償方法得到更好的穩像效果。

1 研究思路

為提高算法的實時性和準確性，直升機巡視光電吊艙去抖增穩算法在傳統的運動估計模塊與運動補償模塊之外增加了運動判斷模塊。該算法具備自適應性，根據可見光和紅外視頻抖動程度自動采取合適的處理策略及方法，實現視頻的去抖增穩，具體研究思路如圖1所示。對于輸入視頻初始的若干幀，采用基于相位相關法的運動初判，獲取初始運動狀態;對于視頻的后續幀，提取FAST特征點，并通過LK光流法得到特征點的運動參數，進而通過建立仿射變換模型得到全局運動參數;利用初始運動狀態和全局運動矢量矩陣，采用基于主運動識別方向的方法進行運動補償，輸出穩定視頻。

2 算法設計與實現

2.1 基于相位相關法的運動初判

攝像機的拍攝狀態包括靜態拍攝、運動拍攝及靜態拍攝與運動拍攝相互切換三種狀態。運動初判是指利用視頻的初始若干幀，計算攝像機的二維平移量，并進行攝像機運動的初步判斷，得到攝像機的初始運動狀態，為后續穩像處理提供基礎。

相位相關法對相鄰兩視頻幀進行快速傅里葉變換，將視頻幀從空域變換到頻域，然后通過互功率譜直接計算兩視頻幀間的平移量。

設f1（x， y）和f2（x， y）分別為兩幀視頻的信號，若f1（x， y）和f2（x， y）簡單平移相關，（Δx， Δy）為幀間平移量，則有：

相應的傅里葉變換為：

歸一化功率譜為：

F*1（w1， w2），F*2（w1， w2）分別為F1（w1， w2）和F2（w1， w2）的共軛，對上式進行傅里葉逆變換，在（x， y）空間形成的脈沖函數δ（x-Δx， y-Δy）脈沖峰值的位置（Δx， Δy）為兩幀之間的平移量。以該平移量（Δx， Δy）近似作為攝像機的二維平移量（x0， y0）。如圖2所示，根據二維平移量（x0， y0）進行幀間運動方向識別，分別對正負幀間運動方向的數值P0，N0進行統計。若進行幀間運動方向判斷的幀數達到預先設定的幀數F0，則進行主運動方向初始值確定判斷，若正負幀間運動方向的數值達到一定閾值T0，則確定主運動方向M，若P0與N0之差大于預先設定的閾值T1，則存在主運動方向M（其值1為正，-1為負），且為運動拍攝;若P0與N0之差小于預先設定的閾值T1，則不存在主運動方向M（其值設為0），且判定為靜態拍攝，當前運動狀態即為初始運動狀態。

2.2 運動估計

2.2.1 FAST特征點提取

FAST算子提取特征點的原理是若在某一像素點P的鄰域內有足夠多的像素點的灰度值大于或小于該點的灰度值，則選擇該點為特征點。

對于圖像上一像素點P，其灰度值為Ip，以P為中心，r為半徑的圓周上，與P存在聯系的n個像素點，其灰度值為Ik（k=1， 2， ...， n），FAST特征點的角點響應函數CRF（Corner Respond Function）如下：

式中，threshold為給定的小閾值（一般取threshold=10-4），如果CRF=1的個數大于1個給定的閾值（推薦值為12），則P點為FAST特征點。

2.2.2 基于仿射變換模型的全局運動參數估計

根據估計出的n個FAST特征點的光流矢量，可以求出兩幀間的仿射變換矩陣，兩幀間的仿射變換如下：

式中，vi（x）和vi（y）分別是點（xi， yi）的x方向和y方向光流值。利用最小二乘法解上述方程，得到的仿射變換矩陣即為全局運動參數，a2，a5分別為水平運動矢量和垂直運動矢量。主要實現代碼如下：

estimateGlobMotionLeastSquaresTranslation（

int npoints，Point2f *points0，Point2f *points1，float *rmse）{

Mat_ M = Mat：：eye（3，3，CV_32F）;

for （int i = 0; i < npoints; ++i）{

M（0，2） += points1[i].x - points0[i].x;

M（1，2） += points1[i].y - points0[i].y;

}

M（0，2） /= npoints;

M（1，2） /= npoints;

if （rmse）{

*rmse = 0;

for （int i = 0; i < npoints; ++i）

*rmse += sqr（points1[i].x - points0[i].x - M（0，2）） +sqr（points1[i].y - points0[i].y - M（1，2））;

*rmse = std：：sqrt（*rmse / npoints）;

}

return M;

}

2.3 運動補償

基于主運動方向識別的運動補償流程如圖3所示。

實現步驟如下所示。

（1）運動狀態初始化，基于相位相關的運動初判，實現對靜態拍攝和運動拍攝及兩種拍攝狀態相互切換的識別。

（2）運動估計參數輸入，在進行運動狀態初始化后，在電子穩像過程中連續輸入視頻的運動估計參數。

（3）針對每兩幀之間的運動矢量進行抖動判斷，如果當前運動狀態為靜態拍攝，對當前水平方向運動矢量、垂直方向運動矢量進行判定，若大于一定閾值則判定為靜態抖動，否則判定為非抖動;若當前運動狀態為運動拍攝，且當前水平方向運動矢量、垂直方向運動矢量與主運動方向M不一致，則判定為動態抖動，若當前運動量與主運動方向一致，則判定為非抖動。

（4）運動補償，若判定為靜態抖動則以當前運動矢量為補償參數;若判定為動態抖動，則采用高斯權值的均值濾波對得到的運動矢量進行平滑，并利用濾波后的運動矢量對當前幀進行仿射變換，得到穩定的視頻。

（5）幀間運動方向識別，若連續F1幀的幀間水平方向運動矢量x、垂直方向運動矢量y均為正（負），則對幀間運動方向值P1（N1）計數。

（6）瞬時主運動方向識別，若連續F2幀的幀間運動方向均為正（負），則對瞬時主運動方向值P2（N2）進行計數，若P2與N2之差大于預先設定的閾值T2，則存在瞬時主運動方向M1（其值1為正，-1為負）;若P2與N2之差小于預先設定的閾值T2，則不存在瞬時主運動方向M1（其值設為0）。

（7）主運動方向識別，若連續F3幀的瞬時主運動方向都為正（負），則對瞬時主運動方向值P3（N3）進行計數，若P3與N3之差大于預先設定的閾值T3，則存在主運動方向M（其值1為正，-1為負）;若P2與N3之差小于預先設定的閾值T3，則不存在主運動方向M（其值設為0），識別出靜態拍攝和運動拍攝的相互切換。

（8）運動狀態識別，若能夠識別出主運動方向，則判定當前運動狀態為運動拍攝;若無法識別主運動方向，則判定當前運動狀態為靜態拍攝，采用固定幀補償。

3 實驗分析

本算法在Visual Studio 2010平臺基于OpenCV3.0 beta的C++語言開發算法，實驗平臺為Inter（R） Core（TM） i7-4790CPU @3.60 GHz，RAM 16 GB。采用11個視頻進行算法的實驗驗證，各視頻縮略圖如圖4所示，編號1～4視頻為仿真視頻，編號5～11視頻為真實架空輸電線路巡視視頻，其中5～9為可見光視頻，10～11為紅外視頻。

視頻1和視頻2是仿真靜態拍攝視頻，生成方法是對靜態圖像加入隨機抖動量生成多幀圖像，并將多幀圖像合成仿真視頻，視頻的抖動量和方向已知，可用于評價穩像精度和統計抖動判斷誤差。

通過計算估計抖動量和真實抖動量的均方根誤差RMSE（Root Mean Square Error）評價穩像精度。RMSE定義如下：

式中：（xi， yi）和（Xi， Yi）分別為視頻第i幀與第i+1幀之間的估計補償量和真實抖動量;N為視頻總幀數。

抖動判斷設置抖動量閾值的絕對值為0.5像素，即估計抖動量的絕對值大于0.5像素時判定為抖動。以視頻1的71～90幀為例，其幀間的真實抖動量、估計抖動量和抖動判斷結果見表1所列。

視頻3和視頻4是仿真動態拍攝視頻，生成方法是對平滑視頻加入具有一定方向性的隨機抖動量合成仿真視頻，視頻的抖動方向已知，可用于統計抖動判斷誤差。仿真視頻穩像處理結果見表2所列，抖動判斷精度平均值為91%，抖動量估計的均方根誤差的平均值為0.024（像素），表明穩像精度達到亞像素級。

真實巡視視頻穩像處理過程中，為表示穩像算法對標清視頻的處理時間效率，將視頻分辨率統一轉換為720×576，對各視頻處理的時間效率匯總見表3所列，平均每幀處理時間為39 ms，處理幀率為25 f/s，與原視頻幀率相同，因此本電子穩像算法可以滿足標清可見光視頻和紅外視頻的實時處理要求。

圖5所示為紅外視頻10的原始視頻幀和穩像后視頻幀的對比情況，自左向右、自上而下分別為第35，46，55，62，75，90幀。

將本算法與基于GFTT特征點的電子穩像算法（GFTT法）和基于BRISK特征點的電子穩像算法（BRISK法）進行效果對比（除特征點提取方法不同外，其余計算步驟流程均相同）。見表4所列，對于仿真視頻的實驗表明，三種算法抖動判斷準確度都達到90%，同時，在穩像精度上本算法與GFTT法和BRISK法相近。如圖6所示，對真實巡視視頻的平均每幀處理時間進行對比，結果表明本算法與其他兩種算法相比具有較高的時間效率。

4 結 語

本論文提出了基于運動初判、運動估計以及運動補償等技術的直升機巡視光電吊艙去抖增穩算法。通過理論證明和實踐分析，可得出如下結論。

（1）本文提出的優化算法主要采用ORB特征點結合光流法進行運動估計，可以達到亞像素級精度，提高電子穩像的準確性和實時性。

（2）在算法的應用過程中，采用初始運動估計參數進行初始運動狀態的判斷，避免采用默認初始值的單一性，提高了電子穩像運動補償的智能性;采用主運動方向識別法進行包含復雜運動的連續視頻的幀抖動判斷、運動補償參數確定、運動狀態確定，并能夠識別靜態拍攝和運動拍攝的相互切換，提高電子穩像的運動補償智能性和實時性。

參考文獻

[1]于德明，沈建，汪駿，等.直升機與人工巡視效果對比分析[J].中國電力，2008，41（11）：25-28.

[2]徐云鵬，毛強，李庭堅.輸電線路機巡與人巡效果對比及協同巡檢建議[J].南方電網技術，2016，10（2）：44-47.

[3] YU Jun，WANG Zengfu. Video stabilization based on empirical mode decomposition and several evaluation criterions [J]. Journal of Zhejiang University：engineering science，2014，48（3）：23-429.

[4]吳威，許廷發，王亞偉，等.高精度全景補償電子穩像[J].中國光

學，2013，6（3）：378-385.

[5]楊冬冬，張曉林，李嘉茂.基于局部與全局優化的雙目視覺里程計算法[J].計算機工程，2018，44（1）：1-8.

[6]張娜，魏海平，于紅緋.一種融合特征點與運動補償信息的運動目標檢測新算法[J].計算機應用與軟件，2017，34（11）：210-216.

[7]成春陽，張靜亞.基于多尺度角點的改進SIFT算法[J].計算機應用與軟件，2017，34（7）：166-170.

[8]李英，李靜宇，徐正平.結合SURF與聚類分析方法實現運動目標的快速跟蹤[J].液晶與顯示，2011，26（4）：544-550.

[9]蔣建國，牛杰杰，齊美彬.基于SURF和軌跡濾波的旋轉視頻穩像算法[J].儀器儀表學報，2014，35（3）：550-557.

[10] LEUTENEGGER S，CHLI M，SIEGWART R Y. BRISK： Binary robust invariant scalable keypoints [C]//Proceedings of the 2011 IEEE International Conference on Computer Vision（ICCV），2012：1589-1596.

[11]范長軍，文凌艷，毛泉涌，等.結合單高斯與光流法的無人機運動目標檢測[J].計算機系統應用，2019，28（2）：184-189.

[12]程德強，郭政，劉潔，等.一種基于改進光流法的電子穩像算法

[J].煤炭學報，2015，40（3）：707-712.

[13]周凱汀，鄭力新.基于改進ORB特征的多姿態人臉識別[J].計算機輔助設計與圖形學學報，2015，27（2）：287-295.

[14]李小紅，謝成明，賈易臻，等.基于ORB特征的快速目標檢測算法[J].電子測量與儀器學報，2013，27（5）：455-460.