基于ORB圖像局部特征的圖像比對方法的研究及應用

錢曉明 許保瑜 吳圓波

（云南電網有限責任公司昆明供電局）

0 引言

近年來我國社會經濟進入了高速增長期，對各種能源的消耗量非常巨大，各種不可再生資源逐步耗盡，急需發展各種可再生資源；由于電力作業中的需求和硬件技術水平的發展，直升機、無人機和在線監測裝置等新的巡檢方式如雨后春筍般在電網運維作業中出現。這些新的巡檢手段不僅提升了巡檢作業的效率而且還降低了巡檢作業人員的勞動強度，所以它們在電網作業中得到了大范圍的推廣應用。新型的巡檢方式都是通過獲取被巡檢對象的影像數據為基礎，由于高效的成像設備和廣泛的使用，導致產生海量的巡檢數據，這些數據往往無法被有效地進行處理而變成了數據垃圾。不同時期的圖像比對是發現電網設備缺陷的一種有效方法，如何使用計算機視覺技術快速自動地定位出不同圖像中的同名點（圖像局部特征點）是進行圖像自動比對的前提，關于圖像局部特征點的描述方法，國內外學者進行了廣泛研究。

1 基于ORB圖像局部特征的圖像比對方法

為了保證電網系統的穩定安全運行，需要定期對電力系統進行巡檢，目前直升機、無人機、在線監測等巡檢方式逐步代替了傳統的巡檢方式，它們以圖像數據的形式來保存巡檢結果。如果要自動地檢測出巡檢圖中包含的設備隱患及部件缺陷，基礎工作就是進行圖像局部比對，本文提出了一種基于混合高斯背景建模的儀表自動讀數方法，首先采用搭載成像設備的巡檢工具獲取電力設備的巡檢數據并對數據進行預處理；使用ORB算子提取待比對圖像中包含的局部特征點；使用歐式距離判斷兩幅圖像中包含的相似區域。

1.1 ORB的算法原理

ORB特征是將FAST特征點的檢測方法與BRIEF特征描述子結合起來，并在它們原來的基礎上做了改進與優化。①它利用FAST特征點檢測的方法來檢測特征點。②利用Harris角點的度量方法，從中挑選出Harris角點響應值最大的N個特征點。其中Harris角點的響應函數定義，如式（1）所示：

FAST檢測特征點不具備尺度不變性，可以像SIFT特征一樣，借助尺度空間理論構建圖像高斯金字塔，然后在每一層金字塔圖像上檢測角點，以實現尺度不變性。對于旋轉不變性，在半徑為r的鄰域內求取灰度質心的方法，從特征點到灰度質心的向量，定義為該特征點的主方向。圖像矩定義，如式（2）所示：

I（x，y）表示像素灰度值，0階矩m00即圖像鄰域窗口內所有像素的灰度和，m10和m01分別為相對x和相對y的一階矩，因此圖像局部鄰域的中心矩或者質心可定義如式（3）所示：

特征點與質心形成的向量與x軸的夾角定義為特征點的主方向，如式（4）所示：

1.2 圖像局部特征描述

ORB采用BRIEF作為特征描述方法，BRIEF雖然速度優勢明顯，但也存在一些缺陷，例如不具備尺度不變性和旋轉不變性，對噪聲敏感。尺度不變性的問題在利用FAST檢測特征點時，通過構建高斯金字塔得以解決。BRIEF中采用9×9的高斯卷積核進行濾波降噪，可以在一定程度上緩解噪聲敏感問題；ORB中利用積分圖像，在31×31的Patch中選取隨機點對，并以選取的隨機點為中心，在5×5的窗口內計算灰度平均值（灰度和），比較隨機點對的鄰域灰度均值，進行二進制編碼，而不是僅僅由兩個隨機點對的像素值決定編碼結果，可以有效地解決噪聲問題。至于旋轉不變性問題，可利用FAST特征點檢測時求取的主方向，旋轉特征點鄰域，但旋轉整個Patch再提取BRIEF特征描述子的計算代價較大，因此，ORB采用了一種更高效的方式，在每個特征點鄰域Patch內，先選取256對隨機點，將其進行旋轉，然后做判決編碼為二進制串。n個點對構成矩陣S為：

旋轉矩陣R為：

旋轉后的坐標矩陣為：

1.3 圖像相似性比對

將待比對的兩張圖像img1和img2分別輸入ORB特征描述算子中計算得到兩個圖像局部特征向量列表list1和list2。然后將兩個列表中的特征向量組合成特征向量矩陣并計算兩兩特征向量之間的距離，算法示意如下所示。

其中，f1代表的是list1中的特征向量，f2代表的是list2中的特征向量，d ij代表的是fi和fj兩個向量之間的歐式距離。通過對特征矩陣中的距離值進行閾值化處理就可獲取到兩個待比對圖像中的相似區域。

2 實驗結果和分析

在ubuntu20.04 64位上使用Qt5.14、Opencv 4.5.4和GCC編譯器實現了本文中所提出的算法。硬件環境為：Intel（R）Core（TM）i5-8300U CPU@2.3GHz 2.3GHz，8.00GB內存，RTX2060 6G顯存。在實驗中使用了直升機搭載的大疆FC6310型相機所拍攝到的分辨率為1600萬像素的數據，并使用本文提出的算法對其進行了測試。不同時期的輸電線路巡檢圖片，如圖1所示，左圖為第一個時期的巡檢照片，右圖為第二個時期的巡檢照片，其中圓點為ORB算子計算出來的局部特征點。

圖1 輸電線路巡檢圖像特征點提取結果

圖2為通過ORB特征向量之間的歐式距離作為測度，對巡檢圖像進行比對的結果，在圖中直線段連接的是兩個相互匹配的特征點，說明兩幅圖像中特征點所對應區域具有極大的相似性。

圖2 基于ORB圖像局部特征巡檢圖像比對結果

3 結束語

本文提出了一種基于ORB圖像局部特征的圖像比對方法，通過無人機拍攝輸電線路巡檢圖像，對圖像進行高斯平滑去除圖像中的高斯噪聲；采用ORB圖像局部特征描述算子對巡檢圖像進行特征提取，得到巡檢圖像的局部特征描述列表；再計算巡檢圖像ORB特征描述向量相互之間的距離，采用歐式距離來表征特征向量之間的距離，最后獲取到特征向量之間相似度值，進而找到圖像中相互匹配的區域完成圖像之間的比對任務。實驗結果表明本文的算法可以實現對輸電線路巡檢圖片的比對功能，可以有效提升對巡檢圖像的利用水平，算法運行效率可以達到實時比度的要求。