風電場無人機巡檢紅外葉片圖像拼接算法

周登科，郭星辰，史凱特，湯 鵬，鄭開元，馬鵬閣

風電場無人機巡檢紅外葉片圖像拼接算法

周登科1，郭星辰2，史凱特1，湯 鵬1，鄭開元1，馬鵬閣2

（1. 中國長江三峽集團有限公司 科學技術研究院，北京 100038；2. 鄭州航空工業(yè)管理學院 智能工程學院，河南 鄭州 450015）

針對無人機拍攝葉片紅外圖像背景冗余信息較多、拼接精度不高等問題，本文提出一種基于形態(tài)學改進Chan-Vese分割與局部特征匹配的紅外風機葉片圖像拼接算法，首先，對圖像進行中值濾波降噪，使用形態(tài)學運算改進基于Chan-Vese模型的水平集算法，生成表達主體的掩膜。基于掩膜去除冗余背景提取局部Harris特征點；對掩膜進行二次形態(tài)學腐蝕處理，抑制邊界鋸齒像素上的偽特征點；最后，使用暴力匹配及隨機抽樣一致（Random Sample Consensus, RANSAC）算法篩選出有效匹配點對，計算單應性矩陣實現(xiàn)匹配拼接。與傳統(tǒng)圖像分割下Harris拼接算法相比，本文改進后的算法拼接精度有明顯提高，在不同的測試場景下顯示出較強魯棒性。

風力發(fā)電機葉片；紅外圖像拼接；水平集；形態(tài)學運算；Harris特征點

0 引言

在國家碳中和目標的指引下，風力發(fā)電機應用日益增多從而針對風力發(fā)電機設備的運營與維保需求日趨強烈[1]。風力發(fā)電設備易遭受濕熱、紫外線老化等常見的環(huán)境影響，位于海上的風力發(fā)電設備所處環(huán)境更加惡劣，長期遭受鹽霧等化學介質(zhì)腐蝕[2]。傳統(tǒng)的人工檢修方法，會使得風電機組停機時間長，發(fā)電量損失嚴重，同時工人作業(yè)環(huán)境也十分危險[3]。自2016年起，以無人機為代表的無人巡檢系統(tǒng)，在風電機組葉片、電樁基巡檢等方面的應用逐年增加，由于無人機巡檢重點為圖像采集，而無人機高空拍攝時受視角及分辨率影響，圖像內(nèi)容有限，大量相似的局部圖像不利于后期檢測定位。因此，深入研究風機葉片圖像拼接技術具有重要工程應用意義[4]。

較為成熟的圖像拼接方法有基于模板匹配的方法、基于邊緣匹配的方法以及基于特征點匹配的方法[5]。基于模板匹配指選擇參考圖像的一塊區(qū)域作為配準時的模板，在目標圖像中尋找與模板圖片最相似的區(qū)域進行比對[6]。模板匹配法操作簡單，但對圖像的灰度信息非常依賴，要求圖像不能含有較大噪聲、旋轉(zhuǎn)、尺度縮放等問題，使用范圍很窄。

具體的圖像拼接研究中，馬寶琰等[7]提出了一種基于直線特征的風電葉片圖像拼接方法，通過Hough變換檢測葉片邊緣直線特征，基于斜率相似性篩選直線集，并采用直線差異度配準直線，從而實現(xiàn)拼接。該方法特征容易獲取，但不適用與背景復雜或具有尺度透視變換的圖像。盧泉等[8]針對變電站場景紅外圖像，提出一種改進最佳縫合線的紅外圖像拼接方法，在圖像拼接后的重合區(qū)域引入局部權(quán)重系數(shù)，使用形態(tài)學操作抑制顏色差異強度，減少紅外圖像的噪聲干擾。傅子秋[9]等人提出一種多場景下基于快速相機標定的柱面圖像拼接方法，利用標定參數(shù)代替圖像配準過程，采用柱面投影變換，將圖像投影在圓柱面上進行拼接，具有較好的成像效果，但方法過于依賴標定參數(shù)，不易推廣到現(xiàn)實場景中去。針對載荷移動場景下的圖像拼接研究中，何赟澤等[10]提出了一種基于無人機速度信息的風機葉片紅外圖像拼接方法，利用U-net網(wǎng)絡預測獲得葉片掩膜圖像，去除冗余的背景信息，同時，基于無人機速度信息，計算平移、旋轉(zhuǎn)、縮放參數(shù)，進行拼接配準。方喜波[11]針對直升機對海搜索，提出了基于光電吊艙的廣域搜索方法，為移動狀態(tài)下載荷搜索決策及區(qū)域圖像拼接提供了參考。

本研究前期在各地風電場深入開展調(diào)研及數(shù)據(jù)采集實驗，海上風機目標如圖1所示。所用無人機型號為大疆M300。

圖1 海上風機

由于紅外載荷分辨率較低，風機葉片較長，一根完整葉片需要多組圖像數(shù)據(jù)才能完全表示。過于碎片化的圖像不利于檢測及缺陷定位，因此需要對所拍攝圖像進行拼接。

通過研究發(fā)現(xiàn)，無人機葉片拼接存在兩大難點；第一，復雜的葉片背景帶來大量的冗余信息，不利于特征提取或比較；第二，無人機拍攝時包含一定的非剛性移動，圖像間變換矩陣估計比較困難。針對上述問題，本文提出了基于形態(tài)學改進Chan-Vese（CV）算法分割與局部特征匹配的紅外風機葉片圖像拼接方法；其關鍵在于：1）研究風機主體與背景的差異性，通過形態(tài)學改進水平集分離主體與背景，去除冗余背景信息；2）基于分離掩膜，結(jié)合Harris算法對灰度的敏感性實現(xiàn)局部特征匹配，估計圖像變換矩陣，最終實現(xiàn)圖像順滑的拼接。方法整體流程如圖2所示。

圖2 無人機紅外圖像采集及葉片拼接系統(tǒng)流程

1 基于形態(tài)學改進CV模型分割與局部特征匹配的紅外風機葉片圖像拼接

1.1 形態(tài)學改進CV模型水平集的前景分割

為了去除冗余的背景信息干擾，首先基于水平集方法進行風機葉片輪廓粗提取。水平集方法是一種使用高維超曲面等值點的集合表示閉合輪廓的方法，常用于圖像分割[12]。其重點在于構(gòu)建能量函數(shù)()。再通過求解能量泛函對應的Euler-Lagrange方程獲得曲線演化方程。能量函數(shù)表示為：

公式分為三項；第一項用來約束輪廓線長度，旨在保證輪廓線當前條件下最短；第二項、第三項為輪廓線條件項，負責控制當前輪廓線演變趨勢。式中為輪廓線長度權(quán)值；表示所求演化分割對象的輪廓邊界線；表示目標分割圖像；1為輪廓內(nèi)部對象面積權(quán)值，2為輪廓外部對象面積權(quán)值；與1、2為正值常數(shù)，一般令1＝2＝1。1和2分別是演化曲線內(nèi)部和外部的圖像灰度均值。本文用CV模型代替演化曲線，CV模型是基于區(qū)域的水平集方法，該方法對于主體與背景平均像素差異較大圖像效果顯著，適用于風機葉片紅外圖像。令水平集函數(shù)為(,)，表示為：

代入能量函數(shù)，表示為：

式中：代表圖像整體區(qū)域；為狄拉克函數(shù)正則化形式，表示為公式(4)：

為海氏函數(shù)正則化形式，表示為：

由圖3可以看出，基于CV模型的水平集分割能夠提取前景即葉片信息，但由于紅外圖像背景存在DN值和葉片主體較為接近的區(qū)域，在迭代中被演化曲線包圍，此時提取的目標帶有冗余背景信息，如圖4所示。

圖4 CV模型下目標分割

對分割結(jié)果進行形態(tài)學改進。考慮到初步分割結(jié)果包含許多不連續(xù)的孤點和斑塊，首選使用連通域估計濾波進行去除。連通域指像素值相同且鄰近的像素位置集合。通常有8領域與4鄰域判別法[13]，如圖5所示。

圖5 連通域標識方式

本文使用4鄰域判別法去除連接較弱的區(qū)域，對連通域標記示意如圖6所示。

顯然目標主體通常為連通域中面積最大區(qū)域，因此基于面積優(yōu)選，保留最大連通域區(qū)域，結(jié)果如圖7所示。

圖6 連通域標記

圖7 基于連通域估計濾波結(jié)果

連通域估計濾波后圖像邊界仍黏連部分毛刺及細橋，基于形態(tài)學開運算進行處理。圖像開運算常用于圖像邊界修復。開運算即對圖像先腐蝕操作，后進行膨脹。圖像腐蝕能夠除去孤立的小點、毛刺和小橋，但是對整體形狀有一定壓縮，進一步通過膨脹運算保證總的位置和形狀不變。腐蝕運算以符號Θ表示，膨脹操作以符號⊕表示，公式為：

式中：表示原圖像；表示結(jié)構(gòu)元素，本文采用半徑為15pixel圓形作為結(jié)構(gòu)元素；(,)表示像素坐標位置。通過CV模型分割與形態(tài)學處理，完成對紅外風機葉片目標與背景的分類，生成描述目標主體的掩膜，如圖8所示。

圖8 形態(tài)學處理后效果

1.2 基于局部Harris特征點匹配的圖像拼接

Harris特征點對圖像中灰度變化明顯的區(qū)域較為敏感，其關鍵在于描述像素鄰域梯度分布的二階矩[14]，如公式(8)所示：

式中：和分別代表圖像在和方向的偏導數(shù)。二階矩陣有兩個特征值1和2，一般來說，當1>>2時，自相關函數(shù)僅在某一方向上變化較大，表現(xiàn)為圖上的直線部分；當1≈2且二者較小時，自相關函數(shù)在各個方向上變化較小，表現(xiàn)為圖像的平面部分；而當1≈2且二者較大時，自相關函數(shù)在各個方向均增大，對應為圖上的角點部分。

由于圖像由像素塊構(gòu)成，因此背景去除后，葉片邊緣不可避免地出現(xiàn)部分鋸齒狀像素點，而Harris算法對角點信息較為敏感，因此會在邊緣處檢測到較多偽特征點，如圖9所示。使用RANSAC算法剔除誤匹配特征點，但難以剔除干凈，如圖10所示。

圖9 背景去除后特征點顯示結(jié)果

圖10 RANSAC算法篩選結(jié)果

因此，進一步在特征點匹配上加入非邊界約束條件剔除邊界誤匹配特征點。在所生成的掩膜基礎上進行一步腐蝕操作，生成新的約束掩膜，該掩膜處于葉片內(nèi)部。通過該掩膜剔除邊緣誤匹配點對，效果如圖11所示。

圖11 形態(tài)學掩膜約束后匹配結(jié)果

圖像間的平移、旋轉(zhuǎn)、拉伸變化可以通過變換矩陣描述。具體計算方法如式(9)：

式中：(,)和(￠,￠)分別表示參考圖像與待配準圖像￠的匹配特征點坐標。通過匹配的特征點對計算變換矩陣，最終實現(xiàn)仿射變換的圖像配準拼接。

2 實驗與分析

為驗證本文的紅外風機葉片拼接方法的有效性，設置多組實驗進行比較。分別使用最大類間方差（Ostu）閾值分割法、迭代閾值分割法（Iterative Thresholding，IT）、傳統(tǒng)CV分割算法進行背景去除，結(jié)合Harris算法通過暴力匹配與RANSAC算法篩選出有效匹配點對，最后通過單應性矩陣求出拼接圖像的映射關系，與本文算法進行比較。

算法仿真運行設備為筆記本電腦，CPU為AMD Ryzen 7，頻率為2.90GHz，內(nèi)存16GB，操作系統(tǒng)為64位Win11系統(tǒng)，使用的MATLAB版本為R2018b。實驗數(shù)據(jù)為實驗室在靈寶等地風電場，通過大疆M300掛載禪思光學載荷拍攝。圖像分辨率為640×512像素，部分樣本圖像如圖12所示。

圖12 拼接使用的部分樣本數(shù)據(jù)

為進一步量化拼接效果，使用均方根誤差考察接縫處順滑程度。均方根誤差定義如下：

式中：(,)表示接縫處左側(cè)圖像灰度值；(＋1,)為接縫右側(cè)圖像灰度值；為圖像高度位置信息；為葉片上接縫總高度。當RMSE值越小，說明接縫左右兩側(cè)梯度差異越小，拼接效果越理想。表1展示各算法的RMSE值，其中，加粗的數(shù)值為各組RMSE最優(yōu)值。

表1 4種算法RMSE值

結(jié)合圖13與表1結(jié)果，整體上，后三組圖像背景較為干凈，對比的算法中RMSE值明顯小于前三組。表明傳統(tǒng)分割算法更適用于背景較為純凈的數(shù)據(jù)樣本；具體來看，第1、2、3組圖片背景包含一部分復雜的地面背景，Ostu與IT未能準確分割出葉片部分，特征匹配過度參考了冗余的背景信息，導致拼接失敗；傳統(tǒng)的基于CV模型的分割方法更好地估計了葉片掩膜，但葉片與背景DN值接近的地方，如中下部分的道路，小部分受到干擾，影響了單應性矩陣精度，僅第1組完成了拼接，但接縫處出現(xiàn)錯位；第4、5、6組圖片背景較為純凈但不均勻，由于下半部分更多接收地物反射的紅外波段光線，因此從上到下DN值呈現(xiàn)由暗到亮的變化；此時，Ostu與IT算法部分地將天空錯誤分割出來，但特征點主要集中于葉片上，因此基本完成拼接；傳統(tǒng)的CV算法同樣在葉片與背景DN值相近的地方錯誤地將天空分割出來，產(chǎn)生了一定誤差；對比前三組與后三組，本文算法基本不受背景影響，均表現(xiàn)出較好的拼接效果，RMSE值最小。

結(jié)合表2與圖13來看，首先Ostu與IT算法的時間消耗明顯較低，耗時在3s左右。但由于其穩(wěn)定性過差，無法完成對整根葉片的拼接，因此耗時不具有較大意義。CV與本文改進算法時間消耗均在10s左右，差距十分接近；雖然本文引入了形態(tài)學運算在分割階段增加了一定的計算量，但獲得分離更干凈的目標與背景后，局部特征點的提取、匹配與篩選減少了時間消耗，因此整體上耗時相近，同時拼接效果上有了顯著提高。

Group 1 Group 2 Group 3 Group 4 Group 5 Group 6 (a) Ostu-Harris(b) IT-Harris(c) CV-Harris(d) Ours

結(jié)合圖14的整體拼接圖像，由于葉片表面比較干凈，特征點較少，理論上拼接圖像幀間差越小，圖像重合度越大，特征點重合越高，拼接精度也越高。我們通過實驗發(fā)現(xiàn)，對于長度為65m的葉片，當無人機距葉片15m時，需要均勻采樣至少30張紅外圖像，才能保證前后兩張圖像具有足夠重合度實現(xiàn)拼接。因此，對巡檢時無人機飛行速率可以給出具體指標參考：

式中：max為保證拼接效果下無人機最高飛行速度，為葉片長度，本文中對應為65m；為最小采樣時間間隔，即兩張圖像間拼接算法耗時，本文中最小采樣間隔為11s；為完整葉片拼接所需的最小圖像數(shù)目，需要通過實驗仿真得到，本文為30張；將上述指標代入式(11)，得出本文無人機巡檢飛行速率最大為0.2m/s；由于本算法在筆記本上運行，效率較低，可以通過移植至嵌入式平臺或計算效率更高的設備端來降低算法時間消耗，提高無人機巡檢效率。

表2 4種算法時間消耗

圖14 風力發(fā)電機葉片圖像拼接整體效果

3 結(jié)論

本文針對無人機風力巡檢系統(tǒng)中，紅外圖像過于局部與碎片化的現(xiàn)狀，提出一種基于形態(tài)學改進CV分割與局部特征匹配的紅外風機葉片圖像拼接算法，通過形態(tài)學改進了CV分割的形狀，將誤分離出來的像素毛刺、小橋、孤島有效去除掉，形成較為精確的掩膜，同時防止邊緣鋸齒對特征點檢測匹配的影響，通過形態(tài)學腐蝕生成了新的掩膜對特征點進行非邊界約束，使得特征匹配更加精確，從而得到更為準確的單應性矩陣估計，完成拼接。通過多組實驗表明，本文的算法對紅外圖像的拼接精度有明顯提高，在不同的測試場景下顯示出較強魯棒性，同時本文對無人機巡檢時飛行速率進行了討論，給出了飛行速率計算方式，論述了影響巡檢飛行速率的關鍵因素，未來在提高算法運行效率及算法移植方向仍需進一步的研究。

[1] 李禹橋. 基于旋翼無人機的風電葉片自主巡檢系統(tǒng)研究[D]. 徐州: 中國礦業(yè)大學, 2021.

LI Yuqiao. Research on Wind Turbine Blade Autonomous Inspection System based on Rotorcraft UAV[D]. Xuzhou: China University of Mining and Technology, 2021.

[2] 張明輝. 風力發(fā)電機故障檢修與處理[J]. 科技創(chuàng)新導報, 2019, 16(10): 132-133.

ZHANG Minghui. Wind turbine fault repair and treatment[J]., 2019, 16(10): 132-133.

[3] 王蔚, 劉丹. 我國風電市場：前景一路看好[N]. 經(jīng)濟參考報, [2006-06-15].

WANG Wei, LIU Dan. China's wind power market: prospects all the way bright[N]., [2006-06-15].

[4] 王浩, 閆號, 葉海瑞, 等. 基于無人機的光伏電站智能巡檢[J]. 紅外技術, 2022, 44(5): 537-542.

WANG Hao, YAN Hao, YE Hairui, et al. Intelligent patrol inspection of photovoltaic power station based on UAVs[J]., 2022, 44(5): 537-542.

[5] 宮妍, 位沖沖. 圖像拼接關鍵技術研究綜述[J]. 電腦知識與技術, 2021, 17(30): 106-108. Doi:10.14004/j.cnki.ckt.2021.2895.

GONG Yan, WEI Chongchong. Review on key techniques of image stitching[J]., 2021, 17(30): 106-108. Doi:10.14004/j.cnki.ckt.2021.2895.

[6] CUI Z, QI W, LIU Y. A fast image template matching algo-rithm based on normalized cross correlation[J]., 2020, 1693: 012163.

[7] 馬寶琰, 湯磊, 趙晶, 等. 風電葉片圖像直線特征檢測與拼接方法[J]. 哈爾濱理工大學學報, 2020, 25(5): 83-92. Doi: 10.15938/j.jhust. 2020.05.012.

MA Baoyan, TANG Lei, ZHAO Jing, et al. Straight line features detection and mosaic of wind power blades image[J]., 2020, 25(5): 83-92. Doi: 10.15938/ j.jhust.2020.05.012.

[8] 盧泉, 楊振華, 黃粒峰. 改進最佳縫合線的紅外圖像拼接方法[J]. 紅外技術, 2022, 44(6): 580-586.

LU Quan, YANG Zhenhua, HUANG Lifeng. Infrared image mosaic method for improving the best seam-line[J]., 2022, 44(6): 580-586.

[9] 傅子秋, 張曉龍, 余成, 等. 多場景下基于快速相機標定的柱面圖像拼接方法[J]. 光電工程, 2020, 47(4): 74-86.

FU Ziqiu, ZHANG Xiaolong, YU Cheng, et al. Cylindrical image mosaic method based on fast camera calibration in multi-scene[J]., 2020, 47(4): 74-86.

[10] 何赟澤, 張帆, 劉昊, 等.風機葉片無人機紅外熱圖像拼接方法[J]. 電子測量與儀器學報, 2022, 36(7): 44-53. Doi: 10.13382/j.jemi. B2105058.

HE Yunze, ZHANG Fan, LIU Hao, et al. Infrared image stitch method of wind turbine blade based on UAV[J]., 2022, 36(7): 44-53. Doi: 10.13382/j.jemi.B2105058.

[11] 方喜波. 光電偵察吊艙對海廣域搜索方法[J]. 紅外技術, 2021, 43(11): 1055-1060.

FANG Xibo. Searching method of the wide area of optical recon pod for sea targets[J]., 2021, 43(11): 1055-1060.

[12] Osher S, Sethian J A. Fronts propagating with curvature-dependent speed: algorithms based on Hamilton-Jacobi formulations[J]., 1988, 79(1): 12-49.

[13] Ghaili A M, Mashohor S, Ramli A R. Vertical-edge-based car-license-plate detection method[J]., 2013, 62(1): 26-38.

[14] 張見雙, 張紅民, 羅永濤, 等. 一種改進的Harris角點檢測的圖像配準方法[J]. 激光與紅外, 2017, 47(2): 230-233.

ZHANG Jianshuang, ZHANG Hongmin, LUO Yongtao, et al. Image registration method based on improved Harris corner detection algorithm[J]., 2017, 47(2): 230-233.

Infrared Blade Image Stitching Algorithm for Wind Farm UAV Inspection

ZHOU Dengke1，GUOXingchen2，SHIKaite1，TANGPeng3，ZHENG Kaiyuan1，MA Pengge2

(1. China Three Gorges Corporation Research Institute, Beijing 100038, China; 2. Zhengzhou University of Aeronautics, Zhengzhou 450015, China)

Aiming at more redundant background information and low stitching accuracy of the infrared images of the blades taken by UAV (Unmanned Aerial Vehicle), In this study, we proposed a stitching algorithm for infrared wind turbine blade images combining the Chan-Vese model and morphology. First, we subjected the image to median filtering and noise reduction, and a morphological operation improved a level-set algorithm based on the Chan-Vese model to generate the mask of the expression subject. We extracted Harris feature points by removing redundant backgrounds based on the mask. We performed morphological etching on the mask to suppress the pseudo-feature points on the boundary-jagged pixels. We used violent matching and the RANSAC algorithm to screen out effective matching point pairs and calculate the homography matrix to realize matching and splicing. Compared with the Harris stitching algorithm under traditional image segmentation, the stitching accuracy of the improved algorithm significantly improved, and it showed strong robustness in different test scenarios.

wind turbine blades, infrared image stitching, level set, morphological operation, Harris feature point

TP391

A

1001-8891(2023)11-1161-08

2022-09-26；

2022-12-13.

周登科（1995-），男，四川人，初級工程師，碩士研究生，從事圖像處理工作。E-mail：zhou_dengke@ctg.com.cn。

郭星辰（1997-），男，河南鄭州人，碩士研究生，從事圖像處理研究。E-mail：478973623@qq.com。

國家自然科學基金民航聯(lián)合基金重點項目（U1833203）；中國長江三峽集團有限公司企業(yè)科研項目“海上風電無人機光電巡檢系統(tǒng)技術研究及應用示范”（202003035）；河南省科技攻關（202102210330）；河南省科技攻關（222102210136）；鄭州航空工業(yè)管理學院研究生教育創(chuàng)新計劃基金（2021CX48）。