一種風機葉片圖像采集及缺陷檢測系統

趙春溢，郭洪濤，郭 濤，梁 國，荊海城

一種風機葉片圖像采集及缺陷檢測系統

趙春溢，郭洪濤，郭 濤，梁 國，荊海城

（中電投東北新能源發展有限公司，遼寧 沈陽 110179）

本文針對目前風機葉片人工檢測工作量大、效率低、缺陷檢測準確率不高的問題，提出并設計了一種基于無人機圖像的缺陷自動化檢測系統。本文介紹了系統的圖像采集系統、采集方法、缺陷檢測原理及檢測效果：系統以無人機為飛行載體實現了（風機葉片的）自動巡檢，從而提高了巡檢效率，降低了人工的工作量；通過圖像分割及缺陷檢測算法設計實現了缺陷可疑區域的自動檢測；可見光加紅外光雙光融合提高了葉片缺陷自動識別的準確性。經過多次現場測試驗證，本系統可以精確、快速地實現鼓包，裂紋和褶皺等缺陷的自動識別與檢測。

無人機；風機葉片；缺陷檢測；圖像處理

0 引言

目前中國已是全球最大的風電市場。風場主要分布在城市的遠郊、近海以及戈壁等地理環境和氣候環境十分復雜的風能儲備地，葉片是風機捕捉風能的關鍵部件，易受環境影響造成自身缺陷，若不及時進行處理會影響風機壽命及發電量，甚至演變成嚴重事故。經過長期對葉片檢查的結果統計發現，葉片缺陷主要存在如下故障：裂紋、邊緣腐蝕、開裂、褶皺、雷擊、結冰等。

當前葉片的缺陷檢測主要依賴人工完成，由于檢測的精度、速度和安全性等方面的限制，檢測存在效率低下、可靠性低、危險性高和成本高等問題[1]。當前眾多研究院校、機構針對以上問題進行研究。Menon等人介紹了基于聲發射信號自適應閾值的小波分析方法來評估風機葉片狀況[2]。CUI Hongyu等人利用采集的振動信號提出了一種基于EMD（empirical mode decomposition）的風機葉片裂紋診斷方法[3]。Wang等人提出了一種基于無人機采集圖片，運用Logiboost、決策樹和支持向量機相結合的風機裂紋分類方法[4]。目前依靠聲波及振動信號的分析方法適用于地面檢查，無法在葉片安裝后使用。基于可見光的分析方法解決了葉片安裝后的檢查問題。但是易受光線、拍攝角度等因素影響，且僅可檢測葉片表面故障。針對以上問題本文提出的基于無人機搭載可見光加紅外光的檢測方式，風機停機即可檢測，提高巡檢效率的同時可檢測葉片內部缺陷，提高葉片缺陷檢測的多樣性與準確性。

紅外光可通過葉片輻射的熱量，對葉片內部的缺陷進行判斷。葉片最為致命的缺陷往往產生于內部，并向外部擴散，如內部褶皺、內部開裂等，反應到外表面時，葉片已受損嚴重甚者不可修復，本文通過可見光與紅外的雙光融合手段，可見光與紅外光結合分析，得出更加準確、更加有效的故障診斷系統。同時基于分析手段搭建了一套以無人機為飛行平臺，雙光吊艙為采集設備的全自動巡檢系統，為風電場提高發電量，節約運維成本，減小事故發生率。

1 圖像采集系統與采集方法

由于風場的風速較大，需要選用抗風性能較強的六旋翼無人機為飛行平臺，搭載雙光云臺（可見光＋紅外光）的雙光譜圖像采集系統，同時還需搭載機載計算機進行視覺導航，并配有專業版本地面站來發布指令。故圖像采集系統的組成結構如圖1所示。

圖1 圖像采集系統組成結構圖

1.1 圖像采集系統

1.1.1 無人機選型

鑒于風場風速、任務航時、載荷重量等綜合因素，系統采用DJI經緯M600 PRO型號無人機作為飛行平臺（如圖2所示）。該型號無人機配備3套IMU和GNSS模塊，配合軟件解析余度實現6路冗余導航系統，提升飛行時的安全性。該機型最大載荷為5.5kg，有效航時為20min，滿足本系統任務需求。

該款飛行平臺面向開發者用戶提供API（application programming interface），可獲取無人機GPS數據，IMU數據等，并且用戶可向無人機發送姿態、速度、位置等控制指令。使系統可基于無人機提供的數據及控制接口實現全流程自動化作業。

圖2 DJI經緯M600 PRO

1.1.2 雙光云臺選型

雙光云臺是本系統圖像采集的主要部分，為保證后期故障檢測時可見光圖像與紅外光圖像進行匹配融合檢測，需要保證兩攝像頭同軸且水平視場角和垂直視場角一致。兩者機械安裝位置為垂直方向機芯間隔3cm，偏差可忽略不計。可見光與紅外機芯參數分別如表1，表2所示。

表1 可見光機芯參數表

表2 紅外光機芯參數表

1.1.3 機載計算機選型

在整體任務巡檢中，無人機自主飛行主要依靠慣性導航與視覺導航。其中視覺導航需要機載小型計算機實時處理可見光相機圖像。本系統選用NIVDIA TX2計算設備，這款超級計算機模塊采用NVIDIA Pascal? GPU、高達8GB內存、59.7GB/s內存帶寬，可實現GPU加速，快速處理圖像。

1.1.4 地面站設計

地面站主要完成風機塔基位置輸入，及巡檢任務啟動、圖像缺陷檢測等功能。地面站特為本系統定制設計與開發，起到人機交互的作用?；贒JI提供的Mobile SDK，在android系統上開發風機葉片巡檢地面站軟件，安裝于平板電腦上。該平板電腦開拓展數傳模塊，用于與無人機的無線通信，實現無人機狀態接收與控制指令上傳功能。此外，地面站實時接收機載端采集的圖像數據并進行實時處理。

1.2 現場采集方案

現場采集時風機為停機鎖車狀態，葉片成倒“Y”字型，如圖3所示。

圖3 葉片位置

巡檢人員將風機塔基編號輸入地面站中，地面站預先配置好風機編號對應其經緯度。巡檢人員開啟無人機，無人機自檢查無故障后，即可啟動自動巡檢按鈕。無人機接收到風機編號對應的塔基經緯度信息，自動起飛至距起飛點140m高度，此時無人機高于垂直向上葉片的葉尖部，無人機再飛向塔基的經度、緯度，控制云臺垂直向下拍攝。由于塔基的經緯度可能存在誤差，此時的機艙（風機發電機部位）可能不在圖像中心位置，通過機載計算機對圖像進行目標識別并計算得到無人機的控制指令，無人機依據指令移動將機艙調整到圖像中心，最后經過圖像處理提取機艙邊緣朝向，通過無人機當前航向與機艙邊緣和無人機機頭方向偏差，可得到機艙的航向角度。

由無人機的當前經度、緯度、機艙的航向角度、風機的物理參數，可計算得到葉片葉尖的空間位置。

式中：、、分別代表圖3中對應的葉片，下角標alt為高度、lat為緯度、lon為經度；為機艙高度；為葉片長度；為無人機的緯度；為無人機的經度；為機頭中心點距機艙中心點偏移量；為機艙的航向角度。

為分辨出毫米的裂紋故障，根據相機參數，可計算得出，無人機需距葉片的最小垂直距離取水平方向與垂直方向計算的最小值：

式中：為相機水平像素；相機水平視場角為25°；相機垂直視場角為19°；為識別算法識別故障所需最小所占像素；d為以水平方向計算的最小距離；d為以垂直方向計算的最小距離。

無人機計算出葉尖的空間位置后根據無人機需距葉片的最小垂直距離。即可生成初步的自動巡檢路線，如圖4所示，圖中1～10表示生成的航點及其序號。

為保證安全，無人機機頭與葉片旋轉面成45°角關系，形成旋轉面外葉片前緣后緣兩部分主要航線，共18個航點。

圖4 自動巡檢路線（正視圖、右視圖、俯視圖）

無人機在自動航線飛行過程中，由于定位誤差、圖像目標識別誤差等，圖像中葉片位置會產生偏差，通過機載計算機對畫面中葉片邊緣提取，得到葉片弦長中心與圖像中心偏差，機載計算機將向無人機發送控制指令，使無人機在按航線飛行過程中，不斷修正位置，使葉片弦長中心在圖像中心。運行完所有航點后，無人機上升至140m，然后完成自動返航動作，至此一臺風機葉片巡檢任務完成。流程圖如圖5所示，現場作業情況如圖6所示。

圖5 巡檢任務流程圖

圖6 無人機自動巡檢現場

2 葉片缺陷檢測算法

2.1 紅外與可見光圖像融合

由于紅外圖像和可見光圖像具有不同的特性，可見光是基于顏色特征形成的圖像，可直觀地反映葉片的表面特征，紅外圖像可反映物體的溫度場分布，間接反映物體的熱輻射特性，熱輻射特性又可反映出物體的結構特征，因此將二者進行融合，可反映出物體的綜合特征[5]。針對本雙光系統紅外相機和可見光相機同軸，且相對位姿固定，使得二者采集的圖像可進行特征級融合。

依據單應性矩陣原理，從可見光相機成像平面到紅外成像平面的投影映射中，兩平面中的坐標點是一一對應的。假設點為可見光成像平面中的一點，其齊次坐標為1＝(1,1,1)，將其映射到紅外成像平面上，匹配點的齊次坐標為2＝(1,1,2)，則滿足：

2＝1(5)

其中單應性矩陣為3×3的方陣，假設其為：

式中：33＝1。

那么將式(6)代入式(5)矩陣相乘得：

式中：

＝[1112132122233132]T(8)

通過式(7)每組點可以得到兩個線性方程，要想求解，由式(9)得含有8個變量，故至少需要4組不共線的對應點即可得如下：

由式(9)通過SVD分解可求得矩陣H[6]，利用式(5)可將可見光平面上的像素點轉換到紅外圖像成像平面上，從而使得可見光圖像與紅外圖像融合，示例圖像如圖7所示，可見光圖像與紅外圖像融合后的效果如圖8所示。

圖8 可見光與紅外圖像融合效果

可見光與紅外圖像的融合，可以實現從紅外圖像上定位缺陷的可疑區域，通過映射關系定位可疑區域在可見光圖像上的位置。

2.2 缺陷提取

本系統由于采用無人機進行葉片圖像采集，目標背景為地面，為了提高風機巡檢的準確性，對于采集的葉片圖像首先進行目標分割，將葉片準確地分割出來。在此選擇深度學習語義分割網絡Deeplab v3＋作為基礎網絡，該網絡結合空間金字塔模塊和編碼-解碼結構的優點，使用擴張卷積和深度分離卷積對風機葉片進行有效分割。實現過程為：

①依據采集的風機葉片圖像，通過數據清洗剔除風機葉片占比較小、曝光不足或過曝的圖像；

②選擇VIA標注工具對風機葉片進行標注，獲得單通道的mask圖。

③進行網絡訓練，得到分割模型并視效果迭代優化。

通過對優化模型進行測試，分割結果如圖9所示。

無人機采集葉片圖像后，實時將可見光和紅外圖像傳輸到地面端，地面多功能地面站部署有Opencv和Visual Studio 2017開發的圖像處理系統，實現對實時采集的圖像進行實時處理。圖像處理系統如圖10所示。

圖9 分割效果圖

圖10 可疑缺陷提取流程圖

鑒于以下原因，需要對采集的圖像進行濾波和增強：

1）無人機搭載雙光譜云臺采集圖像時一直處于運動狀態，導致相機本身具有難以克服的抖動性；

2）由于風機葉片長年運行于幾十米的高空，自然環境較惡劣，表面易積存油污、水漬、污漬等；

3）3只葉片處于不同的位姿，由于背光面光線較暗，迎光面光線超強，會導致光線分布不均；

4）由于數字圖像生成的原理，采集的圖像都會存在不同程度的噪聲。

此外，相對于葉片，缺陷的區域占比較小，需要缺陷區域有比較明顯的特征才能快速、準確地定位缺陷區域。傳統的圖像增強算法均為全局圖像增強算法，通過對全局圖像像素進行統計，制定統一尺度改變圖像的亮度，存在對部分區域增強過度變得更暗或更亮，丟失細節的風險。在此針對紅外和可見光雙光譜圖像本文采用“局部”增強的算法，“局部”思想主要體現在：①為了避免背景對前景的影響，局部增強算法只對前景圖像區域增強；②前景圖像區域內采用改進的直方圖均衡化算法——“自適應局部”增強算法。

傳統的圖像增強算法原理如下：

1）統計整幅圖像的像素分布，即各灰度級像素的個數n；

2）累積積分計算分布概率：

式中：為灰度級；為總像素個數。

3）依據累積積分結果進行像素映射計算得增強后的圖像。

p＝Sk(11)

改進后的“自適應局部”增強算法原理如下：

1）依據2.2的分割結果，去除背景，只保留前景區域；

2）將前景區域均勻分成若干等份；

3） 統計計算每塊的直方圖，積分分布函數及對應的變換；

4）設計變換規則：

對于規則的區域如圖11(a)所示，采用如下變換：①角點處（深色區域）：直接使用塊所在的變換函數；②邊緣處（淺色區域）：采用線性插值；③中心（灰色區域）采用雙線性插值。

對于非規則區域如圖11(b)所示，其中白色區域代表背景區域，背景區域與前景區域交界采用如下變換：含有邊界的塊區域采用塊區域的全局直方圖均衡化算法，但直方圖統計及累計積分時，背景區域不參與計算。其余區域同規則區域變換規則。

傳統的基于全局的圖像增強算法效果如圖12(a)所示，改進后的自適應局部增強算法效果如圖12(b)所示。通過對比發現全局算法出現了局部更暗，影響后續缺陷檢測。改進后的自適應局部增強算法對裂紋實現了增強，沒有出現局部增強過度的現場。

增強后的圖像通過生態學組合算法檢測圖像中各點梯度的最大值，并將梯度最大值的點連接起來形成缺陷的邊緣，從而實現對可疑缺陷區域的提取。

2.3 實驗與結果分析

本文將紅外與可見光圖像分別進行處理，通過可見光圖像判別葉片表面的缺陷，通過紅外圖像判別葉片的內部缺陷，再通過二者的映射融合關系將紅外可疑缺陷區域定位至可見光圖像中進一步進行確認。

可見光圖像的處理結果如圖13所示。

紅外圖像的處理結果以及對應的可見光圖像表現如圖14所示。

圖11 圖像分塊示意圖

圖12 增強效果對比

圖13 可見光圖像缺陷檢測效果圖

圖14 可見光與紅外對應缺陷

3 結論

本文針對目前風電巡檢的技術水平，設計和開發了一套基于無人機平臺的風機葉片自動圖像采集和故障檢測系統。系統選用了抗風性能較強的M600機型作為平臺，搭載可見光與紅外雙光系統，通過科學的航線規劃實現了圖像自動采集。通過單應性原理實現了紅外與可見光融合，通過算法設計實現了對風機葉片的缺陷檢測。該系統經過測試，可以實現鼓包、裂紋和褶皺等缺陷的自動識別與檢測，且準確率可以達到90%以上，相對于傳統檢測手段具有較高的準確率，為風電場的無損自動檢測開辟了新的思路。

[1] 賀斌, 賈建華, 趙峰, 等. 無人機在風機葉片檢測中的應用[J]. 電工技術, 2019(13): 64-65.

HE Bin, JIA Jianhua, ZHAO Feng, et al. Application of UAV in detection of wind turbine blade[J]., 2019(13): 64-65.

[2] Menon S, Schoess J N, Hamza R, et al. Wavelet-based acoustic emission detection method with adaptive thresholding[C]/, 2000,3986: 71-78.

[3] CUI Hongyu, DING Ning, HONG Ming. Crack diagnosis of wind turbine blades based on MD method[J].:, 2016, 157(1): 012003.

[4] WANG Long, ZHANG Zijun. Automatic detection of wind turbine blade surface cracks based on UAV-taken images[J]., 2017, 64(9): 7293-7303.

[5] 王凱, 韋宏利, 陳超波, 等. 基于紅外和可見光融合的目標跟蹤[J]. 計算機系統應用, 2018, 27(1): 149-153.

WANG Kai, WEI Hongli, CHEN Chaobo, et al. Target tracking based on infrared and visible light fusion[J]., 2018, 27(1): 149-153.

[6] 翟永杰, 劉金龍, 程海燕. 基于機器視覺的汽車工件抓取定位系統設計與開發[J]. 現代電子技術, 2018, 41(20): 6-9.

ZHAI Yongjie, LIU Jinlong, CHENG Haiyan. Design and development of automobile workpiece grasping and positioning system based on machine vision[J]., 2018, 41(20): 6-9.

Defect Detection System Based on UAV Images for Wind Turbine Blades

ZHAO Chunyi，GUO Hongtao，GUO Tao，LIANG Guo，JING Haicheng

(SPIC Northeast New Energy Development Co., Ltd., Shenyang 110000, China)

This study proposes and designs an automatic defect detection system based on UAV images for wind turbine blades, aimed at alleviating problems with manual detection methods, such as low efficiency and inaccurate defect detection. This paper introduces the system's image acquisition system, acquisition method, defect detection principle, and detection result. This system uses a UAV as the flying carrier to realize automatic inspection of wind turbine blades, thereby improving the inspection efficiency and reducing the manual workload. Through image segmentation and defect detection algorithm design, automatic detection of suspicious defect areas is achieved. Double light fusion of visible and infrared light improves the accuracy of automatic blade defect recognition. After multiple field tests and verification, the system is shown to accurately and quickly realize the automatic identification and detection of defects, such as bulges, cracks, and wrinkles.

UAV, wind turbine blade, defect defection, image processing

TP391

A

1001-8891(2020)10-1203-08

2020-04-04；

2020-05-18.

趙春溢（1970-），男，學士學位，高級工程師，主要研究方向火電及新能源技術管理，E-mail：sshsdsfyj@126.com。

荊海城（1973-），男，學士學位，高級工程師，主要研究方向為新能源技術管理。E-mail：smart_3d@126.com。