基于多模態數據融合的風機葉片故障檢測

新華電力發展投資有限公司 賀振華 劉 暢 裴 勝

新能源開發和利用是當前全球能源領域的熱門話題。隨著全球能源需求的不斷增長和環境問題的日益凸顯，清潔可再生能源的開發和利用已成為全球能源領域的重要發展方向。在這方面，風能作為一種清潔可再生能源，具有廣闊的發展前景，其具有無污染、無排放、能源取之不盡的特點，已成為世界各國重點發展的清潔能源之一。然而，由于風能發電設備的工作環境惡劣，例如海洋風電場，設備長期處于海上受風浪侵蝕，容易導致發電機葉片的損壞，從而影響設備運行。

因此，及時、準確地診斷故障成為風能發電設備維護中的重要環節。隨著人工智能和機器學習技術的不斷發展，基于這些技術的風能發電設備檢測和診斷技術已經應用于實際生產中。這些技術可通過對設備的實時監測和數據分析，識別并預測故障，及時采取維護措施，提高設備的可靠性和穩定性，降低設備運行成本和維護費用，為實現可持續能源目標貢獻力量。

1 現狀

針對風能發電設備的葉片損傷診斷，目前有三種方法：基于人工的檢測、基于故障字典的模式識別，以及基于機器學習和深度學習的故障診斷。

傳統的人工檢測方式需要專業人員進行高空檢測，其成本高，安全風險大，且穩定性差。而基于故障字典的模式識別方法需要事先建立和查詢字典，無法識別新型故障，也存在很多限制。相比之下，基于機器學習和深度學習的方法不需要人力高空檢測，可以從葉片的多模態數據中提取特征進行自動化診斷，安全系數高。同時，機器學習和深度學習算法能夠利用大量的數據進行訓練，能夠識別新型故障，具有更好的泛化性能和適應性。因此，基于機器學習和深度學習的方法能夠提高設備維護效率，降低能源生產成本，是風能設備故障診斷領域的重要研究方向之一。

而基于機器學習和深度學習的方法中，多模態診斷的效率往往高于單模態。相比于傳統的方法，多模態診斷具有更高的檢測精度和效率。同時，多模態診斷可以利用不同模態之間的互補信息，提高診斷的可靠性和準確性，對于一些難以檢測的隱蔽性故障也具有更好的診斷能力。因此，多模態診斷是未來風能設備故障診斷的重要方向之一，能夠更好地提高設備維護效率，降低能源生產成本，促進可持續能源的發展。

基于以上現狀，本文提出了一種多模態數據融合的風機葉片故障診斷的方法，從圖像、聲音、振動三個模態獲得數據，在多模態的角度對葉片健康狀況進行診斷。

2 多模態融合診斷的模型介紹

模型圖介紹如下：在這個故障診斷模型中，利用無人機、麥克風、振動傳感器獲得了風機葉片的圖像、聲音和振動三個模態的數據。然后，針對這三種模態的數據，分別構建了圖像模態和聲振混合模態兩個模型。其中，圖像模態的模型對圖像進行了處理，然后使用CBAM-Resnet進行訓練，最終得到了圖像模態的檢測模型；而聲振混合模型則是基于1D-CNN進行設計的，用于處理聲音和振動模態數據的融合，通過對聲振融合后的數據進行訓練，最終得到了聲振融合模態的檢測模型。這兩個模型分別利用不同的模態進行故障檢測，通過綜合分析不同模態的結果，能夠提高故障檢測的準確率和可靠性，為風能設備的維護和運營提供更好的支持。

圖1 模型圖

ResNet是一種深度卷積神經網絡，由多個卷積層、池化層、全連接層和輸出層構成，可有效提取輸入圖像的特征向量[1]。在處理風機葉片圖像時，由于存在光照不均、背景復雜、缺陷占比小等問題，傳統的卷積神經網絡可能難以準確提取特征。因此，為了解決這個問題，引入了注意力機制。CBAM是一種低成本的注意力引入方式，其包括通道注意力和空間注意力兩部分，可以在幾乎不增加計算成本的情況下提高特征質量[2]。

圖2 CBAM-Resnet結構

通道注意力機制用于學習各個通道之間的相互依賴關系，通過對通道維度進行加權，提高了卷積層輸出的質量。空間注意力機制則用于學習圖像中不同位置的重要性，通過對空間維度進行加權，可以進一步提高特征的區分度。在將CBAM應用到ResNet中時，通過將注意力機制引入到每個ResNet塊中，可以進一步提高風機葉片缺陷檢測的準確率和魯棒性。試驗證明，將CBAM應用到ResNet中可以顯著提高風機葉片缺陷檢測的效果。相比傳統的ResNet模型，引入CBAM后的模型具有更好的特征表達能力和魯棒性，可以更準確地檢測風機葉片的缺陷。

1D-CNN模型是一種卷積神經網絡（CNN）的形式，用于處理一維數據[3]。其通常包括輸入層、卷積層和Softmax層，接收一維向量作為振動信號的輸入，并對該向量進行多次卷積和池化操作。每個卷積核都可以學習特定的特征，比如振動信號的頻率、振幅、振動模式等。在經過多次卷積和池化后，1D-CNN模型最終輸出一個全連接向量，該向量包含了該振動信號的各種特征信息。1D-CNN模型的訓練是通過反向傳播算法實現的。在訓練過程中，模型的輸出結果會與實際結果進行比較，計算出誤差，并根據誤差調整模型參數。

隨著訓練的進行，模型會逐漸調整自身，使得其能夠更好地適應訓練數據，并在測試數據上表現出更好的泛化性能。通常情況下，訓練數據會被分為訓練集、驗證集和測試集，以便對模型進行評估和比較。1D-CNN模型在振動信號分析和診斷領域中得到了廣泛應用。該模型能夠自動提取信號中的特征，并且相較于傳統的振動信號分析方法，具有更高的準確性和效率。

圖3 1D-CNN模型

模型的使用流程：模型的使用包括兩個過程，第一個過程是模型的訓練，第二個是基于訓練好的模型進行故障的診斷。

該模型的訓練基于大量的多模態風機葉片數據，這些數據包括聲音、振動和圖像等多種模態。為了充分利用這些數據，模型采用了多層多模態數據融合的方法，將不同模態的數據進行有機結合，從而獲得更加全面和準確的特征表示。在第一步中，模型需要對聲音和振動數據進行融合。通過使用1D-CNN的多層卷積對振動和聲音向量進行處理，可以獲得降維后的向量。這些向量將被聯接成聲振混合向量，進而用于故障判別。通過這種方法，模型可以同時利用振動和聲音數據，提高檢測的準確率和魯棒性。

在第二步中，模型使用梯度下降法對數據進行訓練，以得到聲振模態的診斷模型。通過訓練模型，可以提高模型的診斷準確率和魯棒性，從而更好地捕捉到風機葉片故障的本質特征。此外，為了提高模型的診斷能力，模型還包括基于圖像模態的診斷模型。該模型使用ResNet網絡處理風機葉片的圖像數據，并根據獲得的故障數據進行訓練。通過這種方法，可以有效地處理圖像中的噪聲和背景復雜度等問題，提高診斷的準確性。

最后，模型將聲振模態和圖像模態的診斷結果進行融合，得到一個綜合模型。該模型能夠更好地捕捉到風機葉片故障的本質特征，提高診斷的準確性。

在基于訓練好的模型進行故障診斷時，需要獲得葉片的多模態數據。在進行診斷前，需要對獲得的葉片數據進行預處理，包括噪聲濾波、數據歸一化等操作，以確保數據質量和一致性。接下來，將預處理后的數據輸入到模型中，模型將從多個數據源獲取信息，如聲音、振動、圖像等，將不同模態的數據進行有機結合，從而獲得更加全面和準確的特征表示。

模型將對每個模態的數據進行處理和分析，然后將結果進行融合，得到綜合的診斷結果。這個綜合結果可以直接用于葉片的故障診斷，也可以通過結合專家經驗和其他外部信息，提高診斷的準確性和可靠性。需要注意的是，模型診斷結果只是作為參考，最終的判斷結果還需要人工進行確認和判斷。當診斷結果和實際情況不符時，需要進一步分析和修正模型，以提高模型的準確性和可靠性。

圖4 聲振數據的混合檢測模型

該模型可被裝載到風機遠程檢測系統中進行風機葉片的故障檢測，檢測系統可以遠程收集到葉片的各項狀態指標，通過5G信號發射器等方式發送到檢測端，檢測端對于收集到的葉片的信號進行處理，得到葉片故障的診斷，反饋給人工，人工可以進行進一步檢測。這樣的檢測方式實現了遠程監控，同時檢測的準確率得到提升，并且降低了檢測成本。

在試驗驗證部分，通過構建模擬風機平臺對模型進行訓練和驗證。平臺的構建包括模擬風機的構建和風機故障對照組的設置。對照組包括三組：正常葉片風機、磨損葉片風機、斷裂葉片風機。

通過該模型在模擬平臺上的驗證得到，該模型相比單一模態的模型具有更好的泛化能力。同時對于故障檢測的準確率也有所提升。

試驗結果顯示，該模型可以更好地檢測出風機葉片缺陷，尤其是在復雜環境下具有更好的魯棒性。此外，該模型還具有更好的泛化能力，即在不同的測試數據集上也能表現出很好的性能。這為風機設備的故障診斷和維護提供了有效的工具和手段。通過使用多模態模型，可以更快速、準確地檢測出風機葉片缺陷，幫助設備維護人員更好地了解設備的狀態并采取相應的措施，從而保證設備的正常運行和延長其壽命。

該模型的提出可以為風能設備運維帶來多方面的積極影響。首先，基于深度學習的檢測系統可以提高葉片損壞檢測的準確率，多模態數據融合，可以更快速、精確地檢測出葉片的故障。其次，該模型可以實現遠程監控和線上檢測，通過傳感器獲取數據后實時分析和診斷，大大降低了檢測的成本，并且減少了現場檢測的安全風險。最后，該系統的泛用性廣，可以對多種環境下風電設備的故障檢測都具有積極的影響。綜上所述，該模型的提出對于風能設備運維具有重要意義，有望對風能行業檢測技術領域的產生積極影響。