基于貝葉斯優化與CBAM-ResNet的乏燃料剪切機故障診斷方法

陳甲華, 王平平

(1. 南華大學經濟管理與法學學院, 衡陽 421001; 2.南華大學核設施應急安全作業技術與裝備湖南省重點實驗室, 衡陽 421001)

乏燃料剪切機是動力堆乏燃料后處理首端的關鍵設備,主要負責乏燃料后處理工藝中燃料組件管座與燃料棒分離、脫殼、剪切等工序,是“切斷-浸取法”工藝的核心。由于乏燃料剪切機處在強放射性、高毒性、酸氣、粉塵、不能潤滑等非常苛刻的條件下工作,因此必須在屏蔽和密閉條件下遠距離操控進行。針對乏燃料剪切機的監測工作,并不能采用激光、振動等方式[1]。乏燃料剪切機的噪聲信號涵蓋了運行工作的狀態,利用剪切機的工作噪聲進行故障診斷與剪切機無接觸,不會影響其正常運行[2],所以可以利用剪切機的工作噪聲對其進行故障診斷。

目前機器學習與深度學習是數據驅動故障診斷的常用方法[3-9],深度學習理論逐漸在學術界和工業界引起廣泛的關注,相對于傳統的機器學習算法,深度學習能夠自動提取特征,更致力于深層的內在規律與關聯。卷積神經網絡 (convolutional neural networks, CNN)是具有卷積計算的深度神經網絡。Seyed等[10]利用CNN實現模擬電路故障診斷,驗證了CNN在該類問題中應用的優越性。張弛[11]提出利用CNN進行特征提取、支持向量機 (support vector machine, SVM) 實現分類的故障診斷模型。李中等[12]考慮滾動軸承的故障位置和損傷程度,提出雙分支卷積網絡的故障診斷方法。趙志宏等[13]利用馬爾科夫變遷場 (Markov transition field, MFT) 對振動信號編碼并生成相應的特征圖,將其輸入CNN完成特征提取與故障分類。網絡的寬度與深度的增加可以有效地提高網絡的性能,但是只是簡單地增加網絡的深度可能會導致梯度消失或者爆炸,甚至可能出現退化問題,隨著層數的增加,網絡的預測效果反而越來越差。面對這些問題,He等[14]提出使用批量歸一化 (batch normalization, BN) 層解決梯度消失或爆炸的問題;為了解決深度神經網絡中的退化問題,He等[14]首次提出殘差神經網絡,殘差神經網絡是一系列殘差塊組成的,即在兩層或者三層卷積層之間引入快捷連接,弱化每層之間的強關系,殘差神經網絡核心思想是每個附加層都應該更容易地包含原始函數作為其元素之一。Liang等[15]提出基于小波變換 (wavelet transformation, WT) 與全局奇異值分解 (singular value decomposition, SVD) 改進殘差神經網絡 (residual network, ResNet) 的故障診斷方法,對噪聲具有更好的魯棒性。Qian等[16]提出基于模型數據增強的殘差神經網絡分類器,并將其應用到軸承故障診斷。Lin等[17]提出基于多尺度SE(squeeze and excitation)注意力模塊的殘差神經網絡的故障診斷模型。Zhao等[18]使用ResNet-18深層網絡學習分類多光譜遙感圖像。

目前,基于殘差神經網絡的故障診斷初見成效,但是剪切機的工作噪聲往往包含的信息量大與故障數據獲取難度高,為了提高診斷性能,會增加殘差神經網絡中的深度,但是通道中的故障信息并不是全部值得關注,對通道的同等對待使得網絡計算復雜化、超參數難以確定。基于此,利用卷積塊注意力模塊 (convolutional block attention module,CBAM) 與貝葉斯優化算法改進殘差神經網絡,實現對乏燃料剪切機的故障狀態識別。

1 CBAM-ResNet模型

1.1 CBAM

注意力機制的原理是將有限的信息處理資源更傾向于分配給重要的任務,忽視無用的信息。卷積注意力模塊CBAM是通道注意力模塊與空間注意力模塊的串聯。通道注意力模塊是在空間維度上分別使用全局最大池化和全局平均池化來聚集特征信息,將其輸入多層感知機網絡中,并經過非線性激活函數得到通道注意力特征權重;空間注意力模塊是在通道維度上使用全局最大池化和全局平均池化來聚集特征信息。CBAM的結構如圖1[19]所示。

圖1 CBAM結構[19]Fig.1 Convolutional block attention module[19]

1.2 卷積層

卷積層是卷積神經網絡中的組成部分之一,是利用卷積核遍歷數據進行卷積運算以實現對特征的提取。卷積層的運算式[20]為

xl+1=f(kl?xl+bl)

(1)

式(1)中:xl+1為當前層的輸出;xl為當前層的輸入;kl為卷積核;bl為偏置;f(·)為激活函數;?為卷積運算。

激活函數是卷積層中的非線性計算,可以更有效地擬合特征的映射,找到故障樣本與故障狀態之間的關聯。采用的激活函數一般是ReLu函數,其表達式為

f(x)=max(0,x)

(2)

式(2)中:x為函數的輸入。

1.3 殘差塊

He等[14]提出殘差網絡的概念與結構,該網絡在CNN的基礎上加入殘差學習理念,設計出殘差塊結構并構建深層網絡,殘差塊的結構如圖2所示。

圖2 殘差塊Fig.2 Residual block

圖2(a)中的殘差塊為Basic Block結構,是由兩個相同輸出通道數的3×3卷積層構成,每個卷積層后連接著一個批量歸一化BN層和ReLu激活函數,跳過這兩個卷積層,將輸入加在第2個卷積層后的ReLu函數之前,這種結構要求兩個卷積層的輸入輸出形狀保持一致,輸入與輸出才能疊加。圖2(b)中的殘差塊為Bottleneck Block結構,分別是由1×1、3×3、1×1的卷積層構成,1×1卷積層的作用是降維與升維。

批量歸一化BN層用來標準化特征,以提高網絡訓練的收斂速度與其泛化能力。Batch Normalization函數的計算公式為

(3)

yi=BNγ,β(xi)

(4)

1.4 CBAM-ResNet模型結構

構建基于CBAM-ResNet乏燃料剪切機故障診斷模型的結構如圖3所示,將CBAM放在第一與最后的卷積層之后以及每個Basic Block中,卷積層對特征進行提取,CBAM聚焦更重要的特征信息,Bottleneck Block提取特征,減少參數,節約訓練時間,Basic Block結構中引入CBAM使得特征提取更有效,實現更好的乏燃料剪切機故障狀態識別效果。

Conv為卷積;Global Average Pooling為全局平均池化圖3 CBAM-ResNet 模型Fig.3 CBAM-ResNet model

導致剪切機出現故障的原因很多,如螺絲松動、刀體表面劃傷、崩刀、抓鉤斷裂、銷軸變形松動等,但是故障樹分析表明,刀具磨損是剪切機在運行過程中出現最多的故障模式,是導致整個系統停機的主要原因[1],因此主要針對剪切機的刀具磨損狀態進行故障診斷。乏燃料剪切機的工作噪聲包括剪切乏燃料時的剪切噪聲與剪切完成后的退刀噪聲,在不同的刀具磨損狀態下,工作噪聲信號是有區別的,可以利用工作噪聲的變化規律實現對剪切機刀具的故障診斷。

首先將乏燃料剪切機的工作噪聲先統一為相同時長、相同采樣率的格式,以便接下來的特征提取與學習。采集到的剪切機工作噪聲中可能會摻雜所在工作環境的噪聲,所以本文采用雙聲道差分法對剪切機的工作噪聲降噪。剪切機的傳聲器分為主傳聲器和降噪傳聲器,主傳聲器的安裝位置離剪切機近,降噪傳聲器距離剪切機比較遠,將噪聲中這兩種傳聲器傳送的信號進行差分處理,即得到降噪后的剪切機噪聲信號。

將降噪完成的剪切機工作噪聲轉化為梅爾頻譜圖,并利用SpecAugment 技術對其進行數據增強,該技術防止網絡過擬合,增加了神經網絡的魯棒性。將數據增強后的梅爾頻譜圖輸入到所構建的乏燃料剪切機故障診斷模型中。

輸入的梅爾頻譜圖經過首個卷積層進行初步的信息整合與特征提取,首個卷積層使用的是5×5的大卷積核以提取大尺度的特征。在每個卷積層進行卷積運算,ReLu激活函數進行非線性映射后,加入BN層,進一步提高網絡訓練的收斂速度與其泛化能力。在首個卷積層后加入CBAM。CBAM對提取的特征進行計算生成、分配注意力權重,以調節網絡中提取特征的比重,聚焦更重要的特征信息,提高網絡特征提取的效率。接著使用Bottleneck Block結構的殘差塊對特征進行增加通道數、壓縮空間維度,繼續特征的提取;使用Basic Block結構的殘差塊對特征進行等值特征提取,不改變特征的通道數與空間維度,在Basic Block結構中加入CBAM, 和殘差塊中輸入的恒等變換一樣,將CBAM放入第二個卷積層后的ReLu函數之前,CBAM-Basic Block的結構如圖4所示。

圖4 CBAM-Basic Block 模型Fig.4 CBAM-Basic Block model

模型中的特征依次經過4個Bottleneck Block與 CBAM-Basic Block的間隔連接結構之后,輸入到最后一個卷積層后經過CBAM進行最后的特征整合,全局平均池化層獲取故障分類所需的特征,通過Softmax分類器輸出乏燃料剪切機的故障狀態。

2 貝葉斯優化的CBAM-ResNet模型

2.1 貝葉斯優化

在神經網絡中,需要的參數分為模型參數與超參數,其中在神經網絡的訓練過程中模型參數可以進行自動學習調整,但是優化器等部分超參數需要人為設置,超參數的確定直接影響神經網絡的評估性能與預測效果,所以選擇合適的超參數很重要。貝葉斯優化算法作為全局優化算法之一,能夠在較少的目標函數評價下精準地找到目標函數的最優解[21],可以有效地調節神經網絡超參數。

貝葉斯優化主要包括概率代理模型與采集函數,概率代理函數通過先采樣幾個點擬合出目標函數,并基于此,在可能是最小值點的附近采集更多的點或者在沒有采樣的范圍采集更多的點,采樣的過程可以通過構建采集函數來表示,利用更多的點更新代理函數,使其擬合的效果更優,更容易找到目標函數的最優解。

貝葉斯優化的過程為[22]:①確定最大的迭代次數;②最大化采集函數,確定下一個評估點;利用評估點評估目標函數值;③整合數據,更新概率代理模型;④重復②～④步,直到達到最大迭代次數。

2.2 貝葉斯優化的目標函數與超參數

貝葉斯優化希望盡可能使用少次的目標函數評估優化函數的后驗概率,得到最優超參數組合[23],貝葉斯優化的超參數組合的選擇可表示為

(5)

式(5)中:f′(x)為目標函數;x*為最優的超參數組合;X為超參數組合空間。

利用貝葉斯優化對CBAM-ResNet模型進行超參數選擇時,以CBAM-ResNet模型故障診斷識別的誤差作為目標函數,選擇優化器類別與學習率為要選擇的超參數。

2.3 基于貝葉斯優化的CBAM-ResNet模型流程圖

該乏燃料剪切機故障診斷模型主要是由貝葉斯優化算法與CBAM-ResNet模型構成,用于對乏燃料剪切機工作噪聲特征信息的提取、整合,并進行特征信息與故障狀態的映射與關聯,實現對故障狀態的分類診斷。貝葉斯優化CBAM-ResNet乏燃料剪切機故障診斷模型分為3個階段:貝葉斯優化超參數階段、CBAM-ResNet模型訓練階段與CBAM-ResNet故障分類診斷階段。超參數優化階段主要是通過貝葉斯優化算法優化CBAM-ResNet模型中的優化器等超參數;模型訓練階段主要是由卷積層、殘差塊進行樣本數據的特征提取,CBAM通過生成、分配權重來調節網絡參數,使得網絡更關注重要的特征信息,并根據模型的效果不斷調整,獲取精確的乏燃料剪切機故障診斷模型;模型故障分類診斷階段將測試集輸入到訓練好的CBAM-ResNet模型中,進行乏燃料剪切機的故障診斷,得到其故障類型?；谪惾~斯優化的CBAM-ResNet模型流程圖如圖5所示。

圖5 CBAM-ResNet模型算法流程圖Fig.5 Flow chart of CBAM-ResNet model

3 乏燃料剪切機故障診斷實驗分析

3.1 樣本數據的選取

乏燃料剪切機工作噪聲的能量頻率在5 000～20 000 Hz,本文采樣率為44 100 Hz,滿足采樣定律的要求。刀具磨損分為正常、輕度磨損、重度磨損與損壞4種狀態。4種磨損狀態的照片如圖6所示。

圖6 乏燃料剪切機故障狀態Fig.6 Spent fuel shear fault status

共選取126個乏燃料剪切機工作噪聲樣本,其中,正常狀態的有41個,輕度磨損的有23個,重度磨損的有49個,損壞的有13個。

3.2 樣本預處理

將所有乏燃料剪切機工作噪聲文件標準化并轉化為相同的采樣率44 100 Hz,接下來將所有工作噪聲文件長度截取到相同的長度22 s。使用雙聲道差分法將乏燃料剪切機中與工作無關的噪音消除,將降噪后的工作噪聲轉化為梅爾頻譜圖,對梅爾頻譜圖進行數據增強后作為模型的輸入。

將乏燃料剪切機的工作噪聲預處理過程可視化,乏燃料剪切機工作噪聲的原始聲波圖如圖7所示。

圖7 原始聲波圖Fig.7 Original sonogram

經過雙聲道差分法降噪的乏燃料剪切機工作噪聲聲波如圖8所示。

將乏燃料剪切機工作噪聲轉化成的梅爾頻譜圖如圖9所示。

圖9 梅爾頻譜圖Fig.9 Mel spectrum

經過SpecAugment技術數據增強后的梅爾頻譜圖如圖10所示。

圖10 數據增強后的梅爾頻譜圖Fig.10 Data enhanced mel spectrum

3.3 乏燃料剪切機故障診斷模型參數

選取Python語言的Pytorch框架、使用Windows10、8 GB計算機內存硬件配置進行剪切機故障診斷模型的構建。乏燃料剪切機故障診斷模型中網絡的參數設置如表1所示。

表1 模型網絡的參數設置Table 1 Parameter setting of model network

利用貝葉斯優化對優化器類別與學習率超參數進行優化,最大迭代次數為80,優化器的選擇為Adam、隨機梯度下降(stochastic gradient descent, SGD),學習率最大值的選擇為0.01、0.001。經過貝葉斯對網絡模型超參數進行優化后選擇優化器為Adam,學習率最大值的選擇為0.01。優化后的CBAM-ResNet模型訓練的參數如表2所示。

表2 模型訓練的參數設置Table 3 Parameter setting of model training

3.4 結果對比分析

在所有樣本中選擇75%作為訓練樣本,剩余25%的樣本作為驗證樣本。為了驗證所構建的基于貝葉斯優化的CBAM-ResNet模型故障診斷的效果,建立殘差神經網絡與基于CBAM的殘差神經網絡,設置這兩種模型的網絡層數與卷積核大小、步長等參數與構建的模型相同,并使用相同的樣本對這兩種進行訓練,模型的診斷結果如圖11、表3所示。

表3 模型驗證結果對比Table 3 Comparison of model validation results

圖11 模型驗證結果Fig.11 Model validation results

對于每種狀態的樣本,優化后的CBAM-ResNet模型的準確率比ResNet模型的準確率更高;而相對于CBAM-ResNet模型,對于輕度磨損、重度磨損與損壞的樣本,優化后的CBAM-ResNet模型的準確率更高,對于正常狀態的樣本,優化后的CBAM-ResNet模型與CBAM-ResNet模型的準確率相同。相對于ResNet、CBAM-ResNet模型,基于貝葉斯優化的CBAM-ResNet模型故障狀態識別總準確率為93.67%,均高于ResNet與CBAM-ResNet模型,結果證實基于貝葉斯優化的CBAM-ResNet模型具有更好的故障診斷能力。

4 結論

引入CBAM與貝葉斯優化的方式改進殘差神經網絡,構建基于貝葉斯優化與CBAM-ResNet的乏燃料剪切機故障診斷模型。得出如下結論。

(1)在對乏燃料剪切機的工作噪聲預處理時,采用雙聲道差分法對工作噪聲進行降噪處理,將其轉化為梅爾頻譜圖并對其進行數據增強后輸入構建的模型中。

(2)在首個與最后的卷積層后和Basic Block中加入CBAM,構建了CBAM-ResNet模型以實現對乏燃料剪切機的故障診斷。CBAM集結了通道注意力與空間注意力,提高模型特征提取的效果。

(3)使用貝葉斯優化對CBAM-ResNet模型進行超參數的優化,得到相對更優的超參數模型。