基于卷積神經(jīng)網(wǎng)絡的超聲金屬材料辨識

解邦鑫，劉昱，賀西平

(陜西師范大學物理學與信息技術(shù)學院陜西省超聲重點實驗室，陜西西安 710119)

0 引言

金屬是工業(yè)生產(chǎn)生活中非常重要的原材料，被廣泛應用于工業(yè)、農(nóng)業(yè)、制造業(yè)、科技、國防等諸多領(lǐng)域[1]。不同金屬材料由于其微觀組織特征的不同，力學性能存在著巨大的差異。一些貴重金屬的價格隨著全球礦產(chǎn)資源的不斷開采殆盡而水漲船高，在這種情況下，不法企業(yè)為了降低成本可能會使用合金替代或以次充好等手段，若無科學可靠的手段對其真?zhèn)芜M行識別，會使得生產(chǎn)生活蒙受巨大的損失。并且在一些貴重金屬文物的防偽識別、軍事裝備的質(zhì)量檢查，以及精密儀器制作材料的純度檢測等應用中，尤其需要具備極高辨識能力的金屬防偽辨識技術(shù)。

傳統(tǒng)的金屬材料的辨識方法有物理方法和化學方法[2]。物理方法包括感官辨識、斷口辨識、磁粉檢測(Magnetic Particle Testing,MT)辨識[3]、射線檢測(Radiographic Testing,RT)射線辨識[4]、紅外線檢測等；化學方法包括火花辨識法、成分分析法、重量分析法、容量分析法、滴定分析法以及光譜分析法等。這些方法雖然也能在一定程度上實現(xiàn)金屬材料的鑒別，但是大多為有損檢測，會對被檢測樣品產(chǎn)生一定程度的損傷，而且檢測成本較高，有的方法還會產(chǎn)生污染物，對檢測人員健康造成危害，不宜推廣。

隨著無損檢測技術(shù)的高速發(fā)展[5]，超聲波憑借其快速、無損、直接、適用范圍廣等優(yōu)點，在多晶材料的晶粒尺寸評估領(lǐng)域受到廣泛研究[6]，可以利用聲速、超聲衰減系數(shù)和非線性系數(shù)等聲學參數(shù)評估金屬晶粒尺寸[7]。超聲波與晶粒的密切關(guān)系引起了學者的關(guān)注，在超聲辨識領(lǐng)域有學者利用超聲衰減法[8]、頻譜分析法、背向散射法[9]等方法對多晶材料進行了辨識。近年來，隨著語音識別技術(shù)的興起與信號處理方法的發(fā)展，機器學習算法、深度學習算法在信號辨識方面得到越來越廣泛的應用[10]。

本文通過采集金屬材料的超聲回波時域信號，利用短時傅里葉變換(Short Time Fourier Transform,STFT)對其進行時頻分析，得到包含金屬材料微觀組織信息的超聲時頻域頻譜圖。將該超聲頻譜圖采用雙線性插值法進行處理，并作為樣本輸入到搭建好的卷積神經(jīng)網(wǎng)絡中進行訓練。結(jié)果表明，在此數(shù)據(jù)集上神經(jīng)網(wǎng)絡收斂較快，表現(xiàn)出優(yōu)異的性能和識別準確率。訓練完成的網(wǎng)絡模型均記錄著對應訓練樣本的特征信息，可作為數(shù)據(jù)庫進行儲存。然后使用訓練好的網(wǎng)絡對待測樣本進行識別，最終可實現(xiàn)超聲金屬材料辨識。

1 超聲金屬材料辨識原理

超聲波在多晶金屬材料中傳播時，會因其內(nèi)部晶粒大小、形狀及晶粒取向等微觀組織特征的不同，導致聲速、聲衰減、聲波背向散射等聲學性質(zhì)出現(xiàn)差異[11-13]。超聲波對金屬材料的微觀晶粒差異十分敏感，相同的材料也會因晶粒狀態(tài)的不同而接收到不同的超聲信號。即使材質(zhì)、加工工藝完全一致的金屬材料，也可以利用其內(nèi)部微觀晶粒的尺寸和分布的無序性造成的超聲回波的差異進行辨識。傳統(tǒng)方式提取的特征通常為時域回波信號的峰值、衰減譜的相關(guān)系數(shù)以及幅度譜等特征量。利用這些特征量可以實現(xiàn)對樣品的辨識。傳統(tǒng)方式提取的特征量通常為回波信號在時域或頻域的某一物理量或經(jīng)處理表征的信號特征。例如峰值法提取時域信號的峰值和某幾個次高峰出現(xiàn)的時刻、幅度作為特征信息，以此辨識各樣品[14]；衰減譜法分別在時域和頻域計算每個樣品超聲回波的衰減系數(shù)；歐氏距離法取不同樣品間超聲信號的加權(quán)歐氏距離為特征量并以此進行辨識[15]；小波包分解法通過對信號進行頻域分解，提取出晶粒散射信號的頻率特征來完成辨識[16]。

相較于傳統(tǒng)方法，本文的研究以超聲信號的時頻譜作為特征量。時頻譜將超聲信號的時頻域特征結(jié)合在同一譜圖中，二維的時頻分析相較于一維的時域、頻域提高了一個維度，信息更加完整，加之利用深度學習反復提取譜圖的整體特征，提取出的特征量與原樣本更緊密，特征信息更完整，更能反映原樣本的特征。在實驗過程中曾直接用時域圖和頻域圖分別訓練網(wǎng)絡，雖然仍可一定程度上實現(xiàn)金屬辨識，但準確度低于時頻譜圖辨識的結(jié)果。因此最終選擇時頻譜圖對卷積神經(jīng)網(wǎng)絡進行訓練。本文使用超聲相控陣系統(tǒng)采集金屬樣品的超聲回波信號。利用惠更斯原理，可使相控陣探頭晶片發(fā)射適合樣本的聲束并將回波信號接收保存，所采集的時域信號如圖1所示。

圖1 金屬中傳播的典型超聲回波信號Fig.1 Typical ultrasonic echo signal propagating in metal material

超聲相控陣所采集的回波信號為時域信號，采用短時傅里葉變換(STFT)可以對其進行時頻分析。信號x(t)的短時傅里葉變換定義為

其中：h(t-τ)為分析窗函數(shù)。本文的分析對象含有多頻率的未知信號，因此窗函數(shù)選取漢寧窗。短時傅里葉變換中乘以窗函數(shù)的操作等價于取信號x(t)在時間點t附近的一個切片，該切片代表著t時刻該信號的頻譜。

通過短時傅里葉變換(STFT)，將一維的時域信號在二維平面上表現(xiàn)出來，提取出信號的時頻特征，得到該信號的時頻譜圖，結(jié)果如圖2所示。

圖2 金屬材料中超聲回波信號相應的時頻譜Fig.2 The corresponding spectrogram of the ultrasonic echo signal in metal material

經(jīng)過短時傅里葉變換(STFT)得到的超聲回波信號的頻譜圖攜帶著金屬材料的微觀組織信息。將JPG圖片格式的時頻譜圖輸入卷積神經(jīng)網(wǎng)絡進行訓練實現(xiàn)特征提取，訓練完成的網(wǎng)絡記錄著對應訓練樣本的特征信息。

在卷積神經(jīng)網(wǎng)絡中，對圖像使用卷積核提取特征等價于為圖像矩陣A尋找最合適的特征向量集，神經(jīng)網(wǎng)絡通過反向傳播算法不斷擬合一個能代表圖像集一般特征的特征向量，也就是卷積核的值(這里求解的是參數(shù)矩陣)。得到該權(quán)重之后，再與原始圖像矩陣相乘，得到相應的特征。

卷積神經(jīng)網(wǎng)絡通過卷積、池化等一系列操作，將圖像的信息層層抽象，最終經(jīng)過全連接層，將圖像的特征信息抽象為一個一維向量。 然后通過最后的全連接層，將該向量投射到樣本空間，通過Soft‐max函數(shù)使其轉(zhuǎn)換為概率形式，實現(xiàn)樣本的分類。

最后將待測樣本輸入到訓練好的網(wǎng)絡中進行分類，通過模型中的全連接層與softmax 函數(shù)，待測樣本的特征向量被轉(zhuǎn)換為概率，比較“是標準樣本”與“不是標準樣本”的概率大小，判別該樣本是否為標準樣本，實現(xiàn)分類。將分類結(jié)果與真實的樣本類別進行對比即可實現(xiàn)金屬材料的超聲無損辨識。完整的金屬辨識流程如圖3所示。

圖3 金屬辨識過程流程圖Fig.3 Flow chart of the metal identification process

2 卷積神經(jīng)網(wǎng)絡的架構(gòu)設計

卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNN)是一類特殊的人工神經(jīng)網(wǎng)絡，最主要的特點是卷積運算操作。與傳統(tǒng)方法相比，卷積神經(jīng)網(wǎng)絡的優(yōu)點在于可以自動提取目標特征，發(fā)現(xiàn)樣本中的特征規(guī)律，解決了手動提取特征時會導致誤差積累的問題，自動實現(xiàn)分類過程[17]。得益于此，CNN在諸多領(lǐng)域的應用特別是圖像相關(guān)任務上表現(xiàn)出優(yōu)異的性能[18]。

Alex-Net是計算機視覺領(lǐng)域中首個被廣泛關(guān)注并使用的卷積神經(jīng)網(wǎng)絡，可以利用GPU 實現(xiàn)網(wǎng)絡的訓練，大大縮短了深度網(wǎng)絡和大型網(wǎng)絡模型開發(fā)研究的周期，降低了時間成本。并且網(wǎng)絡引入的一些訓練技巧使得網(wǎng)絡的性能得到極大的提高。

在網(wǎng)絡訓練時，采用具有單側(cè)抑制、稀疏激活特點的ReLU激活函數(shù)，增強了整個網(wǎng)絡的表達能力，且在一定程度上緩解了網(wǎng)絡的過擬合問題。ReLU函數(shù)的表達式為

同時在訓練過程中使用局部響應規(guī)范化(Local Response Normalization,LRN)，規(guī)范處理相同空間位置上相鄰深度的卷積結(jié)果，表達式為

其中：n為使用LRN的相鄰深度卷積核的數(shù)目；N為該層所有卷積核數(shù)目；k、n、α、β等為超參數(shù)。

最后在網(wǎng)絡的全連接層加入隨機失活(dropout)的正則化方法，緩解了其他神經(jīng)元對該神經(jīng)元反向傳導來的梯度信息的影響，降低了神經(jīng)元之間的依賴程度，從而避免了網(wǎng)絡過擬合現(xiàn)象的發(fā)生，卷積神經(jīng)網(wǎng)絡中單個神經(jīng)元隨機失活示意圖如圖4所示。

圖4 卷積神經(jīng)網(wǎng)絡中單個神經(jīng)元隨機失活示意圖Fig.4 Schematic diagram of random inactivation of individual neuron in CNN

Alex-Net 網(wǎng)絡模型結(jié)構(gòu)如圖5所示。Alex-Net網(wǎng)絡模型的輸入數(shù)據(jù)格式為227×227×3大小的RGB圖像。輸入數(shù)據(jù)經(jīng)過多次卷積、最大池化(Max Pool)、LRN 以及ReLU 激活之后，進入全連接層，在兩次隨機失活(dropout)操作之后，由一個1×1的卷積層對每個通道進行加權(quán)，對頻譜圖進行分類(本研究本質(zhì)上為一個二分類問題，因此網(wǎng)絡的輸出類別數(shù)為2)，最終由交叉熵損失函數(shù)對網(wǎng)絡的訓練結(jié)果進行評估。

圖5 Alex-Net網(wǎng)絡結(jié)構(gòu)示意圖Fig.5 Structure diagram of Alex-Net network

3 實驗與辨識

本文測試了大量的實驗樣本。測試流程為：首先使用超聲相控陣，獲取金屬樣本的超聲回波時域信號，然后對時域信號進行短時傅里葉變換，得到包含金屬樣本微觀組織特征信息的頻譜圖。將所得頻譜圖的尺寸使用雙線性插值法進行調(diào)整后儲存。在搭建好的網(wǎng)絡中輸入已處理的頻譜圖作為原始數(shù)據(jù)進行訓練，采用基于動量的隨機梯度下降法進行網(wǎng)絡參數(shù)的訓練與優(yōu)化，最后實現(xiàn)對樣本二分類(是標準樣本或不是標準樣本)的任務目標。

3.1 樣本信號采集

本文實驗所用儀器是型號為UT Studio 32/128的超聲相控陣。該儀器探頭的32 個晶片每一片都可以完成發(fā)射和接收超聲的任務，可以在不改變探頭位置的前提下，通過相關(guān)實驗參數(shù)的設定，實現(xiàn)對樣本的掃查，超聲相控陣系統(tǒng)組成如圖6所示。

圖6 超聲相控陣系統(tǒng)組成Fig.6 Composition of ultrasonic phased array system

以304 不銹鋼材料為例，對三個材料均為304不銹鋼的形狀相同的金屬容器，編號分別為A、B、C，實物如圖7所示。在其不同位置處進行超聲回波時域信號的采集。為使探頭與樣品之間耦合均勻且信號穩(wěn)定，在探頭上增加一金屬配重，以保證每次測量時探頭與待測樣本間的壓力保持一致，如圖8所示。

圖7 實驗樣品實物Fig.7 Photos of experimental samples

圖8 信號采集Fig.8 Acquisition of signals

本文實驗使用的取樣方式均為垂直入射線掃，實驗參數(shù)設置如表1所示。

表1 實驗參數(shù)設置Table 1 Experimental parameter setting

可在樣品上取某個或某幾個點進行信號采集，均可實現(xiàn)材料的超聲辨識。本文在3個樣品上分別確定了1個采樣點。以樣品A為目標樣品，對其采集55次信號。樣品B、C為干擾樣品，并分別對其采集25次信號。每次采集時發(fā)射并接收100次超聲信號作為一組數(shù)據(jù)，得到105組實驗數(shù)據(jù)，共計10 500個超聲回波時域信號，將數(shù)據(jù)進行儲存并以表2所示的構(gòu)成關(guān)系組成訓練集和測試集。

表2 訓練集和測試集的構(gòu)成Table 2 Composition of train set and test set

對每個超聲回波時域信號進行短時傅里葉變換(STFT)，得到該信號的頻譜圖。將頻譜圖輸出為JPG格式的RGB圖片。選取其中9 000張頻譜圖組成訓練集，其中5 000 張樣品A的頻譜圖作為標準樣本，2 000張樣品B和2 000張樣品C的頻譜圖為干擾樣本。將剩余的各500 張樣品A、樣品B和樣品C的頻譜圖組成測試集并儲存。

3.2 網(wǎng)絡訓練

為了方便網(wǎng)絡可以在圖形處理器(Graphics Pro‐cessing Unit,GPU)上進行訓練，在進行訓練之前，使用雙線性插值法將原始大小為875×656×3的頻譜圖調(diào)整為227×227×3。

本文使用Matlab 2020a 的Deep Learning Tool‐box進行網(wǎng)絡的訓練。訓練時使用的計算機操作系統(tǒng)為Windows 10 系統(tǒng)，內(nèi)存大小為16 GB，CPU型號為Intel(R)Core(TM)i7-9750H，GPU 型號為NVDIA GeForce GTX 1660Ti，顯存大小為6 GB。

網(wǎng)絡優(yōu)化算法采用經(jīng)典的動量隨機梯度下降法，學習率隨著訓練輪次逐漸遞減。網(wǎng)絡訓練超參數(shù)設置如表3所示。

表3 網(wǎng)絡訓練參數(shù)設置Table 3 Network training parameter setting

模型訓練過程中損失函數(shù)及辨識準確率的變化分別如圖9、10所示，可以看出在此訓練集上，Alex-Net 網(wǎng)絡模型訓練精度最終穩(wěn)定在1.0，損失函數(shù)值趨近于0，在200次迭代時收斂，迭代3 000次平均用時419 s，在訓練集上表現(xiàn)出了優(yōu)異的性能。

圖9 Alex-Net模型訓練過程中損失函數(shù)的變化Fig.9 Loss function change in the Alex-Net model training process

圖10 Alex-Net模型訓練過程中辨識準確率的變化Fig.10 Identification accuracy change in the Alex-Net model training process

3.3 金屬材料辨識

將上文所述已存儲的測試集輸入到已經(jīng)訓練好的Alex-Net網(wǎng)絡模型中進行辨識。網(wǎng)絡模型準確地將樣品A 的測試集辨識為目標樣品，將樣品B、C辨識為干擾樣品，辨識準確率為100%。可見，Alex-Net網(wǎng)絡模型在測試集上也表現(xiàn)出了優(yōu)異的性能。通過卷積神經(jīng)網(wǎng)絡對頻譜圖進行特征提取，從而實現(xiàn)金屬材料辨識的方法是可行的。

在此基礎(chǔ)上，本文選取了圖11所示的尺寸一致、材料均為3Cr13但熱處理溫度不同的4個金屬樣品，分別標號為D(經(jīng)259℃熱處理)、E(經(jīng)555℃熱處理)、F(經(jīng)852℃熱處理)和G(經(jīng)970℃熱處理)。

圖11 不同溫度熱處理后的金屬樣本Fig.11 Metal samples after heat treatment at different temperatures

將這4 個樣品按照前文的方法進行了辨識實驗，且讓每個樣本依次作為標準樣本，結(jié)果表明每個樣品都以100%的準確率完成了辨識。圖12為樣品D、E、F、G的時頻譜圖，卷積核從計算機視角可對譜圖的像素矩陣進行特征提取，最終完成對每個樣品的辨識。

圖12 不同溫度熱處理的金屬樣本時頻譜圖Fig.12 Spectrograms of metal samples after heat treatment at different temperatures

隨后取3個材料和尺寸與樣本D完全相同、但從未參與過網(wǎng)絡訓練的金屬樣本如圖13所示。將其編號為H、I、J并分別采集超聲信號，然后導入以樣本D為標準的卷積神經(jīng)網(wǎng)絡進行辨識。辨識結(jié)果表明，樣本H、I、J均被辨識為干擾樣本，說明此神經(jīng)網(wǎng)絡具有一定的泛化性。在研究期間使用該網(wǎng)絡對材料為1Cr17Ni2、2Cr13、3Cr13 和5052 鋁的26 個外形尺寸完全相同的金屬樣品試塊進行了泛化性實驗，均可準確辨識出目標樣品。因辨識過程和結(jié)果與上文類似且圖片占用篇幅較大，故未詳細呈現(xiàn)所有樣品的辨識過程。

4 分析與討論

為探究此方法是否依賴于特定網(wǎng)絡結(jié)構(gòu)，搭建了不同結(jié)構(gòu)的網(wǎng)絡模型。在本研究中，搭建了經(jīng)典的LeNet-5網(wǎng)絡模型與VGG網(wǎng)絡模型進行訓練與辨識，其結(jié)果如表4所示。三種網(wǎng)絡模型均在測試集上完美實現(xiàn)了金屬材料的辨識，此方法并不依賴于特定的網(wǎng)絡結(jié)構(gòu)。

表4 三種網(wǎng)絡模型辨識性能比較Table 4 Comparison of identification performances of three network models

通過比較發(fā)現(xiàn)，三種網(wǎng)絡模型在測試集上的識別準確率均為100%。觀察輸入圖片尺寸發(fā)現(xiàn)，LeNet-5 模型的輸入圖片大小僅有28×28×3，包含的信息過少，存在因信息丟失過多而使得訓練失敗的隱患；相比之下Alex-Net 模型與VGG 模型輸入圖片大小適中，保留了足夠多的信息保證訓練的有效性，在這一點上Alex-Net模型表現(xiàn)最優(yōu)。觀察訓練用時發(fā)現(xiàn)，VGG 模型用時遠遠大于另外兩種模型，這是由于隨著網(wǎng)絡深度(網(wǎng)絡結(jié)構(gòu)層數(shù))的增加而使得所需訓練參數(shù)急劇增多所致，在這一點上LeNet-5 模型表現(xiàn)最優(yōu)。觀察網(wǎng)絡訓練達到穩(wěn)定所需次數(shù)發(fā)現(xiàn)，Alex-Net模型在200次訓練之后便已經(jīng)穩(wěn)定，而另外兩種模型達到穩(wěn)定所需訓練次數(shù)分別為300次與800次。以上結(jié)果說明針對本文的辨識任務，Alex-Net模型表現(xiàn)最優(yōu)，是最合適的網(wǎng)絡結(jié)構(gòu)。綜合以上分析，Alex-Net模型兼顧了信息的完整度與訓練時長的優(yōu)勢，網(wǎng)絡結(jié)構(gòu)較為簡單，而且網(wǎng)絡達到穩(wěn)定時所需迭代次數(shù)最少，在此任務下，綜合性能最優(yōu)。

5 結(jié)論

傳統(tǒng)的金屬材料的辨識方法會對被檢測樣品產(chǎn)生一定程度的損傷。課題組提出的新型超聲辨識方法具有無損、直接、快速、適用范圍廣等諸多優(yōu)點。

本文對現(xiàn)有的超聲金屬材料辨識方法進行了簡單回顧，在此基礎(chǔ)上提出了采用卷積神經(jīng)網(wǎng)絡進行特征提取，從而實現(xiàn)金屬材料辨識的新方法。通過實驗采集了多個金屬材料樣本的超聲回波時域信號，并對其進行短時傅里葉變換，得到了包含金屬材料的微觀組織信息的時頻譜圖，將一維的時域信號在二維平面上表現(xiàn)出來，以提取出信號的時頻特征，直觀展現(xiàn)了各個時刻的瞬時頻率及幅度。并且通過雙線性插值法對頻譜圖進行處理，得到適合后續(xù)實驗所需尺寸大小的頻譜圖。

使用Matlab軟件搭建了三種卷積神經(jīng)網(wǎng)絡模型實現(xiàn)金屬材料的辨識。對三種網(wǎng)絡模型的對比分析，發(fā)現(xiàn)Alex-Net模型兼顧了辨識準確率高與訓練時間短的優(yōu)勢，在一定程度上促進了超聲應用技術(shù)的進步。本文的研究驗證了深度學習算法在超聲金屬辨識方面應用的可行性，并證明不同的網(wǎng)絡模型的性能存在較大差異。在本文的研究基礎(chǔ)上，后續(xù)可以通過智能算法，搭建針對本研究的最優(yōu)網(wǎng)絡模型，進一步提高超聲金屬材料辨識的性能。