基于卷積神經(jīng)網(wǎng)絡的汽車異響識別方法研究

施宇豪 許煥敏

（河海大學，常州 213022）

1 前言

汽車異響會影響駕乘體驗，甚至導致嚴重的故障。在整車研發(fā)階段，主要通過振動臺架試驗與主觀評價相結合的方法檢查汽車異響問題，對試驗人員的經(jīng)驗要求較高，且經(jīng)過長時間的主觀判斷后，識別效率會大幅降低。利用人工智能技術開展聲音識別可以實現(xiàn)異響的自動診斷，并快速準確地判斷異響種類，從而極大地提高識別效率，對改善汽車NVH性能具有重要意義。

聲音識別技術廣泛應用于語音識別、環(huán)境聲音識別和機器聲音識別等領域。構建聲音識別模型是實現(xiàn)聲音識別的重要基礎，常用的聲學模型包括隱馬爾可夫模型（Hidden Markov Model，HMM）、高斯混合模型（Gaussian Mixture Model，GMM）、支持向量機（Support Vector Machine，SVM）和人工神經(jīng)網(wǎng)絡（Artificial Neural Network，ANN）[1]。楊軍磊基于GMM 識別模型和梅爾頻率倒譜系數(shù)（Mel Frequency Cepstral Coefficient，MFCC）特征實現(xiàn)了對空調機組噪聲的識別，從而進一步判斷設備故障類型[2]。楊興國提出一種基于SVM 分類器的發(fā)動機異響故障識別方法，提取異響聲音的小波包能量譜和雙譜峰值作為特征參數(shù)，可以較好地識別異響類型[3]。

HMM、GMM、SVM 與淺層神經(jīng)網(wǎng)絡等均屬于淺層機器學習的模型，在處理一些特征較為復雜的數(shù)據(jù)時，存在數(shù)據(jù)表征能力不強的問題[4]，導致識別效果不佳。深度學習方法一經(jīng)提出就在圖像、聲音識別等領域得到廣泛應用。朱夢帆提取了電力設備故障聲音聲譜圖的特征，并自建卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）模型完成了對電力設備不同放電故障聲音和正常放電聲音的分類[5]。Li 提出了一種具有多個卷積層的新型堆疊CNN 模型搭配對數(shù)梅爾譜（Log-Mel）特征輸入，使得對環(huán)境事件聲音的識別效果優(yōu)于采用其他特征輸入的模型[6]。章杰設計了一種基于殘差網(wǎng)絡（Residual Network，ResNet）和門控循環(huán)單元（Gated Recurrent Unit，GRU）的模型結構，在車輛噪聲識別方面實現(xiàn)了96% 的準確率[7]。

本文借助四立柱振動試驗臺架采集了多輛試驗車的異響數(shù)據(jù)，將同類異響問題進行標注，針對異響數(shù)據(jù)內部結構復雜的特點，提取其梅爾頻譜（Mel-Spectrogram），采用卷積神經(jīng)網(wǎng)絡對特征參數(shù)進行深層次的學習以實現(xiàn)其分類。

2 汽車異響數(shù)據(jù)集建立

2.1 汽車異響試驗環(huán)境

本文試驗在整車異響試驗室進行，試驗室內部為半消聲室結構，大幅減少了背景噪聲對原始信號的干擾，如圖1 所示。四立柱試驗臺通過4 臺獨立加振機控制，通過將加速度信號、位移信號等進行多次迭代來復現(xiàn)垂直方向的振動，從而進行整車四通道道路模擬試驗。4 臺液壓伺服作動器分別對4個車輪施加振動，可按設定的規(guī)律或采集的路譜特征對待測車輛施加激振力，從而激起待測車輛的異響。

圖1 汽車異響試驗室

2.2 異響信號采集試驗

本文的試驗對象為來自多個整車制造商的車型，并采用多條路譜進行激勵，以保證異響樣本來源的多樣性，使數(shù)據(jù)庫更具代表性。試驗采用的設備如表1所示。

表1 測試儀器

人耳聽覺的頻率范圍一般為20～20 000 Hz，結合奈奎斯特采樣定理，試驗時信號采樣頻率設置為44 100 Hz，采樣值可包含原始信號的所有信息。測試前調整標定器輸出頻率和輸出聲壓級分別為1 000 Hz、114 dB，然后插入聲傳感器進行標定，從而找到最適應當前試驗環(huán)境的靈敏度，最后將聲傳感器放置在距離采樣點5～20 cm處固定。

在控制端軟件中輸入迭代好的路譜來模擬試驗車在不同路面上的行駛狀態(tài)，在異響工程師判斷出異響問題后即可開始信號采集。

2.3 異響數(shù)據(jù)集整理

本文采集了減振器異響、安全氣囊異響、發(fā)動機罩異響、空調出風口異響4 種測試階段常見的異響數(shù)據(jù)。另外，考慮到實車道路異響識別會被發(fā)動機聲和周圍車輛的汽笛聲干擾，因此加入了Urbansound8K 數(shù)據(jù)集中的發(fā)動機空轉聲和汽笛聲來避免異響識別系統(tǒng)的誤觸發(fā)，并提高訓練模型的性能。將上述幾種數(shù)據(jù)以6∶2∶2 的比例隨機分割為訓練集、驗證集、測試集用于模型訓練及測試。

本文的汽車異響識別總體流程如圖2所示。

圖2 異響識別流程

3 異響信號的特征提取

CNN 的輸入是圖像，因此需要提取異響信號的特征圖譜。以往，由于機器學習算法無法處理復雜的圖像信息，HMM、GMM 等模型多將梅爾頻率倒譜系數(shù)用于特征提取。深度學習算法不需過多的預處理來提煉信息，故可以直接提取梅爾頻譜圖作為CNN的輸入[8]，提取流程如圖3所示。

圖3 特征提取流程

梅爾頻譜參數(shù)的計算過程如下：

a. 預處理。預處理包括預加重、分幀、加窗函數(shù)。預加重的目的是補償高頻信息的損失，通常采用一階濾波器H(z)實現(xiàn)：

水資源管理水平得到提高。國家最嚴格水資源管理制度試點建設通過水利部中期評估。水資源論證納入政府投資項目聯(lián)合審批，規(guī)模以上地下水用戶全部實現(xiàn)水量在線監(jiān)測。推行再生水、淡化海水、生態(tài)水和地下水“三增一減”管理，年利用再生水1.4億t、淡化海水3 000萬t，中心城區(qū)年生態(tài)補水1.73億m3，壓采深層地下水1 200萬m3。順利通過國家節(jié)水型城市復查，完成水功能區(qū)跨界斷面核定，全市所有水功能區(qū)納入水質監(jiān)測。全年用水總量控制在24億m3以內，萬元GDP用水量降至18 m3，萬元工業(yè)增加值用水量降至8.3 m3，重要江河湖泊水功能區(qū)達標率提高到21%。

式中，α為常數(shù)，一般取0.9～1.0。

分幀的目的是使相鄰幀之間的參數(shù)平穩(wěn)過度，因此兩幀之間存在重疊部分，加窗函數(shù)可以減少信號頻域的譜泄漏[9]。語音信號x(n)經(jīng)預處理后的第i幀信號為xi(m)。

b. 快速傅里葉變換（Fast Fourier Transform，F(xiàn)FT）。對每一幀信號進行快速傅里葉變換，將信號從時域轉化到頻域：

式中，X(i,k)為第i幀信號中第k條頻域譜線的頻域數(shù)據(jù)；fFFT為快速傅里葉變換。

c. 計算傅里葉變換后第i幀信號中第k條頻域譜線的能量譜：

d. 計算通過梅爾（Mel）濾波器組的第i幀信號第m個三角帶通濾波器的對數(shù)能量譜：

式中，Hm(k)為通過第m個三角帶通濾波器的傳遞函數(shù)。

這里得到的對數(shù)能量為每一幀信號的對數(shù)梅爾譜特征，即梅爾頻譜[10]，后續(xù)可用作CNN 的輸入?yún)?shù)。

4 基于卷積神經(jīng)網(wǎng)絡的汽車異響識別

4.1 卷積神經(jīng)網(wǎng)絡

CNN 在圖像分類上的應用非常成功，本文對聲音信號提取特征圖譜后，使用CNN 進行聲音識別、自然語言處理等研究。

CNN 模型中使用卷積層和池化層代替?zhèn)鹘y(tǒng)神經(jīng)網(wǎng)絡中的隱藏層，通過局部感知、權值共享、池化采樣實現(xiàn)對數(shù)據(jù)樣本深層特征的提取與參數(shù)的簡化[11]。典型的卷積神經(jīng)網(wǎng)絡由輸入層、卷積層、池化層、全連接層及輸出層構成，其基本結構如圖4 所示。

圖4 典型卷積神經(jīng)網(wǎng)絡

輸入圖像經(jīng)過卷積層進行深層次的特征提取，由池化層對特征參數(shù)進行壓縮凝練，在多次卷積池化操作后使用全連接層將所有參數(shù)展開成一維，通過層層神經(jīng)元之間的輸入、輸出調整權重，最終得到各輸出類別的概率。

4.2 異響識別的CNN模型

本文搭建CNN 異響識別模型，記為Model1。輸入圖片大小為224×224，然后進行3 次卷積池化，卷積核尺寸為3×3，步長為1，池化層選擇最大池化，池化窗口大小為2×2，激活函數(shù)選擇線性整流函數(shù)（Rectified Linear Unit，ReLU），最后用Softmax 函數(shù)實現(xiàn)六分類。模型結構如表2所示。

表2 卷積神經(jīng)網(wǎng)絡結構

模型學習率設置為0.001，損失函數(shù)設為多分類交叉熵，反向傳播的優(yōu)化器選擇Adam，并使用準確率（Accuracy）函數(shù)繪制訓練及驗證精度曲線。訓練輪次（Epoch）設置為100。

4.3 模型訓練及結果分析

將前文提取的梅爾頻譜通過圖像數(shù)據(jù)生成器（ImageDataGenerator）模塊的旋轉、平移等操作完成預處理，從而變相地增加了訓練樣本，通過Reshape函數(shù)修改圖像分辨率為224×224，然后開始訓練模型。完成100個輪次訓練后的驗證精度和損失如圖5、圖6所示。

圖5 訓練及驗證精度

圖6 訓練及驗證損失

由圖5 可以看出，訓練及驗證精度在前20 個輪次左右上升較快，此后趨向平緩，處于緩慢上升過程，損失精度與之相反。訓練過程中的最高精度停留在89.06%，驗證的最高精度約為90.07%，略高于訓練精度，精度最高的模型在第95輪。

4.4 異響識別試驗

模型訓練完成后，使用精度最高的模型識別測試集數(shù)據(jù)，以考查模型的泛化能力。

在模型訓練的基礎上開發(fā)識別程序，在程序中導入訓練好的.h5 模型文件，只需輸入測試集數(shù)據(jù)的相對路徑即可展示識別結果，其中單個測試樣本的識別結果如圖7所示。

圖7 單個測試樣本識別結果

混淆矩陣是一個誤差矩陣，可以用來進行可視化評估，從而監(jiān)督學習算法的性能，如圖8所示。對角線上的數(shù)據(jù)可以理解為各類別的識別率，其余部分則為誤差數(shù)據(jù)。例如，減振器異響中有2%被錯誤識別為發(fā)動機空轉聲、2%被識別為安全氣囊異響、1%被識別為空調異響。

圖8 混淆矩陣

本文搭建的異響識別CNN 模型的平均識別精度達到90.5%，其中汽笛聲和氣囊異響識別率較高，達95%以上，而其余幾類大多低于90%，因此，該模型性能仍有提高空間，可通過調整參數(shù)進一步優(yōu)化。

4.5 基于遷移學習的優(yōu)化方法

遷移學習作為機器學習的一種常用方法，多用于計算機視覺和自然語言處理等任務。遷移學習通過將預訓練模型置于目標任務中來幫助訓練可靠的決策函數(shù)，從而解決目標域中已標記樣本較少的問題[12]。異響信號的采集較為繁瑣，很難獲得大量的已標注樣本，因此將遷移學習的方法引入汽車異響識別具有一定可行性。本文選擇基于模型的遷移學習方法，以VGG16、ResNet50 作為預訓練模型，使用2 種經(jīng)典模型的卷積池化層來提取特征參數(shù)，修改Softmax函數(shù)的分類數(shù)量來滿足試驗的具體需求。

VGG 模型[13]廣泛用于圖像分類問題，其模型結構如圖9所示。

圖9 經(jīng)典VGG網(wǎng)絡模型

ResNet 網(wǎng)絡使用層間殘差跳連的方式傳遞信息，可以解決圖像經(jīng)多層卷積提取特征后，特征圖像丟失原圖本質信息的問題，有效抑制了網(wǎng)絡退化[14]。ResNet結構塊如圖10所示。

圖10 殘差塊

ResNet 塊在層與層的傳遞中給出2 條路線，如果卷積的效果不佳，就將當次卷積重置，直接將上一層參數(shù)輸入給下一層，以避免某次卷積效果較差而影響后續(xù)訓練。

在使用上述2 種模型訓練時，學習率、優(yōu)化器、激活函數(shù)、訓練輪次等參數(shù)均不變。匯總各模型的訓練精度、驗證精度、平均測試精度如表3所示。

表3 不同模型各精度匯總%

由表3 可知，遷移學習引入的模型在訓練、驗證、測試精度上均獲得了提升。相較于自建模型，VGG16 模型的識別率提升了2.83 百分點，ResNet50的識別率提升了3.83百分點。

5 結束語

本文提出了基于卷積神經(jīng)網(wǎng)絡的汽車異響識別方法，經(jīng)數(shù)據(jù)采集、特征提取、模型訓練等流程實現(xiàn)異響識別。首先，在整車異響試驗室中采集高信噪比的異響數(shù)據(jù)，然后，在傳統(tǒng)梅爾頻率倒譜系數(shù)的基礎上去除離散余弦變化，提取了更適合作為神經(jīng)網(wǎng)絡輸入的梅爾頻譜，再通過搭建模型，調整模型參數(shù)來觀察模型訓練的精度和泛化能力，最后，基于遷移學習的方法解決了訓練樣本數(shù)據(jù)不足的問題。試驗結果表明：本文提出的汽車異響識別方法可以較好地識別異響問題，在原始數(shù)據(jù)集上的識別率可達90.5%；遷移學習可以在小樣本異響識別中取得更好的效果，VGG16 模型的識別率達到93.33%，ResNet50的識別率達到94.33%。