基于音頻特征的工程車輛工況識別研究*

劉文才,姚凱學,楊 乘

(1.貴州大學計算機科學與技術學院，貴州 貴陽 550025；2.貴州師范大學物理與電子科學學院，貴州 貴陽 550001；3.貴州省教育廳汽車電子技術特色重點實驗室，貴州 貴陽 550001)

1 引言

隨著建筑施工行業對信息化建設探索的不斷深入，信息化也越來越趨向于具體工程項目的落地應用，越來越多的信息化技術被應用于工程項目管理中。在工程項目管理中，項目成本控制是項目施工管理的核心內容，施工階段是工程項目成本發生的最主要階段，對企業利潤率有著最直接最關鍵的影響[1]。施工階段的成本主要包含人工費、材料費、工程機械使用費和其它費用[2]。其中，工程機械使用費主要是針對工程車輛產生的，準確地識別工程車輛工作狀態，是工程項目管理中工時計算的重要依據，有助于工程車輛調度和工程人員管理，是成本管理的關鍵，對工程項目管理具有重要意義。

傳統的工程車輛管理流程主要由人工交接記錄，且采用人工紙質申請單，這種方式效率低下且容易出錯。隨著信息技術的發展，工程車輛管理正朝著智能化、網絡化的方向發展。目前主流的工程車輛管理是通過使用GPS/北斗等定位技術、GPRS/4G等通信技術，構建工程車輛智能管理系統[3]，提升工程車輛的利用率。但是，工程車輛在施工作業中依然存在部分作業人員在無人監管的情況下，將工程車輛長期處于怠速工況，并不進行施工作業，不但造成柴油浪費，還會降低工程車輛的使用效率。目前主流的智能管理系統還不能有效地解決該問題。因此，如何有效地識別工程車輛的工作狀況，成為工程車輛管理的關鍵技術。

由于工程車輛在作業時會產生音頻信號，在怠速和作業等不同工況下產生的音頻信號有不同的表現。因此，本文提出一種基于音頻信號的無接觸式工況識別方法，通過采集車輛產生的音頻信號，提取信號的Mel倒譜系數作為主要特征，最后使用循環神經網絡模型識別工程車輛的狀況。

2 音頻信號產生機理

2.1 車輛內部音頻信號產生機理

車輛運行時所產生的音頻信號滿足噪聲信號的基本特性，可以理解為車輛的噪聲信號。車輛噪聲信號由很多聲源組成，從傳播途徑角度，車內噪聲信號可分為空氣噪聲和結構噪聲2類[4]：

(1)空氣噪聲:由車輛系統和空氣動力激勵產生的噪聲，通過空氣傳播。空氣噪聲是高頻信號，是否關閉車門、車窗等對空氣噪聲影響很大。空氣噪聲對工程車輛音頻信號的貢獻較小。

(2)結構噪聲:由于車輛結構振動而產生的噪聲，在車內引起振動，從而產生結構噪聲輻射。結構噪聲主要為中頻和低頻噪聲，其頻率一般小于1 000 Hz。工程車輛產生的音頻信號主要是結構噪聲。

受到路面激勵和空氣阻力等因素影響，行駛中的車輛產生的音頻信號與非行駛狀態的車輛產生的音頻信號有較大區別。在車輛行駛過程中，還需要考慮輪胎噪聲和風噪[5]。輪胎噪聲受到車速、車重和路面影響，車速越快噪聲越大,車輛越重噪聲越大。通常情況下，當車輛行駛在濕路面或車速大于100 km/h時，輪胎噪聲會成為車輛噪聲的主要來源。風噪是車輛行駛時引起的氣流振動，受到車輛的大小、形狀、底盤結構和車速等因素影響，當車速達到100 km/h時，氣流會隨著車速增加而迅速增大，車輛速度達120 km/h時，迅速增加的氣流噪聲與輪胎噪聲的聲級相同[6]。

2.2 工程車輛音頻信號分析

工程車輛在作業時，運動具有加速度小、瞬時速率低等特點，其工作環境空曠，背景噪聲遠遠低于車輛本身的音頻信號,因此背景噪聲可以忽略不計[7]。工程車輛一般都是獨立工作，不同車輛之間互相干擾比較小，在工況識別中也不需要考慮互相干擾的情況。

當工程車輛點火啟動時，首先進入怠速狀態，車輛的音頻信號主要來自發動機，怠速工況下發動機在無負荷的情況下運轉，只需克服自身內部機件的摩擦阻力，不對外輸出功率，怠速狀態下由發動機產生的音頻信號很穩定[8]。當車輛進入工作狀態后，隨著車輛速度的增加,輪胎噪聲和風噪增強，但發動機噪聲依舊是主要噪聲，其強度占駕駛室內噪聲強度的80%以上[9]。工程車輛在作業時，產生的音頻信號主要為低頻和中頻噪聲，噪聲主要由發動機產生。

3 信號采集

3.1 端點檢測

端點檢測VAD(Voice Activity Detection)是指在一段音頻信號中，準確地確定音頻的起始點和終止點，用于檢測音頻信號的有聲段和無聲段[10]。端點檢測技術可以排除無聲段的噪聲干擾，有效減少無用數據。端點檢測技術相關算法可以分為：基于閾值的VAD算法、基于分類器的VAD算法和基于模型的VAD算法[11]3類,具體描述如表1所示。

Table 1 Typical endpoint detection algorithms表1 典型的端點檢測算法

在車輛音頻信號采集中，端點檢測需要在資源有限的采集設備上完成，因此本文采用基于閾值的端點檢測算法。在基于閾值的VAD算法中，信號的短時平均過零率和信號的短時能量具有計算過程簡單和檢測效果良好等優點，適用于車輛音頻信號的端點檢測。

3.1.1 短時平均過零率

信號的過零率指信號采樣序列通過零值的次數，相鄰取樣值改變符號即通過零值1次，信號x(t)的短時過零率定義如式(1)所示:

sgn(x(t1-1))|w(t2-t1)

(1)

其中,Z表示信號過零率，w(t)是窗函數，sgn(·)是符號函數，t1為窗函數起始采樣點，t2為窗函數結束采樣點。

工程車輛在工作環境中容易受到噪聲的嚴重干擾，按式(1)計算會產生虛假過零率，需要在計算過零次數時引入門限閾值T來抑制虛假過零率。本文將過零率定義為跨過正負門限的次數，如圖1所示。

Figure 1 Threshold short-time zero-crossing rate圖1 門限短時過零率

加入門限的短時過零率計算如式(2)所示：

sgn(x(t1-1)-T)|+|sgn(x(t1)+T)-

sgn(x(t1-1)+T)|}w(t2-t1)

(2)

按式(2)計算的短時平均過零率具有一定的抗干擾能力，即使存在噪聲，只要不超過門限閾值，就不會產生虛假過零率。用2種不同方法計算的過零率如圖2所示。

Figure 2 Comparison of zero crossing rates with different calculation methods圖2 不同計算方法得到的過零率對比

3.1.2 短時能量和短時平均幅值

在信噪比較大的音頻信號中，有效音頻信號和噪聲的區別在能量上有很明顯的體現，即有效音頻信號的能量比噪聲信號的能量大，信號x(t)的短時能量定義如式(3)所示：

(3)

信號的能量是對信號采樣序列進行平方運算，這不但擴大了高低信號之間的差距，而且還增加了設備的計算量。短時平均幅值能簡化計算過程，可以節省計算資源。信號x(t)的短時平均幅值定義如式(4)所示：

(4)

短時平均幅值和短時能量雖然特性不同，但是都能反映信號強度。對于同一段音頻信號，短時平均幅值與短時能量對比如圖3所示。

Figure 3 Comparison between short time energy and short time average amplitude圖3 短時能量和短時平均幅值對比圖

從圖3不難看出，使用短時平均幅值和短時能量的判斷效果相近，因此可以用短時平均幅值替代短時能量用于端點檢測。

綜上，本文采用短時平均幅值和短時平均過零率相結合的方法進行端點檢測，這2種方法計算簡單，一定程度上反映了信號的時域特性和頻域特性，能識別出音頻信號的有聲段。采集設備在存儲和上傳數據之前，對音頻信號進行端點檢測。在無聲段降低采樣頻率，停止數據存儲和上傳；在有聲段提高采樣頻率，進行數據的存儲、上傳和車輛工況識別等工作。這樣的工作模式可以有效降低采集終端的能耗。

Figure 4 Sampling frequency distribution of engineering vehicle under different working conditions圖4 工程車輛在不同工況下的采樣頻率分布

3.2 數據采集

音頻信號在傳播過程中的衰減與采樣點的距離相關，信號幅值隨傳播距離的增加而降低，因此拾音傳感器的安裝位置與采集到的數據精確度息息相關。駕駛室具有噪聲小、距離發動機近等優點，因此本文將采集設備安裝在車輛駕駛室內。

此外，信號的采樣頻率也會影響到采集信號的質量，采樣頻率過高，單位時間內的數據量會增加，導致設備的計算量增加；采樣頻率過低又會丟失大量數據，導致信號嚴重失真。根據香農采樣定理，為了不失真地恢復信號，采樣頻率應該不小于模擬信號頻譜中最高頻率的2倍[12]。本文對4種工程車輛在不同環境下的音頻信號進行快速傅里葉變換，得到各工程車輛在不同工況下的頻譜分布，如圖4所示。圖4中各子圖的橫軸為頻率，縱軸為幅值。從圖4中不難看出，不同工程車輛產生的音頻信號的頻率分布不同，同一工程車輛在不同工況產生的音頻信號的頻率分布也有差異。具體表現為怠速工況下頻率成分比較單一，正常作業工況下頻率成分較復雜。4種工程車輛在怠速工況和正常作業工況下的最大頻率都在1 000 Hz以內，在保證采集的信號不失真的前提下，為了盡可能降低采集設備的功耗，本文使用2 048 Hz的采樣頻率對音頻信號進行采樣。

4 特征提取

本文使用的采樣頻率為2 048 Hz，即音頻信號每秒包含2 048個數據樣本。若將數據樣本直接作為模型輸入，會使得模型的輸入層體量過大，因此在使用人工智能技術對音頻信號分類識別前，需要對音頻信號進行特征表示，用較小尺寸的向量表示原始音頻信號。音頻特征是指從音頻信號中提取出的最明顯的特征[13]。

音頻特征提取技術的發展歷程中，研究人員研究了很多相關特征參數，如臨界帶特征矢量、線譜對、線性預測系數和Mel頻率倒譜系數MFCC(Mel Frequency Cepstral Coefficient)。音頻特征的提取主要從時間域、頻率域和倒頻譜域等維度進行，表2從不同維度列出了幾種常見的音頻特征。

Table 2 Typical audio features表2 常見的音頻特征

在表2的音頻特征中，MFCC是基于人類聽覺系統研究成果推出的音頻特征，與其他音頻特征相比具有更好的魯棒性，更符合人耳的聽覺特性，在信噪比較低的環境下仍然具有較好的識別性能；MFCC具有計算簡單、區分能力好等突出優點,是目前使用最廣泛的語音特征之一。本文使用MFCC作為工程車輛音頻信號的特征表示。

MFCC提取包括信號分幀、加窗等預處理和計算MFCC求得特征矩陣等過程，提取示意圖如圖5所示。

Figure 5 Schematic diagram of MFCC extraction圖5 MFCC提取示意圖

4.1 信號預處理

預加重是為了增加音頻的高頻分辨率，一般通過一階高通數字濾波器來實現，其傳遞函數如式(5)所示：

H(z)=1-az(-1)

(5)

其中,α為預加重系數，0.9<α<1.0，本文取值0.97。若t時刻的音頻信號采樣值為x(t)，則經過預加重之后的結果y(t)可表示為y(t)=x(t)-ax(t-1)。

音頻信號具有短時平穩的特性，使用窗函數截取一小段信號幀可以有效體現該特性，但在信號截斷中，截斷處發生的跳變會導致能量泄露。能量泄露分為主瓣泄露和旁瓣泄露，主瓣泄露可以有效減少柵欄效應帶來的譜峰幅值估計誤差，但是旁瓣泄露是完全無益的。為了抑制旁瓣泄漏，可采用不同的信號截斷函數對信號進行截斷，截斷函數又稱為窗函數，常見的窗函數有矩形窗、漢寧窗、海明窗(Hamming)和布萊克曼窗等[14]。

工程車輛產生的音頻信號包含多個頻率分量，在處理中既要關心其頻率點分布，又要兼顧各頻率點上的能量大小，因此使用升余弦窗進行信號截斷。Hamming窗是一種改進的升余弦窗，其頻率響應主瓣窄、旁瓣小且隨頻率快速衰減，主瓣峰值與第1個旁瓣峰值衰減為40 db，時域連續的Hamming窗表達式如式(6)所示:

(6)

其中，I為窗的寬度。為了使幀與幀之間平滑過渡，本文采用交疊分段的方法進行分幀，前一幀和后一幀的交疊部分稱為幀移，幀移與幀長的比值一般取為(0,0.5]。雖然幾種工程車輛在不同工況下產生的信號頻率分布不同，但是最大頻率主要分布于50 Hz～700 Hz，即信號周期在1.5 ms～20 ms。傅里葉變換需要重復足夠多的次數才能更好地分析頻率特性，本文使用的窗口寬度為40 ms，幀移為20 ms。經過加窗分幀處理后的每一個短時信號幀都可以視作平穩信號分析，可以進一步提取其MFCC。

4.2 MFCC特征提取

人的聽覺系統是非線性系統，對于不同頻率聲音信號的響應靈敏度是不同的。學術界常用Mel頻率來描述人耳感知頻率與線性頻率的近似關系，Mel頻率fMel與物理頻率f的關系如圖6所示，代數關系如式(7)所示：

fMel=2595×lg(1+f/700)

(7)

Figure 6 Relationship between frequency and Mel frequency圖6 頻率與Mel頻率關系圖

從圖6可以看出，曲線的斜率隨著頻率的升高而逐漸變小，這說明人耳對低頻音頻信號的感知更敏感。在Mel頻域內，人對音調的感知度為線性關系，MFCC的計算流程如圖7所示。

Figure 7 Flow chart of MFCC extraction圖7 MFCC提取流程

提取MFCC的步驟如下所示：

(1)對預處理好的信號逐幀進行離散傅里葉變換，得到線性頻譜Si(k)，如式(8)所示：

(8)

其中，N是傅里葉變換的樣本數，si(n)為已經預處理的時域信號幀，其離散功率譜pi(k)可以由頻譜取模平方得到，計算如式(9)所示：

(9)

(2)將能量通過一組Mel尺度的三角形帶通濾波器組，將線性頻譜轉化為Mel頻譜。具體實現是在音頻頻譜范圍內設置若干帶通濾波器Hm(k)，1≤m≤M，M為濾波器的個數，濾波器的中心頻率為f(m)。三角濾波器如圖8所示，在線性頻率上，隨著m值的增大，f(m)之間的距離也隨之增寬。在Mel頻率范圍內，這些濾波器是等帶寬的。帶通濾波器如式(10)所示，其傳遞函數如式(11)所示[15]：

(10)

(11)

其中，fl為濾波器頻率范圍的最低頻率，fh為濾波器頻率范圍的最高頻率，fs為采樣頻率。

Figure 8 Triangular filter for calculating MFCC圖8 計算MFCC的三角濾波器

(3)為了提高識別系統的魯棒性，需要計算每個濾波器組輸出的取對數能量，從線性頻譜X(m)到對數頻譜S(m)的傳遞函數如式(12)所示：

(12)

(4)利用離散余弦變換即可求得倒譜系數，對數頻譜S(m)經過一個傅里葉變換的逆變換運算，即可得到MFCC,如式(13)所示：

(13)

MFCC僅描述單幀的功率譜包絡，很好地反映了音頻信號的靜態特性，但是音頻信號隨時間不斷變化，還具有動態特性。音頻的動態特性用其靜態特性的差分來表示。常見的MFCC差分有一階差分ΔMFCC(Deltas MFCC)、二階差分ΔΔMFCC(Delta-Deltas MFCC)，本文使用式(14)來計算差分系數:

(14)

其中，d(t)是第t個一階差分倒譜系數;D是時間差，一般取值為1或2;Ct是第t個倒譜系數。在參數選取時，并不是選取所有維度的MFCC系數，一般采用舍棄前、后若干維MFCC系數的方法，來獲取最終的MFCC系數。

使用上文提到的算法逐幀計算樣本的音頻特征，分別得到短時平均幅值、短時門限過零率、MFCC、ΔMFCC和ΔΔMFCC。在計算MFCC時，采用的階數為13，其倒譜系數是C0～C12，其中第一維C0值很大，故把C0當成能量系數去掉，取C1～C12共12維作為MFCC系數。

5 工程車輛工況識別

5.1 循環神經網絡

深度學習目前已廣泛應用于各種領域，因為輸入數據的特征不同，深度學習發展出了循環神經網絡RNN(Recurrent Neural Network)[16]、卷積神經網絡CNN(Convolutional Neural Network)[17]和深度神經網絡DNN(Deep Neural Network)[18]等不同類型的網絡架構。其中，RNN將時序的概念引入到網絡結構設計中，使其在時序數據分析中表現出更強的適應性。RNN的網絡結構如圖9所示，RNN假設t時刻能接收來自t-1時刻的數據，即當前時刻的狀態與歷史時刻相關，它使網絡能根據過去狀態和當前輸入數據來決定當前的狀態，網絡的輸入層和前一時刻隱藏層的輸出共同組成了當前時刻隱藏層的輸入，這使其能夠記憶長期的依賴關系。

Figure 9 Network structure of RNN 圖9 RNN網絡結構圖

盡管RNN能夠有效地處理時間序列，但是隨著時間滯后的增加，RNN就像一個非常深的前饋神經網絡，訓練過程中會出現梯度消失和梯度爆炸問題。為了解決這個問題，Hochreiter等[19]提出了長短期記憶LSTM(Long Short-Term Memory)神經網絡。LSTM神經網絡是將隱藏層的RNN細胞替換為LSTM細胞，使其具有長期記憶能力。LSTM神經網絡被廣泛應用于時間序列預測問題中[20]。LSTM神經網絡結構如圖10a所示，LSTM神經網絡用輸入門、遺忘門和輸出門來控制網絡的輸入值、記憶值和輸出值。

Figure 10 Two variants of RNN neural networks圖10 2種RNN神經網絡的變體

Figure 11 Training process圖11 訓練過程

此外，LSTM神經網絡還演化出了很多變體，其中最成功的一種是Cho等[21]在2014年提出的門限循環單元GRU(Gated Recurrent Unit)。GRU神經網絡結構如圖10b所示，GRU神經網絡是LSTM神經網絡的簡化版本，其主要變動是將LSTM細胞中的輸入門、遺忘門和輸出門替換為更新門和重置門，但是保留了LSTM神經網絡的長期記憶能力[22]。因為GRU神經網絡極大簡化了計算過程，使GRU神經網絡與LSTM神經網絡具有很強的可比性[23]，所以在實際應用中當使用GRU神經網絡也能取得良好的效果時，一般優先使用GRU神經網絡。

5.2 對比實驗

本文實驗分別采用LSTM神經網絡和GRU神經網絡對數據進行建模。數據樣本為壓路機、裝載機等4種工程車輛在信噪比不同的環境下采集而來，每種車輛分別處于停止、怠速和正常作業3種工況。使用前文提取的MFCC、ΔMFCC和ΔΔMFCC等38維音頻特征，每2秒為時間步長輸入到神經網絡中進行訓練，網絡的損失函數采用交叉熵損失函數，評價指標為分類準確率。

訓練過程如圖11所示。圖11a中，橫坐標為訓練次數，縱坐標為損失值；圖11b中，橫坐標為訓練次數，縱坐標為準確率。從圖11可知，在訓練過程中，2種模型的收斂速度都很快，都能快速達到所需誤差精度。隨著訓練次數的增加，GRU神經網絡模型的分類準確率比LSTM神經網絡模型的更穩定。

5.2.1 模型對比實驗

為了對比2種模型識別車況的準確率，將信噪比不同的測試集分別輸入LSTM神經網絡模型和GRU神經網絡模型進行測試，識別效果如表3所示。

從表3可以看出，2種模型在測試集上都具有不錯的抗干擾能力，LSTM神經網絡模型雖然以很小的差距略勝一籌，但是與GRU神經網絡模型相比差距很小，因此本文使用更簡化的GRU神經網絡模型對車況進行識別。

Table 3 Recognition effect of LSTM model and GRU model表3 LSTM模型與GRU模型識別效果

5.2.2 特征向量對比實驗

模型對比實驗中使用短時平均幅值、短時門限過零率、MFCC、ΔMFCC和ΔΔMFCC等組成的38維向量作為模型輸入特征，這使得模型輸入維度大，模型訓練時間長，設備功耗大。為了對比不同特征對識別效果的影響，從而舍棄部分冗余的特征，使用不同特征組合訓練GRU模型，對于不同的車型的識別效果如表4所示。

Table 4 Recognition accuracy using different audio features表4 使用不同音頻特征的識別準確率

從表4的對比結果看，僅使用MFCC作為特征集訓練的GRU模型，對部分車型的識別效果僅為90.84%，無法達到要求；使用MFCC+ΔMFCC和ΔΔMFCC訓練的GRU模型的識別效果沒有顯著性差異，在不同車輛的工作狀態識別中都得到了很好的準確率。

6 結束語

本文詳細介紹了音頻特征及特征提取的方法，提出了一種基于GRU循環神經網絡的工程車輛工況識別方法，有效提高了工程車輛的使用效率，節約了企業成本。

本文使用的數據集都是在不同車型單獨工作時采集的，沒有研究多種工程車輛在小范圍內同時工作的情況，在這種極端情況下，各種車輛之間相互干擾，可能會導致識別率下降。在下一步研究中，將會引入盲源分離等技術，提高多種工程車輛在小范圍內同時工作的識別準確度，使研究更有應用價值；同時也會引入GPS傳感器和陀螺儀等做為輔助識別。