基于生成對抗單分類網絡的異常聲音檢測

薛英杰, 韓 威, 周松斌, 劉憶森

(1. 昆明理工大學 信息工程與自動化學院, 昆明 650504； 2. 廣東省科學院智能制造研究所 廣東省現代控制技術重點實驗室, 廣州 510070)

聲音中所包含的信息與視頻、圖像、文字等媒介有強烈的互補性. 通過聲音, 可以獲得不可見、無法接觸的諸多信息, 在材料內部結構探測、無損檢測、日常生活等領域應用廣泛, 如家禽的鳴叫聲、工廠中的管路探傷、車輛行駛中的異響等. 電機、家畜等可通過主動發聲判斷其所處的狀態, 而對于不能主動發聲的物體可通過氣錘敲擊、電磁脈沖擊打等方式使物體被動發聲, 判斷其是否損壞. 這種檢測方法盡管具有簡單有效的優點, 但也存在著方法單一、沒有統一標準、過于依賴經驗、不能實時監控等缺點.

異常聲音檢測[1]是指對與目標類聲音不一致的聲音識別, 近年在軍事、畜牧業、工業、醫學等領域已有少量相關報道. 目前, 異常聲音檢測的方法主要有直接觀察聲音時域、頻域波形和通過有監督地訓練神經網絡模型, 利用網絡模型進行異常聲音檢測兩類方法. Jeon等[2]利用聲音探測了恐怖主義等惡意目的的無人機; Du等[3]通過檢測家禽夜間鳴叫聲判斷家禽是否處于異常狀態; 李江麗等[4]為了預防生豬呼吸道傳染病的傳播, 通過生豬咳嗽聲監測生豬的健康狀態; 祁驍杰等[5]通過直接對比分析楊樹木段中害蟲幼蟲的聲音時域和頻域波形檢測害蟲幼蟲數量, 達到保護樹木的目的; 王中旂等[6]通過直接觀察氣錘敲擊石墨電極聲音頻譜圖檢測石墨電極內部是否缺損, 因為電極的缺陷處對信號具有濾波的作用, 缺損電極的頻率成分比無損電極頻率成分更簡單; 李春雷等[7]采集了發電機正常狀態聲音和其他3種異常聲音, 通過有監督學習的方式訓練BP神經網絡達到檢測發電機狀態的目的; 李朋湃[8]通過檢測人類的心音診斷心血管疾病; 李春陽等[9]因洗衣機異常聲音數據稀疏, 首先通過生成對抗網絡生成大量的洗衣機異常聲音, 然后使用有監督的方式訓練卷積神經網絡達到洗衣機異常聲音檢測的目的; 楊毫鴿[10]通過提取航空發動機聲音的Mel頻率倒譜系數(MFCC)和Gammatone頻率倒譜系數(GFCC)特征作為神經網絡的輸入, 使用訓練好的模型進行航空發動機異常聲音檢測.

深度學習神經網絡因其強大的學習能力, 在異常聲音檢測中具有準確率高、誤判率低、抗干擾性強的特點, 節約了人工成本, 提高了檢測效率. 在已有的神經網絡模型中, 自編碼器是一種成熟的深度學習單分類網絡方法, 其以無監督的方式學習目標數據特征, 只學習正常樣本特征即可獲得檢測模型, 適合用于異常情況具有復雜多樣性的異常檢測. 相比于有監督學習訓練神經網絡, 自編碼器網絡只需正常樣本數據即可完成訓練, 克服了異常樣本數據定義不明確、采集難等問題. 本文在自編碼器神經網絡方法的基礎上, 并受生成對抗網絡(GAN)的啟發, 針對聲音數據提出一種生成對抗單分類網絡方法(簡稱網絡)進行異常聲音檢測. 實驗結果表明, 該方法在異常聲音檢測中準確率更高.

1 基于生成對抗單分類網絡的異常聲音檢測方法設計

異常聲音檢測流程如圖1所示. 其中, 生成對抗單分類網絡模型是異常聲音檢測方法的核心. 首先利用麥克風傳感器采集待測聲源的正常聲音數據, 對聲音數據進行降噪、濾波等預處理并輸入計算機, 然后由計算機中已設計好的生成對抗單分類網絡進行學習和訓練, 建立對正常聲音特征的普遍認知. 訓練完成后, 對于輸入的正常聲音, 網絡模型以極小的誤差重構正常聲音； 而對于輸入的異常聲音, 網絡模型重構效果較差, 從而可進行正常或異常的聲音判斷, 所給出的判斷結果可用于提醒警示、實時監控、應急反饋處理等目的.

圖1 異常聲音檢測流程Fig.1 Flow chart of abnormal sound detection

1.1 自編碼器

圖2 自編碼器結構Fig.2 Structure of autoencoder

在深度學習方法中, 自編碼器是無監督學習方法之一. 傳統自編碼器網絡是一對相互連接的子網絡[11], 包括編碼器和解碼器. 編碼器和解碼器分別由一個全連接層組成. 編碼器中的全連接層將輸入數據進行壓縮, 提取出輸入數據中最具有代表性的特征; 解碼器中的全連接層將提取的特征解壓, 盡可能地再現生成原始輸入. 自編碼器結構如圖2所示.

傳統自編碼器編碼和解碼的過程可描述為

編碼過程:h1=σe(W1x+b1),

(1)

解碼過程:y=σd(W2h1+b2),

(2)

其中x表示自編碼器的輸入,h1表示編碼器提取出的特征,y表示解碼器重構數據, 即自編碼器的輸出,σe,σd表示非線性變換,W1,W2,b1,b2表示神經網絡的參數, 通過優化器最小化x和y之間的重構誤差獲得. 重構誤差ε可表示為

(3)

其中xi表示原始輸入數據的第i維,yi表示生成器生成數據的第i維,n表示數據長度.

由于傳統自編碼器網絡結構簡單, 有時無法從數據中提取具有代表性的特征, 因此產生了深度自編碼器和卷積自編碼器. 深度自編碼器類似于傳統自編碼器, 包含一個編碼器和一個解碼器, 編碼器和解碼器分別由多個全連接層組成： 編碼器中多個全連接層共同將輸入數據進行壓縮, 提取數據特征； 解碼器中多個全連接層根據特征再現生成原始輸入. 卷積自編碼器[12]也包含一個編碼器和一個解碼器： 編碼器包括若干卷積層, 卷積層將輸入的數據進行壓縮, 提取輸入數據特征; 解碼器也包括若干卷積層, 解碼器中卷積層將提取的特征進行解壓, 再現生成原始輸入. 此外, 為增加網絡結構的穩定性, 本文在每個卷積層都進行批量歸一化[13]操作.

深度自編碼器和卷積自編碼器常被用于異常檢測領域, 目前已有許多研究結果, 如： 梁鳳勤等[14]使用深度自編碼器檢測了油氣管道是否存在異常； 蔣愛國等[15]使用深度自編碼器檢測了感應電機故障； 佘博等[16]使用卷積自編碼器檢測了機械傳動部件故障； Wu等[17]使用卷積自編碼進行了圖像異常檢測； Khalilian等[18]使用卷積自編碼檢測了電路板缺陷； Chen等[19]使用深度自編碼器檢測了網絡是否異常； Ulutas等[20]使用深度自編碼器檢測了表面缺陷等. 利用各種自編碼器進行異常檢測時, 一般包含訓練和檢測兩個過程. 首先使用正常數據訓練一個自編碼器, 自編碼器只學習正常數據特征, 故能以較小的誤差重構再現正常數據, 而檢測過程中的異常數據重構誤差較高. 因此可將重構誤差大小作為異常檢測的判斷標準, 最后設置一個閾值α, 重構誤差大于該閾值則為異常, 否則為正常.

1.2 生成對抗單分類網絡

目前, 自編碼器已成為異常檢測的主要方法. 但在一些聲學場景中, 由于正常和異常樣本具有較大的相似性, 從而導致異常樣本重構誤差也較小, 因此有時無法直接利用重構誤差大小區分正常和異常樣本. 受生成對抗網絡GAN[21]啟發, 針對聲音數據, 本文提出一種生成對抗單分類網絡方法, 利用聯合對抗方式訓練卷積自編碼器和卷積判別器, 用卷積判別器代替重構誤差進行分類. 在聯合對抗訓練過程中, 卷積自編碼器和卷積判別器相互博弈, 卷積判別器的判別結果反饋到卷積自編碼器, 促進卷積自編碼器更好地學習正常數據特征, 從而能更好地重構目標類數據. 同時, 卷積自編碼器的重構數據輸入卷積判別器, 促進卷積判別器更好地學習正常數據特征, 提高卷積判別器的判別能力. 網絡整體框架如圖3所示, 其中: 卷積自編碼器相當于生成對抗網絡中生成器G; 卷積判別器的結構是一系列卷積層, 其被訓練以最終區分異常聲音樣本, 相當于生成對抗網絡中的判別器D, 使用正常樣本訓練生成器G和判別器D, 同時使用生成器G重構的數據訓練判別器D.將判別器D來自真實正常樣本的輸入標注為1, 并將來自生成器G重構數據的輸入標注為0, 則判別器D的輸出結果為0～1之間的數值, 表示其輸入所遵循目標類數據特征分布的可能性. 判別器D的目標是實現對數據來源的二分類判別： 真(來源于真實正常樣本)或假(來源于生成器G重構數據); 生成器G的目標是自己重構的數據能成功欺騙判別器D, 即判別器D將生成器G重構數據判別為真.

神經網絡的訓練過程是優化器優化訓練損失值的過程, 根據訓練數據進入網絡輸出的結果和定義好的損失函數求出訓練損失值, 優化器會根據訓練損失值更新網絡參數, 經過多次迭代訓練后, 網絡便可輸出預期的結果. 生成對抗單分類網絡目標函數[21]為

(4)

其中G為生成器,D為判別器,x為訓練聲音樣本,G(x)為生成器生成的樣本,D(x)表示判別器判斷x為真的概率,D(G(x)))表示判別器判斷生成器G生成的樣本為真的概率,Ex～pdata(x)表示按pdata(x)的分布對x求期望. 判別器D的目的是使式(4)最大, 即第一項和第二項都要最大. 第一項最大是D(x)接近于1, 即真實數據進入判別器輸出接近于1. 而第二項最大, 需要D(G(x))接近于0, 即生成器G重構的樣本進入判別器輸出接近于0. 而生成器G的目的是使式(4)最小, 即第一項和第二項都最小.

圖3 網絡整體框架Fig.3 Overall framework of network

當生成器G能重構正常訓練樣本時, 停止訓練. 此時生成器G以較小的誤差重構其輸入(即(X-X′)2<ρ,ρ為一個很小的正數,X′為生成器G輸出數據). 網絡訓練完成后, 生成器G能重構正常樣本, 正常樣本X輸入生成器G輸出X′,X′服從正常樣本的特征分布. 由于生成器G未學習異常樣本特征分布, 因此異常樣本X*輸入生成器G輸出一個具有未知分布的(X*)′, 重構效果較差, 在某些頻率波段, 重構的樣本會發生畸變. 判別器D也學習了正常樣本的特征, 故重構的正常樣本輸入判別器D輸出的結果比閾值大, 而重構的異常樣本輸入判別器D輸出的結果比閾值小. 與原始樣本相比, 判別器D可以更好地區分經過生成器G輸出的數據.

2 實 驗

為驗證生成對抗單分類網絡的有效性, 本文使用UrbanSound8K公開數據集作為標準數據輸入網絡進行正確性檢驗. 在此基礎上, 對實驗室采集的吹風機電機數據集進行實際測試. 所有Python程序都使用Quardro RTX5000顯卡運行.

按圖3所示的程序框架結構, 對所有輸入程序的聲音數據首先進行Fourier變換, 得到其頻譜數據. 為提高模型收斂速度、模型精度并防止模型梯度爆炸, 對頻譜數據進行如下必要的歸一化處理：

(5)

其中Y表示原始數據,Y′表示歸一化后的數據,Ymax表示Y中的最大值,Ymin表示Y中的最小值. 以歸一化后的聲音頻譜數據對卷積自編碼器和卷積判別器組成的生成對抗單分類網絡進行訓練, 直至重構誤差趨于穩定結束訓練. 待測試的聲音數據同樣經過歸一化Fourier變換后, 輸入卷積自編碼器, 對輸出的重構數據由卷積判別器進行閾值判別, 即可得到正常或異常的聲音分類. 本文對網絡判別結果與真實值進行比較并統計, 得到4種分類結果： 正常類被正確判別(TP), 正常類被錯誤判別(FN), 異常類被錯誤判別(FP), 異常類被正確判別(TN). 由此可定義精準率、召回率、準確率和誤警率等指標參數： 精準率(Precision)是指測試結果為正常的數據中識別正確的比例,

Precision=TP/(TP+FP);

召回率(Recall)是指真實為正常的數據中識別正確的比例,

Recall=TP/(TP+FN)；

誤警率(false alarm rate, FAR)是指正常類被判別為異常類的樣本個數占真實類別為正常樣本總數的比例,

FAR=FN/(TP+FN)；

準確率(Accuracy)是指所有測試樣本被正確識別的比例,

Accuracy=(TP+TN)/(TP+TN+FP+FN).

2.1 UrbanSound8K數據集

UrbanSound8K數據集是由美國紐約大學音樂與音頻實驗室收集的聲音數據, 共包括10類聲音. 本文選擇空調正常運行聲音和機器空轉聲音兩種最相似的聲音進行檢驗測試. 空調正常運行聲音作為正常樣本, 機器空轉聲音作為異常樣本. 空調聲音和機器聲音時長均為3 s, 將其切割成1 s的片段. 其中3 200個空調聲音樣本作為訓練數據, 388個空調聲音樣本和400個機器聲音樣本作為測試數據. 測試數據頻譜和生成器輸出頻譜如圖4所示. 其中空調正常運行聲音(圖4(A))作為正常聲音樣本, 生成器能以很小的誤差重構出測試空調聲音的頻譜(圖4(B)), 重構譜圖與原始譜圖有非常高的相似度. 而機器空轉聲音(圖4(C))作為異常聲音, 生成器重構出的頻譜(圖4(D))約在500 Hz和1 000 Hz出現畸變, 重構效果較差, 重構譜圖與原始譜圖有明顯區別. 生成器生成的樣本繼續輸入判別器進行最終判別.

圖4 UrbanSound8K數據集的測試樣本頻譜和生成器輸出頻譜Fig.4 Test sample spectra of UrbanSound8K data set and output spectra of generator

使用主流的深度自編碼、卷積自編碼方法及生成對抗單分類網絡, 對完全相同的原始聲音數據進行學習和測試, 統計結果列于表1. 由表1可見： 本文生成對抗單分類方法優于其他兩種方法, 在精確率、召回率、誤警率和準確率等參數指標上有明顯提高； 單獨使用訓練好的判別器進行測試時, 準確率和精確率也高于其他兩種方法. 當將生成器和判別器聯合使用時, 準確率得到進一步提高, 生成器修改了輸入樣本, 提高了判別器的區分能力. 對比分析表明, 本文的網絡方法在準確率等所有參數指標上均優于已有方法, 相比于卷積自編碼器方法, 生成對抗單分類網絡在UrbanSound8K公開數據集實驗結果準確率提高了5.0%. 證明了本文方法的有效性.

表1 UrbanSound8K數據集檢測結果

2.2 電機數據

下面將本文方法用于電機異常聲音的檢測. 實驗室采集吹風機電機聲音數據, 采樣頻率為48 kHz, 采集正常電機聲音樣本6 000個(其中5 000個作為訓練數據, 1 000個作為測試數據), 異常電機聲音樣本1 000個. 測試數據頻譜和生成器輸出頻譜如圖5所示. 相比于圖4(A), 盡管吹風機電機聲音具有更豐富的頻譜分布, 生成器仍能以較小的誤差(2.0×10-3)重構出測試電機正常聲音頻譜, 表明本文網絡方法具有較好的頻譜分布適應性. 而對于電機異常聲音頻譜, 生成器重構出的頻譜在約1 500 Hz和2 100 Hz出現畸變, 與原始譜差異明顯, 重構效果較差. 本文對網絡判別分類結果進行統計, 并與深度自編碼、卷積自編碼方法相比較, 結果列于表2. 由表2可見, 卷積自編碼器方法擅長于學習正常聲音特征, 但判別準確率相對較低, 實際使用中易發生誤報的情形； 而相比于卷積自編碼器方法, 生成對抗單分類網絡, 在犧牲1.1%的精確率前提下, 準確率得到進一步提高, 在電機數據集實驗結果中準確率提高了3.0%, 表明該方法具有頻譜分布適應性好、判別準確率高的特點.

圖5 電機測試樣本頻譜和生成器輸出頻譜Fig.5 Spectra of motor test sample and output spectra of generator

表2 電機數據集檢測結果

2.3 實驗結果分析

對于本文方法, 何時停止訓練網絡至關重要, 過早停止, 會導致生成器不能重構正常樣本; 過度訓練, 可能會導致異常樣本輸入生成器時, 生成的數據中包含大量的正常樣本特征, 影響判別結果. 重構誤差擬合公式為

圖6 電機訓練數據重構誤差和測試數據準確率Fig.6 Reconstruction error of motor training data and accuracy of test data

Y=a×exp{b×X},

其中a=0.025 12,b=-0.003 905,Y表示重構誤差,X表示訓練輪數. 電機訓練樣本重構誤差和準確率如圖6所示. 由圖6可見: 隨著訓練輪數X的增加, 重構誤差值Y呈現出單調遞減并趨于穩定的規律, 當X=1 000時, 重構誤差趨于穩定, 此時應停止訓練; 當X<1 000時, 生成器和判別器都在不斷學習正常樣本特征, 測試樣本準確率越來越高, 呈現階梯狀上升趨勢, 符合一般學習規律； 當X>1 000時, 生成器過度訓練, 異常樣本輸入生成器, 生成的數據包含大量的正常樣本特征, 判別器無法區分出異常樣本, 導致準確率降低.

綜上所述, 本文提出了一種生成對抗單分類網絡的異常聲音檢測方法, 聯合對抗訓練生成器G(卷積自編碼器)和判別器D(卷積判別器), 訓練完成后, 生成器G能以較小的誤差重構正常樣本, 而異常樣本重構效果較差. 判別器D在生成對抗博弈中, 學習得到正常樣本分布, 因此能對正常聲音與異常聲音重構信號輸出不同的判別結果, 從而成功實現對異常聲音的檢測. 真實電機聲音數據集和UrbanSound8K數據集的實驗結果表明, 本文提出的生成對抗單分類網絡檢測準確率高于深度自編碼器和卷積自編碼器, 具有適用于所有物體異常聲音檢測、聲音頻譜適應性好、誤警率低、準確率和精確率高、可在線可實時監控的優點.