基于混合感知機(jī)網(wǎng)絡(luò)的心音信號分類

王子祥，劉煥德，余藍(lán)藍(lán)，梁苗苗，李 俊

（江西理工大學(xué)，江西 贛州 341000）

0 引 言

心臟病是全球致命疾病之首，尤其潛伏在大量中老年人群體中，而心音信號在心血管疾病檢測、臨床診斷等方面具有重要支撐作用。隨著社會人口老齡化的不斷加劇以及人們生活壓力的不斷增加，中老年人身體狀況的日常化實(shí)時監(jiān)控顯得尤為重要。心電圖（ECG）信號的自動分類與實(shí)時監(jiān)控可為潛在心臟病患者提供智能監(jiān)控和及時提醒服務(wù)，同時緩解人力醫(yī)療資源不足等問題[1]。傳統(tǒng)依靠人工分析形態(tài)復(fù)雜的ECG信號非常耗時且存在較多的誤判現(xiàn)象，而基于機(jī)器學(xué)習(xí)的自動化ECG信號分析為心音日常化實(shí)時監(jiān)控提供了可能和極大便利，也促使心音自動分類成為當(dāng)下國內(nèi)外研究熱點(diǎn)[2]。

心音信號分析不僅與時間變化有關(guān)，還與其頻率和相位等信息差異有極大相關(guān)性。因此，短時傅里葉變換（Short-Time Fourier Transform, STFT）、離散小波變換（Discrete Wavelet Transform, DWT）、梅爾頻率倒譜系數(shù)（Mel-Frequency Cepstral Coefficient, MFCC）、雙譜（Bispectrum）等方法被廣泛用于時頻域轉(zhuǎn)換以及特征提取[3]。此外，邏輯回歸（Logistic Regression, LR）、高斯混合模型（Gaussian Mixture Model, GMM）[4]、支持向量機(jī)（Support Vector Machine,SVM）[5]、人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network, ANN）[6]等分類器被用于時頻數(shù)據(jù)分類。隨著大數(shù)據(jù)時代的到來，深度學(xué)習(xí)算法基于其對自然環(huán)境下復(fù)雜數(shù)據(jù)分析的優(yōu)越表現(xiàn)，在計算機(jī)視覺、語音識別等領(lǐng)域中取得突破性進(jìn)展。深度學(xué)習(xí)架構(gòu)由多層非線性運(yùn)算單元組成，通過由淺及深的逐層特征重組的方式，從大量輸入數(shù)據(jù)中學(xué)習(xí)其潛在的淺層紋理到深層高階語義結(jié)構(gòu)等全方位信息。相較于傳統(tǒng)模式識別領(lǐng)域的機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)模型無需人工對特定應(yīng)用進(jìn)行相關(guān)特征設(shè)計，而是可自適應(yīng)學(xué)習(xí)數(shù)據(jù)特征，是復(fù)雜數(shù)據(jù)特征表示的極佳算法。隨著醫(yī)療數(shù)據(jù)數(shù)字化的不斷推進(jìn)，以及對醫(yī)療數(shù)據(jù)采集的不斷重視與完善，深度學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域的潛力也隨之凸顯。例如，Y?ld?r?m等人[7]構(gòu)建了一維卷積神經(jīng)網(wǎng)絡(luò)（1D Convolutional Neural Network, 1D-CNN）進(jìn)行長時段（10 s）ECG信號分類，該模型未對數(shù)據(jù)做任何時頻轉(zhuǎn)換處理，而是直接以原始時序信號作為輸入進(jìn)行分類識別。為了構(gòu)建更適合的時序信號網(wǎng)絡(luò)模型，Tan等人[8]引入長短時記憶（Long Short-Term Memory, LSTM）網(wǎng)絡(luò)進(jìn)行心音信號分類，同時考慮到LSTM計算時效性，在網(wǎng)絡(luò)前端先使用1D-CNN對切片數(shù)據(jù)進(jìn)行重組降維處理。考慮到頻率與相位信息對信號識別的重要性，Alqudah等人[9]分別從頻譜表示和分類模型構(gòu)建兩方面探討各方法對心音信號分類的影響，包括STFT、雙譜、MFCC等時頻變換方法以及AOCT-NET、Mobile-Net、Squeeze-Net和 Shuffle-Net卷積網(wǎng)絡(luò)結(jié)構(gòu)。實(shí)驗(yàn)證明，相對而言雙譜能夠更好地進(jìn)行信號表示，而Mobile-Net在判別性特征學(xué)習(xí)與分類中更占優(yōu)勢。

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)通過卷積核的局部權(quán)值共享，擁有自動提取數(shù)據(jù)局部信息的能力，但是全局信息獲取能力較差。從心音數(shù)據(jù)的雙譜特征圖分析看出，心音信號除了存在一定的局部顯著性特點(diǎn)，全局分布特性對心音分類依然至關(guān)重要。全連接感知具有全局感知能力，但對局部變化敏感，且因?yàn)椴荒軈?shù)共享而導(dǎo)致參數(shù)量急劇增加。Tolstikhin等人[10]提出的純多層感知機(jī)方法同時實(shí)現(xiàn)了局部感知與不同區(qū)域間的信息交互。基于此，本文提出了基于混合感知機(jī)網(wǎng)絡(luò)模型的心音分類方法。該方法通過雙譜圖劃分，分別對各劃分塊交錯進(jìn)行塊內(nèi)感知與塊間感知，實(shí)現(xiàn)局部特征提取與各區(qū)域間的關(guān)聯(lián)交互，提升心音信號識別能力，并實(shí)現(xiàn)輕量化與實(shí)時性效果。

1 研究方法

本文針對心音信號的雙譜圖呈現(xiàn)出的顯著局部差異，構(gòu)建了基于混合感知機(jī)的網(wǎng)絡(luò)模型進(jìn)行ECG心音信號分類。完整流程如圖1所示。

圖1 心音信號分類流程

1.1 信號預(yù)處理

心音采集過程中存在來自設(shè)備以及不可避免的外部環(huán)境干擾，導(dǎo)致獲取的信號存在大量噪聲，因此在特征提取前需要先對數(shù)據(jù)進(jìn)行預(yù)處理。本文通過巴特沃斯帶通濾波器消除原始信號中存在的基線漂移以及高頻噪聲干擾。同時，為了消除信號冗余、降低模型的計算量，進(jìn)一步根據(jù)奈奎斯特采樣定律，將所有音頻信號下采樣到1 kHz。此外，深度模型的參數(shù)優(yōu)化依賴于大量訓(xùn)練樣本的支撐，而心音數(shù)據(jù)采集與標(biāo)注困難，樣本量極度有限。為了增加訓(xùn)練數(shù)據(jù)，本文以2.5 s為單位對較長的音頻進(jìn)行切割，并以帶有50%的重疊步長切割音頻，生成盡可能多的訓(xùn)練樣本。

1.2 信號時頻轉(zhuǎn)換

Alqudah等人[3]通過大量實(shí)驗(yàn)驗(yàn)證，ECG心音信號的頻譜表示能夠?yàn)樾盘栕R別提供重要信息，其中高階譜分析方法相對于STFT、DWT等低階方法在特征表達(dá)中更占優(yōu)勢。隨著高階譜階數(shù)的增加，方法的計算量也會急劇增加。因此，雙譜法成為使用最為廣泛的高階譜方法之一，它能夠刻畫信號在頻率上的偏度，量化非平穩(wěn)醫(yī)學(xué)信號的非線性交互，對非高斯、非線性系統(tǒng)的分析更貼近實(shí)際。因此，本文采用雙譜分析法進(jìn)行信號的時頻轉(zhuǎn)換。設(shè){x(n)}為三階零均值平穩(wěn)隨機(jī)信號，其三階累積量定義為：

其中，E(·)表示均值計算，當(dāng)t1=t2=0時，三階累積量C3,x(0, 0)表示信號的斜度。雙譜定義為三階累積量C3,x(t1,t2)的二維傅里葉變換，即：

圖2展示了每類心音信號的雙譜圖。結(jié)果顯示，針對不同的病源數(shù)據(jù)，雙譜圖呈現(xiàn)出顯著的響應(yīng)差異，包括局部結(jié)構(gòu)差異以及全局分布差異。

圖2 各類心音信號的雙譜圖

1.3 混合感知機(jī)網(wǎng)絡(luò)

通過分析雙譜圖分布結(jié)構(gòu)，本文提出了基于混合感知機(jī)的局部與全局雙向感知網(wǎng)絡(luò)模型，通過CM與TM交替實(shí)現(xiàn)局部感知與區(qū)域間交互感知，旨在同時關(guān)注雙譜圖的局部與全局分布信息，提取更有判別能力的音頻特征進(jìn)行音信分類。圖3給出了模型的整體結(jié)構(gòu)。

圖3 混合感知機(jī)網(wǎng)絡(luò)模型總體架構(gòu)

首先對分辨率為(H,W)大小的雙譜圖I∈RH×W以非重疊的方式劃分為相同大小的圖像塊，模型以所有劃分塊為輸入，通過全連接層參數(shù)共享將每個劃分塊投影到設(shè)定的C維度空間，定義為xi∈RC(i=1, 2,...,S)，其中每個劃分塊的大小為(P,P)，則劃分圖像塊的總個數(shù)S=HW/P2。最后，以X=[X1T;X2T;...;xST]∈RS×C為混合感知模塊的輸入，進(jìn)行局部與全局感知。混合感知層由塊間位置感知TM和塊內(nèi)局部感知CM兩個模塊組成，每模塊由兩層全連接層與非線性映射組成，具體如圖4所示。

圖4 混合感知模塊示意圖

在TM感知模塊，首先對輸入數(shù)據(jù)X進(jìn)行逐行歸一化處理，然后將歸一化的X以批量大小為C的S維輸入數(shù)據(jù)逐個送入MLP層，以權(quán)重共享的方式實(shí)現(xiàn)分塊間所有對應(yīng)特征的信息交互。其中，MLP中間層設(shè)置更少的神經(jīng)元個數(shù)以降低全連接層產(chǎn)生的參數(shù)量，且采用GELU[11]作為激活函數(shù)以增強(qiáng)模型泛化能力。最后，建立TM模塊輸入與MLP層輸出特征之間的跳層連接，以增加淺層信息流通的同時，提升深層模型的優(yōu)化能力。TM模塊的具體表達(dá)式為：

其中：W1、W2為兩個全連接層的共享參數(shù)；Norm(·)表示向量歸一化處理。

CM感知模塊以TM模塊輸出T∈RS×C為輸入，將T以批量大小為S的C維輸入數(shù)據(jù)逐個送入相似結(jié)構(gòu)的MLP層，并同樣通過權(quán)重共享實(shí)現(xiàn)各分塊內(nèi)的局部信息交互與重組。CM模塊的具體表達(dá)式為：

特征的分層表征與重組可極大提升模型的高階信息感知能力。因此，本文通過多個混合感知層實(shí)現(xiàn)判別性特征提取。最后，通過全局均值池化與全連接層投影實(shí)現(xiàn)心音信號的類別預(yù)測。這里采用交叉熵函數(shù)作為目標(biāo)監(jiān)督，通過梯度反向傳播進(jìn)行模型參數(shù)優(yōu)化。

2 實(shí)驗(yàn)分析

為了驗(yàn)證混合感知模型的心音分類效率，本節(jié)從參數(shù)分析和與現(xiàn)有深度模型的性能對比兩方面進(jìn)行了實(shí)驗(yàn)。其中，模型參數(shù)分析包括圖像塊劃分大小P2和混合感知模塊個數(shù)N。

2.1 實(shí)驗(yàn)數(shù)據(jù)與運(yùn)行環(huán)境

本文實(shí)驗(yàn)數(shù)據(jù)來源于文獻(xiàn)[12]提供的公開數(shù)據(jù)集，該數(shù)據(jù)集主要包含正常與不正常兩類心音信號，其中不正常數(shù)據(jù)主要包含主動脈瓣狹窄（AS）、二尖瓣狹窄（MS）、二尖瓣反流（MR）、二尖瓣脫垂（MVP）四類異常心音信號。每類樣本包含200條音頻數(shù)據(jù)，共計1 000條，具體見表1所列。為了增加深度模型的訓(xùn)練樣本量，本文所有實(shí)驗(yàn)均以1.1節(jié)給出的切割方式產(chǎn)生的數(shù)據(jù)為樣本，以各樣本的雙譜圖作為模型輸入。所有實(shí)驗(yàn)利用80%的樣本進(jìn)行模型訓(xùn)練，用其余20%的樣本進(jìn)行測試。所有實(shí)驗(yàn)都是在一臺配備Intel core i7-7700HQ CPU和NVIDIA GeForce GTX 1050Ti顯卡的機(jī)器上進(jìn)行，且均在Keras平臺上實(shí)現(xiàn)。所有實(shí)驗(yàn)統(tǒng)計為運(yùn)行10次后的均值結(jié)果。

表1 實(shí)驗(yàn)數(shù)據(jù)明細(xì)

2.2 模型參數(shù)分析

圖像塊劃分大小P2會直接影響模型的局部信息感知能力。因此，本文分析了不同劃分塊大小對分類精度的影響，結(jié)果見表2所列，其中P2=256意味著沒有對輸入雙譜圖進(jìn)行劃分，即混合感知部分實(shí)質(zhì)為全連接操作，而P2=4表示每鄰域4個像素點(diǎn)為一個塊（token）。結(jié)果顯示不分塊情況下的MLP對雙譜圖的局部感知能力有限，所以最終的分類精度出現(xiàn)明顯的劣勢，而4分塊的混合感知條件下模型的性能顯著提升。實(shí)驗(yàn)結(jié)果顯示，并非更細(xì)化的分塊對模型性能有進(jìn)一步提升，其原因主要在于雙譜圖局部相似性，導(dǎo)致模型易陷入混亂的分塊間位置關(guān)系學(xué)習(xí)。值得注意的是，當(dāng)分塊高度細(xì)化時，此時的混合感知更接近于下采樣下的全局MLP，此全局感知下模型性能出現(xiàn)了明顯的回升，但依然不及4分塊下的混合MLP感知。因此，本文隨后的實(shí)驗(yàn)均設(shè)置P2=128。

表2 圖像分塊大小P2對分類精度影響分析

此外，隨著混合感知模塊堆疊數(shù)量的增加，深度模型理論上具有更強(qiáng)的高階信息感知能力。然而，面對訓(xùn)練數(shù)據(jù)的不足、數(shù)據(jù)多樣性有限，以及深度網(wǎng)絡(luò)的反向傳播模型優(yōu)化局限性，更多的感知模塊并不能使模型具有更高的分類精度。表3的實(shí)驗(yàn)結(jié)果也進(jìn)一步說明了這一點(diǎn)。同時，隨著模塊數(shù)量的增多，模型的優(yōu)化參數(shù)及運(yùn)算負(fù)擔(dān)會不斷增大，極易造成模型過擬合且限制移動端應(yīng)用需求。因此，本文隨后的實(shí)驗(yàn)中均設(shè)置混合感知模塊的數(shù)量N=5。

表3 混合感知模塊個數(shù)N對分類精度影響分析

2.3 實(shí)驗(yàn)結(jié)果對比分析

為了進(jìn)一步驗(yàn)證本文所提混合感知模型在心音信號分類任務(wù)上的整體性能，本節(jié)選取了三個輕量級深度網(wǎng)絡(luò)模型進(jìn)行心音信號分類性能對比，包括含有三個ShuffleNet 基本單元的ShuffleNetV2模型、采取復(fù)合縮放結(jié)構(gòu)的EfficientNet模型以及包含倒殘差結(jié)構(gòu)的MobileNetV2，并分別從分類精度、參數(shù)量、FLOPs三個指標(biāo)進(jìn)行模型性能對比，所有實(shí)驗(yàn)結(jié)果見表4所列。結(jié)果顯示，本文方法的分類精度僅比ShuffleNetV2略低約1.4%，但遠(yuǎn)高于EfficientNet和MobileNetV2深度模型。同樣地，由于本文方法包含多個全連接層，因此與ShuffleNetV2模型相比包含較高的參數(shù)量，但顯著低于EfficientNet模型參數(shù)量。值得關(guān)注的是，本文方法在FLOPs指標(biāo)上具有顯著的優(yōu)勢，運(yùn)算復(fù)雜度不到ShuffleNet模型的5%。綜上所述，本文所提方法在達(dá)到基本相同的分類精度的同時，在運(yùn)算效率上占據(jù)著顯著優(yōu)勢。

表4 與不同深度網(wǎng)絡(luò)模型的對比分析

3 結(jié) 語

針對不同病變下心音數(shù)據(jù)雙譜圖所呈現(xiàn)出的頻譜空間分布差異，本文從分塊內(nèi)局部感知與分塊間區(qū)域感知兩個角度，構(gòu)建混合感知機(jī)網(wǎng)絡(luò)模型用于心音信號特征學(xué)習(xí)與分類。其中塊內(nèi)通道感知模塊用于捕捉心音信號雙譜圖局部細(xì)節(jié)，而塊間感知模塊旨在實(shí)現(xiàn)分塊間信息交互，并捕捉模塊間的整體位置分布。多個混合感知層的特征組合與抽象，有效提升了模型對雙譜圖結(jié)構(gòu)信息的深層感知能力。通過實(shí)驗(yàn)驗(yàn)證，本文所提方法在心音識別精度上與運(yùn)算效率上均具有一定的優(yōu)勢。