基于改進ResNet50的心音分類算法研究

李嘉琪 全星日

摘要：心音自動分類算法廣泛使用淺層卷積神經網絡和遞歸神經網絡，針對其特征提取能力較弱、感受野大小單一的不足，提出了基于改進ResNet50的心音分類算法。使用ResNet50網絡作為分類模型，并引入空間注意力機制SK conv（Selective Kernel convolution）和混合空洞卷積（HDC， Hybrid Dilated Convolution）方法。使用經短時傅里葉變換提取的時頻圖作為輸入，在PhysioNet Challenge2016數據集上進行正常與異常心音分類測試。實驗結果表明，與ResNet50網絡相比，該方法獲得了更高的分類精度，平均準確率達到92.6%。

關鍵詞：心音分類;ResNet50;Selective Kernel convolution;混合空洞卷積

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）21-0076-03

開放科學（資源服務）標識碼（OSID）：

心血管疾病嚴重危害著人們的健康，對其防治變得日益重要。心音信號中包含著心臟運動的生理信息，利用心音對心血管病患者進行初期篩查是有效的手段，心音自動分類算法受到了廣泛關注。

隨著人工智能技術的發展，各種性能優異的分類模型層出不窮。在機器學習發展的早期，心音分類算法主要利用傳統機器學習對心音分類，但有耗時長、特征工程復雜等不足之處。隨著深度學習快速發展后，心音分類算法引入卷積神經網絡（CNN）與循環神經網絡（RNN）等算法，對于卷積神經網絡來說，以淺層卷積神經網絡[1]和基于淺層卷積神經網絡的混合網絡[2]為主，但有特征提取能力較弱，感受野大小單一的缺點。自殘差網絡誕生以來，深度卷積神經網絡依靠強大的特征學習能力在計算機視覺領域大展拳腳。Nassralla M等人[3]引入ResNet50網絡作為心音自動分類算法的分類模型，但其也存在感受野大小單一的問題。以往的研究，多是通過改變淺層卷積神經網絡的結構或優化心音信號特征提取方法，本研究使用ResNet50網絡，在其中引入SK conv，使得網絡能夠根據輸入數據特點自適應改變感受野大小，應用混合空洞卷積， 增加網絡感受野大小的多樣性，以獲取心音時頻圖的多尺度上下文信息。

1分類模型

1.1 ResNet50網絡

隨著社會不斷發展，淺層卷積神經網絡的性能已經不能滿足一些領域的需要，研究趨向于通過增加網絡深度來提高性能。但發現隨著網絡深度增加，其性能卻出現了退化，由何凱明等人[4]提出，基于殘差思想的ResNet網絡解決了這個難題。

通過簡單堆積卷積構成的網絡在訓練時，非線性層直接擬合期望的基礎映射。如圖1所示，ResNet利用殘差學習思想引入短路連接（shortcut connection），使得非線性層擬合殘差映射。在殘差模塊中，當使用[x]表示輸入，[Hx]表示期望的基礎映射時，那么非線性層學習的是殘差[Fx=Hx- x]。一般來說，殘差比期望的基礎映射小，更容易學習，有效降低了網絡的訓練難度。當網絡中某層殘差模塊難以訓練，學不到新的信息時，殘差模塊只需要做恒等映射[x]，即[Fx=0]，這樣至少不會導致網絡性能退化。

考慮到計算的成本，在實現ResNet網絡時，根據網絡深度不同，設計了兩種殘差模塊。ResNet50網絡使用的是bottleneck模塊，bottleneck模塊為1×1 +3×3 +1×1的卷積結構，相較于block模塊，bottleneck模塊通過先使用1×1卷積降維，再利用1×1卷積還原維度，在保證精度的同時，降低了計算量。

1.2混合空洞卷積

空洞卷積對于標準卷積的改進方法與插值操作類似，在標準卷積核的像素間，插入值為0的行列，在不增加計算量的同時，增加了卷積的感受野大小?？斩淳矸e的尺寸計算方法如公式（1）所示，其中[x]表示空洞卷積的尺寸，[ r]表示空洞卷積的膨脹率，即在原像素間插入的行列數，[k]表示原卷積核大?。?/p>

[x = k + k+1×r-1]? ? ? ? ? ? ? ? ? （1）

當網絡中連續使用膨脹率相同的空洞卷積時，該方法會損失原特征圖信息的連續性;利用間隔采樣設計的空洞卷積是為了獲取長距離信息，而間隔采樣會丟失細節信息。針對這兩個問題，Wang Panqu等人[5]提出了混合空洞卷積。它是根據膨脹率計算公式（2）設計的鋸齒狀空洞卷積序列 [r1， …，ri， …，rn]， 能夠實現感受野覆蓋全圖的目的，小膨脹率空洞卷積提取基礎信息，大膨脹率空洞卷積提取長距離信息，在獲取更寬闊的區域信息的同時，又能在保持接收野大小不變的情況下提高信息利用率。公式中[ri]是第[i]層的膨脹率，而[Mi]是指第[i]層最大膨脹率。

[Mi=maxMi+1-2ri，Mi+1-2Mi+1-ri，ri]? （2）

1.3 Selective Kernel convolution

李翔等人[6]提出的SK conv結合了通道注意力機制SENet、分組卷積和多支路設計的思想。李翔等人共分為Split、Fuse和Select三步。Split是對輸入特征圖分別作不同卷積核大小的完整卷積操作（包括分組卷積、Batch Normalization和激活函數ReLU），按照圖4所示，一組為3×3的標準卷積，一組為3×3的空洞卷積（膨脹率r=2），然后將生成的兩個特征圖[U]和[U]按照相應通道元素相加，得到特征圖U;Fuse首先是對特征圖U做全局平均池化操作，得到特征向量s，其中每一數值代表著相應通道的全局信息。然后經過一個簡單全連接層，得到緊湊特征向量z，用于精確和調整的選擇，同時進行了降維處理。Select是讓特征向量z分別經過一個全連接層，再對得到的結果進行softmax操作，從而得到兩個支路的權重a與b（a+b=1），將特征圖[U]和特征圖[U]與各自權重a與b分別相乘后再相加，得到最終的特征圖V。

2基于改進ResNet50的心音自動分類算法

2.1預處理與特征提取

心音信號的預處理是整個心音自動分類算法的基礎。先對原始信號進行1000 Hz重采樣，用來消除不同子數據庫采樣頻率不一致的影響，之后通過巴特沃斯帶通濾波器對心音記錄在25Hz～400Hz范圍之間帶通濾波，最后使用D.Spring等人[7]提出的方法去除心音中的毛刺。

心音信號是一種非平穩信號，通過使用短時傅里葉變換技術，獲取能夠很好地表征心音信號時頻特性的時頻圖。為了在時頻圖中體現心音信號的完整信息，將心音記錄按3.2秒截取。

2.2改進的ResNet50網絡

李翔等人經過在驗證SK conv可行性時發現，當SK conv應用在網絡前半部分時，網絡會根據特征圖特點自適應的選擇卷積核大小，而SK conv應用在網絡末尾時，網絡沒有明確的傾向去選擇更大或更小的卷積。因此只在ResNet50中con2_x與con3_x層使用，將con2_x與con3_x層中的卷積核大小為3×3的標準卷積替換為SK conv。

通過在ResNet50網絡的con4_x層使用空洞卷積，彌補原網絡感受野大小單一的不足，捕獲特征圖的多尺度上下文信息，進一步提高網絡特征學習能力。為了避免空洞卷積計算時丟失特征圖細節信息和損失信息的連續性，使用公式（2）來確定con4_x層各bottleneck模塊中空洞卷積的膨脹率。ResNet50網絡的con4_x層由6個bottleneck模塊組成，第一個bottleneck模塊輸入的特征圖大小為28×28，其余五個輸入的特征圖大小均為14×14，由于該層的特征圖尺寸較小，在此使用的鋸齒狀空洞卷積序列為[1、2、3、1、2、3]。

3 實驗結果分析

3.1 運行環境

實驗的仿真平臺為Pycharm，利用Pytorch框架對網絡進行了訓練和測試。GPU為RTX2080Ti（11G），操作系統為Windows10，編程語言為Python3.6。實驗選用Adam優化器，損失函數為交叉熵損失函數，初始學習率設為0.001。對PhysioNet Challenge 2016公開數據集，所有方法均進行60次迭代訓練，批次大小為16。

3.2實驗數據集與數據平衡

實驗數據集使用PhysioNet Challenge 2016公開數據集，由六個不同的數據庫組成，共3240條心音記錄，其中包括訓練集2939條（正常心音記錄2425條和異常心音記錄514條）和挑戰測試集301條（正常心音記錄150條和異常心音記錄151條），心音記錄時長在5秒到120秒之間。

在PhysioNet Challenge 2016公開數據集的訓練集中，正常心音記錄數量大約是異常心音記錄的5倍，數據不平衡會影響網絡訓練，為了避免這種情況，從正常心音記錄中心位置截取一段3.2秒心音，而將異常心音記錄每3.2秒截取一次，不足3.2秒的心音片段舍去，再從中隨機抽取與異常心音片段相同的數量。將4850個心音片段根據來源按照8：2隨機抽取，分別為訓練集與驗證集，其數據均不同源，應用PhysioNet 2016心音挑戰賽中所用測試集作為測試數據。

3.3評價指標

對實驗結果的評估應用PhysioNet2016心音挑戰賽使用的評價指標，包括敏感度（Sensitivity）、特異性（Specificity）和平均準確率。在公式（3）～（5）中，TP表示將正常心音信號預測為正常的數目，FP表示將異常心音信號預測為正常的數目，TN表示將異常心音信號預測為異常的數目，FN表示將正常心音信號預測為異常的數目。

3.4 實驗結果分析

為了驗證改進方法對正常與異常心音分類任務的有效性，在ResNet50網絡上分別引入SK conv和HDC方法構建ResNet50+HDC網絡和ResNet50+SK conv網絡，將與SK conv和HDC方法同時使用，得到最終改進的ResNet50網絡進行比較。本實驗在PhysioNet2016心音挑戰賽的公開數據集上，對ResNet50網絡和三個改進網絡進行訓練和測試，得到的結果如表1所示，可以看出，單獨引入空間注意力機制和混合空洞卷積都能夠有效提升網絡性能，但前者方法更好，而在ResNet50中同時引入注意力機制和混合空洞卷積的方法與之相比，能夠更加有效地對正常與異常心音信號分類。

4結論

本研究使用ResNet50網絡作為識別正常與異常心音信號的分類模型，并結合空間注意力機制和混合空洞卷積的優勢，將原網絡中的感受野大小增加且多樣化，還使網絡可以根據輸入數據特點自適應的改變感受野大小，提高網絡特征學習效率。通過在PhysioNet Challenge 2016公開數據集上評估，得到敏感度為0.929、特異性為0.923和平均準確率為0.926的指標。該網絡具有一定的優異性，能夠對心音信號進行有效分類。

參考文獻：

[1] Cheng X F，Huang J Z，Li Y Y，et al.Design and application of a laconic heart sound neural network[J].IEEE Access，7：124417-124425.

[2] 李偉，楊向東，陳懇.基于CNN和RNN聯合網絡的心音自動分類[J].計算機工程與設計，2020，41（1）：46-51.

[3] Nassralla M，Zein Z E，Hajj H.Classification of normal and abnormal heart sounds[C]//2017 Fourth International Conference on Advances in Biomedical Engineering （ICABME）.October 19-21，2017，Beirut，Lebanon.IEEE，2017：1-4.

[4] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[5] Wang P Q，Chen P F，Yuan Y，et al.Understanding convolution for semantic segmentation[C]//2018 IEEE Winter Conference on Applications of Computer Vision.March 12-15，2018，Lake Tahoe，NV，USA.IEEE，2018：1451-1460.

[6] Li X，Wang W H，Hu X L，et al.Selective kernel networks[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 15-20，2019，Long Beach，CA，USA.IEEE，2019：510-519.

[7] Springer D B，Tarassenko L，Clifford G D.Logistic regression-HSMM-based heart sound segmentation[J].IEEE Transactions on Bio-Medical Engineering，2016，63（4）：822-832.

【通聯編輯：唐一東】