基于改進MobileNetV3的隱匿性房室旁路心電圖識別模型

關鍵詞： MobileNetV3; Ghost模塊; 量化感知訓練; 精準門控機制; 隱匿性房室旁路心電圖識別

0 引言

隱匿性房室旁路（Concealed Accessory Pathway，CAP） 屬于心臟電活動的一種結構性異常，在特定的病理條件下，隱匿性房室旁路可能被激活，導致心律失常的發生，患者可能會出現心律失常的癥狀，嚴重時可能發展為心力衰竭，甚至導致猝死。因此，設計出合適的模型，在心電圖上檢測出CAP癥狀，對心電圖進行識別成為一種合適的選擇。近年來，研究人員提出了基于心電圖的心血管疾病檢測模型，模型種類包括卷積模型[1-2]、transformer 模型[3]和LSTM 模型[4]。相比之下，卷積模型因其高效的特征提取能力、參數共享以及平移不變性，在心電圖識別中展現出更高的適用性。譬如，Tesfai[5]等人基于shufflenet架構，提出了一種一維架構的輕量化卷積神經模型，同時采用Focal損失函數用以解決數據不平衡的問題，實現對六類心律失常數據的有效分類；Chen等人構建了一種基于單導聯心電圖的多尺度融合輕量化卷積模型，經由3個亞神經網絡提取各種縮放心電圖的特征并使用帶有擠壓激勵塊的通道注意力模塊自適應融合不同的縮放特征。實驗結果表明，該輕量化卷積模型對睡眠呼吸暫停的檢測具有有效性。

由于隱匿性房室旁路難以捉摸的特性，以及為了方便模型直接部署到嵌入式設備中，本文在輕量級MobileNetV3 模型基礎上，提出了一種融合qOgzV+/IW33ciQs8a6KbTg==Ghost 模塊、量化感知訓練以及精準門控機制的改進Mobile?NetV3模型。最后在所收集的ECG12數據集上進行實驗。實驗結果表明，本文所提出的模型在保持較低計算復雜度的同時，達到了較高的識別準確率，可直接部署到嵌入式設備中，識別隱匿性房室旁路的心電圖。

1 基本原理

1.1 MobileNetV3模型

MobileNetV3 模型是MobileNetv2 模型的改進版本。MobileNetV3模型優化了每個塊，通過使用搜索全局模型技術，找到針對于硬件平臺的MobileNetV3 模型；其次，將SE注意力機制應用在MobileNetv3的瓶頸結構中，提取全局信息對每個通道的特征進行加權，來提升MobileNetV3 的特征提取能力。Mobile?NetV3的瓶頸結構如圖1所示。

其中，BN（Batch Normalization，BN）為數據歸一化層，用于加快模型收斂速度，使得模型更加穩定，NL 為激活函數，有兩種可供選擇的激活函數，分別是Relu激活函數和HardSwish激活函數，Dwise為深度可分離卷積，Pool為池化層，FC為線性層，Relu表示Relu 激活函數，hard - σ 為HardSwish激活函數，1×1表示1×1卷積，用于改變輸入特征圖的通道數。關于所使用的MobileNetV3的結構框架如表1所示。

其中，輸入表示輸入的尺寸，框架結構表示模型名稱和使用的卷積核大小，Conv表示卷積層，Bneck表示瓶頸結構，Pool表示池化層，擴展表示瓶頸層結構中使用1×1卷積層之后的通道數，輸出表示輸出通道數，SE表示SE注意力機制，√代表使用，-表示不使用，NL為激活函數，可以是Relu激活函數或HardSwish激活函數，它們的縮寫分別為RE和HS。步長表示是否對特征圖尺寸進行處理，為1，輸出尺寸和輸入尺寸一致；為2，輸出尺寸的長寬縮減為輸入尺寸的一半。

1.2 改進MobileNetV3模型

為了解決MobileNetV3 在心電圖識別中計算量大、性能不足的問題，使用Ghost模塊、QAT和PG機制，對MobileNetV3進行改進，得到一種改進型Mobile?NetV3 模型。本文分別從Ghost 模塊、QAT（Quantita?tion Aware Training，QAT）、PG（Precision Gate，PG）機制3方面進行闡述。

1.2.1 引入Ghost 模塊

在MobileNetV3模型瓶頸結構的第一個卷積處引入Ghost模塊，用于增強MobileNetV3模型的淺層特征提取能力。Ghost模塊通過卷積運算生成少量內在特征圖，然后通過使用簡單的線性變化生成高效特征圖，最后通過拼接內在特征圖和高效特征圖獲得Ghost特征圖。Ghost模塊的結構如圖2所示。

其中，Conv表示用于生成內在特征圖的卷積運算，Φ1，...，Φk 表示線性變換。當Ghost模塊與Mobile?NetV3 的瓶頸結構相結合時，可以得到改進Mobile?NetV3模型的瓶頸結構，通過保留輸入特征圖，讓模型擁有更強的淺層特征提取能力，結構如圖3所示。

1.2.2 引入QAT

QAT由Jacob等人提出，是量化模型的一種常用手段，常用于模型壓縮。其核心思想是將深度學習模型參數與運算精度從浮點型數據降低至低精度，如8 位整型。本文模型中，在MobileNetV3的卷積層里，使用QAT用于減少MobileNetV3的計算量。在卷積運算中，QAT的訓練過程如圖4所示。

圖4中，float32表示32位浮點型數據，uint8表示8 位整型數據，uint32表示32位整型數據。輸入為8位整型數據，將權重從32位浮點型數據轉化為8位整型數據，通過8位整型輸入和8位整型權重之間的卷積運算代替32位浮點型輸入和32位浮點型權重之間的卷積運算，從而減少計算量，可得到的32位整型結果，并通過與32位整型偏置相加，經激活函數，量化轉變為8位整型輸出，所得到的8位整型輸出作為輸入，為下一階段的卷積運算或者全連接運算做準備。

實際部署到嵌入式設備中時，在QAT下，整個卷積的運算過程如圖5所示。

在本文中，量化這一過程的計算公式如式（1） 所示。

其中：I 表示32位浮點型權重或32位整型激活輸出；A 表示量化后權重或激活輸出所對應的8位整型；S 表示權重或激活輸出的正負號；M 表示32位浮點型權重或32位整型激活輸出中的最大值。

1.2.3 引入PG 機制

為了讓本文模型的計算量和參數量進一步減少，同時提升模型的泛化能力和深層特征提取能力，采用PG機制對使用QAT后的卷積進行處理。PG機制可以分成兩個階段，分別是預測階段和更新階段。整個PG機制的結構如圖6所示。

從圖6可以看出，8位整型輸入I 被分成高4位整型輸入Ihb 和低4位整型輸入Ilb。在預測階段，高4位整型輸入Ihb 左移4位后與8位整型權重進行卷積運算，得到結果Ohb。Ohb 經過門控機制，得到二進制決策掩碼mask，用于在更新階段，決定Ilb 中哪些位置參與卷積運算。Ilb 經過更新階段，得到Olb。將Ohb 與Olb 相加，最終得到卷積的輸出結果O。

2 實驗結果與分析

2.1 ECG12心電圖數據集

本文的ECG12心電數據集來自無錫某醫院心電科，共有6 510張，類型為正常心電圖和隱匿性房室旁路心電圖，其中，訓練集3 900張、驗證集1 310張、測試集1 010張，隱匿性房室旁路和正常心電圖分別占總心電圖數目的30%和70%。數據集圖像樣本如圖7 所示。

2.2 實驗設置

驗證本文模型的實驗平臺硬件為Intel I7 12600H 處理器、16G內存、RTX3070顯卡，使用Python編程語言來實現，版本為3.7，使用深度學習框架Py?torch1.11.0、Pycharm開發工具來實現。整個訓練過程迭代70個epoch，為了保證模型的穩定，在前10個ep?och 采用warmup 預熱學習策略，初始學習率設置為0.001，后續采用cosine用于控制學習率衰減，超參數衰減率為0.1，最低學習率為0.00001。計算量用于定量評估不同模型的大小。對于隱匿性房室旁路識別性能的評估，引入靈敏度（Sensitivity，Sen） ，精準率（Precision，Pre） ，Macro-F1分數，它們被廣泛應用在分類領域的性能評估，如式（2）-式（5）所示。

其中： TP、FP、FN 分別代表被模型預測為正類的正樣本、被模型預測為正類的負樣本和被模型預測為負類的正樣本；F1 - score1 和F1 - score2 分別代表隱匿性房室旁路為正樣本，正常心電圖為正樣本的F1 分數。

2.3 實驗分析

為了驗證改進MobileNetV3模型中的Ghost模塊、QAT和PG機制在隱匿性房室旁路識別中的有效性，進行消融實驗。消融實驗結果如表2所示（最優的結果加粗）。

ECG12數據集上的消融實驗表明，相較Mobile?NetV3 模型，加入Ghost 模塊后，除了精準率外，Mo?bileNetV3模型對于12導聯心電圖的各項性能有所增強。這表明，Ghost模塊可以增強MobileNetV3模塊的淺層特征表示能力并同時壓縮模型的計算量；加入QAT后，MobileNetV3模型的各項性能變差。這說明QAT所帶來的誤差導致MobileNetV3模型的各項性能變差；在加入QAT，再次加入PG機制，MobileNetV3模型的各項性能得到了一定的增強，這表明PG機制可以增強MobileNetV3模型的泛化能力和深層特征提取能力，彌補QAT所帶來對于MobileNetV3模型在預測CAP上的誤差。融合Ghost模塊、QAT和PG機制后，MobileNetV3模型對于CAP病癥的預測達到了最佳。圖8為消融試驗下各模型在測試集的性能曲線，包括靈敏度曲線，精準率曲線和Macro-F1分數曲線。

從圖8可以看出，在ECG12數據集上，改進Mo?bileNetV3模型在靈敏度和Macro-F1分數上強于其他消融下實驗模型，在精準率上也處于優秀的程度。這證實了加入各模塊對于提升CAP病癥識別的有效性。使用Grad-Cam 對消融實驗下各模型進行可視化分析，隨機選取一張圖片，得到相關模型的熱力圖，熱力圖實驗結果如圖9所示。

從消融實驗的熱力圖可以看出，改進Mobile?NetV3 模型的不僅強調了一些深層特征，還增強了對于一些淺特征的提取，所提取的特征范圍更廣，提取的區域更為合理，對于CAP 病癥的預測效果更佳。

3 結束語

針對隱匿性房室旁路心電圖識別問題，本文提出了一種基于MobileNetV3的改進心電圖識別模型。該模型在MobilenNetV3的基礎上，通過引入Ghost模塊，提升MobileNetV3 的淺層特征提取能力；通過使用QAT和PG機制，在壓縮模型計算量的同時，提升了模型的泛化能力和深層特征提取能力。在ECG心電圖數據集上進行實驗，結果表明，改進MobileNetV3心電圖識別模型在壓縮原模型計算量的同時，提升了原模型的性能，這表明MobileNet心電圖識別模型可直接部署到嵌入式設備中，用于實現對隱匿性房室旁路心電圖的識別。