基于多模感知數據的駕駛員房顫檢測方法及系統研究*

覃忠浩，周少銳，陳 健，黃欣龍，彭顯為，何文秀，王 偉

(1.中山大學智能工程學院，廣東 深圳 518107；2.深圳北理莫斯科大學工程系，廣東深圳 518172；3.浙江大學國際教育學院，浙江 杭州 310058；4.香港科技大學工學院土木及環境工程系，香港 999077；5.浙江工業大學之江學院，浙江杭州 310014)

隨著5G 通信、大數據分析等技術的發展，萬物互聯正在成為現實。而通過車車交互、車路通信、車與行人交互等所構建的人車路協同系統是物聯網在交通領域的一個典型應用。但是在目前的協同系統中，對駕駛員的關注明顯偏少。而作為交通中的主要因素，駕駛員的行為對所有交通參與者都可能造成極大的影響。同時，駕駛員突發心血管疾病已經成為了交通安全的重要威脅。心血管疾病是世界范圍內死亡的主要原因之一[1]，其中心房顫動是最常見的心律失常。房顫(AF)的患病率正在增加，估計占人口的1%，65 歲以上人群的5%[2]。

雖然房顫本身并不代表一種致命的疾病，但由于房顫相關并發癥，它與高發病率和死亡率相關[3]。在交通過程中，駕駛員若在行駛時突發房顫，不僅危及自身生命安全，而且還將對車上的乘客造成傷害，近年來由于突發心血管疾病引發的交通事故屢見不鮮。

近些年來對于汽車駕駛員的狀態監測研究大致可以分為兩類，一種是基于攝像機和圖像處理及圖像識別技術，另一種是基于生理傳感器和信號處理及模式識別技術，當然兩者也可以結合使用。大多數早期研究都使用商業設備或系統來監測心電圖，而缺點是這些設備或系統很少永久安裝在汽車上。在汽車結構中使用ECG 電極可以追溯到2007 年。此后，心電檢測電極經常出現在汽車方向盤、汽車座椅等結構中[4]。Gao 等[5]使用攝像頭獲取面部信息，并將數據輸入監督學習進行情緒檢測。在生物信號方面，Choi 等[6]采用原理動態模型預測了兩種自主神經分支(交感神經和副交感神經)對情緒應激的激活水平。文獻[7]討論了一種用于監控駕駛員面部特征的視覺系統。首先，在輸入的視頻序列中定位駕駛員的面部。隨后的圖像被跟蹤。在人臉跟蹤過程中，連續檢測眼睛、嘴巴和頭部的面部特征；特征檢測和跟蹤并行進行，提高了精度。張廣元等[8]提出了一種基于Hu 不變矩支持向量機(SVM)的實時眼部檢測方法。文獻[9]提出了一種用于駕駛員警覺性實時監控的計算機視覺系統原型，其關鍵部件包括遠程視頻CCD 攝像機、專門用于實時圖像采集的硬件系統、照明燈控制等。文獻[10]提出了一種新的駕駛員疲勞檢測方法，該紅外圖像采集系統采用AdaBoost 和核相關濾波相結合的方法采集駕駛員的面部圖像，隨后對面部進行檢測和跟蹤。

對于心率采集方向盤系統近些年來的研究，Abu-Faraj 等[11]設計了一種心臟病檢測方向盤，包括單導聯心電檢測器、溫度傳感器、皮膚阻抗傳感器，并利用Arduino 大型2560 單片機承載基于Crisp Logic 的算法分析各種傳感器的數據流，且該系統能夠連接至蜂窩網絡，通過儲藥倉提供心臟病藥物供給以及呼救等功能。Babusiak 等[12]利用3D 打印設計了一個集成有心率、血氧檢測功能和慣性單元的方向盤，并在實際駕駛環境下對其采集到的數據進行了商業設備對比驗證，確認了數據的正確性和準確性。Cassani 等[13]在駕駛模擬器的方向盤上放置了8 個電極。Babusiak 等[14]開發了一種帶有兩個集成ECG 電極的新型方向盤設計，該設計需要更換方向盤。文獻[15]提出了一種新的無線系統來執行快速短期ECG 采集和心率監測，旨在非技術用戶易于使用。該系統使用放置在塑料方向盤上的干電極，因此只需將手放在方向盤上，就可以在監控模式下獲取Lead I 心電圖信號。

在近些年有關單導聯房顫檢測算法研究現狀，文獻[16]提出了一種結合數據增強方法的雙通道卷積神經網絡從單導聯短心電記錄中檢測心房顫動。在文獻[17]的研究中，作者探討了兩種潛在的訓練策略來解決AF 檢測中的過擬合問題。Weimann 等[18]利用遷移學習解決了訓練CNN 進行心電分類時需要大量標記樣本的問題。此外，近年來也提出了將卷積神經網絡(CNN)與循環神經網絡(RNN)相結合的深度學習模型[19-20]。Andersen等[21]以RR 區間為輸入，開發了CNN 和LSTM(長短期記憶)相結合的深度學習分類模型。

綜合上述的研究，未有完整的研究包含了ECG檢測方向盤以及特異性指標的檢測算法全流程的系統實現。所以本文希望建立一個用于房顫檢測的方向盤，并基于實際駕駛數據以及深度互學習結合濾波群算法的神經網絡模型，完成一個數據流產生、傳輸、存儲、運用的系統。從而實現在交通環境下，對駕駛員的全程生理信號進行監控，并利用相關監測數據進行緊急情況檢測、疾病管理和健康狀況反饋。同時對駕駛員的心率進行實時監測，對房顫進行識別預警，因此有效降低因司機突發心血管疾病造成交通事故的風險。

論文第一部分介紹了本系統的設計原理與工作流程，第二部分闡述了系統中使用的神經網絡算法，第三部分給出了實驗結果與分析，最后第四部分進行了總結并指出為了未來深入研究的方向。

1 系統設計

本節對房顫智能檢測方向盤系統的設計原理和工作流程，以及相關硬件進行介紹。

1.1 設計思路

本文設計了一種基于深度互學習結合濾波群算法的智能方向盤及其配套云系統。該裝置屬于智能輔助駕駛設備，方案的完整設計流程如圖1 所示:該裝置通過安裝在方向盤上的傳感器，能夠在駕駛環境下實時收集駕駛員的心率數據，通過通信模塊將數據上傳至云平臺，時頻圖以及龐加萊圖的生成均在云平臺上完成，之后再利用房顫識別算法進行實時的分類，從而進行房顫異常檢測，一旦檢測到房顫則可以進行報警，提供醫療介入或輔助制動。

圖1 系統整體設計流程

1.2 裝置組成

本文設計的智能房顫檢測方向盤，包括:

①方向盤主體:家用轎車通用方向盤，安裝傳感器模塊、主控模塊等；

②心電傳感器:Pulsesensor 傳感器，用以心率數據采集；采集原理:光電容器法，即利用人體組織在血管搏動時造成透光率不同來進行脈搏測量。工作原理如圖2 所示；

圖2 Pulsesensor 傳感器工作原理

③處理器:ESP32 模塊，作為主控模塊，連接傳感器模塊與數據傳輸模塊；

④通信模塊:1ML302 4G 模塊，傳輸心率數據至云平臺；2WIFI 無線連接；

⑤云平臺:阿里云服務器；

⑥數據庫:MySQL 數據庫；

⑦房顫檢測程序:基于深度互學習和判別濾波群算法的Resnet 神經網絡；

⑧報警模塊:目前為警告消息彈窗，可選擇性擴充120 呼救、應急聯系人呼叫。

部分裝置如圖3 所示。

圖3 部分硬件裝置

1.3 硬件集成與工作流程

以下將說明該方向盤及云平臺系統的詳細結構和工作流程:

本項目的房顫檢測方向盤系統，包括1-方向盤主體、2-心電傳感器、3-處理器、4-通信模塊、5-個人服務器、6-云端數據庫、7-房顫檢測軟件、8-報警模塊。

駕駛員在車輛行駛過程中，通過握緊1-方向盤主體，使得手掌與2-心電傳感器緊密結合。此時2-心電傳感器通過手掌進行心率數據的采集，通過數據線傳輸至3-處理器。處理器進行初步數據處理獲得格式化心電圖數據流，利用短距離藍牙傳輸發送至4-通信模塊。4-通信模塊具有極強的網絡通信能力，能夠將心電圖數據流傳輸至5-個人服務器中。5-個人服務器中包括6-云端數據庫、7-房顫檢測程序，6-云端數據庫提供心電圖的存儲與下載，7-房顫檢測程序可以通過智能房顫檢測算法對駕駛員心電圖數據進行處理，檢測是否發生房顫。當7-房顫檢測程序檢測到房顫發生，反饋報警信息至車輛上的8-報警模塊發出警報，警示駕駛員及乘客，使其采取相應措施、安全停車，同時可以協助撥打120，將車輛實時位置通過車聯網發布，為駕駛員提供醫療幫助。數據傳輸流程如圖4 所示。

圖4 數據傳輸流程圖

該框架各組成部分在實物方向盤上的位置如圖5所示。

圖5 各硬件裝置在方向盤上的位置

為了確保心率傳感器采集數據的準確性，將傳感器采集到的數據與心率帶采集到的數據進行相似程度的分析，結果如圖6 所示。

圖6 傳感器和心率帶采集到的心電圖

通過式(1)計算數據相似度，計算結果約等于90%，可以得出，心率傳感器采集到的數據是十分準確的。

式中:xi表示心率帶采集到的對比數據點，yi表示為傳感器采集到的實驗數據點。

本方向盤系統可以實現離線模式和在線模式，LTE 模塊是否使用依據車輛所處的網絡環境進行判斷。在線的模式下，獲取的數據從系統中的LTE 模塊通過蜂窩網絡傳輸到云端服務器，之后的所有操作均在云端服務器完成；而離線的模式下，得到的數據通過數據線傳輸到車載PC 端，在PC 端中進行數據預處理、房顫檢測算法的運行等等工作，整體流程如圖7 所示。

圖7 工作原理流程

2 算法介紹

本節主要闡述系統中使用到的基于深度互學習和判別濾波群算法的Resnet 神經網絡以及之前的數據除噪和預處理等過程。

2.1 創新算法

本文使用的房顫檢測算法共有兩個階段，即數據預處理階段和數據分類階段。

2.1.1 數據預處理

通過本文的方向盤系統獲取到駕駛員的心電信號數據后，第一步要對數據進行預處理:

①在得到駕駛員心電圖信號的相關數據后，先是通過心電信號的基線Baseline 和增益Gain 對數據進行歸一化，目的是將信號的振幅控制在[-1，1]區間內，歸一化公式如(2)所示:

式中:Baseline 和Gain 分別為心電信號的基線和增益，InputSignal為輸入信號的數據，OutSignal為輸出信號數據。

歸一化前后的對比圖見圖8，可以看到歸一化后信號的振幅全部集中在[-1，1]。

圖8 歸一化前后的心電圖

②使用截止頻率為35 Hz 的6 階巴特沃斯低通濾波器對信號進行濾波，除去心電信號中夾雜的高頻噪聲，使得心電信號數據更加平滑。巴特沃斯低通濾波器的公式如式(3)所示:

式中:n為濾波器的階數，ωc為截止頻率，ωp為通頻帶邊緣頻率。

③對信號數據質量進行評估。由于心電信號的周期性較強，各心動周期之間相應波形的差異較小，所以可以將QRS 波群近似認為單獨的固定模板。對于固定模板的信號，按幅值歸一化的幅頻分量值可以表示該模板在這一頻率范圍內的能量集中情況。心電信號中各模板在特定頻率上的能量分布是不同的，幅頻分量又不含信號的相位信息，所以可通過信號幅頻值與特定幅頻值比較的方法來檢測QRS 模板。通過把心電信號周期與QRS 波群進行比對得到模板，之后通過計算得出模板與每個信號周期間的相關聯系數，計算出其平均值作為信號質量指數(SQI)[22]。如果SQI 小于設定閾值0.6，則使用1 階的巴特沃斯低通濾波器繼續對信號進行除噪，一直循環至所有信號的SQI 都大于閾值0.6 結束。

④對于降噪后的信號，采用MATLAB 自帶的WFDB 工具箱中的GQRS 算法進行R 峰檢測:在經過先前的基線漂移消除以及低通濾波的操作后，就到了高通濾波步驟，即將低通濾波后的ECG 信號通過一個高通濾波器，以消除低頻干擾信號。然后是導數濾波步驟，即對高通濾波后的ECG 信號進行差分濾波，接著是方框濾波步驟，即對導數濾波后的ECG 信號進行方框濾波，以增強QRS 波群的幅值，最后是峰值檢測步驟，即通過動態閾值來檢測QRS波群的峰值，即R 峰值。該算法輸出ECG 信號序列中所有代表R 峰的數據點的序號。其中方框濾波與差分濾波的公式如式(4)、式(5)所示:

式(4)中，當normalize ＝true 時，α＝1/width×height；當normalize ＝false 時，α＝1。

式(5)為差分濾波矩陣，即使用兩元素之間的差值進行中心點賦值，符號代表相減，得到差值。

⑤完成上述數據處理過程后，采用短時傅里葉變換方法對信號進行時頻轉換，輸出信號的時間-頻率關系圖。短時傅里葉變換是時頻分析的經典方法，也是處理心臟異常動態的有效方法，它是通過在傅里葉變換的基礎之上添加信號窗口，把時間尺度的信息和傅里葉變換結合在一起。公式如(6)所示:

式中:w(τ-t)為分析窗函數，x(τ)為輸入信號。STFT(t，w)是時間t和頻率w的二維函數，它將信號的時域和頻域聯系起來，我們可以據此對信號進行時頻分析。

⑥另一方面，根據④中所獲得的R 峰位置求解出相鄰R 峰的間隔RR，以RR(i)為x軸，RR(i+1)為y軸(i＝1，2，…，n-1，n為RR 間隔的個數)繪制散點圖，所獲得的圖像就是ECG 信號的龐加萊圖。龐加萊圖是一種分析顯示周期性或準周期性行為的動態系統分析技術，其依賴于對正在研究的系統活動的事件進行同步、離散時間觀察。dn1 和dn2 分別表示從第n點(RR(n)，RR(n+1))到長軸和短軸的距離。如式(7)所示:

一維ECG 信號經過上述5，6 步驟后所得到的時頻圖以及龐加萊圖見圖9。

圖9 時頻圖和龐加萊圖

2.1.2 數據分類

預處理結束之后，是數據分類階段:

將預處理輸出的時頻圖和龐加萊圖作為輸入，采用基于深度互學習結合濾波群算法的神經網絡進行信號分類，判斷該信號屬于NSR(正常竇律)、AF(房顫)、O(其他心電信號)和I(噪聲)中的哪一類。具體的網絡和特點細節如圖10 所示。

圖10 基于深度互學習和判別濾波群算法的神經網絡示意圖

①網絡有兩個通道，通道1 以時頻圖作為網絡的輸入，通道2 以龐加萊圖作為輸入。

②每一個通道的基礎框架是經典CNN 網絡Resnet18。

③每一個通道使用非對稱多流結構，一共有三個分支:以logit1 為輸出的分支1 保留了神經網絡的整個結構。這樣做的目的是關注全局信息；以logit2 為輸出的分支2 將發揮其作為網絡判別補丁流的作用，通過檢查鑒別補丁檢測器的響應來進行預測；以logit3 作為輸出的分支3 作為分支2 的一部分，接在GMP 層后面，通過引入跨通道池化層，直接對1×1 濾波器施加監督。目的是為了使框架能夠學習特定類別的判別patch 檢測器。

④為了共享權重和減少參數數量，網絡使用位置信息，并將所有FC 層替換為1×1 conv。

⑤為了兩個通道之間的信息能夠相互利用，引入了深度互學習策略，使用Kullback Leibler(KL)散度來量化兩個網絡預測值之間的匹配。通過將KL模仿損失和監督損失LC 相加，使得每個網絡不僅從訓練實例的真實標簽中學習正確的知識，還可以參考其同行的概率估計。

3 裝置實驗

為了檢驗該裝置的實用性，我們進行了模擬駕駛環境下的實驗。

3.1 實驗環境與搭建

Euro Truck Simulator 2(歐洲卡車2)、基于本文介紹裝置所搭建的智能方向盤總成、心率檢測儀(用來驗證方向盤采集的心電圖(ECG)數據準確率)，實驗人員為一名駕齡2 年駕駛員。其中《歐洲卡車2》是一款交通工具場景仿真游戲，由SCS Software 公司開發，配合游戲方向盤具有仿真度極高的駕駛操作體驗。

首先將本研究提出的方向盤系統連接至預先下載好《Euro Truck Simulator 2》的筆記本電腦，然后由駕齡2 年的駕駛員進行駕駛操作，便成功搭建起了模擬駕駛場景，如圖11 所示。

圖11 模擬駕駛圖(測試環境下)

3.2 實驗結果與分析

我們在同一環境下，采集了8 組數據進行實驗，得到方向盤性能指標如表1 所示。其中，ECG準確率為同時使用心率帶測量得到的對比數據和實驗結果計算得到的數據相似度；算法預測準確率為程序對噪音、正常心率、房顫、其他心率四種分類的識別準確度。

表1 實驗結果

在8 次的實驗中，網絡延遲最高為75 ms，最低為65 ms，平均延遲為70.375 ms，由上述結果可以看出，本裝置在正常網絡環境下有著良好的響應時間；對于ECG 準確率方面，8 次實驗中的最高ECG 準確率為90%，最低為86%，平均值為87.875%，說明本實驗裝置獲取的數據與心率帶測量得到的對比數據誤差很小，精確度很高；運算時間在進行的8 次實驗之中，最長為0.51 s，最短為0.45 s，平均運算時間為0.497 5 s，體現了本實驗裝置的高運算效率和計算能力；最后在算法分類識別準確率方面，8 次實驗中最高為95.0%，最低為91.6%，平均值為92.85%，說明識別效果很優秀。8 組實驗數據的網絡延遲、ECG 準確率、運算時間和預測準確率的方差和標準差都很小，說明8 組實驗間的實驗結果離散程度很小，體現出本實驗裝置有著優秀的實驗穩定性。

4 總結與展望

4.1 總結

本文設計了一個可以進行實時心電數據采集，并智能檢測房顫的方向盤系統，該系統彌補了可穿戴設備、專業醫療設備在駕駛場景上的不足，這一系統的工作流程可以作為其他駕駛輔助的參照以及基礎。同時，該裝備具有良好的工控屬性、兼容性以及可移植性，成本低廉，效果明顯。方向盤設備均使用工控機，在惡劣信號條件、復雜環境條件下均能良好運行，保證了該系統的工作穩定性和魯棒性。

4.2 應用前景與展望

該裝置未來可結合機器視覺方式進行交叉驗證，提升房顫檢測準確率與實時性。同時，在該智能方向盤及云平臺系統的基礎上，可以添加多種不同的傳感器和檢測算法，可以實現多功能的全方位駕駛員狀態感知，疲勞檢測、情緒識別都可以基于該平臺實現，具有極強的模塊化能力和拓展性。

該裝置可以融合正在迅速發展的車聯網系統，做到以通訊模塊警示周圍車輛并求助；同時利用車聯網向周圍車輛及交通信號設施發出求助信息，或者聯系醫院、駕駛員家屬和交警中心，共享該車輛當前位置信息，對駕駛員進行緊急救助。

該裝置可以優先部署在校車、公交車等重要交通工具上，避免因駕駛員突發心血管疾病所導致的重大交通事故，保護司機、乘客以及其他交通參與者的生命安全。

隨著對交通安全的重視，駕駛員安全也必將成為關注點，該裝置未來將在駕駛員安全方面具有良好的市場前景。