基于多源生理信號的駕駛疲勞檢測

李江天 李敏 宋戰(zhàn)兵

[摘要]為檢測駕駛疲勞，基于移動穿戴設(shè)備采集了4h模擬駕駛的生理信號（肌電、皮電、心率、血氧飽和度），分析各生理信號確定疲勞閾值，然后將其融合建立駕駛疲勞檢測神經(jīng)網(wǎng)絡(luò)模型，依據(jù)被試者對刺激信號做出反應(yīng)的時問，并通過腦電指標(biāo)δ/β和δ對模型進(jìn)行檢驗(yàn)。結(jié)果表明，在長時問模擬駕駛過程中，疲勞是一種突變行為；各生理信號可反映駕駛疲勞；多源生理信號融合提高了駕駛疲勞檢測模型的準(zhǔn)確率，可用于開發(fā)可穿戴設(shè)備。

[關(guān)鍵詞]駕駛疲勞；多源生理信號融合；閾值；神經(jīng)網(wǎng)絡(luò)模型

[中圖分類號]TN911.7；U491.254 [文獻(xiàn)標(biāo)識碼]A [文章編號]1005-152X（2018）02-0078-06

1 前言

加班、熬夜、連續(xù)駕駛導(dǎo)致疲勞駕駛?cè)巳涸絹碓蕉啵隈{駛也成為交通事故的主要因素之一。為避免此類交通事故，汽車廠商和研究學(xué)者基于駕駛員生理參數(shù)（腦電、肌電、心率、脈搏等）、駕駛員行為特征（眼睛閉合時間、平均睜眼程度、PERCLOS、注視方向等），以及車輛行為特征（車輛橫向位置、橫向加速度、方向盤轉(zhuǎn)角等）進(jìn)行了研究，其中基于車輛行為和駕駛員行為特征的檢測都容易受環(huán)境影響，應(yīng)用價值受限，且環(huán)境屬于不可控因素，而生理參數(shù)檢測的侵人性問題，可通過實(shí)驗(yàn)設(shè)備及實(shí)驗(yàn)方法解決，更具可行性。

以往生理參數(shù)檢測的不足之處有：（1）侵人性問題。以往研究受限于技術(shù)條件，實(shí)驗(yàn)數(shù)據(jù)的采集設(shè)備侵入性強(qiáng)，干擾正常駕駛。（2）截面數(shù)據(jù)。僅能驗(yàn)證清醒和疲勞狀態(tài)的差異，而無法從時間歷程上動態(tài)觀測和描述疲勞程度。（3）指標(biāo)單一。可能存在工作盲區(qū)，降低了系統(tǒng)的可信度。本研究則彌補(bǔ)了以往研究的不足：（1）采用穿戴設(shè)備測量人體生理信號，解決了侵人性問題；（2）長時間連續(xù)模擬駕駛實(shí)驗(yàn)（4h），動態(tài)監(jiān)測駕駛者生理指標(biāo)的變化；（3）融合多源生理信號建立駕駛疲勞預(yù)警算法。為汽車廠商、可穿戴設(shè)備制造商、APP應(yīng)用開發(fā)者提供了開發(fā)疲勞駕駛預(yù)警設(shè)備的理論基礎(chǔ)。

2 實(shí)驗(yàn)設(shè)計

2.1 實(shí)驗(yàn)方法

募集12名駕駛員自愿參與實(shí)驗(yàn)（10男2女，年齡21-30歲，平均26歲），身體健康，視力良好，無睡眠障礙及駕駛恐懼等。實(shí)驗(yàn)在中午13：00到下午18：00之間進(jìn)行，使用羅技G29駕駛模擬器、55寸顯示器和計算機(jī)搭建模擬駕駛平臺，LFS軟件構(gòu)建單調(diào)高速公路場景，Visual Studio編制信號燈刺激信號，然后讓被試者熟悉設(shè)備，佩戴NE無線腦電儀、Bio-Radio生理監(jiān)測儀和傳感器手環(huán)，開始4小時的模擬駕駛，速度控制在60km/h-80km/h。在模擬駕駛過程中，被試者需要對刺激信號做出反應(yīng)，操作相應(yīng)的按鍵，以采集反應(yīng)時間。整個實(shí)驗(yàn)過程通過相機(jī)記錄，用以輔助分析。

2.2 實(shí)驗(yàn)數(shù)據(jù)采集

采集數(shù)據(jù)的主要設(shè)備有：羅技G29駕駛模擬器、NE無線腦電儀、Bio-Radio無線生理監(jiān)測儀、傳感器手環(huán)、相機(jī)。

NE無線腦電儀包括八個導(dǎo)聯(lián)、干電極/濕電極、電極帽、信號采集和傳輸裝置、NIC采集和分析軟件等，腦部導(dǎo)聯(lián)示意圖如圖1所示。八個導(dǎo)聯(lián)可實(shí)時采集和傳輸大腦不同部位電信號，無線傳輸?shù)接嬎銠C(jī)，其采樣率可達(dá)500SPS，分辨率24bits-0.05uV。Bio-Radio生理監(jiān)測儀能夠檢測呼吸、肌電、皮電、心電等人體生理信號，并且無線傳輸給計算機(jī)，其采樣率250-1 600Hz，采樣分辨率12-16bit。本實(shí)驗(yàn)中生理檢測儀僅采集皮電、肌電信號。傳感器手環(huán)記錄駕駛員的心率和血氧飽和度信號。

2.3 實(shí)驗(yàn)數(shù)據(jù)預(yù)處理

傅里葉變換，可以將時域信號轉(zhuǎn)變?yōu)轭l域信號，便于研究信號的頻譜結(jié)構(gòu)和變化規(guī)律。如果某函數(shù)f（t）滿足傅里葉積分變化定理?xiàng)l件，則稱F（w）為f（t）的傅里葉變換：小波分析，適用于大多數(shù)非平穩(wěn)信號的分析和具有分形結(jié)構(gòu)的信號分析，能較好的突出信號局部特征。小波分析原理一，是：對于任意連續(xù)信號f（t）∈L2（R）（能量有限空間），f（t）的連續(xù)小波變換為：

式中，a是伸縮因子，6是平移因子，φα，b（t）為依賴于α、6的連續(xù)小波基函數(shù)。

3 數(shù)據(jù)處理

3.1 信號圖

為方便觀察，將反應(yīng)時間、心率、血氧飽和度進(jìn)行適當(dāng)處理整合在一個圖中，如圖2所示（8位被試者橫向順序）。圖中X軸表示時間，單位為2min，Y軸表示采集的各信號指標(biāo)值，分別為反應(yīng)時間（ms）、心率（次/mln）、血氧飽和度。其中具體處理如下：

Pt =Rt×0.01，Pt一圖中反應(yīng)時間，Rt一真實(shí)反應(yīng)時間；

Ph=Rh-55，Ph—圖心率，Rh一真實(shí)心率；

Ps=Rs- 70，Ps一圖中血氧飽和度，Rs一真實(shí)血氧飽和度。

表面肌電信號的頻率范圍是2-500Hz，主要集中在50-150Hz，在數(shù)據(jù)處理過程中，使用Butterworth高通濾波器濾掉50Hz的工頻噪聲，肌電電位增益1000。然后通過快速傅里葉變換，得到不同頻率對應(yīng)的信號功率譜。皮電信號處理方法與肌電相似，采用Bandpass濾波，帶寬設(shè)置為0.02Hz-0.3Hz，階數(shù)為2。得到肌電功率和皮電功率指標(biāo)后，作出其隨駕駛疲勞發(fā)展變化的過程圖，分別如圖3、圖4所示（以被試者8為例）。圖中X軸都表示時間，單位為2min，Y軸表示信號指標(biāo)，肌電功率單位為y2，皮電功率單位為μV2。圖3中，Pm=Rm×e7，Pt=Rt×0.01，其中Pm表示圖中肌電功率，Rm表示真實(shí)肌電功率。圖4中，Pg=Rg×e10，其中Pg表示圖中皮電功率，Rg表示真實(shí)皮電功率。

3. 2統(tǒng)計分析

3.2.1 反應(yīng)時間。對被試者反應(yīng)時間出現(xiàn)突變峰值的時間點(diǎn)和反應(yīng)時間進(jìn)行統(tǒng)計，見表1。由圖2和表1發(fā)現(xiàn)：除被試者3和被試者6之外，其余被試者在4小時的長時間模擬駕駛過程中，反應(yīng)時間并非逐漸遞增，而是發(fā)生突變，呈現(xiàn)周期性，即駕駛員進(jìn)入疲勞后，由于某種身體自我調(diào)節(jié)機(jī)制和自我意識控制作用等原因，會返回到清醒狀態(tài)，一段時間之后，再次進(jìn)入疲勞狀態(tài)。結(jié)合視頻分析觀察，疲勞持續(xù)時間10min左右，深度疲勞持續(xù)時間2-4min。

3.2.2 心率信號。圖2中，由反應(yīng)時間確定疲勞狀態(tài)，觀察心率發(fā)現(xiàn)：（1）疲勞狀態(tài)時，心率較低，進(jìn)入疲勞狀態(tài)的過程中，心率變化劇烈。（2）清醒狀態(tài)時，心率較高，心率變化平穩(wěn)。對心率進(jìn)行均值和方差分析，見表2。由表2可得：（1）疲勞狀態(tài)下的心率（61- 64次/min）普遍低于平均心率（64次/min以上）。（2）反應(yīng)時間突變點(diǎn)附近心率方差84%低于總方差，排除異點(diǎn)，反應(yīng)時間突變點(diǎn)附近的心率方差均值為3.78，且81%的方差低于3.82，表明在疲勞狀態(tài)下，其心率的波動情況較小。（3）81%的概率突變點(diǎn)后心率方差小于突變點(diǎn)前，即駕駛疲勞發(fā)生后的心率波動幅度小于疲勞發(fā)生前。查閱文獻(xiàn)可認(rèn)為這種現(xiàn)象由大腦自我意識的警覺性導(dǎo)致。

3.2.3 血氧飽和度信號。血氧飽和度的分析處理方法同心率。分析發(fā)現(xiàn)：（1）反應(yīng)時間較長時，血氧飽和度較低，反應(yīng)時間突變點(diǎn)附近，血氧飽和度變化劇烈；（2）清醒狀態(tài)時，血氧飽和度大部分處于較高水平；（3）除被試者7以外，反應(yīng)時間突變點(diǎn)附近的血氧飽和度全部低于整體均值，疲勞狀態(tài)時70%的概率在96%-97.4%之間進(jìn)行波動；（4）反應(yīng)時間突變點(diǎn)附近血氧飽和度方差90%的概率低于整體方差，排除異點(diǎn)，方差范圍80%的概率是0-1，正常情況下，方差高于1.2。

3.2.4 肌電信號。觀察圖3發(fā)現(xiàn)：（1）肌電功率隨著時間歷程呈現(xiàn)規(guī)律性變化，先增長，中間較低，后又逐漸增長；（2）隨著疲勞程度的加深，肌電功率增加。

對肌電信號進(jìn)行快速傅里葉變換后，統(tǒng)計分析不同狀態(tài)下肌電功率的均值與方差，結(jié)果見表3，疲勞臨界和清醒狀態(tài)下肌電功率均值比值和方差比值如圖5所示。分析表3發(fā)現(xiàn)：（1）75%的概率疲勞臨界狀態(tài)的肌電信號功率大于清醒狀態(tài)，且是大一個數(shù)量級。被試者3在駕駛過程中沒有進(jìn)入深度疲勞狀態(tài)，被試者6進(jìn)入疲勞狀態(tài)較快，對車輛的控制能力較弱，發(fā)生疲勞時肢體動作較小（視頻分析）。（2）88%的概率清醒狀態(tài)下的肌電信號功率方差大于疲勞臨界或深度疲勞狀態(tài)，異常情況可解釋為行駛異常，被試者在努力恢復(fù)正常行駛，此時手臂動作較大，肌電電位變化劇烈。由圖5可得：當(dāng)疲勞臨界和清醒狀態(tài)下肌電功率均值比值范圍在1-10之間，方差比值小于1時，可判定駕駛員處于疲勞臨界狀態(tài)。

3.2.5 皮電信號。觀察圖4發(fā)現(xiàn)：（1）皮電功率隨著時間歷程呈現(xiàn)規(guī)律性變化，剛開始皮電功率較低，隨著駕駛時間延長，皮電功率增長，進(jìn)入疲勞狀態(tài)時，皮電功率恢復(fù)到低功率狀態(tài)，疲勞狀態(tài)消失后，重新出現(xiàn)高功率狀態(tài)。（2）疲勞狀態(tài)出現(xiàn)在波谷位置，疲勞前后駕駛員的皮電信號功率較大。

皮電功率分析處理方法同肌電功率。統(tǒng)計分析發(fā)現(xiàn)：（1）排除被試者7，其余疲勞臨界狀態(tài)的均值和方差均大于清醒狀態(tài)。（2）觀察圖6，選取30min的時間段，當(dāng)后者狀態(tài)與前者狀態(tài)的皮電平均功率比值范圍在10-80之間，方差范圍大于10時，可以判定駕駛員處于疲勞臨界狀態(tài)。

3.2.6 腦電信號分析。根據(jù)醫(yī)學(xué)對疲勞的研究成果，選擇位于頭部枕葉部位的6號導(dǎo)聯(lián)作為腦電信號的數(shù)據(jù)分析依據(jù)。使用小波包分解提取腦電信號的5個基本節(jié)律，通過NICOffline軟件作出人體在不同狀態(tài)下腦電信號的功率分布圖，如圖7所示。從圖7可看出，隨著疲勞程度的加深，6波功率越來越高，所占比例也越來越高，代表人體逐漸進(jìn)入睡眠狀態(tài)。然后選取α/β、θ/β和δ/β三個指標(biāo)計算不同精神狀態(tài)下功率的比值并進(jìn)行顯著性檢驗(yàn)，見表4。由表4可看出不存在顯著性差異，但是隨著疲勞程度的加深，三個指標(biāo)都呈現(xiàn)增長趨勢，其中δ/β盧增長最為明顯。故下文使用δ/β和δ對駕駛疲勞模型進(jìn)行驗(yàn)證。

4 駕駛疲勞檢測神經(jīng)網(wǎng)絡(luò)模型

基于多源信息融合的穩(wěn)定性及可信度優(yōu)勢，將心率、血氧、肌電和皮電四種生理信號進(jìn)行融合，實(shí)現(xiàn)駕駛疲勞的檢測。根據(jù)前文分析各生理信號得到的閾值，使用MATLAB建立駕駛疲勞檢測神經(jīng)網(wǎng)絡(luò)模型，如圖8所示。模型第一層：采集人體心率、血氧、肌電和皮電信號；第二層：求出心率、血氧、肌電功率、皮電功率的均值和方差；第三層：根據(jù)前文分析得出的各生理信號閾值，對四種生理信號指標(biāo)分別進(jìn)行判斷，決策模型見表5，返回值0-2；第四層：對返回值求和，輸出數(shù)值0-8；第五層：依據(jù)上一層輸出的數(shù)值進(jìn)行疲勞分級，具體對應(yīng)關(guān)系見表6。

5 模型驗(yàn)證

另外進(jìn)行4組模擬駕駛實(shí)驗(yàn)，持續(xù)時間2.5h，根據(jù)駕駛疲勞檢測神經(jīng)網(wǎng)絡(luò)模型建立的算法對采集的信號進(jìn)行計算，得到疲勞等級，通過疲勞時駕駛員的反應(yīng)時間和腦電指標(biāo)進(jìn)行對比驗(yàn)證。

由表7可看出：①通過駕駛疲勞檢測神經(jīng)網(wǎng)絡(luò)模型計算出的結(jié)果均為疲勞，與反應(yīng)時間分析和腦電指標(biāo)分析結(jié)果一致，說明建立的模型準(zhǔn)確度較好。②多源信號融合效果優(yōu)于單一檢測，提高了模型的魯棒性與可信度。除被試者2的各單獨(dú)信號檢測結(jié)果能通過驗(yàn)證外，其余被試者都存在某些信號檢測結(jié)果與疲勞驗(yàn)證結(jié)果不同的情況，例如被試者1和3的肌電與皮電信號、被試者4的皮電和血氧信號。信號融合則通過了疲勞驗(yàn)證。

6 結(jié)論

（1）長時間單調(diào)路況駕駛時，疲勞是一種突變行為，局部觀察則為漸進(jìn)行為。（2）各生理信號在清醒與疲勞狀態(tài)時存在差異。疲勞狀態(tài)時心率與血氧飽和度均低于清醒狀態(tài)且波動更小，皮電信號功率則高于清醒狀態(tài)；肌電信號功率在疲勞與清醒狀態(tài)時無明顯差別，但臨界疲勞狀態(tài)下卻高于清醒狀態(tài)。（3）采集生理信號的移動穿戴設(shè)備均無侵人性，多源生理信號融合能提高系統(tǒng)的魯棒性與可信度，在此基礎(chǔ)上建立的駕駛疲勞檢測模型能較準(zhǔn)確的檢測疲勞，為可穿戴設(shè)備的開發(fā)奠定了理論基礎(chǔ)。