基于生理信號的多任務下駕駛員認知負荷的評定*

高振海，段立飛，趙 會，禹慧麗

(1.吉林大學，汽車仿真與控制國家重點實驗室，長春 130022;2.汽車噪聲振動和安全技術國家重點實驗室，重慶 401120)

前言

隨著先進輔助駕駛系統、智能交通系統和車載通信設備的迅速發展，駕駛員在駕駛過程中不僅要承擔信息感知、決策和操縱控制等與駕駛直接相關的主任務，還要承擔一定的預警或信息界面監測和語音交互等與駕駛行為不直接相關的“次任務”，如接打手機等行為，駕駛汽車已經從單一任務逐漸轉變為多任務共同執行的過程。

由于駕駛員信息處理能力的局限性，來自于駕駛任務和非駕駛相關任務的多渠道信息極易使駕駛員出現“信息過載”的情況，導致駕駛員大腦承受的認知負荷上升，其感知能力、判斷能力和注意力都會受到不利影響，從而對駕駛安全造成潛在威脅［1］。

針對這一問題，研究人員對多任務下操作人員認知負荷評價方法進行了探索性的研究，從駕駛員心理生理特性的角度進一步完善人機交互界面和駕駛狀態監測系統的設計，實現根據駕駛員實時的精神狀態協調車內信息系統的工作方式。具有代表性的項目如歐洲經濟委員會框架項目AIDE計劃，由美國高速公路安全管理局聯合德爾福公司、密歇根大學和愛荷華大學等發起的SAVE_IT計劃，以及美國國防先進研究項目局和美國國家航空航天局設立的相關項目［2］。

目前提出的主流駕駛員認知負荷評價手段包括基于調查問卷的主觀評價方法［3］，如 NASA-Task Load Index、Bedford Workload Scale、Driver Activity Load Index等，基于操縱績效的評價方法和基于人體生理信號的客觀評價方法。主觀自評的方式是描述駕駛員主觀感受最直接的方法，但實驗結果很難排除被試對象的主觀傾向性，且問卷形式的評價只能在駕駛實驗完成或階段完成后進行打分評價，無法描述認知負荷隨時間的動態變化情況;基于操縱績效的評價方法又會時而出現對認知狀態變化不敏感的現象［4］。

使用心理生理參數(如腦電、心電、皮電和呼吸等)的評價方法具有較高的客觀性和魯棒性，且能夠以較高的時間精度實現對被試對象的連續測量，很好地彌補了其他兩種評價方法的不足。因此，該方法逐漸被汽車領域的研究人員采用。文獻［5］中利用fMRI和fNIRS測試技術記錄了狹窄道路行駛工況下駕駛員的大腦活動，驗證了腦血流量作為評價大腦精神負荷的有效性。文獻［6］中借助心電和腦電等生理信息建立了駕駛員工作負荷預測模型，用來評價人機交互界面的設計。文獻［7］中所進行的研究發現了被試人員工作負荷的主觀評分與心率變異性0.07～0.14Hz頻段功率譜的變化有很強的關聯性。文獻［8］中研究發現，隨飛行員執行任務難度加大，精神負荷增加，HRV功率譜中的低頻成分隨之下降。

為探索心理生理指標在駕駛員認知負荷評價中的應用，本文中在汽車駕駛模擬器上實現了駕駛員操縱任務與語音交互任務這一典型的多任務駕駛工況，采集分析了反映非駕駛相關任務執行前后認知負荷變化的心電、呼吸和皮電信號等關鍵生理參數的改變，驗證生理參數在評價認知負荷中的有效性。

1 認知負荷生理指標

研究發現，單一種類的生理指標很難充分反映多任務下的腦力負荷。人因工程領域的研究人員認為，這一現象可由工作負荷的多資源模型理論［9］來解釋，即大腦的信息處理活動是神經系統多個獨立“資源庫”共同參與的過程，多任務的過程可以劃分為不同的組成部分，每個部分必須通過某種相對應的生理指標進行評價。

參照文獻［8］中基于生物電信息的飛行員負荷評價方法，并考慮到生理指標在車內的易獲取性和對駕駛員精神狀態的敏感性，本研究采用心電、皮電和呼吸信號作為評價多任務工況下駕駛員認知負荷的綜合生理指標。

心率變異性(HRV)的功率譜分析是進行精神負荷研究的有效方法。心率變異性是指逐次心跳間期—RR間期的微小變化。心率變異性的功率譜可以劃分為3個頻段:反映副交感神經活動的高頻功率、與動脈血壓的短期調節相關的中頻功率和作為交感神經活動指標的低頻功率。研究表明，心率變異性功率譜中的低頻成分能夠在一定程度上反映人的腦力負擔［7－8］，為此，本文中采用心率變異性功率譜低頻帶能量作為評價駕駛員認知負荷中腦力負擔的生理指標。

駕駛員在駕駛過程中由于交感神經興奮，導致汗腺活動加強，分泌汗液較多，使皮膚導電能力增大，形成大的皮膚電反應。為此，引入平均皮電水平作為衡量駕駛員認知負荷中精神疲勞程度的生理指標［9］。

體力活動會導致呼吸頻率(respiratory frequency，RF)和呼吸幅度(respiratory amplitude，RA)的增加，而喚醒水平和情緒波動雖然會使呼吸的頻率增加，但是呼吸的幅度會減小。在壓力或精神負擔較高時，偶爾會出現強力呼吸或過呼吸的現象。為此，選用呼吸的頻率和幅度作為認知負荷的評價指標。

2 駕駛模擬器實驗

駕駛模擬器實驗是進行駕駛員行為研究的有效方法。研究表明，在模擬駕駛員環境下駕駛員生理參數變化與實車實驗具有相似的規律［10］。因此，本文中利用吉林大學汽車仿真與控制國家重點實驗室的汽車駕駛模擬器，并用真實駕駛員進行實驗。實驗工況為人因工程研究中常用的雙任務(dual-task)范例，即駕駛員在模擬駕駛實驗中同時進行汽車操縱任務和語音交互任務。挑選6名年齡在22～30歲，具有合法駕駛執照的駕駛員作為實驗對象，進行雙任務模擬駕駛。在汽車操縱任務中，駕駛員須在半徑為100m的實驗環路上進行緩慢轉向操縱以保證車輛不偏離道路，不越過邊界，并將車速保持在60km/h。考慮到汽車駕駛的同時駕駛員通常還會進行與車內乘員通話、使用語音交互設備或車載電話等通信設備的語音交互行為，為此，選取n-back范式［10］作為實驗中非駕駛相關的次任務，來模擬多任務機制下人的認知活動。

參照文獻［11］中認知負荷評價的實驗方法，采用“聽覺刺激-語音反饋”的形式，即在模擬駕駛的過程中，每隔3s隨機呈現給駕駛員0～9中的一個數字，要求駕駛員重復剛剛聽到的語音刺激之前的第n個刺激。如在1-back任務中，當駕駛員聽到某一數字時，應該立刻重復這一數字之前的數字。nback任務可以通過控制當前刺激與目標刺激間隔的刺激個數來量化地控制任務的難度。

記錄整個實驗過程中駕駛員的心電(electrocardiogram，ECG)、皮電(electrodermal，EDA)和呼吸(respiration，RES)信號。生理記錄設備采用美國BIOPAC公司生產的BioNomadix無線生理記錄儀，其優點是采集裝置與主機之間以無線傳輸的方式進行數據通信，在一定程度上避免了傳統記錄方式傳感器連線對駕駛員操縱造成的干擾。為盡量避免人體運動對心電信號產生干擾，ECG測試電極粘貼在胸骨的上下兩端，如圖1所示。EDA測試電極粘貼在手掌大、小魚際肌隆起處;呼吸測試綁帶纏繞在胸廓位置。生理數據的采樣頻率均為1 000Hz。

實驗流程如表1所示，在正式實驗前，先進行任務練習，以熟悉實驗流程。進入正式的模擬駕駛階段后，首先進行5min的單一駕駛任務。它將作為數據分析的基準，來量化后續雙任務工況下駕駛員生理參數的變化;然后，進行正常駕駛+5min 1-back和正常駕駛+5min 2-back的雙任務實驗;最后，經過2min的恢復期后，進行NASA-TLX主觀精神負荷打分［3］。

表1 實驗流程

3 實驗結果分析

提取ECG信號中的頻域參數、EDA活動水平均值以及呼吸頻率作為分析精神負荷的生理指標。運用方差分析和配對t檢驗分析任務執行前后生理指標的變化，P＜0.05表示存在顯著性差異。數據分析以及生理信號的特征提取在MATLAB中進行。

心率變異性功率譜參數的提取過程如圖2～圖4所示。首先通過原始心電數據獲取RR間期時間序列，并對其進行快速傅里葉變換，得到心電信號的功率譜密度參數，包括:極低頻功率(VLF，0.02～0.06Hz)、低頻功率(LF，0.06 ～0.15Hz)、高頻功率(HF，0.15～0.4Hz)和總功率(TP)等參數。功率譜密度可表示為絕對單位(AU，ms2)和歸一化單位(NU)兩種。本文中使用的低頻歸一化功率值的定義為

分別提取單一駕駛任務和雙任務工況下的心電信號歸一化低頻功率譜密度、皮電水平和呼吸頻率與幅度，得到各項生理指標的平均值，如表2所示。表2中同時給出了認知負荷的NASA_TLX評分，具體指標和權重確定方法詳見文獻［3］。評分范圍從0～100分，0分代表完全感受不到壓力，100分代表認知負荷水平最高。

表2 主觀評分和歸一化生理指標平均值

(1)主觀評分 從NASA_TLX評分可以看到，隨著語音交互任務的加入和難度的提高，駕駛員主觀感受到的壓力水平隨之上升。方差分析表明，任務難度水平對主觀評分有顯著的影響(p=0.001)。配對t檢驗表明，3種實驗工況的主觀評分之間有明顯的差異。

(2)心率變異性 隨著任務難度的增加，心率變異性低頻功率譜密度(HRV_LF)值隨之降低，單一駕駛、1-back和2-back 3種工況下的HRV_LF有明顯的差異(p=0.007)。以1-back工況為例，圖5示出單一任務和雙任務工況下的HRV_LF功率譜密度，可以看到雙任務工況下的HRV_LF降低比較明顯。

(3)皮電水平 圖6為單一任務和雙任務駕駛工況下皮電信號變化。表2也給出了不同任務工況下的平均皮電水平(EDA)的變化。從表中可以看到，皮電水平的平均值隨著任務難度的增加而上升，任務難度對于皮電水平有顯著的影響(p=0.002)。配對t檢驗表明，雙任務工況下(1-back和2-back)的皮電水平相對于單一任務有顯著的上升，但是1-back和2-back工況的差別并不顯著(p=0.150)。結果表明，皮電水平可以用來估計這一工況下駕駛員的精神負荷，但是不同任務難度下區分的效果不是很明顯。此外，皮電信號單位時間內峰值數量和峰間幅值等參數均沒有觀察到顯著的變化。

(4)呼吸頻率與幅度 由表2可見，在雙任務工況下的平均呼吸頻率有所上升，任務難度對于呼吸頻率有顯著的影響(p=0.014)。配對t檢驗表明，雙任務工況下(1-back和2-back)的呼吸頻率相對于單一任務有顯著上升，但是1-back和2-back工況的差別并不顯著，呼吸幅度則基本上沒有變化。

4 結論

(1)主觀評分表明，相對于單一駕駛任務，雙任務工況下駕駛員的主觀壓力感受上升明顯，并且隨著任務難度的增加而上升，進一步證明了駕駛過程中的非駕駛相關任務對駕駛員的認知活動存在不利的影響。

(2)對生理信號的分析表明，心率變異性功率譜密度、皮電水平和呼吸頻率等生理指標與駕駛員認知負荷變化具有較好的關聯性，可作為評價駕駛員認知負荷的有效指標和駕駛狀態識別系統或汽車人機交互評價的依據。

后續研究中將繼續引入腦電、眼電等其他生理指標，并進一步嘗試在多項生理指標分析基礎上進行駕駛員認知負荷的綜合評價，為駕駛員人機交互設計提供可行的客觀評價方法。

［1］ Green P．Crashes Induced by Driver Information Systems and What Can Be Done to Reduce Them［C］．SAE Paper 2000－01－0008．

［2］ Amditis A，Andreone L，Pagle K，et al．Towards the Automotive HMI of the Future:Overview of the AIDE-integrated Project Results［J］．Intelligent Transportation Systems，IEEE Transactions，2010，11(3):567 －578．

［3］ Rubio S，Díaz E，Martín J，et al．Evaluation of Subjective Mental Workload:A Comparison of SWAT，NASA-TLX，and Workload Profile Methods［J］．Applied Psychology，2004，53(1):61 －86．

［4］ Reimer B，Mehler B，Coughlin J F，et al．The Impact of a Naturalistic Hands-free Cellular Phone Task on Heart Rate and Simulated Driving Performance in Two Age Groups［J］．Transportation Research Part F:Traffic Psychology and Behaviour，2011，14(1):13－25．

［5］ Shimizu T，Nanbu T，Sunda T．An Exploratory Study of the Driver Workload Assessment by Brain Functional Imaging Using Onboard fNIRS［C］．SAE Paper 2011－01－0592．

［6］ Pala S，Schnell T，Becklinger N L，et al．Adaptation of the Cognitive Avionic Tool Set(CATS)into Automotive Human Machine Interface Design Process［C］．SAE Paper 2011－01－0594．

［7］ Vicente K J，Thornton D C，Moray N．Spectral Analysis of Sinus Arrhythmia:A Measure of Mental Effort［J］．Human Factors:The Journal of the Human Factors and Ergonomics Society，1987，29(2):171－182．

［8］ Tattersall A J，Hockey G R J．Level of Operator Control and Changes in Heart Rate Variability During Simulated Flight Maintenance［J］．Human Factors:The Journal of the Human Factors and Ergonomics Society，1995，37(4):682 －698．

［9］ Shimomura Y，Yoda T，Sugiura K，et al．Use of Frequency Domain Analysis of Skin Conductance for Evaluation of Mental Workload［J］．Journal of Physiological Anthropology，2008，27(4):173－177．

［10］ Mehler B，Reimer B，Coughlin J F，et al．Impact of Incremental Increases in Cognitive Workload on Physiological Arousal and Performance in Young Adult Drivers［J］．Transportation Research Record:Journal of the Transportation Research Board，2009，2138(1):6－12．

［11］ Reimer B，Mehler B．The Impact of Cognitive Workload on Physiological Arousal in Young Adult Drivers:A Field Study and Simulation Validation［J］．Ergonomics，2011，54(10):932－942．