高認知負荷下工作記憶VR訓練對陸軍軍人HRV及眼動影響的研究*

楊珮藝,詹 雨,程曉彤,馮正直△

(1.陸軍軍醫大學醫學心理系,重慶 400038;2.中國人民解放軍32298部隊,山東濰坊 261000)

現代戰爭高危險、高惡劣、高復雜的戰場環境,會使軍人承受極大的認知負荷,喪失多重任務平行處理的能力,甚至出現認知損傷或認知障礙[1],從而影響軍事作業績效和戰斗力。軍人作戰心理素質成為決定戰爭勝負的關鍵因素之一[2-3],其中認知能力是心理素質的重要組成部分,與軍人軍事任務完成能力息息相關。世界軍事強國近年來都把軍人認知能力的提升作為焦點和熱點問題進行研究[4-6]。根據認知負荷理論,影響認知負荷大小的重要因素是工作記憶所能承受加工數量的多少[7],若當前任務施加的加工數量超過了個體的工作記憶總量,即出現高認知負荷,會導致任務完成效率降低。因此,工作記憶被認為是個體認知負荷能力的核心,是指個體在執行認知任務時,暫時存儲和加工信息的容量有限的系統[8],可以通過訓練提高[9]。但以往工作記憶評估和訓練多采用紙筆或計算機形式,真實性欠缺且生態效度不高,訓練結果對于軍人在戰場中表現的預測力也較低[10]。而當前迅速發展的虛擬現實(VR)技術可用于模擬戰場環節,通過動態建模、三維動畫等技術模擬現實環境,形成高級人機交互,模仿高危險、高惡劣、高復雜的戰場環境[11],在軍事心理訓練中有不可比擬的優勢。國外將VR技術應用于軍人工作記憶的研究相對較多,在初步評估刷新、轉換和抑制功能方面已獲得了令人滿意的效果。如PARSONS等[12]為美軍構建了虛擬伊拉克戰場,評估刺激復雜度、強度的增加對軍人執行注意任務的影響。結合認知任務,形成虛擬現實認知能力測評系統(Virtual Reality Cognitive Performance Assessment Test,VRCPAT1.0)[13]對戰爭場景下的認知功能進行生理和心理評估。而國內對VR認知評估和訓練的運用主要集中在飛行員、孤獨癥、腦損傷患者及老年癡呆患者[14-18],鮮有應用VR技術對軍人工作記憶進行評估與訓練的相關研究。因此,本研究擬利用程曉彤等[19]構建的陸軍軍人工作記憶 VR訓練系統中VR虛擬駕車和哨卡場景任務來增加被試者認知負荷,采集能反映個體副交感和交感神經激活程度的心率變異性(HRV)頻域信號,如高頻成分(HF)、低頻成分(LF)、標準化的高頻功率(HFnorm)、標準化的低頻功率(LFnorm)和HF與LF的比值(LF/HF)。這些都與個體的自主神經系統的調節、呼吸活動、應激狀態及情緒有關,因此,在本研究中用于推測被試者的工作記憶和認知負荷水平[20]。同時,利用眼動追蹤技術記錄被試者的眼動軌跡和瞳孔變化等,以反映個體對信息的實時獲取和加工過程[21],探討高認知負荷下工作記憶VR訓練對軍人HRV及眼動信號的影響。

1 資料與方法

1.1 一般資料

從某陸軍單位抽取60名軍人分別進入駕車組和哨卡組,每組30名。期間有4名被試者因休假、外出學習等原因未能完成訓練,最終回收有效數據56份,駕車組27名、哨卡組29名。所有被試者均為男性,年齡18～25歲,平均(20.86±1.80)歲。本研究獲得陸軍軍醫大學倫理委員會批準[IEC-C-(B013)-02-J.02],所有被試者對本研究知情同意。

1.2 方法

1.2.1試驗設備

本研究的實驗設備包括2套VR設備(包括頭戴式設備、操控手柄和定位器),1個模擬駕駛器(羅技G29方向盤+Playseat駕駛器座椅),2個生物反饋儀和2臺計算機。生理反饋儀采用加拿大Thought Technology公司生產的Procomp infiniti/BioGraph infiniti八通道多參數生物反饋儀,通過指端生物反饋儀的指端傳感器記錄被試者的HRV頻域指標。眼動儀采用的是HTC VIVE Pro Eye專業版VR眼鏡,其集成Tobbi眼動追蹤功能,利用SteamVR2.0跟蹤技術,采用雙AMOLED顯示器,注視數據輸出頻率(雙眼)為120 Hz,追蹤視角為110°,精度為0.5°～1.1°,刷新率為90 Hz,雙眼分辨率為2 880 P×1 600 P,可輸出數據有時間戳、凝視原點、凝視方向、瞳孔位置、瞳孔直徑和睜眼狀態。

1.2.2高認知負荷下工作記憶VR訓練

采用程曉彤等[19]構建的陸軍軍人工作記憶VR訓練系統,在VR場景中被試者需同時完成戰斗任務(駕車任務1級/哨卡任務1級)和工作記憶任務(n-back任務、數字轉換任務和色詞Stroop任務),戰斗任務與工作記憶任務相結合,通過改變認知干擾的復雜度和強度調控被試者的認知負荷水平。編號規則為:戰斗任務中駕車任務編碼A,哨卡任務編碼B,工作記憶任務中n-back任務編碼a,數字轉換任務編碼b,色詞Stroop任務編碼d。訓練任務編碼見表1。

表1 訓練任務編碼表

1.2.3駕車任務

駕車任務通過設置敵我交戰區域中的安全區、埋伏區任務和障礙以造成認知干擾;被試者駕車在沙漠中行駛,道路摻雜干擾和障礙(安全區),或暴露在槍擊、爆炸及戰友受傷等戰爭場景(埋伏區)。類似于真實場景,被試者在駕車途中以方向盤和油門控制車輛方向和速度,或躲避障礙物。駕車過程中要同時完成工作記憶任務,從起點開始后,被試者單純駕車30 s 后擋風玻璃上呈現注視點“+”500 ms,而后呈現工作記憶VR訓練任務,包括n-back任務、數字轉換任務、色詞stroop任務,完成后到達終點。

1.2.4哨卡任務

哨卡任務通過設置白天和夜間兩個場景調控被試者的認知覺醒水平;被試者在虛擬哨卡場景中執行任務,觀察通過的車輛,車輛停下時耳機會向被試者報告通過車輛的分類,可能是中國軍人、中國平民、中國警察或可疑叛亂分子,被試者要立即判別報告是否正確,按左右手柄作出反應,正確按“左手柄”,錯誤按“右手柄”,其中匹配刺激與非匹配刺激比例為2∶1,按鍵車走,車輛通過后會呈現工作記憶VR訓練任務,包括n-back任務、數字轉換任務和色詞Stroop任務。

1.2.5工作記憶VR訓練

工作記憶VR訓練任務包含:(1) n-back 經典的字母匹配任務;(2)色詞 Stroop 任務,經典的顏色命名任務,以固定和隨機位置兩級難度展現“紅”“綠”詞匯;(3)數字轉換任務,固定位置指難度數字出現位置和注視位置一致,隨機位置指難度數字出現位置不固定,以九宮格區間出現。

1.2.6實驗流程

在正式實驗之前被試者先休息5 min,在中指連接生物反饋儀。首先測試5 min的靜息態,同時對VR眼鏡進行眼動校準,然后戴上VR眼鏡完成n-back、數字轉換和色詞Stroop 3個任務,任務過程中通過生物反饋儀的指端傳感器記錄被試者的HRV,連接生理反饋儀記錄其心電信號,VR眼鏡同時記錄被試者的眼動信號。駕車組和哨卡組被試者共完成VR訓練前和訓練后6項任務,包括駕車組A1a1、A1b1、A1d1,哨卡組的B1a1、B1b1、B1d1。

1.3 生理指標收集

THAYER等[22]提出由于迷走神經與前額葉皮層聯系緊密,所以交感神經活動與認知能力存在直接聯系,且HRV生理信號不存在延遲問題,是對交感神經系統的首批反應之一,對于驗證認知負荷的準確率較高[23]。因此,本研究采集被試者任務訓練前和任務訓練后的HRV頻域指標(HFnorm LFnorm、LF/HF比值)作為被試者認知負荷水平變化的判斷信息,此外,工作記憶中的視空間模版負責視覺信息的暫時儲存。眼動數據是反映個體認知負荷水平的有效生理指標[24],可以通過個體的瞳孔直徑和熱力圖判斷認知負荷水平的高低[25]。因此,參考以往研究[26],本研究采集被試者任務訓練前和任務訓練后左眼的瞳孔直徑(mm)和熱力圖(所有被試者的瞳孔位置)分別反映認知負荷水平的變化。

1.4 統計學處理

2 結 果

2.1 駕車組任務訓練前、后的HRV及瞳孔直徑比較

駕車組A1a1任務訓練前的瞳孔直徑明顯大于任務訓練后(P<0.01);訓練前、后的LFnorm、HFnorm、LF/HF比值差異無統計學意義(P>0.05)。A1b1任務訓練前的瞳孔直徑明顯大于任務訓練后(P<0.01);任務訓練前、后的LFnorm、HFnorm、LF/HF比值差異無統計學意義(P>0.05)。A1d1任務訓練前的瞳孔直徑、HFnorm明顯大于任務訓練后(P<0.01);任務訓練前、后的LFnorm、LF/HF比值差異無統計學意義(P>0.05),見表2。

表2 駕車組任務訓練前、后的HRV及瞳孔直徑比較或M(Q1,Q3)]

2.2 哨卡組任務訓練前、后的HRV及瞳孔直徑比較

哨卡組B1a1任務訓練前的瞳孔直徑明顯大于任務訓練后(P<0.01);任務訓練前、后的LFnorm、HFnorm、LF/HF比值差異無統計學意義(P>0.05);B1b1任務訓練前的瞳孔直徑明顯大于任務訓練后(P<0.01);任務訓練前、后的LFnorm、HFnorm、LF/HF比值差異無統計學意義(P>0.05)。B1d1任務訓練前的瞳孔直徑明顯大于訓練后(P<0.01);任務訓練前、后的LFnorm、HFnorm、LF/HF差異無統計學意義(P>0.05),見表3。

表3 哨卡組任務訓練前、后的HRV及瞳孔直徑比較或M(Q1,Q3)]

2.3 駕車組任務訓練前、后的熱點圖比較

A1a1任務訓練前被試者的瞳孔位置分布集中,最高次數達1 400次,熱點較少且范圍較小;任務訓練后被試者的瞳孔位置分布較廣,最高次數不到400次,熱點較多且范圍較廣。A1b1任務訓練前被試者的瞳孔位置分布較廣,最高次數達800次,熱點較少,范圍較大;任務訓練后被試者的瞳孔位置分布較廣,最高次數不到250次,熱點較多且范圍較廣。A1d1任務訓練前被試者的瞳孔位置分布較廣,最高次數達400次,熱點較多,范圍較小;任務訓練后被試者的瞳孔位置分布較廣,最高次數不到300次,熱點較少且范圍較小,見圖1。

熱點圖的橫坐標代表瞳孔位置左右變化,縱坐標代表瞳孔位置上下變化,曈孔中心點位置坐標為(0.5,0.5)。

2.4 哨卡組任務訓練前、后的熱點圖比較

B1a1任務訓練前被試者的瞳孔位置分布集中,最高次數不到400次,熱點較多且范圍較廣;任務訓練后被試者的瞳孔位置分布較廣,最高次數不到350次,熱點較多且范圍較廣。B1b1任務訓練前被試者的瞳孔位置分布較廣,最高次數達600次,熱點較少且范圍較小;任務訓練后被試者的瞳孔位置分布較廣,最高次數不到350次,熱點較多且范圍較廣。B1d1任務訓練前被試者的瞳孔位置分布集中,最高次數達4 000次以上,熱點較少且范圍較小;任務訓練后被試者的瞳孔位置分布較廣,最高次數不到350次,熱點較多且范圍較廣,見圖2。

熱點圖的橫坐標代表瞳孔位置左右變化,縱坐標代表瞳孔位置上下變化,曈孔中心點位置坐標為(0.5,0.5)。

3 討 論

根據以往研究可知,隨著認知負荷的增加,LFnorm和LF/HF比值也明顯增加[27-28],與工作記憶任務成績呈正相關[29]。但在本研究結果中,除A1d1任務訓練前的HFnorm值明顯大于任務訓練后,其余任務訓練前、后的LFnorm,HFnorm和LF/HF比值差異均無統計學意義(P>0.05),表明在經過高認知負荷工作記憶訓練后,被試者的認知負荷和工作記憶水平沒有變化。這與一些研究結果不一致,如CORRIGAN等[30]發現新兵在基礎訓練前期HRV升高,提示認知負荷升高,在訓練后期HRV的降低表明認知負荷減少。以及COLEMAN等[31]發現經過VR訓練,兒童在現實學習場景中的工作記憶明顯提高,注意力集中時間增加。這不一致的現象可能和被試者采集生理信號時的身體動態相關,HRV頻域信號和認知負荷之間的關系通常是被試者坐在電腦屏幕前時測量的,而VR訓練過程中需要高度的身體運動,可能會影響測量到的HRV頻域信號,如HE等[32]發現HR相關生理數據在測量認知負荷水平上的準確率比眼動數據低1%～15%,可能HRV并不適用在運動狀態VR訓練時測量被試者的認知負荷。在本研究中,被試者佩戴生物反饋儀的同時伴隨身體運動來完成VR訓練任務,可能導致的HRV信號記錄誤差或錯誤,這可能是本研究架車組和哨卡組任務訓練前、后的LFnorm,HFnorm和LF/HF比值無差異的原因,有待關于生理信號指標的進一步研究。

從以往研究的眼動數據中發現完成簡單任務時的注視時間、注視次數、瞳孔直徑均明顯小于復雜任務[33],或是一些高工作記憶容量被試者在句子閱讀任務中的總注視時間和首次注視時間均明顯低于低工作記憶容量被試者[34]。本研究中兩組軍人任務訓練前的瞳孔直徑均明顯大于訓練后,說明經過高認知負荷下工作記憶VR訓練,在完成相同工作記憶任務時的認知負荷水平降低。其次,熱力圖用于判斷被試者注視次數和注視分布情況,個體的注視點分布會隨著認知負荷的增加變得更為集中[25],且在相同任務中高工作記憶容量個體的注視次數均明顯小于低工作記憶容量個體[34]。本研究對任務訓練前、后的瞳孔位置熱點圖進行分析發現,除A1d1和B1a1任務之外,其余任務在完成訓練前任務時的瞳孔位置較訓練后更為集中,說明被試者任務訓練前的認知負荷大于訓練后,且任務訓練后較任務訓練前注視次數降低,說明被試者工作記憶水平有增強。因此,本研究的眼動結果顯示被試者軍人經過高認知負荷下工作記憶VR訓練后,其認知負荷水平降低,工作記憶能力增強,佐證了高認知負荷下工作記憶VR訓練對提高認知負荷和工作記憶能力是有效的。這與一些研究結果相似,如BINSCH 等[35]發現警察被試者經過VR訓練后工作記憶容量增加,在真實監視任務中的表現力和恢復力都得到提升,程曉彤等[19]也發現相比于對照組,VR組經過訓練后工作記憶容量、刷新和抑制功能有明顯提高。盡管本研究觀測指標不同于以往研究,但結果相同,都驗證了VR訓練技術用于增強工作記憶和提高認知負荷能力的有效性。

綜上所述,本研究利用軍人高認知負荷下工作記憶VR訓練系統任務增強了軍人工作記憶容量和認知負荷能力,為 VR訓練技術應用于軍事認知心理訓練提供了實證支持。本研究的局限在于:首先,可能受限于HRV生理信號采集過程的影響,HRV信號任務訓練前、后幾乎無明顯差異。其次,沒有進行長期追蹤,無法確定軍人工作記憶能力的訓練效果是否能長時間持續,以及高認知負荷下工作記憶VR訓練效果是否能遷移到真實任務場景中。未來的研究中,應結合腦電圖(EEG)或功能性磁共振成像(fMRI)等技術為工作記憶能力訓練效果提供更全面的生理指標支持,同時考慮進行長期可追蹤的研究,驗證訓練效果的持續時間和對真實任務完成情況的影響。同時,隨著近幾年人工智能、大數據和增強現實(AR) 等技術的發展,期望能結合多種技術模式,進一步完善真實戰場環境和任務模式,并為不同的訓練個體提供個性化和高交互性的訓練模塊,如根據不同的認知目標,選擇不同的訓練任務,更加個性化地對認知能力、注意力或決策能力等進行訓練。以此來達到高度化“人-機-環”交互,進而為實現軍人認知增強提供更全面的訓練方式。