基于視線追蹤的三維模擬滅火救援培訓效果評估

胡瑾秋 胡靜樺 張曦月

（中國石油大學（北京）安全與海洋工程學院，北京 102249）

0 引言

視線追蹤技術能夠分析操作者的心理過程，適用于監測與識別設備系統操作者的認知狀態。近年來，對視線追蹤技術的應用包括醫療安全、駕駛安全、視覺搜索和信息處理等方面[1-4]。文獻[5]使用視線追蹤技術來評估新手和駕駛熟練的飛行員的操作行為并判斷其認知狀態。文獻[6-7]對外科醫生的操作熟練度進行判斷，發現經驗較少的外科醫生視線主要集中于手術顯示器而忽視患者的生命體征。文獻[8]中使用眼動數據識別專業車手和新手，將視線注視情況與道路環境相關聯以評估駕駛員的行駛狀態。同時，相關學者也開展了一系列眼動追蹤系統軟硬件以及認知行為評估等關鍵技術的研究[9-11]，在提高注視點標定準確度等方面取得了一定的成果。因此，視線追蹤技術能對各個領域中操作者的認知狀態進行有效的監測，從而實現異常行為的早期預警。

本文利用視線追蹤系統結合滅火救援指揮三維計算機模擬訓練平臺開展基于視線追蹤技術的油庫滅火應急救援能力評估。針對穩定燃燒型火災模擬實驗、爆炸型火災模擬實驗、火災救援中冷卻與供水實驗等場景，通過分析操作人員的各項眼動數據建立以眼動數據為指標的救援能力評估模型。

1 眼動分析實驗

本實驗利用滅火救援指揮三維計算機模擬訓練平臺（簡稱滅火救援系統），研究實驗人員在模擬油罐火災發生后的滅火救援能力。實驗場景設計為某廠區一個拱頂油罐的火災，實驗模擬的火災類型包括滅火救援系統中的穩定燃燒型火災模擬實驗、爆炸型火災模擬實驗、沸溢型火災模擬實驗以及敞開式火災模擬實驗。在實驗過程中，操作者通過選擇正確的消防滅火劑及其流速和流量，利用鍵盤、鼠標控制人物行走和消防槍的位置姿態，對著火油罐進行滅火救援。當火量減少為0時視為當前任務成功，同時設定規定實驗時間為240s，若測試者在規定時間內無法完成上述整個流程，則實驗記錄將會自動停止，視為實驗失敗。部分階段的操作界面，如圖1。

在實驗期間，測試者操作滅火救援系統對異常事件進行處理的過程中，其各項動作均被視線追蹤系統記錄下來，包括視線的移動、鼠標的點擊移動以及對各項參數的輸入。

圖1 實驗興趣區域劃分Fig.1 Shape of various AOIs in the experiment

圖2 熱點圖Fig.2 Eye movement hotspot map

2 失誤模式與失誤特征提取

2.1 興趣區域劃分

實驗結束后，利用眼動分析軟件得到的熱點圖像可以直觀地展現測試者在操作過程中的視線停留情況。如圖2是一位典型測試者在測試部分階段的熱點圖像，熱點區域顏色較深部分表示測試者在該區域的注視時間較長，因此從圖中可以看出測試者在實驗過程中對某些區域展現出較大的關注度，分配趨勢大致是以系統給出的文字提示為主，并且在實施滅火救援階段對火量和具體火情較為關注。

對規定目標區域的眼動指標的分類分析可以將數據的有效性最大化并且使校準誤差最小化。因此我們依據對熱點圖的分析，將整個實驗系統中的10個特定的區域設置為興趣區域，其中包括4個提示欄模塊、3個選擇輸入模塊、1個火量顯示模塊、1個火勢模塊以及1個實驗開始模塊。興趣區具體的形狀、大小的劃分情況，如圖1文字標注。

2.2 測試者認知行為分析

利用眼動數據分析軟件對興趣區域進行劃分，通過數據統計可以得到測試者在各個區域的注視時間。圖3是一位典型測試者在進行穩定型油庫滅火救援實驗時在各興趣區域注視時間的分布情況。

圖3 典型測試者各興趣區注視時間分布Fig.3 The fi xation time distribution of each AOI of typical subjects

從圖3可以看出，測試者在提示欄模塊和選擇輸入模塊的注視時間較長，分別為40.7%和35.4%，在火勢模塊的注視時間最少，僅為2.3%。這一結果表明，在實驗過程中測試者對于提示欄模塊以及選擇輸入模塊的重視程度是最高的，同時滅火劑種類的選擇及其流量、流速的設置也都是測試者們在進行實驗時所關注的重點。

2.3 失誤特征的提取

在以上數據分析階段，發現進行失敗操作的測試者的眼動數據與典型操作具有不同的特征。因此按不同眼動特征對這些測試者的眼動數據進行分類，并按其操作方式定性為不同的認知狀態。將這些認知狀態與安全行為科學原理中關于人為失誤分類方法的概念法分類結果（偏離、疏忽、錯誤）相結合，最終得出3類人為失誤的失誤模式：精神萎靡、高度緊張以及操作生疏，如圖4。從而將實驗結果按認知狀態分為4組：A組：測試者正常操作狀態；B組：測試者精神萎靡狀態，包括測試者疲勞或在實驗期間受其他因素的影響；C組：測試者高度緊張狀態；D組：測試者操作生疏狀態。包括未培訓以及培訓完后未掌握操作技巧的人員。

圖4 失誤模式分類Fig.4 Fault pattern classi fi cation

將這4組在各個目標區域的視線停留時間進行對比分析，得到其注視時間分布圖，如圖5。圖中橫坐標按4種狀態在不同區域的注視情況分類，縱坐標為該組在該區域視線停留時間占總時間的百分比。

圖5 4類測試者各興趣區注視時間分布Fig.5 The fi xation time distribution of each AOI of the four types of subjects

從圖5中可以看出：B組在提示欄模塊和選擇輸入模塊的注視時間遠低于A組，分別為25.4%和24.5%，而在火勢模塊上遠高于A組，達到了23.2%。C組在實驗開始模塊的注視時間遠高于A組，達到了24.4%。D組在提示欄模塊和選擇輸入模塊的注視時間遠低于A組，分別為20.4%和18.5%，而在火勢模塊和火量模塊上遠高于A組，分別達到了16.1%和29.8%。

劃分興趣區域后，利用眼動分析軟件可以得到測試者在不同區域之間的轉移頻次，因此使用統計估算建立一步轉移概率矩陣，將測試者注視在各個興趣區的情況作為所要構成的馬爾可夫鏈中的一個狀態，然后統計出測試者在不同區域之間轉移的概率。設1，2，3，4，5分別對應操作者注視實驗開始模塊、提示欄模塊、火勢模塊、選擇輸入模塊及火量模塊。aij為由i區域轉向j區域的頻數。如a23表示測試者當前的注視點為提示欄模塊即處于2區域，下一注視點轉換為3區域（火勢模塊）。

設∑nj=1aij=ai（i,j=1,2,…n），那么由狀態i轉向狀態j的轉移概率為fij=aij/ai,（i=1,2…n）。在數據統計后，將測試者的轉移頻率近似地認為是轉移概率。這樣可以得到4組狀態測試者注視點馬爾科夫鏈的一步轉移概率矩陣：

當i=j時，對應所建立的馬爾可夫鏈一步轉移概率矩陣對角線上的數值，依據轉移矩陣的定義，該數值能夠反應出測試者們在各個興趣區域內停留重復注視的概率。通過對以上4個一次轉移概率矩陣的分析并結合興趣區域的劃分，對各組矩陣對角線上的概率值分析可以發現：與A類測試者對比，B類測試者在火勢模塊上的重復注視概率較大，D類測試者在火量模塊的重復注視率較大，其結果與各興趣區域注視時間分布的分析一致。而C類測試者對各個興趣區域的重復注視概率都比正常操作時的重復注視概率大的多，表明了該類測試者的注視視線的轉移頻率較低，易處于長期注視某一興趣區的狀態。

2.4 典型人員失誤特征

通過對測試者進行油庫滅火救援眼動實驗所得到的眼動數據的統計分析，最終提取出了3類典型失誤模式，即精神萎靡、高度緊張以及操作生疏的眼動失誤特征，見下表。

表 典型失誤模式及其特征Tab. Typical failure mode and its characteristics

3 案例分析

為了證明之前所提取的失誤特征的有效性，選取了其中一名無任何滅火救援培訓的測試者進行進一步的驗證分析。測試者首先在未接受培訓的情況下針對4種類型火災進行模擬現場滅火救援實驗，以模擬認知狀態為操作生疏類型的人員的操作，同時對其操作過程中的眼動數據進行采集。在進行滅火救援操作培訓后，同一名測試者重復以上實驗以模擬正常認知狀態時的操作。

通過統計以上兩組不同認知狀態下實驗所得到的眼動數據，最終得到了該測試者兩次實驗的各個興趣區域注視時間的分布，如圖6。

圖6 案例中興趣區注視時間分布Fig.6 The fixation time distribution of interest zone in the case

從圖6中可以看出，測試者在未進行滅火救援操作培訓時，其視線在火量模塊的注視時間較高，達到了25.5%。在熟練掌握實驗的操作技巧之后，該測試者的在火量模塊的時間占比下降了到了5.4%，并且在提示欄模塊以及選擇輸入模塊的停留時間明顯上升，分別達到了42.7%和32.4%。

由此可以看出測試者在正常操作狀態下以及操作生疏狀態下的視線分別集中于不同的特征區域。因此，也驗證了提取測試者在操作過程中在提示欄、選擇輸入以及火量模塊的注視時間作為識別兩種認知狀態的特征值是有效的。

4 結論

（1）針對現有的對于油庫滅火救援能力評估大多依賴于主觀判斷的情況，本文利用視線追蹤系統和實驗室滅火救援三維模擬訓練平臺實現了對模擬油庫滅火救援實驗時的眼動數據收集。提出了以眼動數據為指標的測試者失誤模式識別方法，從而實現對操作者操作狀態和認知行為的監測。

（2）本文通過對實驗界面進行興趣區域劃分，分別分析4類測試者在不同興趣區域的注視停留時間分布，并通過建立在不同區域間的一步轉移概率矩陣，最終得出了3類失誤模式的失誤特征：精神萎靡者視線長期注視火勢模塊，高度緊張者視線轉移頻率較低，操作生疏者視線長期注視火量模塊。

（3）利用操作者在不同區域的注視停留時間分布及其視線轉移情況可以判斷其認知狀態。這一結果對研究訓練平臺的培訓效果評估具有一定的現實意義，有助于明確培訓方向，完善培訓體系與內容。