視線追蹤聯合腦電的飛行員操縱意圖檢測方法

蔣光毅，王長元，劉洲洲

(1.西安航空學院 計算機學院 ,西安 710077;2.西安工業大學 計算機科學與工程學院,西安 710021)

隨著航空技術發展,飛行器可靠性不斷提高,機組乘員能夠從5人減到2人。而美國航空航天局(National Aeronautics and Space Administration,NASA)提出的單人飛行員駕駛(Single pilot operation,SPO)模式,即保持原有2名機組乘員的安全性同時實現大型民航飛機的單人駕駛,緩解航空業中飛行員短缺壓力[1-2]。文獻[3]總結了實現SPO模式的不同方法,其中”以人為中心”是一個主要方向。目前的航空自動化系統依然脆弱[4],飛行員的行為狀態是影響飛行的主要因素,單人飛行員顯然會承受過大的負荷壓力[5-6]。”以人為中心”思路強調通過研究飛行員任務認知、狀態感知、操縱意圖等各種人因狀態,提高人機交互效率,以降低飛行員的工作負荷,從而保障飛行安全。采用腦電、眼動等多種方法實現對飛行員的飛行認知與操縱意圖深入分析,是實現”虛擬飛行員助理”智能自主化系統的重要一環[7]。

相關研究表明,飛行員對于飛行狀態信息的感知通道主要為視覺[8]。飛行員對飛行的主要操縱決策需要以視覺信息為基礎。因此,結合眼動追蹤技術,對飛行員進行視覺注視分析,是一種從視覺通道對飛行員進行操縱意圖分析的有效方法[9]。視線追蹤獲取的是被測人員的注視落點,視線追蹤檢測設備采樣率能夠100 Hz以上,面對大量的實時數據,文獻[10]在飛行員注視分析中引入感興趣區域(Area of Interest,AOI)分析法。該方法將飛行座艙與視景按照存在的主要信息語義分為多個不同的區域,在研究過程中只討論飛行員視線落在不同的區域的情況,簡化了數據分析。

腦活動生物信號是由腦部神經活動產生的可被傳感器檢測到的生物信息。目前非侵入的可穿戴式腦活動檢測方法有基于神經活動引起的血氧飽和度耦合信號的近紅外腦活動成像技術和基于皮膚表面生物電信號的腦電圖技術[11-12]。其中,腦電(Electroencephalogram,EEG)是通過在頭部皮膚表面不同位置粘貼的多個電極獲取的不同腦部區域神經活動產生的生物電信號實現對腦部活動的分析。而EEG腦電儀也是一種使用簡單、可靠、輕便、安全、廣泛應用的非侵入穿戴式腦電采集設備。

近年來,相關研究者對腦電數據的分析進行了詳盡的研究。而傳統腦電數據的分析是基于先驗經驗總結的數據特征計算方法和特征規律。例如腦活動研究中一般將腦電信號分為5種頻率(Delta、Theta、Alpha、Beta、Gamma)進行特征分析[13-14]。而文獻[15]基于不同頻率腦電活躍程度分析實現了對失眠患者的相關疾病診斷。文獻[16]提出一種新型濾波器組公共空間模式實現關鍵腦電特征的自動選擇。

隨著人工智能的發展,深度學習技術展現出的對于復雜特征的分析能力在腦電領域具有巨大的潛力[17-19]?；谏疃葘W習的神經網絡從大量的訓練樣本中自主學習神經活動信號特征,通過監督學習的方式實現對腦電數據良好的識別性能。在一些研究中,通過將EEG數據作為一種由多電極電壓與時間序列構成的多維度數據,進行基于卷積神經網絡(Convolutional Neural Network,CNN)的分類分析,獲得了平均80%以上的準確率[20-22]。文獻[23]對肢體動作的意圖分析,文獻[24]通過EEG進行運動想象檢測研究,以及文獻[25]采用神經網絡方法進行運動想象的識別檢測,文獻[26]基于EEG腦電數據進行情緒情感的識別,也說明了EEG具備進行復雜意圖層面的分析能力。

文中在貼近實際飛行的狀態下進行飛行員腦電、視覺注視同步數據采集,受試人員自然連貫地完成飛行科目,將注意力集中于飛行科目的完成質量,保證了飛行實驗中飛行員狀態與實際飛行中的狀態具有高度一致性,使采集的腦電數據貼近實際飛行中飛行員狀態,能夠獲得可信度較高的視覺注視聯合腦電的操縱意圖數據樣本。同時,設計的神經網絡分類模型,利用轉換編碼器(Transformer Encoder)的注意力機制提高對多維度復雜腦電數據的特征搜索能力和模型分類效率,最終實現了平均92%的操縱意圖分類準確率。

1 基于視覺注視、飛行操縱的飛行員操縱意圖特征分析方法

1.1 視覺注視數據特征

實驗平臺將飛機座艙在主顯示器上以固定視角顯示,采用的紅外非穿戴式眼動儀能夠實時獲取被試者在主顯示器上的注視落點坐標。為了簡化分析,AOI分析法,即對主顯示器畫面中圖像按照信息類別進行區域劃分,當注視駐留在感興趣區域內,則認為飛行員獲取了該區域內的主要感知信息。感興趣區域分析法不用具體分析注視點如何通過注視區域內的文字指針細節獲得信息。如圖1所示,飛行中包含關鍵飛行信息的AOI區域則有:姿態儀、垂直速度表、高度表、空速表和磁航向表,這些AOI區域在模板中按照不同顏色編碼進行劃分。

ADI—姿態;RMI—電磁航向指示;ADF—自動側向儀;SPD—空速表;ALT—氣壓高度表;VSI—垂直速度表

進行AOI注視分析時,會將視覺注視數據分割為不同時長的注視事件,其中注視進入某一個AOI區域到移出該AOI區域為一個注視事件。為了研究每個注視儀表的事件中飛行員獲取儀表信息情況,將注視漂移速率和注視時間作為主要分析數據,一般研究認為當注視某儀表AOI區域時間足夠長且注視漂移速率較小,則能說明飛行員從該儀表中讀取了信息。

注視漂移速率是注視落點在屏幕上的漂移速度,單位為像素/秒。為了方便與其他類型數據融合,需要對注視漂移速率進行全局對比度歸一化處理。設veye(t)是t時刻的注視漂移速率,由于眼動儀采樣率為100 Hz,則每組數據為10 ms內的注視漂移平均速度。式(1)中,所有實驗的注視漂移數據集合為Veye,獲得t時刻注視漂移速率的標準化的數據Q(t)。

(1)

然后,將Veye帶入式中獲得整個實驗的標準化數據Q,并求標準化數據Q的最大值和最小值。最終獲得t時刻的注視漂移速率的全局對比度歸一化數據。

(2)

每一個注視事件包含一組視覺注視漂移速率序列數據。為方便將注視漂移速率作為注視信息獲取的判斷依據,對每個注視事件中的注視漂移速率數據進行微分熵特征提取。式(3)首先對注視某個AOI區域的注視漂移全局對比度歸一化序列數據計算平均功率密度PSD,其中fs是頻率。由PSD計算注視漂移速率的微分熵DE。

(3)

DEeye=log2(PSDeye)。

(4)

根據微分熵的特性可知,注視漂移速率越低,平均功率密度越小,則微分熵值越小。當某一個注視事件的注視漂移速率微分熵特征值較小時,即便注視時間相比起來并不長,但也能說明飛行員凝視了儀表并有極高概率獲取到了儀表信息。

1.2 飛行操縱數據特征

飛行器的主要操縱設備為操縱桿、腳舵和油門,其中一共有4個操縱自由度,并且每個自由度輸出數據為軸數據。實驗平臺中,操縱軸數據也是一個100 Hz的時間序列數據。由于巡航飛行的特點,飛行員對操控桿的桿量的調整是基于對飛行態勢的修正,因此巡航飛行段的飛行操縱數據對操縱意圖有更明顯的特征表現。

通過信號功率表達飛行操縱特征。式(5)對每個操縱軸的變化率進行特征計算,其中a、b為樣本的起止時刻,Oper(t)為軸變化率,Oper2(t)則為信號功率。

(5)

能量特征體現在樣本序列數據中,飛行員操縱搖桿的情況,在進行機動調整的時候,相關操縱軸數據會出現教大的能量變化特征。

1.3 操縱意圖特征分析

如圖2所示,對一個視覺注視事件的操縱意圖分析是融合注視數據和操縱數據的特征進行判斷,以解決單純的視線注視數據在操縱意圖分析不確定性的問題。當飛行員注視某個飛行儀表并進行相應的飛行操作,則能明確該視覺注視事件的操縱意圖類別。針對基礎飛行中4種操縱意圖,分別為高度、空速、姿態、航向。

圖2 基于注視事件的操縱意圖分析

針對不同閱讀類型的凝視時間的研究,見表1。人眼注視AOI區域超過200 ms就能說明已經讀取AOI區域中的信息[27]。同時注視漂移速率微分熵特征值越低則注視越穩定,表示飛行員在實際讀取儀表上的信息。如圖3所示,將飛行實驗中注視高度表AOI區域事件的注視微分熵特征進行排序,并觀察凝視時間的變化趨勢。通過對注視時間曲線平滑處理后可見,當注視漂移微分熵特征值較高時,凝視時間呈整體下降趨勢。

表1 不同閱讀類型的注視持續時間

圖3 視覺注視微分熵特征

將注視漂移速率的微分熵特征值的閾值設為-5,注視時間閾值設為200 ms。即注視超過200 ms且注視速率微分熵特征值小于-5時,則說明飛行員在閱讀儀表。最后,將操縱數據作為參考明確閱讀儀表的視覺注視由相應的操縱意圖驅動。以高度感知為例,如圖4所示,飛行員注視高度表的注視漂移速率與俯仰軸操縱信號能量特征的統計關系,其中操縱信號能量特征分析窗口是對注視開始到之后2 s的操縱數據進行計算。同理空速與油門節流閥軸數據相關,姿態與操縱俯仰軸和橫滾軸相關,航向與操縱桿橫滾軸數據相關。

圖4 高度俯仰的飛行操縱量的能量特征

整理飛行員關注高度、空速、姿態、航向四種狀態感知的儀表注視和操縱數據。設置操縱意圖的分類閾值見表2,即當飛行中飛行員注視某個儀表AOI區域時同時滿足相應注視持續時間、注視微分熵特征和對應的操縱數據能量特征時,則能判定感注視行為的操縱意圖類別。截取從注視開始1 s的腦電EEG數據作為訓練樣本。

表2 操縱意圖閾值設置

2 融合腦電的Transformer-CNN操縱意圖分析

2.1 腦電數據采集方法

如圖5所示,使用Bitbrain的32導半干式電極腦電儀對受試者進行腦電信號采集,該腦電儀采樣頻率256 Hz。使用時,EEG腦電儀的電極濕潤后貼在頭皮表面。其中電極在頭皮上的位置分布遵循美國臨床神經生理學會制定的導聯方案,即以10-10導聯系統和10-20導聯系統[28-29]作為互補為每個腦電電極分配具體位置。

圖5 半濕電極32導腦電儀

腦電信號采集到后首先進行濾波處理,去除掉環境中的干擾信號。濾波處理后的腦電信號可以看作為每秒256幀的時間序列數據。如圖6所示,額頭區域的Fp1、Fpz、Fp2、AF3和AF4容易受到眨眼眼球運動神經信號干擾,分析時排除這四個電極。根據實際實驗使用情況,選擇性排除一些因佩戴效果不佳導致信號不穩定腦電電極數據。

圖6 腦電檢測區域

2.2 Transformer-CNN操縱意圖分析模型

EEG腦電數據是一個多維度時間序列數據。設計了一個基于轉換器(Transformer)的神經網絡模型解決腦電數據分類問題。Transformer通過自注意力(Self-Attention)機制提高算法處理復雜數據分析與訓練效率[30]。如圖7所示,文中的網絡模型由1個Transformer encoder融合CNN的網絡模塊和特征融合模塊構成。

圖7 基于Transformer的神經網絡模型

1) EEG時空特征特征提取

(6)

為了擴展Self-Attention對不同位置數據的關注能力,Transformer采用多頭注意力機制,即將輸入數據的Q、K、V三個向量通過線性變換映射到不同的空間中,獲得多組向量數據,并對每組數據分別進行Attention計算,并將結果拼接起來。

(7)

Transformer Encoder中,輸入EEG數據由多頭注意力處理的數據再進行退出計算(DropOut)、歸一化處理后再進行卷積處理。其中卷積處理如式(8),(Cx,Cy)為鄰接卷積層數,W為權值矩陣,fk為過濾器階數,b為偏置。如圖7所示,注意力處理后的數據和卷積處理后的數據分別于原輸入序列數據進行疊加后輸出進行特征融合。

(8)

輸入數據經過Transformer Encoder和CNN網絡層處理,并進行全局平均池化處理后獲得的是與操縱意圖分類相關度較大的256維度的特征數據。特征融合分類采用128節點的全連接層與DropOut組合方式。張量扁平化后的輸出的數據為labell的概率值,l為分類數。

3 模擬飛行實驗與結果分析

3.1 模擬飛行實驗設計

如圖8所示,在一種小型化的模擬飛行運動平臺上開展試驗,模擬平臺由運動平臺、顯示器、手不離桿式(Hands on Throttle and Suck,HOTAS)搖桿、腳舵構成。其中采集設備包含非穿戴式眼動儀、32導穿戴式腦電帽。如圖9所示,模擬機型采用C-101單發噴氣式教練機。實驗訓練科目為五邊飛行。

圖8 模擬飛行平臺

圖9 C101模擬飛行機型

每次飛行實驗,飛行學員會進行多次五邊起落飛行練習。獲取數據后,首先通過飛行數據對實驗數據進行任務分段,提取巡航飛行階段數據。

根據視覺注視姿態儀、高度表、垂直速度表、空速表、磁航向儀AOI區域注視事件,融合注視事件發生后2 s內的操縱數據,對飛行員高度、姿態、航向和空速操縱意圖進行分析。提取操縱意圖的事件時間數據。接著,將操縱意圖的事件時間數據,截取注視事件開始時間后1 s的對應EEG腦電數據作為樣本。將注視事件對應的高度意圖、空速意圖、姿態意圖和航向意圖作為腦電樣本數據的標簽。將視覺注視非飛行信息相關區域的注視事件切割對應的EEG樣本作為非操縱意圖樣本。

3.2 構建神經網絡模型與訓練實驗

建立基于Transformer-CNN的多維度腦電數據分類模型,使用飛行實驗數據建立的數據集進行神經網絡訓練。如圖10所示,經過200次(Epoches)訓練后,訓練準確率達到94%,損失降低到0.18。

圖10 神經網絡模型訓練損失率與準確率 Fig.10 Loss rate and accuracy of neural network model training

將訓練完成的神經網絡模型對四位飛行學員數據進行測試,平均準確率為92%,見表3。長短期記憶(Long Short Term Memory,LSTM)神經網絡方法對本文數據集的分類準確率為86%,可見基于Transformer的神經網絡模型在分類性能上有顯著提升。

表3 不同受試者與不同方法的對比

4 結 論

從貼近實際飛行的實驗中獲取視覺注視、操縱、腦電數據,通過視覺注視、操縱與飛行數據進入融合的方式實現腦電EEG意圖樣本的篩選與提取。這種方式保證了腦電數據中包含的意圖信息是飛行員在應對實際飛行中所產生的。經過基于Transformer-CNN的神經網絡訓練實驗,腦電操縱意圖分類準確率能夠達到92.74%,與LSTM算法相比有明顯提高。

以基礎飛行訓練為實驗科目,對操縱意圖分析集中于對高度、空速、航向和姿態這些飛行基礎飛行的檢測?；谖闹蟹椒ǖ脑砹鞒?修改實驗科目,可擴展到其他對象的操縱意圖分析。適應不同飛行任務、不同駕駛環境下的飛行員操縱意圖分析需求。為航空輔助智能中飛行員的狀態監測研究與應用提供理論方法支持。