飛行學員視覺感知狀態檢測算法研究

高麗娜，王長元

(1.西安工業大學 光電工程學院,西安 710021;2.西安工業大學 計算機科學與工程學院,西安 710021)

飛行安全是航空領域不可或缺的核心要素,直接關系到航空事業的可持續發展和人類生命的安全[1]。其中,飛行員的視覺感知狀態在飛行任務中扮演著至關重要的角色,他們的技能和決策直接影響著飛行的安全性。傳統的方法如心理問卷和生理指標雖然有一定作用,但在實時性、準確性和個性化方面存在局限性[2]。隨著計算機視覺、人工智能和數據分析等領域的發展,研究飛行員視覺感知狀態檢測算法已成為提升飛行安全和訓練效果的迫切需求。飛行員視覺感知狀態檢測算法研究的背景和意義在于提升飛行安全性[3]、優化培訓策略[4]、實現個性化警示系統[5],以及推動航空心理學[6]和創新技術[7]的應用,為航空領域的發展和進步提供關鍵支持。因此,這一研究的必要性不言而喻,對飛行安全和航空事業的未來具有深遠影響。

近些年軍事和商業航空技術、自動化和精密傳感技術在不斷發展,人類信息處理也發生了變化[8]。例如,飛行員處理駕駛艙外的視覺信息不像早期航空那樣多,而是必須從駕駛艙內的更多儀器提取信息,并將其整合成一個連貫的流程來管理飛行,人類對視覺數據的處理仍然是航空安全和有效性的關鍵因素之一[9-12]。許多研究表明,新手和專家的眼睛掃描模式有顯著差異[13]。專家對儀器的注視時間較短,且注視頻率高于新手[14]。文獻[15]利用眼動儀和飛行模擬試驗,采用專家-新手研究范式發現飛行員在進近航段主要關注姿態儀、水平狀態指示器和高度表,績效優秀組表現出更高的注視靈活性。文獻[16]采用高級眼動指標來研究專業飛行員和新手在視覺信息獲取、凝視模式的區別,他們認為可以使用飛行員視覺行為數據庫可以監測飛行員行為。文獻[17]將飛行特情中飛行員注意力分配與決策和飛行績效指標進行聯合研究,但未歸納總結特情中視覺注意分配模式。根據文獻[18-19],眼動跟蹤技術專注于通過諸如注視持續時間、掃視計數和瞳孔直徑的度量來確定操作者的認知狀態和注意力分布之間的相關性研究,目前已被廣泛應用于關鍵安全領域,包括航空,醫療和核電。文獻[20]結合視覺認知特征,通過眼動追蹤技術,提出人因設計與評估方法,改善駕駛艙儀表設計,提高人機工效,融合多感覺信息參數,提升設計師主觀認知與定量建模,為駕駛艙儀表人因設計提供科學依據。文獻[21]通過模擬實驗證明,在自動駕駛過程中,駕駛員的視覺注意力明顯分散。文獻[22]指出通過在任務期間將專家的視覺掃描疊加在雷達屏幕上來提高新手在沖突檢測任務中的表現。該研究還表明,視覺呈現優于“僅指令”條件。文獻[23]研究了教學和學員在特性情形下注意力分配的相關分析,但沒有進一步研究眼動與實時注意力分配的關系。文獻[24]使用頭戴式虛擬現實系統檢查眼球運動行為與現實世界專業知識之間的關系,以及通過檢查模擬器任務中的性能與現實世界專業知識之間的關系來評估虛擬飛行訓練的保真性和有效性。文獻[25]構建了模擬飛行過程中視覺掃描與腦力勞動的相關性,證明飛行員的表現和感知的心理負荷因專業知識和飛行條件而異,專家飛行員比新手飛行員腦力勞動量較低。文獻[26]也充分證明了飛行復雜度與凝視熵的相關性,當飛行處于低復雜度時,飛行員使用非確定性視覺模式,并在緊急情況下改變掃描行為變得更為確定性。

這些研究支持視覺模式與任務表現之間的關系,并證明了通過充分培訓改善這些模式的可能性,同時任務性能隨著經驗和相關專業知識的增加而提高。

鑒于隨著經驗的增加視覺掃描策略也會發生改進,因此研究基于高度精確的飛行員注視狀態檢測的訓練程序很有研究價值。在美國空軍,教練員正在積極采用眼動跟蹤技術,以提升飛行員對自身視覺掃描模式的認知水平[27]。與此同時,82%的教練匯報稱,這項技術顯著增強了飛行模擬器培訓的效益。此外,所有教練均一致認為,在初期培訓中引入眼動跟蹤技術,對矯正早期視覺掃描策略上的不足具有積極作用。近期,已開始將經驗豐富的空中交通管制專家的掃描路徑運用為一種教學手段,以提升新手在沖突檢測任務方面的表現。因此,文中提出了一種基于眼動信息的視覺掃描策略的狀態檢測方法,旨在提高飛行學員在訓練過程中視覺感知狀態的檢測能力和實時性。

1 飛行員眼動信息采集與視覺掃描數據分析

1.1 眼動信息采集

利用實驗室自制眼動跟蹤系統來追蹤用戶的雙眼眼動,眼動儀放置在顯示器屏幕上方,通過眼動儀中紅外攝像鏡頭在眼角膜上的反射實現檢測眼睛的運動,使用深度學習算法估計用戶的視線落點。這種眼動儀精度較高,采樣頻率100 Hz,且為非侵入式,不會對執行任務的被試產生佩戴不適感,設備裝置如圖1所示。

圖1 眼動儀設備

1.2 數據預處理

在飛行過程中,結合眼動儀進行視線跟蹤測量,使用數據的準確性和精密度來評估眼動追蹤設備的可靠性。精度定義為刺激的實際位置與眼動儀捕獲的視線位置之間的平均誤差。精度是眼動儀連續記錄相同注視點的程度,例如通過連續樣本的均方根測量。通過合理的配置和標定,眼動追蹤設備的可靠性可以滿足這些要求。因此,在實驗之前為每個參與者設置和校準設備,這是一個需要1～3 min的過程。此外,眼動追蹤設備的應用可靠性已在類似駕駛模擬中獲取實時眼動追蹤數據時得到驗證。

數據采集重點關注飛行員儀表注視情況,對儀表盤區域劃分為6個興趣區域(Areas of Interest,AOI)區域,分別是A起落架;B空速指示器;C高度表;D姿態指引儀;E水平狀態指示器;F垂直速度指示,如圖2所示。這種視覺監測在飛行階段(起飛、進近階段和著陸)中至關重要,需要將儀器上顯示的數據與飛行階段的預期值進行實時比較,駕駛艙內允許在參數偏轉時及時采取糾正措施從而確保最佳安全水平。

圖2 駕駛艙儀表盤區域劃分

注視瀏覽數據采集中,在飛行模擬器配置儀器邊界值,將儀器邊界和儀器id保存在配置文件中以備后用。同時將受試者的AOI眼動序列按照時間順序組成有向鏈。每個注視點被分配到一個AOI中,原始眼動數據是一系列點。為了獲得注視點序列,刪除了所有空值和異常值,并檢測了注視點。然后,通過合并連續和重復的 AOI 來壓縮數據,得到 AOI 序列。探測AOI上注視點的閾值設置為200毫秒,閾值由每個AOI的非駐留時間的平均值加上一個標準差組成,如

Φthreshold=μNDT+σNDT。

(1)

式中:Φthreshold為AOI的閾值;μNDT為AOI的非駐留時間的平均值;σNDT為AOI的非駐留時間的標準差。

視覺行為數據庫( Visual Behavior Database,VBD )包含每一個AOI在1 s內計算的平均非停留時間、標準差和閾值。

1.3 視覺掃描數據分析

飛行員視覺掃描數據分析是一種研究飛行員在飛行過程中眼睛注視行為的方法。它通過記錄和分析飛行員的眼動數據,即飛行員在飛行任務中眼睛的注視位置和持續時間,以揭示他們的視覺關注點、注意力分配和視覺行為模式。這種分析有助于理解飛行員在駕駛艙內如何獲取和處理信息,從而幫助改進飛行任務的執行、駕駛艙設計以及培訓方法。

經典的眼動測量方法,如注視持續時間、停留時間或注視次數,在比較新手與非新手時提供了相關結果[28]。然而,這些指標的統計分析往往涉及時間平均操作,忽略了信息的順序掃描。反映注意力動態過程的豐富數據會部分丟失,或者許多其他可用于在更深入的視覺掃描策略中探索和表征未得到充分利用。因此使用廣義的術語“視覺掃描”來描述這一過程。該視覺掃描由至少一次停留到一個AOI,隨后是過渡,以及停留到另一個AOI組成;當視覺掃描由給定重復序列組成時,使用“視覺掃描圖案”。

飛行員視覺掃描數據分析是一項重要的人機界面研究方法,旨在深入了解飛行員在不同飛行階段、任務和情境下的視覺行為。通過捕捉飛行員的眼動數據,即眼睛在駕駛艙內的注視位置和持續時間。這一分析提供了關于飛行員的注意力分配、信息獲取方式以及認知策略的深入洞察。確定飛行員在不同飛行階段、任務和情境下關注的主要區域。分析飛行員的注視路徑,了解他們是如何在駕駛艙內移動視線,以獲取信息。計算飛行員在特定區域保持注視的時間,以了解他們對不同信息的關注程度和信息獲取的難易程度。檢查視覺掃描策略的方法:① 分析轉換矩陣;② 環境/焦點視覺行為之間的波動的表征;③ 導出全局模式度量,諸如熵。分類視覺掃描策略指標基于AOI的三種方法:① 基于馬爾可夫鏈;② 基于注意模式;③ 基于序列分析。表1對不同視覺掃描指標進行比較。

表1 視覺掃描指標

2 基于HSMM模型的視覺感知狀態檢測

2.1 隱半馬爾科夫模型

隱半馬爾科夫模型(Hidden Semi-Markov Model,HSMM)是隱式馬爾科夫模型(Hidden Markov Model,HMM)的衍生模型,在定義完全的HMM的結構上加入了時間組成部分,克服了因馬爾科夫鏈的假設所造成的HMM的局限性[29]。HSMM允許每個狀態具有一個可變的時長,因此,HSMM可以用以建模時間上的不確定性。HSMM與HMM最重要的區別在于HMM每個狀態產生一個觀測值,而HSMM每個狀態產生一系列觀測值。作為一種強大的統計模型,具有適應性強、能夠捕捉序列數據中的時序特征等優勢。因此,將隱半馬爾科夫模型應用于飛行學員視覺感知狀態的檢測,可以為飛行培訓和操作提供更加精確和實時的視覺狀態監測方法。首先通過分析飛行學員在不同訓練階段的視覺感知狀態變化,可以更好地了解他們的訓練進展和難點,從而精準制定培訓計劃,提高培訓效果。HSMM模型可以在實時情境下監測飛行員的視覺感知狀態,如疲勞、注意力分散等,及時發現潛在的安全隱患,以便采取相應的措施。針對不同的學員,HSMM可以分析他們的視覺感知狀態變化趨勢,為每位學員制定個性化的訓練和操作干預策略,提高他們的飛行表現。

2.2 飛行員視覺感知行為建模

研究中飛行員視覺感知建模的關鍵問題為

① 隱藏狀態如何與觀測序列相關聯;

② 在給定模型和觀測序列情況下,觀測序列的條件概率和最大隱含狀態序列是怎樣的;

③ 如何在新的輸入數據中學習模型參數,提高飛行員的注視感知能力;

④飛行員在每個任務或者每個狀態的駐留時間什么時候開始或結束。

具體而言在HSMM中,用St表示在t時刻時的隱藏狀態,O是一個觀測狀態序列。在片段HSMM中,有N個狀態,均是隱藏不可直接觀測的。狀態間的轉換符合轉換矩陣A,從狀態i轉換到j的概率為aij。與標準HMM相似,假設狀態時刻t為0時的狀態為S0,狀態的初始分布為π。宏狀態的轉換過程sql-1→sql符合馬爾科夫過程。

P(sq1=j|sql-1=i)=aij。

(2)

狀態的轉換st-1→st通常不是馬爾科夫過程,這即是該模型被稱為“半馬爾科夫(semi-Markov)”的原因。在半馬爾科夫的情況下,只有在設備從一個宏狀態轉換到另一個宏狀態時,馬爾科夫模型中的轉換過程才成立。

在構建的模型中,隱含狀態代表著飛行員的感知水平。相對應地,可視狀態則反映了飛行員的眼動注視序列。規定飛行員存在三種狀態,分別是高感知(High Perception,HP)、中感知(Moderate Perception,MP)和低感知(Low Perception,LP)。這些狀態序列用(S1,S2,S3)來表示,每個狀態都與不同程度的任務相關聯。在每個狀態下,飛行員會持續進行一定數量的工作,這種持續時間表示為狀態持續時間。每個狀態的持續時間都可以通過持續時間概率密度來描述,假設這些概率符合正態分布。對于每個狀態Si,用Pi(di)表示狀態Si持續時間為di的概率。狀態的持續時間也可被視為衡量飛行員狀態穩定性的一個指標,持續時間較短意味著飛行員處于良好的狀態。

在參數設置上,HSMM 的模型參數為

λ=({πi},{aij},{bi(l)},{Pi(d)}),

(3)

其中,πi=P(q1=si)。

(4)

πi為系統在初始狀態為si的概率,滿足限制

(5)

模型結構如圖3所示,定義為

圖3 HSMM模型結構圖

①假設隱藏的狀態序列是一階Markov鏈

aij=P(qt+1=sj∣qt=si),

(6)

(7)

② 系統在t時刻狀態為si的條件下,出現觀測值ot的概率為

bi(l)=P(ot=vl∣qt=si),

(8)

(9)

③ 系統在t時刻狀態為si上駐留時間為d的概率為

Pi(d)=P(τt=d∣qt=si),

(10)

(11)

為在qt=si時,系統到t時刻為止已經在狀態si上駐留的時間,D為在任何狀態下可能的最大駐留時間。

HSMM框架由兩個互相嵌套的隨機過程構成。首先是隱態過程,這一過程本身無法直接觀測,假設其遵循一階馬爾可夫過程的轉移規則。其次是觀測符號過程,這個過程是在物理上可觀測的,其觀測值根據當前隱藏狀態呈現出特定的概率分布。將掃描注視質量視作隱藏狀態過程,而AOI注視序列則對應于觀測過程。需要注意的是,許多研究者已經對固定物之間的狀態轉移概率進行了計算,這實際上相當于計算了固定物的馬爾可夫轉移矩陣。

在模擬飛行中,每個飛行員都被要求盡可能多地用語言表述儀表讀數(例如,“1 500英尺”,“航向向左”)或當前的意圖(例如,“太低,爬升一點”,“向右轉”)。這些報告顯示了在每個時刻所執行的跟蹤任務即上文提及到的飛行任務,然后轉換成相應的任務作為訓練數據。如果任務在報告時間或在1 s內與口頭報告匹配,則認為該報告與估計“匹配”。關于單參數儀器的口頭報告通常是匹配的,因此在分析中被省略。只有與重疊儀器有關的報告才包括在這一核查過程中。最終按照匹配的程度劃分為高中低水平。模型訓練的具體過程為

① 參數訓練

構建了HSMM,并應用期望最大化算法進行模型訓練,以進行參數估計。通過該過程,能夠精確估算狀態轉移概率等重要模型參數。

② 狀態持續時間計算

基于模型參數估計結果,獲得了每個宏狀態持續時間的概率密度函數。這一函數的應用能計算狀態持續時間的均值,進一步為分析提供重要參考。

③ 狀態識別

利用Viterbi算法,結合模型參數和眼動注視序列數據,能夠精準地確定飛行員的視覺感知能力水平。這一過程通過找出在給定模型下最大概率的狀態標簽序列,提供了關鍵信息。

2.3 HSMM 的前向-后向求解算法

在應用HSMM模型進行狀態識別之前,我們需要解決HSMM的評估和學習問題。因此,在給定觀測值o1,o2,…,ot,和HSMM的參數λ=(Π,A,B,pi(d))的情況下,如何調整模型參以最大化P(O|λ)解決HSMM評估和學習問題的基本算法如下。

前向變量是指在給定模型λ的條件,產生t以前的部分觀測序列o1,o2,…,ot,且在t時狀態為si以及在t時狀態所駐留的時間的概率。

αt(i,d)=P(o1,o2,…,ot,qt=si,τt=d∣λ),

(12)

(j≠i),

(13)

αt+1(j,d+1)=αt(j,d)aijbj(ot+1)Pj(d+1),

(j=i),

(14)

后向變量即在給定模型λ和t時狀態為si以及在此狀態駐留時間為d的條件下,從t+1時到最后的部分觀測序列的概率。

βt(i,d)=P(ot+1,ot+2,…,oT∣qt=si,τt=d,λ),

(15)

初始化為

βT(i,d)=1,1≤i≤N,1≤d≤D。

(16)

后向變量可按下列步驟進行迭代計算

(17)

式中:t=T-1,T-2,…,1,1≤i≤N.

設ri(i,d)為給定觀測序列O和模型λ的條件下,t時狀態為si以及在此狀態的駐留時間為d的概率,即

rt(i,d)=P(qt=si,τt=d∣O,λ),

(18)

(19)

ξt(i,j,d)=

i≠j。

(20)

設rt(i,d)與ξt(i,j,d)如式(12)(15)(16)定義,則模型各參數重估公式為

(21)

1≤i≠j≤N,

(22)

1≤i≤N,

(23)

1≤i≤N。

(24)

3 實驗設計與結果分析

3.1 實驗設備

實驗在6-DOF運動平臺結構的飛行模擬器上進行模擬飛行,其中模擬飛行平臺包括六軸運動運動,顯示器、飛行搖桿、數據采集儀器。這種六自由度的飛行模擬訓練器具有強烈的真實體驗感,飛行環境、飛行姿態和操作都和真實飛機非常相似。同時將三臺液晶顯示器進行拼接形成半封閉的形狀可以增加模擬飛行時的沉浸感和真實感。飛行實驗平臺裝置如圖4所示。

圖4 六自由度飛行運動平臺

3.2 任務設置

為了采集被試者在進行人機交互時的頭動和眼動數據,實驗招募了12名視力正常的模擬飛行游戲的資深玩家作為被試者,年齡范圍為21～25歲。所有被試者均沒有神經或精神類疾病史,并在實驗前簽署了知情同意書。此外,本研究已經通過了本單位倫理委員會的審核。

飛行任務是用Digital Combat Simulator World軟件進行設置,機型選用Su-25T,飛行員通過研究與預定時間、路線和目的地相關的地圖和天氣信息來準備飛行。

實驗設置中飛行任務設置為五邊飛行(Airfield traffic pattern,ATP),飛行的起落航線為左航線,即飛機只允許在航線中左轉飛行,實驗中按照規定的航向和目標高度進行飛行。該任務主要提升訓練飛行員的起飛和著陸技能,目前在目視飛行中被廣泛應用。其中主要包括起飛爬升、轉彎、平飛、下滑、進近著陸等,主要目的是幫助在飛行過程中完整掌握飛行方法和對飛行的狀態控制,通過不斷地訓練飛行操作方法,在這個過程中可以幫助學員調整自己的感知策略。其飛行任務如圖5所示。

圖5 飛行任務示意圖

起飛時受試者檢查飛機內部及外部跑道等情況是否正常。起飛階段,飛行器直線前進,緩慢加速,直至完全離地。隨后受試者收回起落架和機翼,同時需要查看飛機的爬升姿態、速度信息和高度信息。

平飛階段時受試者飛行高度和速度都保持在一定值。該階段受試者主要按照固定航向進行飛行同時檢測飛行高度、速度、飛行路徑、姿態等多項飛行參數。平飛階段飛行員主要完成第二邊、第三邊、第四邊。在這個階段,受試者也需要完成鎖定Downwind目標、準備返回等任務。

近著陸階段受試者需要調整飛機的航向對準跑道延長線,放襟翼,調整下滑角度和油門,在距離地面6～7 m,柔和地向后帶桿并減少油門;不斷調整飛機的下沉速度,抬起機頭至飛機接地。當操作飛機接地后,保持滑跑的方向緩慢收油門,逐漸剎車減小速度并離開跑道。

3.3 結果分析

對飛行的不同階段的序列模式進行挖掘,按照支持度的高低進行排序篩選,通過綜合所有試驗員的眼動序列,找到支持度最高的作為飛行標準。同時對不同飛行階段的AOI注視百分比進行分析,如圖6所示,對飛行的五個階段進行分析。

圖6 飛行任務AOI注視行為百分比

發現在整個飛行過程中對速度表的關注是先減少后增加,因為在起飛和降落階段需要花費大量的時間關注速度表,Upwind和Final是速度從無到有和從有到無的過程。在Crosswind、Downwind、Base任務中,飛行員對姿態儀所提供的俯仰和滾轉信息關注比例較高,所以姿態儀無疑是這三個飛行階段中最重要的儀表。在Downwind和Base飛行中,高度表的關注比例高,因為在Base飛行中需要關注飛機下降的高度是否達到進場標準。對航向儀的關注比例先逐漸增加后慢慢減少,在Downwind的飛行時間相對較長,關注比例較高。在執行Downwind飛行任務時,飛行學員對垂直速度表的關注比例最高,用以保證高度以及判斷垂直方向上是否有失速的可能。機械設備指示器顯示起落架、襟翼和減速板的當前位置,所以在Upwind和Final需要重點專注保障飛機可以正常起飛降落。

實驗中采用準確率(p)、召回率(R)和F值3個指標作為性能評估的指標。指標定義為

(25)

式中:N1為正確識別的數據樣本個數,N2為被誤識別到該狀態的個數,N3為屬于該類別狀態但被誤識別到其他類別的實例樣本個數。

綜合評價指標F為

(26)

式中:參數β用來為準確率P和召回率R賦予不同的權重。當β取1時,準確率和召回率被賦予相同的權重,實驗中取β=1。利用綜合評價指標F分別對HSMM和HMM進行評價,結果如圖7所示。各特征值狀態的準確率和召回率,測試結果見表2。以上的測試結果反映出,利用出HMM進行特征提取,實驗系統的各特征性能表現一般,而在引入隱半馬爾可夫統計模型后,實驗系統的各特征性能表現有了較大的提高。這表明HSMM模型更能體現眼動信息的一般化情況,更適合用來描述實際問題。

表2 模型進行特征提取實驗的測試結果和性能指標統計

圖7 HSMM和HMM模型結果對比

4 結 論

為了研究旨在改進飛行學員訓練過程中視覺感知狀態檢測方法的實時性和準確性,通過引入基于隱式半馬爾可夫的視覺感知狀態檢測模型,從飛行學員的視覺感知角度出發,挖掘在不同飛行任務下學員的視覺注視變化,提出了一種能夠捕捉飛行學員在不同情境下注視規則掃描策略的模型。該模型有效地關聯了隱狀態和時間的相關性,實現了對飛行學員視覺感知狀態的實時檢測。在這項工作中,評估了如何使用眼球追蹤與機器學習可以客觀地評估飛行員在訓練中的掃描模式,這可以減少指導員的總體工作量。

研究結果顯示,在相同任務情境下,所提出的算法相對于傳統的隱馬爾可夫方法,在準確性方面取得了顯著的提升,準確率達到了93.55%。這意味著本研究提出的基于隱式半馬爾可夫的視覺感知狀態檢測模型在飛行學員訓練過程中具有實際應用價值,能夠更準確地捕捉飛行學員的視覺感知狀態。