基于圖神經(jīng)網(wǎng)絡(luò)的航空數(shù)據(jù)異常檢測(cè)

摘 要：飛行品質(zhì)監(jiān)控（FOQA）數(shù)據(jù)記錄了飛行狀態(tài)的詳細(xì)參數(shù)，對(duì)于評(píng)估飛行操作的質(zhì)量和安全性至關(guān)重要。傳統(tǒng)的“超限檢測(cè)”算法通過(guò)與預(yù)先建立的閾值進(jìn)行比較來(lái)識(shí)別異常行為。相比之下，深度學(xué)習(xí)方法能夠更全面、靈活地分析FOQA數(shù)據(jù)，提高異常行為的檢測(cè)精度。文章提出的TAGDNet是用于FOQA數(shù)據(jù)多類(lèi)別異常檢測(cè)的創(chuàng)新框架，包括時(shí)序卷積網(wǎng)絡(luò)、圖神經(jīng)網(wǎng)絡(luò)和分層圖池化等關(guān)鍵組件。該框架首先通過(guò)時(shí)序卷積網(wǎng)絡(luò)提取時(shí)序特征，然后通過(guò)引入圖神經(jīng)網(wǎng)絡(luò)進(jìn)行節(jié)點(diǎn)間信息傳播，最后通過(guò)分層圖池化獲得異常檢測(cè)結(jié)果。通過(guò)在公開(kāi)可用的FOQA數(shù)據(jù)多類(lèi)別異常檢測(cè)數(shù)據(jù)集上進(jìn)行大量實(shí)驗(yàn)證明，該方法相較于其他先進(jìn)的方法表現(xiàn)更為優(yōu)越。

關(guān)鍵詞：FOQA數(shù)據(jù)；異常檢測(cè)；圖神經(jīng)網(wǎng)絡(luò)；圖池化；時(shí)序卷積

中圖分類(lèi)號(hào)：TP391；TP183 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2024）16-0053-07

Aviation Data Anomaly Detection Based on Graph Neural Networks

Abstract： Flight Operational Quality Assurance （FOQA） data records detailed parameters of flight status， which is crucial for evaluating the quality and safety of flight operations. Traditional “Exceedance Detection” algorithm identifies abnormal behavior by comparing it with predefined threshol1xrabizTN6g5MLF7p0P9ZA==ds. In contrast， Deep Learning methods can comprehensively and flexibly analyze FOQA data， improving the accuracy of abnormal behavior detection. The TAGDNet proposed in the paper is an innovative framework for multi-class abnormal detection in FOQA data， including key components such as Temporal Convolutional Networks， Graph Neural Networks， and Hierarchical Graph Pooling. The framework extracts temporal features through Temporal Convolutional Networks firstly， then propagates information between nodes through introducing Graph Neural Networks and finally obtains abnormal detection results through Hierarchical Graph Pooling. Through extensive experiments on publicly available FOQA multi-class abnormal detection datasets， it has been demonstrated that this method outperforms other state-of-the-art methods.

Keywords： FOQA data; anomaly detection; Graph Neural Networks; graph pooling; temporal convolutional

0 引 言

隨著航空運(yùn)輸業(yè)的迅速發(fā)展，飛機(jī)數(shù)量和航班次數(shù)的增加使飛行監(jiān)控任務(wù)變得復(fù)雜。通過(guò)實(shí)時(shí)監(jiān)測(cè)飛機(jī)系統(tǒng)、引擎和飛行過(guò)程能及早發(fā)現(xiàn)并識(shí)別潛在異常情況，確保飛行安全。傳統(tǒng)飛行監(jiān)控方法主要依賴(lài)與預(yù)設(shè)閾值進(jìn)行比較，僅適用于預(yù)定義異常情況，難以有效分析FOQA（Flight Operations Quality Assurance）數(shù)據(jù)中的未知異常，也無(wú)法滿(mǎn)足對(duì)監(jiān)控效率和準(zhǔn)確性的需求。因此，引入先進(jìn)的異常檢測(cè)技術(shù)成為提高航空安全性的必然選擇。

近年來(lái)，隨著人工智能和深度學(xué)習(xí)等領(lǐng)域的發(fā)展，異常檢測(cè)技術(shù)在航空領(lǐng)域備受關(guān)注。異常檢測(cè)的目標(biāo)是識(shí)別與大多數(shù)數(shù)據(jù)明顯不同的樣本。深度學(xué)習(xí)算法通過(guò)學(xué)習(xí)“決策邊界”來(lái)檢測(cè)輸入數(shù)據(jù)中的異常模式。Li等人[1]通過(guò)對(duì)同一組已知11個(gè)異常的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，比較了多核異常檢測(cè)（Multiple Kernel Anomaly Detection， MKAD）[2-3]和聚類(lèi)異常檢測(cè)算法[1]的性能。

然而，本文的首要目標(biāo)是開(kāi)發(fā)一種專(zhuān)用于FOQA數(shù)據(jù)異常檢測(cè)的方法，通過(guò)捕捉傳感器之間的關(guān)聯(lián)關(guān)系以實(shí)現(xiàn)更高精度的異常檢測(cè)。隨著圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network， GNN）的引入[4]，基于圖的方法通過(guò)邊來(lái)表示傳感器之間的相互依賴(lài)關(guān)系。GNN采用局部聚合機(jī)制，遞歸地聚合和轉(zhuǎn)換其鄰居的信息，計(jì)算每個(gè)節(jié)點(diǎn)的嵌入向量。這種方法的優(yōu)勢(shì)在于能夠捕捉到節(jié)點(diǎn)之間的潛在關(guān)聯(lián)。

對(duì)于FOQA數(shù)據(jù)多類(lèi)別異常檢測(cè)任務(wù)，很難找到預(yù)定義的圖結(jié)構(gòu)。圖偏差網(wǎng)絡(luò)（Graph Deviation Network， GDN）[5]通過(guò)余弦相似度對(duì)可建模為圖的相鄰矩陣進(jìn)行精細(xì)的兩兩關(guān)系學(xué)習(xí)。MTAD-GAN[6]將面向特征和面向時(shí)間的圖注意層連接起來(lái)學(xué)習(xí)圖結(jié)構(gòu)。目前，大多數(shù)時(shí)間序列GNN都是為交通預(yù)測(cè)而設(shè)計(jì)的，而在FOQA數(shù)據(jù)多類(lèi)別異常檢測(cè)任務(wù)中存在需要填補(bǔ)的空白。為了解決上述問(wèn)題，本文設(shè)計(jì)了一種帶有注意力機(jī)制的時(shí)序卷積網(wǎng)絡(luò)，引入自動(dòng)圖結(jié)構(gòu)學(xué)習(xí)方法，使用圖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)傳感器數(shù)據(jù)之間的信息傳播，以及通過(guò)分層圖池化技術(shù)提高模型性能。

1 問(wèn)題陳述

本節(jié)旨在明確闡述本文所涉及的關(guān)鍵概念和符號(hào)。

1.1 問(wèn)題定義

FOQA數(shù)據(jù)就是按照時(shí)間記錄的飛行相關(guān)信息，是典型的多變量時(shí)間序列。它可以用多變量時(shí)間序列表示：X={x1，x2，…，xd}∈Rd×l，其中Xi={xi1，xi2，…，xil}且i=1，2，…，d。這里l∈N*表示多元時(shí)間序列的長(zhǎng)度。給定一組多元時(shí)間序列X={X1，X2，…，Xd}∈Rm×d×l

和相應(yīng)的標(biāo)簽Y={y1，y2，…，ym}，其中y表示每個(gè)多元時(shí)間序列的預(yù)定義類(lèi)標(biāo)簽，m∈N*表示時(shí)間序列的個(gè)數(shù)。FOQA數(shù)據(jù)多類(lèi)別異常檢測(cè)任務(wù)的目標(biāo)是通過(guò)訓(xùn)練分類(lèi)器f（?）從X到Y(jié)，以預(yù)測(cè)未標(biāo)記的多變量時(shí)間序列。

1.2 圖相關(guān)概念

時(shí)態(tài)圖由多變量時(shí)間序列構(gòu)成，其形式為G=（V，E），其中V={v1，v2，…，vn}表示包含n個(gè)節(jié)點(diǎn)的節(jié)點(diǎn)集，E表示邊的集合。這里，節(jié)點(diǎn)表示變量，而邊則表示由相似性或結(jié)構(gòu)學(xué)習(xí)結(jié)果定義的不同變量之間的關(guān)系。鄰接矩陣A可以表示一個(gè)n×n的矩陣，其中A（i，j）表示節(jié)點(diǎn)i到節(jié)點(diǎn)j是否有邊相連或者邊的權(quán)重。

2 方法簡(jiǎn)介

在實(shí)際的FOQA數(shù)據(jù)中，傳感器之間呈現(xiàn)復(fù)雜的拓?fù)潢P(guān)系。將整個(gè)傳感器網(wǎng)絡(luò)視為圖結(jié)構(gòu)，每個(gè)傳感器被看作圖中的一個(gè)節(jié)點(diǎn)。為了提取時(shí)序特征的，采用帶有注意力機(jī)制的時(shí)序卷積網(wǎng)絡(luò)。通過(guò)高斯核函數(shù)度量節(jié)點(diǎn)之間的關(guān)系，學(xué)習(xí)圖結(jié)構(gòu)，并將其輸入圖卷積層以建模信息傳播。最后，將時(shí)序卷積層和圖卷積層集成，可進(jìn)行多層操作，并通過(guò)分層圖池化操作得到多類(lèi)別異常檢測(cè)的結(jié)果，整體模型架構(gòu)被命名為T(mén)AGDNet（Temporal Attention Graph Neural Network with Differentiable Pooling NetworL9tcpOVCaw+c5g11VSNZsl4aXvq7mBn0Ymy1a9cJM64=k），如圖1所示。

2.1 時(shí)序變量注意力

Woo等人[7]提出了CBAM（Convolutional Block Attention Module），這是一種輕量級(jí)的視覺(jué)注意力模塊，能夠在通道和空間維度上執(zhí)行注意力操作。受此啟發(fā)，本文提出了時(shí)序變量注意力模塊，旨在突出時(shí)序信息和關(guān)鍵特征，該模塊由時(shí)序注意力和變量注意力兩部分組成，能夠在時(shí)間維度和變量維度執(zhí)行注意力操作，如圖2所示。

2.1.1 時(shí)序注意力

為了捕捉序列的整體趨勢(shì)和關(guān)鍵信息，引入了自適應(yīng)平均池化和自適應(yīng)最大池化。自適應(yīng)平均池化通過(guò)計(jì)算輸入序列每個(gè)時(shí)間步的平均值生成整體平均特征表示。相對(duì)應(yīng)地，自適應(yīng)最大池化通過(guò)計(jì)算每個(gè)時(shí)間步的最大值，突出序列中的顯著特征。隨后，通過(guò)兩個(gè)一維卷積層，將輸入特征映射到新的表示。最后，將這兩個(gè)特征相加，使模型能夠同時(shí)捕捉時(shí)間維度上的整體趨勢(shì)和關(guān)鍵特征，提高對(duì)多元時(shí)間序列的表征能力。具體的數(shù)學(xué)表達(dá)式如下：

TA（x）=（C2（R（C1（AdaAvgPool（x）+C2（R（C1（AdaMaxPool（x）））） （1）

其中，x表示輸入序列，C1和C2表示兩個(gè)一維卷積層，卷積核大小均為1，填充為0。R表示ReLU激活函數(shù)，AdaAvgPool表示一維自適應(yīng)平均池化，AdaMaxPool表示一維自適應(yīng)最大池化。表示Sigmoid激活函數(shù)。

2.1.2 變量注意力

為了捕捉各傳感器的整體趨勢(shì)和關(guān)鍵信息，該模塊通過(guò)在變量維度上計(jì)算均值和最大值，實(shí)現(xiàn)了對(duì)輸入序列的全局性信息提取。均值關(guān)注于變量的平均水平，有助于捕捉序列的整體趨勢(shì)。而最大值操作突出了在每個(gè)變量上的最顯著特征，有助于捕捉序列中的峰值、異常值或其他重要的局部變化。為了融合這兩種關(guān)注方式的信息，通過(guò)拼接操作將均值和最大值在變量維度上進(jìn)行組合。然后通過(guò)一維卷積層對(duì)拼接后的序列進(jìn)行進(jìn)一步的特征提取和注意力增強(qiáng)。具體公式如下：

FA（x）=（C（concat（mean（x），max（x）） （2）

其中，mean（x）表示沿變量維度計(jì)算均值，max（x）表示沿變量維度計(jì)算最大值，concat表示沿著變量維度進(jìn)行拼接，C表示一維卷積，輸入通道為2，輸出通道為1，卷積核大小為7，填充為3。表示Sigmoid激活函數(shù)。

2.2 圖結(jié)構(gòu)學(xué)習(xí)

為了提高訓(xùn)練效率，減少噪聲影響并增強(qiáng)模型魯棒性，設(shè)置閾值c以實(shí)現(xiàn)鄰接矩陣的稀疏性。具體而言，只保留鄰接矩陣A中前k個(gè)最大權(quán)重的元素，（其中k取節(jié)點(diǎn)數(shù)的值，即k=20），將這些元素設(shè)為1，并將其他值設(shè)置為0，如下所示：

2.3 圖神經(jīng)網(wǎng)絡(luò)

在已學(xué)習(xí)的拓?fù)浣Y(jié)構(gòu)基礎(chǔ)上，圖卷積模塊的設(shè)計(jì)旨在進(jìn)一步建模信息傳播過(guò)程，通過(guò)整合鄰居節(jié)點(diǎn)的信息來(lái)更新每個(gè)特定節(jié)點(diǎn)的表示。在處理異常檢測(cè)等任務(wù)時(shí)，通常異常的發(fā)生涉及一個(gè)或多個(gè)節(jié)點(diǎn)，形成一系列鏈?zhǔn)接绊憽Ｒ虼耍瑸榱酥庇^地捕捉節(jié)點(diǎn)之間的差異，使用GraphSAGE[8]算法進(jìn)行傳播計(jì)算。GraphSAGE的關(guān)鍵思想是通過(guò)采樣鄰居節(jié)點(diǎn)和聚合鄰居信息來(lái)生成每個(gè)節(jié)點(diǎn)的向量表示，從而捕捉圖中的結(jié)構(gòu)信息。以下是GraphSAGE的主要步驟：

首先對(duì)于每個(gè)節(jié)點(diǎn)v，從其鄰居節(jié)點(diǎn)中隨機(jī)采樣一定數(shù)量的節(jié)點(diǎn)。這些采樣的鄰居節(jié)點(diǎn)用集合N（v）表示：

其中，表示節(jié)點(diǎn)v的所有鄰居節(jié)點(diǎn)。

其次聚合鄰居節(jié)點(diǎn)信息，對(duì)于每個(gè)節(jié)點(diǎn)v，將其采樣的鄰居節(jié)點(diǎn)的特征進(jìn)行聚合，得到一個(gè)聚合的鄰居特征表示。這通常通過(guò)平均或池化操作來(lái)實(shí)現(xiàn)：

其中，表示節(jié)點(diǎn)v的第一層表示，表示節(jié)點(diǎn)u的初始特征表示。

再次，使用聚合的鄰居特征表示來(lái)更新節(jié)點(diǎn)v的表示：

其中，表示激活函數(shù)，W表示可學(xué)習(xí)的權(quán)重矩陣，conact表示將兩個(gè)向量連接起來(lái)。

最后，通過(guò)多次重復(fù)上述過(guò)程，得到多層的節(jié)點(diǎn)表示：

其中，l表示迭代的層數(shù)。

2.4 分層圖池化

傳統(tǒng)的GNN池化方式采用全局池化對(duì)圖中所有節(jié)點(diǎn)的嵌入進(jìn)行處理，卻忽略了圖中的層次結(jié)構(gòu)，這限制了模型的有效性。相比之下，DiffPool（Differentiable Pooling）是一種專(zhuān)為圖神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的池化操作[9]，其優(yōu)勢(shì)在于能夠?qū)W習(xí)到網(wǎng)絡(luò)的層次化表示，從而提高模型的表達(dá)能力。在經(jīng)過(guò)圖神經(jīng)網(wǎng)絡(luò)后使用DiffPool的方法進(jìn)行分層池化，以更好地捕捉圖的層次信息。以下是DiffPool的主要步驟：

對(duì)于第l層來(lái)說(shuō)，數(shù)學(xué)公式可以寫(xiě)為：

其中A（l）表示第l層的鄰接矩陣，X （l）表示第l層的節(jié)點(diǎn)特征。節(jié)點(diǎn)的表示Z （l）是通過(guò)應(yīng)用圖神經(jīng)網(wǎng)絡(luò)模型來(lái)計(jì)算的。A（l+1）和X （l+1）表示經(jīng)過(guò)分層池化后的新的鄰接矩陣和節(jié)點(diǎn)特征。每次經(jīng)過(guò)一次DiffPool，相應(yīng)的節(jié)點(diǎn)個(gè)數(shù)減少，直至最后一次保留一個(gè)節(jié)點(diǎn)。假設(shè)該節(jié)點(diǎn)包含一個(gè)d維向量，從該向量出發(fā)得到最終的異常分類(lèi)結(jié)果。

DiffPool的過(guò)程包括兩個(gè)關(guān)鍵步驟。首先，利用一個(gè)GNN通過(guò)輸入

鄰接矩陣A（l）和和節(jié)點(diǎn)特征X （l）抽取信息生成表示Z （l），其表達(dá)式為：

其次，通過(guò)另一個(gè)GNN，該GNN用于計(jì)算權(quán)重矩陣S （l），這個(gè)權(quán)重矩陣反映了上一層中的每個(gè)節(jié)點(diǎn)以何種權(quán)重被分配到下一層的哪些節(jié)點(diǎn)中。權(quán)重矩陣的計(jì)算使用Softmax函數(shù)，如下：

接下來(lái)，通過(guò)以下形式生成新一層的節(jié)點(diǎn)鄰接矩陣和節(jié)點(diǎn)特征，實(shí)際上是根據(jù)學(xué)習(xí)到的權(quán)重矩陣進(jìn)行加權(quán)聚合。具體而言，新一層的節(jié)點(diǎn)特征X （l+1）通過(guò)對(duì)Z （l）進(jìn)行的加權(quán)聚合得到，表達(dá)式為：

同時(shí)，新一層的節(jié)點(diǎn)鄰接矩陣A（l+1）通過(guò)對(duì)A （l）和S （l）進(jìn)行相應(yīng)的加權(quán)聚合計(jì)算得到，表達(dá)式為：

這一過(guò)程明確展示了通過(guò)學(xué)習(xí)得到的權(quán)重矩陣，實(shí)現(xiàn)了有效的節(jié)點(diǎn)信息傳遞和分層圖池化。

3 實(shí)驗(yàn)評(píng)估

本節(jié)分為三個(gè)子節(jié)，包括實(shí)驗(yàn)設(shè)置、消融實(shí)驗(yàn)、對(duì)比實(shí)驗(yàn)，對(duì)所提出的模型進(jìn)行全面評(píng)估。

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 評(píng)價(jià)指標(biāo)

本文主要旨在準(zhǔn)確檢測(cè)FOQA數(shù)據(jù)中的異常類(lèi)別，使用精確率（P）、召回率（R）、F1分?jǐn)?shù)這三個(gè)評(píng)價(jià)指標(biāo)來(lái)對(duì)模型進(jìn)行全面評(píng)價(jià)。具體計(jì)算公式如下：

其中，TP表示真陽(yáng)性（真實(shí)類(lèi)別是正類(lèi)，并且模型識(shí)別的結(jié)果也是正類(lèi)），TN表示真陰性（真實(shí)類(lèi)別是負(fù)類(lèi)，并且模型將其識(shí)別為負(fù)類(lèi)），F(xiàn)P表示假陽(yáng)性（真實(shí)類(lèi)別是負(fù)類(lèi)，并且模型將其識(shí)別為正類(lèi)），F(xiàn)N表示假陰性（真實(shí)類(lèi)別是正類(lèi)，但模型將其識(shí)別為負(fù)類(lèi)）。

3.1.2 數(shù)據(jù)集

本文使用了一個(gè)基于商業(yè)航空公司FOQA數(shù)據(jù)的多類(lèi)別異常檢測(cè)數(shù)據(jù)集[10]。該數(shù)據(jù)集包括每次飛行的1 Hz記錄，涵蓋了各種系統(tǒng)，如飛機(jī)的狀態(tài)和方向、控制表面的位置和輸入、發(fā)動(dòng)機(jī)參數(shù)、自動(dòng)駕駛模式及其相應(yīng)狀態(tài)。研究中使用了20個(gè)變量進(jìn)行實(shí)驗(yàn)，詳細(xì)變量名如表1所示。這些數(shù)據(jù)在飛機(jī)飛行過(guò)程中實(shí)時(shí)獲取，并在飛機(jī)抵達(dá)目的地登機(jī)口后由航空公司下載。專(zhuān)業(yè)人員對(duì)這些FOQA數(shù)據(jù)進(jìn)行分析，以標(biāo)記已知事件并創(chuàng)建相應(yīng)的標(biāo)簽。每個(gè)數(shù)據(jù)實(shí)例都代表飛機(jī)接近著陸期間的記錄，持續(xù)160秒。

該數(shù)據(jù)集包括99 837個(gè)數(shù)據(jù)實(shí)例，包括四個(gè)類(lèi)別：

1）正常（占總數(shù)據(jù)的89.81%）此類(lèi)別包括那些已知不存在其他三個(gè)異常類(lèi)別的實(shí)例。

2）速度異常（占總數(shù)據(jù)的7.02%），通過(guò)檢測(cè)進(jìn)近過(guò)程中與目標(biāo)著陸空速的偏差來(lái)識(shí)別異常。

3）路徑異常（占總數(shù)據(jù)的2.21%），包含那些著陸下降路徑明顯偏離下滑道的實(shí)例。

4）控制異常（占總數(shù)據(jù)的0.96%），將那些在接近著陸期間，與預(yù)期的標(biāo)稱(chēng)展開(kāi)相比，襟翼伸展延遲的情況標(biāo)記為控制異常。為了保證數(shù)據(jù)集的公平性，按照6：2：2的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，并且每個(gè)樣本集中各類(lèi)異常的比例相同。

3.1.3 實(shí)現(xiàn)細(xì)節(jié)

在Ubuntu 18.04系統(tǒng)上，采用了PyTorch 1.12.0、CUDA 11.3和Torch-Geometric 2.1.0，在NVIDIA 3090 Ti上來(lái)實(shí)現(xiàn)所有模型。對(duì)模型進(jìn)行了200輪次的訓(xùn)練，訓(xùn)練期間最后一輪模型用于評(píng)估，并記錄了測(cè)試集上每個(gè)類(lèi)別的實(shí)驗(yàn)結(jié)果。訓(xùn)練過(guò)程中批次的大小為128，采用了Adam優(yōu)化器，隨機(jī)丟棄率為0.05，初始學(xué)習(xí)率為0.003，在經(jīng)過(guò)150個(gè)輪次后將學(xué)習(xí)率調(diào)整為0.001，模型損失如圖3所示，準(zhǔn)確率如圖4所示。

3.2 消融實(shí)驗(yàn)

本小節(jié)將深入探討TAGDNet模型的各個(gè)組成部分的貢獻(xiàn)，具體包括：

1）TGD具有圖卷積模塊和分層圖池化模塊的模型，但沒(méi)有使用注意機(jī)制。

2）TAG具有注意力機(jī)制和圖卷積模塊，但沒(méi)有分層圖池化模塊的模型。

3）TA僅有注意機(jī)制，沒(méi)有圖卷積和分層圖池化的模型。

消融實(shí)驗(yàn)結(jié)果如表2所示，組件ALL取得最佳結(jié)果。

基于消融實(shí)驗(yàn)結(jié)果，研究得出了兩個(gè)重要結(jié)論。首先，TAGDNet模型，結(jié)合了注意力時(shí)序卷積和分層池化的圖神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了在真實(shí)數(shù)據(jù)集上的最佳性能，凸顯其有效的多類(lèi)別異常檢測(cè)能力。其次，具有圖神經(jīng)網(wǎng)絡(luò)的變體優(yōu)于僅有注意力機(jī)制的變體，證明在TAGDNet模型中，圖神經(jīng)網(wǎng)絡(luò)的影響更為顯著。

在深度學(xué)習(xí)模型中，隱藏層數(shù)是決定模型復(fù)雜性和性能的關(guān)鍵參數(shù)之一。為了探究隱藏層數(shù)對(duì)模型性能的影響，進(jìn)行了隱藏層數(shù)消融實(shí)驗(yàn)，通過(guò)調(diào)整隱藏層數(shù)（分別為3、5、7、9、11、13和15）來(lái)評(píng)估該參數(shù)的影響，結(jié)果如表3所示。正常和速度異常時(shí)，P、R、F1均在9層取得最佳結(jié)果。路徑異常時(shí)，P、R、F1分別在3層、7層、15層取得最佳結(jié)果。控制異常時(shí)，P在13層取得最佳結(jié)果，R、F1均在9層取得最佳結(jié)果。

經(jīng)過(guò)實(shí)驗(yàn)觀察與分析，在增加隱藏層數(shù)的過(guò)程中，模型的性能首先得到顯著提升。具體而言，隨著隱藏層數(shù)的增加，多異常分類(lèi)的準(zhǔn)確性不斷提高。這表明增加隱藏層數(shù)有助于模型更好地捕捉數(shù)據(jù)中的復(fù)雜特征，提高了其對(duì)異常樣本的準(zhǔn)確分類(lèi)能力。然而，當(dāng)隱藏層數(shù)增加到一定值（即9層）之后，模型性能開(kāi)始下降。這可能是由于過(guò)多的隱藏層數(shù)導(dǎo)致模型發(fā)生過(guò)擬合的原因。

3.3 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證TAGDNet的性能，選擇了最先進(jìn)的方法作為基線(xiàn)進(jìn)行比較，結(jié)果如表4所示，除了DLinear在路徑異常時(shí)R和F1結(jié)果最佳，其他情況下都是我們?cè)O(shè)計(jì)的模型獲得最佳結(jié)果，可以看出TAGDNet在數(shù)據(jù)集上實(shí)現(xiàn)了最高的分類(lèi)精度。特別是TAGDNet的圖結(jié)構(gòu)機(jī)制相較最先進(jìn)的方法有著顯著改進(jìn)。這表明不同傳感器之間的隱藏依賴(lài)關(guān)系共同決定了異常行為，而TAGDNet能夠很好地捕捉到這些復(fù)雜關(guān)系。

4 結(jié) 論

在這項(xiàng)工作中，本文提出了TAGDNet，一個(gè)基于圖神經(jīng)網(wǎng)絡(luò)的FOQA數(shù)據(jù)異常檢測(cè)框架。為了提取FOQA數(shù)據(jù)的重要特征，提出了注意力時(shí)序卷積網(wǎng)絡(luò)。同時(shí)，通過(guò)引入圖結(jié)構(gòu)學(xué)習(xí)和圖神經(jīng)網(wǎng)絡(luò)來(lái)處理傳感器變量之間的相互依賴(lài)關(guān)系，并最終通過(guò)分層圖池化方法克服圖神經(jīng)網(wǎng)絡(luò)的平坦性問(wèn)題。大量實(shí)驗(yàn)證明了該策略在分類(lèi)精度方面優(yōu)于其他最先進(jìn)的方法，并通過(guò)消融實(shí)驗(yàn)證明了各部分組件的有效性。未來(lái)的研究方向?qū)⒓性趯⑦@種方法與半監(jiān)督學(xué)習(xí)策略相結(jié)合，以便在缺少標(biāo)簽的航空大數(shù)據(jù)場(chǎng)景中實(shí)現(xiàn)更好的應(yīng)用。

參考文獻(xiàn)：

[1] LI L S，GAREL M，HANSMAN R J，et al. Anomaly Detection in Onboard-recorded Flight Data Using Cluster Analysis [C]//2011 IEEE/AIAA 30th Digital Avionics Systems Conference.Seattle：IEEE，2011：1-11.

[2] DAS S，MATTHEWS B，SRIVASTAVA A，et al. Multiple Kernel Learning for Heterogeneous Anomaly Detection： Algorithm and Aviation Safety Case Study [C]//Proceedings of the 16th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.Washington：ACM，2010：47-56.

[3] DAS S，MATTHEWS B，LAWRENCE R. Fleet Level Anomaly Detection of Aviation Safety Data [C]//2011 IEEE Conference on Prognostics and Health Management.Denver：IEEE，2011：1-10.

[4] SCARSELLI F，GORI M，TSOI A C，et al. The Graph Neural Network Model [J].IEEE Transactions on Neural Networks，2009，20（1）：61-80.

[5] DENG A L，HOOI B. Graph Neural Network-based Anomaly Detection in Multivariate Time Series [C]//Proceedings of the AAAI Conference on Artificial Intelligence.2021，35（5）：4027-4035.

[6] ZHAO H，WANG Y J，DUAN J Y，et al. Multivariate Time-series Anomaly Detection Via Graph Attention Network [J/OL].arXiv：2009.02040 [cs.LG].（2020-09-04）.https：//arxiv.org/abs/2009.02040.

[7] WOO S，PARK J，LEE J，et al. CBAM： Convolutional Block Attention Module[J/OL].arXiv：1807.06521 [cs.CV].（2018-07-17）.https：//arxiv.org/abs/1807.06521v1.

[8] HAMILTON W L，YING R，LESKOVEC J. Inductive Representation Learning on Large Graphs [J/OL].arXiv：1706.02216 [cs.SI].（2017-06-07）.https：//arxiv.org/abs/1706.02216v2.

[9] YING R，YOU J X，MORRIS C，et al. Hierarchical Graph Representation Learning with Differentiable Pooling [J/OL]. arXiv：1806.08804 [cs.LG].（2018-06-22）.https：//arxiv.org/abs/1806.08804.

[10] MATTHEWS B. Curated 4 Class Anomaly Detection Data Set [EB/OL].（2022-12-22）.https：//c3.ndc.nasa.gov/dashlink/resources/1018/.

[11] WU H X，XU J H，WANG J M，et al. Autoformer： Decomposition Transformers with Auto-correlation for Long-term Series Forecasting [J/OL].arXiv：2106.13008 [cs.LG].（2021-06-24）.https：//arxiv.org/abs/2106.13008.

[12] ZHANG Y H，YAN J C. Crossformer： Transformer Utilizing Cross-dimension Dependency for Multivariate Time Series Forecasting [C]//The Eleventh International Conference on Learning Representations.Kigali ：ICLR，2023：1-21.

[13] ZENG A L，CHEN M X，ZHANG L，et al. Are Transformers Effective for Time Series Forecasting？ [J/OL].arXiv：2205.13504 [cs.AI].（2022-05-26）.https：//arxiv.org/abs/2205.13504.

[14] ZHOU T，MA Z Q，WEN Q S，et al. FEDformer： Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting [J/OL].arXiv：2201.12740 [cs.LG].（2022-01-30）.https：//arxiv.org/abs/2201.12740.

[15] ZHOU T，MA Z Q，WANG X，et al. FiLM： Frequency Improved Legendre Memory Model for Long-term Time Series Forecasting [J/OL].arXiv：2205.08897 [cs.LG].（2022-05-18）.https：//arxiv.org/abs/2205.08897.

[16] ZHOU H Y，ZHANG S H，PENG J Q，et al. Informer： Beyond Efficient Transformer for Long Sequence Time-series Forecasting [J/OL].arXiv：2012.07436 [cs.LG].（2020-12-14）.https：//arxiv.org/abs/2012.07436v1.

[17] LIU Y，HU T G，ZHANG H R，et al. ITransformer： Inverted Transformers are Effective for Time Series Forecasting [J/OL].arXiv：2310.06625 [cs.LG].（2023-10-10）.https：//arxiv.org/abs/2310.06625.

[18] WANG H Q，PENG J2a71d5668ab474192922bbc5dee372b0，HUANG F H，et al. MICN： Multi-scale Local and Global Context Modeling for Long-term Series Forecasting [C]//The Eleventh International Conference on Learning Representations.Kigali：ICLR，2023：1-22.

[19] LIU Y，WU H X，WANG J M，et al. Non-stationary Transformers： Exploring the Stationarity in Time Series Forecasting [J/OL].arXiv：2205.14415 [cs.LG].（2022-05-28）.https：//arxiv.org/abs/2205.14415.

[20] NIE Y Q，NGUYEN N H，SINTHONG P，et al. A Time Series is Worth 64 Words： Long-term Forecasting with Transformers [J/OL].arXiv：2211.14730 [cs.LG].（2022-11-27）.https：//arxiv.org/abs/2211.14730.

[21] KITAEV N，KAISER ?，LEVSKAYA A. Reformer： The Efficient Transformer [J/OL].arXiv：2001.04451 [cs.LG].（2020-01-13）.https：//arxiv.org/abs/2001.04451.

[22] VASWANI A，SHAZEER N，PARMAR N，et al. Attention is all You Need [J/OL].arXiv：1706.03762 [cs.CL].（2017-06-12）.https：//arxiv.org/abs/1706.03762v2.