基于生成對抗網絡的飛機燃油數據缺失值填充方法

郭毅博，牛猛，王海迪，陳艷華，薛均曉，袁玥，侯立碩，徐明亮，潘俊

（1.鄭州大學信息工程學院，河南鄭州450001；2.中國航空工業集團公司金城南京機電液壓工程研究中心，江蘇 南京211106）

0 引 言

燃油測量系統是飛機燃油系統的重要組成部分。對飛機各油箱內當前剩余燃油量的實時精確測算，是實現飛機耗油順序優化、飛機重心控制及飛機熱管理等的基礎。飛機燃油測量精度對飛機續航時間、有效載重、重心等控制均有重要意義。

通過安裝在飛機機身不同部位的各類傳感器采集飛機燃油相關信息，例如，陀螺儀可采集飛行姿態，氣壓高度計可采集飛行高度，電容式測量桿可采集飛機油箱內燃油面的高度。傳感器傳輸的數據隨飛機狀態的改變而變化，將傳感器輸出的數據組合起來便可得到一個多維時序數據，即飛機燃油數據。圖1為飛機各個部位傳感器數據采集示意，各時序數據反映了飛機的狀態。常用的飛機燃油測量方法是通過分析飛機燃油數據，學習飛機運動姿態、飛機油箱內燃油面高度等信息與飛機燃油之間的映射關系得到的，其測量精度與燃油數據的質量息息相關。

圖1 飛機各個部位傳感器數據采集示意Fig.1 Schematic diagram of sensor data acquisition in various parts of aircraft

然而，由于飛機高空飛行過程中受多種因素影響，燃油數據會出現相當規模的缺失或錯誤。例如，飛機在進行大幅度機動動作時，油箱內燃油會產生劇烈晃動，難以形成可測量的油面，測量桿難以采集準確數據。另外，傳感器可能因受電磁干擾無法正常工作，或采集數據出現誤差。同時，各類傳感器的數據采集頻率并不完全一致，在進行數據融合和時空對齊時易出現數據缺失，缺失數據常用“/”表示（如圖1所示）。時序數據中部分信息缺失會導致其隱含的歷史變化規律丟失，使得后續很難做出準確的分析和預測，因此，需對數據進行預處理。

對缺失值的處理方法主要有2種：直接刪除法和缺失值填充法。直接刪除法是直接丟棄包含缺失值樣本的方法。該方法雖然可以保證數據完整，但因數據樣本量減少，造成樣本多樣性缺失，不利于后續分析。缺失值填充法是根據特定規則填充缺失值的方法，主要分為基于統計學的填充方法、基于機器學習的填充方法和基于生成對抗網絡的填充方法3種。其中，前2種填充方法沒有考慮時間序列上下文關系，燃油數據缺失值填充效果較差；而基于生成對抗網絡的填充方法引入了博弈論思想，使填充的完整序列數據更符合真實序列數據分布。然而，當輸入數據過長時，基于生成對抗網絡的填充方法會出現信息丟失，無法學習時序數據中較長時間段的歷史變化規律，影響數據填充效果。

本文對基于生成對抗網絡的缺失值填充方法進行了改進，在算法模型的生成器部分引入注意力機制的Seq2seq模型，這在一定程度上解決了輸入數據過長時信息丟失的問題。此外，本文還將缺失數據位置信息用于填充算法，從而有效改善數據填充效果。

1 相關工作

1.1 基于統計學的缺失值填充方法

根據統計學規律進行缺失值填充。如AMIRI等［1］用 上 一 次 觀 測 值（last）進 行 缺 失 值 填 充，PURWAR等［2］用眾數（mode）進 行缺失值 填充，KANTARDZIC等［3］用均值（mean）進行缺失值填充，這些方法雖然能將缺失值補充完整，但因只考慮單個維度的統計信息，忽略了其他維度，導致填充效果較差。

1.2 基于機器學習的缺失值填充方法

通過機器學習相關算法構建填充模型、學習數據樣本分布規律、生成相應的填充值。MAZUMDE等［4］采 用 基 于 期 望 最 大 化（expectationmaximization，EM）的填充方法，不斷迭代計算最大化期望和求解期望至均衡，得到概率模型，并將由概率模型得到的估計值作為填充值。HASTIE等［5］采用基于矩陣分解（matrix factorization，MF）的填充方法，將缺失時序數據看作矩陣，先使用奇異值分解（SVD）［6］、主 成 分 分 析（PCA）［7］、非 負 矩 陣 分 解（NMF）［8］、概率矩陣分解（PMF）［9］等算法將矩陣分解為多個子矩陣的乘積，再將子矩陣相乘得到對應的相似矩陣，最后進行缺失值填充。NIKFALAZAR等［10］整合決策樹與模糊聚類的優點，通過迭代學習對數值型缺失數據和分類型缺失數據進行插補。KHAN等［11］將單一和多種插補法混合，提出一種多鏈方程的單中心插補方法用于類別估算和數值數據的插補。馮憲凱等［12］對基于DBSCAN算法的缺失值填充方法進行了改進，通過定義由數據對象密集程度自適應調節大小的MinPts鄰域，并用其代替不變的ε鄰域，從而提高了處理后缺失值記錄的正確率。BATISTA等［13］采用基于k近鄰（k-nearest neighbor，k NN）的填充方法，先找到與時序數據中缺失值距離最近的k個數據，再將這些數據的均值作為填充值。參數k值的選擇會影響該算法模型的精度，k值過小會導致模型精度下降。張楷卉等［14］用平均比率法進行基礎填充，以提供完整數據條件，在模糊C均值聚類框架下進行同類數據聚集，并利用局部距離策略改進模糊C均值聚類，此方法主要用于處理大型數據集。以上方法在計算過程中均未考慮時序數據在時間維度上的上下文依賴關系，易造成填充值與時序數據的隱含規律不相符，填充效果較差，無法滿足缺失值填充任務的要求。

基于此，考慮深度學習算法中循環神經網絡在時間序列任務中的優秀表現，將循環神經網絡應用于缺失值填充。CHE等［15］用基于循環神經網絡的填充方法，先用部分完整的時序數據訓練多層循環神經網絡模型，再用該模型預測時序數據中每個缺失值。郝雨微［16］提出2種改進措施，一種是在深度模型中引入4種缺失模式用于預測任務，另一種是設計新的雙向多任務循環結構，采用插補法進行缺失時序數據填充。FEDUS等［17］采用基于自編碼器的填充方法，先用編碼器將包含缺失值的時序數據映射為一個固定長度的中間向量，再將其解碼為相應的完整時序數據，最后填充缺失值。

以上方法雖然能有效提取時序數據在時間維度上的上下文依賴關系，但需采用完整的數據集進行模型訓練。另外，若用傳統的填充算法對缺失時序數據先填充，再訓練，則會導致模型精度降低。因此，基于機器學習的填充方法只適用于時序數據中缺失值占比較小且樣本量較多的情況，即可從時序數據中挑選出足夠的完整數據用于模型訓練。

1.3 基于生成對抗網絡的填充方法

通過生成對抗網絡建立填充模型，學習數據集樣本的分布規律，并將生成器輸出作為填充值。YOON等［18］提出基于生成對抗網絡的缺失值填充方法，使用生成器生成與原始數據集分布相同的新的數據樣本，并根據生成樣本進行缺失值填充。SHANG等［19］在此基礎上對多模態數據進行了研究，該方法能夠學習多模態數據各維度之間的關系，并以此填充某個模態數據中的缺失值。羅永洪等［20］根據生成對抗網絡與時序數據時間間隔特性，對缺失的時序數據進行降維，以提高缺失值填充效率。以上3種方法均可直接對缺失數據進行訓練，但均未考慮時序數據的上下文依賴關系，不適合時序數據。

LUO等［21］將自編碼器模型引入生成對抗網絡，通過運用循環神經網絡取得了較好的填充效果。但當輸入的時序數據較長時，由于編碼器很難將所有重要信息壓縮為一個低維中間向量，因此易出現信息丟失，這在一定程度上影響填充效果。為此，本文在生成器部分引入了注意力機制的Seq2seq模型，旨在有效解決信息丟失問題。

2 基于生成對抗網絡的飛機燃油數據缺失值填充方法

2.1 問 題

首先，定義缺失燃油數據為其中，x T可具體表示為x kt，表示該數據中時刻t數據的第k個元素值，d表示數據的維度，T表示數據的長度，R表示實數。

其次，定義缺失燃油數據相應的缺失標識矩陣Q∈Rd×T為

其中，qtk表示缺失標識矩陣第t行第k列的元素。

最后，填充完整的燃油數據可表示為

其中，x'T可具體表示為x k't，表示該數據時刻t數據的第k'個元素值。

真實完整的燃油數據可表示為

其中，y T可具體表示為y kt，表示該數據中時刻t數據的第k個元素值。

根據以上定義，舉例說明如下。假設燃油數據為

則對應的缺失標識矩陣為

式（4）中，/表示缺失值，式（5）中，1表示數據完整，0表示數據缺失。

將缺失燃油數據填充完整，得到完整燃油數據，可表示為

2.2 方法框架

谷歌提出了可用于解決Seq2seq問題的Transformer模 型［22］，該 模 型 以 全 注 意 力 層（attention）結構代替LSTM，實現了高效并行，但目前Transformer模型大多用于自然語言處理（natural language processing，NLP），較少用于時間序列，其在時序數據上的性能尚很難確定，而大量實驗證明LSTM能夠有效處理時序數據［23］，將LSTM與生成對抗網絡相結合可有效提高缺失值填充效果。將博弈論思想引入傳統的生成對抗網絡［21］，所構建的模型主要包含生成器（G）和判別器（D）兩部分。其中，生成器主要用于學習真實數據樣本的分布狀況，并生成完整燃油數據；判別器主要用于判斷輸入數據樣本的真實性，即判斷輸入數據樣本是真實的還是由生成器生成的。

為避免傳統生成對抗網絡訓練困難、生成器生成數據缺乏多樣性的問題，本文引入了Wasserstein生成對抗網絡（WGAN）模型［25］的改進方法，即用W距離替代JS散度。WGAN的優化函數為

由于本文的目的是填充缺失值，而不是直接生成新的數據樣本，因此需對生成器輸入部分進行相應的改動。在傳統的生成對抗網絡中，生成器的輸入是服從高斯分布的隨機噪聲向量，而在燃油數據缺失值填充中，其輸入是一段包含缺失值的時間序列X。

本文方法的整體結構如圖2所示。先通過編碼器將生成器輸入數據映射為一個維度固定的低維向量z，然后將向量z重構為完整的時序數據，得到完整時間序列Y'。此外，判別器的輸入包含2種數據，一種為真的完整時間序列Y，另一種為假的填充后的完整時間序列Y'；其輸出為輸入數據是真實樣本的概率。生成器和判別器經交替迭代訓練，最終達到均衡，此時二者的損失值不再降低，生成器的輸出數據樣本與真實完整序列數據樣本的分布相符，之后只需將生成的數據填充至原始數據中的缺失處。

2.2.1 生成器結構

生成器內部采用Seq2seq模型［26］，該模型通過自編碼器實現，自編碼器由一個編碼器和一個解碼器組成，其中編碼器可將輸入的缺失燃油數據壓縮為多個低維中間向量z1，z2，…，zn，而解碼器可通過解碼這些中間向量得到完整的燃油數據。

圖2 本文方法整體結構Fig.2 The overall architecture of the method

本文通過向輸入數據中加入噪聲的方式增加數據多樣性，增強Seq2seq模型的泛化能力。但直接以一定概率將輸入數據置為0的方式會導致輸入數據缺失率增加，不利于缺失值填充任務。為此，本文直接生成一個符合高斯分布的隨機噪聲向量，并將其與輸入數據拼接為新的輸入數據。此外，基于輸入數據中缺失值的上下文依賴關系對缺失值填充任務的重要性，自編碼器的2個部分均使用循環神經網絡，其中，編碼器使用BiLSTM模型［27］，解碼器使用LSTM模型［28］。

BiLSTM模型包含前向計算和后向計算兩部分。在前向計算中，數據以正序輸入，模型中時刻t的隱藏層狀態h→t能學到時刻t之前的所有輸入信息；在后向計算中，數據以逆序輸入，模型中時刻t的隱藏層狀態h←t能學到時刻t之后的所有輸入信息。將2個隱藏層狀態拼接起來，可得時刻t的隱藏層狀態為［h→t，h←t］。在LSTM模型中，時刻t'的隱藏層狀態為st'。

由于Seq2seq模型中引入了注意力機制［22］，編碼器與解碼器之間保留了多個固定長度的中間向量zi。計算方法如下：

編碼器中每個時刻的隱藏層狀態ht與解碼器中前一時刻的隱藏層狀態st'-1之間的相關程度用et't表示

其中，v表示權重向量，W和U分別為權重矩陣。

對et't進行歸一化，可得對應的注意力概率分布：

由ht和at't可得中間向量zt'：

由zt'和st'-1可得解碼器當前時刻的隱藏層狀態：

將所有時刻的解碼器隱藏層狀態信息用于填充數據。

為保證生成器輸入數據與輸出數據相關，在損失函數中引入了自編碼器模型中的重建誤差損失。生成器的損失函數包含對抗網絡損失和重建誤差兩部分。其中，對抗網絡損失用于評估生成器生成樣本與真實樣本的相似程度；重建誤差用于評估時序數據缺失值填充效果。由于重建誤差只針對非缺失部分的時序數據，需要先計算缺失標識矩陣。生成器的損失函數為

其中，λ表示降噪自編碼器重構損失的系數；X表示輸入的缺失部分的時序數據；M表示缺失標識矩陣。生成器的訓練目標是使生成樣本被識別為“真”的概率最大，并使重建誤差最小。

2.2.2 判別器結構

判別器主要由卷積層、注意力層、循環層和連接層（FC）組成。卷積層主要用于學習時間維度上的短期上下文依賴關系；注意力層主要用于選擇與輸出相關性高的數據；循環層主要用于學習時間維度上的長期上下文依賴關系；連接層主要用于將循環層的輸出映射為一維向量，用Softmax函數計算輸入數據是“真”的概率。判別器的訓練目標是盡可能地將真實樣本識別為”真”，將生成樣本識別為”假”。其注意力層結構如圖3所示；損失函數為

圖3 注意力層結構Fig.3 The architecture of deep attention

3 實驗與分析

3.1 實驗設置

實驗數據來自某型號飛機油箱的多自由度地面轉動試驗臺。該試驗臺能改變油箱的滾轉角和俯仰角，使油箱能在一定角度范圍內做旋轉運動，模擬飛機的機動動作或模擬巡航飛行時油箱內燃油的變化情況。傳感器的輸出隨時間變化，綜合每時刻傳感器的輸出數據可得到一個多維時序數據，即飛機燃油數據，生成實驗數據集。共進行了120組實驗，每組實驗時長為1 h，有效采樣頻率為5 Hz。

實驗驗證所用數據集有時間長度數據集和模型驗證數據集2種。

3.1.1 時間長度數據集選擇

首先，從燃油數據中篩選完整的子序列，根據不同的樣本長度參數，將每個子序列分割為不同長度的數據樣本，樣本序列長度分別設為100，200，300，400，500，600，然后，隨機丟棄30%的數據，根據丟棄位置生成相應的缺失標識矩陣，最后，將分割后的數據和相應的缺失標識矩陣匯總，得到不同樣本序列長度的數據集。

3.1.2 參數λ選擇

參數λ可影響對抗網絡損失和重建損失在生成器損失函數中的比例，λ值越大，重建損失所占比例越大。用缺失比例為30%的模型驗證數據集，模型中設置不同的參數λ值。

3.1.3 模型驗證數據集選擇

首先，從燃油數據中篩選出完整的子序列，將其分割為樣本序列長度為100的數據樣本，然后，隨機丟棄不同比例的數據，丟棄比例分別設為10%，20%，30%，40%，50%，60%，根據丟棄位置生成相應的缺失標識矩陣，最后，將分割后的數據和相應的缺失標識矩陣匯總，得到不同缺失比例的數據集。缺失值填充任務數據集屬性如表1所示。

表1 缺失值填充任務數據集屬性Table 1 Missing value population task dataset attributes

3.2 評價指標

用均方誤差（MSE）作為評價指標，評價填充效果。其計算公式為

其中，n表示樣本數，y i表示真實樣本，y'i表示生成樣本，MSE越小，說明y i與y'i之間差距越小，即準確度越高，填充效果越好。

3.3 實驗結果及分析

3.3.1 不同樣本序列長度對比實驗

不同樣本序列長度下填充方法的填充效果如圖4（a）所示。隨著樣本序列長度的增加，填充方法的MSE逐漸提升，當樣本序列長度大于400后，MSE基本趨于穩定。考慮樣本序列長度對填充速度的影響，將樣本序列長度設置為400。

3.3.2 參數λ選擇實驗

不同參數λ下的填充效果如圖4（b）所示。當參數λ接近于1或0時，填充效果較差，即生成器損失函數的兩部分均有助于提升填充效果。當參數λ為0.3時，MSE最低，即填充效果最佳。

3.3.3 不同缺失比例下填充算法對比實驗

圖4（c）為不同缺失比例下基于last、mean、MF、EM、k NN、GAIN及本文方法7種填充方法的填充效果對比。

由圖4（c）可知，各填充方法的MSE隨缺失比例的增加整體呈上升趨勢，說明缺失比例是影響填充方法準確度的重要因素之一。此外，在缺失比例相同的情況下，本文方法的MSE均低于其他填充方法，說明7種方法中本文方法的填充效果最佳。

圖4 實驗結果對比Fig.4 Comparative experimental results

表2 不同缺失比例下各填充方法的均方誤差Table 2 MSE of various filling algorithms at different missing scales

各填充方法在不同缺失比例下的MSE如表2所示，整體來看，本文方法在各缺失比例下均能達到最佳填充效果。

4 結 論

提出了一種基于生成對抗網絡的飛機燃油數據缺失值填充方法，并針對地面轉動試驗臺采集到的飛機燃油數據進行缺失值填充實驗。為解決輸入數據較長時存在的信息缺失問題，在生成器部分引入了注意力機制的Seq2seq模型。此外，用缺失標識矩陣優化損失函數。結果表明，與其他6種填充方法相比，本文方法填充效果更佳，學習能力更強，可應用于其他領域的時序數據缺失值填充及輔助后續數據分析，對提升飛機燃油測量等的精度有重要意義。