基于強化因果發現的航班地面保障事件影響因素分析

邢志偉，李正鋒，羅 謙+，夏 歡，張 濤

(1.中國民航大學 電子信息與自動化學院，天津 300300；2.中國民用航空局第二研究所 工程技術研究中心，四川 成都 610041)

0 引 言

航班地面保障(flight ground service，FGS)是民航機場航班進離港之間的重要組成部分。多年來，由FGS造成的航班延誤一直難以解決。效率低下的FGS事件可能對機場運營造成嚴重損害。2019年中國民航發展公報[1]與歐洲航空延誤報告[2]中表明由航班地面保障所引起的航班離港延誤達18%，平均延誤同比僅減少了0.14(3.55→3.41)分鐘。因此，對影響FGS事件執行效率變化的關聯因素進行因果發現，確定具有因果關系的因素將有助于減少低效率事件的發生，維持機場空側區的正常運行。

因果發現是為了回答“通過修改哪些變量的值可以改變另一個變量的值？”。事物之間的關聯關系不意味著具有因果關系[3]，關聯關系表示事物發生概率變化之間的關系，僅使用關聯性分析如簡單的業務邏輯分析無法準確描述事物變化的機理。

為了解決FGS影響因素的因果發現問題，本文首先分析了以往的研究，給出了關聯與因果的統一定義以及量化各影響因素的時間參考量。隨后提出了一種基于增剪邊規則的強化因果發現算法(reinforcement causal discovery，RCD)以分析和識別FGS事件影響因素的因果關系，該算法以經獨立性檢驗后的元因果矩陣與滿因果矩陣為輸入，以增剪邊規則為行為，由評分函數計算每次增剪邊后的獎勵分數，經過多次迭代得到代表因果邊存在的參數θ，最終給出FGS影響因素的最優因果圖，整體流程如圖1所示。

圖1 變更因果有向邊的因果發現

1 相關工作

目前FGS的研究主要集中在過程模擬、設施優化和特種車輛的運行效率方面。文獻[4]提出了基于博弈樹理論的航班地面保障過程動態控制方法，減少了航班的平均調度時間，但選擇的保障事件較少，實驗廣泛度不足。文獻[5，6]都是針對保障流程的研究，采用AOE網和“關鍵路徑”法，得出保障事件與航班延誤之間的關聯關系，并對保障工作給出建議。

在國外的研究中Jin等[7]提出了一種基于理論FGS過程模型的使用離散事件模擬來恢復和模擬現實的方法，用于研究設備數量，以發展其操作能力。它以飛機(數量、類型、起飛時間等)、地面車輛(數量、位置等)和機場(登機口等)為輸入，以準時航班數為輸出，克服了地面車輛設備工作過程的低效性。文獻[8]提出了一種獲得最佳車輛設備數量并最大限度縮短機場周轉時間的方法，其仿真、參數分析和優化算法改善了機場運營周轉時間。Mota等[9]為萊利斯塔德機場航班保障操作開發了詳細的離散事件模擬(DES)模型，更側重于單個服務過程。但國內關于航班保障與航班延誤離港間的關系及其背后的因果機理卻鮮有研究。

因果關系在解釋、預測、決策和控制中起著至關重要的作用[10，11]。發現因果關系被認為是表征人類智能水平的一個重要元素，還可作為人工智能的基礎[12]，發現因果關系也被簡稱為因果發現，由因果關系組成的有向無環圖稱為因果圖[13，14]。

因果發現有3類算法：基于約束(CB)、基于分數(SB)和基于功能因果模型(FCMs)[15]。前兩種方法依靠統計測試找到候選因果圖，第三種方法通過估計結構方程中的系數來學習因果關系。在最近的研究中，文獻[16]提出了一種基于約束的異構/非平穩數據因果發現框架，用于找到因果骨架并估計機制變化的性質。文獻[17]首次將強化學習和因果發現結合起來，將因果圖搜索問題轉化為追求局部獎勵最大化問題。

然而為何使用注意機制(Transformer)[17]即可獲得因果關系并未得到解答。同時現有的方法也無法確定因果圖搜索的方向。為了在將因果發現與強化學習結合的同時使因果發現更具解釋性，以及避免局部最優確定因果圖的搜索方向。本文使用改進的貝葉斯信息準則(BIC)評分函數提高因果關系的可解釋性；并提出基于增剪邊規則的強化因果發現方法，融合強化學習理念，在增邊和剪邊方向上同時搜索和比較，以確定因果圖的搜索方向。

2 因果與航班地面保障過程

2.1 因果關系

學習數據的因果關系需要了解統計相關性和因果關系之間的差異。“關聯不意味著因果”這句話廣為流傳，然而什么是關聯，什么是因果，自古以來便困擾著無數學者。本文依據貝葉斯網絡之父Judea. Pearl所提出的因果推理理論詳細論述因果科學下的關聯與因果。“關聯”是科學和統計學中經常要強調和注意的概念。它指的是兩個事物之間的聯系關系，聯系程度用相關系數來表示，相關系數的范圍是-1～1，相關系數絕對數越大，說明兩個事物聯系越緊密。相關系數再大，也不能說明因果關系，只能說明可能存在因果。在關聯關系當中，其中一個事物可能是因，也可能是果，比如《新英格蘭醫學雜志》中一項調查顯示吃巧克力越多的國家獲諾獎則越多，而真正的原因則是該國學術的發達、收入水平高所帶來的巧克力消費量大，即它只是真正原因表面眾多有關現象的一種，從而計算兩個變量間的相關系數并不能解釋兩者發生關聯的原因，只能評估關聯的強度。

狹義上講，因果關系指一個事件導致了另外一個事件，比如我劃動火柴，火柴被點燃，我的劃動是原因，而火柴的燃燒是結果。在廣義上，因果關系是描述原因與結果之間的一種關系，比如有很多原因可以引發肺癌，吸煙僅是其多種原因之一。事實上，相關性是對稱的，而因果關系是不對稱的。如果A是B的原因，那么B是A的結果，但是絕不會有“事件A是事件B的原因，事件A也是事件B的結果”這一類表示。

圖2給出了因果性和關聯性之間的可視化表示。關聯性表明，當現象A發生變化時，現象B也發生變化，反之亦然。另一方面，因果性表明，原因A作用于結果B，而B不能作用于A。定義1和定義2中用數學術語描述了這兩種關系。

圖2 關聯與因果

定義1 關聯性：給定一組變量集Data={a1，b2，c3，…，xr}， 其中每個子變量a1，b2，c3，…，xr，r=1，2，3，…都不同。當關注一個變量(例如a1)和其它變量之間的關聯性時，分析其中每個變量a1，b2，c3，…的變化方向(趨勢)。如果它們具有相同的變化趨勢，則它們是正關聯；如果不是，它們則是負關聯的。

定義2 因果性：如果變量Y可以隨變量X的變化而變化，或X出現在以Y為因變量的函數f中，則稱變量X是變量Y變化的原因。給定一組變量Data={a1，b2，c3，…，xc}， 其中每個變量a1，b2，c3，…，xc，c=1，2，3，…都不相同。在以目標變量y，y∈Data為因變量的分析中，如果將一些變量 {xc}c=1，2，…更改為自變量，發現目標變量發生了變化，而改變其余變量 {xr}r=1，2，…并沒有引起目標變量的變化；而后，將自變量與因變量交換，并重復上述過程，如果改變自變量未能引起因變量的改變，則表明變量集 {xc}c=1，2，…與y之間存在因果關系，并且 {xc}c=1，2，…是導致y的原因。

2.2 航班地面保障過程

航班地面保障是機場運營的基本部分，描述了飛機飛行準備的所有過程[18]。一般來說，保障時間或保障效率取決于飛機類型、保障人員的效率、車輛的準時性、乘客上下機、貨物裝卸以及航司的策略。FGS子過程遵循嚴格的時間順序，并具有時間相關性。然而，某些事件可以同時執行，而其它事件只能按順序執行。圖3說明了FGS中關鍵的空側區保障事件，通常分為翼上和翼下的保障事件。

圖3 航班地面保障過程關鍵事件

“翼上”事件：進離港旅客的登機和下機、餐飲的供應、客艙清潔、必要的安全和安保檢查、客梯車對接、廊橋對接等。

“翼下”事件，即貨物的卸載和裝載以及其它坡道活動如加油、行李/貨物處理、廢物清理、飲用水補充等。

“翼上”和“翼下”事件之間存在不同的執行邏輯關系。這些邏輯關系的強度是影響FGS事件效率的不同因素。本文參考國際航空運輸協會發布的《IATA機場操作手冊》和中國民航局發布的《飛行安全運行服務標準》等文件，給出了航班保障中4個FGS事件的影響因素，分別見表1～表4。本文使用分層的方法對影響航班地面保障事件關聯因素間的因果關系展開研究，以圖3中的關鍵事件作為目標層目標事件，其對應的可能影響因素為影響層，量化和計算影響因素之間關系的時間參考量為參考層。

表1 開客艙門事件影響因素

表2 客艙清潔事件影響因素

表3 關客艙門事件影響因素

表4 行李卸載和裝載事件影響因素

3 強化因果發現模型

3.1 因果圖與圖鄰接矩陣

因果圖是一個有向無環圖(directed acyclic graph)，用于可視化可能的因果關系。它通常由許多父子節點和有向線邊緣組成。節點通常表示事件和因素；有向邊的方向表示由原因指向結果的方向。

圖鄰接矩陣是描述因果圖的數學語言。圖鄰接矩陣的行和列由FGS各種影響因素組成，每個元素的值為0或1。圖4顯示了因果圖和相應的鄰接矩陣。

圖4 一種因果圖與其圖鄰接矩陣

例如，n階矩陣Mn×n。 當元素 (i，j)=1時，這意味著行i中表示的因素對列j中表示的因素具有因果關系，并且它們之間存在因果關系的有向邊。當元素 (i，j)=0時，表示行i和列j表示的因素之間沒有因果關系。

3.2 強化因果發現算法

強化學習是一種學習如何從自身狀態映射到行為以使得獲取的獎勵最大的學習機制。其基本要素包括策略、獎勵、行為和智能體。其中智能體是一種可以執行策略達成目標的實體，在本文中指強化因果發現程序；策略定義了智能體對于給定狀態所做出的行為，強化因果發現中的策略為增剪邊規則；獎勵則代表了智能體的目標——使因果圖分數最大。

本算法依賴于以下兩種假設：

假設1：求解目標為最大化評分函數計算的獎勵。

假設2：智能體的數據環境為FGS的影響因素。所有可見的影響因素都在第2.2節中，且沒有未觀察到的潛在變量。

找到真實的因果關系不是一蹴而就的，因此，本文引入了強化學習特有的連續試錯的理念。將強化學習中的獎勵描述為每個可能的因果圖得分，數據環境是FGS事件數據集，智能體是算法的主體，其采取的行為是增剪邊過程。強化因果發現算法流程如圖5所示。

圖5 強化因果發現過程

首先，通過先驗知識和條件獨立性測試添加現有的表示因果關系的有向邊。此時，因果圖被稱為元因果圖，通過添加可能的因果關系有向邊得到的因果圖被稱作滿因果圖。其對應的圖鄰接矩陣稱為元鄰接矩陣和滿鄰接矩陣。

其次，將上述兩個因果圖對應的鄰接矩陣作為輸入，開始搜索。將可能的因果關系有向邊添加到元因果圖中，同時在滿因果圖中剪掉有向邊。之后使用基于信息論的評分函數對一系列可能的因果圖進行評分，并比較兩種變化路徑下的分數。

評分函數如式(1)所示

(1)

(2)

NClinear(same)： 數據集中相同航班案例影響因素參考量之間線性變化的案例數。

NCcase：數據集中所有航班案例的數量

(3)

在因果圖搜索的過程中分數相對較大的路線PA將暫停增邊，另一條路線PB將單獨變更。相反，當PB路線計算出更大的分數時，PB路線暫停PA路線繼續搜索。這為因果圖的搜索指明了方向，不再依賴于隨機性。由于評分函數的一一映射，兩種路徑方法最終收斂到一個具有相同評分和相同結構的因果圖。此時有

S(MPA，增邊)=S(MPB，剪邊)

(4)

這一過程是使用圖鄰接矩陣來實現的，將圖鄰接陣轉換為因果圖作為輸出。上述RCD過程的相關算法見表5。

表5 強化因果發現算法偽代碼

4 實 驗

此次實驗給出了2018年7月至2018年8月中國某民用機場的FGS數據集示例。此外給出了實驗部分的第三個假設。最后使用因果圖表示了上述篩選的3個保障事件的影響因素間的因果關系，并與注意力機制的因果發現方法所得到的因果圖對比。實驗中使用的數據見表6。

表6 部分實驗數據

其中第一列表示航班案例數，第二列和第三列是第2節中提到的時間差參考量。

4.1 實驗假設與因果關系變化趨勢的可視化

為了更好地將FGS過程與因果理論結合起來分析影響因素參考量節點之間的因果關系，本節給出假設三：見表1～表4，任何已知事件節點組對目標節點都有一定程度的因果關系，其由先驗或專家知識獲得。各影響因素節點之間的關系未知，由RCD算法求解。

圖6表示判斷因果關系方向和計算表1中事件p(G|D) 的可視化圖。分別將時間參考量a1和b1作為原因和結果，然后更改因果順序以進行對稱分析。黑色實線表示Y軸變量與X軸變量的變化趨勢，虛線表示黑色實線的移動平均曲線。從圖中可以看出，當a1是原因而b1是結果時，a1在 (-18，-12)∪(10，18) 的區間內具有顯著的線性性質。相反，對稱分析圖中沒有類似的性質。

圖6 計算懲罰因子的可視化

圖7 開客艙門事件影響因素參考量間趨勢

圖8 通過兩種算法獲得的表1～表4中事件的最佳因果

4.2 實驗結果分析

以圖8(a)中的第一個因果圖為例，在開客艙門事件中，地服人員到位(B1)對廊橋對接準時性(A1)有因果影響。當A1的準點率較低時，也會影響廊橋/客梯車對接的準時性。廊橋對接是否按時開始影響廊橋對接過程的效率。然而，B1和C1之間沒有直接的因果關系，這是因為A1的作用使它們之間產生了相關性。因此，我們可以通過調節事件B1來改善事件A1。對于第四項保障事件因果關系為B4-D4，C4-D4，A4-C4。其中D4是工作總效率，是受人員單位準時性影響的。從A4-C4之間的因果關系是意料之外的，推測是由于當前機場車輛資源的有限，行李設備車的指派需要在貨艙門確定開啟的條件下進行，從而產生了這一人為規定導致的因果關系。而當機場在不繁忙時間段資源充足的情況下需及時調整規定，提高行李設備車的抵達效率，以優化航班地面保障過程。

再來看圖8(b)中對應的因果圖，注意力機制算法給出了錯誤的方向關系A1-B1，C2-B2，D4-B4。由于A1在時間上落后于B1，C2明顯出現在B2之后，所以因果關系方向不可能從A1到B1和C2到B2；對于D4與B4而言，裝卸效率并不會反向作用于人員的準時性。另外沒有發現A4與C4間存在的人為因果關系，這也證實了使用注意力機制發現的因果關系是有缺陷的，因為注意力機制實際上是局部選擇的最優化，且在文獻[17]中作者也未給出使用注意力機制的理由。而本文提出的方法在結果上更加合理，更能解釋其中的因果關系。

應用因果關系理論分析FGS影響因素之間的關系在民航領域尚屬首次。為了評估驗證方法的優越性和指標，比較了PC和RCD兩種算法的錯誤發現率(FDR)、真陽性率(TPR)和結構漢明距離(SHD)。并針對樣本量(航班數)分別為1000、5000和10 000的FGS數據調用了兩種算法。其對應的計算指標見表7。

表7 兩類算法指標對比

5 結束語

本研究提出了一種新的方法來尋找航班地面保障影響因素之間的因果關系。為了提高因果圖的準確性，該方法使用帶有懲罰因子的評分函數來評價生成的因果圖。其優點是結合了強化學習來最大化獎勵以及增剪邊方法用于指定因果圖的搜索方向。

在航班保障領域首次將因果發現和強化學習相結合。與以往的研究相比，本研究方法在因果水平上確定了事件執行效率的變化機制。當要改變某一保障事件執行效率時，可以更明確地指定需要調整的資源和因素，以避免非因果目標的無效調整可能造成人力物力的浪費。未來的工作將進一步擴展實驗數據，并確定剩余事件的因果圖。此外，將逐步放寬假設，并分析各種事件的不同影響因素之間的因果關系。