巧用數列思想解決航班運行統計主題數據倉庫中的航跡串線問題

吳龍波

摘 ?要：航班管制數據的統計分析是優化空中交通管理運行的基礎，而空管大數據平臺為統計分析提供了強大的計算能力，文章在此平臺基礎上進行了航班運行統計主題數據倉庫的設計，并靈活應用數列求和思想解決了航班統計中的航跡串線難題。

關鍵詞：大數據平臺;數據倉庫;數列;航跡串線

中圖分類號：TP311 ? ? ? ? 文獻標志碼：A ? ? ? ? 文章編號：2095-2945（2020）25-0020-02

Abstract： The statistical analysis of flight control data is the basis of optimizing the operation of air traffic management， and the big data platform of air traffic control provides powerful computing power for statistical analysis. On the basis of this platform， this paper designs the thematic data warehouse of flight operation statistics， and flexibly applies the idea of summation of sequence of number to solve the problem of track alignment in flight statistics.

Keywords： big data platform; data warehouse; sequence of number; track crossover

引言

航班管制數據統計是空管運行管理的核心和基礎，從現場戰術層面一直到全局戰略層面都迫切需要全面、準確、實時的數據統計分析結果作為業務支撐。但隨著航班量的不斷提高和科技的發展，空管業務需求日新月異，給航班運行統計業務帶來以下難題：

海量航班航跡數據與傳統數據處理架構的矛盾激化，例如傳統數據庫無法滿足航跡數據的批量串線處理的性能需求。

統計分析維度[1]設置粗糙，難以應對管制靈活查詢統計的需求。例如目前航班高峰流量的運行統計仍舊停留在按自然天（或自然小時）的時間粒度。

缺乏基于統一的基礎數據模型和航班航跡運行統計模型的主題數據倉庫，導致用戶需求變更時，往往需要重新采集和分析數據，造成重復勞動。

另一方面，大數據及相關應用研發工作已成為民航業內今后的重點戰略方向，阿里云研發的航空大腦在北京首都機場成功運用，與航空運輸行業知識深度結合，提供了機場停機位分配、班組排班、態勢監控等一系列解決方案，充分體現了大數據技術在民航業內的適用性。為適應空管技術發展，解決航跡串線等難題，更好地迎合空管業務的統計分析需求，提升管制數據統計分析效率和準確率，構建基于大數據平臺的面向航班運行統計主題的數據倉庫極具意義。

1 數據倉庫結構設計

基于大數據平臺技術[2]，本課題計劃設計和建設一個面向航班運行統計分析主題的數據倉庫，在數據倉庫的基礎上，實現航班航跡等生產數據的采集、清洗、分層存儲、統計、分析以及結果展示。整個系統的應用架構設計如圖1所示，模塊包括：大數據平臺、數據采集模塊、數據處理模塊、數據服務模塊、數據應用模塊。

（1）大數據平臺。是一個分布式的計算和存儲平臺，作為整個系統的基礎支撐模塊，給數據采集、數據處理和數據應用提供基礎計算框架和存儲支持。

（2）數據采集模塊。提供統一的數據采集方案，本課題中主要采集方式為離線，負責生產數據離線采集、脫敏、清洗、轉換與存儲。

（3）數據處理模塊。建立數據倉庫模型，通過SQL腳本和JAVA自定義函數[3]實現數據統計分析。

（4）數據服務模塊。通過分析型數據庫存儲結果數據，同時為前臺應用提供數據訪問接口。

（5）數據應用模塊。通過Echarts等前端技術實現前臺應用和大屏展示，實現三維航跡展示和二維數據統計圖表查詢和導出。

2 數據倉庫層次設計

以空管當前航班運行統計難點出發，依托大數據平臺技術，面向航班運行統計主題數據倉庫將建立統一標準的航班軌跡模型，建設中南地區基于航班計劃/動態、流控數據和雷達航跡的三層數據倉庫。數據倉庫設計為三層，按數據治理順序分為ODS、DWD和DWS，每層含義如下所示。

ODS（OPERATION DATA STORE，業務原始數據存儲層）：ODS直接存放從業務系統抽取過來的數據，并且結構上與業務系統保持一致;ODS層在業務系統和數據倉庫之間形成一個隔離，降低業務系統與數據倉庫的耦合性。

DWD（DATA WAREHOUSE DETAIL，數據倉庫明細層）：ODS層的數據經過清洗、格式轉換后進入DWD層;DWD層的數據與數據倉庫模型保持一致;DWD的建設以航班航跡模型為基礎，是數據倉庫建設的重點內容。

DWS（DATA WAREHOUSE SUBJECT，數據倉庫主題層）：DWS層數據以應用需求為出發點，按應用主題匯集數據，便于實現某一領域內的快速統計分析和結果保存。

3 巧用數列解決航跡串線

在航班運行統計主題數據倉庫中，對航跡數據的計算是批量進行的，例如按天統計。在批量計算中，必須解決把同一個航班的航跡進行串線的問題，即對同一個航班的數據進行唯一標識。但同一天的數據中，航班號一致并不代表一定是同一個航班，在本文中，我們定義如果同一個航班號的連續兩個航跡的時間差超過60秒（含）則認為這兩個航跡屬于不同航班。傳統辨別航跡串線的算法中，一般通過航班的二次代碼或結合航班計劃進行串線，但這種方法存在一些問題，例如航班的二次代碼并不能在飛行全程保持統一，而航班計劃也往往不能囊括所有的航班，不可避免會導致航跡數據中有小部分航班無法關聯計劃ID。

為解決傳統算法的弊端，本文在航跡串線中僅使用最可靠的兩個數據航班號以及航跡時間，我們假設某1天的航跡數據按航班號和航跡時間升序保存在表1中，該表有5個字段，包括航班號、航跡時間、時間序列、增量標識以及串線標識。其中時間序列是把航跡時間轉化為整數描述，增量標識是當前記錄與上一記錄的差值（如果本記錄是第一條，則該字段值為0），串線標識是用來鑒別相同航班號的不同航班。

從上表可以看出，盡管航班號都是CLB996，但通過串線標識可以從這個航班號的航跡中識別出兩個不同的航班。

4 結束語

本文研究了一個基于大數據平臺的面向航班運行統計主題的數據倉庫，相比傳統模型，能實現快速處理海量數據，并提升統計分析的靈活性，在此倉庫上創新性使用數列思量來深入論證了空管業務中的航跡串線算法，證明了航班主題數據倉庫解決當前空管統計業務重難點問題的能力。

參考文獻：

[1][美]Ralph Kimball，[美] Margy Ross.大數據應用與技術叢書·數據倉庫工具箱（第3版）：維度建模權威指南[M].清華大學出版社，2015.

[2][美]Martin Kleppmann（馬丁·科勒普曼）.數據密集型應用系統設計[M]. 趙軍平，呂云松，耿煜，等，譯.機械出版社，2018.

[3]李妹芳.ODPS權威指南：阿里大數據平臺應用開發實踐[M].人民郵電出版社，2017.