民航機場應急救援大數據處理平臺架構研究?

潘衛軍 劉鎧源 朱新平 王 玄 王少杰

（1.中國民用航空飛行學院 廣漢 618300）（2.中國國際航空公司西南分公司運行控制中心 成都 610200）（3.威海國際機場集團有限公司 威海 264200）

1 引言

民航機場應急救援是應用大數據技術解決實際問題的絕佳場景，機場應急救援任務過程中涵蓋的人員、設備、部門眾多，一次行動有機場、消防、醫院、通信、政府等多家單位參與，2020 年10 月16 日中國民航歷史上規模最大的機場應急救援綜合演練在上海浦東國際機場展開，演練共涉及浦東國際機場、機場公安局等14 家單位800 余人，各類設施設備100 余臺。據相關資料實地統計，一次應急救援行動需要處理的不同部門提供的數據量在TB級別，全民航累積的歷史數據量在PB級別左右，從數據體量及數據種類、數據來源上來說完全具備搭建機場應急救援大數據處理平臺的數據資源。

應急救援過程中產生的海量數據除了一般大數據的4V特征［1］，還擁有以下兩個新特點：1）Accu?rate（精準性）數據來源于協同單位的數據系統，數據是精準有效的，運用在應急決策中是可靠的。2）Complexity（復雜性）救援決策中依賴的數據來源部門多、數據種類繁雜、數據格式不統一、非結構化數據較多、對數據處理和分析的難度很大。

國外在機場應急救援建設方面處于領先地位，1990 年開始FAA 針對機場運行過程中的數據處理需求，研發了全域信息管理系統、增強型交通管理系統、NAS 語音系統等多種機場數據處理系統，并對運行過程中產生的數據進行數據挖掘，二次開發，以此來提升機場運行安全能力和效率［2～9］。國內在機場應急救援方面，從機場應急救援系統架構［10］、機場協同決策系統［11］、機場運行安全［13～14］、機場應急預案推演［15～16］等方面展開了研究，但沒有形成系統性的支撐機場應急救援大數據處理的技術體系，也沒有搭建相關的大數據平臺，因此開發機場應急救援大數據處理平臺顯得非常必要且迫切。

本文針對機場應急救援行動中的決策需求，對機場應急救援大數據處理平臺的整體架構、平臺功能、基礎組成以及數據處理技術展開了研究。

2 機場應急救援大數據處理平臺總體架構

機場應急救援大數據處理平臺架構設計主要包括硬件層、數據層、處理層及應用層設計，如圖1所示。

數據層通過統一的數據平臺對應急救援行動過程中產生的實時數據及歷史數據進行集中聚合存儲，并針對不同類型的數據建立對應的數據分類標準，剔除無效數據，提升數據有效性、規范性。為處理平臺提供全面一致的數據基礎，打破現有應急救援指揮系統數據種類多、格式多，數據難統一處理的現狀，充分發揮數據在應急救援行動中重要的潛在價值，提升平臺建設和運行效率。

數據層包括結構化、半結構化、非結構化三類數據數據交換組件及數據存儲索引，將存儲在傳統數據庫中的數據通過數據交換組件交換到HDFS集群中。結構化數據交換組件通過Perl+ Hive Load實現，處理機場應急救援過程中產生的結構化數據，包括存儲在傳統數據庫中的救援車輛、裝備、人員、水源、飛機結構等信息。半結構化、非結構化數據交換組件調用資源層API，依托SFTP 協議對應急救援行動中產生的通話語音，監控視頻文件等數據批量傳輸，并將其加載到分布式數據存儲平臺HDFS目錄。

圖1 空管大數據處理平臺架構

數據存儲索引設計將Elasticsearch 與HDFS 集成Elasticsearch-HDFS，同時擁有Hadoop 的海量數據存儲和Elasticsearch 實時分析能力，構建動態嵌入式搜索應用來檢索HDFS 數據，能使HDFS 執行深度低延時分析。通過數據交換組件的數據先進入HDFS 存儲，再與Hive 結合來減少實時數據訪問的篩選量。

數據處理層主要通過調用底層數據處理資源，對處理平臺中的數據進行批處理和流處理計算加工后，結合機器學習，深度學習，數據挖掘等處理方式，整合數據模型并生成匯總，并將數據處理結果傳遞到應用服務層。

應用服務層設計主要將處理層的數據，通過數據報表、數據動態展示等數據可視化方法，針對救援行動中的不同單位需求提供定制化服務，為救援決策提供數據分析處理支持，提升應急救援效率，減少人員財產損失。

硬件層為機場應急救援大數據處理平臺提供硬件支撐，主要由數據庫、存儲資源、防火墻等組成，采用虛擬化基礎云平臺，通過標準接口對虛擬資源進行集中調度和管理，構建實時高效的數據處理中心。

3 機場應急救援大數據處理基礎平臺組成

機場應急救援大數據處理基礎平臺采用PC服務器搭建Hadoop 分布式系統集群架構，分布式文件系統HDFS 高容錯性、高吞吐量、數據只能追加不能修改的特點能很好地滿足應急救援大數據處理平臺對大型數據實時存儲快速準確分析的應用需求，一個HDFS 集群通常包含兩個節點，名稱節點和數據節點。名稱節點管理文件系統及文件訪問權限，并對調配數據節點。數據節點對結構化、半結構化、非結構化數據進行存儲。

3.1 名稱節點

名稱節點為主服務器提供執行文件系統命名空間操作，如文件開閉、目錄結構等集群管理功能，并控制不同客戶端對文件的訪問。當名稱節點停止工作時對應的Hadoop 集群服務也將停止，因此名稱節點對穩定性的要求很高，應急救援大數據處理平臺的名稱節點應該使用穩定的小型服務器，保證集群工作的可靠性和性能。

3.2 數據節點

數據節點管理運行節點的數據存儲和讀寫，并響應來自名稱節點對數據塊的命令。應急救援過程中各單位產生的數據在數據節點上是分布式存儲的并通過數據節點進行數據平衡分配和備份，即使在某一個數據節點存在故障的情況下，也能為大數據處理平臺提供穩定可靠地數據來源，保證整體集群計算效率和安全。

4 機場應急救援大數據處理平臺計算引擎

應急救援行動對數據處理過程的準確性、快速性需求很高，需要獲取各協同部門在救援行動中的各類實時數據信息，準確描述救援行動狀態。還需要挖掘已有應急救援行動歷史數據的潛在價值，從歷史數據當中評估以往救援行動，總結救援經驗，分析失事原因，對經常發生特情的關鍵位置制定針對性的救援方案和救援措施，并進行預案推演，提高應急救援人員應對突發事件時的救援能力。

通過對比目前國內外不同架構的流處理，批處理計算引擎性能，機場應急救援大數據處理平臺采用Flink 數據處理計算引擎。Flink 是開源、分布式、高容錯大數據處理引擎，面向數據提供流處理（無邊界數據流）和批處理（有邊界數據集）兩種數據處理方式。Flink 運行在Hadoop 集群上，以Ha?doop的YARN做為資源管理器，支持對數據進行交互式查詢、數據挖掘、統計分析等常見大數據處理，Flink 可以通過調節緩存塊的超時值來調節系統延遲和吞吐量的沖突，實現在數據高吞吐量的同時進行毫秒級處理，能滿足應急救援平臺對數據處理高吞吐量和低延時性的高要求，為應急救援行動提供支撐服務。

4.1 流處理計算

流處理計算主要針對機場以及救援行動中各協同部門實時監控模塊傳回指揮中心的數據信息。實時監控模塊的數據來源通常是通訊系統、廣播報文、場面監控等，包含突發情況的起因，受傷人數，救援設備的位置、速度等重要信息，高效的流數據處理能力能實現平臺對應急救援行動的實時監控及時協調各參與部門，或當機場發生特情時機場運行監控中心可迅速分析判斷特情原因，組織調度相關部門等迅速進行處理，提高應急救援效率。

4.2 批處理計算

批處理計算主要面向機場等部門提供的人員、車輛、裝備、救援案例等歷史積累數據，針對預案推演等模塊。預案推演功能采集所有的應急救援設施設備信息，包括人員分配，部署位置，設備型號等，通過模擬航空器突發事件和非航空器突發事件時應急救援行動的開展，提升應急救援人員對救援流程的掌握程度，并可采用虛擬演練方法來實現應急救援人員對不同特情的處置，包括如何安排設施設備使用順序，機場場面滑行道使用，協同部門進場時間等，有效提高機場人員的應急能力。

5 平臺應用分析

通過搭建機場應急救援大數據處理平臺將應急設施設備部署信息、通信語音、場面運行、廣播報文、電子進程單等存儲在Oracle、SQLSever、MySQL和MongoDB 等傳統數據庫中數據通過相應工具采集到大數據分析平臺中并通過數據交換組件對各類數據進行融合，依托數據處理引擎的批處理和流處理功能對數據進行快速處理，最后以可視化形式呈現給一線應急救援部門，對實時性要求極高的應急救援行動進行支持。并為指揮決策部門提供各類數據分析工具，讓應用部門不需要關注底層大數據開發技術，只需要專注于行動指揮，進程安排，解決了救援行動一線單位面臨的問題。最終驗證了本平臺架構的可行性。

6 結語

安全是民航運行的第一準則，機場安全是民航運行安全的基礎，伴隨著機場行業A-CDM 等信息化系統建設的展開，智慧機場已經成為機場未來的發展趨勢，而為智慧機場安全運行的提供安全保障的基礎是完備的應急救援機制體制以及先進的應急救援系統。民航機場應急救援大數據處理平臺為機場安全運行提供了平臺技術支持，通過對應急救援過程當中數據的實時存儲處理，以及對應急救援行動累積的海量多源異構數據處理分析，為現場指揮、智能決策、預案推演、輿情監控等應用提供支撐，有助于在應急救援行動中打破信息孤島，實現數據共享，對我國未來機場行業提升運行安全效率有著重要的意義。