試飛遙測實時監控分析報告自動生成系統設計

李俊, 惠力, 聶睿

(中國飛行試驗研究院測試所, 西安 710089)

飛行試驗通常是在真實飛行條件下科學地獲取和處理能夠表征試驗研究對象性能、功能與作戰效能的過程,由于該過程風險性強、代價高且周期長[1-3],因此通過遙測實時監控過程可以有效保證試飛安全、提高試飛效率。遙測實時監控系統作為試飛空地一體化綜合監控網絡的終端,通常是基于C/S傳統架構[4-5],對遙測數據實時處理與分析,并以圖、表與數據等形式表征飛行器及機載系統試驗狀態[6-7]。基于傳統遙測實時監控架構,劉語喬等[8]通過分類判決告警信息以及設計虛警抑制機制實現機組告警信息的地面監控。葉冰等[9]提出了飛行試驗綜合安全監控思想,采用多類型告警、準實時數據處理以及應急輔助決策技術,實現了試飛狀態監控、故障告警、準實時計算和應急處置決策支持。劉濤等[10]采用多線程調度后端解析,增加數據回放、復雜算法計算等新功能,保證萬余個試驗參數的實時計算與轉發。雖然多位作者提出了優化遙測實時監控服務質量的方法,提高了地面監控對飛行試驗帶來的安全效能,但是集中在故障預測、告警分析等單一分析功能,缺乏對飛行全歷程數據的綜合分析,特別是試飛架次信息全面采集、海量遙測數據統計分析等能力。

鑒于此,面向遙測數據量大、高實時計算的遙測實時監控場景,突破傳統計算架構,采用大數據分布式計算框架,設計了一種試飛遙測實時監控分析報告自動生成系統,采集試飛過程的重要信息,全歷程數據統計分析,并自動生成監控分析報告,為后續飛行試驗提供輔助決策與支持,對于提升試飛質量、提高試飛效率具有重要意義。

1 系統總體設計

1.1 系統總體實現流程

系統需要實時采集遙測數據,并對數據進行解析處理,解析后的數據不但需要發送至實時監控終端用于采集試驗點,而且需要存入數據存儲系統,便于在飛行結束后對該歷程數據統計分析。另外,系統還需要采集在試飛監控過程中的用戶信息和各類飛機信息,這些信息與統計分析結果一并存入分析報告,確保在本架次飛行結束后快速提供給相關技術人員使用。具體系統總體實現流程如圖1所示。

圖1 總體實現流程圖Fig.1 Overall implementation flow chart

1.2 系統功能設計

根據系統總體實現流程,系統需要具備包括數據實時采集、數據實時計算、數據統計分析、數據分類存儲以及監控報告管理關鍵功能,參見圖2試飛實時監控報告生成系統功能結構圖。下面對關鍵功能模塊做以說明。

圖2 系統功能結構圖Fig.2 System functional structure diagram

(1)數據實時采集。對實時遙測接收機數據、用戶信息以及各類飛機信息的采集,飛機信息涉及飛行架次基本信息、試飛任務信息、采集試驗點信息和實時監控記錄等內容。

(2)數據實時計算。結合飛機的格式格柵信息,通過解析實時遙測數據,計算得到試驗涉及的關鍵試飛參數數值。

(3)數據統計分析。通過統計量分析方法對整個架次的關鍵參數值統計分析,包括均值分析、極值分析、超限分析、穩定性分析和相關性分析等。

(4) 數據分類存儲。系統對不同類型的數據持久化存儲,存儲數據類型包括原始遙測數據、關鍵參數數據、統計分析結果、各類飛機信息以及用戶信息。

(5)分析報告管理。系統具有分析結果可視化分析和報告下載功能。分析結果可視化是對飛行架次基本信息、試飛任務信息、實時監控記錄和關鍵參數統計量分析結果以統計表形式呈現,通過飛行水平剖面圖、垂直剖面圖和試驗點分布圖、飛行機組告警系統(crew alerting system,CAS)信息統計圖描述本架次飛機基本狀態。

1.3 系統架構設計

為滿足試飛多機多鏈路海量遙測數據的實時解析以及離線分析的場景,提高實時多鏈路低延遲、高吞吐的采集能力以及離線數據統計分析速度,系統由基礎設施層、大數據平臺層、展示層以及用戶訪問層組成,系統體系架構如圖3所示。

圖3 系統體系架構圖Fig.3 System architecture diagram

(1)基礎設施層。基礎設施層為系統提供基礎設施環境,包括網絡系統、數據存儲系統、數據計算與分析系統以及遙測接收機等硬件系統。

(2)大數據平臺層。大數據平臺層是系統核心層,包括數據存儲層、數據處理層以及業務應用層。

數據存儲層由分布式文件系統HDFS、列族數據庫HBASE、內存型數據庫Redis以及關系型數據庫MySQL組成。對于原始遙測數據以二進制文件塊的形式存儲在HDFS,解析后的關鍵參數數據根據時間序列逐幀存儲在HBASE,對于頻繁查詢檢索的各類數據或者信息存儲在Redis,統計分析結果、飛行架次基本信息、試飛任務信息和實時監控記存儲在MySQL。

數據處理層由實時流計算引擎Storm和離線批處理計算引擎Spark組成。Storm分布式、低延遲、高容錯和高可靠性的特點[11],可以有效適應多架機、多鏈路并行采集、處理的海量遙測數據的場景;Spark由于使用內存計算,從而減少磁盤I/O[12-13],可以快速并準確地對海量關鍵參數數據進行統計分析。

業務應用層以Boostrap和Thymeleaf構建視圖層,實現系統管理、飛機信息管理、數據存儲管理、實時監控管理、分析報告管理和數據綜合分析業務。系統管理包括用戶、角色、部門等信息管理,飛機信息管理包括關鍵參數、CAS信息、飛行包線和參數列表等信息管理;實時監控管理基于安全監控和任務監控開展的監控記錄和試驗點采集業務;分析報告管理包括生成報告和報告下載;數據綜合分析包括飛行信息可視化和關鍵參數對比分析。

(3)展示層。展示層以門戶網站的形式為用戶提供登錄入口,用戶根據Restful接口訪問系統執行操作。

(4)用戶訪問層。系統面向用戶為課題人員、型號辦人員、指揮員以及監控值班人員等四類用戶,系統通過權限設置,為不同用戶提供應用服務。

2 系統軟件實現

2.1 遙測數據實時計算

針對多架試驗機、多條數據鏈路帶來的實時遙測數據量大,計算要求延遲低、速度快等特點,系統采用Storm計算引擎實現試飛實時數據流計算。通過創建多個JVM進程實現多架機、多鏈路的并行計算,單架機、單條鏈路、單個進程內實現從網絡數據接收、工程物理量轉換、數據計算、數據存儲和數據封裝轉發的過程,最終獲取轉發到消息隊列Kafka內的數據并推送到實時監控終端,該過程如圖4所示。

TCP為傳輸控制協議

根據Storm流式計算原理,每條鏈路可以對應創建一個拓撲結構圖topology,單條鏈路的遙測S數據實時處理過程形成一條流stream,該流內由網絡接收ReceiveSpout(與接收機建立TCP連接,實時獲取遙測數據)、工程物理量PCMBolt(結合飛機格式格柵、參數校線對關鍵參數從源碼解析為工程物理量)、數據計算CalculateBolt(對解碼后的參數進行復雜二次計算)、數據存儲SaveBolt(將源碼和關鍵參數數據分別存儲在HDFS和HBASE內)以及數據封裝轉發TransferBolt(參數計算結果發送至消息隊列Kafka內),遙測數據實時處理Storm拓撲圖如圖5所示。

圖5 遙測數據實時處理Storm拓撲圖Fig.5 Telemetry data real-time processing Storm topology

2.2 離線遙測數據統計分析

為了能夠在該飛行架次結束后快速并且準確地對遙測數據進行統計分析,系統采Spark實現上述功能。離線遙測數據統計分析主要包括均值分析、極值分析、超限分析、穩定性分析和相關性分析等方法。

離線遙測數據統計分析,根據飛行基本信息(飛行日期-飛機型號-飛機編號-飛行架次)從HBASE中獲取到多幀關鍵參數數據,將數據封裝成彈性分布式數據集RDD,通過聚合、過濾等方法求解關鍵參數均值、極值、超限狀況、標準差以及相關系數,將統計分析結果存儲在MySQL。上述統計方法形成的Java包,通過Java API實現spark-submit命令,并將其提交到大數據計算平臺,具體算法流程如圖6所示。

圖6 離線遙測數據統計分析算法流程圖Fig.6 Flow chart of offline telemetry data statistical analysis algorithm

2.3 信息分布式采集與管理

系統以SpringBoot敏捷開發框架為基礎,實現對各類信息采集與管理。Spring Boot是一款開箱即用框架,提供各種默認配置來簡化項目配置[14],提高開發和部署效率。系統使用Apache Shiro安全框架實現認證、授權、加密、會話管理、與Web集成、緩存等功能,使用Apache MyBatis實現操作MySQL,通過Thymeleaf與Spring MVC框架進行集成后作為Web應用的模板引擎[15-16]。

實時監控管理作為信息采集與管理的核心業務,根據試飛監控特點分為安全監控和任務監控,安全監控主要采集用戶監控記錄,任務監控除了采集用戶監控記錄外,還輔助用戶采集試驗點,對于試飛工程師用戶采集試驗點算法流程圖如圖7所示。

圖7 試飛工程師用戶采集試驗點算法流程圖Fig.7 Algorithm flow chart of flight test engineer user acquisition test point

2.4 數據分析報告自動生成

基于大數據環境下的報表報告系統,已經廣泛應用在銀行、醫療、政府管理等領域。在銀行領域,后臺進行數據處理和數據分析,前端將數據分析的結果用報表形式展現,如成熟產品FineReport和HReport[17-18]。在醫療領域,基于Web的電子診斷單、利用深度學習的醫學報告自動生成等技術已成功應用[19]。針對分析報告內所涉及數據的結構特點,提出利用可視化插件和Word模板分析引擎,搭建試飛監控分析報告自動生成系統。

選擇合理的可視化視圖方式,提高用戶對數據的直觀感受,分析報告數據內容可視化方式如表1所示,數據可視化采用可視化ECharts插件對各類數據進行可視化顯示,具體實現步驟如下。

表1 分析報告數據內容可視化方式Table 1 Calculation results of power analysis report data content visualization method

步驟1引用echarts.js。

步驟2創建div容器,其為ECharts提供一個具備一定高寬的DOM容器。

步驟3基于已準備的DOM容器,初始化echarts實例。

步驟4針對數據特點,確定圖表的配置項和數據。

步驟5將上述圖表的配置項和數據注入已初始化的實例內。

分析報告自動生成過程使用Word模板分析引擎Freemaker將模板內容進行文檔輸出。Freemaker即一種基于模板和要改變的數據,并用來生成輸出文本(HTML網頁、電子郵件、配置文件、源代碼等)的通用工具,具體實現步驟如下。

步驟1制作.ftl后綴的Word模板文件。①制作分析報告Word文件,并將Word文件修改成.ftl格式;②修改圖片的數據內容使用表達式代替,在數據表格中添加循環標簽,修改.ftl文件并生成最終的模板文件。

步驟2通過模板文件生成Word文檔。①導入freemarker模板jar包;②裝載.ftl模板文件;③獲取模板數據,數值數據從MySQL中獲取,圖片數據通過ECharts得到base64碼值,并將數據封裝插入模板文件中;④生成統計分析Word報告。

3 系統測試與應用

經實際工程測試,系統可以同時滿足至少20架試驗機的數據采集、計算、統計分析以及存儲管理等功能,平均采集延遲在70 ms以內,在約100個飛行試驗架次中自動生成報告時間約為2.74 min。目前,系統平臺已經在國產某大型客機試飛遙測實時監控過程中使用,后續可以陸續推廣應用在其他試驗機實時遙測監控中。

4 結論

試飛遙測實時監控分析報告自動生成系統基于大數據分布式計算框架Hadoop構建,具備數據實時采集、數據實時計算、數據統計分析、數據分類存儲以及監控報告管理等關鍵功能,為后續試飛講評、飛行任務提供充分可靠的試飛數據資源,綜合提升系統數據分析能力,優化遙測實時監控服務質量,對于提高試飛效率具有重要作用。