民航數(shù)據(jù)動(dòng)態(tài)血緣監(jiān)控方案研究與應(yīng)用

一、引言

民航局2022年印發(fā)的《關(guān)于民航數(shù)據(jù)建設(shè)發(fā)展的指導(dǎo)意見(jiàn)》，指出以實(shí)現(xiàn)民航數(shù)據(jù)“管起來(lái)，用起來(lái)，活起來(lái)”為導(dǎo)向，從數(shù)據(jù)流通維度實(shí)現(xiàn)數(shù)據(jù)的要素化、市場(chǎng)化，推進(jìn)數(shù)據(jù)資源融通共享，激發(fā)數(shù)據(jù)資源要素價(jià)值，強(qiáng)化基礎(chǔ)設(shè)施建設(shè)和數(shù)據(jù)安全保障，打造民航數(shù)據(jù)創(chuàng)新生態(tài)圈。據(jù)《2023年民航行業(yè)發(fā)展統(tǒng)計(jì)公報(bào)》數(shù)據(jù)顯示，我國(guó)共有航空公司66家，定期航班航線(xiàn)5206條，境內(nèi)運(yùn)輸機(jī)場(chǎng)255個(gè)，完成旅客運(yùn)輸量61957.64萬(wàn)人次。為支撐如此龐大的民航業(yè)務(wù)，民航相關(guān)系統(tǒng)之間通過(guò)民航數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)采集、處理、分析應(yīng)用已成為常態(tài)，民航數(shù)據(jù)平臺(tái)發(fā)揮了極大的優(yōu)勢(shì)，成為重要的支撐平臺(tái)。

隨著民航大數(shù)據(jù)平臺(tái)接入的上下游系統(tǒng)不斷增加，平臺(tái)架構(gòu)和數(shù)據(jù)鏈越來(lái)越復(fù)雜，面臨的困難和挑戰(zhàn)也越來(lái)越多。盡管項(xiàng)目初期有完善系統(tǒng)架構(gòu)圖理清關(guān)系，但隨著規(guī)模的擴(kuò)展與團(tuán)隊(duì)變動(dòng)更新不及時(shí)導(dǎo)致失效，難以追蹤數(shù)據(jù)鏈路的動(dòng)態(tài)演化。同時(shí)，ETL整合過(guò)程中數(shù)據(jù)質(zhì)量的不當(dāng)處理常引發(fā)問(wèn)題，且因數(shù)據(jù)經(jīng)過(guò)多層加工，快速定位錯(cuò)誤源頭成為難題。此外，大數(shù)據(jù)架構(gòu)下的多樣化數(shù)據(jù)源，如數(shù)據(jù)庫(kù)、API、消息中間件等，使得數(shù)據(jù)血緣分析不僅涉及表、字段，還需跨越技術(shù)異構(gòu)應(yīng)用，顯著增加了分析的復(fù)雜度。

因此，加強(qiáng)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)血緣可視化能力非常重要，使之能夠支持多種異構(gòu)技術(shù)架構(gòu)和海量數(shù)據(jù)的高性能展現(xiàn)，并且能夠提供良好的實(shí)時(shí)性和交互性。本文通過(guò)對(duì)民航系統(tǒng)數(shù)據(jù)鏈的研究，提出基于架構(gòu)級(jí)別的民航動(dòng)態(tài)數(shù)據(jù)血緣圖的方法，直觀的展示數(shù)據(jù)的來(lái)源、處理和實(shí)時(shí)流轉(zhuǎn)狀態(tài)，解決民航數(shù)據(jù)鏈的實(shí)時(shí)跟蹤與監(jiān)控難題。

二、民航動(dòng)態(tài)數(shù)據(jù)血緣圖設(shè)計(jì)與實(shí)現(xiàn)

架構(gòu)級(jí)別的動(dòng)態(tài)數(shù)據(jù)血緣圖是將數(shù)據(jù)血緣著眼于系統(tǒng)架構(gòu)層面，屬于任務(wù)級(jí)的血緣關(guān)系，所謂動(dòng)態(tài)即是可以在線(xiàn)動(dòng)態(tài)的創(chuàng)建血緣圖而不需要修改平臺(tái)代碼，并能根據(jù)數(shù)據(jù)流動(dòng)情況實(shí)時(shí)展示統(tǒng)計(jì)數(shù)據(jù)。整體架構(gòu)分為三部分：血緣數(shù)據(jù)采集、數(shù)據(jù)血緣圖設(shè)計(jì)與展示、數(shù)據(jù)血緣異常告警。血緣數(shù)據(jù)采集模塊由各個(gè)數(shù)據(jù)處理節(jié)點(diǎn)的日志采集端對(duì)流經(jīng)的數(shù)據(jù)進(jìn)行實(shí)時(shí)采集和匯總，數(shù)據(jù)血緣圖設(shè)計(jì)與展示模塊可在線(xiàn)設(shè)計(jì)血緣圖并根據(jù)匯總的數(shù)據(jù)進(jìn)行實(shí)時(shí)展示，數(shù)據(jù)血緣異常告警模塊對(duì)節(jié)點(diǎn)的數(shù)據(jù)按規(guī)則進(jìn)行檢測(cè)，觸發(fā)規(guī)則告警通知系統(tǒng)維護(hù)人員。

（一）血緣數(shù)據(jù)采集

數(shù)據(jù)采集架構(gòu)由一個(gè)核心監(jiān)控腳本與多個(gè)指標(biāo)數(shù)據(jù)采集器協(xié)同工作構(gòu)成，每個(gè)指標(biāo)數(shù)據(jù)采集器專(zhuān)為特定業(yè)務(wù)應(yīng)用定制，通過(guò)復(fù)用公共采集模板快速配置需要采集的指標(biāo)項(xiàng)。這些采集器默認(rèn)捕獲應(yīng)用系統(tǒng)的基礎(chǔ)靜態(tài)信息（如系統(tǒng)名稱(chēng)、版本號(hào)、代碼標(biāo)識(shí)），并周期性監(jiān)測(cè)并收集動(dòng)態(tài)性能指標(biāo)。針對(duì)特定航司系統(tǒng)或特定業(yè)務(wù)的需求，可通過(guò)編寫(xiě)附加腳本代碼靈活擴(kuò)展數(shù)據(jù)采集維度。監(jiān)控核心模塊則負(fù)責(zé)調(diào)度指定目錄下所有采集腳本的執(zhí)行，對(duì)收集的數(shù)據(jù)進(jìn)行初步格式化處理（如數(shù)據(jù)單位標(biāo)準(zhǔn)化），隨后將處理后的數(shù)據(jù)高效傳輸至數(shù)據(jù)存儲(chǔ)庫(kù)。

血緣數(shù)據(jù)采集的指標(biāo)具體包括四類(lèi)。血緣指標(biāo)：所有節(jié)點(diǎn)都必有的指標(biāo)，例如民航上下游子系統(tǒng)的數(shù)據(jù)輸入量、輸出量、錯(cuò)誤量指標(biāo)，這些指標(biāo)數(shù)據(jù)的來(lái)源一般為應(yīng)用的日志；元數(shù)據(jù)： 例如這個(gè)應(yīng)用的的名稱(chēng)、代碼、版本號(hào)、所屬類(lèi)型、上游依賴(lài)、所在服務(wù)器內(nèi)存/CPU大小等信息，這些數(shù)據(jù)在采集腳本中配置，只在應(yīng)用啟動(dòng)時(shí)采集一次；擴(kuò)展指標(biāo)：個(gè)別應(yīng)用特有指標(biāo)，通過(guò)擴(kuò)展采集腳本收集，例如：Kafka每個(gè)Topic每分鐘數(shù)據(jù)量/各消費(fèi)者當(dāng)前l(fā)ag指標(biāo)，數(shù)據(jù)庫(kù)當(dāng)前連接數(shù)指標(biāo)等；硬件指標(biāo)：例如當(dāng)前應(yīng)用所占用的內(nèi)存大小/CPU百分比/磁盤(pán)關(guān)鍵路徑空間占用百分比。

（二）民航動(dòng)態(tài)數(shù)據(jù)血緣圖設(shè)計(jì)

在動(dòng)態(tài)數(shù)據(jù)血緣圖的核心部分，實(shí)現(xiàn)上采用VUE前端框架生成SVG圖，提供數(shù)據(jù)血緣圖在線(xiàn)管理能力、數(shù)據(jù)血緣圖上卷下鉆交互能力，以及動(dòng)態(tài)數(shù)據(jù)血緣的解析與展示。

1.數(shù)據(jù)血緣圖在線(xiàn)管理能力

系統(tǒng)采用通用組件架構(gòu)，將元素精簡(jiǎn)為應(yīng)用、輔助與區(qū)域三類(lèi)核心組件，分別承載關(guān)鍵信息、邏輯關(guān)系和空間定位功能。應(yīng)用組件涵蓋應(yīng)用、存儲(chǔ)、管道等，支持私有與公共節(jié)點(diǎn)靈活配置；輔助組件如線(xiàn)條、判斷、文本，強(qiáng)化邏輯表達(dá)；區(qū)域組件則明確組件位置，促進(jìn)理解。所有組件支持在線(xiàn)編輯，包括拖動(dòng)、增刪、調(diào)整大小和布局等，用戶(hù)僅需簡(jiǎn)單操作即可完成布局，顯著提升構(gòu)建效率與準(zhǔn)確性。通過(guò)自由組合這些組件，設(shè)計(jì)人員可以快速而準(zhǔn)確地構(gòu)建出民航數(shù)據(jù)平臺(tái)各個(gè)子模塊的數(shù)據(jù)血緣圖。

2.數(shù)據(jù)血緣圖上卷下鉆交互能力

在數(shù)據(jù)倉(cāng)庫(kù)的復(fù)雜架構(gòu)中，上卷下鉆是一種常見(jiàn)的數(shù)據(jù)分析方法，將其融入民航數(shù)據(jù)血緣圖的設(shè)計(jì)與交互中，用戶(hù)可通過(guò)簡(jiǎn)單的右鍵操作切換到不同層級(jí)的血緣視圖：在畫(huà)布或特定組件上右鍵點(diǎn)擊，選擇“上層引用”以跳轉(zhuǎn)至上一層級(jí)的數(shù)據(jù)血緣圖（上卷）；或在特定組件上右鍵點(diǎn)擊，選擇“查看子圖”以深入至下一層級(jí)的數(shù)據(jù)血緣圖（下鉆）。這種直觀的操作方式極大地提升了用戶(hù)體驗(yàn)，使用戶(hù)能夠迅速在不同架構(gòu)層級(jí)間切換，高效獲取所需信息，從而顯著提升工作效率。

3.動(dòng)態(tài)數(shù)據(jù)血緣解析與展示

在成功構(gòu)建民航數(shù)據(jù)血緣圖之后，為確保數(shù)據(jù)動(dòng)起來(lái)，保證數(shù)據(jù)血緣的時(shí)效性和準(zhǔn)確性，我們將實(shí)時(shí)采集的血緣數(shù)據(jù)進(jìn)行解析、計(jì)算和可視化展示。這一過(guò)程中，所展示的關(guān)鍵數(shù)據(jù)指標(biāo)包括數(shù)據(jù)輸入量、數(shù)據(jù)輸出量、當(dāng)前節(jié)點(diǎn)在線(xiàn)實(shí)例數(shù)以及數(shù)據(jù)處理內(nèi)部錯(cuò)誤量，這些指標(biāo)被精心布局在節(jié)點(diǎn)的四周，以便于用戶(hù)快速監(jiān)控和定位數(shù)據(jù)問(wèn)題，如圖所示。

基于民航數(shù)據(jù)血緣圖，實(shí)現(xiàn)了復(fù)雜的民航數(shù)據(jù)處理鏈路的可視化監(jiān)控，直觀呈現(xiàn)數(shù)據(jù)處理前后關(guān)聯(lián)，數(shù)據(jù)處理量及異常信息，助力快速監(jiān)控關(guān)鍵信息。

（三）民航數(shù)據(jù)血緣告警應(yīng)用

動(dòng)態(tài)數(shù)據(jù)血緣圖為每個(gè)節(jié)點(diǎn)提供了詳盡的監(jiān)控設(shè)置選項(xiàng)。用戶(hù)可根據(jù)業(yè)務(wù)選擇監(jiān)控的關(guān)鍵指標(biāo)，并配置指標(biāo)的檢查規(guī)則，如告警時(shí)段定義、統(tǒng)計(jì)周期設(shè)定、聚合函數(shù)選擇、閾值比較規(guī)則、閾值具體值設(shè)置等。系統(tǒng)每分鐘自動(dòng)檢索告警點(diǎn)，采用分組策略?xún)?yōu)化查詢(xún)，快速比對(duì)數(shù)據(jù)。檢測(cè)到異常即標(biāo)記并對(duì)比前后狀態(tài)，生成恢復(fù)或告警消息即時(shí)發(fā)送給接收人，實(shí)現(xiàn)高效異常響應(yīng)與處理。

三、實(shí)踐應(yīng)用效果

本方案在民航大數(shù)據(jù)環(huán)境中進(jìn)行了實(shí)踐應(yīng)用，完成對(duì)8家航司的應(yīng)用全鏈路監(jiān)控，創(chuàng)建了59張各層級(jí)血緣架構(gòu)圖，涵蓋了從航班計(jì)劃、行程數(shù)據(jù)、旅客服務(wù)和結(jié)算數(shù)據(jù)等各個(gè)業(yè)務(wù)場(chǎng)景，這些數(shù)據(jù)血緣圖詳細(xì)描繪了數(shù)據(jù)在不同應(yīng)用間的流轉(zhuǎn)路徑和依賴(lài)關(guān)系。配置了1252個(gè)監(jiān)控點(diǎn)，覆蓋了關(guān)鍵業(yè)務(wù)指標(biāo)和異常風(fēng)險(xiǎn)點(diǎn)，實(shí)現(xiàn)了對(duì)航司應(yīng)用全鏈路的實(shí)時(shí)監(jiān)控。投產(chǎn)之后，系統(tǒng)成功監(jiān)測(cè)到95%的數(shù)據(jù)異常情況，將問(wèn)題和故障的發(fā)現(xiàn)提高到了分鐘級(jí)別，有助于問(wèn)題先于用戶(hù)感知就已完成修復(fù)。這一成果不僅提升了民航業(yè)務(wù)的穩(wěn)定性和安全性，也提高了客戶(hù)滿(mǎn)意度和運(yùn)營(yíng)效率。

四、結(jié)語(yǔ)

本文提出的基于架構(gòu)級(jí)別的民航數(shù)據(jù)動(dòng)態(tài)血緣圖技術(shù)，有效的解決了民航數(shù)據(jù)環(huán)境中數(shù)據(jù)鏈路的跟蹤、問(wèn)題排查、數(shù)據(jù)可視化展示與告警等難題，相信隨著大數(shù)據(jù)及人工智能技術(shù)的發(fā)展和日趨成熟，必將為民航業(yè)務(wù)的穩(wěn)定運(yùn)行提供更有力的支撐。