基于邊云協(xié)同的飛行試驗(yàn)數(shù)據(jù)處理系統(tǒng)

王霖萱 李宏

數(shù)據(jù)處理系統(tǒng);邊緣云;分布式文件系統(tǒng);分布式存儲(chǔ)系統(tǒng)

0 引言

飛行試驗(yàn)數(shù)據(jù)處理是指通過(guò)對(duì)飛行數(shù)據(jù)的正確解算和分析,確認(rèn)飛行器是否達(dá)到設(shè)計(jì)需求的過(guò)程,其目的是從海量、多源和抽象的數(shù)據(jù)中提取并推導(dǎo)出能夠?qū)崿F(xiàn)定量或定性評(píng)價(jià)飛行器功能和性能的有用數(shù)據(jù)．隨著數(shù)據(jù)挖掘技術(shù)、云計(jì)算技術(shù)的發(fā)展[1],數(shù)據(jù)處理體系的發(fā)展趨勢(shì)可以概括為以數(shù)據(jù)為中心的宏觀走向和以存算一體為中心的微觀走向．以數(shù)據(jù)為中心的宏觀走向具體包括采用軟件實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)處理方法,以及多數(shù)據(jù)處理中心共享式并存融合的新型計(jì)算模式．飛行試驗(yàn)的數(shù)據(jù)處理模式主要包括集群式多流數(shù)據(jù)事后分析解算和異構(gòu)數(shù)值深度解析挖掘等．在新一代飛行器研制階段,飛行數(shù)據(jù)具有數(shù)據(jù)類(lèi)型繁雜、數(shù)據(jù)量大、處理算法龐雜等特點(diǎn),因此,對(duì)飛行試驗(yàn)數(shù)據(jù)處理提出了大數(shù)據(jù)管理、算法插件動(dòng)態(tài)增減、多源并發(fā)處理支持等新需求．隨著大量先進(jìn)技術(shù)在航空領(lǐng)域的廣泛應(yīng)用,“無(wú)人機(jī)蜂群”等概念的出現(xiàn),試驗(yàn)數(shù)據(jù)量和數(shù)據(jù)種類(lèi)激增,對(duì)數(shù)據(jù)處理系統(tǒng)的性能也提出了新挑戰(zhàn)．現(xiàn)有數(shù)據(jù)處理系統(tǒng)數(shù)據(jù)處理能力已經(jīng)顯得不足,特別是數(shù)據(jù)處理效率與存儲(chǔ)能力已無(wú)法滿足當(dāng)前海量飛行數(shù)據(jù)對(duì)高速[2-3]、及時(shí)的要求．通過(guò)深入分析并測(cè)試當(dāng)前試驗(yàn)飛行數(shù)據(jù)處理系統(tǒng),總結(jié)并歸納出影響數(shù)據(jù)處理效率的主要因素有以下幾方面:

1) 各試驗(yàn)場(chǎng)數(shù)據(jù)不能互聯(lián)互通．試驗(yàn)飛行涵蓋環(huán)境控制有效性、雨中適應(yīng)性、側(cè)風(fēng)降落等試驗(yàn)科目,試驗(yàn)條件包括高溫、高寒、高濕、高海拔等極端環(huán)境,所以除了主試驗(yàn)場(chǎng)外,全國(guó)范圍內(nèi)還分布著30余個(gè)試驗(yàn)場(chǎng)地．由于分試驗(yàn)場(chǎng)和主試驗(yàn)場(chǎng)的數(shù)據(jù)不能互聯(lián)互通,需要臨時(shí)搭建小型數(shù)據(jù)處理中心處理當(dāng)天的試驗(yàn)數(shù)據(jù),待階段性任務(wù)完成后,再將記錄試驗(yàn)數(shù)據(jù)的硬盤(pán)帶回大本營(yíng)進(jìn)行備份管理,對(duì)于需要主試驗(yàn)場(chǎng)科研人員協(xié)同處理的數(shù)據(jù)必須通過(guò)電話、郵件中轉(zhuǎn)站等流程和方法進(jìn)行溝通．這樣的試驗(yàn)數(shù)據(jù)處理和管理方式成本較高、效率較低,同時(shí)試驗(yàn)數(shù)據(jù)的安全性也面臨著挑戰(zhàn)．

2) 無(wú)法滿足海量試驗(yàn)數(shù)據(jù)存儲(chǔ)的需求．由于我國(guó)航空工業(yè)的跨越式發(fā)展,飛行器飛行試驗(yàn)的規(guī)模和試驗(yàn)強(qiáng)度呈現(xiàn)指數(shù)級(jí)增長(zhǎng),飛行試驗(yàn)測(cè)試參數(shù)從二代機(jī)幾百個(gè)到三代機(jī)幾千個(gè)再到四代機(jī)幾萬(wàn)個(gè),為確保試驗(yàn)數(shù)據(jù)的完整性和可用性,與試驗(yàn)有關(guān)的試驗(yàn)要求、試驗(yàn)設(shè)計(jì)、試驗(yàn)對(duì)象、試驗(yàn)設(shè)備、配試資源、試驗(yàn)環(huán)境和試驗(yàn)結(jié)果等各類(lèi)要素會(huì)持續(xù)產(chǎn)生部件級(jí)、系統(tǒng)級(jí)、體系級(jí)等不同結(jié)構(gòu)、不同形態(tài)、不同規(guī)模的試驗(yàn)數(shù)據(jù),數(shù)據(jù)量從以往GB級(jí)增長(zhǎng)到現(xiàn)在的PB級(jí)．當(dāng)前飛行試驗(yàn)數(shù)據(jù)處理系統(tǒng)使用的二級(jí)存儲(chǔ)模式,近期試驗(yàn)數(shù)據(jù)存儲(chǔ)在磁盤(pán)陣列中,歷史數(shù)據(jù)按架次存儲(chǔ)在硬盤(pán)上,這種方式不能滿足海量數(shù)據(jù)的存儲(chǔ)和實(shí)時(shí)處理,也不便于對(duì)歷史數(shù)據(jù)進(jìn)行查詢．

針對(duì)上述問(wèn)題,本文提出一種基于邊云協(xié)同的飛行試驗(yàn)數(shù)據(jù)處理系統(tǒng)[4-5]．該系統(tǒng)通過(guò)內(nèi)部接口有機(jī)地進(jìn)行互聯(lián)互通,基于有線通信+5G無(wú)線通信技術(shù),很好地解決了分集點(diǎn)布控環(huán)境限制的問(wèn)題;搭建數(shù)據(jù)處理中心與外圍多分集點(diǎn)互聯(lián)互通的系統(tǒng)框架,為動(dòng)態(tài)實(shí)時(shí)數(shù)據(jù)采集和處理奠定了基礎(chǔ)．系統(tǒng)面向試飛數(shù)據(jù)管理人員、數(shù)據(jù)處理人員以及其他相關(guān)科研人員[6],為他們提供試飛工程信息管理和試飛數(shù)據(jù)處理服務(wù)[7],將飛行數(shù)據(jù)處理與管理標(biāo)準(zhǔn)化、規(guī)范化,可以極大地提升數(shù)據(jù)處理效率,達(dá)到多點(diǎn)數(shù)據(jù)共享、解算邏輯與算法統(tǒng)一、高效處理與分析、安全可靠的目的．

1 系統(tǒng)架構(gòu)

1.1 硬件系統(tǒng)設(shè)計(jì)

系統(tǒng)硬件主要由無(wú)線與有線通信鏈路、服務(wù)器集群、多級(jí)協(xié)同存儲(chǔ)系統(tǒng)、多平臺(tái)訪問(wèn)客戶端組成．通過(guò)內(nèi)部統(tǒng)一協(xié)議接口進(jìn)行交聯(lián)[8],組成一個(gè)系統(tǒng)化、集成化、標(biāo)準(zhǔn)化的基于多地協(xié)同的飛行數(shù)據(jù)管控與處理系統(tǒng)．系統(tǒng)硬件結(jié)構(gòu)與數(shù)據(jù)處理中心硬件結(jié)構(gòu)分別如圖1和圖2所示．

圖1 系統(tǒng)硬件框圖Fig.1 Block diagram of the system hardware

分集點(diǎn)指分散在全國(guó)各試驗(yàn)場(chǎng)獨(dú)立的數(shù)據(jù)處理平臺(tái),每個(gè)分集點(diǎn)類(lèi)似于精簡(jiǎn)化的數(shù)據(jù)處理中心,包含與計(jì)算服務(wù)器同步統(tǒng)一的飛行數(shù)據(jù)算法庫(kù)．分集點(diǎn)具有硬件布設(shè)靈活、服務(wù)器系統(tǒng)功能精簡(jiǎn)等特點(diǎn),并且其與數(shù)據(jù)處理中心共享資源．各分集點(diǎn)之間也可以共享各類(lèi)資源,實(shí)現(xiàn)互相訪問(wèn)、互相請(qǐng)求、數(shù)據(jù)傳輸,分集點(diǎn)可以靈活增減,通過(guò)互聯(lián)網(wǎng)和移動(dòng)基站組成的有線鏈路和基于5G的無(wú)線鏈路組成的專(zhuān)網(wǎng)與數(shù)據(jù)處理中心互聯(lián)互通．

互聯(lián)通信鏈路通過(guò)無(wú)線和有線通信鏈路互聯(lián),將實(shí)時(shí)遙測(cè)數(shù)據(jù)、機(jī)載數(shù)據(jù)和事后處理數(shù)據(jù)傳送給各地有需求的分集點(diǎn),通過(guò)PC客戶端與移動(dòng)端進(jìn)行數(shù)據(jù)訪問(wèn)與處理,同時(shí)將外地各分集點(diǎn)的數(shù)據(jù)傳回?cái)?shù)據(jù)處理中心進(jìn)行二次處理和統(tǒng)一存儲(chǔ)等,實(shí)現(xiàn)點(diǎn)到面、面到點(diǎn)的數(shù)據(jù)共享與存儲(chǔ),實(shí)現(xiàn)分集點(diǎn)與中心、分集點(diǎn)與分集點(diǎn)之間的數(shù)據(jù)協(xié)同處理和集中存儲(chǔ)．圖3為系統(tǒng)邏輯框圖．

圖3 系統(tǒng)邏輯框圖Fig.3 System logic diagram

數(shù)據(jù)處理中心由服務(wù)器集群與多級(jí)協(xié)同存儲(chǔ)系統(tǒng)組成,面向海量飛行數(shù)據(jù)存儲(chǔ)、處理、分析、數(shù)據(jù)解算結(jié)果展示等功能實(shí)現(xiàn)．?dāng)?shù)據(jù)處理中心和分集點(diǎn)的結(jié)構(gòu)均采用5層架構(gòu),即防火墻、Web服務(wù)器、計(jì)算服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器[9]、數(shù)據(jù)庫(kù)共享存儲(chǔ)器,其中第2、3、4層采用多臺(tái)服務(wù)器構(gòu)成集群服務(wù)器組,可以通過(guò)增加設(shè)備來(lái)擴(kuò)大存儲(chǔ)從而保證了擴(kuò)展性,第3、4層采用內(nèi)部IP地址,使用LBR構(gòu)架建立Web體系．

所有計(jì)算服務(wù)器采用統(tǒng)一的飛行數(shù)據(jù)算法庫(kù),并選中一臺(tái)運(yùn)行負(fù)載均衡軟件作為計(jì)算服務(wù)器,客戶端如有計(jì)算請(qǐng)求時(shí),經(jīng)由防火墻進(jìn)入數(shù)據(jù)處理中心網(wǎng),請(qǐng)求被轉(zhuǎn)發(fā)到集群控制主機(jī),該集群主機(jī)名稱(chēng)映射到負(fù)載均衡器[10-11],負(fù)載均衡軟件將用戶請(qǐng)求路由到指定計(jì)算服務(wù)器,計(jì)算服務(wù)器按用戶請(qǐng)求訪問(wèn)鏡像數(shù)據(jù)庫(kù)服務(wù)器數(shù)據(jù)列表,請(qǐng)求相應(yīng)數(shù)據(jù)進(jìn)行計(jì)算操作,計(jì)算服務(wù)器將計(jì)算結(jié)果返給客戶端．負(fù)載均衡系統(tǒng)使多臺(tái)服務(wù)器通過(guò)互聯(lián)系統(tǒng)按指令協(xié)同工作,為一個(gè)或數(shù)個(gè)應(yīng)用服務(wù)．?dāng)?shù)據(jù)處理中心服務(wù)器集群所有服務(wù)器之間的通信采用Socket通信接口[12]技術(shù)來(lái)實(shí)現(xiàn),按TCP/IP協(xié)議標(biāo)準(zhǔn)進(jìn)行信息和數(shù)據(jù)的交換,通過(guò)一套規(guī)則或自定義協(xié)議實(shí)現(xiàn)不同類(lèi)型主機(jī)平臺(tái)之間的相互通信[13-14]．

1.2 軟件系統(tǒng)設(shè)計(jì)

飛行試驗(yàn)數(shù)據(jù)處理系統(tǒng)硬件架構(gòu)設(shè)計(jì)的合理性直接影響到后續(xù)軟件系統(tǒng)運(yùn)行效率,軟件系統(tǒng)的設(shè)計(jì)合理性也是整個(gè)系統(tǒng)運(yùn)行效率的關(guān)鍵．系統(tǒng)軟件分為服務(wù)器端軟件與客戶端軟件[15],運(yùn)行于數(shù)據(jù)處理中心的軟件系統(tǒng)實(shí)現(xiàn)了整個(gè)軟件系統(tǒng)大部分功能,客戶端軟件包含網(wǎng)頁(yè)與執(zhí)行客戶端軟件,執(zhí)行客戶端軟件主要實(shí)現(xiàn)仿真、多路視頻同步播放等功能．

1.2.1 數(shù)據(jù)處理中心軟件系統(tǒng)設(shè)計(jì)

數(shù)據(jù)處理中心軟件系統(tǒng)由Web服務(wù)器軟件、計(jì)算服務(wù)器軟件、數(shù)據(jù)庫(kù)服務(wù)器軟件、數(shù)據(jù)庫(kù)共享存儲(chǔ)器軟件、負(fù)載均衡管理軟件5部分組成．為了確保飛行數(shù)據(jù)的安全高效解算,操作系統(tǒng)、軟件平臺(tái)等選擇與搭建成為關(guān)鍵.服務(wù)器端采用Windows server 2012、CentOS操作系統(tǒng),試飛非結(jié)構(gòu)化數(shù)據(jù)采用 OBS+Minio,兩者共同完成試飛非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)與管理．OBS是華為提供的對(duì)象存儲(chǔ)服務(wù)組件,是一款穩(wěn)定、安全、高效、易用的云存儲(chǔ)服務(wù),具備標(biāo)準(zhǔn)Restful API接口,可存儲(chǔ)任意數(shù)量和形式的非結(jié)構(gòu)化數(shù)據(jù)．Minio是開(kāi)源的數(shù)據(jù)文件存儲(chǔ)服務(wù)組件,適于存儲(chǔ)大容量非結(jié)構(gòu)化的數(shù)據(jù),例如圖片、視頻、日志文件、備份數(shù)據(jù)和容器/虛擬機(jī)鏡像等,而一個(gè)對(duì)象文件可以是任意大小,從幾kB到最大5 TB不等[16]．試飛時(shí)序數(shù)據(jù)選用時(shí)序數(shù)據(jù)庫(kù),用于存儲(chǔ)試飛試驗(yàn)的工程數(shù)據(jù)．

目前,主要的時(shí)序數(shù)據(jù)庫(kù)包括InfluxDB、TimesacleDB、IotDB、Vernox-NTS．InfluxDB是一個(gè)開(kāi)源的時(shí)序數(shù)據(jù)庫(kù),使用GO語(yǔ)言開(kāi)發(fā),特別適合用于處理和分析資源監(jiān)控?cái)?shù)據(jù)這種時(shí)序相關(guān)數(shù)據(jù)．而InfluxDB自帶的各種特殊函數(shù)如求標(biāo)準(zhǔn)差、隨機(jī)取樣數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)變化比等,使數(shù)據(jù)統(tǒng)計(jì)和實(shí)時(shí)分析變得十分方便．TimescaleDB 是基于 PostgreSQL 開(kāi)發(fā)的一款時(shí)序數(shù)據(jù)庫(kù),以插件化的形式打包提供．IoTDB 是清華大學(xué)研發(fā)的一款聚焦工業(yè)物聯(lián)網(wǎng)、高性能輕量級(jí)的時(shí)序數(shù)據(jù)管理系統(tǒng),提供數(shù)據(jù)采集、存儲(chǔ)、分析的功能．IoTDB 具備低存儲(chǔ)成本、高速數(shù)據(jù)寫(xiě)入、快速查詢、查詢分析一體化、簡(jiǎn)單易用等特點(diǎn),采用標(biāo)準(zhǔn)的 JDBC 接口、類(lèi) SQL 查詢語(yǔ)言,主要功能包括數(shù)據(jù)的增刪改查、豐富的聚合函數(shù)、相似性匹配．Vernox-NTS是一個(gè)融合型的數(shù)據(jù)庫(kù),并且在時(shí)序上,編碼和導(dǎo)入是極速的,速度甚至領(lǐng)先于Mysql等關(guān)系型數(shù)據(jù)庫(kù)．

在云平臺(tái)中,作為試飛測(cè)試數(shù)據(jù)的存儲(chǔ)與管理組件,為用戶提供高效的數(shù)據(jù)存儲(chǔ)與時(shí)序數(shù)據(jù)查詢能力．使用試飛數(shù)據(jù)進(jìn)行實(shí)測(cè),性能已是國(guó)內(nèi)領(lǐng)先水平．時(shí)序數(shù)據(jù)庫(kù)性能對(duì)比結(jié)果如表1所示．

表1 時(shí)序數(shù)據(jù)庫(kù)性能對(duì)比

試飛結(jié)構(gòu)化數(shù)據(jù)采用關(guān)系型數(shù)據(jù)庫(kù)oracle．?dāng)?shù)據(jù)處理中心軟件系統(tǒng)架構(gòu)如圖4所示．

圖4 軟件系統(tǒng)架構(gòu)Fig.4 Software system architecture

通過(guò)系統(tǒng)軟件架構(gòu)設(shè)計(jì)確定系統(tǒng)開(kāi)發(fā)模型,本系統(tǒng)合法注冊(cè)用戶在客戶端可以通過(guò)網(wǎng)頁(yè)、移動(dòng)手持端進(jìn)行訪問(wèn),確保科研人員在任何試驗(yàn)點(diǎn)任何時(shí)間都可以自行訪問(wèn)數(shù)據(jù),并按需求進(jìn)行查詢、處理、分析等操作．?dāng)?shù)據(jù)分為涉密數(shù)據(jù)與非涉密數(shù)據(jù)．為了確保涉密數(shù)據(jù)的安全性,涉密數(shù)據(jù)目前只提供專(zhuān)用有線網(wǎng)鏈路訪問(wèn)．

軟件系統(tǒng)分為應(yīng)用層、展示層、接入層、數(shù)據(jù)服務(wù)層、數(shù)據(jù)層、數(shù)據(jù)庫(kù)、操作系統(tǒng)、運(yùn)行環(huán)境等8個(gè)邏輯層．應(yīng)用層是用戶與系統(tǒng)的交互層,系統(tǒng)實(shí)現(xiàn)的所有功能通過(guò)展示層提供給用戶進(jìn)行界面訪問(wèn)．展示層所支持的瀏覽形式包括輕量式客戶端(CS)、Web瀏覽(BS),從而實(shí)現(xiàn)最優(yōu)客戶體驗(yàn),滿足不同場(chǎng)景演示．針對(duì)各種數(shù)據(jù)的圖形化展示,系統(tǒng)在前端框架層使用了不同的Web框架和交互技術(shù)．業(yè)務(wù)功能均可以在此界面進(jìn)行人為操作,由于移動(dòng)端不利于復(fù)雜人機(jī)交互操作,所以移動(dòng)端操作界面僅包含數(shù)據(jù)處理、瀏覽、查詢等主要功能．接入層構(gòu)建了用戶請(qǐng)求與后臺(tái)服務(wù)器應(yīng)用的溝通協(xié)議,是系統(tǒng)實(shí)現(xiàn)關(guān)鍵,起承上啟下的作用,實(shí)現(xiàn)訪問(wèn)數(shù)據(jù)、數(shù)據(jù)計(jì)算、結(jié)果分析、負(fù)載均衡、并發(fā)管理、網(wǎng)絡(luò)管理、數(shù)據(jù)管理、算法實(shí)現(xiàn)與集成、安全管理、用戶訪問(wèn)．?dāng)?shù)據(jù)服務(wù)層主要驗(yàn)證數(shù)據(jù)合法性,審核前端請(qǐng)求合理性．?dāng)?shù)據(jù)層用于描述本平臺(tái)的試飛數(shù)據(jù)來(lái)源方式和數(shù)據(jù)特點(diǎn)．?dāng)?shù)據(jù)來(lái)源方式包括系統(tǒng)集成和數(shù)據(jù)導(dǎo)入等方式,并針對(duì)不同的試飛數(shù)據(jù)格式、試飛數(shù)據(jù)類(lèi)型提供相應(yīng)的數(shù)據(jù)入庫(kù)與檢測(cè)工具集等,包含相關(guān)飛行試驗(yàn)數(shù)據(jù)信息、訪問(wèn)信息、管理信息、人員信息、權(quán)限信息、算法信息庫(kù)、數(shù)據(jù)處理配套信息等．服務(wù)器端是軟件系統(tǒng)核心所在,通過(guò)軟件可以最大程度發(fā)揮服務(wù)器端硬件性能,并為數(shù)據(jù)處理提供最優(yōu)運(yùn)行硬件環(huán)境支持．操作系統(tǒng)提供安全、穩(wěn)定的高效運(yùn)行．運(yùn)行環(huán)境包括數(shù)據(jù)處理中心與各分集點(diǎn)服務(wù)器．系統(tǒng)開(kāi)發(fā)模型確定后,系統(tǒng)主要功能細(xì)分到各主要模塊,如圖5所示．

圖5 系統(tǒng)邏輯架構(gòu)Fig.5 Logical architecture of the system

1.2.2 客戶端軟件設(shè)計(jì)

客戶端與服務(wù)器端進(jìn)行指令交互,按用戶需求實(shí)現(xiàn)數(shù)據(jù)處理結(jié)果的顯示等功能,客戶端兼容PC機(jī)、移動(dòng)端,使用HTML語(yǔ)言基于網(wǎng)頁(yè)模式開(kāi)發(fā),內(nèi)嵌基于跨平臺(tái)的數(shù)據(jù)處理相關(guān)控件．部分功能在客戶端實(shí)現(xiàn),包括預(yù)處理數(shù)據(jù)的二次解算、視頻播放、數(shù)據(jù)分析．

用戶面向訪問(wèn)前端,在主頁(yè)通過(guò)合法權(quán)限訪問(wèn)相應(yīng)權(quán)限功能,包括自定義飛行試驗(yàn)科目與科目參數(shù)、事后數(shù)據(jù)推演與仿真、飛行效果的智能結(jié)果評(píng)估．科研人員通過(guò)飛行試驗(yàn)數(shù)據(jù)處理結(jié)果的可視化顯示與判讀,對(duì)飛行器相應(yīng)試飛科目執(zhí)行結(jié)果進(jìn)行評(píng)估．面向飛行試驗(yàn)數(shù)據(jù)未來(lái)處理需求,集成新的數(shù)據(jù)處理方法與算法模塊,合并分散的數(shù)據(jù)處理功能,優(yōu)化數(shù)據(jù)處理流程,使此系統(tǒng)數(shù)據(jù)處理與分析功能全面化、集成化、統(tǒng)一化、簡(jiǎn)潔化,提升飛行數(shù)據(jù)整體處理能力與效率．?dāng)?shù)據(jù)處理系統(tǒng)客戶端設(shè)計(jì)如圖6所示．

圖6 數(shù)據(jù)處理客戶端Fig.6 Data processing client

2 關(guān)鍵技術(shù)

本系統(tǒng)面向海量數(shù)據(jù),多分集點(diǎn)實(shí)現(xiàn)數(shù)據(jù)共享,保證數(shù)據(jù)安全、操作簡(jiǎn)單等功能,這就對(duì)數(shù)據(jù)存儲(chǔ)模式、網(wǎng)絡(luò)架構(gòu)、數(shù)據(jù)處理機(jī)制有了更高的要求．?dāng)?shù)據(jù)處理中心各服務(wù)器間如何級(jí)聯(lián)、如何協(xié)同工作是主要挑戰(zhàn),數(shù)據(jù)處理中心與各分集點(diǎn)如何分工,數(shù)據(jù)處理中心、各分集點(diǎn)、客戶端之間網(wǎng)絡(luò)負(fù)載均衡是保障系統(tǒng)高效運(yùn)行的關(guān)鍵．

2.1 分布式存儲(chǔ)技術(shù)

本系統(tǒng)服務(wù)器端主要由計(jì)算服務(wù)器、存儲(chǔ)服務(wù)器、負(fù)載均衡服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器組成,數(shù)據(jù)處理中心服務(wù)器之間的鏈路通信協(xié)議、硬件及軟件平臺(tái)設(shè)計(jì)是提升整個(gè)系統(tǒng)數(shù)據(jù)并發(fā)處理效率的關(guān)鍵．系統(tǒng)架構(gòu)如圖7所示．

圖7 系統(tǒng)架構(gòu)框圖Fig.7 Block diagram of the system architecture

系統(tǒng)服務(wù)器端各服務(wù)器間通信鏈路采用并行冗余和高可靠無(wú)縫光纖環(huán)網(wǎng)冗余技術(shù)．此系統(tǒng)服務(wù)器端設(shè)備中涉及多個(gè)相互獨(dú)立的協(xié)議及多個(gè)數(shù)據(jù)交互端口,合并成一個(gè)多種業(yè)務(wù)共享的以太網(wǎng)端口,實(shí)現(xiàn)多流數(shù)據(jù)的高度融合和網(wǎng)內(nèi)信息的可靠共享[17]．此服務(wù)器端支持25/100GE主機(jī)接口,配置4塊480 GB SSD、27塊3.84 TB SSD,配置8個(gè)SAS3.0后端通道,總帶寬不低于384 GB,支持IP SAN、FC SAN、NAS等組網(wǎng)方式,提供iSCSI、FC、NFS、CIFS、HTTP、FTP等多種協(xié)議許可．

網(wǎng)絡(luò)混合組網(wǎng)的架構(gòu)使服務(wù)器端交換機(jī)及光口數(shù)量大幅減少,網(wǎng)絡(luò)架構(gòu)更加清晰,全網(wǎng)信息高度共享．同時(shí),在網(wǎng)絡(luò)數(shù)據(jù)流量大幅增加的情況下,其中一條通信鏈路發(fā)生故障時(shí),啟用另外一條健全的通信鏈路,使網(wǎng)絡(luò)通信的可靠性大大提高．各服務(wù)器間通過(guò)高效可靠的通信鏈路,使各服務(wù)器間數(shù)據(jù)傳輸、數(shù)據(jù)共享高效安全．

隨著大數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展,分布式技術(shù)的解決方案也呈多樣性發(fā)展,在眾多行業(yè)取得了較好的應(yīng)用效果．本系統(tǒng)采用分布式存儲(chǔ)技術(shù)進(jìn)行飛行試驗(yàn)數(shù)據(jù)處理系統(tǒng)數(shù)據(jù)共享服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)．通過(guò)分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)來(lái)提升飛行試驗(yàn)數(shù)據(jù)的儲(chǔ)存管理能力與數(shù)據(jù)的服務(wù)和支撐能力,并與飛行試驗(yàn)數(shù)據(jù)處理系統(tǒng)實(shí)現(xiàn)無(wú)縫對(duì)接．分布式數(shù)據(jù)庫(kù)系統(tǒng)包含分布式數(shù)據(jù)庫(kù)管理系統(tǒng)和分布式數(shù)據(jù)庫(kù)．它將分布地不同的飛行數(shù)據(jù)本地?cái)?shù)據(jù)庫(kù)存儲(chǔ),由各分集點(diǎn)的數(shù)據(jù)庫(kù)管理系統(tǒng)進(jìn)行管理,在不同的機(jī)器上運(yùn)行,由相同的操作系統(tǒng)支持,被統(tǒng)一的通信網(wǎng)絡(luò)鏈路連接在一起的數(shù)據(jù)進(jìn)行整合,形成一個(gè)邏輯上統(tǒng)一的數(shù)據(jù)庫(kù)[18]．分布式數(shù)據(jù)庫(kù)將所有運(yùn)行開(kāi)銷(xiāo)分?jǐn)傆跀?shù)據(jù)處理中心和各地?cái)?shù)個(gè)分集點(diǎn),物理上分散、邏輯上集中,從而實(shí)現(xiàn)更大的數(shù)據(jù)存儲(chǔ)能力．分布式數(shù)據(jù)庫(kù)系統(tǒng)有利于分集點(diǎn)擴(kuò)展,同時(shí),數(shù)據(jù)的出入均通過(guò)數(shù)據(jù)服務(wù)層的飛行數(shù)據(jù)統(tǒng)一標(biāo)準(zhǔn)數(shù)據(jù)接口提供對(duì)數(shù)據(jù)訪問(wèn)、輸出等合法性審核．

分布式文件系統(tǒng)是一個(gè)高度容錯(cuò)的系統(tǒng),用來(lái)解決海量數(shù)據(jù)存儲(chǔ)和管理中的難題,它的數(shù)據(jù)訪問(wèn)具有可靠性強(qiáng)、容錯(cuò)率高、擴(kuò)展性強(qiáng)、吞吐率高的特點(diǎn),為海量特征的存儲(chǔ)帶來(lái)了很多便利．本文將分布于全國(guó)各地集結(jié)點(diǎn)的飛行數(shù)據(jù)統(tǒng)合成為一個(gè)高度集成化的數(shù)據(jù)中心,從而極大簡(jiǎn)化了數(shù)據(jù)存儲(chǔ)、訪問(wèn)等應(yīng)用系統(tǒng)的使用,真正做到飛行數(shù)據(jù)存儲(chǔ)地域無(wú)關(guān)性．

2.2 ETL技術(shù)

ETL(Extract-Transform-Load,數(shù)據(jù)抽取-轉(zhuǎn)換-加載)是將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽取、轉(zhuǎn)換、加載至目的端的過(guò)程．用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù),經(jīng)過(guò)數(shù)據(jù)清洗最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型,將數(shù)據(jù)加載到數(shù)據(jù)庫(kù)中,可以有效組織和整合各單位散亂存放、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù),為數(shù)據(jù)統(tǒng)計(jì)分析提供基礎(chǔ)數(shù)據(jù)．系統(tǒng)總體流程如圖8所示．

圖8 系統(tǒng)總體流程Fig.8 Overall flow chart of the system

ETL提供了圖形化的編輯界面,支持各種主流瀏覽器平臺(tái)通過(guò)簡(jiǎn)單的拖拽定義ETL;提供了異步ETL過(guò)程處理模式,即數(shù)據(jù)抽取、轉(zhuǎn)換及裝載過(guò)程異步執(zhí)行,從而實(shí)現(xiàn)了數(shù)據(jù)的高效處理;支持各種字段級(jí)的映射轉(zhuǎn)換,如類(lèi)型轉(zhuǎn)換、字段轉(zhuǎn)換、參照轉(zhuǎn)換、字符串處理、字符集轉(zhuǎn)換、空值處理、日期轉(zhuǎn)換、聚集運(yùn)算、既定取值、字段切分、字段合并等[19];支持映射自動(dòng)匹配,可自動(dòng)完成異構(gòu)數(shù)據(jù)庫(kù)之間數(shù)據(jù)的映射;支持批量表的遷移映射,遷移信息包括表名、字段屬性、主鍵屬性、索引屬性等．本系統(tǒng)采用自主研發(fā)的ETL工具,用可視化控件,提供純Web的ETL定義和維護(hù)方式,助力系統(tǒng)中的ETL設(shè)計(jì)和管理．利用ETL模塊,無(wú)需編碼,用戶即可快速建立起個(gè)性化的ETL流程,屏蔽復(fù)雜的編碼任務(wù),降低難度,大幅提高ETL的開(kāi)發(fā)效率．ETL工具界面如圖9所示．

圖9 ETL工具界面Fig.9 ETL tool interface

2.3 邊云協(xié)同技術(shù)

試飛數(shù)據(jù)管理系統(tǒng)以云原生技術(shù)架構(gòu),使用容器與微服務(wù)技術(shù),實(shí)現(xiàn)了應(yīng)用功能的微服務(wù)化,并提供服務(wù)/數(shù)據(jù)高可用、服務(wù)/數(shù)據(jù)橫向擴(kuò)展的能力．應(yīng)用微服務(wù)是指將應(yīng)用拆分為顆粒度不同的功能服務(wù),通過(guò)微服務(wù)注冊(cè)中心實(shí)現(xiàn)服務(wù)的分布式部署,增加應(yīng)用功能的服務(wù)冗余,為系統(tǒng)日常的運(yùn)行提供高可用性．通過(guò)微服務(wù)的無(wú)狀態(tài)化解決了服務(wù)冗余帶來(lái)的擴(kuò)容或縮容要求,并結(jié)合容器管理技術(shù)實(shí)現(xiàn)了服務(wù)的橫向擴(kuò)充．存儲(chǔ)高可用是將數(shù)據(jù)復(fù)制到多個(gè)存儲(chǔ)設(shè)備中,通過(guò)數(shù)據(jù)冗余的方式來(lái)實(shí)現(xiàn)高可用,系統(tǒng)采用分布式數(shù)據(jù)存儲(chǔ)技術(shù)對(duì)數(shù)據(jù)進(jìn)行冗余存儲(chǔ),并支持?jǐn)?shù)據(jù)存儲(chǔ)的橫向擴(kuò)展．試飛數(shù)據(jù)管理系統(tǒng)如圖10所示．

圖10 試飛數(shù)據(jù)管理系統(tǒng)Fig.10 Flight test data management system

基于華為云原生平臺(tái),提供對(duì)關(guān)系型、非關(guān)系型數(shù)據(jù)存儲(chǔ),數(shù)據(jù)分發(fā)服務(wù)等,支持?jǐn)?shù)據(jù)分布式存儲(chǔ)和數(shù)據(jù)遠(yuǎn)程安全同步傳輸,使用基于大數(shù)據(jù)應(yīng)用的相關(guān)組件功能,包括數(shù)據(jù)采集、治理、應(yīng)用、處理計(jì)算等組件,完成對(duì)海量試飛數(shù)據(jù)的采/存/管提供基礎(chǔ)功能支撐,面向數(shù)據(jù)平臺(tái)與應(yīng)用提供基礎(chǔ)服務(wù)功能,例如服務(wù)注冊(cè)(Eureka)、服務(wù)配置(Config-server)、浮動(dòng)許可(Floating-license-server)等,完成基于微服務(wù)的試飛應(yīng)用功能．

在西安部署多臺(tái)邊云節(jié)點(diǎn),在成都部署多臺(tái)主云節(jié)點(diǎn)．為實(shí)現(xiàn)試飛數(shù)據(jù)向異地多個(gè)參試單位之間的高效傳輸,設(shè)計(jì)了多種異地?cái)?shù)據(jù)同步/異步傳輸策略,結(jié)合試飛數(shù)據(jù)分類(lèi)授權(quán)等功能,實(shí)現(xiàn)了數(shù)據(jù)流向的安全受控與協(xié)同共享．

試飛數(shù)據(jù)上云后,統(tǒng)一由“多數(shù)據(jù)中心同步網(wǎng)關(guān)”進(jìn)行調(diào)度,根據(jù)試飛數(shù)據(jù)類(lèi)別與特性采用相應(yīng)的同步策略,立即或定時(shí)發(fā)起數(shù)據(jù)源向目標(biāo)位置的傳輸任務(wù)．多數(shù)據(jù)中心同步網(wǎng)關(guān)如圖11所示．

圖11 多數(shù)據(jù)中心同步網(wǎng)關(guān)Fig.11 Multi-data center synchronization gateway

3 系統(tǒng)性能與測(cè)試結(jié)果

3.1 試驗(yàn)配置

系統(tǒng)服務(wù)器端程序(IIS、調(diào)度軟件等)均部署在Windows server 2012服務(wù)器上,基于Oracle 11g數(shù)據(jù)庫(kù)運(yùn)行．客戶端部署在Win7、WinXP系統(tǒng)上,使用IE8瀏覽器運(yùn)行．配置8個(gè)節(jié)點(diǎn),總內(nèi)存2 048 GB,裸容量1 200 TB,使用容量不低于600 TB,提供不低于10個(gè)NFS文件系統(tǒng)的軟件license授權(quán)．配置雙冗余控制器,配置8個(gè)16 GB FC接口、8個(gè)10 GB接口,支持不少于40個(gè)主機(jī)接口.配置服務(wù)質(zhì)量控制(QoS),IPV4/IPV6協(xié)議授權(quán)功能,支持SSD讀和寫(xiě)性能加速.配置RAID保護(hù)機(jī)制,單RAID硬盤(pán)組任意3塊硬盤(pán)發(fā)生整盤(pán)永久性故障,數(shù)據(jù)不丟失、業(yè)務(wù)不中斷．

3.2 整體性能

本文提出的基于邊云協(xié)同的飛行試驗(yàn)數(shù)據(jù)處理系統(tǒng)采用數(shù)據(jù)處理中心+分集點(diǎn)同步飛行數(shù)據(jù)處理模式,實(shí)現(xiàn)了各試驗(yàn)場(chǎng)數(shù)據(jù)互聯(lián)互通、異地?cái)?shù)據(jù)同步處理,對(duì)數(shù)據(jù)處理算法庫(kù)進(jìn)行了統(tǒng)一,數(shù)據(jù)處理結(jié)果精度達(dá)到飛行試驗(yàn)要求,并且增加了動(dòng)態(tài)可擴(kuò)展性．非密數(shù)據(jù)可以通過(guò)手持終端隨時(shí)隨地訪問(wèn),大大提高了飛行數(shù)據(jù)處理效率．2021年試驗(yàn)數(shù)據(jù)入庫(kù)量如圖12所示。

圖12 2021年試驗(yàn)數(shù)據(jù)入庫(kù)量Fig.12 Volume of test data stored in the database 2021

新舊飛行試驗(yàn)數(shù)據(jù)處理系統(tǒng)經(jīng)過(guò)一段時(shí)間并行運(yùn)行,逐步對(duì)以前分散管理的飛行數(shù)據(jù)及相關(guān)資料轉(zhuǎn)入新系統(tǒng)統(tǒng)一管理,并對(duì)分散在全國(guó)各地試驗(yàn)點(diǎn)分集點(diǎn)的數(shù)據(jù)處理系統(tǒng)進(jìn)行并網(wǎng)同步管理,目前已達(dá)到全運(yùn)行狀態(tài)．經(jīng)多型號(hào)驗(yàn)證,相比原模式,新模式數(shù)據(jù)處理效率提升49%以上,數(shù)據(jù)處理耗時(shí)縮短到原模式的一半．新舊系統(tǒng)效率提升對(duì)比如表2所示．

表2 系統(tǒng)效率提升對(duì)比

相比于原系統(tǒng),基于邊云協(xié)同的數(shù)據(jù)處理中心在單向單線程傳輸、單向雙線程傳輸中的測(cè)試表現(xiàn)出997～1 155 MB/s的流出量實(shí)測(cè)速度．原系統(tǒng)在單向單線程傳輸和單向雙線程傳輸1 GB 的數(shù)據(jù)時(shí),均需要60 s,新系統(tǒng)只需0.9 μs,新系統(tǒng)較原系統(tǒng)速度提升了60多倍．原系統(tǒng)在單向單線程傳輸10 GB的數(shù)據(jù)時(shí)需要7 min,新系統(tǒng)只需10 s;在單向雙線程傳輸測(cè)試10 GB數(shù)據(jù)時(shí),原系統(tǒng)需要11 min,新系統(tǒng)只需10 s．同時(shí),新系統(tǒng)增加了數(shù)據(jù)處理中心與分集點(diǎn)之間的數(shù)據(jù)傳輸,分集點(diǎn)請(qǐng)求數(shù)據(jù)處理中心數(shù)據(jù)處理后,科研人員可以在分集點(diǎn)查看結(jié)果,新系統(tǒng)還增加了在線回放視頻數(shù)據(jù)的功能,經(jīng)測(cè)試回放流暢,極少有卡頓現(xiàn)象．原系統(tǒng)與新系統(tǒng)的服務(wù)器之間數(shù)據(jù)傳輸效率結(jié)果如表3所示．

表3 服務(wù)器之間數(shù)據(jù)傳輸效率相關(guān)指標(biāo)測(cè)試

通過(guò)對(duì)新舊系統(tǒng)數(shù)據(jù)處理效率對(duì)比,數(shù)據(jù)處理服務(wù)器集群按用戶的處理指令將數(shù)據(jù)處理任務(wù)均衡到相應(yīng)計(jì)算服務(wù)器,并通過(guò)高速網(wǎng)傳通信、通信協(xié)議迭代應(yīng)用、極速數(shù)據(jù)庫(kù)訪問(wèn)等技術(shù)的合理應(yīng)用,達(dá)到數(shù)據(jù)處理效率提升的目的．

目前新系統(tǒng)已經(jīng)完全獨(dú)立運(yùn)行,系統(tǒng)安全性、可靠性、健壯性等得到進(jìn)一步驗(yàn)證,通過(guò)數(shù)據(jù)處理中心+分集點(diǎn)模式,已經(jīng)完全擔(dān)負(fù)起日常飛行數(shù)據(jù)處理任務(wù)．

4 結(jié)束語(yǔ)

本文通過(guò)數(shù)據(jù)處理中心與分集點(diǎn)結(jié)合的處理模式,解決了飛行數(shù)據(jù)從本地處理到跨地域處理、數(shù)據(jù)中心與各分集點(diǎn)飛行數(shù)據(jù)存儲(chǔ)從點(diǎn)到面共享等問(wèn)題,實(shí)現(xiàn)了飛行數(shù)據(jù)處理、全過(guò)程科目執(zhí)行效果推演與分析、飛行數(shù)據(jù)驅(qū)動(dòng)仿真等技術(shù)．通過(guò)引入5G無(wú)線和互聯(lián)網(wǎng)有線技術(shù),實(shí)現(xiàn)了從本地處理到通過(guò)手持移動(dòng)終端實(shí)時(shí)訪問(wèn)非密數(shù)據(jù)的跨越,解決了后續(xù)試驗(yàn)數(shù)據(jù)處理在地域、空域、時(shí)效等制約瓶頸上的限制,實(shí)現(xiàn)了飛行數(shù)據(jù)的異地、本地協(xié)同處理．基于本文設(shè)計(jì)的飛行數(shù)據(jù)處理系統(tǒng),實(shí)現(xiàn)了飛行試驗(yàn)數(shù)據(jù)高時(shí)效處理、跨地域數(shù)據(jù)共享和數(shù)據(jù)驅(qū)動(dòng)與解算建模．后續(xù)將加大對(duì)數(shù)據(jù)結(jié)果智能預(yù)判、海量數(shù)據(jù)階梯式分析等技術(shù)研究,為飛機(jī)飛行試驗(yàn)數(shù)據(jù)處理的智能化,做好技術(shù)鋪墊和支撐．