基于托管可擴展框架的武器試驗數(shù)據(jù)計算平臺

湯國防 胡長城 姚 尚

1(中國電子科技集團公司第十五研究所 北京 100083)

2(甘肅酒泉十四支局565號 甘肅 酒泉 735018)

0 引 言

武器裝備的試驗鑒定往往需要大量實裝試驗以及事后重復性的數(shù)據(jù)處理，形成對武器功能性能指標的數(shù)據(jù)鑒定結(jié)論。武器裝備的靶場試驗一般具有測量手段多、測量參數(shù)多、數(shù)據(jù)量大、專業(yè)種類多樣等特點[1-2]；在事后數(shù)據(jù)處理方面，數(shù)據(jù)計算流程相對復雜，對算法要求高，但同時也具有較強的復用性。目前，靶場武器試驗數(shù)據(jù)多使用電子文件和多種多樣的自研計算軟件進行保存和處理[3]，導致試驗數(shù)據(jù)計算處理效率低、過程不易追溯、數(shù)據(jù)存儲分散，難以形成數(shù)據(jù)積累和知識積累。

當前云計算技術(shù)的發(fā)展應用帶來了更易獲得的計算資源和存儲資源，后臺基于分布式或大規(guī)模集群部署的計算服務(wù)極大提升了科學計算能力。在一些復雜系統(tǒng)協(xié)同設(shè)計或仿真分析領(lǐng)域，基于網(wǎng)絡(luò)的計算服務(wù)方式提供了一種新的架構(gòu)設(shè)計。文獻[4-5]提出了一種基于分布式多學科計算服務(wù)平臺(FIPER)的計算服務(wù)方式，F(xiàn)IPER主要采用C/S模式。在FIPER服務(wù)器端集成計算各類服務(wù)，服務(wù)需求者需要在注冊以后，通過FIPER客戶端查找服務(wù)器中相應的服務(wù)進行調(diào)用使用，但這種服務(wù)方式要求用戶必須通過編程接口創(chuàng)建流程圖。文獻[6]提出了一種基于ModelCenter的仿真計算服務(wù)方式，ModelCenter架構(gòu)采用C/S模式，在服務(wù)器端集成各種仿真分析軟件，需求者注冊后可以在客戶端建立模型組件流程圖，提交后由服務(wù)器端進行計算求解，并返回結(jié)果。文獻[7]則提出了計算模型化的思路，根據(jù)對計算模型設(shè)置不同的參數(shù)和函數(shù)鏈接由計算分析模型進行分析計算。基于FIPER和ModelCenter架構(gòu)設(shè)計和計算模型化的實現(xiàn)思路為武器試驗數(shù)據(jù)計算平臺的設(shè)計提供了借鑒。

本文結(jié)合武器試驗數(shù)據(jù)處理計算的業(yè)務(wù)特點，針對數(shù)據(jù)處理算法特點、數(shù)據(jù)集群計算需求，設(shè)計一種基于托管可擴展框架的武器試驗數(shù)據(jù)計算平臺，實現(xiàn)對試驗數(shù)據(jù)處理算法組件化、數(shù)據(jù)計算服務(wù)化以及對各類專業(yè)算法高效集成，提升武器試驗數(shù)據(jù)處理效率。

1 數(shù)據(jù)處理模型設(shè)計

1.1 數(shù)據(jù)計算業(yè)務(wù)模型

武器試驗數(shù)據(jù)處理一般需要經(jīng)過選取數(shù)據(jù)、預處理、專業(yè)數(shù)值計算、結(jié)果輸出等多個數(shù)據(jù)加工過程。其中：數(shù)據(jù)的預處理為常用的算法處理過程，如數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)插值、野值剔除等；專業(yè)數(shù)值計算根據(jù)武器試驗類別、數(shù)據(jù)測量手段等不同而采用不同的算法實現(xiàn)數(shù)據(jù)處理過程并最終得到輸出結(jié)果。武器試驗的數(shù)據(jù)處理對計算過程中的參數(shù)設(shè)定、過程數(shù)據(jù)追溯、結(jié)果綜合處理有較高的要求，以獲得可信的處理結(jié)果和科學的評定報告。

基于武器試驗數(shù)據(jù)處理業(yè)務(wù)的共性特點，通過對數(shù)據(jù)加工處理階段、專業(yè)數(shù)值計算過程進行單元化分解，建立典型的數(shù)據(jù)處理業(yè)務(wù)模型，如圖1所示。

圖1 武器試驗數(shù)據(jù)處理業(yè)務(wù)模型

在上述業(yè)務(wù)模型中，每個數(shù)據(jù)加工處理過程均抽象為功能最小化的算法實現(xiàn)，以便于進行算法組件化設(shè)計，通過合理編排算法的輸入輸出共同完成試驗數(shù)據(jù)處理過程。該業(yè)務(wù)模型的主要特點包括：1) 具有一條或多條計算基線，以滿足多專業(yè)數(shù)據(jù)綜合處理過程，每條計算基線以輸入數(shù)據(jù)為起點；2) 每個算法均有一個或多個輸入數(shù)據(jù)和唯一的輸出數(shù)據(jù)，算法輸出數(shù)據(jù)可以多次參與其他算法計算，輸入數(shù)據(jù)、輸出數(shù)據(jù)和算法計算參數(shù)作為過程數(shù)據(jù)進行保存；3) 在遵循專業(yè)數(shù)據(jù)處理規(guī)則的基礎(chǔ)上，算法可以按需編排和多次使用[8]；4) 整個計算流程遵循一定執(zhí)行順序自動完成全部數(shù)值計算。

1.2 算法組件設(shè)計

(1) 算法組件模型。為滿足算法靈活編排以及計算流程的自動化執(zhí)行，算法組件采用可托管的插件模式設(shè)計，并遵循SOA的架構(gòu)理念[9]，將前端界面操作和后臺計算服務(wù)分離。算法組件包括前端算法界面插件和后端計算服務(wù)插件，如圖2所示。

圖2 算法組件結(jié)構(gòu)

算法交互組件提供算法人機交互界面、計算參數(shù)配置和輸入數(shù)據(jù)、輸出數(shù)據(jù)的傳遞功能；后端算法服務(wù)組件接收算法交互組件傳遞的輸入數(shù)據(jù)和計算參數(shù)，執(zhí)行數(shù)據(jù)計算過程并生成輸出數(shù)據(jù)，返回給算法交互組件。

(2) 算法組件分類設(shè)計。根據(jù)數(shù)據(jù)處理需要，算法組件可分為數(shù)據(jù)輸入組件、數(shù)據(jù)適配組件、通用算法組件和專業(yè)算法組件。

數(shù)據(jù)輸入組件為整個計算流程的數(shù)據(jù)入口，在實現(xiàn)方面可根據(jù)業(yè)務(wù)應用模式建立WebService輸入組件、FTP輸入組件、數(shù)據(jù)導入組件、數(shù)據(jù)編輯組件等。

數(shù)據(jù)適配組件用于完成組件間輸出數(shù)據(jù)與輸入數(shù)據(jù)之間的數(shù)據(jù)轉(zhuǎn)換適配，如數(shù)據(jù)格式轉(zhuǎn)換組件(時間、坐標、單位轉(zhuǎn)換等)、數(shù)據(jù)屬性更名組件、數(shù)據(jù)提取組件、數(shù)據(jù)拼接組件等。

通用算法組件為常用的公共數(shù)據(jù)處理算法，如數(shù)據(jù)插值組件、野值檢測剔除組件、數(shù)據(jù)平滑組件、數(shù)據(jù)圖表組件等。

專業(yè)算法組件針對專業(yè)性的數(shù)據(jù)處理過程進行單元化分解和重構(gòu)，如將彈道數(shù)據(jù)解算過程分解為若干個邏輯算法單元，進而針對邏輯算法單元進行組件化重構(gòu)。專業(yè)算法組件涉及各類學科、專業(yè)，需根據(jù)專業(yè)進行分類管理。

2 計算平臺設(shè)計

2.1 托管可擴展框架設(shè)計

武器試驗數(shù)據(jù)計算平臺整體采用托管可擴展框架設(shè)計，將所有算法進行組件化封裝后，由組件托管容器自動發(fā)現(xiàn)并管理組件實例，如圖3所示。

圖3 計算平臺框架設(shè)計

計算平臺客戶端和后臺算法計算服務(wù)均采用組件托管容器設(shè)計，對分類目錄存儲的算法組件進行自動發(fā)現(xiàn)和實例管理。計算平臺客戶端主要實現(xiàn)算法交互組件實例的可視化編排、算法組件間輸入輸出數(shù)據(jù)連接、計算參數(shù)配置、輸入輸出數(shù)據(jù)查看等功能；后臺算法服務(wù)實現(xiàn)算法的核心計算和結(jié)果數(shù)據(jù)輸出。前端組件與后臺算法服務(wù)通過服務(wù)總線及XML/FTP進行服務(wù)交互和數(shù)據(jù)交互，以便構(gòu)建支持多用戶的集群計算服務(wù)[10]。

計算平臺的算法庫支持動態(tài)擴展，用戶將遵循相應協(xié)議的算法組件上傳至擴展算法組件庫，通過平臺的組件監(jiān)控功能即可自動添加組件實例至算法組件托管容器。

2.2 計算平臺框架協(xié)議

計算平臺組件托管容器要求組件設(shè)計遵循一致的接口協(xié)議才能對組件實例進行統(tǒng)一托管，主要包括前端算法交互組件協(xié)議和算法服務(wù)組件協(xié)議。

(1) 算法交互組件協(xié)議。前端算法交互組件遵循統(tǒng)一的應用操作接口協(xié)議(IApplicationContract)設(shè)計，以實現(xiàn)對組件實例的定義、描述、界面操作、參數(shù)保存功能。IApplicationContract 接口約定如表1所示。

表1 算法交互組件接口協(xié)議

(2) 算法服務(wù)組件協(xié)議。算法服務(wù)組件遵循統(tǒng)一的計算服務(wù)接口協(xié)議(IServerContract)設(shè)計，完成數(shù)據(jù)的輸入、數(shù)據(jù)計算和結(jié)果輸出。IServerContract接口約定如表2所示。

表2 算法服務(wù)組件接口協(xié)議

在圖3的計算平臺框架中，后臺算法服務(wù)組件托管容器通過Service Host模式將算法服務(wù)接口發(fā)布為對應名稱的Webservice服務(wù)，并注冊至SOA服務(wù)總線。前端算法交互組件與后臺算法服務(wù)組件通過WebService請求實現(xiàn)服務(wù)調(diào)用和數(shù)據(jù)交互。

2.3 數(shù)據(jù)交互協(xié)議

考慮到武器試驗數(shù)據(jù)具有數(shù)據(jù)屬性多、數(shù)據(jù)規(guī)模大(如一次數(shù)據(jù)計算通常達到千萬條記錄)等特點，數(shù)據(jù)網(wǎng)絡(luò)傳輸對計算執(zhí)行效率影響極為明顯，因此，算法組件間的數(shù)據(jù)交互采用XML+FTP協(xié)議設(shè)計。其中，XML用以定義輸入輸出數(shù)據(jù)的元數(shù)據(jù)，數(shù)據(jù)內(nèi)容則以二進制序列化處理后通過FTP協(xié)議進行交互[11]。

在XML元數(shù)據(jù)中，輸入輸出數(shù)據(jù)的元數(shù)據(jù)項定義如表3所示。

表3 輸入輸出數(shù)據(jù)元數(shù)據(jù)項定義

組件進行數(shù)據(jù)調(diào)閱或計算時，通過XML元數(shù)據(jù)定義向FTP服務(wù)請求數(shù)據(jù)，根據(jù)數(shù)據(jù)組織格式解析序列化存儲的二進制數(shù)據(jù)然后再進行處理。經(jīng)測試驗證，基于XML+FTP的數(shù)據(jù)交互模式相比傳統(tǒng)的XML數(shù)據(jù)交互方式，在數(shù)據(jù)解析性能以及網(wǎng)絡(luò)傳輸耗時方面優(yōu)勢明顯，大規(guī)模數(shù)據(jù)時的計算執(zhí)行效率可提升數(shù)十倍。

2.4 計算自動化執(zhí)行設(shè)計

算法組件按照數(shù)據(jù)輸入輸出編排形成可執(zhí)行的算法流程，能夠單步執(zhí)行和全流程自動化執(zhí)行。全流程算法自動化執(zhí)行設(shè)計如下：

1) 確定全流程算法執(zhí)行順序。以數(shù)據(jù)輸入/數(shù)據(jù)導入組件作為流程中每條計算基線的執(zhí)行起點，利用遞歸算法通過判斷算法組件的前向輸入和后項輸出建立全流程算法執(zhí)行隊列。

2) 按照算法執(zhí)行隊列依次執(zhí)行每個算法。單個算法執(zhí)行包括計算條件檢查、執(zhí)行計算過程、生成輸出數(shù)據(jù)三個過程。每個算法執(zhí)行完成后，通過執(zhí)行結(jié)果事件驅(qū)動后序算法執(zhí)行。

3) 算法執(zhí)行異常處理。當算法執(zhí)行條件檢查不滿足或執(zhí)行過程發(fā)生錯誤時，終止算法流程的執(zhí)行，并拋出異常信息提示。

4) 算法執(zhí)行數(shù)據(jù)存儲。算法執(zhí)行完成后，算法的全部數(shù)據(jù)均自動保存至FTP數(shù)據(jù)計算存儲空間，用以過程回溯和數(shù)據(jù)檢查。此外，當前處理任務(wù)的算法流程和配置參數(shù)可存為公共模板，實現(xiàn)任務(wù)重用和知識共享。

3 系統(tǒng)設(shè)計實現(xiàn)

3.1 武器試驗數(shù)據(jù)計算平臺

武器試驗數(shù)據(jù)計算平臺采用分布式C/S架構(gòu)設(shè)計，構(gòu)建形成公共的計算服務(wù)平臺，支持多用戶多任務(wù)并行數(shù)據(jù)處理。計算服務(wù)使用私有云部署或采用多機集群部署設(shè)計，根據(jù)計算規(guī)模及壓力實現(xiàn)計算節(jié)點的彈性伸縮。

武器試驗數(shù)據(jù)計算平臺包括試驗數(shù)據(jù)處理客戶端和試驗數(shù)據(jù)處理服務(wù)兩部分，其中試驗數(shù)據(jù)處理服務(wù)包括試驗數(shù)據(jù)管理平臺、FTP文件服務(wù)、數(shù)據(jù)庫存儲服務(wù)、數(shù)據(jù)計算服務(wù)和共享存儲服務(wù)五部分。整個系統(tǒng)組成結(jié)構(gòu)如圖4所示。

圖4 系統(tǒng)組成結(jié)構(gòu)

試驗數(shù)據(jù)管理平臺提供全系統(tǒng)的原始測量數(shù)據(jù)訪問服務(wù)，并以用戶、數(shù)據(jù)處理任務(wù)為標識存儲數(shù)據(jù)處理任務(wù)、算法流程、算法組件參數(shù)配置等信息。試驗數(shù)據(jù)處理席配置試驗數(shù)據(jù)處理軟件，集成全部算法界面組件并按需加載，為用戶提供數(shù)據(jù)處理任務(wù)管理、算法流程可視化編排、算法參數(shù)配置功能，并根據(jù)數(shù)據(jù)處理任務(wù)流程同后臺計算服務(wù)進行交互。

3.2 試驗數(shù)據(jù)計算處理示例

以光測視頻彈道解算處理為例，整個數(shù)據(jù)處理流程包括數(shù)據(jù)輸入、數(shù)據(jù)預處理、光測數(shù)據(jù)處理、彈道解算四部分，如圖5所示。

圖5 視頻外彈道解算數(shù)據(jù)處理流程設(shè)計

利用試驗數(shù)據(jù)處理軟件，選擇加載數(shù)據(jù)輸入算法組件庫、數(shù)據(jù)轉(zhuǎn)換組件庫、通用算法組件庫、光測視頻算法組件庫，通過鼠標拖拽方式對算法流程進行編排，并通過算法組件的UI界面設(shè)置數(shù)據(jù)計算參數(shù)，執(zhí)行完成視頻彈道解算流程計算，計算流程界面如圖6所示。該流程中同時配置計算多個彈道解算算法組件，以對比不同計算參數(shù)的彈道解算結(jié)果。

圖6 視頻外彈道解算算法組件執(zhí)行編排設(shè)計

基于該武器試驗數(shù)據(jù)處理平臺，數(shù)據(jù)計算處理流程充分利用后臺高性能服務(wù)器的強大計算能力，數(shù)據(jù)處理效率得到極大的提升，尤其應對多用戶同時開展內(nèi)測數(shù)據(jù)、動/靜態(tài)RCS等大數(shù)據(jù)量計算時，數(shù)據(jù)執(zhí)行效率為原單機計算模式的3～5倍。數(shù)據(jù)處理流程執(zhí)行完畢后，整個計算任務(wù)的算法流程以及每個算法組件的計算參數(shù)、輸入輸出數(shù)據(jù)全部存儲至服務(wù)器，實現(xiàn)了數(shù)據(jù)處理過程的全周期管理。同時，專業(yè)人員可以持續(xù)對算法庫中的算法組件進行優(yōu)化、更新和升級擴展，滿足數(shù)據(jù)計算應用需求。

4 結(jié) 語

基于托管可擴展框架的武器試驗數(shù)據(jù)計算平臺實現(xiàn)了對所需數(shù)據(jù)算法的組件化重構(gòu)、計算流程可視化編排和自動化執(zhí)行，數(shù)據(jù)處理過程完整可追溯，達到了對試驗數(shù)據(jù)高性能計算和集中管控目的。目前該平臺已經(jīng)應用于空軍某靶場航空武器試驗試飛的事后數(shù)據(jù)處理，實現(xiàn)了內(nèi)外測、紅外、姿態(tài)、RCS等多個專業(yè)三百多個算法組件集成和計算服務(wù)部署，滿足多用戶并行開展數(shù)據(jù)計算任務(wù)，在規(guī)范數(shù)據(jù)處理過程、提高數(shù)據(jù)處理效率、縮短武器試驗周期方面發(fā)揮了積極作用。隨著機器學習、人工智能等新技術(shù)的快速發(fā)展，武器試驗數(shù)據(jù)計算平臺在支撐機器學習迭代化流程計算、適配AI計算的后臺計算服務(wù)設(shè)計以及平臺的智能化計算任務(wù)調(diào)度等方面還需開展進一步的研究，以提升武器試驗數(shù)據(jù)計算平臺的普適性和智能化。