基于層次化體系的武器系統大數據管理研究*

高健，楊富學，汪保龍

(北京電子工程總體研究所，北京 100854)

0 引言

武器系統是指在軍事作戰中由火力殺傷裝備和輔助應用裝備構成的綜合系統，用于打擊來自地面、空中、水下等區域的目標[1]。在防空領域，武器系統包括探測裝備、指揮裝備、火力裝備、通信裝備、保障裝備等。武器系統在作戰過程中往往需要完成一系列過程，包括目標搜索、目標跟蹤、目標識別、威脅評估、火力分配、火力打擊、效果評估等，復雜的過程鏈條能夠產生大量的數據，服務于武器系統作戰能力。

武器系統數據特點是多源、海量、異構。首先，武器系統首先需要裝訂大量的數據，這些數據一是需要帶動內部及上下級各類裝備，二是作為參數帶動作戰過程中模型運轉[3]；其次，武器系統在作戰過程中產生大量實時數據，如雷達扇區、目標信息、作戰指令等，支撐系統的高效運轉；再者，大量的通信數據、作戰數據需要被記錄下來，以分析武器系統內各裝備的運行狀態[2]。特別是在現代體系化、網絡化作戰中，數據呈現出指數級增長的趨勢。

傳統的武器系統在數據管理方面相對較弱，設計師缺少數據分類管理的理念，缺少可視化、集中化、服務化的數據管理思想。如對于需要事先裝訂的作戰參數數據，多使用配置文件的形式，越復雜的武器系統，配置文件數量就越龐大，準備工作也越復雜。對于實時動態類數據，則是放在內存中存儲，流轉于內部軟件之間，與軟件擁有相同的生命周期。對于事后分析類數據，往往是使用工具現用現解析，這種即用即解的模式無法做到數據的持續積累以及深層次的大數據服務。

因此，面對日益增加的武器系統數據，需要有體系化、分層次的數據管理思想，對武器系統內各類數據進行數據差異化分類，并配以不同的數據管理方法和技術。這樣做的好處有：一是可以為武器系統構建統一的數據服務中心，并形成全時域的數據管理服務，通過數據驅動實現武器系統各裝備的高速運轉；二是可以簡化武器系統的數據配置復雜度，降低武器系統的準備時間，提升武器系統戰前快速響應能力;三是可以形成數據積累，并以此實現武器系統的大數據管理與分析，精準定位武器系統內部存在的問題，進一步優化提升武器系統的作戰效能[4]。

1 管理方法體系

1.1 武器系統數據分類研究

武器系統可以按照不同的維度進行數據分類，典型內容如表1所示。

表1 武器系統數據分類表Table 1 Table of weapon system data clarification

1.2 冷溫熱數據分層管理思想

冷、溫、熱3層體系的數據管理思想是根據武器系統內數據的分類及特點、使用頻率和更新頻率，將數據管理分成冷數據、溫數據、熱數據3種形態。熱數據是指武器系統內數據使用頻率較高的數據，要求數據讀寫具有較高的實時性，數據保鮮要求較高；冷數據是指使用頻率較低的數據[5]，數據不需要具有較高的實時性，但數據積累會導致數據體量的龐大；溫數據處于兩者之間，既不像熱數據一樣具有較高的訪問實時性需求，也沒有冷數據龐大的體量。因此，由于3類數據特點不同，需要采用不同的技術進行元數據構建、主數據的維護管理[6]。

數據分層管理思想首先需要約束數據分類條件，這里采用數據使用周期和數據更新周期2個指標進行數據分層，指標區間劃分如下表2所示。

表2 數據層次區間劃分指標Table 2 Indicators for data section stratified

(1) 數據使用周期

武器系統內各類數據擁有不同的使用頻率，因此數據使用周期成為區分冷、溫、熱數據的關鍵指標。

對于使用周期小于1 s的數據可以定義為熱數據，以目標數據為例，當雷達搜索到某目標后，目標的數據從雷達送到指控系統、再到下級指控系統，可能還需要送到友鄰部隊，目標數據在各裝備內流轉時要經過單一航跡計算、綜合航跡計算、目標關聯、目標融合、目標識別、目標下發等一系列復雜的過程，而這一系列過程需要在短短幾s之內完成，因此數據具有很高的使用頻率，使用頻率基本在ms級或μs級。

對于使用周期在1 s～10 min的數據可以定義為溫數據，以武器系統內各作戰單元的數據為例，作戰的過程中不需要對其進行頻繁的使用，但是當動態接入外部作戰力量時需要及時將部隊和裝備信息進行接入。

超過10 min使用周期的數據可稱為冷數據，冷數據往往是歷史數據，或者是半結構化和非結構化的語音、視頻等數據，這些數據有可能超過一個月才使用一次，多用于事后分析。

(2) 數據更新周期

數據的更新周期是另外一項指標，數據更新的頻率是數據分層參考的關鍵因素。

數據更新小于10 s的數據可以定義為熱數據，這與數據使用周期指標類似，具有較高更新頻率的數據意味著其在武器系統內需要被不斷的使用，以裝備狀態類為例，各類裝備狀態需要不斷地上報更新，以支持高一層級的指揮系統做出正確的作戰指令。

更新周期在10 s～1 h之間的數據可以定義為溫數據，這類數據一般來說沒有實時更新需求，但是在一次作戰任務中仍然可能需要去調整更新，如果當識別地方進攻戰術意圖后，需要調整各級作戰單位的陣地部署位置、雷達責任扇區方向等，這些數據需要在武器系統內動態更新。

更新周期超過1 h的數據可以定義為冷數據，冷數據一旦持久化后多用于加工和分析，一般不會再被頻繁更新。

(3) 數據讀寫速率要求

數據讀寫速率要求往往是伴隨前2類指標的，同時是區分數據層次的重要因素，對于熱數據來說，數據的讀寫速率要求在ms級，高速率的讀寫能力才能支撐武器系統運轉的高實時性。對于溫數據來說，讀寫速率要求s級，不能有明顯的數據讀寫延遲。對于冷數據，10 s以上的讀寫速率也能滿足需求。

依照以上3個指標，基本可以將武器系統內各類數據進行層次化分類，如表3所示。

表3 各類數據層次化分類Table 3 Hierarchical classification of various types of data

1.3 數據體系動態運轉

冷、溫、熱的數據體系思想將數據進行了層次化分類，但是各類數據之間并不是割裂的、也不是一成不變的，3類數據組成了動態的有機整體，互相支撐、互相轉化，整個體系是隨著武器系統運轉而動態運轉的。數據體系的運轉關系如圖1所示。

圖1 數據動態運轉體系Fig.1 Data dynamic operation system

熱數據和溫數據之間存在著相互作用關系，溫數據為熱數據提供數據的初始化數值支撐，熱數據則為溫數據提供最新的數據更新。熱數據與冷數據存在著互相轉化關系，熱數據可以冷卻成冷數據，即熱數據在不斷的更新過程中將歷史數據進行數據歸檔，形成歷史的冷數據，同時冷數據可以反饋優化熱數據的結構設計。溫數據和冷數據之間存在著相互轉化關系，在武器系統持續的使用過程中，溫數據可以歸檔到冷數據范疇，同時冷數據的加工分析可以優化溫數據的結構設計。

數據體系的動態運轉能力強化了武器系統的數據生產力和生命力，三類數據為武器系統提供著不同的作用域。熱數據內各類數據的使用可以加速武器系統的體系運轉能力，熱數據的設計和使用性能決定著武器系統的各項能力和性能，如對空中目標數據的讀取和解析速率影響武器系統對空中目標的探測和打擊能力；溫數據內數據結構設計可以優化武器系統的設計，這里主要指武器系統內軟件的設計，通過軟件的優化設計優化武器系統能力。冷數據的分析和挖掘可以改進系統能力，如提升武器系統的單裝作戰邊界、評估武器系統的作戰戰術戰法缺陷等。

2 層次化體系數據管理設計思想

2.1 熱數據管理

基于現代部隊的作戰需求，武器系統往往具備較高的時效性要求，熱數據作為武器系統內高速流轉的數據，具有處理頻率高、更新頻率高、使用頻率高、數據量小等特點。一般來說，武器系統不會對熱數據做大量的存儲，而是對其及時處理，數據使用完迅速歸檔或釋放，或立刻被下一幀的數據替換掉。熱數據在使用處理后會分發給內部各系統和外部系統，如目標信息類、指令類、狀態類數據都具備這樣的特點。

傳統的武器系統沒有對各類數據進行分層歸類和管理，因此對熱數據沒有一套系統的管理機制，傳統武器系統中熱數據管理一般是在軟件中定義數據結構體，并在內存中進行數據的動態維護和使用。這種方式有2個缺點：一是數據無法可視化，傳統軟件的熱數據維護在本機內存中，只能在研發調試時查看數據的狀態，或者通過日志的方式對數據進行實時記錄，但是這種方式影響軟件運行性能;二是數據的安全性不高，數據依賴軟件載體的生命周期，一旦軟件崩潰，數據隨著內存的釋放而釋放。

因此在本文研究的熱數據管理設計方案中，通過分布式內存數據庫的方式可以實現以上幾個要求，使用內存數據庫Redis實現武器系統的熱數據管理。Redis是一個高性能的Nosql數據庫，數據存儲方式是Key-Value，并支持多種類型的value數據存儲[7]。Redis支持分布式、主從等多種部署配置，并依賴于集群的內存容量可以實現海量數據的橫向擴展，數據存儲在內存中，可以支持高速的數據讀寫能力[8]。

由于Redis的數據存儲格式是Key-Value，因此需要對武器系統數據進行哈希結構設計。武器系統在作戰準備之前需要進行系統校時，國內現在多使用北斗衛星實現時統，武器系統內熱數據的產生和傳輸都需要打一個或多個時間戳(天文時間、作戰時間等)，因此熱數據往往都是時序性數據。對于熱數據的設計，Key值設計為數據類型+時間戳+其他關鍵元素，Value設計成為Json格式的數據結構體，可以實現熱數據的內存數據庫存儲。也可以將數據設計成雙層嵌套鍵值對，即將數據類型設計成Key值，將Value設計成鍵值對，將時間戳和其他關鍵元素放在里面，這2種結構設計適用于絕大多數的武器系統熱數據。以目標航跡數據為例，其數據結構設計如表4所示。

表4 熱數據存儲結構設計Table 4 Storage structure design of hot data

而關于使用哪種內存數據庫部署方式，則需要針對不同層級的武器系統進行不同的設計。對于武器系統戰術級以下的數據管理，軟件的運行多搭載于機動裝備上，單裝機動裝備上的席位不多，同時數據量也沒有那么大，可以考慮使用主從方式實現數據庫部署。而對于高級指揮系統的數據管理，多部署在指揮所或條件較好的機動裝備上，該種情況下裝備席位較多、熱數據管理量較大，可以考慮使用分布式集群部署方式擴大存儲容量，如圖2所示。

圖2 Redis部署方式圖Fig.2 Redis deployment diagram

2.2 溫數據管理

一般來說，武器系統的溫數據多用于戰前準備，溫數據一旦裝訂完畢后，基本是處在穩態，只有少量會在戰中進行更新。傳統的溫數據管理一般使用配置文件，這種管理方式的缺點在于配置極其繁瑣，準備時間較長，特別是還需要對不同席位不同軟件分別維護修改，這對操作員的要求較高，不利于武器系統的快速學習熟練掌握。

這里設計使用關系型數據庫對溫數據進行存儲管理，適用于實時操作系統和非實時操作系統。關系型數據庫設計包括元數據設計、編碼設計、主數據設計等方面。系統參數類數據是需要動態維護的，內部具有較高關聯性，需要通過武器裝備等主表進行串聯；通信參數類數據一般依賴于武器系統內部硬件裝備和軟件，因此需要內部各分系統進行串聯管理；模型參數類數據主要依賴于武器系統內部功能和能力，依賴于武器系統模型設計，一般裝訂后不會修改；基礎參數類主要是各類基礎數據字典，裝訂成為字典表后也不會頻繁修改。

以某型武器裝備為例，其溫數據的管理包括若干數據表，如表5所示，敵方武器履歷參數數據如圖3 所示。

圖3 溫數據的自輪詢監控機制Fig.3 Self-polling monitoring mechanism for warm data

表5 某型武器裝備溫數據Table 5 Warm data storage of a certain type of weapon

在作戰過程中，溫數據也需要根據作戰任務進行動態維護更改。如根據作戰需要，需要組織下級若干部隊進行組網作戰，在作戰過程中需要動態對不同作戰單位進行編組接入，作戰單位的接入需要具有實時性，且在不改變武器系統軟件狀態的前提下實時推送通知給所有分系統和外部系統，因此需要一種機制對溫數據進行變化的實時推送通知。這里設計了一種自輪詢的機制實現對溫數據的實時推送，如圖4所示。

設計一個數據監聽表，表中存儲所有溫數據表的名稱和上次更新的時間戳。對溫數據中所有表設置觸發器，對表數據操作進行實時監聽，當數據管理軟件對溫數據進行增、改、刪的操作后，觸發器觸發監聽操作，修改數據監聽表中的時間戳。當某一表的時戳出現數值變化時，數據代理軟件查詢相關數據表數據，并通過消息中間件服務發布出去。

2.3 冷數據管理

對于功能越復雜的武器系統，內部交互的協議越多，各分系統之間定義的協議類型往往達到上百個甚至更多，某些數據產生的頻率很高，往往可以達到ms級，因此會產生龐大的數據量。由于對數據價值的認識度不夠，傳統的大多數武器系統并不注重對此類數據的收集和分析。

當前，有一部分武器系統開始注重對冷數據的分析，絕大多數采用的方式是文件系統管理，即當需要采集哪類數據時，對固定的數據協議進行攔截，以表格文件的形式保存在本地，進而查閱數據。這種方式的缺點有三：一是數據沒有唯一管理節點和出口，數據管理非常離散，數據容易丟失；二是各類協議數據獨立存在，難以進行跨協議的數據分析，不適合進行大規模的跨域大數據分析；三是各類武器系統設計師只能各自為戰，無法進行協同的在線數據分析。種種缺點制約了武器系統對于數據價值的使用，亟需新的解決方案對冷數據進行高效管理。

針對于冷數據的管理，需要考慮2個方面:一是要考慮冷數據本身數據量大、實時性低的特點;二是要考慮冷數據與熱數據之間數據轉換的需求。因此考慮使用列式數據的存儲方式對冷數據進行管理，關系型數據庫由于單表容量限制，對于大規模數據的管理需要進行分表操作，管理不便。在冷數據存儲的設計上，根據數據協議類型進行分表，每一張表存儲一種協議數據，并設計冷數據映射表實現數據調用的映射。行表和列表的設計如表6和表7所示。

表6 冷數據表的映射表Table 6 Mapping table of cold data table

表7 冷數據列式存儲表Table 7 Cold data line type storage

本文設計使用HBase分布式列式數據庫解決海量冷數據的存儲管理問題，HBase是使用Key-Value模式的分布式數據庫[9-10]，可以使負載均衡的分布在若干個節點上，數據的存儲和查詢效率很高，海量實時數據和非實時數據可以持續性進行注入，數據可以保存每一個區間節點上。HBase存儲數據原理如圖4所示。

圖4 基于HBase列數據庫的數據存儲設計Fig.4 Data storage design based on HBase

在列式數據庫的設計中，采用協議分區的機制實現對不同數據協議的分區管理，如圖5所示，當前HBase中存儲了200多種協議數據，每種數據獨自使用一個分區，通過開始鍵值和結束鍵值實現協議的分區管理。

圖5 HBase列數據庫存儲歷史內部協議數據Fig.5 Historical inner protocol data storage in HBase

3 應用系統設計

3.1 系統總體設計

圖6展示了武器系統數據管理平臺的總體設計，實現對于冷、溫、熱數據的管理，數據管理平臺實現對3類數據庫的接入、3類數據的管理功能。

圖6 數據管理平臺總體設計Fig.6 Overall design of data management platform

武器系統數據管理平臺整體設計主要分為3個部分：數據管理平臺、數據庫、數據代理。武器系統數據管理平臺主要功能包括戰場態勢感知、基礎數據維護、模型參數管理、系統缺陷分析、作戰效能分析等上百項功能，其中不同的功能細分需要不同類型的數據做支撐[11]。如戰場態勢感知主要使用目標航跡、戰場天氣環境等熱數據；基礎數據維護、模型參數管理等功能主要使用溫數據實現數據的動態維護；系統缺陷分析、作戰效能分析主要使用冷數據進行大規模的數據訓練、挖掘和指標檢驗。熱數據通過內存數據庫設計成主從模式，數據可以實現熱備份及快速的磁盤恢復，針對機動作戰席位設計成單節點模式，針對固定席位設計成分布式模式；溫數據通過關系型數據庫進行構建，通過建立數據索引實現數據庫快速查找。針對固定席位和機動席位皆可設計成主備模式實現數據的高可靠性；冷數據通過多個節點構建分布式列式數據庫，也可以設計成行列混合存儲[12]，實現PB量級以上的可擴展能力[13]，針對機動席位可以考慮設計成單點模式，并定時將數據遷移到指揮所數據服務中心。

3.2 軟件平臺設計

軟件平臺設計采用單頁面開發技術，總體包括數據存儲層、后端服務層、數據傳輸層、數據展示層、可視化層。軟件平臺的架構圖如圖7所示。

圖7 軟件平臺架構設計Fig.7 Design of software platform structure

后端應用服務通過SpringBoot框架進行實現，并通過Jedis,SpringBoot JPA,HBase Java Api分別實現與熱、溫、冷數據庫的交互。后端服務由上至下分為3層：控制層、服務層和持久化層。其中，控制層負責接收前端發送的指令并回復相應的內容，服務層負責處理內部邏輯，持久化層負責對接數據庫的數據交互。

前端展示層主要使用VUE架構進行實現，采用Element UI實現主要的樣式設計，并基于Nodejs實現前端服務功能。前端和后端的通信方式主要包括兩種：Restful和Websocket。其中前端的所有對于溫數據和冷數據的指令通過Rest協議實現下達，并接收回復。后端熱數據通過WebSocket實現實時向各客戶端節點進行推送。

4 應用舉例

4.1 基于層次化大數據管理體系的戰備值班軟件的設計實現

圖8展示了基于層次化大數據管理體系的戰備值班軟件的設計，下圖為基于B/S架構的空情識別能力，目標(我方、敵方、友鄰等)實時空情信息通過雷情網發到指控軟件系統中，目標經過降頻處理存儲在Redis內存數據庫中，并每隔3 s實時將內存數據庫中的數據推送給前端顯示，同時設定30 s的判丟周期，判丟后清除內存數據庫數據，航跡消失。敵方目標飛入我方一等線內實現報警功能，可從數據庫中動態顯示目標的相關信息。

圖8 基于層次化大數據管理體系的戰備值班軟件設計Fig.8 Combat readiness software design based on hierarchical data management system

4.2 基于層次化大數據管理體系的數據管理軟件的設計實現

圖9展示了基于層次化大數據管理體系的戰術級指控系統數據管理軟件的界面設計，目前數據管理軟件設計了70余項功能，管理上萬條地面武器和作戰相關數據。圖9截取了敵方武器履歷參數管理界面。

圖9 數據管理平臺敵方武器履歷界面Fig.9 Interface of enemy weapon resume in the data management platform

4.3 基于層次化大數據體系的武器系統戰果統計的設計實現

圖10展示了基于層次化大數據管理體系的武器系統戰果統計的界面設計，大數據平臺實時接收、解析、存儲指控系統內部協議，將戰中作戰數據實時記錄存儲在HBase分布式列式數據庫中，戰后將作戰過程中的數據解析分析，生成作戰戰果統計，包括武器系統跟蹤目標數、攔截目標數、殺傷目標數、綜合殺傷概率，也可以通過AR圖查看作戰過程中各火力單元的殺傷目標情況等。

圖10 戰果統計分析Fig.10 Statistical analysis of combat results

5 結束語

本文提出的基于冷、溫、熱3層體系的武器系統數據管理方法，是根據數據的使用周期、更新周期、讀寫速率要求等指標，將武器系統內的數據分成了冷數據、溫數據、熱數據3個層次，形成立體的數據存儲和管理體系。對于熱數據，使用分布式內存數據庫進行存儲管理，對于溫數據，使用關系型數據庫進行存儲管理，對于冷數據，使用分布式列數據庫進行存儲管理，3種數據存在著動態轉化關系，形成統一整體的數據服務，并基于此，設計研制了一套數據管理系統。

所提方法和所研系統與傳統方法相比取得了顯著的效果。與傳統的方式相比，該方法在數據的管理類型、數據服務能力、數據分析能力、數據安全性、以及其他武器系統性能方面得到了顯著的提升，該數據管理方法和數據管理系統可推廣至其他領域使用。