大數據在海戰場指揮信息系統中的應用研究?

羅 榮 肖玉杰 王 亮 盛 亮

（1.海軍研究院 北京 102442）（2.海軍航空大學 煙臺 264001）

1 引言

隨著互聯網、物聯網、無線傳感網絡等信息技術快速興起與普及，當前社會數據的增長速度比以往任何時期都要迅猛。不僅數據規模呈井噴式增長，而且數據種類日漸豐富，數據結構愈加復雜，在浩瀚的大數據洪流中淘出“真金白銀”，已成為世界各國的共識［1］。2012年美國政府將大數據上升到國家層面，投資2億美元啟動“大數據研究和發展計劃”，涉及國家科學基金、國防部高級研究計劃局、地質勘探局、國防部、能源部、國家衛生研究院等6個聯邦政府部門，投資超過兩億美元，大力推動和改善與大數據相關的信息采集、存儲和分析處理工具及技術，以推進從大量的、原始的、復雜的數據集合中獲取知識的能力［2］。2015年我國印發了《促進大數據發展行動綱要》，明確表示數據是國家的基礎性戰略資源，并引導和鼓勵各個領域在大數據分析方法及關鍵應用技術等方面開展探索研究。近年來，大數據技術在民用領域獲得飛速發展，相關技術體系趨于成熟，在交通、能源、環境、氣象、經濟等民用領域均獲得比較成功的應用，建立起了一系列民用大數據庫與處理分析平臺。

隨著大數據技術向國防領域的不斷滲透與轉化發展，大數據逐漸出現在各個軍事領域并迅速獲得應用，例如航天航空、情報偵察、目標識別、指揮控制等多個軍事領域的數據規模已呈現出“大數據”特征，軍事大數據時代已經到來［3］。海戰場指揮信息系統是指揮綜合運用以計算機為核心的技術裝備，實現對海戰場信息的獲取、傳輸、處理、顯示等，保障各級指揮機構對所屬部隊和武器實施科學高效指揮控制的各類信息系統的統稱，其依托信息傳輸平臺和指控系統，將天基、空基、陸基、海基傳感器組網融合，并與各武器平臺綜合集成，實現各平臺共享信息與協同作戰。海戰場指揮信息系統的核心功能是迅速準確識別與快速精確決策，其所需要的就是各種信息，實際上就是各類數據。隨著信息技術的發展以及大量傳感器的投入使用，海戰場態勢的偵察與探測能力提高的同時，指揮信息系統面臨著信息量急劇增加，信息種類迅速增多，實時處理要求迅速提高等挑戰，而大數據技術的發展正好使指揮信息系統適應了這些要求［4］。如何從海量復雜、原始冗余的數據中快速分析挖掘出有價值的情報信息，從而支持作戰指揮決策是信息化時代作戰制勝的關鍵［5］。只有依托大數據技術，從海量數據中提取出有價值的信息，從而準確及時地掌握敵方的戰略企圖、作戰規律和兵力配置，客觀預判對手的作戰構想和行為特點，準確地分析把握敵我力量對比關系和戰場態勢的發展變化，實現戰場態勢實時感知和指揮員同步認知，才能將戰場“數據優勢”轉換為“決策優勢”，達成運籌帷幄之中、決勝于千里之外的作戰目的。因此海戰場指揮信息系統必是大數據技術廣泛應用與創新發展的典型舞臺與前沿陣地。

2 大數據概念與技術體系

2.1 大數據概念與特征

大數據是指規模大、數據形式多樣性、非結構化特征明顯，導致數據存儲、處理和挖掘異常困難而無法采用常規數據庫軟件與平臺進行采集、存儲、管理和分析的數據集［2］。大數據的特征通常可以歸結于以下5個“V”，即：數據容量巨大（Volume）、數據類型多（Variety）、數據處理時效性（Velocity）、價值密度低（Value）以及結果準確性（Veracity）。

2.2 大數據技術體系

大數據技術指在大數據的采集、傳輸、處理和應用過程中，伴隨著數據處理過程，獲得分析和預測結果的一系列關鍵技術［6］。這些關鍵技術能實現“大數據”的高效存儲和高速傳輸，完成“大數據”的高效獲取和檢索，從而實現從數據到知識的目的，促進從數據到決策的轉變。完整的大數據分析處理流程基本可劃分為數據采集、數據處理與集成、數據挖掘分析和數據解釋等四個階段，因此本文將大數據技術體系分為數據采集技術、數據處理與集成技術、數據挖掘分析技術、數據解釋技術以及大其他相關技術等五個部分，大數據技術體系如圖1所示。

圖1 大數據技術體系

3 海戰場的大數據特征

傳統的海戰場除了傳統的海面戰場外，還包括其中的島嶼、毗鄰的陸地、海面上廣闊的空間和水面下方一定范圍的水體。在信息化時代，隨著作戰要素進入到電磁空間、心理空間及網絡空間，海戰場的范圍也從傳統的海陸空幾何空間擴展到太空、電磁空間、心理空間和網絡空間。由于單傳感器和單一類型傳感器存在不可避免的弱點，信息化海戰場中的預警探測已從傳統艦船平臺跨越到衛星、無人機、預警機、無人潛航器等新型平臺，傳感器也已從單一類型傳感器發展到多種類型傳感器，探測方式從就近探測為主發展到全域、遠距、主動偵察，已基本形成一個全方位、大縱深、立體化、可全天候全天時偵察監視的分布式海戰場預警探測體系。在信息化海戰場作戰過程中所需要和產生的數據之所以可以作為大數據來處理，是因為這些數據符合大數據的以下特征。

1）數據量大

信息化海戰場預警探測體系中監視衛星、預警雷達、無人偵察機、聲納、磁探儀、紅外熱像儀、電視攝像儀、敵我識別器、電子偵察與告警設備等各類戰場傳感器和監視設備的廣泛使用，以及電子偵察、航天偵察、航空偵察、諜報偵察，網絡偵察、光電偵察等各種技偵活動的深度開展，導致海量情報數據與實時探測信息的產生。信息化海戰場作戰數據來自戰場目標、戰術意圖、戰場環境、地理信息、水文氣象、網絡輿論信息、武器裝備、參戰部隊、后裝保障等各個方面，主要有以下5類數據［7］：（1）戰場情報偵察與監視數據；（2）編制裝備數據；（3）指揮業務數據；（4）作戰保障數據，包括電磁頻譜、氣象水文、導航定位、地理信息、社會環境等與作戰行動緊密相關的數據；（5）后勤裝備保障數據。信息化海戰場作戰數據的量級早己從TB發展至PB乃至EB級。

2）數據類型多樣化

信息化海戰場作戰數據的類型是廣泛多樣的，大體可分為結構化、半結構化與非結構化等三類數據，其中半結構化與非結構化數據要占70%以上［8］。結構化數據是采用嚴格的二維表結構邏輯表達的數據（如作戰計劃、目標參數、裝備性能等等），其價值密度高，具有歷史和靜態特征；非結構化數據是沒有嚴格結構的數據，無法通過預先定義的數據模型表述或無法存入關系型數據庫表中的數據，如航天偵察和技術偵察等方式獲取各種文檔、圖像、報表、光譜、音頻和視頻信息等，通常具有容量大、價值密度低、時效性高和結構復雜等特點，其中蘊含了當前瞬息萬變的戰場態勢和稍縱即逝的戰爭時機；半結構化數據介于結構化與非結構化數據之間，具有結構化數據的特征，但結構變化很大，如網頁數據。半結構化數據既不能按照非結構化數據處理，也不能用結構化數據的處理方式，常常需要采取一些變通的方法。

3）數據處理快速化

在信息化海戰場中，隨著超音速甚至高超音速的武器與飛行平臺大量應用，導致海戰場態勢錯綜復雜、瞬息萬變，戰機稍縱即逝。只有對各種傳感器實時地傳來的大量快速更新的情報數據流進行實時分析和處理（秒級甚至毫秒級），才能實現對海戰場綜合態勢的實時感知與同步認知，從而壓縮“包以德循環”（OODA Loop），即觀察-調整-決策-行動的指揮周期，縮短“知謀定行”時間，提高快速反應能力。

4）數據價值高和價值密度低

隨著情報數據的增加，高價值的情報信息在所有數據的比例越來越小，導致價值密度越來越低，經過大數據挖掘分析從價值分布稀疏的數據中挖掘得到高價值情報信息。

5）處理結果準確性要求高

隨著現代高新軍事技術的深入發展，使得海戰場中各類武器信息化與智能化程度得到很大提高，其不僅速度快、威力大、能夠超視距發射，而且體積小、隱身性強，越來越難以及時探測和識別，這對海戰場指揮信息系統目標識別的準確性以及指揮決策的準確性構成巨大挑戰，客觀要求大數據處理結果具有很高準確性［9～10］。

4 海戰場指揮信息系統大數據應用關鍵技術

隨著信息技術的發展，海上作戰需求的海量數據的存儲、高效計算、情報分析挖掘、可視化展示以及數據安全防護等問題給海戰場指揮信息系統帶來了新的挑戰，體現出大數據處理能力的新需求。因此，筆者在本節梳理總結海戰場指揮信息系統大數據應用需重點發展的關鍵技術，具體如下所示。

1）海量異構數據存儲與管理技術

目前，海戰場指揮信息系統數據來源有情報數據、預警數據、平臺數據、武器數據、后勤數據等多種數據來源。一方面，非結構化異構數據大幅增長，傳統的關系型數據庫無法實現高效的存儲管理，帶來了對海量非結構化數據的存儲需求；另一方面，戰場數據量呈現爆炸性增長，傳統的物理存儲方式擴展性差，難以有效應對大容量數據的存儲管理，帶來了存儲的彈性擴容需求。因此，急需發展面向軍事大數據的海量異構數據分布式存儲技術，以解決復雜結構化、半結構化和非結構化的數據管理與處理問題。

海量異構數據存儲與管理技術是大數據分析的基礎，支持結構化和非結構化大數據的統一存儲管理，支持彈性擴容、大容量、高并發和高速一體化的數據訪問。海量異構數據存儲與管理技術包含的核心技術有分布式文件系統與數據庫技術、能效優化與高效低成本的存儲技術、大數據降噪去冗余技術、分布式非關系型大數據管理與處理技術、多源異構數據的數據融合技術、海量異構數據組織技術、大數據高效索引與并行查詢技術、大數據移動備份復制技術等。

2）大數據并行計算處理技術

在計算模式方面，目前海戰場指揮信息系統采用傳統的集中式數據計算模式，該模式以數據遷移為代價，無法支撐大數據的高效計算。為實現高效計算處理，需要通過分布式的大數據并行計算處理技術，以計算遷移實現高效處理，并根據典型的計算應用對計算模式進行改進和優化，增強適用性。大數據并行計算處理技術能實現多臺計算機進行并行計算的同時具有對計算任務進行自動分解、并發執行的功能，支持批處理、內存計算、流計算和圖計算等多種計算模式，并能實現多種計算模式的資源分配和統一調度，為大數據的分析處理提供高效和可定制的計算框架。大數據并行計算處理技術包括計算任務的智能解析技術、計算的智能管理調度技術、分布式計算高效執行技術和集群計算全過程狀態監控技術等。

3）大數據挖掘分析技術

數據挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數據中，提取隱含的人們事先不知道的但又是潛在有用的信息和知識的過程。由于實際的目標行為一般十分復雜，很難檢測和依靠建模分析，而激增的情報數據背后隱藏著許多重要的知識和信息。通過對海量歷史情報數據的挖掘分析處理，可以快速智能地檢索目標相關信息，挖掘目標的特征、規律和行為意圖等隱含信息，從而提升系統的情報智能分析能力。通過戰場大數據的分析挖掘，提取其中蘊含的知識和價值，從而提高作戰指揮和輔助決策的時效性，提升智能決策能力。

大數據的分析挖掘技術針對海量歷史數據的目標靜態特征和行為特征，構建各軍兵種戰場目標特征知識庫，以知識庫為基礎，結合戰場實時信息的快速檢索和處理，動態識別目標身份及行為，實現對其作戰能力及意圖的認知，形成對作戰決策的有力支持。大數據挖掘分析技術非常豐富，除了傳統的分類、聚類、關聯、k近鄰方法、決策樹以及各種統計推斷方法（包括回歸分析、判別分析、主成分分析等）外，還包括神經網絡、粗糙集理論、貝葉斯網絡、遺傳算法、深度學習、增強學習、遷移學習、集成學習、知識圖譜、知識推理等智能挖掘分析技術。

4）大數據可視化技術

海戰場指揮信息系統前端需可視化展現多維、復雜和異構的大規模數據，以支持人機交互分析，幫助用戶直觀地掌握戰場態勢并快速做出決策。面對信息化海戰場指揮和輔助決策需求，應形成網絡關系的可視化、數據分析過程的交互可視化以及多維、異構和海量數據的綜合可視化等能力。

大數據可視化技術是指運用計算機圖形學和圖像處理技術，將數據轉換為圖形或圖像在屏幕上顯示出來，并進行交互處理的理論、方法和技術。大數據可視化技術可以實現對海戰場大數據的立體呈現，直觀地呈現海戰場大數據特點，形象地展示數據分析結果，使結果非常容易地被指揮員所接受，提升指揮員的態勢認知，提高決策質量。大數據可視化技術可解決長期以來數據只能批處理而不能交互處理的現象。通過指揮人員之間以及指揮人員與數據之間的可視化交互，實時發現非結構化、非幾何的抽象數據背后的本質問題，可為基于數據的精確作戰指揮決策提供直觀、形象、豐富的信息和隱含知識。大數據可視化技術主要有并行式繪制技術、復雜數據對象可視化技術、復雜關聯關系可視化技術、人機交互可視化技術和多維空間表現可視化技術等。

5）大數據安全防護技術

由于大數據的重要性，針對大數據“云”的攻擊會時常發生，為確保大數據的安全，需要大數據安全技術進行預防、檢測、診斷并對攻擊作出反應。大數據安全防護技術包括云端的數據安全技術和網絡設施的安全技術，具體來說有身份認證、訪問控制、異常檢測、補丁管理、數據備份以及系統恢復等。

5 海戰場指揮信息系統大數據分析框架

5.1 大數據基本框架

大數據框架是大數據的“操作系統”，其將數據的傳輸、存儲、整合和分析等各環節連接成為一個整體，完成對數據及各類資源的管理控制，并提供應用開發接口。典型的大數據框架包括MapRe?duce，內存集群計算和流式計算等三類基本框架。

MapReduce框架是一個軟件架構，適用于大規模數據集的并行運算，其將海量數據處理工作分解為可以并行的小任務，然后將分解后的小任務派送給分布式系統中的主機完成處理，并在不同工作節點之間進行協調和同步，而且在出現軟硬件故障時仍然能保證處理順利進行和性能的優化［11］。Ma?pReduce框架采用分布式文件系統存儲輸入、輸出與中間數據，進行主機間的數據同步。MapReduce框架具有高吞吐、高可用性、通用性、可擴展性好等諸多優點，然后對于機器學習等需要多次迭代的計算任務，分布式文件系統的效率受限于硬盤I/O的速率，因此時延太大，這是MapReduce框架的主要缺陷。相比之下，內存集群計算框架采用分布式內存來存儲輸入、輸出與中間數據，進行主機間的數據同步，機器學習處理速度與MapReduce框架相比，提高了一個數量級。

對于網絡監控、網絡測量、呼叫記錄、網頁訪問、生產制造和傳感檢測等應用，其數據以大量、快速和時變的數據流形式持續到達，因此不宜用持久穩定的關系型模型建模，而適宜用瞬態數據流（即流式數據）建模。流式計算框架對流式數據進行實時和持續的計算或處理，需處理的輸入數據并不存儲于可隨機訪問的磁盤或內存，而是以一個或多個連續數據流的形式到達，經過處理后，丟棄或存儲歸檔，數據流可級聯處理。典型的流式計算框架有Storm、S4、Cloudera Impala、Hstreaming等，單項數據的處理速度達到毫秒級。其中，Storm框架在容錯、可靠性、可擴展性和編程便利性等方面具有較多優點，尤其是其自身采用運行于Java虛擬機（JVM）之上的Clojure語言開發，能夠支持所有運行在JVM之上的編程語言，并能通過中間庫支持更多的編程語言。因此，Storm框架得到了較多應用。

5.2 基于Hadoop與Storm的海戰場指揮信息系統大數據分析框架

海戰場指揮信息系統中的大數據分析包含離線分析和在線分析。其中，離線分析需要對海量歷史情報數據進行及時、準確地處理，通過關聯分析、聚類、分類等多種數據挖掘手段，以獲取潛在的、有價值的情報知識。Hadoop云計算平臺是MapRe?duce框架的一個典型的應用，作為大數據領域的標準處理與分析平臺，由于其開源特征而獲得了廣泛應用［12］。Hadoop云計算平臺適合情報分析人員可以對海量原始歷史情報數據進行分析，并得到支持決策所需的情報知識。然而，在指揮信息系統中，各種偵察傳感器實時地傳來大量不斷更新的情報數據流，戰場態勢瞬息萬變，只有對這些情報數據進行實時在線分析（秒級甚至毫秒級），才能獲取實時的戰場態勢。雖然Hadoop云計算平臺有Ma?pReduce框架的諸多優點，然而也繼承了MapRe?duce框架的主要劣勢，存在延遲大，調度開銷大等問題，無法滿足作戰指揮的實時性要求，不適合對海戰場中的流式大數據進行在線分析。基于流式計算框架的Storm云計算平臺，一種開源的分布式實時流計算框架，支持全內存計算，且具有高容錯性、部署簡單等優點，能夠彌補Hadoop批處理不能滿足實時性要求的缺陷，適合對海戰場中的流式大數據進行在線分析。

基于以上分析，可以基于Hadoop分布式云存儲技術，結合MapReduce并行計算框架和Storm流計算框架，構建適用于海戰場指揮信息系統的大數據分析框架，如圖2所示。整個架構包括云存儲層、云計算層、數據挖掘分析層和應用層。支撐管理層為每一層提供相應的服務支撐，包括數據安全、流程管理、資源監控、資源調度、資源部署、資源規劃和虛擬化等功能，保證每一層都具有高可靠性和可伸縮性。

圖2 海戰場指揮信息系統大數據分析框架

各個層次的具體功能如下：

1）云存儲層由分布式文件系統（Hadoop Dis?tributed FileSystem，HDFS）、分布式數據庫（Ha?doop Database，Hbase）、分布式數據倉庫工具Hive構成，實現數據的分布式存取，其中HDFS是一種類似于GFS的分布式文件系統，可以為大規模的服務器集群提供高速度的文件讀寫訪問；HBase是一種與BigTable類似的分布式并行數據庫系統，可以提供海量數據的存儲和讀寫，而且兼容各種結構化或非結構化的數據；Hive是一種基于Hadoop的大數據分布式數據倉庫引擎，它使用SQL語言對海量數據信息進行統計分析、查詢等操作，并且將數據存儲在相應的分布式數據庫或分布式文件系統中；

2）云計算層由并行計算框架（Hadoop）和流計算框架（Storm）組成。其中Hadoop提供非實時并行計算能力，Storm提供實時流計算能力。這兩種優勢互補的框架結合使用，能取得取長補短的效果，使得海戰場指揮信息系統既能深入處理大量的遠期情報信息，又能快速處理實時預警探測信息流；

3）數據挖掘分析層包含并行機器學習算法、并行統計分類算法、并行數據挖掘算法、并行搜索算法、智能優化算法、預測決策算法、自動推理算法等各類并行或智能算法，從而能夠高效準確地處理各種結構化、半結構化和非結構化數據；

4）應用層面向海戰場指揮信息系統指揮人員提供數據融合、情報保障、目標識別、態勢感知、態勢預測、威脅估計、指揮決策、火力協同、毀傷評估等各種具體的作戰應用。

6 結語

隨著大量傳感器與偵察設備在信息化海戰場的使用，海戰場情報數據來源越來越多，海戰場空間產生的數據表現出體量大、種類多、結構復雜和增速快等典型的大數據特征，因此海戰場指揮信息系統面臨著信息量急劇增加、信息種類迅速增多、實時處理要求迅速提高等諸多新挑戰，而大數據技術的發展正好使海戰場指揮信息系統適應了這些新要求。所以，發展大數據技術不僅是信息化條件下指揮信息系統革新的內在需要，而且是應對信息化作戰指揮新挑戰的必然要求。大數據理念及技術可以作用于海戰場指揮信息系統預警探測、情報分析、態勢感知、威脅估計、指揮決策、效果評估等各個關鍵環節，進行海量數據存儲、高效計算處理、戰場態勢分析與預測、智能情報分析與指揮決策支持等，最終為指揮員及參謀人員提供實效性強、準確度高的輔助決策。將大數據技術應用于海戰場指揮信息系統，可提高我海軍信息化水平，推動指揮信息系統向知識化和智能化的方向發展，為保證我海軍在現代化戰爭中能打仗和打勝仗起到基礎支撐作用。