數(shù)據(jù)驅(qū)動(dòng)的指控系統(tǒng)增強(qiáng)現(xiàn)實(shí)電子沙盤設(shè)計(jì)與開(kāi)發(fā)

李 勇，張夢(mèng)駿，仇 棟，范云鋒，蘇智勇，邱令存

（1.南京理工大學(xué)自動(dòng)化學(xué)院，江蘇南京 210094；2.上海機(jī)電工程研究所，上海 201109）

0 引言

指揮控制系統(tǒng)（簡(jiǎn)稱指控系統(tǒng)）是指揮人員及其指揮機(jī)構(gòu)對(duì)相關(guān)作戰(zhàn)人員和主戰(zhàn)武器裝備實(shí)施指揮和控制的信息系統(tǒng)，具有輔助決策、戰(zhàn)斗模擬與評(píng)估、戰(zhàn)術(shù)計(jì)算等用途［1］。受物理顯示設(shè)備的限制，傳統(tǒng)的指控系統(tǒng)大多采用二維電子屏幕進(jìn)行信息展示，抽象的數(shù)據(jù)和單一的表達(dá)方式難以全方位地表現(xiàn)出戰(zhàn)場(chǎng)真實(shí)的態(tài)勢(shì)與要素。常規(guī)的實(shí)物或電子沙盤［2］一定程度上能展現(xiàn)出戰(zhàn)場(chǎng)的三維實(shí)態(tài)與軍事部署，但通常缺乏多人協(xié)同機(jī)制和快捷的人機(jī)交互機(jī)制，限制了指揮人員的協(xié)同作戰(zhàn)能力與指揮效率。同時(shí)，許多系統(tǒng)通常十分冗余和繁重，難以適時(shí)地實(shí)地展開(kāi)。更重要的是，多數(shù)沙盤系統(tǒng)往往不能實(shí)現(xiàn)真實(shí)數(shù)據(jù)下的作戰(zhàn)模擬［3］，缺乏實(shí)戰(zhàn)可靠性。因此，為指控系統(tǒng)開(kāi)發(fā)能真實(shí)展現(xiàn)戰(zhàn)場(chǎng)態(tài)勢(shì)、具有友好的協(xié)同交互能力、基于數(shù)據(jù)驅(qū)動(dòng)的輕量型電子沙盤成為了研究重點(diǎn)。

增強(qiáng)現(xiàn)實(shí)（augmented reality，AR）技術(shù)作為當(dāng)下備受追捧的新技術(shù)，通過(guò)運(yùn)動(dòng)相機(jī)或可穿戴顯示裝置的實(shí)時(shí)連續(xù)標(biāo)定，將三維虛擬場(chǎng)景一致地投射到用戶視野中，從而實(shí)現(xiàn)“實(shí)中有虛”的融合效果［4］。與單純的虛擬現(xiàn)實(shí)技術(shù)相比，AR 技術(shù)實(shí)現(xiàn)了對(duì)真實(shí)場(chǎng)景的擴(kuò)充與增強(qiáng)，不僅給人以更加逼真的三維顯示效果，更為虛實(shí)交互提供了技術(shù)支持，被廣泛應(yīng)用于軍事、教育［5］、醫(yī)療［6］、維修裝備等領(lǐng)域。其中，基于增強(qiáng)現(xiàn)實(shí)的電子沙盤技術(shù)的研究在國(guó)內(nèi)外已取得一定成果。Amburn 等［7］利用Kinect 深度相機(jī)發(fā)明了實(shí)用的增強(qiáng)現(xiàn)實(shí)電子沙盤，被用于美國(guó)陸軍軍事模擬對(duì)抗；Jung等［8］基于增強(qiáng)現(xiàn)實(shí)技術(shù)設(shè)計(jì)了軍事訓(xùn)練沙盤，采用虛擬戰(zhàn)術(shù)地圖實(shí)現(xiàn)標(biāo)記、歸檔等軍事行為；Yang 等［9］利用光電編碼器與機(jī)器視覺(jué)方法進(jìn)行三維注冊(cè)跟蹤，實(shí)現(xiàn)了不依賴于固定標(biāo)記的增強(qiáng)現(xiàn)實(shí)電子沙盤；Zhou等［10］基于實(shí)時(shí)視頻流，提出了將增強(qiáng)現(xiàn)實(shí)電子沙盤投影于物理沙盤上的沙盤系統(tǒng)。此外，隨著各類交互設(shè)備性能的不斷增強(qiáng)，自然交互技術(shù)得到了飛速發(fā)展，多尺度顯示屏提供了無(wú)處不在的交互界面，智能可穿戴設(shè)備大大提升了用戶的交互體驗(yàn)與交互效率，為電子沙盤的交互設(shè)計(jì)奠定了技術(shù)基礎(chǔ)。

本文針對(duì)指控系統(tǒng)三維可視化與交互等需求，基于增強(qiáng)現(xiàn)實(shí)技術(shù)與自然人機(jī)交互技術(shù)，設(shè)計(jì)并開(kāi)發(fā)了一種數(shù)據(jù)驅(qū)動(dòng)下的面向指控系統(tǒng)的新型電子沙盤。該沙盤系統(tǒng)主要由態(tài)勢(shì)生成與可視化模塊、標(biāo)繪功能模塊、多人協(xié)同模塊、多通道人機(jī)交互模塊組成，支持以真實(shí)戰(zhàn)斗數(shù)據(jù)與仿真數(shù)據(jù)驅(qū)動(dòng)軍事要素的部署與作戰(zhàn)過(guò)程的演練，極大地提高了指控人員的作戰(zhàn)指揮效率與系統(tǒng)的實(shí)戰(zhàn)可靠性。

1 系統(tǒng)框架設(shè)計(jì)

1.1 需求分析

在現(xiàn)代信息化聯(lián)合作戰(zhàn)條件下，高效智能的戰(zhàn)略戰(zhàn)役級(jí)指揮控制成為發(fā)展的重要方向，面向指控系統(tǒng)的新型電子沙盤應(yīng)該滿足以下需求。

1）多通道人機(jī)交互。目前我國(guó)已經(jīng)形成陸、海、空等多兵種聯(lián)合作戰(zhàn)的指控體系，指揮模式多元化，操作方式各異化，傳統(tǒng)的交互技術(shù)已經(jīng)大大限制了指揮員的指揮效率。因此，需要發(fā)展多通道的自然交互方式以提高系統(tǒng)的交互效率（比如手勢(shì)與語(yǔ)音），并能達(dá)到實(shí)時(shí)感知的效果。

2）數(shù)據(jù)驅(qū)動(dòng)下的戰(zhàn)斗仿真。一般而言，傳統(tǒng)的電子沙盤要求指揮員按照預(yù)定的作戰(zhàn)流程進(jìn)行戰(zhàn)斗演練，數(shù)據(jù)理想化、流程固定化。然而，面對(duì)復(fù)雜多變的真實(shí)場(chǎng)景，指揮人員常常需要因地制宜地進(jìn)行戰(zhàn)術(shù)模擬。因此，需要構(gòu)建基于多種數(shù)據(jù)驅(qū)動(dòng)的電子沙盤，更好地模擬真實(shí)場(chǎng)景下的作戰(zhàn)過(guò)程。

3）虛實(shí)融合顯示。為全方位地展現(xiàn)戰(zhàn)場(chǎng)態(tài)勢(shì)與要素，電子沙盤需具備大范圍虛擬場(chǎng)景的三維立體顯示效果。此外，單純的虛擬環(huán)境往往無(wú)法滿足真實(shí)戰(zhàn)場(chǎng)環(huán)境的營(yíng)造，缺乏相應(yīng)的場(chǎng)景感知。因此，新型電子沙盤需要具備虛實(shí)融合的顯示效果。

4）協(xié)同標(biāo)繪。常規(guī)的標(biāo)繪多在實(shí)物上進(jìn)行標(biāo)繪或者以二維軍標(biāo)為主，無(wú)法動(dòng)態(tài)地進(jìn)行更改與設(shè)置。因此，需要設(shè)計(jì)能夠?qū)崟r(shí)響應(yīng)操作人員指令的三維動(dòng)態(tài)軍標(biāo)，并實(shí)現(xiàn)對(duì)多指揮員、多感知設(shè)備聯(lián)合操作時(shí)的協(xié)同標(biāo)繪。

5）輕量化與便捷性。傳統(tǒng)的指控系統(tǒng)采用物理模型或二維屏幕顯示，場(chǎng)地固定且設(shè)備較多，無(wú)法滿足現(xiàn)代指揮所對(duì)于便捷性和輕量化的需求。因此，需要研究和設(shè)計(jì)能夠隨時(shí)隨地進(jìn)行態(tài)勢(shì)模擬的三維電子系統(tǒng)，具備攜帶方便、操作簡(jiǎn)單等特點(diǎn)。

1.2 系統(tǒng)架構(gòu)設(shè)計(jì)

針對(duì)系統(tǒng)需求，本文的增強(qiáng)現(xiàn)實(shí)電子沙盤系統(tǒng)共包含：態(tài)勢(shì)生成與可視化模塊、標(biāo)繪模塊、多人協(xié)同模塊、多通道人機(jī)交互模塊，系統(tǒng)架構(gòu)如圖1所示。其中，態(tài)勢(shì)分析與三維建模是進(jìn)行立體可視化模擬指揮的基礎(chǔ)，外部數(shù)據(jù)輸入驅(qū)動(dòng)系統(tǒng)仿真的進(jìn)行，人機(jī)交互與標(biāo)繪為多人協(xié)同提供了技術(shù)支持。

圖1 增強(qiáng)現(xiàn)實(shí)電子沙盤系統(tǒng)架構(gòu)圖Fig.1 Architecture of augmented reality electronic sand table system

2 功能模塊設(shè)計(jì)

2.1 態(tài)勢(shì)生成與可視化

戰(zhàn)場(chǎng)態(tài)勢(shì)指戰(zhàn)場(chǎng)上敵我兵力分布及戰(zhàn)爭(zhēng)環(huán)境的當(dāng)前狀況和變化發(fā)展趨勢(shì)，組成要素包括戰(zhàn)場(chǎng)環(huán)境、態(tài)勢(shì)目標(biāo)和態(tài)勢(shì)分析結(jié)果等信息［11］。

一方面，本文采用三維建模軟件進(jìn)行戰(zhàn)場(chǎng)軍事要素的構(gòu)建，主要包括：地形環(huán)境、武器裝備、軍事建筑、軍標(biāo)等。為實(shí)現(xiàn)真實(shí)數(shù)據(jù)驅(qū)動(dòng)下的地形效果，模型采用真實(shí)地形高度圖與衛(wèi)星影像數(shù)據(jù)作為數(shù)據(jù)來(lái)源，利用建模軟件合成等比例縮放地形，并利用繪圖軟件對(duì)紋理進(jìn)行調(diào)整。其他軍事要素模型以真實(shí)物理模型尺寸數(shù)據(jù)為參照，利用建模軟件制作而成。

另一方面，系統(tǒng)以紅藍(lán)標(biāo)志進(jìn)行敵我區(qū)分，同時(shí)基于外部真實(shí)數(shù)據(jù)或仿真數(shù)據(jù)輸入，對(duì)敵我雙方兵力、各武器裝備設(shè)施進(jìn)行部署，具體參數(shù)以立體用戶界面（user interface，UI）進(jìn)行顯示，指揮員可以以多種方式下達(dá)作戰(zhàn)命令，包括：部署、展開(kāi)、撤收、目標(biāo)分配、發(fā)射、禁射6個(gè)主要戰(zhàn)術(shù)命令。同時(shí)，在戰(zhàn)斗開(kāi)始后，系統(tǒng)利用通信接口從數(shù)據(jù)庫(kù)端實(shí)時(shí)接收包括位置、速度、姿態(tài)等信息的武器戰(zhàn)斗數(shù)據(jù)，并驅(qū)動(dòng)模型作出相應(yīng)操作，達(dá)到可靠的實(shí)戰(zhàn)模擬效果。此外，系統(tǒng)根據(jù)外部數(shù)據(jù)信息，以三維軍標(biāo)對(duì)相關(guān)命令生成標(biāo)繪動(dòng)作，形成海陸空多兵種、多戰(zhàn)術(shù)、多交互模式的真實(shí)戰(zhàn)爭(zhēng)態(tài)勢(shì)。數(shù)據(jù)驅(qū)動(dòng)下的三維態(tài)勢(shì)生成過(guò)程如圖2所示。

圖2 數(shù)據(jù)驅(qū)動(dòng)下的三維態(tài)勢(shì)生成示意圖Fig.2 Data-driven three-dimensional situation generation

2.2 標(biāo)繪功能模塊

軍隊(duì)標(biāo)繪是以軍隊(duì)標(biāo)號(hào)作為軍事情況表示的圖形語(yǔ)言，利用手動(dòng)或自動(dòng)的標(biāo)注手段將敵我企圖、決心部署等戰(zhàn)術(shù)情況，標(biāo)注在地形圖、航空照片或電子沙盤等各類傳播載體上的過(guò)程［12］。為了實(shí)現(xiàn)真實(shí)戰(zhàn)場(chǎng)環(huán)境下三維軍標(biāo)實(shí)時(shí)繪制和顯示功能，本文設(shè)計(jì)了標(biāo)繪功能模塊。該模塊通過(guò)基本軍標(biāo)圖元的調(diào)用，組合成任意非規(guī)則軍標(biāo)圖形的三維軍標(biāo)，并在地圖相應(yīng)位置進(jìn)行顯示，模塊工作流程如圖3所示。

圖3 標(biāo)繪功能模塊示意圖Fig.3 Plotting function module

顯示控制模塊響應(yīng)用戶輸入，控制軍標(biāo)的顯示與否。信息處理單元首先通過(guò)空間感知系統(tǒng)獲取指揮員標(biāo)繪目標(biāo)位置，然后從軍標(biāo)要素?cái)?shù)據(jù)庫(kù)中選擇相應(yīng)的軍標(biāo)符號(hào)進(jìn)行渲染，為控制模塊提供數(shù)據(jù)與位置支持。

2.3 多人協(xié)同模塊

協(xié)同指多人能夠同時(shí)對(duì)三維場(chǎng)景進(jìn)行觀察和交互，多人協(xié)同模塊保障了多人標(biāo)繪與研討功能的順利開(kāi)展。通過(guò)場(chǎng)景共享技術(shù)使多個(gè)指揮員看到具有相同空間坐標(biāo)和戰(zhàn)爭(zhēng)態(tài)勢(shì)的三維場(chǎng)景，并允許多用戶對(duì)場(chǎng)景中同一虛擬對(duì)象進(jìn)行交互操作。協(xié)同模塊工作流程如圖4所示。

圖4 協(xié)同模塊工作流程示意圖Fig.4 Workflow of collaboration module

感知模型用于獲取用戶對(duì)系統(tǒng)的多通道指令信息，協(xié)同服務(wù)器與通信協(xié)議為協(xié)同模塊提供了物理基礎(chǔ)，并發(fā)控制與沖突處理主要針對(duì)多人同時(shí)對(duì)同一目標(biāo)發(fā)起控制或向一個(gè)正在被控制的目標(biāo)發(fā)送控制請(qǐng)求的情況。根據(jù)場(chǎng)景作業(yè)特點(diǎn)，采用集中式控制方法和令牌控制方法相結(jié)合的方式進(jìn)行并發(fā)沖突管理，對(duì)每個(gè)用戶規(guī)定一個(gè)優(yōu)先級(jí)，實(shí)際可根據(jù)職級(jí)高低來(lái)確定。協(xié)同控制算法流程如圖5所示，每個(gè)可控制資源對(duì)象均分配一個(gè)令牌，若有用戶發(fā)出對(duì)其操作的請(qǐng)求，服務(wù)器先判定這個(gè)資源令牌使用情況，在無(wú)占用情況下，可根據(jù)優(yōu)先級(jí)確定令牌使用權(quán)，否則，拒絕用戶請(qǐng)求。最后，根據(jù)用戶是否享有資源令牌使用權(quán)的情況，對(duì)其做出響應(yīng)處理。

圖5 協(xié)同控制算法流程Fig.5 Workflow of cooperative control algorithm

2.4 多通道人機(jī)交互模塊

傳統(tǒng)的指控系統(tǒng)交互大多采用觸屏、實(shí)物擺放等方式進(jìn)行，明顯不能滿足信息化戰(zhàn)爭(zhēng)背景下對(duì)人機(jī)交互便捷性和高效性的需求。針對(duì)這一問(wèn)題，本文系統(tǒng)采用多通道自然人機(jī)交互方式，主要包括語(yǔ)音識(shí)別、手勢(shì)識(shí)別、視線UI 輸入等，允許用戶以這些交互方式對(duì)系統(tǒng)下達(dá)命令或控制。通過(guò)設(shè)計(jì)面向任務(wù)空間的多種交互方式框架，依靠互補(bǔ)來(lái)克服彼此的缺陷，從而提升系統(tǒng)整體的表達(dá)能力、自然性與便捷性［13］。多通道人機(jī)交互框架如圖6所示。

圖6 多通道人機(jī)交互框架圖Fig.6 Framework diagram of multi-channel humancomputer interaction

2.4.1語(yǔ)音識(shí)別

本文借助公開(kāi)的語(yǔ)音識(shí)別工具包實(shí)現(xiàn)對(duì)中文語(yǔ)音指令的識(shí)別，識(shí)別出指令后與具體的操作行為建立映射關(guān)系，從而實(shí)現(xiàn)中文語(yǔ)音對(duì)全息場(chǎng)景的操控。由于軍事指揮中語(yǔ)音指令種類比較固定，故采用工具包開(kāi)發(fā)人員預(yù)先定義的字典庫(kù)進(jìn)行識(shí)別，使用xml格式文件存儲(chǔ)系統(tǒng)所需命令，具體識(shí)別流程如圖7所示。

圖7 語(yǔ)音識(shí)別流程Fig.7 Flowchart of speech recognition

2.4.2手勢(shì)識(shí)別

本文基于肌電傳感器進(jìn)行手勢(shì)的感知與識(shí)別，將其佩戴于胳膊的肘關(guān)節(jié)上方位置，通過(guò)探測(cè)肌肉活動(dòng)，實(shí)現(xiàn)對(duì)手勢(shì)動(dòng)作的感知，并將感知信號(hào)以藍(lán)牙傳輸至PC 端，系統(tǒng)再以信號(hào)模板將其映射為具體的控制命令，從而完成整個(gè)識(shí)別過(guò)程。

3 系統(tǒng)實(shí)現(xiàn)

3.1 軟硬件配置

新型電子沙盤硬件部分主要由協(xié)同計(jì)算機(jī)與頭戴顯示設(shè)備構(gòu)成，外加MYO 肌電傳感器、語(yǔ)音采集設(shè)備。其中，協(xié)同計(jì)算機(jī)用于手勢(shì)、語(yǔ)音信號(hào)的處理，并作為協(xié)同服務(wù)器，為多人協(xié)同提供網(wǎng)絡(luò)支持，其主要硬件參數(shù)為：CPU 型號(hào)為Inter（R）Core（TM）i7-4770，主頻為3.4 GHz，GPU 型號(hào)為NVIDIA GTX1080；頭戴顯示設(shè)備采用影創(chuàng)科技推出的增強(qiáng)現(xiàn)實(shí)頭盔Action One Pro，主要用于增強(qiáng)現(xiàn)實(shí)系統(tǒng)展現(xiàn)，其采用一體機(jī)設(shè)計(jì)，單目觀察視角達(dá)45°，搭載高通驍龍835處理器以及高達(dá)1 000 Hz 的九軸慣性測(cè)量單元（inertial measurement unit，IMU）確保高精度的定位顯示，并配置了1 300 萬(wàn)像素的高清攝像頭，實(shí)現(xiàn)完整的六自由度追蹤。

本系統(tǒng)開(kāi)發(fā)所依賴的軟件平臺(tái)主要為unity3D 2019.2.3f1、Microsoft Visual Studio 2017（以下簡(jiǎn)稱VS2017）和3DS MAX，開(kāi)發(fā)語(yǔ)言以C#為主，語(yǔ)音識(shí)別工具包為微軟speech SDK5.1。其中，unity3D 作為一個(gè)跨平臺(tái)的三維開(kāi)發(fā)引擎，主要承擔(dān)整個(gè)系統(tǒng)全息影像構(gòu)建任務(wù)；VS2017 為代碼編寫與管理平臺(tái)；3DS MAX 為相關(guān)模型的建模、渲染、動(dòng)畫提供幫助。軟硬件組成如圖8所示。

圖8 系統(tǒng)軟硬件組成示意圖Fig.8 System software and hardware composition

3.2 功能驗(yàn)證

本文采用3DS MAX 制作所需的軍事要素，由于增強(qiáng)現(xiàn)實(shí)設(shè)備的處理能力有限，需要平衡模型的大小與精度，在保證宏觀效果的條件下，盡可能降低模型面片數(shù)以提高其渲染速度，部分軍事要素模型如圖9所示。

圖9 部分軍事要素模型示意圖Fig.9 Schematic diagram of some military element models

為滿足多場(chǎng)景作戰(zhàn)需求，系統(tǒng)可根據(jù)實(shí)際需要結(jié)合衛(wèi)星數(shù)據(jù)生成真實(shí)地理場(chǎng)景，本文以兩套地形場(chǎng)景為例進(jìn)行分析：沙漠對(duì)抗與城市防衛(wèi)，增強(qiáng)現(xiàn)實(shí)效果如圖10～11所示。其中，沙漠對(duì)抗場(chǎng)景主要針對(duì)敵我紅藍(lán)控制區(qū)域進(jìn)行戰(zhàn)術(shù)對(duì)抗推進(jìn)；城市保衛(wèi)場(chǎng)景以城市地理要素為中心，在海陸空多兵種襲擊下，進(jìn)行有效的戰(zhàn)略防衛(wèi)。

圖10 沙漠對(duì)抗增強(qiáng)現(xiàn)實(shí)場(chǎng)景Fig.10 Augmented reality scene of desert confrontation

圖11 城市防衛(wèi)增強(qiáng)現(xiàn)實(shí)場(chǎng)景Fig.11 Augmented reality scene of city defense

系統(tǒng)展開(kāi)后，通過(guò)三維立體環(huán)繞屏實(shí)時(shí)展示敵我雙方的兵力部署與武器裝備的飛行數(shù)據(jù)，借助操作菜單，指揮員可以實(shí)時(shí)對(duì)各個(gè)軍事要素進(jìn)行多方位操作，如旋轉(zhuǎn)、縮放、移動(dòng)、詳細(xì)信息展示等，控制菜單如圖12所示。針對(duì)戰(zhàn)術(shù)打擊過(guò)程，指揮員通過(guò)語(yǔ)音指令以及MYO手環(huán)的手勢(shì)識(shí)別指令下達(dá)作戰(zhàn)指令，部分檢測(cè)手勢(shì)如圖13所示，并根據(jù)指令相應(yīng)地生成戰(zhàn)術(shù)標(biāo)繪示意。

圖13 部分檢測(cè)手勢(shì)示意圖Fig.13 Partial detection gesture

圖12 增強(qiáng)現(xiàn)實(shí)控制菜單Fig.12 Augmented reality control menu

此外，系統(tǒng)也支持以頭部視線控制UI輸入的交互方式，實(shí)現(xiàn)對(duì)武器裝備手動(dòng)部署，交互界面示意如圖14所示。

圖14 UI人機(jī)交互示意Fig.14 UI human-computer interaction

4 結(jié)束語(yǔ)

當(dāng)前，在信息化背景條件下，指控系統(tǒng)正朝著越來(lái)越智能與高效的方向發(fā)展。本文設(shè)計(jì)并開(kāi)發(fā)了一種面向指控系統(tǒng)的新型增強(qiáng)現(xiàn)實(shí)電子沙盤系統(tǒng)，通過(guò)多模塊化設(shè)計(jì)，有效地展示了真實(shí)的戰(zhàn)場(chǎng)態(tài)勢(shì)，為指揮員提供了極為便利的人機(jī)交互方式。在不久的將來(lái)，增強(qiáng)現(xiàn)實(shí)技術(shù)在作戰(zhàn)指揮中的應(yīng)用會(huì)更加廣泛。