基于虛擬現(xiàn)實(shí)的沉浸式工程兵旗語指揮訓(xùn)練系統(tǒng)

朱虹旭，周雙喜，張志勇

(國(guó)防科技大學(xué)， 長(zhǎng)沙 410072)

旗語，作為我軍工程兵比較傳統(tǒng)且古老的指揮方式，即使在信息化程度較高的今天，依然在某些特殊場(chǎng)合發(fā)揮著不可替代的作用。例如在環(huán)境復(fù)雜，噪音較大，對(duì)講機(jī)、電臺(tái)等需要話音通信設(shè)備此時(shí)發(fā)揮的作用相對(duì)較小時(shí)，就需要使用旗語進(jìn)行指揮。當(dāng)前，旗語的訓(xùn)練模式主要是由組訓(xùn)者下達(dá)口令，受訓(xùn)者根據(jù)口令做出相應(yīng)旗語動(dòng)作。這種訓(xùn)練模式比較單一，與實(shí)際使用有較大的區(qū)別，受訓(xùn)者沒有機(jī)會(huì)自己去辨別該進(jìn)行何種動(dòng)作，只是很機(jī)械的根據(jù)口令進(jìn)行動(dòng)作。實(shí)踐證明，旗語訓(xùn)練的最好環(huán)境就是在實(shí)戰(zhàn)背景下，使指揮員切身體驗(yàn)戰(zhàn)場(chǎng)條件下的各種刺激因素，積累經(jīng)驗(yàn)并提高指揮能力。

隨著計(jì)算機(jī)技術(shù)和模擬仿真技術(shù)的不斷發(fā)展，在特定范圍內(nèi)生成融逼真視覺、聽覺和觸覺等感覺于一體的虛擬環(huán)境的技術(shù)即虛擬現(xiàn)實(shí)技術(shù)[1](以下簡(jiǎn)稱VR)對(duì)軍事訓(xùn)練產(chǎn)生了的重大而深刻的影響。因此，深入研究基于VR的沉浸式工程兵指揮訓(xùn)練系統(tǒng)，有助于增強(qiáng)指揮員對(duì)戰(zhàn)場(chǎng)的適應(yīng)性，調(diào)動(dòng)訓(xùn)練積極性，使受訓(xùn)者主動(dòng)參與到訓(xùn)練系統(tǒng)之中，對(duì)于提高指揮訓(xùn)練效果具有重要實(shí)踐意義。

1 基于VR的沉浸式工程兵指揮訓(xùn)練系統(tǒng)的需求分析

從訓(xùn)練任務(wù)的角度分析，本系統(tǒng)以聯(lián)合登陸作戰(zhàn)為背景，具體到舟橋分隊(duì)指揮員使用旗語對(duì)架設(shè)浮橋的行動(dòng)進(jìn)行指揮，因此訓(xùn)練任務(wù)必須緊緊圍繞聯(lián)合登陸作戰(zhàn)過程中舟橋分隊(duì)架設(shè)浮橋過程中可能遭受的戰(zhàn)場(chǎng)威脅來確定。例如，在浮橋架設(shè)初始階段，主要威脅就是水中的暗礁與水雷等障礙；中間階段，主要威脅就是敵人的各種偵察；最后階段，主要威脅就是被敵發(fā)現(xiàn)后遭受的空中和地面火力打擊。因此，訓(xùn)練系統(tǒng)必須包括兩個(gè)基本訓(xùn)練內(nèi)容：一是指揮浮橋單元在機(jī)動(dòng)過程中避開各種障礙和敵人偵察；二是在炮火襲擊背景下進(jìn)行指揮。

從技術(shù)需求的角度分析，如今的VR技術(shù)正在步入飛速發(fā)展階段，無論國(guó)內(nèi)還是國(guó)外，眾多業(yè)界巨頭都開始進(jìn)軍VR領(lǐng)域，VR必將迎來產(chǎn)業(yè)爆發(fā)。正是由于VR技術(shù)的飛速發(fā)展，視覺和聽覺反饋設(shè)備的不斷完善[2]，才能利用VR技術(shù)將具體的、3D的、沉浸的場(chǎng)景展示出來，使受訓(xùn)者身臨其境，完全沉浸到訓(xùn)練場(chǎng)景中。

2 基于VR的旗語訓(xùn)練系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)

在系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)上采用資源分布、動(dòng)態(tài)加載的模式，主要包括虛擬戰(zhàn)場(chǎng)環(huán)境系統(tǒng)、沉浸系統(tǒng)、動(dòng)作捕捉系統(tǒng)和結(jié)果反饋系統(tǒng)[3]。系統(tǒng)的總體結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)的總體結(jié)構(gòu)

1) 虛擬戰(zhàn)場(chǎng)環(huán)境系統(tǒng)。以聯(lián)合登陸作戰(zhàn)過程中架設(shè)浮橋階段的場(chǎng)景為原型，場(chǎng)景模型包括地形、植被、水流、軍事設(shè)施、各種武器裝備等，重點(diǎn)突出浮橋單元和浮橋本身，同時(shí)配合耀眼的爆炸火光、炮彈的爆炸聲、子彈的呼嘯聲、飛機(jī)和坦克的轟鳴聲。

2) 沉浸系統(tǒng)。目前可以完全實(shí)現(xiàn)并且效果較好的就是視覺沉浸系統(tǒng)和聽覺沉浸系統(tǒng)，視覺感知設(shè)備和聽覺感知設(shè)備發(fā)展應(yīng)用較快，相對(duì)比較完善，而觸覺感知設(shè)備和嗅覺感知設(shè)備發(fā)展相對(duì)緩慢，因此本系統(tǒng)中不涉及觸覺和嗅覺沉浸系統(tǒng)。

3) 動(dòng)作捕捉系統(tǒng)。受訓(xùn)者位于Kinect捕捉范圍內(nèi)，對(duì)受訓(xùn)者的指揮動(dòng)作進(jìn)行捕捉、識(shí)別、傳輸，將傳輸?shù)臄?shù)據(jù)與計(jì)算機(jī)預(yù)設(shè)的內(nèi)容進(jìn)行比對(duì)，選擇與之相匹配的指令，對(duì)虛擬戰(zhàn)場(chǎng)中的裝備和人員進(jìn)行控制然后生成新的戰(zhàn)場(chǎng)場(chǎng)景。

4) 結(jié)果反饋系統(tǒng)。將重新生成的虛擬戰(zhàn)場(chǎng)環(huán)境再次傳輸至VR頭戴顯示器中，給予受訓(xùn)者最直觀的印象反饋。

3 基于VR的旗語訓(xùn)練系統(tǒng)的功能實(shí)現(xiàn)

系統(tǒng)采用了Unity 3D作為一個(gè)完全集成的專業(yè)級(jí)游戲引擎，整合了圖像、音頻、物理引擎、人機(jī)交互以及網(wǎng)絡(luò)等技術(shù)[4]，將虛擬戰(zhàn)場(chǎng)環(huán)境系統(tǒng)、沉浸系統(tǒng)、動(dòng)作捕捉系統(tǒng)和結(jié)果反饋系統(tǒng)有效串聯(lián)，確保系統(tǒng)的功能實(shí)現(xiàn)。系統(tǒng)的整個(gè)運(yùn)行流程如圖2所示。

圖2 系統(tǒng)的運(yùn)行流程

計(jì)算機(jī)將生成的虛擬戰(zhàn)場(chǎng)環(huán)境通過沉浸系統(tǒng)傳遞給受訓(xùn)者，受訓(xùn)者根據(jù)戰(zhàn)場(chǎng)情況進(jìn)行指揮，Kinect將捕捉到的動(dòng)作傳輸至計(jì)算機(jī)，根據(jù)傳輸數(shù)據(jù)生成新虛擬戰(zhàn)場(chǎng)環(huán)境，最后結(jié)果通過頭戴顯示器反饋給受訓(xùn)者，訓(xùn)練完畢。

3.1 虛擬戰(zhàn)場(chǎng)環(huán)境系統(tǒng)

首先使用3D max建立模型數(shù)據(jù)庫。模型的制作流程主要包括素材采集、原型設(shè)計(jì)、模型制作等。然后根據(jù)模型在場(chǎng)景內(nèi)的布局設(shè)置，使用Unity 3D游戲引擎對(duì)模型的照明陰影、紋理映射、環(huán)境映射等細(xì)節(jié)部分進(jìn)行處理，最后進(jìn)行全面整合渲染，將虛擬戰(zhàn)場(chǎng)環(huán)境呈現(xiàn)出來[5]。

3.2 沉浸系統(tǒng)

1) 視覺沉浸系統(tǒng)。VR場(chǎng)景主要分為前景、中景和背景，使用全景攝像機(jī)拍出全景圖片制作天空盒子，使用3Dmax軟件制作場(chǎng)景中的各種三維模型，前景和中景采用三維模型，背景使用天空盒子[6]，然后導(dǎo)入U(xiǎn)nity 3D引擎里打光烘焙制作，優(yōu)化場(chǎng)景中的物件比例，將鏡頭高度設(shè)置在1.7～1.8 m，最后通過VR頭戴顯示器進(jìn)行立體呈現(xiàn)，確保受訓(xùn)者有較好的沉浸式視覺體驗(yàn)。

2) 聽覺沉浸系統(tǒng)。人類定位聲音的兩個(gè)關(guān)鍵因素就是方向和距離，在聲波進(jìn)入人的耳道之前，它會(huì)與外耳部、頭部甚至是頸部相互作用，聲音或被過濾削弱，或被反射加強(qiáng)。從前方傳來的聲音會(huì)與耳廓的內(nèi)部產(chǎn)生共振，而從后側(cè)傳來的聲音會(huì)被耳廓削弱，從上方傳來的聲音會(huì)在肩膀處反射，而來自下方的聲音會(huì)被軀干和肩膀阻擋[7]。以上這些反射和阻擋結(jié)合起來，創(chuàng)造了一個(gè)方向選擇濾波器，這種效果可由頭部相關(guān)轉(zhuǎn)換函數(shù)表示。根據(jù)這個(gè)函數(shù)計(jì)算模擬出聲音從某個(gè)方向傳來及位置變化時(shí)的效果，利用Unity3D對(duì)炮彈的爆炸聲、子彈的呼嘯聲、飛機(jī)和坦克的轟鳴聲進(jìn)行渲染加工，使其接近人耳接收到的聽感效果，通過耳機(jī)重放的方式，使受訓(xùn)者的體驗(yàn)沉浸感加強(qiáng)。

3.3 動(dòng)作捕捉系統(tǒng)

系統(tǒng)使用微軟開發(fā)的Kinect，它綜合了計(jì)算機(jī)視覺、機(jī)器自主學(xué)習(xí)、語音識(shí)別、面部表情識(shí)別、數(shù)字信號(hào)處理等技術(shù)。該設(shè)備的光學(xué)部分包括紅外線發(fā)射器和紅外線/VGA攝像頭兩個(gè)主要部件。紅外線發(fā)射器發(fā)出一道“紅外激光”覆蓋整個(gè)可視范圍；攝像頭組接收反射光線識(shí)別用戶姿態(tài)，其中紅外攝像頭識(shí)別圖像的“深度場(chǎng)”，VGA攝像頭識(shí)別圖像的“顏色場(chǎng)”，然后系統(tǒng)使用圖像識(shí)別技術(shù)從兩幅圖像中分析出人體的運(yùn)動(dòng)姿態(tài)[8]。受訓(xùn)者無需穿戴其他控制設(shè)備，就能實(shí)現(xiàn)精確的骨架跟蹤，對(duì)關(guān)節(jié)和肢體活動(dòng)進(jìn)行映射，把從臀部到背部、再到手指的一系列動(dòng)作識(shí)別出來[9]，形成數(shù)據(jù)傳輸至計(jì)算機(jī)，與計(jì)算機(jī)預(yù)先設(shè)置的參數(shù)指令進(jìn)行匹配，生成新的虛擬戰(zhàn)場(chǎng)環(huán)境。

3.4 結(jié)果反饋系統(tǒng)

以聯(lián)合登陸作戰(zhàn)為背景，結(jié)合舟橋分隊(duì)架設(shè)浮橋時(shí)較大可能發(fā)生的戰(zhàn)場(chǎng)情況，本系統(tǒng)構(gòu)建了四種戰(zhàn)場(chǎng)結(jié)果反饋。

結(jié)果一，受訓(xùn)者的指揮準(zhǔn)確及時(shí)，且沒有出現(xiàn)錯(cuò)誤指揮，此時(shí)浮橋順利架通，部隊(duì)按時(shí)開進(jìn)，訓(xùn)練成功；

結(jié)果二，由于受訓(xùn)者指揮不夠熟練，超過預(yù)定時(shí)間，導(dǎo)致浮橋暴露，從而被敵空襲摧毀；

結(jié)果三，由于受訓(xùn)者指揮不當(dāng)導(dǎo)致浮橋單元機(jī)動(dòng)過程中被敵陸地偵察發(fā)現(xiàn)，在敵強(qiáng)大火力壓制下，被迫停止浮橋架設(shè)行動(dòng)；

結(jié)果四，由于受訓(xùn)者對(duì)江河情況不夠熟悉，導(dǎo)致浮橋單元在機(jī)動(dòng)過程中，觸碰到暗礁、水雷等障礙物，導(dǎo)致浮橋單元受損，延誤浮橋架設(shè)行動(dòng)。

以上四種戰(zhàn)場(chǎng)結(jié)果反饋共同組成結(jié)果反饋系統(tǒng)，根據(jù)動(dòng)作捕捉系統(tǒng)捕捉到的數(shù)據(jù)，生成匹配的戰(zhàn)場(chǎng)結(jié)果，再將對(duì)應(yīng)的結(jié)果傳輸至頭戴式顯示器，給予受訓(xùn)者最直觀的反饋，加深受訓(xùn)者的印象，切實(shí)提高指揮能力。組訓(xùn)者根據(jù)受訓(xùn)者的結(jié)果反饋判定受訓(xùn)者是否合格，只有反饋結(jié)果為結(jié)果一時(shí)，才達(dá)到訓(xùn)練要求。

4 結(jié)論

與常規(guī)訓(xùn)練方式相比較，基于VR的沉浸式工程兵指揮訓(xùn)練系統(tǒng)具有環(huán)境逼真、沉浸感強(qiáng)、場(chǎng)景多變、針對(duì)性強(qiáng)、安全經(jīng)濟(jì)、可控性強(qiáng)等特點(diǎn)。此外，隨著計(jì)算機(jī)及現(xiàn)代通信技術(shù)的飛速發(fā)展及在訓(xùn)練上的廣泛應(yīng)用，訓(xùn)練系統(tǒng)將不僅僅適用舟橋分隊(duì)指揮員，還可以拓展到更高層次、更加貼近實(shí)戰(zhàn)條件下的作戰(zhàn)指揮，輸出設(shè)備也不僅僅是頭戴式顯示器中的視覺和聽覺反饋，還有嗅覺、味覺、觸覺以及身體反饋。