基于團隊協作和移動式混合現實的高仿真戰現場急救訓練平臺構建

杜文瓊，張 杰，宗兆文*，鐘 鑫，蔣仁慶，賈益君

（1.陸軍軍醫大學陸軍衛勤訓練基地戰救技能訓練教研室，創傷、燒傷與復合傷國家重點實驗室，重慶400038；2.解放軍77635部隊，西藏山南867600）

0 引言

近年來，新興技術與醫學領域的深入交叉融合加速推動著醫學教育教學的改革。有研究指出：移動學習、分析技術、混合現實（mixed reality，MR）、人工智能、區塊鏈和虛擬助理6項技術將成為促進高等教育的關鍵技術[1-2]。隨著科學信息技術的發展，MR等新興技術越來越多地應用到醫療培訓和教育等領域[3-5]。有研究人員預測，到2035年MR等技術將成為一個顛覆性的產業，其可提供令人嘆服的體驗，比如允許人們在身體細胞中旅行、可以遇見歷史古老戰場等[5]。由此可見，人類正步入一個以創造、參與、感知等技術為核心的體驗時代，這些技術也給教育行業帶來了全新的思路和方式。

當前，MR、虛擬現實（virtual reality，VR）和增強現實（augmented reality，AR）等技術在軍事訓練領域逐步得到重視并廣泛應用[6-9]。其中，MR是指通過計算機、圖像處理、人工交互技術等生成的虛實結合的可視化環境[10]，實現使用者與現實世界和虛擬世界交互以及虛擬世界和現實世界的內容交互[11-12]。美軍對于MR等模擬技術的開發應用比較早，且已經進入了實踐階段，直接為實戰服務，研發有虛擬軍事指揮系統和虛擬Augmented Reality Combat Training系統，可支持作戰人員、作戰環境、作戰裝備與虛擬作戰實體相結合來組織訓練；美軍曾采用VR技術模擬戰場場景培訓作戰人員，以使其在其他國家展開軍事行動時對周圍的地理環境不感到陌生[5，13]。我軍目前基于VR等技術的軍事訓練應用已經很成熟，對于MR技術的應用還處于技術完善或研發突破階段[6]。

戰傷急救訓練具有自身的特殊性，如戰救技術需要和戰術背景結合進行訓練、常需要團隊協作完成等；同時戰傷自救互救很多情況下是由作戰人員實施，他們通常沒有醫學背景，缺乏戰現場急救的救治決策知識。針對戰現場急救的特殊性，本研究以我軍重要戰略方向為牽引，建立以高原山口作戰為戰術背景、以MR為基礎的高仿真戰現場急救訓練平臺，以期解決我軍自救互救訓練長期存在的戰術背景與戰救訓練脫離、官兵普遍缺乏戰術背景下的戰現場急救正確決策以及救治過程中的組織實施和團隊協作能力等問題。

1 設計思路

本平臺由導控軟件、戰現場急救決策軟件以及硬件部分組成。導控軟件依托計算機終端部署，可實現平臺操控、任務部署和指導、觀摩示教、結算評分等功能。戰現場急救決策軟件在自救互救決策架構體系建立以及3D傷情數據、戰場環境模擬、戰斗場景模擬、虛實結合技術開發、可移動大空間團隊協作和虛擬交互系統開發等核心模塊構建的基礎上形成。具體決策思維的訓練通過虛擬世界問答式、選擇式、情景判斷式結合現實具體行動實現，然后由人工智能和后臺觀察端進行評判。決策訓練設置訓練和考核2個模式，可實現對受訓人員的培訓和考核。硬件部分主要由進行了特殊設計的智能槍支和戰術背心構成，可實現虛實結合訓練功能。最終通過綜合性軟硬件技術建成以高原作戰為背景的、基于團隊協作和移動式MR的高仿真戰現場急救訓練平臺。本平臺可提供戰術背景下對敵戰斗、傷員產生、實施救治、完成戰術任務的全流程體驗。平臺整體架構圖如圖1所示。

圖1 高仿真戰現場急救訓練平臺架構圖

2 具體設計

2.1 導控軟件的建立

導控軟件采用客戶端/服務器（Client/Server，C/S）架構、自定義C++服務器、MySQL數據庫和虛幻引擎UE4進行開發，包括訓練科目設置、訓練指導和觀摩、訓練考核評估、未來拓展等4個功能模塊。（1）訓練科目設置功能。根據訓練需求創建訓練場景，包括場景設定、任務目標、完成時限、參與人數、難度系數等，可具體針對不同層次教學對象和參訓人員情況靈活設置訓練任務及要求。（2）訓練指導和觀摩功能。訓練全過程都可通過綜合顯示屏顯示，教員可根據需要實時切換不同受訓人員的操作界面，也可通過上帝視角，顯示訓練過程中多人協作救治場景整體界面，滿足教員對訓練過程的觀摩、指導、示教和教學需求。（3）訓練考核評估功能。采用人工智能和后臺觀察端相結合的方式，從團隊協作、完成戰術任務、完成救治任務3個方面進行綜合評價，提供訓練整體效果分析。（4）未來拓展功能。考慮到未來修改完善、新功能增加以及戰傷救治訓練不斷發展的需求，提供可拓展升級功能。

2.2 戰現場急救決策軟件的建立

戰現場急救決策軟件采用MR、VR、仿真建模、空間定錨共享和定錨修訂算法等核心技術分步驟進行開發，結合戰現場急救決策流程和步驟，利用虛幻引擎UE4提供的可視化圖形編輯環境進行軟件編程。戰現場急救決策軟件包括3D傷員模擬、戰場地理環境3D模擬、戰斗場景3D模擬、團隊協作和急救決策模擬4個功能模塊。（1）3D傷員模擬功能：根據急救訓練設定進行傷員模擬，提供傷員受傷后的狀態、傷口形態以及動態傷情呈現等模擬功能。（2）戰場地理環境3D模擬功能：以我軍重要戰略方向為牽引進行高原高寒特殊作戰環境模擬，提供高原地形、地貌、地物、氣候、水文等模擬功能。（3）戰斗場景3D模擬功能：針對戰術背景和戰救訓練相結合的需求進行戰斗場景模擬，提供戰斗人物、武器裝備、戰斗協同、戰斗氛圍等模擬功能。（4）團隊協作和急救決策模擬功能：根據訓練核心目的進行團隊協作完成救治任務模擬，提供戰術背景下組織指揮和團隊協作決策、火線救治決策、救治時機決策、傷情評估、傷情判斷、救治器材選擇、救治實施等模擬功能。具體設計如下。

2.2.1 建立戰現場自救互救決策架構體系

根據戰現場自救互救決策模擬訓練需求及救治流程，綜合考量復雜戰術背景及隨機傷情下不同救治方式決策、不同救治階段決策、戰術決策、團隊組織指揮與協作決策等訓練要點，形成從傷員產生—火線搶救—傷情評估—現場急救的自救互救決策訓練體系流程（如圖2所示），為后續的軟件構建提供理論支撐。

圖2 戰現場自救互救決策訓練體系流程圖

2.2.2 建立3D傷情數據庫

根據現代戰傷流行病學特點，確定了四肢大出血、氣道阻塞、張力性氣胸、開放性氣胸、頜面部燒傷、腸脫出、開放性骨折、閉合性骨折8種核心傷情[14-17]。其中，前4種為導致可預防戰傷死亡的主要傷情[18-19]，是戰現場急救的重點內容；后4種為戰場上比較常見的傷情[18-19]，需要進行強化訓練。

傷情種類確定后，通過3D次世代建模技術進行傷情的高仿真模擬，對創面的大小、形態、顏色進行1∶1高度還原；此外，通過設置動態條件觸發和調用不同傷情對應動畫來呈現動態傷情，可動態呈現噴射樣大出血、呼吸急促等體征（如圖3所示）。

圖3 3D傷情

2.2.3 戰場地理環境3D建模

戰場地理環境3D建模一共分成5層，即地形層、地表層、植被層、建筑層和環境層。地形層通過高精度低面還原技術和基于等高線綜合的三維地形生成算法生成還原；地表層是在對地表材質進行采樣和分析的基礎上，采用復合材質球技術進行制作；植被層和建筑層主要根據模擬戰場植被情況、訓練任務和假想敵目標情況使用3D次世代建模技術進行制作；環境層主要根據訓練內容模擬不同的作戰時間相對應的真實環境光和天氣。基于上述技術模擬高原山口作戰的地理環境，包括山脈、河流等地形地物，雜草、灌木等植被，邊防哨所、掩體等建筑以及高海拔地區常年被雪覆蓋的場景（如圖4所示）。

圖4 3D戰場地理環境

2.2.4 戰斗場景3D建模

戰斗場景3D建模包括戰斗人物、武器裝備、戰斗協同、戰斗氛圍營造等。首先，通過3D次世代建模技術構建高精度的士兵、戰斗武器、裝甲車輛等模型；模型構建完成后，基于VR定位追蹤系統運行變量和條件判定模擬物體狀態參數，再通過該系統運算生成動畫；最后，通過動畫同步系統同步真實世界士兵動作和虛擬世界士兵顯示動作，我軍士兵通過MR裝備采集數據進行匹配，敵方士兵通過人工智能系統根據訓練腳本進行動作控制完成3D動畫顯示。基于上述步驟，模擬具體戰斗環境，包括作戰士兵、裝備、車輛以及戰場常見的爆炸場景，同時建立匹配戰斗的敵我士兵行走、跑步、射擊等數十套動畫，并通過背心、武器等智能設備進行肢體運動捕捉，在動畫同步和人工智能系統支撐下最終能達到真實世界和虛擬世界士兵動作同步（如圖5所示）。

圖5 3D戰斗場景

2.2.5 虛實結合技術的開發

虛實結合技術主要包括3D模擬傷情虛實重疊和傷員產生虛實同步，通過在傷情模擬的軟件程序中設置控制智能硬件對象的參數及電信號觸發條件，同時設置對應硬件，使其在實際應用中將自身狀態參數更新上傳給軟件系統，從而實現軟硬件對象狀態參數與實際保持同步，達到虛擬世界和現實世界傷員產生同步，且3D模擬傷情可以覆蓋在真實世界的傷員身上。

2.2.6 可移動大空間團隊協作和虛擬交互系統開發

為實現大空間內團隊協同訓練且現實世界和虛擬世界同步，借助空間定錨共享核心技術，輔以定錨修訂算法將所有人的虛擬世界根點錨定到現實世界的定錨點上，使處于不同空間位置的人相對虛擬空間位置和現實空間位置完成無誤差的多人交互。在此基礎上，再結合內向外追蹤定位方法和先進的便攜式計算機計算單元，開發適用于高仿真戰現場急救訓練平臺的大空間團隊協作和虛擬交互系統。

2.3 虛實結合的智能硬件開發

通過定制仿制實物，在實物表面通過信息數據覆蓋和定位器連接技術以及MR、VR等技術開發可實現虛實結合的智能槍支和智能戰術背心。智能槍支彈夾底部安裝觸摸感應器，射擊時拍擊彈夾底部進行更換彈夾模擬；槍支內部安裝伺服電動機并進行專門電路設計，每次射擊都會產生電磁機械模擬撞擊，通過撞擊產生6 N/cm2的力，由槍身傳遞給身體從而實現后坐力模擬。智能戰術背心通過數據傳輸實現高仿真被擊中模擬。在背心上安裝了6組力反饋機構，虛擬世界的人物模型上有相對應的6組碰撞體，當碰撞體被虛擬射擊命中以后通過433 MHz加密數據無線通信控制力反饋震動電動機發生震動，震動的部位和虛擬世界人物模型被擊中部位相同。智能硬件如圖6所示。

圖6 智能硬件

3 應用效果

本平臺已于2020年6月17日完成了現場安裝和運行調試工作，并于2020年7月投入到某大學2017級本科學員戰傷救治實訓課程中使用，用于訓練學員戰術背景下戰現場急救決策能力和團隊協作能力，如圖7所示。從使用效果看，本平臺大大地提升了學員的學習興趣，從課程結束后的問卷調查結果看，95.87%的學員認為在課程中使用仿真模擬、MR等訓練手段有助于提升學員的學習積極性和參與度；98.35%的學員認為仿真模擬訓練方法與傳統的實踐課訓練方法相比能更好地提高救治技能水平。從反饋的平臺訓練體驗效果看，大部分學員普遍認為本平臺模擬的緊張的戰術氛圍、情景化和全流程的體驗可以激發起學員的行為和思維反應，鍛煉其快速反應能力和心理承受能力，具有實戰背景模擬逼真、沉浸體驗感強、訓練針對性強等獨特優勢，這是常規的軍事訓練手段難以達到的效果。

圖7 高仿真戰現場急救訓練平臺應用場景

4 討論

4.1 本平臺強化了虛實結合的沉浸式訓練和感知效果，能最大限度地貼近實戰進行培訓

本平臺在MR等技術的支持下，一是解決了戰傷自救互救訓練戰術背景與救治脫離的問題。美軍的成功經驗顯示，將戰術和救治結合的戰現場急救策略使得伊拉克和阿富汗戰爭中傷員死亡率降至歷史最低點[20]。戰術與救治脫離一直是我軍自救互救訓練的難點問題，這將使訓練效果無法有效地轉化為戰救的實際能力。本研究通過MR技術等將真實的戰場環境還原到平時的訓練中，并且緊密結合陸軍主要戰略方向，構建了作戰的戰術背景，以進一步聚焦實戰練兵。二是虛實結合智能硬件和技術的開發大大增加了學習體驗的真實感。Pantelidis等[21]、Bridget[22]指出AR、VR技術雖然已經在教育領域取得了重大進展，但仍然需要在優化處理器性能、提高分辨力和發明更先進的觸覺設備等方面尋求突破，以實現高仿真的學習環境。本研究主要使用的MR技術充分吸收了VR和AR的優點，并且通過槍支、背心等智能硬件以及傷情實時同步和多人作戰虛實協同技術的開發，打通了現實世界和虛擬世界之間的多條通道，將虛實學習空間有機融合，使得學習的沉浸感更加真實，從而使學員難辨真假，為其有效學習、體驗提供了保障。三是深度互動的數字學習環境有助于提升訓練效果。本平臺創建的虛擬仿真、沉浸式體驗和交互性的數字學習環境將知識從書本中提煉出來、從PPT及二維圖像中跳躍出來，以3D視覺和情景化等方式呈現在學員眼前，變被動式學習為交互探索式學習，可彌補二維可視化困難的不足、增加學習的趣味性，更重要的是讓學員沉浸其中自主互動，將知識點以更高效的方式傳授給學員，這些都是傳統課堂所不具備的。

4.2 本平臺重在進行戰現場救治決策及團隊協作能力訓練

Judith等[23]認為21世紀學習者所需要的重要技能如系統思維、創造力、抽象思維等很難教授，但VR等提供的身臨其境的體驗在應對這些教育挑戰時可以發揮獨特的作用。戰現場急救決策能力的高低直接關系救治的成敗，而決策思維是一種邏輯抽象能力，這種能力的教授和培養是目前面臨的訓練難點。本平臺借助MR和人工智能等技術，將抽象的知識點具體化，將戰現場急救中出現的各種可能及救治的關鍵點組合設置并與戰術背景結合，在學員體驗過程中設計不同復雜情況下救治以訓練其決策思維。Azimi等[3]研究發現，使用MR技術進行醫療救治流程團隊培訓，可縮短訓練人員完成救治任務的時間，并提高訓練人員進行緊急和危重救治的信心。本平臺通過構建可移動大空間團隊協作和虛擬交互系統等，可提供團隊協作全流程救治培訓。眾所周知，戰傷救治講究的是團隊協作，單個戰救技術水平的提高并不能形成戰救的綜合能力。建立針對團隊的模擬戰傷救治訓練平臺，開展結合戰場環境的團隊協作訓練，可提高戰救訓練的實戰化水平，并最終提高戰傷救治水平。

5 結語

本平臺是科技新興技術應用于軍事訓練的又一實踐，其建立實現了戰術背景與戰救技術訓練相結合、現場救治決策和團隊協作訓練，是推進實戰化訓練、促進戰斗力生成的實際舉措。但是受限于當前對MR等技術開發的程度等，本平臺還需要在以下幾個方面進行改進：（1）8種3D傷情的設定是依據現代戰傷流行病學特征及規律分析救治需求所得，均是戰現場急救的重點內容，但傷情設置涵蓋不夠全面，后期會在平臺升級中根據訓練目的增加不同部位傷傷情。（2）虛實結合技術尚需進一步開發，以達到虛擬世界和現實世界相互交織、難以分辨的訓練體驗效果。（3）平臺硬件設備多、充電要求高且展開復雜，不便于平時訓練的展開，下一步需要在硬件設備性能與便攜化上做進一步改進。（4）平臺雖已投入使用但還在根據應用反饋完善和調試，所以目前對于平臺的應用效果評估偏簡單，待平臺成熟后會進行相應的量化評估。可以預見，未來隨著計算機等硬件設備處理能力的提高、MR等新技術的深度開發以及人們對科技信息領域與教育訓練領域交叉融合研究的不斷深入，本平臺將得到不斷完善，對于實戰化軍事訓練的助力也將更進一步提升。