公安民警VR仿真訓練儀功能特點與實戰應用

吳余川 陳元

1. 重慶市公安局江北區分局 2. 重慶子元科技有限公司

引言

隨著經濟的發展和科技的進步，意識形態與文化的沖突不斷升級，全球性風險的急劇擴散，同時恐怖主義和分裂主義思想也有日益泛濫的不良趨勢，這導致國內社會治安形勢變得異常嚴峻和復雜。據國家統計局統計，2018年全國受理和查處各類治安案件共972萬起，各類刑事案件共506萬起，然而僅2018年就有301名公安民警、141名警務輔助人員在執勤過程中因公犧牲，1.2萬余名公安民警和警務輔助人員因公負傷。因此，在處理復雜公共治安突發事件時，如何安全、高效地完成警務任務，是當前公安機關面臨的重要問題。其中，提高日常警務訓練的成效是提高公安警務人員執勤效果的有效途徑之一。傳統的警務及射擊訓練模式存在訓練場景單一、安全性差、耗時長、成果反饋不及時等缺點，并且難以復現公共突發事件的復雜警情。亟需引進新的科學技術以改進現有的訓練體系，從而適應當前警務需求，提高應對公共突發事件的作業能力。使用VR仿真訓練儀（平臺）的融合多源傳感數據進行動作姿態識別與動作實時捕捉，使參訓人員能夠“身臨其境”的在虛擬場景中實現高沉浸度模擬實戰演練，滿足當前智慧警務訓練的需求，提高應對公共突發事件的作業能力。

一、日常警務訓練待解決的問題及解決辦法

（一）日常警務訓練中待解決的問題

我國大部分公安民警日常工作繁重，很難在工作中抽出固定時間進行實戰化訓練。基層公安民警往往一年只有一到兩次參與的機會，這對長期處在預防犯罪一線的公安民警是完全不夠的。因而保障日常警訓順利開展至關重要。

1. 受訓人員全身動作的實時精準捕捉

當警員進行演練及考核時，課程中動作的標準程度是一個重要的考核指標。動作捕捉系統應當精確的采集受訓警員的操作動作，映射進演練系統，才能對警員戰術動作進行評分及糾正。因此，動作捕捉數據的全面性及精確性對于演練效果至關重要。如何實現受訓人員在演練過程中全身運動數據的實時精準捕捉，是擬解決的關鍵技術問題之一。

2. 低延時數據傳輸系統的開發及應用

為實現受訓人與虛擬演練環境之間的交互，受訓人的實時動態數據需及時傳輸至上位機中，再通過系統處理并映射到虛擬環境。若數據傳輸的延時大于30ms，人類的眼睛就會感覺到看到的動作與實際動作有“慢一拍”的差距，在VR頭戴設備中會產生暈眩的感覺。因此為避免受訓人產生暈動癥，同時提高虛擬演練系統的沉浸感，研發低延時數據傳輸系統，是擬解決的關鍵科學問題之一。

3. 超高演練坪效的實現

現有的警務虛擬現實訓練系統均存在移動空間受場地限制的不足，若要進行大場地虛擬空間的警務訓練，則需要在真實環境中按1:1的比例配備響應的訓練場地。然而基層警務機構往往存在訓練場地缺乏的情況，這使得現有警務虛擬現實訓練系統難以在警務系統中進行廣泛的推廣應用。因此，如何減小虛擬現實訓練系統的占地面積并實現超高演練坪效，是擬解決的關鍵技術問題之一。

4. 結合地域特色及實戰警情的演練場景搭建

警務虛擬演練系統的目的是提高受訓人面對突發警情時的應急處置能力，讓受訓人在應對實際突發公共事件時，可以正確合理地使用戰術技能，從而安全有效地完成出警任務。因此用于演練的虛擬環境需嚴格反映真實突發警情，才能達到期望的訓練效果。現有的警務虛擬現實訓練系統往往采用平面街區式的應用場景，然而重慶地區由于地理環境特殊，城市街道呈三維立體分布，與現有虛擬現實訓練系統中的應用場景差別較大。因此為提高演練真實性，搭建具有地域特色并貼近實戰警情的演練場景，也是擬解決的關鍵問題之一。

（二）解決方案

針對目前存在的問題，如果能夠進行警務培訓人員動作姿態識別與動作實時捕捉，滿足全沉浸式的需求，并能有面向大型城市隨機犯罪事件和公共突發事件演練場景的定制演練，就能改善受環境和場景所影響的警務訓練。VR仿真訓練儀（平臺）能夠有效的解決上述問題。

在VR仿真訓練儀（平臺）自主研發的萬向行動平臺中，用于動作捕捉的慣性測量單元姿態測量范圍實現三軸360°，加速度量程±8g，角速度量程±2000dps，靜態精度達到翻滾角小于1°、俯仰角小于1°、偏航角小于2°，從而實現了用戶在保障安全的情況下任意行走奔跑；動態捕捉數據輸出速率不小于80Hz，數據傳輸延時小超過30ms，滿足了通過傳感器實現用戶在虛擬環境中的實時定位。

針對實際警務演練要求，結合地域特色，降低演練系統占地面積，VR仿真訓練儀（平臺）能保證單人虛擬演練系統占地不超過3m2，并完成2到5個典型虛擬演練場景的搭建。該項技術目前已獲得國家級技術創新重點項目鑒定證書，并入選2020年度公安部科技成果推廣目錄。

二、技術路徑與功能特點

（一）融合多源傳感數據的警務培訓人員動作姿態識別與動作實時捕捉

因為隨機犯罪事件和公共突發事件演練系統的3D虛擬現實場景中，往往需要多人協同配合完成任務，所以構造全沉浸式共享空間的虛擬現實環境非常重要。在真實場景中警務培訓人員經由動捕傳感器識別其動作姿態，并將對應人員的動作姿態渲染到虛擬場景中去，完成人物虛擬空間的映射。

1. 慣性測量單元傳感器數據融合算法

由于單獨使用一個傳感器的數據會造成慣性測量單元的測量出現誤差，這種誤差反應在動作映射上，會造成人體動作映射的變形和走樣，同時單一傳感器也很難完成捕捉全身動作姿態的任務，因此必須采用多傳感器融合感知的方法，才能夠擴展人體感知覆蓋率，增強數據的可信度，提高精度。VR仿真訓練儀（平臺）采用的是慣性動捕，在人體的重要節點都佩戴慣性測量單元，慣性測量單元捕捉目標物體的運動數據，包括身體部位的姿態、方位等信息，然而多個慣性測量單元信息之間可能存在冗余和矛盾，需要對多傳感器數據進行融合，獲得被測對象的一致性解釋與描述。

VR仿真訓練儀（平臺）采用的慣性測量單元核心器件為MEMS九軸傳感器，在芯片上集成有一個三軸加速度計、一個三軸陀螺儀和一個三軸磁力計。為了獲得更精準的姿態，需要將加速度計和磁力計的數據與陀螺儀輸出的角速度數據融合。而最常用的非線性姿態估計方法所使用的技術就是互補濾波和擴展卡爾曼濾波。互補濾波方法中的互補濾波系數在動態系統中需要實時修正，但是如何修正并沒有具體的模型方程，常使用的方法是采用自適應調參，但是不同的傳感器的使用會導致自適應調參的方法不同，參數值的不穩定會在實際過程中造成很大的麻煩，甚至導致姿態估計不精確。因此采用一種基于四元數的擴展卡爾曼濾波算法完成人體重要關節上九軸傳感慣性測量單元的數據融合。采用卡爾曼濾波器算法對加速度計、陀螺儀和磁力計的輸出信號進行融合，具體融合方法如圖1所示。

融合步驟具體如下：（1）搭建姿態估計系統，獲取載體固定參考系坐標系下多軸傳感器數據，陀螺儀采集的三軸角速度數據，加速度計采集的三軸加速度數據，磁力計采集的三軸磁感應強度數據；（2）由于MEMS器件制造的特性，在芯片工作時會引入噪聲，對數據的測量造成影響，根據MEMS噪聲白噪聲呈現高斯分布的特性。VR仿真訓練儀（平臺）擬采用互補濾波算法對傳感器的原始數據進行濾波，并對這兩個傳感器采集的數據做歸一化處理；（3）根據四元數微分方程和姿態矩陣構建載體系統的狀態方程，并得到系統的過程噪聲方差矩陣；（4）利用快速高斯-牛頓法構建系統的觀測模型，并得到系統的測量噪聲方差矩陣；（5）根據建立的系統狀態方程和觀測模型建立擴展卡爾曼濾波遞推方程；（6）利用每次遞推得到的最佳四元數解算載體的三個姿態角：航向角、俯仰角、橫滾角，最終得到數據融合后各個關節位置慣性測量單元所測量的姿態。

2. 警務培訓人員虛擬空間動作姿態三維映射

基于慣性傳感器數據融合的人體運動姿態獲取方法就是利用慣性傳感器采集到的人體動作數據驅動已經構建好的人體骨模型，重構人體動作中的各個姿態。所以構建符合人體基本運動特征的人體骨模型是進行人體運動姿態三維重構的首要前提。

根據設計的人體骨骼組成的人體骨骼樹形結構，在全身各個肢體部位綁定多個慣性傳感器，分別采集人體的頭部、大臂、小臂、腰、胸、大腿和小腿的運動姿態數據。

（二）面向大型城市隨機犯罪事件和公共突發事件演練場景的感知交互設備開發

大型城市隨機犯罪事件和公共突發事件演練場景需要讓警務培訓人員具有在大型虛擬場景中通過行走和奔跑的方式實現場景漫游，在執行出警任務時，需要通過全身反饋，將警務人員在虛擬世界中遭遇的碰撞、爆炸、沖擊、中彈等感覺進行模擬，從而進一步還原培訓人員的現實感覺。為此，VR仿真訓練儀（平臺）擬開發面向大型城市隨機犯罪事件和公共突發事件演練場景的感知交互系統，實現培訓人員具有全身模擬觸感的同時，能夠進行大場景的無限運動。

1. 萬向行動平臺

萬向行動平臺通過中心軸連接在下支架上方的上支架以及背部方柱支架，所述背部支架底部朝向中心軸側彎折且可圍繞中心軸轉動的連接在中心軸上，從而實現培訓人員在一定范圍內的行走、跑動、起跳、彎腰、下蹲以及左右橫移等動作；萬向行動平臺將采用新型設計，結構簡單，基礎用料少，成本低；中心軸背部支架轉動形式，轉動靈敏，使用過程中轉動流暢，大幅度提升了培訓人員體驗；POM剎車柱設計，結合弧面行走底盤及橡膠止滑結構，能夠有效提供安全保護。

2. 智能穿戴背心

智能穿戴背心是能夠搭載全身動作捕捉系統的穿戴背心，能夠結合慣性動作捕捉系統及模擬反饋系統，使警務培訓人員的運動姿態同步映射到虛擬世界，達到深度沉浸的大型城市隨機犯罪事件和公共突發事件演練體驗。穿戴背心通過萬向行動平臺上的背部支架進行固定，對培訓人員提供背心式的保護，能夠在培訓人員在有摔倒傾向時提供及時有效的保護，安全性高。背包式的骨架設計，能夠單人獨立完成穿戴，方便快捷。

力反饋系統設備主體由背心和與背心相連的反饋單元構成，如圖4所示，在人體軀干的正面分布有6個反饋單元，依次分布在腰部、肋骨以及胸部（每個部位對稱分布兩個單元），背部分布2個單元，后腰部分布有2個單元，四肢分布8個單元，頭部分布2個單元。通過混合輸入不同的脈沖信號，可以實現復雜的振動表現。

利用多個力反饋點之間的組合震動，模擬反饋點以外的身體力反饋，從而模擬覆蓋軀干85%以上的感受面積。例如當培訓人員在虛擬場景中被子彈擊中的位置不在反饋點上時，系統會通過中槍位置周圍的幾個反饋點的震動來虛擬實際中槍位置的震動，從而大大增強培訓人員的沉浸感。

（三）多感覺反饋的沉浸式公共突發事件演練系統研究

1. 動捕傳感器多頻點多終端跳頻無線傳輸技術

為將分布于全身的動作捕捉傳感器的數據上傳到上位機，開發了一套多頻點多終端跳頻無線傳輸技術，頻道數達125個，系統工作在2.4GHz全球免申請ISM工作頻段，能夠自動調頻、自動應答及自動重發，內置地址及CRC數據校驗模功能，可以將每一個傳感器采集到的數據快速準確的傳輸到上位機。

2. 動捕傳感器及力反饋單元無損數據編碼壓縮技術

數據壓縮是指在不丟失有用信息的前提下，縮減數據量以減少存儲空間，提高其傳輸、存儲和處理效率，或按照一定的算法對數據進行重新組織，這是減少數據冗余和存儲空間的一種技術方法。動作捕捉系統分布于全身的傳感器多達數十個，力反饋單元多達近二十個，每個傳感器和單元的數據量隨時間會變得非常龐大，需要開發無損數據編碼壓縮技術，在不影響數據準確度的情況下，將需要傳輸的數據進行編碼和重構，壓縮40%的字節數，使通訊的效率大幅提升，并降低數據傳輸的延時。

3. 融合視-聽-觸多感覺反饋的沉浸式隨機犯罪事件和公共突發事件演練系統平臺搭建及應用

現有的虛擬現實交互系統通常使用顯示器、頭盔、立體聲耳機等設備來實現逼真的視覺和聽覺體驗，但用戶在交互過程中能夠獲得的觸覺體驗極為貧乏。而針對公共突發事件演練的虛擬現實系統，如果只能通過自身的想象力在腦海中構造相應的碰撞、槍擊、中彈等交互場景，將會極大地降低交互的真實感和培訓人員的沉浸感，影響培訓效果。

研究通過將多元觸覺和沉浸式視覺以及聽覺相融合的方式，能夠顯著增強用戶的交互沉浸感。融合視-聽-觸多感覺反饋的沉浸式平臺，如圖5所示，實現虛擬場景中，由人體骨架模型建立的人物虛擬化身與場景中的虛擬物體進行交互，實現視覺、聽覺和觸覺的實時反饋，可用于進行隨機犯罪事件和公共突發事件演練場景的培訓。

融合視-聽-觸多感覺反饋的沉浸式隨機犯罪事件和公共突發事件演練系統是一個多平臺集成的復雜系統，需要兼顧各個子系統的接口兼容性問題，還需考慮整個系統的公共突發事件演練應用場景以及培訓人員的需求。

支持視-聽-觸多感覺反饋的虛擬現實交互系統需要通過安裝在關鍵部位的動作捕捉傳感器和無限運動平臺，采集用戶的空間位置和各關節姿態，將原始數據進行壓縮編碼后通過多頻多終端跳頻無限傳輸技術傳輸給數據采集上位機。上位機將數據傳入三維引擎，三維引擎主要用于虛擬模型的構建，模型的貼圖渲染，整個場景的光照烘焙，從而將虛擬場景的整個視覺渲染輸出給用戶。上位機的輸入數據用于驅動用戶骨架模型運動，定位用戶在整個場景中的空間位置，從而實現用戶動作和操作在虛擬空間的映射，配合三維引擎中對各個虛擬模型的規則定義，碰撞檢測，力/觸覺計算和聲音模擬，實現用戶動作行為所對應的觸覺反饋數據和聲音反饋數據。最終通過觸覺反饋設備、便攜式聽覺設備和虛擬現實顯示設備，將觸覺、聽覺和視覺信息反饋給用戶，實現高沉浸感的虛擬現實交互。

（四）創新點

1. 數據融合算法

慣性測量單元測得的數據容易受到高頻噪聲和時變的偏置的影響，所以傳感器數據融合算法中需要進行平滑處理以及無偏置估計。為了獲得精準的姿態，需要將加速度計和磁力計的數據與陀螺儀輸出的角速度數據進行融合，但采用傳統歐拉角作為系統狀態變量的姿態解算模型中，在關節運動到奇點的時刻，姿態角將無法正確計算。因此提出一種基于四元數的擴展卡爾曼濾波算法的姿態解算方法，采用四元數來代替歐拉角（俯仰角、翻滾角、偏航角）作為系統狀態量，從而避免奇點的姿態角計算問題。

2. 模擬力反饋

相較于傳統力反饋通過在身體多個點上安裝反饋裝置，在碰撞、爆照、中彈等虛擬場景交互時只能在孤立的幾個點上進行力反饋，不能給培訓人員逼真的感受。采用多點模擬力反饋的方式，對即使在沒有反饋裝置的部位發生碰撞、中彈等虛擬交互，也通過調整多點震動頻率，模擬該點的震動，從而提高場景的沉浸感。

其中所采用的反饋單元構成，在人體軀干的正面分布有6個反饋單元，依次分布在腰部、肋骨以及胸部（每個部位對稱分布兩個單元），背部分布2個單元，后腰部分布有2個單元，四肢分布8個單元，頭部分布2個單元。反饋單元由世界領先的HAPTICTMReactor Hybrid Tough Type振動器構成，此振動器啟動和停止迅速，可以實現高頻率振動，以及多種頻率振動合成的效果，通過混合輸入不同的脈沖信號，就可以實現全覆蓋的復雜振動表現。

3. 融合視-聽-觸多感覺反饋的虛擬現實系統

虛擬現實技術的飛速發展促進了虛擬現實應用對沉浸式技術的需求，具體體現在對多元觸覺、沉浸式視覺、聽覺以及視-聽-觸覺融合反饋的時空一致性匹配的迫切需求。

相較于傳統單一視覺反饋的虛擬現實系統，在融合視-聽-觸多感覺反饋的虛擬現實交互系統中，多元傳感裝置實時獲取用戶位置、姿勢等信息為計算機提供輸入信號，三維引擎軟件對從傳感裝置獲取的輸入信號進行解析，隨后對虛擬環境作相應的更新，三維可視化及其他反饋（如聲音和反饋力等）信息通過相應的輸出設備反饋給用戶，使其獲得多種感官上的體驗效果。多元反饋能夠為警務培訓人員提供大型公共安全演練虛擬場景觀感、射擊碰撞、中彈的震動、模擬環境及自我動作發出的聲音等多種類型的感受體驗，聽覺、多元觸覺與沉浸式視覺的融合反饋需要實現三者在時間與空間上的同步，以提升交互體驗。

三、應用場景

公安民警VR仿真訓練儀（平臺）與其他類似裝備在技術和功能上具有一定的差異性，主要體現在動態捕捉技術、運動空間的實現、應用場景的搭建等方面。這使得VR仿真訓練儀（平臺）具有一定的獨特性，間接地提高了競爭優勢。同時，在應用過程中，可針對不同用戶需求，提供不同的應用方案。例如，針對轄區派出所，以推廣單一訓練設備為主，而針對市區直屬公安機關，則以推廣建設多人協同訓練的VR警務實戰訓練中心為主（如圖6所示）。同時針對不同轄區的實際需求，調整虛擬現實訓練場景的建設以及虛擬設備的搭建。

以某公安戰訓基地實施方案為例，VR警務實戰訓練系統可以分為：VR訓練模塊、指揮中心系統、APP管理平臺、Web端管理系統、指揮官系統。 從警務訓練到日常學習，都可以使用整套系統。

場景1：訓 練者借助VR訓練設備完成兩種練習。

（1）VR虛擬打靶訓練

受各種條件制約，對于基層民警來說，每年實彈訓練次數有限。而靶場的訓練又比較特殊，有的民警常常會忘記靶場訓練的流程和規范，部分民警還對持槍有心理抗拒，這使得靶場訓練的效率和效果極低。VR虛擬打靶訓練的建立本身就是依托于虛擬現實基礎打造完整的靶場訓練流程，讓基層民警可以在任何時間、任何地點進行靶場的訓練。

利用VR警務實戰訓練系統能夠自由行走的特性，結合VR視覺技術，使整個射擊流程重現，鞏固民警對訓練流程的認知，解放訓練時教官的人力，降低民警持槍的心理障礙，是高效、安全、低成本的訓練方式。

（2）VR街道巡邏緊急事件處理訓練

實景訓練在目前的訓練體系中是幾乎沒有的，實景巡邏訓練社會影響大，配合單位多，而往往基層民警無法參與，這就導致了基層民警在巡邏時，如果遇到了一些訓練中沒有的突發情況，往往無法即時、正確的應對事件。VR街道巡邏緊急事件處理訓練，本身就是依托于現實場景打造虛擬環境，讓民警可以在不需要其他部門支持的情況下，還原實景巡邏的感覺，并且遭遇各種突發的治安事件，根據規范流程進行事件處理。

利用VR警務實戰訓練系統能夠自由行走的特性，結合VR視覺技術，使街景數字化重現，讓使用民警身臨其境般的進行巡邏演練，既簡單，又方便，還能彌補當前訓練沒有的實戰訓練環節。

場景2：通過訓練系統平臺實現與現有VR訓練系統之間的信息互通，為警員、智能訓練的業務、VR訓練的業務和訓練數據管理提供準確的信息資源，幫助警員訓練優化流程、實現閉環管理，提高訓練質量和訓練管理效率。將傳統的訓練系統管理和現有的智能訓練管理整合到新型的移動互聯網系統中。

場景3：指揮官系統的應用。首創VR+AR模式指揮官系統，指揮官可以隨時隨地使用AR系統對VR訓練者進行指令，減少延誤時間，增加作戰效率。同時增加自定義模塊化訓練系統充分發揮訓練者的應變能力，自由組合訓練場景，突破傳統的日常警務訓練依托于場地、器材、教授人員水平等的限制，難以實現訓練標準統一化。

四、實戰應用成效

訓練系統創新了一種警務訓練應用。得益于不斷累積的訓練數據，可以優化訓練流程，提升訓練效果。通過在實際應用中優化升級，滿足更加復雜的針對性訓練需求。這套系統現成功應用于重慶市公安局江北區分局，在一年的使用過程中，江北分局先后有500余名民警使用了此套系統，充分利用民警的碎片化時間，取得了良好的訓練成果。后臺數據顯示，規范執法流程的錯誤率從原來的10%降低至3%。同時通過系統采集到的訓練數據，教官可以更好的分析每個訓練者的情況進行針對性的訓練。這套系統的應用顯著減少了訓練成本，提高了訓練效率，起到了良好的示范效應。

新技術的應用讓受訓者在訓練時更有代入感、沉浸感；定制的訓練內容幫助基層民警提高對槍械的敏感性和熟悉程度，緩解實際使用中因緊張產生的壓力，采取正確的執法流程。VR仿真訓練儀（平臺）榮獲了2019年重慶市公安改革創新大賽一等獎，并已入選公安部科技成果推廣目錄。

五、結語

近年來，動作捕捉系統的發展與應用，為精確三維動態建模及全身動態數據采集提供了有力支撐。公安民警VR仿真訓練儀（平臺）在現有的無限運動平臺及動映力反饋系統的基礎上，引入慣性動作捕捉系統，以提高系統的沉浸感、臨在感與交互性。該系統為提高警務訓練效率提供了一種新的選擇，在訓練領域具有廣闊的應用前景。