基于圖像識(shí)別跟蹤的增強(qiáng)現(xiàn)實(shí)電子沙盤電磁態(tài)勢(shì)展示技術(shù)

賀媛媛，何 歡，竇雪倩，徐 晶

（中國(guó)電子科技集團(tuán)公司第二十九研究所，四川 成都 610036）

0 引言

隨著傳感器、軍事通信、信息網(wǎng)絡(luò)技術(shù)的發(fā)展，雷達(dá)、紅外、光電、偵察、干擾等各種傳感器在陸、海、空、天多維空間立體化部署，戰(zhàn)場(chǎng)電磁環(huán)境日益復(fù)雜［1-2］。高效地匯集處理各方資源、為指揮員展示直觀的戰(zhàn)場(chǎng)態(tài)勢(shì)，輔助指揮員做出有效決策是態(tài)勢(shì)系統(tǒng)面臨的首要任務(wù)［3］。而數(shù)據(jù)量、數(shù)據(jù)屬性與數(shù)據(jù)維度的不斷增加，數(shù)據(jù)關(guān)系的愈加復(fù)雜使得傳統(tǒng)的平面可視化面臨巨大的危機(jī)和挑戰(zhàn)［4］，這些危機(jī)與挑戰(zhàn)主要是平面可視化呈現(xiàn)形式難以表達(dá)復(fù)雜、高維的數(shù)據(jù)集，傳統(tǒng)桌面端受到設(shè)備尺寸限制使得平面可視化協(xié)作性大大降低［5］。近年來(lái)，沉浸式技術(shù)的發(fā)展為態(tài)勢(shì)可視化分析提供了一類新的交互設(shè)備，所提供的交互界面具有沉浸感和參與感［6］，如更加廣闊的視野和具象化的交互設(shè)計(jì)，沉浸式技術(shù)正逐步向著為用戶提供更加接近真實(shí)物理環(huán)境的虛擬交互空間邁進(jìn)［7］。美軍高度重視戰(zhàn)場(chǎng)環(huán)境仿真和可視化技術(shù)，戰(zhàn)場(chǎng)三維環(huán)境可視化技術(shù)給訓(xùn)練帶來(lái)“實(shí)境式”體驗(yàn)，并且在地形分析研究與部隊(duì)訓(xùn)練中發(fā)揮著越來(lái)越重要的作用［8］。2021 年美軍與微軟簽訂4.8 億美元合同，打造基于混合現(xiàn)實(shí)的戰(zhàn)略決策、戰(zhàn)役規(guī)劃、戰(zhàn)術(shù)實(shí)施三層協(xié)同作戰(zhàn)決策與訓(xùn)練系統(tǒng)［9］。2022 年3 月美軍宣布“數(shù)字孿生全息實(shí)驗(yàn)室”在空軍基地建成并啟用，該實(shí)驗(yàn)室能夠以數(shù)字模型的形式展示空軍基地，使飛行員在虛擬環(huán)境中測(cè)試各種技術(shù)，并將成果轉(zhuǎn)化為可實(shí)戰(zhàn)的技術(shù)［10］。

當(dāng)前的混合現(xiàn)實(shí)技術(shù)欠缺對(duì)戰(zhàn)場(chǎng)電磁態(tài)勢(shì)的建模與顯示。常規(guī)的電子沙盤一定程度上能展現(xiàn)出戰(zhàn)場(chǎng)的三維態(tài)勢(shì)與軍事部署，但缺乏對(duì)大規(guī)模作戰(zhàn)環(huán)境電磁維度信息的展示，缺少對(duì)多用戶以不同全局視角同時(shí)觀察戰(zhàn)場(chǎng)態(tài)勢(shì)的研究，限制了指揮人員的協(xié)同作戰(zhàn)能力與指揮效率。

因此，本文針對(duì)400 km×400 km 超大規(guī)模復(fù)雜戰(zhàn)場(chǎng)環(huán)境，提出了基于增強(qiáng)現(xiàn)實(shí)顯示技術(shù)的電子沙盤電磁態(tài)勢(shì)展示技術(shù)解決方案，結(jié)合圖像識(shí)別定位、視覺跟蹤與重定位技術(shù)展開研究，嘗試解決多人以不同視角實(shí)時(shí)協(xié)同作戰(zhàn)情境下戰(zhàn)場(chǎng)復(fù)雜電磁態(tài)勢(shì)的多維、分層同屏展示。

1 典型需求分析

電磁態(tài)勢(shì)建模要素?cái)?shù)量多、種類豐富、電磁維度信息復(fù)雜多變，為支持不同用戶以不同視角同時(shí)觀察電磁態(tài)勢(shì)，對(duì)增強(qiáng)現(xiàn)實(shí)三維地圖識(shí)別與跟蹤能力提出了較高的要求。基于圖像識(shí)別跟蹤的增強(qiáng)現(xiàn)實(shí)電子沙盤電磁態(tài)勢(shì)展示技術(shù)，通過對(duì)二維地圖模板進(jìn)行局部特征提取、匹配，定位增強(qiáng)現(xiàn)實(shí)數(shù)字內(nèi)容的位置，采用視覺信息和慣性測(cè)量單元（IMU）緊耦合優(yōu)化策略進(jìn)行持續(xù)的6DOF 跟蹤定位，采用重定位技術(shù)消除因累計(jì)誤差造成的增強(qiáng)現(xiàn)實(shí)內(nèi)容定位偏移問題，從而準(zhǔn)確地將三維戰(zhàn)場(chǎng)環(huán)境地形和電子沙盤上的二維地圖模板對(duì)應(yīng)，并保證精確跟蹤。

基于圖像識(shí)別跟蹤的增強(qiáng)現(xiàn)實(shí)電子沙盤電磁態(tài)勢(shì)展示技術(shù)有2 個(gè)核心技術(shù)點(diǎn)，分別為：三維地圖識(shí)別能力和位移變換后的視覺準(zhǔn)確性跟蹤能力。通過對(duì)以上技術(shù)點(diǎn)的突破，實(shí)現(xiàn)對(duì)大規(guī)模地形環(huán)境的準(zhǔn)確識(shí)別定位，為向用戶提供新穎的、沉浸式的作戰(zhàn)體驗(yàn)奠定基礎(chǔ)，從而將各類戰(zhàn)場(chǎng)要素準(zhǔn)確、形象地展現(xiàn)在三維增強(qiáng)現(xiàn)實(shí)虛擬模型中，超越了傳統(tǒng)二維/三維態(tài)勢(shì)系統(tǒng)的人機(jī)交互體驗(yàn)。

2 架構(gòu)設(shè)計(jì)

基于圖像識(shí)別跟蹤的增強(qiáng)現(xiàn)實(shí)電子沙盤電磁態(tài)勢(shì)展示技術(shù)，對(duì)大規(guī)模戰(zhàn)場(chǎng)環(huán)境中敵對(duì)雙方海、陸、空、天各型裝備作戰(zhàn)能力作用下的復(fù)雜電磁環(huán)境進(jìn)行研究，對(duì)雙方各型裝備及其獨(dú)立作戰(zhàn)能力和聯(lián)合作戰(zhàn)能力進(jìn)行三維立體建模，以二維和增強(qiáng)現(xiàn)實(shí)相結(jié)合的方式分層、多維全景展示戰(zhàn)場(chǎng)環(huán)境中分布的各維度信息。并結(jié)合指揮員作戰(zhàn)需求，研究多人以不同全局視角同時(shí)觀察增強(qiáng)現(xiàn)實(shí)電子沙盤或某一指揮員與增強(qiáng)現(xiàn)實(shí)電子沙盤交互時(shí)增強(qiáng)現(xiàn)實(shí)電子沙盤的實(shí)時(shí)切換與電磁態(tài)勢(shì)展示能力。

本文的研究架構(gòu)如圖1 所示，主要包括電子沙盤、增強(qiáng)現(xiàn)實(shí)眼鏡與增強(qiáng)現(xiàn)實(shí)管理服務(wù)。其中，圖像識(shí)別跟蹤技術(shù)通過對(duì)二維電子沙盤地圖模板圖像進(jìn)行局部特征提取、匹配，定位增強(qiáng)現(xiàn)實(shí)數(shù)字內(nèi)容的位置，采用視覺信息和慣性測(cè)量單元（IMU）緊耦合優(yōu)化策略進(jìn)行持續(xù)的6DOF 跟蹤定位，采用重定位技術(shù)消除因累計(jì)誤差造成的增強(qiáng)現(xiàn)實(shí)數(shù)字內(nèi)容定位偏移問題，從而持續(xù)準(zhǔn)確地將三維虛擬電磁態(tài)勢(shì)和電子沙盤上的地圖地形對(duì)應(yīng)，保證精確跟蹤。增強(qiáng)現(xiàn)實(shí)管理服務(wù)后臺(tái)程序通過數(shù)據(jù)的接入、二三維轉(zhuǎn)換、圖層管理與通信等實(shí)現(xiàn)對(duì)電子沙盤端與增強(qiáng)現(xiàn)實(shí)眼鏡端數(shù)據(jù)的推送。本技術(shù)通過圖像識(shí)別跟蹤定位技術(shù)支持用戶直接與電子沙盤進(jìn)行交互，支持用戶通過增強(qiáng)現(xiàn)實(shí)眼鏡與電子沙盤進(jìn)行交互，支持多用戶圍繞電子沙盤移動(dòng)觀察增強(qiáng)現(xiàn)實(shí)電磁態(tài)勢(shì)。

圖1 增強(qiáng)現(xiàn)實(shí)電磁態(tài)勢(shì)實(shí)現(xiàn)框架

3 關(guān)鍵技術(shù)實(shí)現(xiàn)

為滿足多人同時(shí)觀看大規(guī)模電磁態(tài)勢(shì)虛擬內(nèi)容需求并保證各增強(qiáng)現(xiàn)實(shí)眼鏡中呈現(xiàn)的數(shù)字內(nèi)容的位置保持一致，需要實(shí)時(shí)定位跟蹤虛擬內(nèi)容在真實(shí)空間中的具體位置。三維地圖AR 圖像識(shí)別跟蹤過程如圖2 所示，首先計(jì)算電子沙盤與虛擬內(nèi)容的相對(duì)位置，確定虛擬內(nèi)容在真實(shí)環(huán)境的準(zhǔn)確初始位置，以保證多人在不同視角下觀察數(shù)字內(nèi)容的初始位置具備一致性。初始位置確定后，采用VIO 跟蹤技術(shù)，解決當(dāng)用戶圍繞電子沙盤大尺度自由移動(dòng)觀察電磁態(tài)勢(shì)時(shí)虛擬內(nèi)容能持續(xù)穩(wěn)定地定位在初始位置的問題。最后針對(duì)系統(tǒng)長(zhǎng)時(shí)間運(yùn)行導(dǎo)致的位置偏移問題，采用重定位技術(shù)修正累積誤差，確保用戶長(zhǎng)時(shí)間移動(dòng)觀察增強(qiáng)現(xiàn)實(shí)電磁態(tài)勢(shì)時(shí)虛擬內(nèi)容定位的準(zhǔn)確性。

圖2 圖像識(shí)別跟蹤過程

3.1 三維地圖識(shí)別能力

增強(qiáng)現(xiàn)實(shí)三維地圖識(shí)別技術(shù)基于局部特征匹配算法對(duì)電子沙盤的二維地圖進(jìn)行識(shí)別定位，核心過程如圖3 所示，依次包括生成多分辨率高斯差分金字塔、DOG 局部極值檢測(cè)、特征點(diǎn)主方向確定及描述子的生成。

圖3 AR 圖像識(shí)別過程

1） 生成多分辨率高斯差分金字塔

首先定義圖像的尺度空間L(x，y，σ)為原始圖像I(x，y)與可變尺度的二維高斯函數(shù)G(x，y，σ)的卷積。二維高斯函數(shù)G(x，y，σ)中（x，y）表示圖像像素的位置：

則尺度空間表示為：

為實(shí)現(xiàn)不同的尺度空間搜索且保障尺度體系連續(xù)性，對(duì)圖像做不同尺度的高斯模糊和降采樣。為有效提取穩(wěn)定的關(guān)鍵點(diǎn)，利用不同尺度的高斯差分核與卷積生成DOG 高斯差分金字塔，即將圖像在不同參數(shù)下的高斯濾波結(jié)果相減，得到DOG圖像，從而觀察圖像上的像素值變化情況。DOG 函數(shù)為：

2） DOG 局部極值檢測(cè)

為確保在圖像空間和尺度空間都能檢測(cè)到極值點(diǎn)，DOG 局部極值點(diǎn)檢測(cè)不但包括與本層臨近同尺度的8 個(gè)相鄰點(diǎn)像素之間相互比較，還需要和上下兩層相鄰尺度對(duì)應(yīng)的9×2 個(gè)像素點(diǎn)相互比較，一共需要比較 8+2×9 =26 個(gè)像素。然后通過擬合三維二次函數(shù)來(lái)精確確定關(guān)鍵點(diǎn)的位置和尺度，同時(shí)因?yàn)镈OG 算子會(huì)產(chǎn)生較強(qiáng)的邊緣效應(yīng)，所以需要去除對(duì)比度低的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)。

3） 特征點(diǎn)主方向確定

通過高斯差分金字塔、DOG 極值檢測(cè)算法已經(jīng)找到了在不同尺度下都存在的特征點(diǎn)，為了實(shí)現(xiàn)圖像旋轉(zhuǎn)不變性，需要對(duì)特征點(diǎn)的方向進(jìn)行賦值。本文利用特征點(diǎn)鄰域像素的梯度來(lái)確定其方向參數(shù)，再利用圖像的梯度直方圖求取關(guān)鍵點(diǎn)局部結(jié)構(gòu)的穩(wěn)定方向。首先使用有限差分，計(jì)算以特征點(diǎn)為中心，以3×1.5σ為半徑的區(qū)域內(nèi)圖像梯度的幅值m(x，y)和方向θ(x，y)。然后使用梯度方向直方圖統(tǒng)計(jì)鄰域內(nèi)像素對(duì)應(yīng)的梯度方向和幅值，當(dāng)存在一個(gè)相當(dāng)于主峰值能量80%的峰值時(shí)，將這個(gè)方向認(rèn)為是該特征點(diǎn)的輔方向。一個(gè)特征點(diǎn)可能檢測(cè)到多個(gè)方向，這可以增強(qiáng)匹配的魯棒性。獲得圖像特征點(diǎn)主方向后，每個(gè)特征點(diǎn)有3 個(gè)信息：位置、尺度、方向，由此可以確定一個(gè)特征區(qū)域。

4） 生成描述子

對(duì)關(guān)鍵點(diǎn)周圍圖像區(qū)域分塊，計(jì)算塊內(nèi)梯度直方圖，生成具有唯一性的該區(qū)域圖像信息的描述子。假設(shè)將關(guān)鍵點(diǎn)的尺度空間劃分為d×d個(gè)子區(qū)域，每個(gè)子區(qū)域作為一個(gè)種子點(diǎn)，每個(gè)點(diǎn)有8 個(gè)方向的梯度信息，最終共有d×d×8 個(gè)數(shù)據(jù)，形成d×d×8 維特征矢量。除去光照變化影響，進(jìn)一步對(duì)特征向量門限化、歸一化，生成描述子。

在AR 圖像識(shí)別定位技術(shù)中，預(yù)先將電子沙盤呈現(xiàn)的戰(zhàn)場(chǎng)二維地形圖通過電子沙盤與虛擬內(nèi)容定位技術(shù)生成可供識(shí)別的模板描述子集合。當(dāng)用戶佩戴AR 眼鏡或者手持設(shè)備對(duì)電子沙盤呈現(xiàn)的戰(zhàn)場(chǎng)二維地形進(jìn)行圖像識(shí)別時(shí)，通過當(dāng)前電子設(shè)備Camera 圖像數(shù)據(jù)的輸入實(shí)時(shí)計(jì)算當(dāng)前設(shè)備鏡頭圖像的實(shí)時(shí)描述子，并建立實(shí)時(shí)描述子集合，然后通過匹配兩集合內(nèi)關(guān)鍵點(diǎn)描述子的相似性完成目標(biāo)識(shí)別。具體模板描述子與實(shí)時(shí)描述子匹配算法為：

模板圖中關(guān)鍵點(diǎn)描述子：

實(shí)時(shí)圖中關(guān)鍵點(diǎn)描述子：

任意兩描述子相似性度量：

配對(duì)的關(guān)鍵點(diǎn)描述子需滿足：

本文采用平衡二叉樹數(shù)據(jù)結(jié)構(gòu)完成關(guān)鍵點(diǎn)匹配算法搜索，搜索的內(nèi)容以目標(biāo)圖像的關(guān)鍵點(diǎn)為基準(zhǔn)，搜索與目標(biāo)圖像的特征點(diǎn)最鄰近的原圖像特征點(diǎn)和次鄰近的原圖像特征點(diǎn)。然后對(duì)特征點(diǎn)匹配集合利用隨機(jī)抽樣一致（RANSAC）濾除錯(cuò)誤匹配。最后通過特征點(diǎn)準(zhǔn)確的匹配關(guān)系進(jìn)行三維位姿估算，計(jì)算出AR 內(nèi)容應(yīng)該呈現(xiàn)的正確位置。

3.2 位移變換后的視覺準(zhǔn)確性跟蹤

通過增強(qiáng)現(xiàn)實(shí)三維地圖識(shí)別技術(shù)可以正確計(jì)算出AR 眼鏡與電子沙盤的相對(duì)初始位置，但增強(qiáng)現(xiàn)實(shí)展示內(nèi)容以86 寸沙盤為基礎(chǔ)，作戰(zhàn)單元種類多、分布廣，電磁覆蓋展示范圍大，用戶在固定位置無(wú)法全方位、直觀地觀看整個(gè)增強(qiáng)現(xiàn)實(shí)電磁態(tài)勢(shì)，需要圍繞電子沙盤移動(dòng)式觀看電子沙盤，會(huì)存在走近、走遠(yuǎn)，仰視、俯視等多種觀察方式。因此本文采用視覺信息和慣性測(cè)量單元（IMU）緊耦合的6DOF 優(yōu)化策略，實(shí)現(xiàn)位移變換后增強(qiáng)現(xiàn)實(shí)虛擬內(nèi)容的準(zhǔn)確性跟蹤與重定位。實(shí)現(xiàn)過程如圖4 所示，包括數(shù)據(jù)預(yù)處理、后端非線性優(yōu)化和重定位檢測(cè)。

圖4 位移變換后的準(zhǔn)確性跟蹤過程

1） 數(shù)據(jù)預(yù)處理

利用KLT 稀疏光流法對(duì)每一個(gè)地理環(huán)境新圖像存在的特征點(diǎn)進(jìn)行跟蹤。同時(shí)，檢測(cè)新的角點(diǎn)特征以保證每幅圖像特征的最小數(shù)目，利用基本矩陣模型的RANSAC 算法進(jìn)行外點(diǎn)剔除。為獲得每個(gè)圖像幀對(duì)應(yīng)的IMU 數(shù)據(jù)，對(duì)2 個(gè)圖像幀之間的IMU 數(shù)據(jù)進(jìn)行積分，實(shí)現(xiàn)圖像幀和IMU 數(shù)據(jù)的意義配對(duì)。同時(shí)，使用IMU 預(yù)積分，當(dāng)圖中某個(gè)狀態(tài)量發(fā)生變化時(shí)，直接通過預(yù)積分的值更新之后的每個(gè)關(guān)鍵幀的狀態(tài)量。

2） 后端非線性優(yōu)化

基于滑動(dòng)窗口的緊耦合后端非線性優(yōu)化：在目標(biāo)函數(shù)中對(duì)視覺約束、IMU 約束、閉環(huán)約束進(jìn)行非線性優(yōu)化，求出滑動(dòng)窗口中所有幀的PVQ、bias，得到最后姿態(tài)的最優(yōu)解。狀態(tài)向量共包括滑動(dòng)窗口內(nèi)的n+1個(gè)所有相機(jī)的狀態(tài)（包括位置、朝向、速度、加速度計(jì)bias 和陀螺儀 bias）、相機(jī)到 IMU 的外參、m+1 個(gè)3D點(diǎn)的逆深度：

目標(biāo)函數(shù)如式（13）所示，其中三個(gè)殘差項(xiàng)分別為邊緣化的先驗(yàn)信息、IMU 測(cè)量殘差、視覺的重投影殘差。

3） 重定位檢測(cè)

采用 BRIEF 描述子的DBOW2 詞袋進(jìn)行重定位檢測(cè)，前端識(shí)別的 Harris 角點(diǎn)數(shù)量通常只有70 個(gè)，對(duì)于閉環(huán)檢測(cè)遠(yuǎn)遠(yuǎn)不夠，因此會(huì)對(duì)新來(lái)的幀即后端非線性優(yōu)化剛處理完的關(guān)鍵幀再重新閉環(huán)檢測(cè)500 個(gè)FAST 角點(diǎn)，同時(shí)對(duì)所有新、老特征點(diǎn)進(jìn)行 BRIEF 描述。然后計(jì)算當(dāng)前幀與詞袋的相似度分?jǐn)?shù)，并與關(guān)鍵幀數(shù)據(jù)集合中所有幀進(jìn)行對(duì)比，通過閉環(huán)一致性檢測(cè)得到閉環(huán)候選幀。最后利用 BRIEF 描述子對(duì)閉環(huán)中老幀的500 個(gè)FAST 角點(diǎn)和當(dāng)前幀的70 個(gè)Harris 角點(diǎn)進(jìn)行基于描述子的鄰域匹配并利用 RANSAC 算法剔除誤配點(diǎn)，當(dāng)剔除后的匹配點(diǎn)仍超過閾值時(shí)，判定該候選幀是一個(gè)正確的重定位幀，即可將當(dāng)前的姿態(tài)更新為重定位姿態(tài)。

通過采用視覺信息和IMU 信息緊耦合的優(yōu)化方案，大幅提升了位移變換時(shí)AR 圖像跟蹤的穩(wěn)定性、準(zhǔn)確性，滿足了多用戶以不同視角同時(shí)移動(dòng)觀看增強(qiáng)現(xiàn)實(shí)電磁態(tài)勢(shì)需求。

4 工程應(yīng)用驗(yàn)證

4.1 三維地圖識(shí)別能力

三維地圖識(shí)別能力的試驗(yàn)原理和驗(yàn)證過程如圖5所示，通過對(duì)識(shí)別模板虛擬模型的準(zhǔn)確位姿與虛擬模型的識(shí)別位姿進(jìn)行對(duì)比，計(jì)算得出多用戶、多視角觀察前提下電子沙盤戰(zhàn)場(chǎng)地圖的識(shí)別誤差。

圖5 三維地圖識(shí)別能力驗(yàn)證過程

首先輸入待識(shí)別地圖圖片，使用open cv 的slove-PNP 方法利用圖片四個(gè)角的位置計(jì)算出增強(qiáng)現(xiàn)實(shí)相機(jī)識(shí)別的初始模型的位姿POSE，記錄此時(shí)人工識(shí)別的位姿信息POSE 為準(zhǔn)確位姿。使用識(shí)別算法對(duì)待識(shí)別地圖圖像進(jìn)行三維地圖識(shí)別，得到三維地圖虛擬模型的識(shí)別位姿。隨意選取4 張識(shí)別地圖模板，分別進(jìn)行試驗(yàn)計(jì)算地圖模板的識(shí)別位姿與準(zhǔn)確位姿的誤差（識(shí)別位姿的位置與準(zhǔn)確位姿的位置做算術(shù)平方根，識(shí)別位姿的姿態(tài)與準(zhǔn)確位姿的姿態(tài)做算術(shù)平方根），分別得到4 張地圖模板的位移誤差在1%～2%之間，旋轉(zhuǎn)誤差（姿態(tài)的歐拉角誤差）在1%度～2%度之間，如表1 所示。實(shí)驗(yàn)證實(shí)，本技術(shù)使用的增強(qiáng)現(xiàn)實(shí)三維地圖識(shí)別算法能夠準(zhǔn)確地對(duì)地圖模板進(jìn)行識(shí)別定位，同時(shí)用戶佩戴增強(qiáng)現(xiàn)實(shí)眼鏡觀察電磁態(tài)勢(shì)時(shí)能夠看到準(zhǔn)確識(shí)別定位的虛擬內(nèi)容，用戶體驗(yàn)良好。

表1 識(shí)別定位誤差表

4.2 位移變換后的視覺準(zhǔn)確性跟蹤

用戶在觀察增強(qiáng)現(xiàn)實(shí)電子沙盤時(shí)會(huì)不斷變化自己的位置，為了使用戶能持續(xù)看到精準(zhǔn)定位的增強(qiáng)現(xiàn)實(shí)虛擬模型，虛擬世界與現(xiàn)實(shí)世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系要不斷地根據(jù)用戶的觀察位置和角度來(lái)做出相應(yīng)的、實(shí)時(shí)的改變，即要同時(shí)確定不同用戶觀察的位置和角度并改變坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。

本實(shí)驗(yàn)通過日志方式，記錄用戶佩戴AR 眼鏡圍繞電子沙盤移動(dòng)觀察增強(qiáng)現(xiàn)實(shí)電磁態(tài)勢(shì)時(shí)三維虛擬電磁態(tài)勢(shì)模型的識(shí)別位置和用戶的位移，計(jì)算相對(duì)用戶位移的識(shí)別誤差。如表2 所示，計(jì)算用戶在不同位置的觀察時(shí)模型的算術(shù)平方根，用該算術(shù)平方根除以用戶在這2 個(gè)觀察點(diǎn)之間的位移，得到三維識(shí)別模型的視覺跟蹤與重定位誤差在0.008%～1%之間，位移變換后的視覺準(zhǔn)確性跟蹤精度較高，用戶佩戴增強(qiáng)現(xiàn)實(shí)眼鏡圍繞電子沙盤移動(dòng)觀察電子沙盤電磁態(tài)勢(shì)時(shí)能夠看到準(zhǔn)確識(shí)別定位的虛擬內(nèi)容，用戶體驗(yàn)良好。

表2 位移變換誤差表

4.3 效果驗(yàn)證

基于圖像識(shí)別跟蹤的增強(qiáng)現(xiàn)實(shí)電子沙盤電磁態(tài)勢(shì)展示技術(shù)效果如圖6 所示。經(jīng)驗(yàn)證，本技術(shù)在三維立體層次分層、多維、直觀地展示了戰(zhàn)場(chǎng)電磁態(tài)勢(shì)，支持多用戶以不同全局視角移動(dòng)、協(xié)同觀察大規(guī)模復(fù)雜戰(zhàn)場(chǎng)電磁態(tài)勢(shì)，用戶體驗(yàn)新穎。

圖6 增強(qiáng)現(xiàn)實(shí)電磁態(tài)勢(shì)效果圖

5 結(jié)束語(yǔ)

本文提出了一種基于圖像識(shí)別跟蹤的增強(qiáng)現(xiàn)實(shí)電子沙盤電磁態(tài)勢(shì)展示技術(shù)，依托400 km×400 km 真實(shí)戰(zhàn)場(chǎng)環(huán)境探索了電磁態(tài)勢(shì)的三維全景增強(qiáng)現(xiàn)實(shí)表現(xiàn)手段。實(shí)驗(yàn)證明，該技術(shù)的識(shí)別定位精度、位移跟蹤進(jìn)度準(zhǔn)確，更直觀地表現(xiàn)了三維電磁信號(hào)在空間的分布，用戶體驗(yàn)新穎、視覺效果顯著。■