面向頭戴式增強/混合現(xiàn)實設(shè)備的第三方視角技術(shù)研究

魏一雄，張燕龍，張紅旗，周紅橋，郭 磊，李 廣

（1.中國電子科技集團公司第三十八研究所，合肥 230088；2.安徽省技術(shù)標(biāo)準創(chuàng)新基地，合肥 230088）

0 概述

增強/混合現(xiàn)實（Augmented/Mixed Reality，AR/MR）技術(shù)是典型的數(shù)字化、虛擬化、智能化、網(wǎng)絡(luò)化集成的新一代人機交互技術(shù)，可以將計算機模擬的數(shù)字化信息數(shù)據(jù)與現(xiàn)實場景環(huán)境無縫疊加，突破空間/時間限制，實現(xiàn)高沉浸、無割裂感的實時信息指引、虛實互動。在人工智能、圖形仿真、虛擬通信、娛樂互動、產(chǎn)品演示、模擬訓(xùn)練等領(lǐng)域［1-3］，AR/MR 技術(shù)帶來了革命性變化，不斷推動新的使用場景和商業(yè)模式出現(xiàn)，釋放了傳統(tǒng)行業(yè)創(chuàng)新活力［4］。市場調(diào)研公司Digi-Capital 指出，到2020 年底，全球AR/MR 行業(yè)總收入水平將達到1 200 億美元。

主流增強/混合現(xiàn)實主要有基于二維顯示屏、基于二維投影、基于頭戴顯示設(shè)備（Head-Mounted Display，HMD）［5-6］3種實現(xiàn)形式。前兩種實現(xiàn)形式具有成本低、學(xué)習(xí)快的優(yōu)勢，與傳統(tǒng)的二維可視化使用習(xí)慣保持一致，但在實際應(yīng)用操作時有明顯的不足。頭戴式的實現(xiàn)方式也被稱作近眼顯示設(shè)備，包括視網(wǎng)掃描顯示、頭戴式顯示器、頭戴式投影顯示器3 種形態(tài)，都是固定在人體頭部，通過相應(yīng)的光學(xué)組件使得虛擬圖像可以疊加顯示在肉眼觀察的真實物體上，從而實現(xiàn)AR/MR 效果［7-9］。對比前兩種實現(xiàn)方式，HMD 的實現(xiàn)方式具有直觀性強、沉浸感高、可用性好（解放雙手）等優(yōu)勢，因此近年來在工程、建筑、制造等應(yīng)用領(lǐng)域受到廣泛關(guān)注。頭戴式增強/混合現(xiàn)實設(shè)備有兩種，一種是眼鏡形式的設(shè)備，例如谷歌的GoogleGlass，另一種是頭戴式的設(shè)備，如微軟的Hololens。

越來越多的高校、研究院所、企業(yè)單位開始將頭戴式增強/混合現(xiàn)實技術(shù)應(yīng)用于工業(yè)、建筑業(yè)和制造業(yè)等領(lǐng)域［10-12］。文獻［13］研究了基于可穿戴設(shè)備（谷歌眼鏡）的智能變電站巡檢虛擬視頻和實時數(shù)據(jù)展示技術(shù)，該技術(shù)突破了常規(guī)變電站巡檢難以有效獲取實時數(shù)據(jù)的障礙；德國蒂森克虜伯公司在2017年開始與微軟達成戰(zhàn)略合作，將頭戴式Hololens 設(shè)備應(yīng)用于工程師的產(chǎn)品培訓(xùn)以及客戶現(xiàn)場的遠程運維指導(dǎo)［14］；文獻［15］將頭戴式AR 設(shè)備應(yīng)用于船舶建造，提出基于HoloLens 的船舶分段建造工藝信息AR引導(dǎo)方法，有效提升了復(fù)雜結(jié)構(gòu)船舶的構(gòu)造效能。

頭戴式增強/混合現(xiàn)實設(shè)備雖然可以有效解決虛實融合、信息引導(dǎo)等問題，并提供較好的直觀、沉浸感受，但綜觀現(xiàn)有研究，可以發(fā)現(xiàn)多數(shù)應(yīng)用場合均為單人操作［16］，缺乏多人協(xié)同的應(yīng)用場景。這是因為頭戴式AR/MR 設(shè)備有典型獨占性缺陷，即僅使用者可以體驗虛實融合的場景，而其他人無法了解操作者所觀看到的內(nèi)容。當(dāng)應(yīng)用場景是個體即可完成，且不需要告知其他人員操作過程時并沒有問題，但如果應(yīng)用場景需要多人協(xié)同，或需要將操作人員所處的三維虛實融合空間與他人分享時，當(dāng)前的設(shè)備難以完成此項任務(wù)。文獻［17］針對上述問題提出了協(xié)同式增強現(xiàn)實的一致三維空間關(guān)系處理模型或方法，但該方法面向的是視頻序列的一致注冊，并未解決實時虛實融合場景的協(xié)同問題。微軟提出了兩種解決方案［18］：一種是通過視頻采集方式將第一視角的虛實疊加場景傳遞到網(wǎng)頁端（這也是主流AR/MR 設(shè)備視角分享方案），此種方式具有圖像抖動過大、分辨率較低和延遲較高等缺陷；另一種則是Spectator View 的解決方案，雖然此方案可以實現(xiàn)類似第三方視角效果，但平臺終端使用有限制，同時缺乏多終端的信息同步策略。在研究領(lǐng)域，還有企業(yè)提出基于命令同步和完全數(shù)據(jù)同步兩種第三方視角實現(xiàn)方式。第一種同步方式需要和程序強耦合，即在程序代碼每一處命令節(jié)點添加同步命令，適應(yīng)性較差，對用于使用的要求較高。第二種同步方式需要大帶寬的網(wǎng)絡(luò)環(huán)境，當(dāng)遇到較大模型和較多變化時，很容易發(fā)生信息丟失、卡頓現(xiàn)象。

針對上述問題，本文提出基于網(wǎng)絡(luò)通信的低延遲虛實融合內(nèi)容第三方視角可視化方法。該方法基于第三方相機位置以及空間方位換算獲得第三方視角方位，可以有效解決第一視角的抖動、傳輸延遲等問題，并根據(jù)主視角的交互信息/環(huán)境信息/虛實狀態(tài)的多種數(shù)據(jù)類型特點提出不同的同步策略，實現(xiàn)在多種第三方可視化裝置上對于虛實融合內(nèi)容的完全復(fù)現(xiàn)。同時為避免大數(shù)據(jù)量對于帶寬的壓力，提出了長時間連續(xù)發(fā)生信息變化對象的低數(shù)據(jù)量同步策略。

1 實現(xiàn)流程及框架

AR/MR 技術(shù)的本質(zhì)是虛擬信息數(shù)據(jù)在實際空間中的疊加，在這一過程中，較為重要的是虛擬信息數(shù)據(jù)在空間中的定位。本文首先進行物理空間中虛擬空間的注冊定位，確定虛擬信息在空間中的位置，然后根據(jù)第三方視角裝置在物理空間的觀察方位，改變對應(yīng)虛擬相機的空間方位，即可實現(xiàn)第三方設(shè)備對同一虛實融合空間的觀察。

為方便描述，本文定義如下若干描述語：

主視角裝置：即可頭戴式的AR/MR 設(shè)備裝置。

第三方視角裝置：即部署于物理空間，包含影像采集設(shè)備、計算設(shè)備、可視化設(shè)備等在內(nèi)的裝置，可以是整合于一起的裝置，如Pad、手機等，也可以是分離的設(shè)備，如圖1 所示。

圖1 第三方視角應(yīng)用示意圖Fig.1 Schematic diagram of third-party perspective application

客戶端：主視角和第三方視角此類可視化模塊均為客戶端。

服務(wù)端：部署于電腦中，用于處理通信會話數(shù)據(jù)的功能模塊。

錨點：是指在虛擬場景中構(gòu)建某一坐標(biāo)位置，并將這一坐標(biāo)位置與物理環(huán)境空間的相對位置鎖定。

由于AR/MR 設(shè)備的主要作用是輔助操作人員進行工作，意味著虛實融合空間中的內(nèi)容也是動態(tài)變化的場景內(nèi)容，需要通過信息同步的方式將操作端的交互信息/環(huán)境信息/虛實狀態(tài)等數(shù)據(jù)同步到第三方可視化設(shè)備，保證兩邊所看到的虛實融合場景變化同步，達到在虛實空間中溝通交流的目標(biāo)。第三方視角實現(xiàn)的一般流程如圖2 所示。

圖2 第三方視角實現(xiàn)的一般流程Fig.2 General procedure of third-party perspective implementation

實現(xiàn)過程主要分為兩種功能模塊：一種是系統(tǒng)初始化與校準，主要針對客戶端的初始化與校準操作，即主視角裝置的空間定位注冊、第三方視角裝置的設(shè)備校準、服務(wù)端的網(wǎng)絡(luò)通信會話建立等過程；另一種是針對交互信息/環(huán)境信息/虛實狀態(tài)等的數(shù)據(jù)如何在主視角裝置和第三方視角裝置間實時信息同步策略，其中包括數(shù)據(jù)傳輸方式、觸發(fā)條件、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)驅(qū)動等內(nèi)容。具體實現(xiàn)的技術(shù)框架如圖3 所示。

圖3 第三方視角實現(xiàn)的技術(shù)架構(gòu)Fig.3 Technical framework of third-party perspective implementation

2 系統(tǒng)初始化與校準

為保證多終端之間的數(shù)據(jù)通信要求，本文在電腦端構(gòu)建服務(wù)端程序，并在系統(tǒng)啟動時就開始構(gòu)建可以與其他硬件設(shè)備進行信息通信的數(shù)字化環(huán)境，即通信會話。通信會話是主視角與第三方視角間數(shù)據(jù)通信的基礎(chǔ)模塊，用于將序列化后的坐標(biāo)、材質(zhì)、標(biāo)識、命令等信息數(shù)據(jù)通過TCP/IP 協(xié)議實時傳遞。所有客戶端在初始化與校準之際均會啟動加入會話的流程，而服務(wù)端也會記錄所有加入會話的裝置、IP、ID 等信息數(shù)據(jù)，用于標(biāo)記后續(xù)傳遞數(shù)據(jù)的起點及終點。服務(wù)端主要實現(xiàn)：1）主視角裝置完成空間定位后，上傳并保存錨點信息；2）第三方視角裝置瞎猜錨點信息，反推自身所處空間位置；3）多終端信息同步傳輸。

系統(tǒng)初始化與校準是針對主視角裝置、第三方視角裝置的相關(guān)參數(shù)設(shè)置及建立通信鏈接的過程。無論是主視角裝置還是第三方視角裝置，所運行的系統(tǒng)程序是相同的，因此系統(tǒng)在啟動之初需要判斷所使用硬件終端是主操作的頭戴式增強/混合現(xiàn)實設(shè)備，或是用于第三方視角的其他硬件設(shè)備。如果確定是頭戴式增強/混合現(xiàn)實設(shè)備，則開始調(diào)用硬件攝像頭進行環(huán)境識別，確定設(shè)備與實際場景環(huán)境間的相對位置關(guān)系A(chǔ)P（x，y，z，α，β，γ），其中，x、y、z為位置坐標(biāo)信息，α、β、γ為旋轉(zhuǎn)角度信息。頭戴式設(shè)備通常需要調(diào)用深度紅外相機API 接口標(biāo)定空間三維位置信息，反向計算得到設(shè)備位置。而平板類設(shè)備包含兩類標(biāo)定方式：一是通過調(diào)用ToF 結(jié)構(gòu)光計算空間位置；二是通過圖像識別反向推算位置［19］，此種方式誤差較大。基于設(shè)備與空間的位置關(guān)系，主視角人員通過交互操作在空間中放置錨點進行注冊［20］，得到錨點在空間中的位置。錨點是虛實融合空間的具體確定位置，基于錨點建立物理空間與虛擬空間匹配的全局坐標(biāo)系（Global Coordinate System，GCS）。通過錨點位置及AP 坐標(biāo)，可以獲得設(shè)備與錨點的位置關(guān)系，即頭戴式設(shè)備的AR/MR 環(huán)境坐標(biāo)系（AR/MR Environment Coordinate System，AR/MR ECS）。ECS用于確定虛實融合場景中對象方位的確定。為便于計算，本文假設(shè)在ECS 坐標(biāo)系中設(shè)備相對于錨點的位置的齊次表示為TP（x，y，z，1），TP 坐標(biāo)反映了設(shè)備與錨點的相對位置關(guān)系，是信息數(shù)據(jù)同步過程中的不同設(shè)備觀看對象所呈現(xiàn)角度差異的計算依據(jù)。方位的反向推導(dǎo)過程如圖4 所示。需要注意的是，本文所描述的坐標(biāo)位置除非特殊說明，都是指相對于GCS 的坐標(biāo)方位。在主視角裝置系統(tǒng)GCS 位置確定完成之后，系統(tǒng)自動將所得到的錨點信息上傳到服務(wù)端，便于其他硬件設(shè)備訪問數(shù)據(jù)。

圖4 第三方視角裝置在虛實融合空間中的方位推導(dǎo)過程Fig.4 Orientation derivation process of third-party perspective device in the virtual real fusion space

當(dāng)系統(tǒng)確定當(dāng)前設(shè)備是第三方視角裝置時，首先進行校準操作，即獲取第三方視角硬件設(shè)備的攝像頭焦距參數(shù)，計算與設(shè)備本身位置坐標(biāo)系的相對關(guān)系，便于后期確定虛擬對象在第三方視角中的大小，從而從感官上符合主視角裝置所看到的內(nèi)容。校準完成后，和主視角裝置類似，確定第三方視角在空間中的位置的齊次表示：AP1（x1，y1，z1，1）。系統(tǒng)從服務(wù)端調(diào)取錨點信息數(shù)據(jù)，并基于錨點在實際場景中的方位，以錨點為虛擬場景中的坐標(biāo)系原點，結(jié)合第三方視角在實際場景中通過識別確定相對位置AP1，得到第三方視角在錨點坐標(biāo)系中的位置的齊次表示：TP1（xt，yt，zt，1）。

坐標(biāo)方位的推導(dǎo)公式如下所示：

其中，Mv→w為位置變換矩陣。

對于固定式的第三方視角裝置，例如三腳架配合相機及PC 電腦，TP1 的值是固定的，不需要系統(tǒng)進行實時計算；而對于可移動，例如手持式Pad，由于裝置在物理空間中保持移動，如圖1 所示，需要設(shè)備進行實時的方位計算，因此TP1 的數(shù)值是動態(tài)變化的。

3 多終端信息同步策略

系統(tǒng)初始化與校準完成后，多個客戶端（包括主視角端以及第三方視角端）間已完成虛實空間匹配以及通信鏈路的構(gòu)建，要實現(xiàn)真正的第三方視角效果，還需要進行多終端間信息的同步。由于增強現(xiàn)實設(shè)備多數(shù)具有無線通信功能，且為避免使用時空間約束，信息同步基于無線網(wǎng)絡(luò)傳輸。本文提出了基于通用通信協(xié)議的信息數(shù)據(jù)序列化方法，即將待傳遞信息（如狀態(tài)對象、ID 標(biāo)識、坐標(biāo)、比例、材質(zhì)等）均統(tǒng)一定義為Object 對象，把這些數(shù)據(jù)放到一個狀態(tài)對象中，每一次傳遞都將新建一個對象，將這個對象轉(zhuǎn)為JSON 文件，通過代碼語言自帶的二進制序列化函數(shù)接口（如C#中的BinaryFormatter 函數(shù)）將Json 數(shù)據(jù)序列化存入內(nèi)存流中，基于TCP 或UDP 協(xié)議，將內(nèi)存流中數(shù)據(jù)同步到第三方視角客戶端中。第三方視角端接收到字節(jié)數(shù)組，將數(shù)據(jù)先轉(zhuǎn)到內(nèi)存流，通過反序列化的方法轉(zhuǎn)為JSON 數(shù)據(jù)，繼而得到狀態(tài)對象，信息數(shù)據(jù)序列化傳輸流程如圖5 所示。

圖5 信息數(shù)據(jù)序列化傳輸流程Fig.5 Procedure of information data serialization transmission

頭戴式AR/MR設(shè)備在輔助操作人員進行操作時，涉及的數(shù)據(jù)信息類別主要包括數(shù)據(jù)傳輸、動作傳輸、音視頻傳輸和模型傳輸，因此從數(shù)據(jù)傳輸層面，本文給出了主視角與第三方視角的數(shù)據(jù)傳輸路徑以及觸發(fā)方式，如圖6所示。

圖6 數(shù)據(jù)傳輸路徑以及觸發(fā)方式Fig.6 Data transmission path and trigger mode

系統(tǒng)搭建了數(shù)據(jù)傳輸?shù)穆酚赡K，用于針對場景中的動作觸發(fā)、視頻觸發(fā)、音頻觸發(fā)、模型調(diào)用等調(diào)用系統(tǒng)功能模塊相對應(yīng)的功能系統(tǒng)，實現(xiàn)對系統(tǒng)功能調(diào)用的分發(fā)管理。經(jīng)由路由模塊的數(shù)據(jù)分發(fā)，不同的數(shù)據(jù)類型將觸發(fā)不同的數(shù)據(jù)響應(yīng)策略，完成數(shù)據(jù)同步。而對于攜帶參數(shù)的信息傳遞，需要借助系統(tǒng)內(nèi)部接口，通過廣播策略實現(xiàn)對相應(yīng)行為的觸發(fā)。

在數(shù)據(jù)傳輸維度基礎(chǔ)上，為確保實時性和實用性，盡可能降低數(shù)據(jù)傳輸速率要求，本文分析了第三方數(shù)據(jù)傳遞的特點，從高內(nèi)聚、低耦合原則觸發(fā)。為確保數(shù)據(jù)傳遞的有效性、及時性、可靠性以及對未來可能增加的數(shù)據(jù)的兼容性，將同步數(shù)據(jù)的信息分為交互信息數(shù)據(jù)、環(huán)境/場景變化信息數(shù)據(jù)和虛實狀態(tài)信息數(shù)據(jù)3 類，針對每類數(shù)據(jù)不同特點，提出了不同的同步策略。

3.1 交互信息同步策略

交互信息數(shù)據(jù)觸發(fā)同步，是指用于與應(yīng)用操作系統(tǒng)間通過手勢、語音等交互手段啟用系統(tǒng)應(yīng)用中某些功能的信息數(shù)據(jù)，通過將這部分信息傳遞給第三方視角裝置模擬觸發(fā)信號啟用對應(yīng)功能的過程。例如在主視角裝置中用戶點擊某一虛擬按鈕，實現(xiàn)某虛擬看板打開、點擊的同時，主視角模塊將點擊信號同步發(fā)送，第三方視角裝置接收信號后模擬點擊觸發(fā)行為，打開同樣虛擬看板。可以看出，此類信息數(shù)據(jù)是觸發(fā)式的、由主視角裝置的操作人員進行交互操作后產(chǎn)生的并不需要時刻監(jiān)聽的信息數(shù)據(jù)。因此，對于此類數(shù)據(jù)，系統(tǒng)在交互觸發(fā)的邏輯入口添加了一個分支響應(yīng)函數(shù)以及外部輸入接口，將觸發(fā)的時間戳、類型等信息序列化后傳遞；第三方視角裝置接收到相應(yīng)的信息數(shù)據(jù)后進行反序列化及解析，通過調(diào)用外部輸入接口傳遞參數(shù)，使得第三方視角裝置模擬主視角裝置進行交互操作，實現(xiàn)達到同樣的效果。

3.2 環(huán)境變化信息同步策略

環(huán)境變化信息同步，是針對增強/混合現(xiàn)實應(yīng)用系統(tǒng)中由于物理/虛擬環(huán)境變化而導(dǎo)致的應(yīng)用系統(tǒng)功能變化的更新同步，需在系統(tǒng)中事先標(biāo)記會隨環(huán)境變化而發(fā)生變化的對象，并建立映射關(guān)系。例如主視角裝置隨著人員走動，虛擬看板跟隨人員挪動，由于裝置相對于環(huán)境的方位變化而導(dǎo)致虛擬看板發(fā)生方位變化，需要通過實時同步的方式將環(huán)境變化信息同步給第三方視角裝置，糾正虛擬看板的方位。這一類的信息數(shù)據(jù)是時刻動態(tài)變化的，因此主視角裝置需要對標(biāo)記的對象的數(shù)據(jù)進行實時傳遞。在系統(tǒng)中添加標(biāo)記對象數(shù)據(jù)更新的入口，用于第三方視角裝置同步更新環(huán)境變換引致的信息變化。和上述交互數(shù)據(jù)類似，同樣需要進行數(shù)據(jù)的序列化、傳遞以及反序列化操作。

在實際測試過程中，由于是實時傳輸（采用按幀傳遞的頻率），且環(huán)境變化關(guān)聯(lián)的目標(biāo)對象數(shù)量較多，容易導(dǎo)致傳輸數(shù)據(jù)量暴增，進而引發(fā)網(wǎng)絡(luò)堵塞或數(shù)據(jù)嚴重滯后的問題。本文針對此類情況進行了兩方面的的優(yōu)化措施：

1）對于主視角操作端標(biāo)記對象的變化數(shù)據(jù)，進行閾值設(shè)定，在閾值范圍內(nèi)不做數(shù)據(jù)更新傳輸，超過閾值范圍后進行數(shù)據(jù)更新，例如跟隨人視線的虛擬看板，當(dāng)人頭部僅作微小擺動時，主視角裝置的虛擬看板雖然進行小幅度微調(diào)，但方位數(shù)據(jù)并不進行傳輸，僅當(dāng)變動幅度超過預(yù)定義的角度范圍時，才進行一次數(shù)據(jù)更新傳遞，如圖7 所示。

圖7 主視角操作信息同步頻次降低的示意圖Fig.7 Schematic diagram of reducing synchronization frequency of main perspective operation information

2）對于長時間連續(xù)發(fā)生信息變化的對象數(shù)據(jù)，在程序代碼中進行預(yù)標(biāo)記，針對性降低數(shù)據(jù)傳輸頻率（測試驗證中采用20 Hz），這樣一方面保證第三方視角可以觀察到真實的環(huán)境變化引致的信息變化，另一方面確保相關(guān)數(shù)據(jù)并不按照系統(tǒng)自帶的時間序列傳遞，避免時間序列較快導(dǎo)致的傳輸數(shù)據(jù)量過大，從而導(dǎo)致嚴重的掉幀非連續(xù)觀感。需要注意的是，由于網(wǎng)絡(luò)環(huán)境的不同，數(shù)據(jù)傳輸發(fā)送和接收的時序可能發(fā)生錯亂，因此本文在數(shù)據(jù)解析后，使用之前進行時序校正及校核的過程。

3.3 虛實狀態(tài)信息同步策略

虛實狀態(tài)信息是針對系統(tǒng)在某一階段下虛擬對象的狀態(tài)（包括方位、定位情況、顏色/材質(zhì)/動畫信息、計算數(shù)據(jù)等），狀態(tài)信息描述了虛擬對象與物理空間的當(dāng)前結(jié)合關(guān)系。對于系統(tǒng)使用，除了人機交互過程的觸發(fā)、后臺對于不同狀態(tài)的判斷以及狀態(tài)引發(fā)的流程推進共同構(gòu)成了滿足用戶需求的平臺。由于狀態(tài)信息并不是連續(xù)數(shù)據(jù)，因此系統(tǒng)采用定時同步的方式將相關(guān)信息傳遞給第三方視角裝置。如同交互信息以及環(huán)境變化信息的傳遞過程一樣，通過序列化及反序列化過程完成數(shù)據(jù)的傳輸。

由于狀態(tài)數(shù)據(jù)、交互數(shù)據(jù)和環(huán)境變換數(shù)據(jù)的緊密相關(guān)性，本文還通過狀態(tài)信息數(shù)據(jù)在第三方視角裝置上對前面兩種數(shù)據(jù)進行匹配驗證，避免由于網(wǎng)絡(luò)環(huán)境錯誤、數(shù)據(jù)包丟失、解析錯誤等導(dǎo)致的第三方視角與主視角內(nèi)容的錯位。例如，主視角操作者點擊虛擬按鈕啟動虛擬裝配動畫演示，交互信號丟失并未傳遞到第三方視角裝置。而主視角的當(dāng)前狀態(tài)已經(jīng)是動畫播放狀態(tài)，此刻通過定時的狀態(tài)信息同步，第三方視角可以自行跳過交互信號同步直接開始動畫播放，匹配主視角裝置的當(dāng)前狀態(tài)。同樣，該同步策略對于環(huán)境變化信息同步有數(shù)據(jù)補償?shù)男ЧＨ?.2 節(jié)所述，為避免數(shù)據(jù)傳輸量過大采用了閾值限制數(shù)據(jù)傳輸?shù)膬?yōu)化方法，但此方法在網(wǎng)絡(luò)條件不好時可能發(fā)生虛擬對象運動幅度超出閾值而未同步數(shù)據(jù)的問題。狀態(tài)信息同步可以有效地在固定時間周期內(nèi)檢查狀態(tài)的差異性，并直接完成當(dāng)前虛擬對象運動方位的同步，有效解決潛在隱患問題。

基于第三方視角的同步策略，設(shè)備根據(jù)同步結(jié)果及既定的業(yè)務(wù)流程實現(xiàn)多人視角下的可視化效果，多人看到的虛擬對象角度不同，且主視角交互操作時，第三視角中對象會完成對應(yīng)方位、狀態(tài)變換。

4 測試驗證

本文搭建了測試環(huán)境，電腦為搭載英偉達1080顯卡的臺式機，操作系統(tǒng)為Windows10，開發(fā)工具為visual studio2019，圖形引擎平臺為Unity 2019.4，AR設(shè)備為兩臺Hololens 2，其中一臺作為主視角設(shè)備，操作者對虛擬對象進行操作，另一臺作為第三方視角設(shè)備，用于觀察主視角的操作以及虛實融合場景。光照條件約為200LX。

根據(jù)上文所述，系統(tǒng)首先進行初始化與校準，確定錨點位置，反推兩臺設(shè)備在空間中的方位。初始化與校準完成后即完成兩臺設(shè)備的空間坐標(biāo)匹配，通過多種數(shù)據(jù)同步策略完成第三方視角的功能實現(xiàn)如圖8 所示。其中，右下角大圖是操作者設(shè)備所看到的虛實融合場景截圖，左上角是第三方視角設(shè)備所看到的虛實融合場景截圖，可以看出，第三方視角所看到的畫面和真實場景角度、位置、虛實圖像是準確匹配的。

圖8 第三方視角的應(yīng)用驗證Fig.8 Application verification of third-party perspective

為測試不同大小模型及不同變化情況下的數(shù)據(jù)同步情況，本文選擇了貼標(biāo)機（10 325 面片）、機床（約36 312 面片）和機械臂（8 320 面片）3 種模型，分別在模型加載、模型旋轉(zhuǎn)、放大縮小和模型平移3 種變化情況下統(tǒng)計連續(xù)3 s的數(shù)據(jù)傳輸量（無線網(wǎng)帶寬為150 Mb/s，實際測試網(wǎng)絡(luò)傳輸速率為13 Mb/s～15 Mb/s），具體結(jié)果如表1 所示。可以看出，基于本文的信息數(shù)據(jù)同步方法將長時間連續(xù)發(fā)生信息變化的對象的數(shù)據(jù)傳輸頻率壓低到20 Hz，傳輸?shù)臄?shù)據(jù)量較低，在正常網(wǎng)絡(luò)通信環(huán)境中（在測試環(huán)境中，高于45 kb/s 網(wǎng)速）完全可以滿足第三方視角同步所需要的實時效果。

表1 不同模型3 s 連續(xù)變化中同步的數(shù)據(jù)量Table 1 Synchronous data volume in three seconds continuous change of different models

目前較為流行的同步方式包括命令同步和完全數(shù)據(jù)同步兩種第三方視角同步方式，第一種和程序強耦合，需要在每一處命令節(jié)點添加同步命令，適應(yīng)性較差；第二種同步方式需要大帶寬的網(wǎng)絡(luò)環(huán)境，當(dāng)遇到較大模型和較多變化時，很容易發(fā)生信息丟失、卡頓現(xiàn)象。

5 結(jié)束語

本文針對頭戴式增強/混合設(shè)備具有的內(nèi)容獨占、不易分享等缺陷，提出基于網(wǎng)絡(luò)通信的低延遲虛實融合內(nèi)容第三方視角可視化方法。根據(jù)多終端之間的數(shù)據(jù)通信要求，結(jié)合多視角的交互信息/環(huán)境信息/虛實狀態(tài)的多種數(shù)據(jù)類型特點，提出多種信息同步策略，實現(xiàn)多終端設(shè)備下的多人實時協(xié)同操作。將該方法應(yīng)用于實際的操作協(xié)同場景，統(tǒng)計出不同條件下多人協(xié)同操作的信息同步準確性，實驗結(jié)果表明了本文方法在實際使用條件下的有效性。下一步將研究多人協(xié)同場景下虛實融合交互的穩(wěn)定性和可靠性，并對不同行業(yè)領(lǐng)域的操作場景進行完善，實現(xiàn)基于5G 高速通信條件遠程大場景、實時模型數(shù)據(jù)加載需求下的多人協(xié)同關(guān)鍵技術(shù)。