混合現實中虛實匹配的位姿估計方法研究

摘" 要：基于混合現實的可視化技術，彌補傳統視角的局限性，是智能制造領域提升設計精度和生產效率的重要工具。然而因為實際環境中各種誤差的影響，在混合現實中進行可視化時位姿估計效果往往并不理想，無法準確實現可視化效果。為此，針對智能制造環境中的特殊需求，提出一種虛實空間匹配的位姿估計方法。基于MR平臺通過使物體剛性連接來設計定位算法實現虛擬物體位姿估計的標定，設計人機交互方案，并構建應用于CFD物理場結果的可視化場景，達到虛實匹配的效果。最終發布為一個通用平臺（UWP）應用，使其能在多種設備上運行，從而支持智能制造領域的跨設備應用。

關鍵詞：CFD; 混合現實; 位姿估計; 人機交互; 虛實匹配

中圖分類號：G434" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2025）08-0032-04

Abstract： Visualization technology based on mixed reality makes up for the limitations of traditional perspectives and is an important tool for improving design accuracy and production efficiency in the field of intelligent manufacturing. However， due to the influence of various errors in the actual environment， the pose estimation effect when visualized in mixed reality is often not ideal， and the visualization effect cannot be accurately achieved. To this end， a pose estimation method based on virtual-real space matching is proposed to meet the special needs of intelligent manufacturing environment. Based on the MR platform， a positioning algorithm is designed to realize the calibration of virtual object pose estimation by rigidly connecting objects， a human-computer interaction scheme is designed， and a visualization scene applied to the CFD physical field results is constructed to achieve the effect of virtual-real matching. It was eventually released as a Universal Windows Platform （UWP） application， allowing it to run on multiple devices， thereby supporting cross-device applications in the intelligent manufacturing field.

Keywords： CFD; mixed reality; pose estimation; human-computer interaction; virtual-real matching

在現代技術環境中，混合現實（MR）技術正逐漸成為增強用戶體驗的關鍵工具[1]，它通過整合物理和數字環境，將虛擬內容與現實世界結合，為用戶提供了前所未有的沉浸式體驗[2]。這種技術非常依賴空間定位的準確性，因為它確保了虛擬對象能夠在物理世界中正確地對齊和交互。雖然目前存在多種復雜的空間定位方法，但它們常常需要依賴昂貴的硬件或復雜的計算[3-4]。因此，開發一種簡便而有效的定位方法顯得尤為重要，尤其是在資源有限的混合現實場景中。

目前，在混合現實環境下進行可視化時，對真實物理對象的識別，以及真實場景和虛擬對象信息的融合、疊加匹配方法的研究還不足[5]。在混合現實中真實場景是通過傳感器獲取的實際環境信息，而虛擬對象是通過計算機生成的虛擬元素[6]。位姿估計，指的是在三維空間中確定一個物體的位置和方向。位姿估計方法的目標是將虛擬對象與真實場景進行精準的對齊和匹配，使得虛擬對象能夠與真實場景無縫融合，它不僅關乎視覺呈現的連貫性，也是實現物理與虛擬互動的基礎[7]。通過位姿估計，才能正確地在現實空間將虛擬物體與現實物體進行準確地疊加和匹配[8]。例如，醫療模擬、工業設計和遠程協作等應用場景中[9]，位姿估計的準確性直接影響到應用的可用性和效果。

本文提出了一種基于平面三點的位姿估計方法，該方法在混合現實技術中應用簡單且直觀。通過使用3個已知的平面點坐標和相對應的距離，能夠精確地定位和估計需要定位的點在三維空間中的位置。Microsoft公司推出的HoloLens是一款典型的基于混合現實技術的設備，該設備擁有定制的全息處理單元，利用它的能力，結合MR開發平臺進行人機交互的方案設計和相應處理，最終實現將虛擬對象準確快速地放置在現實世界的對應位置。這種簡便的位姿估計方法不僅提升了最終用戶的沉浸感，減少了操作流程的繁瑣，也為混合現實環境下虛擬內容的疊加技術提供了新的參考方案。

1" 虛實空間匹配的位姿估計策略

針對混合現實設備的平臺要求和計算能力的局限性，整體的位姿估計技術路線是在PC端和MR端雙端實現的。首先在PC端完成對目標圖像的預處理，借助MR開發工具提取出目標圖像的關鍵點信息，并將關鍵點信息轉換成二進制格式進行數據的存儲。在MR端將目標圖像導入至MR開發平臺，設定好目標圖像與虛擬定位點的距離，當使用攝像頭時，事先存儲的關鍵點信息會與攝像頭所捕捉到的現實目標圖像進行特征點的匹配，得到在平臺事先設定好的標定物的位姿信息，通過標定物的信息根據定位算法計算出該定位點在三維空間中的位姿信息，最后以該點生成整個定位的虛擬物體。整體技術路線如圖1所示。

1.1" 自動定位算法

精確地在現實空間中匹配并顯示虛擬物體是混合現實技術研究中的一個核心問題。當前，傳統的定位算法通常依賴于建立識別系統并創建深度學習網絡模型在服務端進行訓練，以實現高精度的位置識別。雖然這種方法能夠提供精確的定位結果，但其復雜的操作流程并不完全適合于快速搭建虛擬可視化場景的應用需求，也不適用于混合現實設備。因此，設計旨在探索一種更為高效的定位技術，以滿足結果可視化設計中有效信息疊加與匹配的需求，簡化操作流程。本文提出了一種基于平面三點定位算法的新方法，該方法能夠從二維平面精確映射到三維空間中，適應復雜的實際應用場景。并設計手動定位方法，允許用戶進行直觀的姿態調整和校正，從而確保疊加匹配技術的準確性和實用性。

系統初步采用了一種目前傳統的混合現實定位策略，通過在物理環境中部署特征圖像來記錄位置信息，放置的每個特征圖像都會含有與之對應的坐標數據。然后通過汲取3個特征圖像的坐標信息來實現虛擬空間和現實空間的聯系。基于MR開發平臺，應用這些坐標數據進行三維到二維空間的轉換，從而計算出虛擬物體在現實空間的位置。該方法如下。

平面三點定位中通過3個點在二維平面確定了一個點的位置，根據MR平臺使用的左手笛卡爾坐標系，當處于三維空間的3個點在同一平面時，可以忽略Y軸的影響，將定位點計算轉移到二維平面計算，并將Z軸當作二維平面計算中的Y軸，也就是把各個點的縱坐標轉換成豎坐標。如圖2所示。

3個圓兩兩計算，將得到的3個點取均值可得該情況下模型的軸心坐標

當3個圓不相交的情況，同樣先考慮2個圓，根據比例半徑計算求出C點，最后取均值得到終端坐標。此時的y值對應三維空間的z值，通過計算可得到該模型的軸心點坐標，使用MR開發工具固定模型相對于特征圖像的法向量和三維空間的y值，從而確定模型的朝向與高度，最終定位出整個虛擬模型在現實空間的位置。

1.2" 手動定位

在實現虛擬物體與實際環境中的精準疊加過程中，經常會遇到由于光照條件變化、特征圖像識別不準確等因素影響匹配的準確性。為應對這一問題，設計了一個虛擬用戶界面（UI），用于實現虛擬物體的手動校準功能。通過該界面，用戶可以操作一個虛擬遙桿，調整預先計算出的虛擬物體在二維平面上的坐標，具體是調整其在X軸和Z軸上的相對位置，使虛擬物體能夠與真實物體實現完美的重合，從而保障了系統定位的精準性。

2" 位姿估計實驗

本文進行的位姿估計實驗是通過在真實模型上疊加CFD虛擬物理場可視化效果實現的，設計的實驗環境見表1。

2.1" 搭建混合現實場景

搭建的混合現實場景采用MR開發工具進行具體設計，通過預制體實現了凝視，手勢點擊，語音等操作。響應事件時，場景能夠檢測到并處理時間以實現對應的反應。與PC端的按鈕點擊事件原理類似，用戶可以通過手勢觸碰來選擇不同的功能。此外，用戶還可以通過手勢對疊加的可視化模型進行旋轉和拖動，從而實現全方位的展示與學習，如圖5所示。

將模型導入MR開發平臺時，需將模型的錨點設在整個模型的最底面。系統會根據定位算法計算出虛擬模型在現實空間中相對于3個特征圖像的位置，以此來確定定位點位置，一旦定位點確定，需要規定好方向向量，并讓預先導入MR開發平臺的虛擬模型以定位點為錨點進行物體的生成，從而在真實物體上進行疊加，同時可以選擇將真實物體的CFD可視化效果在真實物體上進行疊加，實現溫度場等標量物理場和流線的可視化效果展示。

2.2" 位姿估計驗證測試

混合現實環境下的位姿估計以飛機機翼與飛機為例進行驗證，以MR平臺中特征圖像與虛擬物體的連接關系正確在現實環境放置特征圖像與真實物體，佩戴Hololens2通過手勢點擊功能UI界面，相對應的虛擬模型便會正確匹配疊加到真實物體上。

以溫度場可視化為例，如圖6、圖7所示，顯示出溫度場在不同角度的可視化效果，并與真實機翼與飛機模型相疊加匹配，實現位姿估計。

3" 結束語

本文使用混合現實（MR）開發平臺設計了一種基于平面計算定位點坐標的位姿估計方法，重點在于按照MR平臺要求和頭戴混合現實設備計算能力不足的問題，將操作放在PC端和MR端雙端進行，設計了簡便快捷的定位方法，只需對特征圖像進行計算便可以得到真實物體的具體位置，避免了繁瑣的操作流程。實現了混合現實環境下虛擬物體位姿估計的方法研究，本文搭建的混合現實場景沉浸感強，克服了傳統計算機屏幕視角的局限性。該場景交互性高，能夠滿足用戶的基本手勢和語音交互需求，適用于虛擬教學的演示。

參考文獻：

[1] 王同聚.虛擬和增強現實（VR/AR）技術在教學中的應用與前景展望[J].數字教育，2017，3（1）：1-10.

[2] 黃進，韓冬奇，陳毅能，等.混合現實中的人機交互綜述[J].計算機輔助設計與圖形學學報，2016，28（6）：869-880.

[3] 王全玉，米慶，申鵬洋，等.虛擬發射裝置在投影系統中的定位方法研究[J].系統仿真學報，2012，24（10）：2060-2065.

[4] 楊敏華，李利軍，李朝暉.超聲波三維空間定位在虛擬現實系統中的應用[J].計算機仿真，2004（11）：145-147，151.

[5] 周忠，周頤，肖江劍.虛擬現實增強技術綜述[J].中國科學：信息科學，2015，45（2）：157-180.

[6] KHAN D， ULLAH S， RABBI I. Factors affecting the design and tracking of ARToolKit markers[J]. Computer Standards amp; Interfaces， 2015（41）：56-66.

[7] MARCHAND E， UCHIYAMA H， SPINDLER F. Pose estimation for augmented reality： a hands-on survey[J]. IEEE transactions on visualization and computer graphics， 2015，22（12）：2633-2651.

[8] 苑鑫，王海坤，趙曠世，等.基于增強現實技術的燃氣輪機裝配指導系統研究與實現[J].熱能動力工程，2022，37（S1）：48-53.

[9] SOLMAZ S， VAN G T. Integration of Interactive CFD Simulations with AR and VR for Educational Use in CRE[M]//Computer Aided Chemical Engineering. Elsevier，2020（48）：2011-2016.