基于Hololens2的機翼裝配跟蹤注冊方法研究與分析

編者按：在基于MR技術的智能輔助裝配系統中，三維跟蹤注冊技術是其核心技術之一，同時該技術也是智能輔助裝配系統穩定運行的基礎，當MR技術應用到機翼的生產裝配中時，精準迅速的跟蹤注冊技術是該系統的重要環節之一，因為其往往意味著虛擬信息疊加到真實環境中的準確性和穩定性。文章基于Hololens2設備，在Unity3D虛擬仿真平臺開發出一套虛實結合輔助機翼裝配的系統，通過對真實裝配環境的模擬，對比當今主流的跟蹤注冊技術在機翼裝配過程的表現效果，并找出一種最適合機翼裝配過程的跟蹤注冊技術，從而更進一步地提高裝配操作人員和培訓者的裝配效率與學習效率。

引言

MR的關鍵點就是與現實世界進行交互和信息的及時獲取。本文通過Hololens2智能可穿戴設備，在以機翼模型為裝備基礎的前提下對比當今各種主流的三維跟蹤注冊技術，分析各種跟蹤注冊技術的優缺點，并找出最適合該裝配過程的跟蹤注冊技術。

跟蹤注冊

跟蹤注冊技術的實現需要通過虛擬空間中的坐標系與真實世界坐標系的轉換，它們之間的變換可以通過矩陣的左乘來表示，使得虛擬模型信息可以正確地顯示在待識別區域的指定位置上，這個過程就被稱為一個虛實結合技術的注冊過程（Registration）。但是，由于用戶在實際的應用中，并不是始終處于一個方向和位置，這就需要系統實時根據使用者的位置變換，來保持虛擬模型信息的在設備屏幕中正確地顯示，不停地計算之前二者坐標系的相對關系，這個過程就是虛實結合技術中的跟蹤（Tracking）。

總的來說，跟蹤注冊過程就是實時確定虛擬信息和真實環境的相對位置關系，將用戶視野中的三維信息投影到用戶顯示屏幕上的過程，如圖2為理想狀態下的成像狀態模型。

該模型主要描述了在用戶視角下，用戶視野內一個物點（事物抽象）Q最終在投影平面上的投影關系：

1.場景三維特征點坐標系到世界坐標系轉換關系Π用于將場景三維特征點的經緯度坐標轉換為世界坐標系的描述;

2.世界坐標系到動態追蹤坐標系的轉換關系Φ用于確定場景三維特征點相對于世界坐標系的位置和方向;

3.動態追蹤坐標系到人眼坐標系的轉換關系Ψ確定人眼位置相對真實室內場景中的位置和姿態;

4.人眼坐標系到投影平面坐標系的轉換關系Γ確定將場景三維特征點坐標轉化為二維圖像透視投影和姿態。

Maker-Base的跟蹤注冊

Maker-Base的跟蹤注冊方法又被稱為基于人工標記物的人工標記法，該方法對設備性能要求不高，且具有較高的穩定性，計算復雜度較低，其穩定性和檢測的速度較好，如圖3為基于人工標記識別法的跟蹤注冊流程圖。

本文中的人工標記法基于Vuforia引擎，通過將各種Maker上傳到Vuforia數據庫，并且對圖片進行評定，選取評分最高的QR碼為待識別圖，將待識別的QR碼打印后貼到待識別的工序位置上，在跟蹤注冊的過程中，AR設備的攝像頭會首先獲取待識別區域的圖像信息，然后通過將數據庫中的圖片信息與待識別區域的圖片信息進行匹配，最后通過矩陣將虛擬信息變換到使用者可觀察的屏幕坐標系，從而將虛擬信息注冊到待識別區域上，如圖4為人工標記法的跟蹤注冊效果圖。

基于自然特征的跟蹤注冊技術

在自然特征提取法的跟蹤注冊技術中，最常用的是FAST、SIFT和ORB等幾種算子，它們有著精度較高且綜合性能較穩定的特點。在真實的機翼裝配環境中，并不需要考慮零部件的高動態情況，所以無需考慮對高動態物體追蹤的穩定性，故本文中以自然特征為基礎的跟蹤注冊方法中僅采用速度最快的FAST角點探測算法，該算法指出：若某像素與其周圍鄰域內足夠多的像素點相差較大，則該像素可能是角點。圖5為自然特征跟蹤注冊后的虛實疊加實際效果圖。

基于模型的跟蹤注冊技術

本文考慮到機翼的裝配過程中，由于機翼本身并沒有過多特殊的紋理和特征點，甚至如翼梁等部位幾乎無紋理和足夠待檢測的特征點，所以在機翼的裝配過程中提出使用基于邊跟蹤的跟蹤注冊技術。理論上，該方法可以解決基于自然特征的跟蹤注冊技術在缺少紋理甚至無紋理環境中跟蹤注冊失敗的問題，并且該方法解決了傳統基于人工標識的局限性。

實驗驗證與結果分析

通過人工標記法、自然特征檢測法和基于模型的邊跟蹤注冊法對機翼前緣骨架的在實際的裝配環境中對主要零部件進行每個20次的跟蹤注冊測試，并計算出每個零部件上，不同的跟蹤注冊技術的評價成像時間（s），如表1所示。

實驗數據結果分析：

（1）人工標記法：以人工標記法為基礎的跟蹤注冊方法，雖然技術舊，但是其發展時間久，技術成熟，且在機翼的裝配過程中依舊是速度最快且穩定性最好的跟蹤注冊方法。

（2）自然特征提取法：由于機翼的待裝配部件本身缺少紋理和并且不具備足夠的特征形狀，通過實驗數據可以看出，在這種情況下，無標記物的自然特征點檢測法的跟蹤注冊技術并不能在此體現很好的效果，所以基于自然特征點檢測的跟蹤注冊方法，在以機翼裝配為基礎的裝配過程中，由于機翼模型本身特征點過少，跟蹤注冊較為困難且速度慢，準確度低。

（3）邊跟蹤注冊法：在基于模型的邊跟蹤技術中，雖然其理論上擺脫了人工標記法的局限性和在缺少自然特征點情況下特征檢測跟蹤注冊失敗的情況，并且跟蹤注冊時間也較為良好，但是其在實際的裝配環境中的復雜性使其穩定性極差，經常出現目標丟失和虛擬信息錯位的情況，所以目前該方法也并不適用于機翼實際的裝配過程。

通過對比可以看出，人工標記法無論是成像時間還是成像穩定性和成像準確性，在機翼的裝配過程中，該方法是以上三種方法中效果最好的跟蹤注冊方法，即以人工標記法為基礎的跟蹤注冊法依然是在機翼裝配過程中速度最快且穩定性最好的方法。

結論

在以后的發展中，混合現實會利用到各個地方去，將混合現實技術應用到生產制造中以及各種也是未來的發展趨勢，操作人員可以利用智能可穿戴設備的攝像頭對工序進行跟蹤注冊，眼鏡中就會生成該工序的裝配指示或者工藝說明書和裝配過程動態演示動畫，極大地方便了操作人員的操作。

參考文獻：

[1]Dieter Schmalstieg，Tobias Hollerer.Augmented reality：principles and practice[M].The UK：Addison-Wesley Professional，2016：425-426.

[2]Ronald T. Azuma.A Survey of Augmented Reality[J].Presence：Teleoperators and Virtual Environment，1997，6（04）：355-385.

[3]韓玉仁，李鐵軍，楊冬.增強現實中三維跟蹤注冊技術概述[J].計算機工程與應用，2019，55（21）：26-35.

[4]李正睿，車飛，方兵，等.基于增強現實的航天產品裝調指導系統[J].電子工藝技術，2020，41（06）：314-317，365，369.

[5]陳靖，孫源.基于FAST關鍵點的增強現實跟蹤注冊算法[J].北京理工大學學報，2015，35（04）：421-426.

第一作者：石雨鑫（1995—），遼寧盤錦人，2019級在讀研究生，現就讀于沈陽理工大學，主要研究方向為數字圖像。