一種基于增強現實的高精度自動配準和追蹤技術

張 品，王學淵

（1.西南科技大學 信息工程學院，綿陽 621010；2.特殊環境機器人技術四川省重點實驗室，綿陽 621000）

0 引言

增強現實是一種利用計算機對圖像進行處理的技術，該技術可以讓用戶所看到的真實世界影像與計算機產生的虛擬信息融合在一起，從而加強使用者對真實世界的感知能力。近年來增強現實技術在醫療領域的應用愈加廣泛，尤其在手術導航中，增強現實技術能給醫生提供更加直觀的導航，但手術導航的虛實配準與追蹤是一個難點，只有實現虛實完全重疊，才能給醫生更好的手術指導[1～3]。在現有技術中，一般增強現實頭顯設備眼鏡有空間映射功能，可以做到位置匹配，但是其有一定局限性：手動配準的效率和精度較低，很難達到醫學上高精準、高效率的需求[4,5]。由于其自身帶的空間映射需要手動調整對齊，調整耗時較長，手動調整過程中由于視角差的原因不能準確對齊，不符合醫學手術要求。二維圖片的識別配準，會出現佩戴者視角超過90度易跟蹤丟失，在目標和相機之間的高入射角下降低了跟蹤精度[6,7]。醫學中又出現了電磁追蹤方式和光學追蹤方式，電磁跟蹤系統在電磁場的干擾下會影響精度，限制電磁追蹤系統在醫學領域中的使用[8～11]。光學追蹤方式上存在配準精度低的缺點，不能在醫學上得到廣泛應用。

隨后，葛敏[12]提出一種新的外置的脫離人體的注冊方法，在CT下掃描成像，利用算法自動分割識別4個球的球心，在光學導航儀的追蹤下利用尺寸關系得到4個球心的三維坐標，并結合四元數的方法與圖像空間進行匹配。這種方法的優點是可以避免醫生多次對患者粘貼或佩戴標志物，然而這種方法需要準確有效地識別球心位置，并且用此種方法注冊時遠離模具的位置會導致誤差增大。El-Hariri提出[13]利用光學ultrasound（超聲波）跟蹤，從超聲波圖像和CT圖像中分割骨表面，并進行多模態體積配準，將術前數據與術中數據進行對齊。利用hololens進行顯示操作。此方法可以使醫生更自然的沉浸化，減少疲勞，簡化手眼協調。由于此方法的儀器價格昂貴，并且精度還有待提高。Taylor Frantz提出[14]利用hololens與專有的圖像處理軟件開發工具包Vuforia結合，為神經導航使用提供更穩定的空間全息圖。它可以在hololens中實現真實空間與虛擬空間的關聯，跟蹤精度高，但是手動配準精度較低。本文結合以上方法提出一種增強現實在醫學上自動精確配準與追蹤的技術，通過雙目攝影測量獲取真實空間坐標點來幫助自動配準，利用Vuforia進行關聯虛擬現實之間的坐標系，幫助提高虛實配準的精度[15]。

1 真實空間模型、虛擬空間模型的建立

1.1 真實空間模型的建立

在真實空間中，制作一個Vuforia中同比例大小的圓柱體標識物。真實中的RGB圓柱體橫截面的半徑以及圓柱體的高需要和Vuforia中導入的圓柱體半徑與高度的比例大小嚴格相同，否則會影響識別跟蹤的精度。制作Vuforia中的RGB圓柱體，首先選取識別性能良好的Vuforia圖像Chips，用A4紙彩色打印，采用高為172.5mm，寬為207.97mm的A4識別圖紙。然后將其包裹在直徑為66.20mm的圓柱體上，并用薄雙面膠帶固定，使其不可見，RGB圓柱體的擺放位置十分重要，在配準時，把RGB圓柱體用非永久粘合劑使其固定在病床的柱子上，讓RGB圓柱體和病人人體共同出現在Hololens視野中，方便識別與追蹤。

在真實人體上和RGB圓柱體上粘貼帶有一定厚度的小圓點標記貼。各粘貼4個（或4個以上）標記點，要求3點不共線，4點不共面，方便用于對真實空間進行識別和定位。使用一定厚度的小圓點標記貼，用于在CT掃描中獲得標記點在虛擬空間中的坐標，也便于相機攝影測量獲得真實空間中標記點的精確坐標[16]。為完成虛擬空間和真實空間坐標系的配準做準備。

1.2 虛擬空間模型的建立

通過對粘貼標記點的真實人體CT掃描，獲取虛擬空間的三維數據，在Mimics中對所建三維模型進行閾值分析和編輯處理，以及三維模型網格的重新劃分并做優化，從而提高三維模型的可靠性和精確性，在Vuforia中建立一個與真實空間同比例大小的RGB圓柱體（Cylinder Target），將構建好的人體三維模型和RGB圓柱體三維模型導入Unity中進行規劃，以便在Hololens中顯示與操作。

2 虛擬空間與真實空間坐標系之間的位置轉換

2.1 利用相機攝影測量來實時跟蹤獲取真實空間標記點坐標信息

真實空間中的標記點坐標無法直接準確獲得，需要借助相機的攝影測量進行獲得其標記點坐標的精確位置。為了能夠在配準過程中快速高精度的獲取標記點的坐標信息，采用圓形標記點的識別和定位的方法，通過雙目相機拍攝提取不同位置的兩幅圖片，然后將圖像做灰度化處理和形態學變換，設定其閾值對左右圖像做輪廓提取，最后通過霍夫圓檢測算法識別圓形標記點的輪廓，并得到圓心坐標的像素值，對圖像的處理、幾何約束以及橢圓擬合等操作，實現圓形標記點的提取并精確求出其圓心點在圖像像素坐標系內的坐標值，選取其中幾個比較容易識別的標記點，推導出圓形標記點在攝像機坐標系下的空間坐標信息。

2.2 空間映射轉換

虛、實坐標系進行配準時，需要在兩個不同坐標系下測出同一組公共點的坐標，通過這組公共坐標將這兩個坐標系的位姿進行關聯。首先在真實空間中選取4個標記點，取任意一個標記點A0為參考坐標系的原點，同時以A0與其他3個坐標點A1、A2、A3的連線建立X軸、Y軸以及Z軸，并設定向量、、為各自坐標軸上的單位向量，因此A0、A1、A2、A34點坐標分別為（0，0，0）、（1，0，0）、（0，1，0）、（0，0，1）。從而建立真實空間坐標系，即手術空間非正交坐標系，這樣手術空間中任意一點的位置AP（xp，yp，zp）都可以唯一確定，并滿足以下公式：

A0、A1、A2、A34點在虛擬空間中的坐標分別為（x0，y0，z0）、（xa1，ya1，za1）、（xa2，ya2，za2）、（xa3，ya3，za3）。

4個標記點在兩個空間坐標系中的坐標比較如表1所示。

表1 4個標志點在真實空間和虛擬空間的坐標比較

由于虛擬空間中三維模型是通過患者的CT掃描數據重建所得，因此可認為虛擬空間與真實手術空間的空間映射轉換為剛體變換（包括平移和旋轉）[17]，一個變換矩陣可完成兩坐標系中位置的空間映射轉換，從真實空間向虛擬空間的映射矩陣T如下式：

R是3×3的旋轉矩陣，t是3×1的平移矩陣；

2.3 真實空間人體包圍盒中心點的獲取

根據空間映射方法對PRB、PRT、PVB、PVT四個坐標系之間進行轉換，確定虛擬場景坐標系與現實場景坐標系之間的位置轉換關系。其中PRB是人體上標記點在真實空間中建立的坐標系，PRT是RGB圓柱體上標記點在真實空間中建立的坐標系，PVB是人體上的標記點在導入Unity初始狀態下建立的坐標系，PVT是RGB圓柱體上的標記點在虛擬空間中建立的坐標系。

利用PVB上的4個標記點和與其對應PRB上的4個標記點坐標，采用空間映射方法求得PVB與PRB坐標系之間的轉換矩陣T1，PVB_center在Unity中可以使用模型包圍盒直接獲得，由PVB上的人體包圍盒中心點坐標PRB_center，利用公式如下求取PRB_center：

2.4 P'VB_center相應的位置的求取

由雙目相機攝影測量獲得真實空間中PVB和PRB之間的位置關系，為使虛擬空間中PVB和PVT之間的位置關系與真實空間中保持一致，求取與PRB_center位置對應的P'VB_center：已知真實人體PRB_center在PRT坐標系下的位置坐標，利用PRT上的4個標記點坐標和與其對應PVT上的4個標記點坐標，采用空間映射方法求得PRT與PVT坐標系之間的轉換矩陣T2，由真實人體PRB_center在PRT坐標系下的位置坐標，利用如下公式求取P'VB_center相應的位置：

2.5 確定虛擬人體相對真實人體之間的旋轉角度

由3.4可知，真實人體與虛擬人體的包圍盒中心點位置是一一對應的，但是模型之間相差一個旋轉角度，以PRB上的4個標記點和P'VB上的4個標記點坐標，利用空間映射求取旋轉矩陣R，由旋轉矩陣與歐拉角之間的轉換，獲得虛擬人體在Unity中應旋轉的角度，在Unity中為左手系旋轉，且歐拉旋轉的旋轉順序是ZXY，并在Unity中做相應的角度調整。其中P'VB是步驟3.3中虛擬人體中心點在P'VB_center下建立的坐標系；

其中，在左手系中繞X軸旋轉角度為p，對應的矩陣為Rx：

在左手系中繞Y軸旋轉角度為h，對應的矩陣為Ry：

在左手系中繞Z軸旋轉角度為b，對應的矩陣為Rz：

3 實現自動配準與追蹤

首先獲取真實空間模型的真實空間模型數據，并建立與真實空間模型對應的真實空間坐標系，根據真實空間模型數據，建立與真實空間模型對應的虛擬空間模型，并建立與虛擬空間模型對應的虛擬空間坐標系。利用Vuforia的精確識別跟蹤功能實現真實空間與虛擬空間坐標系之間的關聯，在Visual Studio平臺上用代碼進行坐標之間轉換操作，進行虛擬空間與真實空間坐標系位置之間轉換，完成真實人體與虛擬人體模型之間的包圍盒中心點的重合，再運用旋轉矩陣與歐拉角之間的轉換獲得模型之間的角度轉換，并在Unity的Vuforia中進行虛實配準跟蹤操作，把項目導入Hololens中，通過Hololens與Unity聯合操作結合雙目相機攝影測量進行三維追蹤識別，醫生可佩戴Hololens眼鏡，在手術導航中提供更好的手術指導[18]。

圖1 增強現實自動精確配準與追蹤的方法流程圖

4 實驗驗證

實驗采用雙目相機獲取真實空間中標記點的位置坐標，在Windows10操作系統上運行Microsoft Visual Studio平臺上完成坐標配準，采用vuforia進行識別跟蹤，并在unity平臺上展示虛實配準效果。配準前真實空間點集M坐標與配準前虛擬空間點集W坐標如表3所示。

表2 配準前真實空間點集M（mm）

表3 配準前虛擬空間點集W（mm）

為了驗證實驗的精確度，將一張帶有毫米刻度的A4紙（其細線間距為1毫米）粘貼在一個光滑平板上，將3D打印的胸骨和RGB圓柱體粘貼在平板上。將其一并放在實驗臺上，利用雙目相機獲取真實空間坐標點信息，在unity中獲取虛擬空間坐標點信息。通過坐標系之間的轉換，在unity中對模型進行調整相應的角度和位置。最后利用Hololens進行同構多個角度觀察配準效果。

表4 配準后虛擬空間點集N（mm）

圖2 虛擬空間模型與真實空間模型配準前效果

圖3 虛擬空間模型與真實空間模型配準后效果

經過以上對各坐標系轉換，獲得配準前后坐標值，并用MATLAB顯示模型配準前后點，經計算誤差為1.004mm，在允許范圍內。

圖4 空間坐標點配準前后精度對比

5 結語

為了達到增強現實在醫學導航上的高精度配準與追蹤技術，提出了一種自動精確配準與追蹤的方法。它是通過雙目相機攝影測量獲取真實空間坐標點來幫助自動配準，利用Vuforia來進行關聯虛擬與現實之間的坐標系，幫助提高虛實配準精度。Vuforia中的Cylinder Target識別在虛實配準與追蹤過程中不易受到遮擋的影響，配準精度較高，對比配準前后坐標誤差精度為1.004mm，達到實時追蹤的效果，并且可以做到360°視角跟蹤目標，允許醫生在測試區域內走動，符合實用要求。此方法具有先進性和實用參考價值，并且經濟實惠。