基于數據融合的虛擬現實位姿追蹤系統

任榮琴 申菊 馬召換 王添 李念

摘要：本課題針對虛擬現實應用的特點，將光學數據與IMU數據相結合，研究基于數據融合的位姿追蹤系統，通過位置信息與姿態信息的相互補償或矯正，實現更準確的姿態追蹤、更平滑的位置輸出以及更少的圖像延遲，提升VR體驗效果。

關鍵詞：虛擬現實;數據融合;位姿追蹤系統

1.引言

近幾年，人們對于VR體驗不斷增長的期望與需求，給位姿追蹤技術的發展帶來了挑戰與機遇，不同樣式的追蹤技術與設備競相亮相。其中，光學追蹤與IMU追蹤是兩種最常見的追蹤方式。一般來說，位置追蹤以光學方法為主，姿態跟蹤以IMU方法為主。

通過光學、IMU以及其它相關器件，可獲得多種數據（包括：位置、運動、姿態、角速度、加速度、地磁等數據），根據各種數據的特點，在算法上可取長補短，從而實現更佳的VR體驗。例如，從IMU中提取加速度數據，可用于光學位置預測;再例如，從光學數據中得到運動信息，可用于IMU的姿態矯正。本課題，即是研究這種基于數據融合的虛擬現實位姿追蹤算法，不同于位置、姿態分別解算，而是通過相互補償或矯正，兼顧位姿的準確性與平滑性;并可通過多種數據預測位姿，從而降低延遲。

2.研究背景

在位置、姿態追蹤領域，單說姿態解算或者光學定位，分別有一些成熟的實現方式;但是，對于數據融合算法，特別是針對VR這一特定應用的實現方式，相關的研究卻較少。

人眼對于VR場景的變化相當敏感，通常情況，如果VR場景有1mm以上的抖動，或者20ms以上的延遲，或者姿態有0.1度的抖動，人就會明顯感覺到眩暈;所以，位姿追蹤的精度需達到一定的程度，才能滿足VR應用。本課題的研究重點，正是針對VR這一特定應用，盡可能的充分利用多種數據，提高位姿追蹤精度、降低延遲，以實現更佳的VR體驗效果。位置與姿態（位姿）的實時追蹤，是虛擬現實（VR）的關鍵技術。

本課題就“基于數據融合的VR位姿追蹤算法”進行系統地研究，不同于通常的位置、姿態分別解算，而是針對VR這一特定應用，通過多種數據相互補償，提高位姿追蹤精度。因此，在VR追蹤方面，具有一定的科學意義和學術價值。通過VR追蹤融合算法的研究，將整理出從傳感器校準、到姿態解算、再到數據融合、最后預測輸出的整套算法，可直接應用于VR頭戴或者VR配件的位姿追蹤，具有實際意義與應用價值。

3.系統設計流程圖

“位姿追蹤融合算法”的流程，如下圖所示：

磁力偏航角矯正是可根據磁力計數據矯正姿態偏航角。溫度漂移補償是配有溫度傳感器可針對陀螺儀作溫漂補償。姿態計算主要依靠陀螺儀積分，在一定條件下，可根據加速度計數據與重力的關系矯正姿態，這里指矯正傾斜角的偏差。工廠校準主要是陀螺儀、加速度計需要針對零偏和敏感度分別進行校準;磁力計需要連同頭戴或手柄、控制器作整體校準。光學定位算法，此處可有多種不同算法，對應于不同的追蹤形式。常用到的有雙目視覺算法、PNP算法。

角速度、角加速度預測姿態是利用歷史信息預測姿態，或者進一步，利用歷史信息計算出角加速度用于預測姿態。光學運動信息矯正IMU姿態是利用光學運動信息，按照一定權重矯正IMU姿態，可防止姿態偏移。光學姿態矯正IMU姿態是利用光學姿態，按照一定權重矯正IMU姿態，可防止姿態偏移。IMU加速度預測位置是利用加速計及姿態信息，預測位置。說明：IMU更新速率通常快于光學，因此，用IMU數據補償光學數據、預測位置。速度、加速度預測位置是針對圖像方面的延遲而作的預測，或者說是為軟件應用的調用而即時作的預測。

4.系統設計

位置與姿態（位姿）的實時追蹤，是虛擬現實（VR）的關鍵技術。不同樣式的追蹤技術與設備競相亮相。其中，光學追蹤與IMU追蹤是兩種最常見的追蹤方式。一般來說，位置追蹤以光學方法為主，姿態跟蹤以IMU方法為主。

通過光學、IMU以及其它相關器件，可獲得多種數據（包括：位置、運動、姿態、角速度、加速度、地磁等數據），根據各種數據的特點，在算法上可取長補短，從而實現更佳的VR體驗。例如，從IMU中提取加速度數據，可用于光學位置預測;再例如，從光學數據中得到運動信息，可用于IMU的姿態矯正。本課題，即是研究這種基于數據融合的虛擬現實位姿追蹤算法，不同于位置、姿態分別解算，而是通過相互補償或矯正，兼顧位姿的準確性與平滑性;并可通過多種數據預測位姿，從而降低延遲。

5.系統測試

我們將實現一個由傳感器主板，以及相關代碼實現的一個3D模型，在此實驗中，我們主要用到的硬件儀器有主板，傳感器。在傳感器當中我們置有陀螺儀，以及加速度計。在主板與傳感器之間用線來連接主板的二引腳，它的主要作用是當數據準備就緒用于中斷。再分別把A4，A5引腳與傳感器相接，以及接地的引腳和vcc引腳接好，有一個引腳需要接電源來提供電壓。用usb光纜把數據輸回電腦。用arduino和processing軟件來進行測試，先把代碼上傳成功之后打開串口監視器輸入任意字符，可以看到來自傳感器的xyz軸的位置在隨傳感器位置的變化而變化。下面是具體的測試圖。

綜上，本課題針對虛擬現實應用的特點，將光學數據與IMU數據相結合，研究基于數據融合的位姿追蹤算法，通過位置信息與姿態信息的相互補償或矯正，實現更準確的姿態追蹤、更平滑的位置輸出以及更少的圖像延遲，提升VR體驗效果。

參考文獻

[1]黃鵬程，楊波，萬新軍等.基于雙目視覺的多點三維振動測量系統[J].光學技術，2018，44（4）：448-452.

[2]邱志成， 肖駿， 劉金國.柔性臂振動的雙目三維檢測和主動控制[J].電機與控制學報，2019，23（10）：129-138.

[3]曹姝清，盧山，劉宗明等.基于目標特征的單目視覺快速相對位姿測量系統及方法：中國，CN201711242992.9[P].2017-11-30.

基金項目：本文系貴州師范學院課題“基于數據融合的虛擬現實位姿追蹤系統”