動態跟蹤捕捉技術在VR影像中的應用研究

摘要：【目的】動態跟蹤捕捉技術在虛擬三維空間中有著非常重要的作用，如今動態跟蹤捕捉技術作為VR領域的“鑰匙”應用在諸多科學領域當中，文章的核心內容是動態跟蹤捕捉技術在不同VR影像領域中的應用?！痉椒ā课恼乱訴R影像為出發點，討論研究動態跟蹤捕捉技術的分類及其應用的范圍，通過研究分析不同動態跟蹤捕捉技術所呈現的效果，對不同軟件進行測試并分類評價，舉例論證動態跟蹤捕捉技術在VR影像中的應用效果。【結果】隨著動態跟蹤捕捉技術的迭代升級，人們在影像創作上有了更多發揮的空間，這使得VR影像能夠更加逼真地呈現在人們的生活場景之中?！窘Y論】通過國內外頂級動作捕捉系統的案例分析，可以看到該行業未來發展前景廣闊，伴隨人工智能算法算力的不斷升級，動態跟蹤捕捉技術在VR影像中可以產出更多豐富的應用場景。

關鍵詞：動作捕捉技術；虛擬三維空間；VR影像；影像合成" " " " " " "中圖分類號：TP391.9" " " " " " " 文獻標識碼：A

文章編號：1671-0134（2023）05-139-04" " " " "DOI：10.19483/j.cnki.11-4653/n.2023.05.032

本文著錄格式：于楊.動態跟蹤捕捉技術在VR影像中的應用研究[J].中國傳媒科技，2023（05）：139-142.

1.動態跟蹤捕捉技術在影像中的發展歷程

動態跟蹤捕捉技術就是人們常說的動作捕捉（英文名稱為Motion Capture），是利用外部設備對人體結構的位移進行數據記錄和姿態還原的技術。由于采集數據可以廣泛應用于虛擬現實（VR）、游戲、人體工程學研究、模擬訓練、生物力學研究等諸多學科領域，因此這項技術擁有比較廣泛的市場前景和應用價值。動作捕捉實際上是一個比較通用的概念，對捕捉的對象并不限定，除了人和物，也可以是其他生物或者是個體的局部信息。例如電影《哈利波特：消失的密室》《加勒比海盜2》中所用的捕捉技術，這種利用演員的肌體表演數據“運算”出的虛擬角色的技術，也被稱為表演捕捉（Performance Capture）。在許多領域，動作捕捉有時也被稱為運動跟蹤（Motion Tracking），但在電影制作和游戲開發領域，運動跟蹤通常是指運動匹配（Match Moving）。

動作捕捉技術的發源，最早可以追溯到1915年，是由動畫師馬克斯·弗雷斯徹（Max Fleischer）發明的轉描技術 （Rotoscoping），其制作了一臺放映機，原理就是把膠片的內容顯示到透光臺上，憑借著這臺放映機，動畫師可以很方便地照著畫面中人物的動作造型，來繪制角色動作。[1]它的代表作就是我們熟知的迪士尼在1937年推出的《白雪公主和七個小矮人》。1983年，思蒙弗雷澤大學的湯姆·卡爾弗特（Tom Calvert）在物理機械捕捉服裝技術上取得了重大突破，這一技術讓人們見識到了最早的機械式捕捉。同期一套名為“waldo”的臉部和身體捕捉儀在任天堂的Mario Avatar中使用，并和展會的群眾進行互動，一時間聲名大噪。與此同時，麻省理工也推出了一套基于LED的“木偶圖像化”（Graphical Marionetter）系統，這就是早期光學動作捕捉系統的雛形。直到1994年，三維運動軌跡捕捉技術才正式開啟商業化之路。

在20世紀八九十年代，動作捕捉技術就已經開始活躍在電影行業當中。提到動作捕捉最先想到的就是早期接觸動作捕捉的從業者，其中的美國魔神公司（Motion Analysis）成立于1983年，為《金剛》《指環王》提供了技術支持。最初，光學動作捕捉只在攝影棚投入使用，演員穿著緊身衣在單調的設置場景里，通過特殊的相機和燈光進行動作捕捉。直到《指環王》這部電影，動作捕捉從攝影棚被帶到了拍攝現場，動作捕捉演員的先驅安迪瑟金斯化身為咕嚕和其他演員進行互動，從而通過演員動態捕捉還原片中人物動作的真實性，進而完成影片的合成制作。威廉（Vicon）則是參與過《泰坦尼克號》《阿凡達》等影片的制作，使其成為好萊塢業界專業性認可的新里程碑。威廉讓3D影像重返主流市場、動作捕捉技術特效的視覺化處理，也讓《阿凡達》拿下包括最佳攝影、最佳視效、最佳藝術指導三項奧斯卡大獎。

2.動態跟蹤捕捉技術的分類與應用程序

動態跟蹤捕捉技術從實質上來講就是測量、跟蹤并記錄物體在三維空間中的運動軌跡，需要傳感器、信號捕捉設備、數據傳輸設備和數據處理設備的組合才能夠完成。[2]現階段動態跟蹤捕捉方式有機械式動作捕捉、聲學動作捕捉、電磁式動作捕捉、光學動作捕捉、慣性動作捕捉五類。隨著動態跟蹤捕捉技術一步步地成熟，其應用范圍也日益廣泛，比如：人機交互、虛擬現實（VR）、動畫制作、影視制作、互動游戲制作、機器人遙控、體育訓練分析和醫療康復等領域。不同類別的動態跟蹤捕捉技術有各自的優缺點，如今最常見的兩種動態跟蹤捕捉技術就是光學動作捕捉和慣性動作捕捉。

光學動作捕捉是通過對目標物體上特定光點的監視和跟蹤來完成動態跟蹤捕捉的任務，捕捉技術是基于動作表演者的活動范圍而言，沒有電纜和機械裝置的限制，被跟蹤物體可以自由變換形態，當然該項技術的采樣速率也相對較高，可以滿足多數高速運動測量的需要，采樣的Marker點數量可根據實際應用添加，便于動作捕捉系統的擴充。[3]但該套系統的價格也相對昂貴，它雖然可以捕捉實時運動，但后期處理（包括 Marker 的識別、跟蹤、空間坐標的計算）的工作量較大，尤其是當捕捉多目標時，目標間若產生遮擋，將會影響捕捉系統精度，甚至會丟失捕捉目標，后期還需要軟件進行數據調節來完成正確的捕捉內容識別?；贛arker的光學動作捕捉系統所采集的信號量大、空間解算算法復雜，其實時性與數據處理單元的運算速度，完全和解算的算法復雜度相關聯，因此光學動作捕捉技術更適合用于科研類項目和大成本制作。[4]如2009年的《阿凡達》、2011年的《猩球崛起》等影片，就是運用了光學動作捕捉技術來完成制作的?！栋⒎策_》的錄制不但采用光學捕捉技術，還結合了實景拍攝及Simulcam系統完成制作，根據關節跟蹤點還原人物最真實的動態，雖然成本高但穩定性能較好，而且最后完成的效果足以讓人震撼。2022年上映的《阿凡達2：水之道》也同樣是運用了光學動作捕捉技術，并完成了水下的動作捕捉，對于光學動作捕捉來說，需要杜絕外來的不穩定光源，反射力較強的物體和任何可能造成感應器干擾的問題，而水下的動作捕捉恰恰加大了動作捕捉的難度，導演詹姆斯·卡梅隆利用工業科技的成果，將整部影片的視聽效果推向極致，盡其所能把幾乎接近真實的海底生態、洋流動態模擬還原出來，超真實地展現虛擬人物中每一個精細的面目表情。[5]光學動作捕捉包括微軟公司的Kinect動作捕捉技術和面向PC以及Mac的Leap Motion手勢識別技術與控制器，都是運用了基于圖像識別的光學動作捕捉技術。

慣性動作捕捉則是根據反向運動學原理測算出人體關節的位置，并將數據施加到相應的模型骨骼上，通過慣性導航傳感器AHRS（航姿參考系統）、IMU（慣性測量單元）測量被跟蹤物體的運動加速度、方位、傾斜角等特性。慣性動作捕捉需要各類無線控件、電池組、傳感器等配件，類似一個整套衣服穿在身上，通過各個部位的傳感器來捕捉人體或物體的運動數據。慣性動作捕捉與光學動作捕捉相比，慣性動作捕捉對場地和空間的限制更小，能夠在較大的空間范圍進行移動，可以到室外進行實景拍攝，并且不受光照、背景等外界環境的限制。由于物理慣性傳感器和連接線的外殼具有溫度補償和防水的特性，更適合在水下、雨中或冷熱氣候這一類特殊的環境下使用，只要是有生物的地方，運動捕捉服都可以正常使用，其成本也低于光學動作捕捉設備，但該技術會受到磁場、測量噪聲和游走誤差等因素的影響，導致捕捉數據受到影響，后期分析制作不夠精密，并且慣性傳感器也無法長時間地對人體姿態進行持續性精確跟蹤。

動態跟蹤捕捉技術在影視、動畫、游戲制作等方面應用的案例越來越多。例如《賽博朋克2077》的創作，由穿著動作捕捉服的基努·李維斯出演，動作捕捉設備記錄每一段人物的動作，反饋給建模軟件中所對應的人物模型，方便3D動畫的制作，極大地提高了動畫制作的效率，使動畫制作過程更為直觀，效果更加生動，最大程度地還原影像帶給受眾的真實感。[6]這些虛擬現實的效果離不開3D軟件的幫襯，Motion Builder軟件就是一款優秀的3D角色動畫制作軟件，該軟件利用實時角色為中心的工具集合，使該軟件為技術指導和藝術家們提供了處理最為苛刻的高容量動畫的可能。這款軟件中的Actor工具使用了Python腳本語言，通過自動設置動作捕捉數據并且將其傳輸至虛擬角色，可以幫助用戶節省更多的時間成本。而這項動態跟蹤捕捉技術也不只局限于三維平臺，例如Lockdown技術是一款具有革命性的動態捕捉插件，可以直接對運動物體扭曲不平的表面進行跟蹤，添加能夠刪除自定義的UV坐標、用于透視變形的UI控件和新的點插值，可以更好地處理被跟蹤物體的旋轉，且操作簡單，能夠廣泛應用于后期合成制作。比如美容修飾、物體的移除清理，以及影視跟蹤合成特效制作?，F如今動態跟蹤捕捉技術已經初步實現了無Marker技術，但其誤差相對于Marker技術更大，所以應用范圍并不廣泛。[7]在未來隨著科學技術的發展，如果能夠解決Marker的誤差問題，那么可以更好地解決Marker技術的缺陷。應用軟件在算法上的升級，會使動作捕捉所需要的反饋時間縮短。在未來，更加智能化的AI修復和模型處理算力的升級，必將會成為動作捕捉技術的核心競爭力之一。

3.動態跟蹤捕捉技術在VR影像中的應用

動態跟蹤捕捉技術毫無疑問地成了一把開啟VR產業大門至關重要的隱形鑰匙，可以幫助提升VR影像世界里沉浸式的體驗感，讓虛擬現實完成全面互動。自1989年以來，Qualisys就成為全球首選的動態跟蹤捕捉技術，也是行業之中十分精確和易于使用的VR追蹤系統之一。Qualisys系統是市場上可見的低延遲、較流暢的動作捕捉系統，也是一款比較簡單直觀、好操作的軟件系統。Qualisys系統與Unity和Unreal軟件經過反復測試，能提供即插即用的VR解決方案，遠離復雜的自定義模式。伴隨著9DVR體驗館的建立，對影視娛樂市場有著巨大影響，體驗館內的設施可以讓觀影者體會到仿佛置身于真實場景之中，讓體驗者沉浸于影片所創造的虛擬環境中。然而，當下絕大部分的VR體驗項目還只是停留在讓體驗者戴著VR眼鏡看視頻，或者是讓體驗者手握著僅可以進行簡單的方向和按鈕操作的手柄，待在某一個可以抖動的設備上。想要獲得完全的沉浸感，并真正地融入虛擬世界中，動態跟蹤捕捉技術的研發就是重要的環節之一。

伴隨著算法的持續迭代升級，動態跟蹤捕捉技術結合虛擬現實技術在游戲領域中得到了迅猛發展，如今已經應用在互動式游戲、虛擬3D形象演出或直播等VR影像中。利用VR頭顯（VR眼鏡）帶動場景、視角的切換，與場景中的物體進行互動。像任天堂LABO VR套件互動游戲，就是利用動態跟蹤捕捉技術，捕捉游戲者的動作操作，用以驅動游戲環境中的角色動作，使得游戲過程在保持實時性、交互性的同時也大幅提升了游戲的真實感，給游戲玩家一種全新的體驗，多少有點《頭號玩家》中展現的體驗感受。[8]還有位于荷蘭阿姆斯特丹的VR Arcade總部，是歐洲第一家自由漫步式VR游戲中心，能夠同時滿足多人、多角色進行VR游戲。VR Arcade結合動作捕捉在內的多種技術建立起一個與眾不同的VR體驗中心，此公司正是通過運用Qualisys動作捕捉系統追蹤游戲者的動作和位置，同時能與Unity3D即插即用，在不構建復雜的自定義系統的情況下進行工作，將他們置于虛擬環境中，并且游戲者可以在一個超大空間中盡情享受自由行走所帶來的體驗樂趣。[9]再比如，有結合三維動態跟蹤捕捉技術的VR碰碰車“Steampumk VR Scooter”，將游戲者帶入狂野的西部風格場景，開著虛擬的復古或未來主義風格的蒸汽機車相互碰撞、戰斗。

動態跟蹤捕捉技術在VR影像中的應用不僅僅是影音娛樂方面，還有科研方面的應用。[10]比如，由弗吉尼亞理工大學的創新、藝術和技術研究院（ICAT）所建設的巨型VR實驗室Cube，由ICAT和莫斯藝術中心共享，是一個目前最先進的劇院和高科技實驗室，耗資1500萬美元打造而成，該實驗室集合動態跟蹤捕捉技術、24臺亞毫米級精度Qualisys Oqus500+鏡頭于一體，可以實時記錄或傳輸物體和人的移動，包括面目表情和行為互動，實現生物力學追蹤和角色仿生，讓使用者在虛擬環境中活動自如。[11]這個巨型VR實驗室可以應用于實時交互研究；虛擬與真實世界的研究；人體性能的建模研究；分布式游戲和社交環境研究；虛擬建筑和環境的多人“漫步”研究；各種規模虛擬環境的教育和培訓研究；多屏幕多揚聲系統的藝術裝置或藝術效果研究；以及抽象數據的交互行為研究，其研究范圍包括生物信息學、社交網絡、交通、安全、生物和獸醫等多學科和跨學科領域。

國內也有兩家公司做得到了真正自主研發動態跟蹤捕捉技術的服務商，分別是度量NOKOV的三維光學動作捕捉系統和諾亦騰（Perception Neuron-3D運動測量與動作捕捉技術）的慣性動作捕捉系統。[12]度量NOKOV已經與蘇州市廣播電視總臺、中國科學技術大學、廣州體育學院、北京理工大學等多家單位進行技術應用的合作并制作出許多經典案例，比如虛擬人直播、運動技術分析、大空間虛擬現實交互等。雖然與國際先進的動態跟蹤捕捉技術相比，我們還存在一定的差距，但隨著國內廠商對動作捕捉系統自主研發的持續投入，中國的動態跟蹤捕捉技術也會奮起直追，技術能夠應用的平臺也將會越來越廣泛。

結語

為實現人與虛擬環境及系統的交互性，必須確定參與者的頭部、手、身體等的位置與方向，準確地跟蹤測量參與者的動作，將這些動作實時檢測出來再根據數據反饋給顯示和控制系統。這些工作對虛擬現實系統是必不可少的，這也正是動態跟蹤捕捉技術的主要研究內容。通過對不同動作捕捉系統的測試顯示數據研究表明，目前光學動作捕捉、慣性動作捕捉，以及VR數據手套能夠滿足當下的市場需求。文章對動態跟蹤捕捉技術的理論研究，以及大數據的匯總分析，分類匯總了主流動作捕捉系統的優缺點及應用范圍。通過不同維度的軟件預設數據找到匹配模型來完成創作任務、優選匹配軟件，通過國內外頂級動作捕捉系統的案例，闡述動態跟蹤捕捉技術在VR影像中的應用，可以看到該行業未來發展前景廣闊，但由于目前VR設備不能有效普及民眾，因此也帶有一定的推廣局限性。

從動態跟蹤捕捉技術在影視制作工作流程中的使用來看，從最初的幾秒鏡頭，到現在幾乎是一整部作品都離不開動作捕捉技術，影像未來的發展儼然已經與動作捕捉技術密不可分，動態跟蹤捕捉技術也是當下的影像創作者們不斷嘗試與探索的技術領域。通過技術與數據的逐漸完善可以達到“以假亂真”的效果，還有更多不斷開發的軟件來適配動態跟蹤捕捉技術，讓捕捉數據的轉換更加準確、便捷。相信今后還會出現更先進的動作捕捉系統來滿足不同領域的應用，實現更加優化的呈現效果和使用體驗。隨著社會生產力和科學技術水平的不斷推進，各行各業對VR技術的需求與日俱增，VR技術也不斷地迅猛發展，并逐漸成為一個新興的科學技術領域。人們未來的生活趨勢也將會更多地在虛擬與現實之間來回切換，科幻影片中的故事情節很有可能在人們未來的生活中發生，VR技術必將在這個領域發揮至關重要的作用，所以動態跟蹤捕捉技術的不斷發展與創新，是VR產業發展的重要基石。在未來不斷迭代的算法、算力和人工智能技術的加持下，動態跟蹤捕捉技術在VR影像中的應用一定會大放異彩。

參考文獻

[1]李玉銘，朱婧.基于VR技術的多視覺動畫角色模型展示系統設計[J].現代電子技術，2020（20）：164-167.

[2]白堅.影像合成連貫性、特效電影中圖像、空間信號以及感官現實的合成[J].北京電影學院學報，2008（5）：81-87.

[3]秦菊.VR技術與數字媒體技術的結合及應用[J].電視技術，2022（9）：156-158.

[4]邱國橋，廖洪輝.基于數字化動畫藝術的動態捕捉技術研究[J].中國報業，2012（12）：42-43.

[5]丁鐘，田義貴.論VR技術對電影生態的沖擊與構建——以文化公平為視角[J].當代電影，2017（12）：57-60.

[6]周建.基于VR拍攝技術的野生動物紀實類影像創作[J].現代電視技術，2020（11）：95-98.

[7]周月洋.AE運動跟蹤在影視后期中的介紹及應用[J].電腦迷，2017（3）：113.

[8]蘇米爾.交互·鏡語·復眼：VR影像媒介語言的全息融合[J].現代傳播（中國傳媒大學學報），2022（6）：158-164.

[9]孫冬.基于無人機控制和最優視圖視選擇的動作捕捉方法[J].傳感器與微系統，2021（10）：51-55.

[10]楊鵬岳.動作捕捉技術讓虛擬和現實共舞[N].中國電子報，2021-10-22（007）.

[11]劉進.影像合成運動鏡頭中的軌跡同步技術[A].中國電影電視技術學會.2009中國電影電視技術學會影視技術文集[C].中國電影電視技術學會，2010：7.

[12] Sacco Pier Luigi，Teti Emanuele. Maintaining content innovation in an industry with unpredictable returns：a portfolio approach to movie production[J]. Economics of Innovation and New Technology，2021（8）：767-785.

作者簡介：于楊（1987-），女，黑龍江哈爾濱，閩南理工學院講師，研究方向為數字媒體藝術。

（責任編輯：張曉婧）