基于影史分析視角的動作捕捉技術應用發展研究

周 進 劉洪琛

一、動作捕捉技術概述

人們追求高效率創建高品質影像的努力永遠不會停止，其中最重要的路徑之一是，如何從現實中提取真實性，并在其上復合幻想和虛構的成分，從而獲得可信的虛擬影像效果，這是從特效影像先驅梅里愛開始就未停止過的。在進入數字時代以后，影像創作的幾乎所有領域都開始與信息技術相結合，其中最重要的一個部分就是動畫。我們的動畫通常是通過2D繪制、定格擺拍或3D手調（關鍵幀動畫）的方式實現的。但不管動畫師的水準有多高，都很難達到實拍影像那種徹底的真實感。為了實現更加真實的動畫虛擬影像效果，動作捕捉技術應運而生。

動作捕捉（Motion Capture，簡稱Mocap）的應用已經非常廣泛，能捕捉的對象不僅包括人，還可以是動物或物品。在動作捕捉的過程中，儀器會對拍攝對象進行每秒若干次姿態采樣，將這些采樣數據串聯到時間線上后，就得到了被攝對象的運動軌跡。因此，動作捕捉只是記錄被攝對象的真實運動數據，外觀則可以是計算機虛擬的。當動作捕捉應用在電影和數字游戲的開發中時，它主要是指記錄真人演員的關節點運動信息，并借此驅動計算機中數字角色的動作。其中，采集精度要求更高、技術更先進的面部捕捉和手部捕捉則可以統稱為表演捕捉，也是目前重要的數字技術發展方向之一。

（一）早期的動作捕捉技術

動作捕捉技術在影視行業應用的起源被普遍認為是費舍爾（Fleischer）于1915年發明的動作轉描技術（Rotoscope），也就是將實拍的序列幀畫面作為底稿，在其上的透明介質中進行逐幀“臨摹”和一定程度改造的技術。雖然在今天看來該技術費時費力且畫面效果常常有些不倫不類，但在動畫技術還不成熟的條件下，它能幫助卡通角色獲得更為真實可信的動作表現，這一點非常寶貴。在動畫剛剛誕生的草創期，很多動畫片就需要使用這種技術來實現。比如，1941年，萬氏兄弟聯合導演的動畫片《鐵扇公主》就一定程度上要依靠這種技術；1951年，迪士尼出品的動畫電影《愛麗絲夢游仙境》已經在轉描的基礎上進行了大量創作。

（二）動作捕捉技術方案

動作捕捉技術在進入數字時代后產生了質的飛躍，信號的捕捉和傳遞提供了多樣化的技術可能性，生成效率和表現能力越來越強大，這使得動作捕捉技術逐漸成為數字影像創作中難以取代的核心技術之一。而之所以動作捕捉能夠在電影和數字游戲中逐漸普及，這離不開它的幾個核心優勢：相對關鍵幀動畫，它具有很高的動作生成效率，可以實時獲得仿真動畫數據；流水線式的生產模式也不會讓這個生成效率發生波動，這使得使用動作捕捉的時間越長，成本越低；在相同時間內可以獲得龐大的信息量，豐富畫面內容。

與此同時，在當前的技術水平下，動作捕捉還存在一些劣勢，并限制了它的進一步推廣；也存在一些技術和應用上的劣勢：技術含量高，軟硬件需求相對復雜；對大批量制作的成本降低效應明顯，小批量生產則可能成本過高；根據技術方案的不同，對場地和空間具有不同的限制，比如光學方案的空間要求就比較高；非真實運動不適用該技術；演員與虛擬角色的外形差異會造成動作誤差。

表1.主要動作捕捉技術方案匯總

當前的動作捕捉系統大致可分為光學系統和非光學系統。光學系統又分為紅外式、激光式、可見光式、機器視覺式等，其中紅外式方案最為成熟。非光學系統可分為慣性式、電磁式、聲學式、拉伸式等，其中慣性式方案使用較多（如表1）。

1.光學動作捕捉系統

一組光學系統的動作捕捉設備至少由6-8個相機環繞動作捕捉場地（如圖1），這些相機拍攝范圍重疊的區域就可以有效拍攝，而被攝物體上需要有足夠明晰的反光點（如圖2）以實現追蹤。光學系統的動作捕捉方案的精度可以達到毫米級別，這是慣性式動作捕捉方案無法比擬的，加之高幀率和數據修飾軟件的發展，這使得光學系統成為應用最廣泛的動作捕捉方案。但由于設備較為復雜導致搭建成本高，需要較大空間導致場地成本高，遮擋引發的Marker點定位丟失導致攝像機成本高等原因，致使光學系統動作捕捉方案成本高企，個人難以負擔。

光學系統中最常用的是紅外式動作捕捉方案（或細分為被動紅外式動作捕捉方案）。這是基于紅外光發射來采集人體空間坐標的技術，其基本原理是通過若干發射紅外光的攝像機，覆蓋拍攝動作捕捉空間，而需要采集空間位置的物體則使用反光小球進行標記，小球的反光被捕捉到后就可以計算這些點的位置以及動態變化。

主動紅外式、激光式和可見光式動作捕捉方案主要應用在虛擬現實設備上，計算機視覺式動作捕捉主要應用在手勢動作捕捉上，計算機視覺式身體動作捕捉還主要存在于實驗室中，以上非主流光學動作捕捉方案未來是否會應用在電影的動作捕捉行業中，還需要看當前的被動紅外式光學捕捉方案是否能滿足電影對動作捕捉精度的要求，以及是否會產生其他的細分行業要求等。

2.慣性動作捕捉系統

慣性式動作捕捉方案是將感應芯片（如圖3）封裝后綁定在身體的重要關節點，通過芯片捕捉到關節點的多種變換，進而通過算法分析轉化為人體的動作數據。但由于這種捕捉和計算方式只存在于動作捕捉服的芯片之中，沒有外界參考，致使慣性式動作捕捉設備會產生無法避免的累計誤差，這是慣性式動作捕捉精度上不如光學式動作捕捉的主要原因。但也正是由于這一特征，慣性式動作捕捉方案可以用于大多數場景，這解放了動作捕捉的空間限制，給演員與場景之間的互動帶來了更多可能性。

慣性動作捕捉是經歷了長時間發展的技術方案，其中最知名的國外廠商是荷蘭Xsens（如圖4）。它從2000年就開始了IMU（慣性測量裝置，用于直線和旋轉運動）和AHRS（自動航向基準系統，用于校準重力場和磁場方向）的研發工作。國內也有廣受認可的北京諾亦騰，它的產品使用便捷、價格親民，以MENS的形式為主。

圖1.典型的紅外式動作捕捉設備攝像機分布圖

圖2.一套典型的光學系統動作捕捉服

圖3.一個常見的IMU傳感器集合

目前，動作捕捉的各種技術方案各有優缺點，其中，紅外式和激光式動作捕捉方案的實時度和準確度占優，慣性式和計算機視覺式動作捕捉方案的便攜性和成本占優。當前的很多影視作品在拍攝中會同時使用以慣性式和紅外式為代表的多種技術方案。比如，慣性式動作捕捉方案就常用于個體畫面占比小、非視覺中心的群體動畫和背景路人等，以及不需要非常精確的電影預演制作，而紅外式動作捕捉方案就用在需要體現精細表演的主要角色上。

二、電影史上動作捕捉技術應用經典案例分析

動作捕捉技術在電影行業中的普及經歷了一段較為曲折的歷程。雖然動作捕捉的前置技術應用最早可以追溯到大量轉描技術制作的動畫片，CG（Computer Graphics）技術也在實驗室影像甚至商業廣告上取得了突破，但計算機化的動作捕捉技術真正應用到好萊塢商業大片中并成為主流特效技術仍經歷了一段相對漫長的時光。

技術的發展不是一蹴而就的，而無數小的技術突破和創作實踐積累疊加而成的。同樣，動作捕捉技術在電影行業中也經歷了由量變到質變，并經由標志性影片呈現出來的過程。通過觀察影史中對動作捕捉技術的典型應用案例，我們可以概括性地·提出動作捕捉技術在影史中的四個不同發展階段。

（一）萌芽期（1990-1999）：《泰坦尼克號》中的群眾演員

1990-1999年可以看做是動作捕捉技術在電影行業中的萌芽期，這個階段的主要特征是：（1）動作捕捉數據精度較低（動作捕捉光學攝像機鏡頭分辨率最高30萬像素，模擬視頻數據），只有四肢和軀干的簡單運動，且經常發生動作抖動（捕捉誤差）；（2）數據捕捉成功率低，需要反復測試和捕捉才能達到實用水準；（3）動畫非實時呈現，需要一段長短不等的時間才能看到動作捕捉數據驅動的計算機圖像；（4）受到當時CG技術的發展水平限制，動畫渲染效果還很簡單、細節較少。

世界上第一個使用動作捕捉技術實現的電影畫面是1990年《全面回憶》（Total Recall）中的一個鏡頭，這是一個只有幾秒鐘的X光安檢機畫面。在原本的設想中，影片會用到更多動作捕捉技術制作的畫面，但動作捕捉現場出現了嚴重的技術問題。更重要的是，直到拍攝結束很久以后，技術人員才發現大量動作捕捉的數據并未成功采集。雖然該片依舊憑借出色的特效得到了當年的奧斯卡金像獎，但這一失誤也一定程度上造成了在電影界剛受到關注的動作捕捉技術再度沉寂。

1996年，詹姆斯·卡梅隆在創作《泰坦尼克號》的時候，動用了大量先進的電影特效技術，其中就用到了動作捕捉技術，并為此建立了一個CG人物動作庫。該片應用動作捕捉技術的主要目的是為了創建一大批各式各樣的CG背景人物，從而化解指揮大量真人群演帶來的復雜度和成本問題。比如，在一個俯覽甲板的鏡頭中，工作人員就利用微縮輪船模型和CG角色的拼接，巧妙完成了一副宏大的泰坦尼克號出航畫面，其大量的背景角色在今天看來依舊不算太過粗糙。這是動作捕捉技術第一次成規模的進入商業電影，成為電影內容不可或缺的一部分，為后來動作捕捉技術的進一步深入發展奠定了基礎。

(二)起步期（2000-2006）：《指環王2》《金剛》中的主要角色

2000-2006年可以看作是動作捕捉技術在電影行業中的起步期，這個階段的主要特征是：（1）數據精度較高（動作捕捉光學攝像機從模擬升級到數字，分辨率達到130萬像素以上），已經可以用于電影的主要角色表演，但大部分動作，特別是面部和手部數據依然需要動畫師手動清理和修飾完善；（2）動作捕捉數據的成功率較高，受到技術性干擾而重新捕捉的情況減少；（3）角色動畫基本實現了實時渲染，動作捕捉的同時就能看到簡模呈現的渲染效果；（4）動畫渲染效果好，虛擬角色的材質和面部細節豐富。

圖4.荷蘭Xsens慣性動作捕捉設備的芯片位置、動作捕捉服和動作捕捉手套

2002年上映的魔幻史詩電影《指環王：雙塔奇兵》帶來了咕嚕，這一電影史上的里程碑式形象，觀眾認可這個角色并不僅是因為它驚人的視覺效果，更是因為它是影片最杰出的表演之一，它讓人既鄙夷又同情。在咕嚕的創造過程中，最具標志性的突破就是動作捕捉技術的成功運用。這部電影使用動作捕捉技術出色表現了一個非常不適合真人演繹的角色，并證明了全動作捕捉影片《最終幻想：靈魂深處》《仙巴歷險記》的票房失利并不是因為應用了動作捕捉技術，而是表明了恰當使用動作捕捉技術是能為影片增色的。

在動作捕捉技術還未完全成熟的2002年，劇組成員花費了大量時間來實現咕嚕這一形象。首先，扮演者安迪·瑟金斯首先要穿上特制的白色服裝與其他演員對戲，這是為了給其他演員一個互動對象，以保證電影的動作和畫面效果真實可信的同時，還能在后期通過服裝顏色，更方便地摳出瑟金斯的影像，代之以咕嚕的形象。

然后，瑟金斯還要穿上帶有幾十個Mark點的動作捕捉服裝進入一個專門的動作捕捉房間，將咕嚕的所有臺詞和動作重新單獨表演一遍，此時，瑟金斯表演的動作數據才真正輸入了電腦，初步驅動咕嚕的動作成為一個鮮活的形象。沒有對手演員和真實環境，完全通過想象和講解來復現每一場戲，這對當時的演員來說是一個巨大的挑戰。

即使采用了高度可控的環境，最終的動作捕捉數據也達不到實用的要求，全部數據中只有大約20%可以直接使用，剩下的要依靠十幾個動畫師來手動完成。特別是面部動畫，在參考了瑟金斯表演的基礎上，絕大部分要動畫師通過傳統三維動畫技術中的融合動畫（Blend Shape）才得以實現。因此，對于最終畫面來說，不同職位的人都做出了獨特的貢獻?！鞍驳稀ど鹚梗ˋndy Serkis）創作了樂曲，由蘭迪·庫克（Randy Cook，動畫導演）進行指揮，而動畫師就是演奏音樂的人?！?/p>

在2005年的電影《金剛》中，動作捕捉技術相比《雙塔奇兵》有了進一步的發展，面部捕捉技術更加成熟，進入了更加實用化的階段。影片可以在動作捕捉的同時通過面部的132個反光標記點進行表演捕捉，身體動作、面部表情和聲音可以同時記錄。在實際拍攝中，瑟金斯的表演會通過面部反光標記點進入計算機中應用于肌肉群組系統，驅動金剛的面部表情，而動畫師進行少量夸張和微調，就能確保表情接近巨型黑猩猩。但在類似嘴邊這樣需要更多情緒，肌肉活動更精細的部分，就依舊需要動畫師通過大量關鍵幀動畫的方式實現。

（三）成熟期（2006-2015）：《阿凡達》《丁丁歷險記》中的角色、鏡頭與虛擬拍攝

2006-2015年可以看做是動作捕捉技術在電影行業中的成熟期，這個階段的主要特征是：（1）動作捕捉數據精度很高(動作捕捉光學攝像機分辨率達到千萬像素以上），已經很少用到動畫師手動清理和修飾，且實現了更為精細的表演捕捉；（2）數據成功率高，由于技術原因被廢棄的動作捕捉數據降到最低；（3）虛擬拍攝技術讓初步預演最終畫面效果成為可能，為藝術創作帶來了巨大便利；（4）角色渲染效果好，特別是面部表情和手部細節更為豐富；（5）計算機數據處理能力很大提升，光學攝像機數量增加至一百個以上，可以進行超大規模的動作捕捉，支持極大的表演場地及角色數量。

圖5.主動發射紅外光的跟蹤點

圖6.機動化布置的參考攝像機

作為電影史上前無古人的里程碑式作品，《阿凡達》（2009）中所創造的奇觀首先源自于其對新技術的開發，以及對技術的高超運用。其中一系列動作捕捉技術的實現和超越，成就了虛擬世界的極度仿真。

首先，為了提高動作捕捉的成功率，防止丟點，不同于以上介紹的被動紅外式動作捕捉方案，《阿凡達》開發了全新的主動紅外式動作捕捉方案，其中最重要一點是一套主動發射紅外光的跟蹤點（如圖5）。以往的被動紅外式主要依靠攝像機發出紅外光，跟蹤點反光，其成功率很大程度上依賴反光材料以及環境中的光線干擾多寡，外部影響因素較多。主動紅外式動作捕捉的好處顯然是大大提升了標記點的信號強度，進而提升了采集的精準度。除此之外，為了進一步避免丟點，《阿凡達》還通過軟件算法設計提升了小幅誤差的猜測能力，并在多達120個的動作捕捉攝像機之外，于場景的薄弱處機動化布置了若干個參考攝像機，從而最大程度的避免遮擋（如圖6）。

其次，為了保證面部捕捉能夠徹底實現，創造出極為逼真，能夠超越“恐怖谷”的角色，《阿凡達》創造出了頭戴式面部捕捉設備（Facial Capture Head Rig）。它類似頭盔，能夠緊密、光滑且舒適的包裹住除了面部以外的部分，保證即使在很大的動作戲中，輕巧的碳纖維桿前的高清攝像頭也能結實不晃動。演員面部的追蹤點也簡化為了綠色的顏料，計算機通過圖像識別來進行面部表情追蹤。這套新的面部捕捉系統能夠精確記錄從嘴部到眼球的細微變化，生成的動畫中只有10%左右需要調節手動調節關鍵幀，從而大大提升了表情捕捉的效率，實現了對虛擬角色的面部表情無縫驅動，也避免了以往動作捕捉過程中演員表演和臨場體驗的割裂。除此之外，《阿凡達》還開發了真人表情到類人造型之間的動畫驅動程序，它不僅能將演員面部與類人面部進行對應，還能實時解析面部追蹤點，即時呈現面部表情效果。

最后，《阿凡達》還開創性的研發和使用了虛擬拍攝系統，這為后來的虛擬拍攝和現場調度打開了新的大門。實際上在以往的全虛擬影片拍攝中，大部分人認為這只是數字影片拍攝轉型中無可避免的“陣痛”：以前人們能在拍攝中看到實景，現在只能時不時地腦補一下。而《阿凡達》所使用的虛擬拍攝系統，將以前實時渲染的虛擬角色和場景加入了實時移動的虛擬攝像機，讓任何人都可以在拍攝時步入《阿凡達》的虛擬世界，這大大提升了拍攝的可視性，為藝術化創作提供了巨大便利，也為虛擬制作的無限可能性放開了想象。

《丁丁歷險記：獨角獸號的秘密》同樣實現了史無前例的完美視覺效果和商業成功，一定程度上就要歸功于《阿凡達》的創作班底，相同的虛擬拍攝系統、動作捕捉系統、表演捕捉系統等一系列先進數字技術，讓迥異于原作的寫實版丁丁完全落在了斯皮爾伯格藝術創作能力的“五指山”中，為飛越“恐怖谷”打下了堅實的基礎。

（四）新時期（2016-至今）：《阿麗塔》《雙子殺手》中的全仿真角色

2016年至今可以看做是動作捕捉技術在電影行業中的新時期，這個階段的主要特征是：（1）動作捕捉數據精度極高，繼續提升了前述動作捕捉、表演捕捉、虛擬拍攝的精度，實現了實時高精度的效果呈現；（2）虛擬角色的渲染效果真假難辨，已經能替代真實演員出現在電影中。

2019年上映的《阿麗塔：戰斗天使》不再是像《丁丁歷險記》或《阿凡達》那樣的虛擬世界，而是虛擬角色與真實角色站在一起，相互比較，這種畫面對計算機圖像仿真度和復雜度的要求更高。因此，可以說《阿麗塔：戰斗天使》代表了當前CG技術的最高層次，僅以眼部為例，她的虹膜通過對扮演者羅莎眼睛的真實模擬建立，并可以分解為單條纖維，每只眼睛由九百五十萬個面組成，阿麗塔整體則有5000個類似的部分。而《魔戒2》中的咕嚕整個角色只有五萬個面。當阿麗塔眼周、臉上形成皺紋時，皮膚次表面的血量會微微增加，制造皮膚自然擠壓變紅的感覺。如此真實的面部效果得益于維塔數字工作室為阿麗塔設計的全新CG面部系統，羅莎通過更加清晰和智能的面部捕捉系統，除了可以同步控制阿麗塔的表層皮膚，還能深度控制底層肌肉系統。羅莎甚至認為，阿麗塔就像她自己一樣，每一點細微的不完美和完美都會體現在臉上（如圖7）。

2019年上映的《雙子殺手》是李安嘗試4K+120幀和數字人的最新影片，其中對威爾·史密斯（Will Smith）的數字人重建成為影片視覺特效的核心，因為無論是高清晰還是高幀率，都會毫無疑問的增加細節的呈現，可謂纖毫畢現，這時虛擬角色的仿真度就顯得無比重要。維塔數字工作室為虛擬角色升級了解決方案，如在面部模型表現上，為了精確還原史密斯的面部模型，維塔用八個攝像機在史密斯的臉部周圍以90度弧度進行了FACS （面部表情編碼系統）半小時的拍攝，以獲取完整的表情。在面部皮膚表現上，以史密斯的年齡來說，皮膚質感已經不再適用于年輕版的史密斯，因此，維塔數字工作室以一個黑人青年皮膚材質為基礎，研發了一套拾取細小毛孔真實形狀的技巧，允許毛孔按照一定的流體力場來沿著臉部表面位移，這樣便形成了模擬毛孔生長和細小汗毛自然彎曲的形態，還可以借此形成更真實的皺紋。通過維塔高精度的面部捕捉系統來控制精細和寫實的面部，《雙子殺手》呈現了一個當前視效最頂級的虛擬角色。

三、動作捕捉技術在電影行業的發展歷程帶來的啟示

最近30年，以動作捕捉技術為代表的數字影像科技發展十分迅猛，數字電影視覺效果所需的模型、材質、特效、動畫等經歷了從無到有，從簡陋新奇到真假難辨的發展過程，已經成為眾多電影作品的強大創作支撐。當前，基于計算機技術的動作捕捉技術在電影創作中的應用越來越廣，從先期創作到最終視覺效果，從角色動畫到虛擬預演，動作捕捉技術正在塑造更多的影片內容和視覺效果，創造層出不窮的奇觀影像和動人故事。其中，堅持電影創作至上的“創作派”帶來了諸如《指環王：雙塔奇兵》《阿凡達》《阿麗塔：戰斗天使》等技術嫻熟、藝術品質極高的影片，取得了票房和口碑的雙豐收。這些影片善于利用數字技術為電影藝術創作服務，但卻恰恰發揮了人性深處最強大的力量，成為影史上濃墨重彩的一筆。筆者認為近十年動作捕捉技術應用非常成功的一部影片是2011年由夢工廠影業制作，迪士尼影業發行的科幻電影《鐵甲鋼拳》，這部影片沒有大規模應用數字技術制作電影特效畫面，只是很純粹的應用動作捕捉技術制作了一個能夠模仿學習人類動作的低端機器人，這個機器人是兒子在垃圾堆里撿回來的，兒子對其抱有極大希望，而退役拳擊手父親則非常藐視。通過這個機器人向主人公父親學習拳擊，不斷提升自身拳擊水平，父子和機器人一起努力，獲得一場又一場比賽的勝利過程，展現出父親、兒子，以及機器人伙伴之間的患難與共、互相扶持的溫暖情感，感人至深，在全球斬獲近3億美元的票房，獲得票房口碑雙豐收。

表2.“恐怖谷”與技術使用區間對照圖

圖7.《阿麗塔：戰斗天使》動作捕捉畫面與最終畫面對比

但與此同時，一些堅持技術至上的“技術派”作品則在一次次沖擊市場的過程中潰敗，大量以新技術為噱頭的大制作電影遭遇了口碑和票房的滑鐵盧，如《圣誕頌歌》《貝奧武夫》等影片讓人看到了只有先進技術并不足以支撐一部優秀的電影作品。很多影片在創作之初雖然看到了數字技術的磅礴力量，卻誤以為這就是藝術和市場的制勝法寶，殊不知卻落入了思維簡化、孤芳自賞的誤區。好的故事、精彩的敘事、對情感的傳達才是電影的根本，才是觀眾走入影院的原動力。

我們依稀能看到這樣的趨勢：越是早期的作品，大規模超前使用數字技術的往往效果不好，越是接近當下的作品，有節制的使用數字技術的往往效果較好。在數字技術使用與藝術掌控力上面走鋼絲，正是諸多常青樹導演的重要能力?！翱植拦取崩碚摫砻鲝念惾说秸嫒酥g存在一個逼真度的序列，技術能夠提供的逼真度在不斷提升，我們不能超越這個逼真度上限，也不追求盡量逼近這個上限，最重要的還是能夠掌控技術帶來的逼真度，更需要以電影敘事為核心進行靈活的選擇和重構（如表2）。

隨著數字技術的不斷發展，實時渲染、交互影像等新技術還在不斷加入創作手段的隊伍中來，接納新技術、使用新技術已經成為未來電影創作的一種必然態度，一味求新或閉門造車都無法取得進步。如何熟捻地使用數字技術為好故事服務，提升電影敘事和角色情感體驗，才是我們對待數字技術發展與電影藝術創作辯證關系的真正思路。

【注釋】