虛擬現實增強技術綜述

周忠，周頤，肖江劍

?

虛擬現實增強技術綜述

周忠，周頤，肖江劍

1　引言

虛擬現實技術建立人工構造的三維虛擬環境，用戶以自然的方式與虛擬環境中的物體進行交互作用、相互影響，極大擴展了人類認識世界，模擬和適應世界的能力。虛擬現實技術從20世紀60—70年代開始興起，90年代開始形成和發展，在仿真訓練、工業設計、交互體驗等多個應用領域解決了一些重大或普遍性需求，目前在理論技術與應用開展等方面都取得了很大的進展。虛擬現實的主要科學問題包括建模方法、表現技術、人機交互及設備這三大類，但目前普遍存在建模工作量大，模擬成本高，與現實世界匹配程度不夠以及可信度等方面的問題。

針對這些問題，已經出現了多種虛擬現實增強技術，將虛擬環境與現實環境進行匹配合成以實現增強，其中將三維虛擬對象疊加到真實世界顯示的技術稱為增強現實，將真實對象的信息疊加到虛擬環境繪制的技術稱為增強虛擬環境。這兩類技術可以形象化地分別描述為“實中有虛”和“虛中有實”。虛擬現實增強技術通過真實世界和虛擬環境的合成降低了三維建模的工作量，借助真實場景及實物提高了用戶體驗感和可信度，促進了虛擬現實技術的進一步發展。

搜索熱度代表了大眾對于該詞的關注程度，一般來說，新技術會引起搜索高潮，然后慢慢下降，在技術取得突破或出現某熱點事件時激增，最終趨于穩定。我們使用Google trends 對比了虛擬現實，增強現實，增強虛擬環境和混合現實等詞的全球搜索熱度，為了有所參照，以人機交互（HCI）作為參考。可以看出，和人機交互一樣，虛擬現實的搜索熱度逐漸下降并趨于穩定，這說明虛擬現實技術正在成熟中，逐漸被大眾所接受，其中最近的峰值是Facebook收購虛擬現實眼鏡企業Oculus。與之相反，增強現實的關注度在2008年開始迅速上升，并連續出現多個熱度高峰，通過查看其關聯新聞可以發現，其熱度主要是2007年Apple公司發布iPhone，移動互聯網興起所推動，特別是在攝像頭加上陀螺儀成為智能手機的標配，為增強現實技術提供了充分的發展空間。這其中Google眼鏡和網上虛擬試衣吸引了很多關注度。而增強虛擬現實，增強虛擬環境，增強虛擬（augmented virtuality）等詞的搜索量遠小于以上熱詞的量級，反映了增強虛擬環境技術還有待于突破，尚未出現重要事件。

可以看出，對虛擬現實技術進行增強正發展成為重要的方向，具有很大的發展潛力。本文重點圍繞近幾年虛擬現實增強技術的發展趨勢，首先論述了技術特點，介紹了相關的硬件設備發展，然后分別介紹了增強現實和增強虛擬環境技術的發展現狀，考慮到移動互聯網是信息技術發展的又一次革命，簡介并討論了移動互聯網上的虛實增強技術與應用，接下來結合作者參與ISO/IEC JTC1 SC 24分技術委員會的工作，介紹了相關國際標準制定的最新情況，最后進行總結并給出了幾個需要解決的問題。

2　技術特點

現在業內普遍認可：從真實世界到虛擬環境中間經過了增強現實與增強虛擬環境這兩類虛擬現實增強技術。國際上一般把真實世界（計算機視覺）、增強現實、增強虛擬環境、虛擬現實這4類相關技術統稱為虛擬現實連續統一體（VR continuum）。與早期相比，增強現實或增強虛擬環境的概念已經發生了很大的變化，技術領域大為拓寬，但它們的技術特征都離不開如下3點：（1） 將虛擬和現實環境進行混合；（2） 實時交互；（3）三維注冊。

下面分別對增強現實與增強虛擬環境進行技術分析。需要說明的是，此處的“相機”是指廣義上的視覺采集設備，不單包括攝像頭，也包括紅外深度相機、激光掃描儀等。

增強現實技術通過運動相機或可穿戴顯示裝置的實時連續標定，將三維虛擬對象穩定一致地投影到用戶視口中，達到“實中有虛”的表現效果。真實世界是我們所處的物理空間或其圖像空間，其中的人和豎立的VR牌是虛擬對象，隨著視點的變化，虛擬對象也進行對應的投影變換，使得虛擬對象看起來像是位于真實世界的三維空間中。

增強現實還有一個特殊的分支，稱為空間增強現實（spatially augmented reality），或投影增強模型（projection augmented model），將計算機生成的圖像信息直接投影到預先標定好的物理環境表面，如曲面、穹頂、建筑物、精細控制運動的一組真實物體等。本質上來說，空間增強現實是將標定生成的虛擬對象投影到預設真實世界的完整區域，作為真實環境對象的表面紋理。與傳統的增強現實由用戶佩戴相機或顯示裝置不同，這種方式不需要用戶攜帶硬件設備，而且可以支持多人同時參與，但其表現受限于給定的物體表面，而且由于投影紋理是視點無關的，在交互性上稍顯不足。實際上，我國現在已經很流行的柱面、球面、各種操控模擬器顯示以及多屏拼接也可以歸為這一類。最著名的投影增強模型的是早期的“shader lamps”。

增強虛擬環境技術預先建立了虛擬環境的三維模型，通過相機或投影裝置的事先或實時標定，提取真實對象的二維動態圖像或三維表面信息，實時將對象圖像區域或三維表面融合到虛擬環境中，達到“虛中有實”的表現效果。在虛擬環境中出現了來自于真實世界的實時圖像，其中VR牌上的紋理和人體都來自于相機采集的圖像，人體甚至可以是實時的三維對象及其表面紋理圖像。

與增強現實中存在的投影增強模型技術正好相反，增強虛擬環境技術中也有一類對應的技術，用相機采集的圖像覆蓋整個虛擬環境，即作為虛擬環境模型的紋理，用戶可以進行高真實感的交互式三維瀏覽。當這種三維模型是球面、柱面、立方體等通用形狀的內表面時，這種技術也就是現在已經很普及的全景（panorama）圖片或視頻。全景視頻將真實世界的一幅魚眼或多幅常規圖像投影到三維模型上，構造出單點的全方位融合效果，多幅圖像之間的拼接可以是圖像特征點匹配或相機預先標定等方式。微軟Bing 地圖架構師Arcas在TED 2010的演講中演示了一種新穎地圖應用研究，在全景圖片增加實時視頻內容的疊加。這種增強方式可以反映同一地點各種影像的空間幾何關系，用戶可以自由瀏覽全景，就像在現場一樣，產生了更加真實的虛擬環境效果。

IEEE ISMAR（International Symposium on Mixed and Augmented Reality）是專門討論虛擬現實增強技術的國際會議，發表的論文包括兩類：科技（Science & Technology，S&T）論文和藝術人文（Arts，Media & Humanities，AMH）論文。其微軟學術搜索計算的H因子為41，從1999年到2011年間共發表論文753篇，引用總計7514次（其中自引992次），特別是從2004年開始引用頻次明顯提高。Zhou等在2008年綜述了ISMAR及其前身會議的10年間發表S&T論文情況，相機跟蹤、交互、標定、應用、顯示和移動AR是最主要的6個方向，而高引用論文分布的前幾個方向主要是相機跟蹤、交互、標定、應用、編著和移動AR。可以看出，當前相機跟蹤、交互和標定是虛擬現實增強技術研究關注的熱點，另外，應用模式也是業內正在積極探索的內容，應用（含移動應用）及其引用比例均能夠占整個會議的1/5。

本文還對ISMAR 2008年至2012的論文（regular paper）進行了統計，同樣按照前述的幾個方向進行分類。從表1和表2可以看出，在近幾年的發展中，熱門方向大致分布不變，相機跟蹤和交互依然占主導地位，尤其是近5年來的最佳論文獎有3篇研究相機追蹤。而AR應用和移動AR的探索明顯增多，驗證了移動互聯網的影響與推動。

IEEE VR（IEEE Virtual Reality Conference）是IEEE關于虛擬現實技術的專業國際會議，虛擬現實增強技術也是其接受的論文主題之一。該會議源于1993年的會議Virtual Reality Annual International Symposium。根據微軟學術搜索，20多年間共發表論文461篇，引用總計6511次（其中自引144次）。該會議一般包括長文（Long Paper）和短文（Short Paper），近年來部分長文會被推薦至IEEE. Trans. Vis. Comput. Graph發表。本文統計了IEEE VR近5年發表論文情況，如表3所示，相機跟蹤與標定、交互、AR應用依然是最主要的研究方向，但相比于ISMAR，多出了重點研究方向——感知。IEEE VR的文章以系統級應用為主，覆蓋面廣于ISMAR，AR應用、交互、感知、跟蹤和圖形是前5個研究方向，其論文數量約占論文總數的78.5%。

3　相關硬件設備發展

虛擬現實增強技術需要與真實世界相結合，不可避免需要相機等傳感裝置及顯示設備，因此相關硬件設備的發展對該技術有著重要的影響。近年來，攝像頭質量的提高和普及，紅外安全激光技術的成熟和消費級產品出現都大大促進了虛擬現實增強技術的進步和應用。本節簡介增強現實與增強虛擬環境常用硬件設備的最新發展情況。

3.1相機

攝像頭是增強現實技術最重要的硬件設備，大量的相機跟蹤和標定技術都是以簡單攝像頭為基本配置。攝像頭作為一種廉價、標準、易于獲取和集成的采集設備，有著巨大的市場需求，業內競爭極其激烈。特別是隨著智能手機的出現，一直處于高速發展中。前后雙攝像頭已經成為了智能手機的標準配置。現代的攝像頭成本越來越低，尺寸越來越小，分辨率越來越高，成像質量也越來越好。據報道，iPhone元件供應商之一，Lead-mall出售的800萬像素攝像頭模塊價格僅為9美元。2013年7月30日，Apple公司的一項面向移動設備的攝像頭專利獲得授權引起大量關注，這項技術具有3傳感器，3鏡頭的設計，據稱能大幅度提高成像質量。Nokia公司在2012年2月27日發布了第一款高達4100萬像素的手機，基于塞班系統的Nokia 808，接著在2013年7月11日發布了基于Windows Phone平臺的Lumia 1020手機。Lumia 1020也配置了4100萬像素攝像頭，可以捕捉分辨率為3800萬像素、采樣500萬像素的圖像。上述硬件設備的發展不但使智能手機拍照功能競爭加劇，而且對數碼相機產業甚至高端的單反相機前景都形成了新的挑戰。

全景包含了全方位的圖像信息，在可視角度和交互性上具有優勢。目前，全景圖像的合成主要來源于3種：普通相機拍攝、軟件后期合成和全景相機拍攝。其中普通相機拍攝是讓同一相機進行連續微小運動，拼接得到的多幀圖像，從而合成出全景圖像。軟件后期合成則是完全依靠圖像特征點匹配等方法對重疊的圖像進行拼接。上述兩種方法缺點都是不能做到連續實時地合成全景視頻，如果要得到高質量的全景圖像還需要手工圖像處理，工作量較大。全景攝像機通過事先標定方式，可在采集或回放時實時拼接合成，得到連續實時的全景視頻，后續工作量小，適合實現大范圍無死角的全景監控。全景攝像機大致可以分為單成像傳感器型和多成像傳感器型兩大類。

在單成像傳感器全景攝像機中又可以分為球面折反式和魚眼式。球面折反式是在常規單鏡頭攝像機前面安裝一個球面反射鏡，通過對入射光線的折反來實現對周邊區域的360°環視。由于在攝像機的正前方安裝了一個反射鏡，會擋住攝像機的正前方入射光，在圖像的中心部位形成盲區，因而只能用于水平方向的360°環視。典型廠商有美國的Bellissimo公司、中國的普維光電等。Kogeto Dot是一個小巧的攝影附件，以三點式固定在iPhone4上，在鏡頭前套上一個全景拍攝用反射鏡，下載免費配套APP即可實現全景視頻拍攝。魚眼攝像機設計相對簡單，通常是在普通的成像傳感器前加裝一個超短焦距的魚眼鏡頭，實現大視場的觀測。典型廠商有德國的Mobotix、中國的海康威視等。然而，這種魚眼相機由于鏡頭需要接受大角度的光線，會產生較強的圖像畸變，特別是從鏡頭邊緣獲取的圖像模糊不清。此外，單成像傳感器相機整體曝光不能適應所有區域，高像素密度芯片價格更貴，雖然存在上述缺點，但單成像傳感器尺寸可以做到很小，除鏡頭外的其他部分容易開發和加工。

多成像傳感器拼接型全景攝像機使用多個相機拼接的方式擴大了圖像分辨率，緩解成像過程動態響應不足，解決圖像嚴重扭曲分辨率不均等問題。最為有名的是Google公司街景采集車上的全景相機，典型產品有美國Immersive Media的Dodeca 2360、加拿大PointGray 的LadyBug、美國Elphel公司的360全景相機等。其中，PointGray公司的LadyBug 5全景系統采用6個5百萬像素的CCD傳感器，可以獲得近3千萬像素的全景合成圖像。Elphel公司的Eyesis4Pi全景系統采用26個5百萬像素CMOS傳感器，可以獲得近億像素的全景合成圖像，其價格高達10萬美元一臺。這些產品目前尺寸較大，價格昂貴。國內中科院寧波所研發了8鏡頭拼接的360°全景攝像機，并已進入產品化。騰訊等公司的街景由5個單反相機的照片后期拼接而成，隨著技術和工藝的成熟，全景相機的價格有望大幅度降低。

在新的多相機拼接設備的支持下，大范圍監控從“看得更多更清楚”向“找到和表現出最需要的信息”發展。美國軍方支持大范圍監控的拼接型攝像機最近開始正式服役，公布的測試數據在40 km2范圍可保持15 cm清晰度，掀起了新一輪攝像技術的變革。從2007年開始，美國國防部先進設計計劃局（DARPA）資助BAE系統公司研發了自動實時地面持續監控影像系統（ARGUS-IS），投資1850萬美元，耗時30個月制造完成。2010年，在UH-60黑鷹直升機上測試通過，現已在美軍新一代無人直升機——160T“蜂雀”上裝備。ARGUS-IS實現了18億像素的寬視場航空影像連續拍攝，該系統由4組相機構成，每組相機由92個500萬像素鏡頭組成，拍攝速度每秒5幀。從5 km的高空進行拍攝可以監控約合4105 km2區域，并可以有效地分辨出地面上最小15 cm的物體。利用ARGUS-IS 從高空監測整個軍事港口的情況，借助這一先進的監視系統，指揮官能夠對整個戰場的一舉一動進行實時監控。在2012年6月21日，Nature雜志網絡版報道了Duke大學研發出的一種“超級照相機”原型。超級照相機能將98臺獨立相機（每臺擁有1400萬像素）的傳感器獲得的畫面拼接起來，從而創造出一張9.6億像素的圖像。該照相機的分辨率非常高，可以看見1 km 外3.8 cm寬的物體。當用近乎魚眼鏡頭的120°視角來拍攝西雅圖時，這臺93 kg重的相機可以捕捉到足夠多的細節，甚至能夠讀到兩個街區之外交通標識牌上的“罰款”字樣。其中，光學器件僅占了這臺相機體積的3%，而75 cm×75 cm×50 cm 的相機尺寸則既能保證容納下相機的電路板，又可使其免于過熱。但是，這臺相機不具備連續拍攝能力，只能對一個特定時刻進行拍攝。

3.2位置與角度傳感器

GPS和加速度計已經成為了智能手機的標配，位置和角度傳感器可以對相機跟蹤起到重要的輔助作用。GPS主要根據空間衛星和地面GPS傳感器之間的往返時間進行三角測量得到數據，除衛星數量和通信因素外，容易受高樓遮擋、氣候等條件影響，目前我國的普通廉價GPS大致只能實現精度5～10 m的位置定位。差分GPS可以接入差分網，以地面基站作為準確“地標”進行高精度位置測量。

加速度計（accelerometer） 可以測量設備的加速度方向，以iPhone為例，可以安裝“Sensor Data”采集傳感數據。加速度計的測量值從-1到1變化，當手機軸為完全水平時，測量值為0，當軸為豎直時，測量值為-1 或1，利用簡單的三角函數可以大致計算出手機的傾斜角。手機用的廉價加速度計測量精度低，大多只能測量一個傾斜角，所以一般只是用來監測設備的豎直狀態，控制圖片或電子書閱讀方向等。iPhone 3GS在移動設備上集成加速度計、陀螺儀（gyroscope）和磁力計（magnetometer） 等設備進行結合計算，率先推出了“電子羅盤”APP，可以測量設備的三個旋轉角度，可用于人機交互，并促進了增強現實APP的出現，例如街景圖像的全景控制等。

3.3可穿戴增強顯示設備

Bimber和Raskar按應用場景不同，對增強現實顯示設備進行了分類，如圖S1所示，有頭戴式、手持式和空間投影式。頭戴式數字頭盔（head-mounted display，HMD）一直是增強現實的傳統研究內容，一般被分為光學透射式（optical see-through，OST）頭盔和視頻透視式（video see-through，VST）頭盔。光學透射式是指用戶透過透明鏡片看到真實世界，并通過反射或投影方式看到虛擬環境或對象；視頻透視式是指將頭盔上集成攝像頭采集的外部圖像與虛擬場景相合成，然后輸出到用戶眼前的小屏幕上，其原理和技術進展可參考。2012年，初創公司Oculus推出了大視場低延遲的消費級HMDOculus Rift，取得了重要突破。但到目前為止，絕大多數HMD仍然價格昂貴、標定復雜、精度和分辨率不夠理想，突破性的進展不大。

精確的三維空間位置跟蹤是HMD 的一個難點，限制了其應用范圍和成本。但實際上，近年來，HMD的其他部件，如攝像頭、陀螺儀、微型投影機、微型顯示屏等均在尺寸、成本和技術指標上有了很大突破，因此類似Google glass增強現實眼鏡、Oculus虛擬現實頭盔的消費級產品出現也就可以理解了。不考慮三維位置定位后，Google glass在光學設計，骨傳導和器件集成等方面取得了突破，成功將智能手機的功能集成到超輕薄的可穿戴眼鏡上。Google glass已于2014年上市，受此影響，多家公司開始加入這一類產品的研發行列中，Vuzix，GlassUp，Sony，Olympus等公司在2013年發布了多款增強現實眼鏡。2014年3月20日，著名的Facebook公司宣布以20億美元收購虛擬現實頭盔顯示器公司Oculus—— 一家成立僅有2年的硅谷創業公司。Oculus公司率先研發了一種消費級的高性能頭盔顯示設備——Oculus RIFT，售價僅為300美元。之后，Sony、三星等公司紛紛跟進。隨著業內大公司的積極推動，可穿戴式三維顯示似乎進入了一個新的高速發展時期，也大大增加了增強現實和虛擬現實技術的影響力。

3.4體感交互設

備近年來國際上三維體感交互設備的突破性產品連續出現。體感交互設備可以采集人體的三維運動數據，提供了將真實世界傳感數據合成到虛擬環境的重要方式，是增強虛擬環境技術的重要設備。體感交互設備的突破主要來自于飛行時間（time-of-flight，TOF）技術，它隨著低成本紅外半導體傳感器的成熟而提出，測量原理與三維激光掃描儀大致相同，都是測量光的往返時間。所不同的是激光掃描儀是逐點掃描，而TOF是對光脈沖進行調制并連續發送和捕獲整個場景的深度。因此與激光掃描相比，TOF相機的優點是捕獲速度非常快，缺點是分辨率低、測量精度低。

最早出現的是TOF深度相機，知名的有ZCam，Mesa，PMD，Canesta等公司的產品，它們的光發射頻率約幾千萬Hz，捕獲速度最高可達到每秒100幀，但分辨率最高不超過320×240，價格昂貴，一般需要幾萬元人民幣。微軟在2010年推出了Kinect，它的紅外LED向外投射光斑陣列，通過一種基于采樣深度數據比較估計的光編碼算法，大幅度降低了光的發射頻率，提高了深度圖計算的速度和分辨率（320×240），成本也大幅度降低到一千多元，掀起了研究和娛樂等應用熱潮。2012年微軟又推出了Kinect for Windows，進一步提高了深度圖的分辨率，達到640×480，并在適用距離和精度上有了較大提高。其SDK提供了更穩定的人體骨骼、面部跟蹤以及三維重建API。

2012年5月，Leap Motion公司推出了小型運動控制系統Leap 3D，可以追蹤多個物體并識別手勢，其識別精度為0.01 mm，再次掀起了整個互聯網領域對體感交互設備的驚奇與研究熱潮。2013年7月Leap 3D正式發售，其定價僅為79.99美元。Leap 3D控制器只有8 cm長，集成了2個130像素的網絡攝像頭傳感器和3個紅外LED，采用的是將光編碼技術和雙目立體視覺相結合的算法。2013年加拿大Thalmic Labs公司研發的手勢控制腕帶MYO則獨辟蹊徑，更顯神奇。它通過檢測用戶運動時胳膊上肌肉產生的生物電變化，不止實時，甚至提前在物理運動之前進行手勢識別，其售價僅為149美元，再次成為業內焦點。

這些體感交互設備能夠將真實世界的人體運動在虛擬環境中實時精確表示，增強了虛擬現實的交互能力。隨著相關設備的發售和解密，我國也有一些公司和研究機構跟蹤和研究。

3.5三維立體顯示設備

現在市面上可以購買的立體顯示設備已經有很多了，最常見的是基于偏振片或奇偶快門切換的立體電影電視、顯示器、立體投影等，這類設備需要佩戴對應的3D眼鏡，每幀包括對應左右眼的兩幅圖像。基于偏振片的立體顯示是在空間上進行了偏振過濾，因此在亮度上有所損失；基于快門切換的立體顯示是在時間上進行了左右眼圖像交替顯示，因此在幀速上有所損失。這些雙目立體顯示方式只能觀看到固定的視差圖像，并不能獲得跟隨頭部或眼睛運動的真實觀看體驗。近年來出現了一些“裸眼3D”產品，這些產品通過柵格或光柵來控制光線的投射方向，每幀繪制10幅或更多幅圖像，在不同方向上獨立顯示，從而用戶可以在不同位置看到不同圖像。這就要求顯示器能夠支持很高幀速的圖像帶寬，因此設備價格更為昂貴，而且只有在面向顯示器的一定正向范圍才能看到較好的3D效果。隨著移動設備的興起，在多點觸摸的電容屏上集成各種各樣的膜成為工業界的流行做法，比如EyeFly3D等。也出現了小尺寸用于手機或掌機的3D屏幕，如三星公司在2010年發布的W960手機，采用了3.2 英寸的3D AMOLED裸眼3D 觸摸屏，不過分辨率較低，只有WQVGA（240×400）。日本任天堂公司在2012 年發的3DS LL 配備有4.88 英寸裸眼3D液晶屏，分辨率達到800×240，左右眼都可以觀測到400×240 像素。還有的三維顯示器內置攝像頭跟蹤人的頭部或眼睛，進行視點相關的三維繪制。

另外，近年來，有機發光二極管OLED （organic light-emitting diode）受到熱捧，我國大量投資建設OLED生產線，LG、三星2014年先后推出了55英寸OLED曲面電視。OLED的優勢之一是可以制作大尺寸柔性曲面屏幕，其技術成熟以及成本下降將為大尺寸投影顯示市場帶來很大沖擊，也將促進增強現實技術的新發展。

長期以來，三維空間立體成像（俗稱真三維裸眼3D）得到廣泛的關注和期待，但一直缺乏重大突破。2007年Jones等人在ACM SIGGRAPH大會上首先展示了一種用高速旋轉的鏡子進行360°反射實現空間三維成像的方法，很快得到大量關注。近幾年，他們在該方面開展研究，每年都在SIGGRAPH大會展示基于該技術的遠程再現系統進展。最近全息三維成像研究更是取得了基礎性突破，2010年11月4日，《Nature》封面文章介紹了全息成像的突破性工作。亞利桑那大學研發了一種新型光致折變薄膜，用納米脈沖激光向該材料寫入全息圖像，可以產生全息立體成像用于遠程再現，迅速成為熱點新聞。在三維空間立體成像的未來應用上，很多人提出了各種各樣的用戶遠程再現（telepresence）或遠程沉浸（tele-immersion）的想象，例如著名的好萊塢大片《星球大戰》（Star Wars）、《黑客帝國》（MATRIX）和《阿凡達》（AVATAR）等均來自于這個主題。總的來看，三維空間成像還有待突破和成熟，尚未出現能大規模推廣的產品。

在以上硬件設備介紹的基礎上，我們將主要硬件設備對應的常用虛擬現實增強技術進行了總結，如表4所示，其中“N/A”代表無典型技術。

4　增強現實

虛擬現實技術帶來了人機交互的新概念，帶給用戶強烈的真實感和臨場感的體驗，但這要求精細的三維模型和復雜的渲染計算。增強現實技術“實中有虛”，攝像機采集的圖像真實地反映了現實場景，可以減少場景的建模和渲染工作量，提供了一種輕量級并且真實感強的增強技術。下面主要從相機跟蹤注冊和虛實場景實時融合繪制的角度對增強現實技術最新發展情況進行介紹。

4.1相機跟蹤注冊

在增強現實中，相機跟蹤注冊是在相機連續觀測的二維圖像與虛擬的三維場景之間建立空間投影關系，也就是對虛擬眼睛（即相機）的位置和姿態進行實時參數估計。基于特殊標識的相機跟蹤需要在場景中放置較為容易識別且一直可見的標識物，這大大限制了增強現實的應用范圍。相比之下，基于自然特征的注冊技術沒有上述約束條件，通過對場景中的二維或三維特征進行提取和跟蹤來實現相機自定位。該技術首先在機器人視覺導航領域得到了廣泛關注和研究，目前逐步開始應用于增強現實領域。

最近10年間，國際上對基于自然特征的相機自定位技術展開了深入研究。在單目相機三維注冊技術方面，Davision于2003年提出了基于單目視覺的實時同步定位和地圖構建（SLAM）研究，使用全狀態擴展Kalman濾波器跟蹤少量Harris角點，以實現在室內環境下逐幀更新相機的姿態，在視覺定位領域做出了重要推動。該算法在室外光線變化較大和快速運動的情況下性能較不穩定。

在Davision的工作基礎上，Klein和Murray提出了PTAM算法，將單目視覺SLAM系統中的地圖構建和幀間特征跟蹤進行分離。首先使用雙目立體視覺的方法來建立場景的初始深度圖，然后一方面利用多核CPU并行計算估計光流場實現對特征點的實時跟蹤，另一方面利用光束平差法對多個局域關鍵幀進行相機姿態優化，因此之后的跟蹤性能在很大程度上依賴于初始化過程中攝像機的運動以及每一幀的選擇，初始化過程中攝像機在保持旋轉不變的情況下平移要盡可能的小，而且初始化過程不應持續較長的時間。PTAM在室內小范圍場景內取得了較為精確的相機定位結果，如圖S2所示。

Newcombe和Davison提出一種緊致的相機跟蹤算法DTAM，不再使用特征點匹配方法，而是選用大量窄基線圖像進行逐點計算逆向深度的方法。該方法提到相機簇的概念，即所有滿足窄基線關系的圖像為一個相機簇。作者定義了參考幀下每個點的正則代價（regularised cost），對相機簇上每個點的梯度進行Huber加權，并加上正則項和輔助項。在滿足正則代價最小的條件下，計算參考幀每點的深度，進而進行相機姿態的準確估計和場景的重建。浙江大學Tan等人針對動態場景提出了一種單目相機跟蹤方法，該方法改變了關鍵幀的表示與更新方法，從而能夠適應于場景中部分物體移動或者整個場景漸變的情況，同時還提出了一種先驗自適應的RANSAC變種方法，以適用于他們的方法。

Pollefeys等人在對室外的大場景進行重建時，同樣利用了GPU并行流水技術優化的KLT算法實現上千個SIFT特征點實時跟蹤，同時他們還使用GPS和IMU進行相機姿態的輔助定位。

相比于單目視覺定位，基于立體視覺原理的運動估計由于能夠獲取更為準確的三維點重建，在相機定位時具備更高的精度和穩定性。在早期的系統中，為了追求實時性，自然特征的跟蹤注冊通常只考慮在相鄰的圖像幀間進行姿態估計，因而在行走期間的誤差和系統漂移會不斷積累并增加。如Nist’er等人構造的雙目視覺SLAM系統為了追求實時性的要求，僅將視覺估計的運動結果進行簡單累加，其系統誤差約5%；Konolige等人所構建的立體視覺SLAM系統的誤差約4%。為此，一些學者提出了改進方案減少系統漂移。Klein和Murray提出通過與GPS，IMU以及方向傳感器的聯動和數據融合，減少對視覺系統的依賴，使系統的整體誤差漂移率可降低到1%～2%。Zhu等提出利用全局和局部地標數據改進圖像特征的匹配精度，實現更大范圍的相機定位和導航，該系統使用了兩對立體相機前后觀察，并通過動態選擇圖像幀特征點構造地標數據庫，從而糾正行走期間的全局漂移并降低累積誤差。

2010年微軟推出的Kinect為視覺跟蹤技術提供了一種新的設備，它的基本原理是主動結構光測距，可以快速捕獲準確的深度圖，在室內小范圍場景取得了優秀的結果。Kinectfusion算法采用ICP算法對前后幀的三維點云進行匹配注冊，估計相機姿態。該方法使用距離符號函數來定義體素的值，進而可以計算多幀的加權結果。還有人提出了幀—模型的匹配方法，相比幀—幀的方法，更加魯棒，適應于連續幀的重建問題。然而存在的共同問題是計算量較大而導致實時性不佳。在大場景定位方面，目前還沒有基于Kinect深度相機的較好研究成果。 Kinect相機理想的有效深度在10 m以內，而基于可見光的雙目立體相機通過調整基線長度，可以獲得更遠的深度估計范圍。因此，如將Kinect深度相機、立體相機和慣性導航單元（IMU）等不同模態傳感器進行有機結合，將可能大大提高現有三維注冊技術的精度，實現大范圍高精度的增強現實技術。

4.2虛實場景實時融合繪制

在真實場景中，物體往往具有不同的深度信息，物體之間會隨著用戶視點的位置變化產生不同的遮擋關系。與此同時，場景中還會存在其他的動態物體（如人、車等），它們的深度還會隨著物體自身的運動而發生變化，從而造成更為復雜的遮擋關系。在增強現實系統中，每一個繪制的虛擬物體均需要被準確地放置在場景中，并應與周邊不同深度的景物實現交互，確保正確的遮擋關系和交互關系。這就需要場景繪制系統能夠在實時估計場景深度的基礎上，實現有效的遮擋處理、碰撞檢測以及渲染繪制。

基于深度的虛實遮擋處理方法通常首先計算場景圖像上每個像素點的深度信息，然后根據觀察者的視點位置、虛擬物體的插入位置以及求得的深度信息等，對虛擬物體與真實物體的空間位置關系進行分析。如果虛擬物體被真實物體遮擋，則在顯示合成場景圖像時只繪制虛擬物體中未被遮擋的部分，而不繪制被遮擋的部分。Yokoya等人提出利用立體視覺設備估計真實場景中的物體深度信息，而后根據觀察視點位置和所估計的深度信息完成虛實物體的遮擋處理。為了減小運算量，該方法將立體匹配僅局限在虛擬場景在當前圖像中的投影區域內，其存在的問題是容易導致系統的運算速度隨著虛擬場景在圖像上投影面積的改變而變得不穩定。此外虛擬物體與真實場景交界處會產生較為明顯的遮擋失真現象，難以獲得令人滿意的計算精度。為了保證計算量的穩定性，Fortin和Hebert根據場景物體到觀測視點的距離將場景劃由遠而近分成多個區域，從而處理虛實物體的遮擋。而Hayashi等人在工作場景中布置數量較多的標識塊輔助區域定位，提出了一種基于輪廓的實時立體匹配方法，能快速而準確地獲得真實物體輪廓的深度信息，不過對標識塊的部署要求較高。受場景深度捕獲算法提取精度和速度的限制，目前增強現實中的虛實遮擋技術還只能完成簡單形狀的遮擋關系。

真實物體的深度或模型被獲取后，在增強現實中，除遮擋關系外，還需要考慮真實物體對虛擬物體的交互，主要表現為碰撞檢測。當一個虛擬物體被人為操縱時，需要能夠檢測到它與真實世界中物體的碰撞，產生彈開、力反饋等物理響應。現有的增強現實研究大多將碰撞檢測作為算法驗證，大多精簡快速。Salcudean和Vlaar提出了適用于單點交互的基于高阻尼的接觸模型，根據剛性物體的硬度來模擬物體的沖擊反饋。Constantinescu等人利用Poisson 公式提出硬度可變的接觸模型，并有效模擬了虛擬物體與平面剛體的接觸碰撞過程。Moore 和Wilhelms提出了利用單點碰撞的序列組合模擬多點碰撞，并通過解析算法求虛實物體在碰撞過程中的沖量和接觸力。Baraff則進一步分析了法向加速度與接觸力和摩擦力的關系，并模擬了二維結構虛實物體的碰撞過程。由于增強現實的深度捕獲精度還較低，只能用于實現地形匹配、簡單碰撞的效果，隨著深度捕獲設備的發展，將模型和稠密點云相結合的碰撞檢測將可能成為重要的研究點。例如Leap motion用稠密點云驅動高質量三維手部建模，可以實現精確的碰撞檢測，這將提高增強現實在虛擬裝配等領域的應用能力。

可以預計，高精度的深度捕獲設備及其相機跟蹤算法仍將是增強現實領域研究的重點問題，它的突破將促進增強現實技術的快速實用化。

5　增強虛擬環境

虛擬環境的建模存在不少限制，例如建立真實環境的精確模型需要耗費大量人力，建模形成的龐大數據庫難以及時更新或修正，紋理來自于事先采集，不能反映真實環境的動態情況等。增強虛擬環境技術出現的初衷就是為了解決這些問題，但目前進展來看解決得還不夠好。

將增強現實與增強虛擬環境兩者進行比較，增強現實以個人獲取的真實世界圖像為基礎，讓虛擬對象適應用戶視點或攝像頭的運動變化，因此在本質上是面向個人的，適合于支持交互；而增強虛擬環境以虛擬環境為基礎，通過三維注冊讓不同地點的2D/3D視覺采集實時融合進虛擬環境。虛擬現實的三維繪制本身就可以是視點相關的，因此在本質上是面向空間數據的，適合于建立應用服務。從這個觀點出發，增強虛擬環境技術更需要和網絡結合來發揮價值。可以發現，現有的相關研究確實大多都是以網絡系統為基礎，如前述的遠程呈現、遠程沉浸等。以下從基于視頻圖像的增強虛擬環境技術、基于三維角色的增強虛擬環境技術、虛實場景融合以及網絡傳輸等方面對增強虛擬環境技術進行綜述。

5.1基于視頻圖像的增強虛擬環境技術

增強虛擬環境技術最直接的想法就是利用相機捕捉真實對象的圖像或三維模型，并將圖像或三維模型實時注冊到虛擬環境中，使增強后的虛擬環境能夠表示真實對象的狀態和響應交互。通過視頻圖像增強的方法最早是Katkere等人在1997年提出，他們認為視頻信息可以用來創建沉浸式的虛擬環境，進而實現多視頻流的有效分析，進行視頻不能提供的操作，如變換新的任意虛擬視角的視頻等。美國Sarnoff 公司的Sawhney等人發展了這種想法，不再用視頻創建虛擬模型，而是用視頻去增強已有虛擬的模型。傳統的監控系統采用二維堆疊顯示大量視頻流，而他們的Video Flashlights系統首次嘗試把實時視頻的圖像作為紋理，實時映射到靜態三維模型，并在圖形硬件的幫助下將多個已標定相機的視頻進行統一實時渲染。這種把多個視頻注冊到同一個三維環境的嘗試，使得用戶能夠以一個全局的視角統一觀察模型和視頻，擴展了用戶的視域，增強了視頻的空間表現力。

2003年南加州大學Neumann等人在IEEE VR會議上系統闡述了增強虛擬環境的概念。從表現未來虛擬城市的角度出發，將實時采集的圖像數據投影到地形和建筑數據之上，實現了隨著圖像數據變化的動態三維模型效果。由于物體的深度不正確，在非相機視點可能存在貼圖扭曲，他們提出了一種方法，對運動對象（行人、車輛等）進行檢測提取，建立少量三角面片在估計深度上進行billboard貼圖。他們還指出了AVE的幾個基本用途，如場景理解、運動物體跟蹤、事件檢測等。在2010年ACM Multimedia會議上，麻省理工學院的de Camp等設計了一套用于智能家庭的沉浸式系統HouseFly，使用了家居的3D模型，把魚眼相機用于AVE系統。用戶在觀察時，看到的是投影到3D模型上的沉浸式多路音視頻，可以方便地確定視頻中的人物位置和行走路線等。在2009年ISMAR會議上，喬治亞理工學院Kim等提出了使用動態信息增強Google Earth等航拍地球地圖的方法，對視頻進行分類處理和增強顯示，還在識別自然現象圖像并進行圖形繪制方面進行了嘗試。2012年臺灣國立大學的Chen等建立了GIS輔助的可視化框架，融入了多分辨率監控策略，以固定視角的相機提供低分辨圖像，球基相機根據用戶交互提供興趣區的高分辨圖像。這些工作在面向三維地圖的空間數據可視化方面進行了嘗試，說明這類增強虛擬環境技術能夠應對超大型地理應用系統的需求，有著重要的應用潛力。

虛擬空間的相機標定與真實空間的標定不同，虛擬空間是真實空間的逼真展示，其場景的模型已經能夠替代真實場景作為標定的輸入信息的一種，并配合當前相機采集到的圖像，進行快速的相機精確標定。Abrams 和Pless針對網絡攝像頭，嘗試了一種使用少量相關點約束的幾何標定方法。基于此方法，將網絡攝像頭的圖像作為紋理實時地展現在三維幾何模型上，簡單實用，但限于精簡模型頂點和固定點數量不多，渲染效果不夠理想。

隨著技術的進步，出現了一些商業的AVE產品和方案。在以上技術的基礎上，現有的產品技術都是先通過三維掃描儀采集城市的LiDAR地形數據，建立三維地形模型，然后進行相機注冊，結合現有的相機流和存儲方案，輸出為視頻投影融合顯示。例如美國Airborne 1，SentinelAVE等公司在亞特蘭大的商業區采用了42個相機數據在三維掃描建立的虛擬場景中進行融合繪制。國內也有一些單位在視頻投影融合領域開展研究，針對視頻監控領域進行產品研發。

我們也在這方面開展了工作，合作設計研發了全景相機軟硬件系統，在校園區域建立上百個相機作為輸入的虛實混合實時視頻監控平臺，開發支持多類相機的流媒體服務器，對視頻進行同步傳輸處理，各類視頻采集設備以及離線視頻被抽象成虛擬相機，動態掛載在不同的流媒體服務器之上。提供快速的相機標定工具，在街景視圖下，展現以360°全景球為主，普通視頻投影為輔的虛實融合效果。

5.2基于三維角色的增強虛擬環境技術

基于視頻圖像的增強虛擬環境技術主要解決的是多路視頻流的時空理解和可視化問題，但視頻圖像本身還是二維的，所以無法交互，而且在視覺效果（特別是瀏覽視點）上存在很多限制，在非相機位置的虛擬視點上會存在圖像拉伸、扭曲等變形現象。一些工作通過實時三維重建技術將真實世界的對象更好地合成到虛擬場景中，突破三維視覺、交互等方面的限制。典型的例子是遠程呈現或遠程沉浸系統里加入的實時重建的虛擬對象，如虛擬物體、人體姿態、面部表情等。

在這類增強虛擬環境中，目前已經實用的技術是采用體感交互的虛擬角色代替人體，參與到虛擬環境中，與虛擬環境或者其他虛擬角色進行交互。人體姿態的實時三維獲取與恢復是此類方法的難點。微軟在2010年推出的3D體感相機Kinect為人體姿態的獲取提供了一種無“marker”的快速廉價解決方案，獲取的姿態可以通過骨骼綁定等多種方式實時地映射到虛擬角色上。清華大學的Ye等人隨后又利用多Kinect克服了復雜場景下的遮擋問題，多個虛擬角色可以同時進行捕捉與映射。但是由于自身的精度不足等問題，Kinect無法精確地捕捉手勢，Leap 3D的出現彌補了此類問題，其動作識別精度可達到0.01 mm。微軟在2011年7月推出了在線視頻聊天程序Avatar Kinect，可以使用Kinect的傳感器來記錄面部表情和嘴唇動作，并將其映射到用戶的個性動畫頭像中，動畫頭像跟隨用戶的動作和口型作出相似的反應，這些功能已經出現在Xbox 360游戲和新版Kinect for Windows中。

向虛擬場景中加入“三維虛擬化” 的真實物體是一個更難的問題。虛擬角色增強了人體的交互能力，但在表現效果上不夠真實，特別是缺乏實時反映真實對象狀態的動態紋理。如果沒有實時重建的三維模型，物體圖像像紋理一樣直接投影在虛擬模型表面，出現壓扁扭曲和部分重疊的情況，真實感大為下降。最新的遠程再現/遠程沉浸技術是基于三維角色重建的增強虛擬環境技術，他們采用多個相機從不同角度采集一個區域內的物體并實時三維重建，將位于不同地點的用戶或物體模型通過網絡傳輸共享在同一個三維虛擬環境中，其主要特點是實現無“marker”點的人體自由三維交互，多個用戶可以突破物理空間限制，在所應用的虛擬環境中協同操作。

早在20世紀末，研究者就開始嘗試將真人進行三維重建并加入到虛擬環境中，以獲得更加真實的沉浸效果。最早的一個成功實例是1998年卡內基梅隆大學設計的用于捕獲多人交互場景和動態事件建模的3D Dome原型系統。多個攝像機布置在各個角度，對處于中心工作區域的物體進行視頻采集，采用立體視覺匹配方法對已錄制好的視頻序列進行離線建模，可實現動態事件的多視點觀看。

2000年5月，UNC教堂山分校和賓夕法尼亞大學演示了一種基于三目立體匹配的遠程協作系統，系統采用了7個Sony DFW-V500的1394相機，互相重疊成三目來使用，然后進行背景剔除，在四核的Dell服務器上進行立體計算的并行化，計算速度與傳輸速度明顯提高。在UNC的系統里，用戶能夠同時觀察到兩個異地參與者，來自遠程的三目深度視頻流在沉浸式顯示設備中被實時合成，兩個顯示屏幕分別顯示來自不同位置的另外參與者，每個屏幕都帶有一組投影機，能夠提供立體顯示。頭部跟蹤器提供觀察者的頭部位置信息，保證正確渲染用戶視點所對應的虛擬場景。

法國INRIA的GrImage課題組于2007年研究設計了基于三維重建的無“marker”虛實交互系統GrImage。GrImage采用6個PointGrey工業攝像機在1 m×1 m×1 m的空間內，通過可視外殼算法EPVH實現了對無標定物體的實時建模，并基于INRIA的FlowVR仿真平臺進行模型嵌入和虛擬環境仿真，實現真實物體與剛體、彈性體或流體等虛擬對象的實時交互。該系統及其后續版本相繼在SIGGRAPH 2007，ECCV 2008，VRST 2008，法國電視頻道TF1，SIGGRAPH 2009，ACM Multimedia2010等會議上展示，獲得了大量關注和好評。

加州大學伯克利分校（UC Berkeley）從2005年開始一直從事遠程沉浸方面的研究。他們建立了由48個相機覆蓋的采集空間，以4個相機為一個相機簇，采用基于立體視覺的三維重建技術對局部采集環境進行實時三維重建。利用12臺主機組成一個小型的計算集群，負責進行分布式的三維重建計算。

在以上三維采集和交互環境研究的基礎上，UC Berkeley與UIUC，UC Davis合作建立了異地多點三維遠程沉浸（3DTI）協同環境TEEVE。位于不同地域位置的三個用戶通過TEEVE系統實現了遠程共享，任一用戶均可在自己的終端上看到三人的重建結果及他們與虛擬環境的交互場景。他們在遠程太極拳教學、心理學測試、遠程協同舞蹈、遠程博物館探索、地質三維可視化遠程研討分析和遠程手術訓練等方面開展了很多應用嘗試。

2011年10月，UNC設計了基于6個Kinect體感相機的遠程再現系統（Encumbrance-Free Telepresence），該系統使用5個Kinect從不同角度進行人體數據采集，并利用GPU對5個Kinect所采集的深度數據進行并行處理，生成真實環境的三維模型和人體三維模型，另外1 個Kinect用于對遠程用戶進行跟蹤。該系統能夠根據遠程用戶的位置實現人體三維模型的真3D顯示，實時地從Kinect所采集的數據生成真實環境和人體的三維模型，并在真實場景中加入虛擬物體，實現了用戶與虛擬物體的簡單交互。

5.3視頻融合

視頻融合是實現虛擬環境真實感顯示的關鍵，但大多數現有虛擬環境系統的圖形繪制只是融合靜態三維模型和真實光場信息進行真實感渲染。這方面最早是Debevec所做的開創性工作，提出手工將三維拓撲和圖像內容進行映射，利用建筑的三維幾何結構對照片進行視點相關的繪制，實現了非相機視點的真實感漫游效果，但當時并未實現真實的三維空間標定關系。

傳統的紋理映射要求紋理坐標與三角形頂點是有先驗關聯，必須在渲染之前進行指定。與這種圖像到模型的方法相反，AVE系統使用的是模型到圖像的方法。視頻投影只需要提取獲知相機所在的位置和相機的圖像，即可實時地計算模型上每個頂點的坐標。當相機的位置發生變化，或者視頻中的內容發生變化，可以直接或間接地計算這種模型到圖像的映射關系。投影紋理映射用于映射一個紋理到物體上，就像將幻燈片投影到墻上一樣。雖然該方法主要用于一些陰影算法以及體繪制算法中，但是它在計算機視覺，基于圖像的渲染和三維可視化等其他領域也有很大的用途。

同時，因為圖像應該只映射到相機可見的區域，所以必須判斷圖像投影時的可見性信息。陰影貼圖方法（shadow maps）可以有效地提供可見性信息，在陰影里則為不可見區域，不在陰影的區域則為紋理映射的區域。另一種方法是陰影體方法（shadow volume），也可以獲得投影可見性，而且可以避免陰影貼圖技術因深度精度不足而造成的鋸齒問題。

在AVE系統中，一個區域可能會有多個相機同時可見，也就是出現了部分紋理重疊（overlap）的問題。麻省理工學院的de Camp等對虛擬空間劃分區域，每個相機對應一個區域，避免一個區域有多相機同時可見的情況。臺灣國立大學的Chen等在視頻進行投影之前，對所有圖像先進行拼接，得到兩兩相機之間的圖像拼接關系；并定義一個二維的相機地圖，地圖里的每個點只對應一個相機。這些方法通過手工選擇避免了紋理混合，還可以通過視點相關的紋理融合實現自動的混合顯示。Harville等提出了一種實現多紋理混合的簡單易用方法。該方法把投影儀在重疊區域的混合因子設置成該點與圖像最近邊界的距離，距離邊界越遠，混合因子越大，在邊界上實現淡出淡入的效果，避免圖像的不連續現象。

5.4網絡傳輸

增強虛擬環境技術比增強現實技術更需要和網絡結合來發揮價值。在網絡應用中，AVE系統不僅要為用戶提供虛擬環境本身的靜態精細模型，還會傳輸根據視頻等傳感器信息新生成的虛擬對象模型，因此涉及到實時修正與變形的動態模型。這涉及到時間相關的三維動態模型的流式傳輸，傳統的基于狀態參數的分布式虛擬環境技術無法處理類似問題。

動態模型的大數據量源于紋理，每個虛擬視點的紋理映射都可能涉及到多路實時視頻流，對于視頻流來說，都是常規的視頻流選擇與流式傳輸技術，在數據量上很難做到進一步的實時降低。另一方面，就時間序列化的幾何模型來說，基于三維角色重建的增強虛擬環境技術還未能探索動態幾何模型的時間相關性，目前的實時三維重建算法都只能處理孤立幀的模型計算與生成，這就限制了動態幾何模型的壓縮與傳輸技術發展。UC Berkeley早期研究基于點云模型的壓縮技術，后來與UIUC合作研究RGBD的壓縮方法，壓縮比和質量并不理想，INRIA并沒有進行壓縮，可以看出，在實時三維重建技術或網絡帶寬取得突破之前，動態模型的實時壓縮與傳輸難以提高。然而，鑒于近期基于三維角色的增強虛擬環境技術采用體感交互設備發展迅速，變形模型的實時流式傳輸可以視為動態模型傳輸的一個“弱形式”，特別在移動終端和云計算興起的時期，其研究對增強虛擬環境中虛擬角色的物理真實感提高有著重要價值。

自1996年Hoppe提出漸進網格傳輸技術后，出現了大量的幾何模型漸進傳輸算法，但是漸進壓縮技術只能支持對靜態模型的流式傳輸，因為模型的頂點刪除和分裂方式與表面有關，當模型表面發生形變后，原始記錄不再有效。近年來，德州大學達拉斯分校在變形模型的交互共享方面開展了一系列研究。2010 年Tang等基于譜變換方法，將網格在空間域上表示為基矩陣和一系列多分辨率變換矩陣，可以用于漸進傳輸和恢復，只傳輸變形后的譜系數而非完整模型，大大降低了網絡開銷，初步實現了變形模型的流式傳輸。Tang等進一步將實時變形模型引入到低計算性能的移動設備上，移動用戶可在觸摸屏上操作來改變模型的形狀和運動。為加快運算速度并減少通訊負載，算法使用譜表示方法計算三維變形，同時提出了一個漸進的變形流傳輸技術。受固有變形算法和多分辨率映射算法的限制。該方法只能支持小型網格的變形傳輸，并且由于模型分辨率是固定的，無法實現不同終端的幀速保障。

本文作者課題組也在變形模型的漸進傳輸方面開展了系統的研究，結合幾何頻譜和漸進網格技術，給出一種基于“分解—重建”過程的動態多分辨率變形模型傳輸方法。首先提出了一種基于微分坐標的特征保持模型簡化算法，對模型進行精確，可控的多分辨率細節保持簡化，然后基于譜變換與漸進幾何表達技術，實現對三維模型變形的實時多分辨率共享傳輸。接收方在同步顯示模型形變過程中，可以任意改變模型分辨率而不影響變形傳輸本身，因此可在接收方實現動態幀速控制，使變形質量可以適配終端能力。

心臟模型為交互式模型變形在虛擬醫療研討中的應用，模型頂點數為7349個，遠程用戶在共享的虛擬環境中對柔體心臟模型進行交互式變形操作，并實時共享心臟變形結果；象模型為離線模型動畫序列的實時傳輸效果，模型頂點數為42321個，各網絡節點在無需本地緩存的情況下，采用不同的模型分辨率實時同步共享模型動畫。模型頂點數目為8431個，在沒有采用動態分辨率的情況下，動畫幀速只能達到每秒6幀左右，而采用動態分辨率之后，系統根據當前動畫幀速自動調整模型分辨率，盡量簡化遠離視點位置的模型分辨率，從而減少計算和渲染開銷，提高動畫幀速。

近幾年，云計算成為互聯網領域中的研究熱點，它可將存儲和復雜的計算從客戶端轉移到云計算服務環境，為復雜的交互式物理特效計算提供了可能的分布式架構模式。從這個特點出發，本文作者提出了一種基于云計算服務的變形模型遠程編輯方法，在客戶端進行低分辨率的編輯控制，由云服務進行對應操作在完整分辨率上的控制頂點序列的權重計算，返回給客戶端后即可實現實時的編輯變形，基于云服務的模型編輯流程。

在上述基于云服務的變形計算模式下，用戶在對替身模型進行變形操作時，無需等待目標高精度模型的變形反饋結果，只需將用戶操作句柄通過網絡傳輸到云端，然后由云服務器在后臺通過用戶操作隊列對目標模型進行變形計算。與傳統所見即所得的變形編輯方式相比，這種基于云服務的模型編輯方式實現了用戶交互編輯與目標模型變形結果的分離，既保證了用戶客戶端編輯操作的交互式呈現，又實現了對高精度大型模型的變形編輯，可作為云計算模式下虛擬現實技術應用的一個參考。

6　移動互聯網上的相關技術與應用

隨著移動互聯網的興起，一些研究和應用開始將虛實增強技術引入到移動互聯網上。在三維重建的基礎上，INRIA GrImage課題組在ACM Multimedia 2010上展示了在法國三個城市之間進行的遠程再現原型，多個位于不同地點的用戶（包括移動電腦用戶） 能夠共享同一個虛擬環境。兩個是以重建出的三維模型的方式加入到共享虛擬環境里，另一個則是通過二維視頻的方式加入。三個用戶通過不同終端設備進行交互，展示了一個具有移動接入支持的多點遠程沉浸系統。

UIUC的Klara Nahrstedt課題組提出基于顏色—深度LOD的DIBR算法，并在遠程沉浸系統中進行用戶心理評估，另外還提出了移動終端的遠程DIBR算法，通過兩個參考視圖可以有效地消除三維圖像變換所導致的空洞。

隨著智能手機的崛起，移動互聯網上增強現實移動APP在幾年之內飛速增長。這些應用都離不開標配的攝像頭，以及使用陀螺儀、GPS等設備的輔助定位，最終以視頻圖像疊加的方式展示給用戶。下面對典型的幾類應用APP進行介紹。

實景識別。Google推出的圖片搜索應用Goggles，它的功能是可以利用手機拍照的方式，使用圖像識別技術來識別地標、標識、條形碼和二維碼等，也可以用于識別繪畫作品、書籍、DVD和CD等，應用會將獲得的識別信息，通過虛實圖像合成的方式有效地放置于圖像范圍內。

戶型圖繪制。加拿大蒙特利爾的創業公司Sensopia 在2011年發布了MagicPlan。該應用通過iPhone或者iPad對室內進行拍攝利用相機和陀螺儀進行攝像頭的跟蹤，在此基礎上測量并繪制出房屋戶型圖。該APP綜合使用相機跟蹤技術與手持設備交互技術，進而在由特征點建立起來的三維空間中進行測繪。

特效制作。Action Movie FX是可以制作簡單的好萊塢電影特效的虛實圖像合成工具，內置幾種固定的特效，如汽車翻毀、飛機墜毀、導 彈打擊等。該APP捕捉物體運動軌跡，通過圖像視頻疊加的方法對現實進行特效增強。

結合位置服務的AR應用。Wikitude World Browser是一款基于地理位置的增強現實應用，可以通過指南針、攝像頭和GPS，將虛擬信息數據標注到現實世界中。在陌生環境下，用戶開啟GPS定位，對想了解的地方進行拍攝，服務器會返回這個地方的有用信息，如酒店信息、景點名勝的特色圖片和視頻等。

現在已經出現了多款移動增強現實開發引擎或平臺，目前最著名的商業AR引擎是高通的vuforia平臺和metaio等。Obvious Engine是一款iOS上的增強現實框架引擎，它使用物體表面的自然特征來進行相機跟蹤，其開發者介紹，可以在大多數光照環境下達到每秒30幀的跟蹤速度，并且支持OpenGL和Unity 3D開發集成。移動互聯網上的增強現實APP的發展已經進入高速發展階段，各種層出不窮的創意吸引著消費者進行下載使用，但目前的增強現實應用還非常有限，受制于屏幕、攝像頭等設備的進一步更新發展。在未來幾年，各種商業創意、3D屏幕和深度相機的加入將可能推動增強現實APP的大發展。

7　相關國際標準制定進程

ISO/IEC JTC 1/SC 24 （國際標準化組織/國際電工委員會第1聯合技術委員會第24分委會）的全稱是計算機圖形、圖像處理和環境數據表示分技術委員會，目前擁有10個P成員國和23個O成員國，其中P成員國包括澳大利亞、中國、埃及、法國、俄羅斯、日本、韓國、葡萄牙、英國、美國。根據JTC1 N7752文件，SC 24的工作范圍主要是與計算機圖形、圖像處理、虛擬現實、信息交互及信息可視化表示這幾個領域有關的信息技術應用接口的標準化，以及建模與仿真相關參考模型、交互格式、編碼等規范。近幾年SC 24制訂的重要標準包括X3D（ISO/IEC 19776 系列、19777 系列），SEDRIS （ISO/IEC 18023 系列、18024系列）等。根據工作規范，SC 24原下設三個工作組（Work Group，WG）:WG6多媒體表示/交換，WG7圖像處理/交換，WG8環境數據表示）。鑒于虛擬現實相關技術的快速發展，2011年8月，在美國Rapid City舉辦的SC 24全會經過討論，考慮增加WG9專門進行虛擬現實/增強現實/混合現實領域的標準化工作，并且把SC 24原來工作范圍中的“虛擬現實”（VR）擴展為“虛擬現實/增強現實/混合現實”（VR/AR/MR）。其中韓國代表團提交了正式的新名稱，范圍的定義及詳細闡述，中國及美國代表團提出了對名稱和范圍的具體建議，特別是中國代表團建議用“虛擬現實連續統一體”（VR Continuum）代替冗長且有含義交叉的“虛擬現實/增強現實/混合現實”。最終經過審議，SC 24采用了“增強現實連續統一體”（AR continuum）的名稱，最終WG6修改為“增強現實連續統一體表示和交換”（AR continuum presentation and interchange），新成立WG9工作組，并命名為“增強現實連續統一體概念和參考模型”（AR continuum concepts and reference model）。

2012年8月19日至24日，SC 24全會在比利時Brussels舉行，各國代表團積極提出多項與ARC有關的新提案。新提案的重要評價之一是需要具有足夠多產業界人士的興趣，最終全會批準以下3項新工作提案進入初始階段投票狀態：（1） SC 24 N 3411 增強現實連續統一體參考模型；（2） SC 24 N 3414用于物理傳感器的增強現實連續統一體參考模塊；（3） SC 24 N 3415 用于真實特征表示的增強現實連續統一體參考模塊。各國在會后組織了答票和提交建議。這三項NP提案最初是韓國提出的，在全會中我國補充提出了ARC術語和概念定義及術語制定規則，也寫入了投票文件，在投票階段還建議了參考模型完善，部分傳感器接口與格式完善等。在2012年底，SC 24公布了10個P成員國的投票結果，通過了增強現實連續統一體的三個新提案，進入了工作程序。

增強現實連續統一體參考模型（ARC-RM）定義了一種結構（如體系、功能、信息/計算可視化），用于當前和未來的增強現實和混合現實領域國際標準對比及描述相關關系。該參考模型定義了一系列規則、概念以及內部關系，應與未來增強現實、混合現實標準的總范圍相適應。包含下列內容：規則，增強現實連續統一體術語及定義，用例，需求，ARC體系結構（基于網絡或獨立），功能和基礎組件，組件之間的接口及數據流，抽象層，與其他標準的關系等。

ARC系統的通用參考模型包括主要組件及功能性和組件接口（數據和控制）。可以看出，目前的ARC模型更重視從相機采集，然后進行跟蹤和識別，通過消息機制發送給虛實合成模塊，最終完成繪制和顯示。這符合目前產業界對增強現實技術應用在PC或移動互聯網上的強烈需求：僅配備簡單的相機即可實現虛擬現實增強的顯示，需要模型結構簡單，跟蹤以實現精確的空間定位，識別后通過簡單的消息機制進行驅動。

ISO/IEC JTC 1/SC 29 （coding of audio，picture，multimedia and hypermedia information，音頻、圖像、多媒體和超媒體信息）技術分委也對增強現實/混合現實技術表現出強烈的興趣，正在制定增強現實應用格式標準Multimedia application format（MPEG-A） Part 13：Augmented reality applicationformat13）。2013 年，在ARC新提案的基礎上，SC 24和SC 29建立了聯合工作機制，首先由SC 24WG9和SC 29 WG11共同推動ARC參考模型的標準。由于雙方共同的興趣，將標準進一步集中在混合和增強現實MAR（Mixed and Augmented Reality），也就是虛擬現實增強技術，從中也可以看出工業界對于虛擬現實增強技術的期待。

2013年5月，在SC 29 WG 11發布的ISO/IEC JTC 1/SC 29/WG 11 N13613的基礎上，ISO/IECJTC 1/SC 29-24/WG 11-9啟動了技術草案報告“WD 1.0 of Mixed and Augmented Reality Reference Model”，并計劃了2013年中、年底，2014年初的三次討論會。在目前的草案中，混合和增強現實MAR被定義為一種基于采集的真實世界環境的表示，其中的元素以計算機驅動的方式被圖形、聲音等內容所增強。混合和增強現實系統實現了對最終用戶內容同步驅動的虛擬環境內容的實時訪問。

ISO 要求有關文件的非成員組織使用需要書面許可，因此本文不對參考模型等草案的詳細內容進行介紹，部分內容可到ISO網站查詢。在參與標準工作的過程中，我們有兩點認識：

（1） “虛擬現實/增強現實/混合現實” （VR/AR/MR）得到了工業界的普遍認可，特別是增強現實已經具有了強大的產業支持，應該重視跟進標準的制定；

（2） 各國代表團積極在增強現實連續統一體方面提出建議，韓國代表團的積極主導是跟韓國政府和大企業的重視和支持是離不開的，中國目前的關注程度還不夠，建議更多的學術界和產業界人士積極參與和建議。

8　總結與展望

近年來，虛擬現實增強技術已經取得了顯著的技術進步，特別是在產業界的普及型需求和積極推動下，展示出強勁的發展前景。本文分別從技術特點、相關硬件設備、增強現實、增強虛擬環境這4個方面，闡述和分析了虛擬現實增強技術的研究進展。鑒于移動互聯網時代的興起，本文介紹了移動互聯網上已經出現的虛實增強技術與應用，最后還介紹了相關國際標準的制定進程。

增強現實技術已經得到了學術界和產業界的廣泛關注，在硬件裝置、跟蹤精度、虛實合成等方面正在快速發展和提高。例如在2013年的增強世博會（Augmented World Expo）上，絕大多數參展商都集中在SLAM系統跟蹤技術和眼部穿戴式增強設備上，他們期望出現像3D眼鏡Atheer One這樣高度集成的便攜式設備，能夠刺激現有增強現實技術的快速應用。同時，新型產品的出現也會給研究者帶來更多的研究內容，促進增強現實技術向著更高的方向發展。

增強虛擬環境技術發展緩慢，還未能像增強現實一樣被大眾認可。不同于增強現實技術，該技術使用的“畫布”而非逼真的三維虛擬環境，難以用二維視頻圖像等信息達到較好的增強效果。現有的方法除了存在采集裝置、建模精度等多方面的關鍵技術問題，還無法達到逼真的合成效果，例如虛實物體的正確遮擋關系，虛實光照效果的融合處理，以及多傳感器數據融合的理論問題等。增強虛擬環境技術還需要深入研究，有待于以上關鍵技術的突破和新的硬件設備推動。

總的來說，虛擬現實增強技術的理論研究、系統開發和應用推廣等方面有著重大進展，尤其是移動互聯網時代的到來，為增強技術帶來了廣闊的應用群體和飛速的技術進步。同時，虛擬現實增強技術的不均衡的發展也為該領域帶來了大量有待解決的問題和難題。

今后的幾年里，虛擬現實增強技術的發展將會引入越來越多新的思路。例如，本文作者在基于云計算服務的變形編輯方法方面所做的工作，從一個側面說明云計算服務可能對虛擬現實相關技術提供新型的分布式計算模式；目前腦機接口和外骨骼系統的研究可能為虛擬現實相關技術提供新的增強表達方法。虛擬現實增強技術還有很長的一段路要走，期待它能夠實現現實世界與虛擬世界的無縫融合，改變普通人生活和傳統行業，成為人類訪問世界的新途徑。

【作者單位：1. 北京航空航天大學虛擬現實技術與系統國家重點實驗室；2. 中國科學院寧波工業技術研究院】

（摘自《中國科學：信息科學》2015年2期）