遠程沉浸：虛擬照進現實

文/周忠 張琳

遠程沉浸：虛擬照進現實

文/周忠 張琳

北京航空航天大學虛擬現實技術與系統國家重點實驗室在下一代互聯網上開展了一系列的遠程沉浸技術研究工作，讓真實人體實時進入虛擬世界中。

遠程再現和遠程沉浸一直是很多科幻小說和影視作品的偏好場景。著名的好萊塢大片《星球大戰》、《黑客帝國》和《阿凡達》等都是來自于這個主題。近年來一種基于視覺的遠程沉浸虛擬現實交互系統成為虛擬現實領域的研究熱點之一。遠程沉浸（Tele-immersion）系統通過實時、逼真的人體三維重建和遠程再現技術將真實的人的動作、表情、姿態、聲音等在共享的虛擬環境中同步再現出來，身處不同地域的多個人“進入”到共享的三維虛擬環境中進行“面對面”的互動交流，從而達到身臨其境的互動體驗。

國際上新興的基于多相機的遠程沉浸在遠程交流、教學、醫療訓練、協同設計、三維可視化等領域都有著重要的應用前景。美國U.C. Berkeley大學、法國INRIA、伊利諾大學香檳分校、加州大學戴維斯分校、北卡羅來納大學教堂山分校UNC、南加州大學、布朗大學、馬克斯-普朗克信息學研究所等都在遠程沉浸系統的軟硬件技術等方面開展研究。然而，遠程沉浸系統中實時重建的人體三維模型，會產生大量的數據點，這些數據點和紋理圖像需要實時通過網絡進行傳輸，對網絡帶寬有著巨大的需求，因此這些研究或在局域網內進行，如INRIA、南加州大學的工作，或在下一代互聯網上開展，如U.C.Berkeley、UIUC、U.C.Davis等合作的遠程沉浸互聯實驗。

遠程沉浸（Tele-immersion）系統通過實時、逼真的人體三維重建和遠程再現技術將真實的人的動作、表情、姿態、聲音等在共享的虛擬環境中同步再現出來，身處不同地域的多個人“進入”到共享的三維虛擬環境中進行“面對面”地互動交流，從而達到身臨其境的互動體驗。

北航的遠程沉浸技術研究

北京航空航天大學虛擬現實技術與系統國家重點實驗室近幾年在遠程沉浸技術方面開展了一系列的研發工作。實時三維重建技術實現了真實人體實時進入虛擬世界中交互，是遠程沉浸中的主要核心技術之一，重建的三維模型的精度和模型的重建速度是三維重建技術的兩個主要指標。實驗室設計了由12臺工業相機組成的4米×4米×3米的遠程虛實協同采集建模環境和基于三目相機的便攜式建模環境。在這兩種建模環境下分別研發了基于側影輪廓的無標識動態物體實時三維重建技術和分層聚合的可變權值立體匹配算法。

基于側影輪廓的無標識動態物體實時三維重建算法基本原理是先用一棵不斷迭代剖分的具有立方體節點的八叉樹來描述一個三維物體，然后用行進可視外殼精確立方體算法對得到的體素描述的三維模型進行網格化，并進行視點相關的紋理映射，最終得到被采集物體帶紋理的三維模型。

圖1 是人體模型與虛擬場景交互的效果圖，其中左圖是人在一個虛擬足球場的展示，人能夠實時地與足球發生交互。右圖為人在虛擬的淺水環境展示，圖中可以看到人腳下產生了較為真實的水漣漪效果。

立體匹配算法采用實時性較高的基于局部匹配窗口的方法，并通過行列雙向聚合的方式進一步降低匹配代價的聚合計算復雜度，引入一種可信度機制來減少聚合過程中的進度損失；利用沿掃描線的動態規劃選擇視差，將貪心選擇和視差平滑約束引入到動態規劃過程以提高視差選擇的計算速度和準確度。從而在滿足實時性要求的基礎上達到了較高的建模精度。圖2是RealTimeLAW立體匹配算法實驗對比與應用效果圖。右圖中的人正在實驗拾取國際象棋，可以看到人可以利用手勢來控制虛擬的棋子。該算法的平均誤差低于7%，目前在Middlebury平臺上實時類算法中綜合精度排名第一。測試表明，當圖像的分辨率為320×240時運行速度可達15幀/秒，滿足實時交互要求。我們正在開展三目的匹配算法研究，初步結果表現出更高的精度，但實時性也有所影響。

圖1 重建的人體與虛擬場景交互效果

圖2 RealTimeLAW立體匹配算法對比與效果

下一代互聯網上的遠程沉浸應用系統

近年來，我國在下一代互聯網的研究和實踐方面開展了大量的工作，尤其是清華大學為主建設的CNGI-CERNET2網絡具有很大的影響。北京航空航天大學也是CNGICERNET2的主干節點單位之一，依托該網絡條件，初步開展了互聯網上的遠程沉浸技術探索。

從2008年開始，北京航空航天大學虛擬現實國家重點實驗室聯合清華大學、北京大學、上海交通大學、復旦大學、華中科技大學、華南理工大學、北京郵電大學、東北大學、電子科技大學等節點單位，在北京、沈陽、廣州、武漢、上海、杭州、成都共6個城市的10個主要CERNET2節點部署了基于遠程沉浸技術的交流應用平臺系統，也就是在下一代互聯網上搭建一種新型的虛擬現實交互式交流服務平臺。平臺軟件主要包括：服務中心軟件、用戶客戶端軟件、模型編輯軟件和門戶網站。遠程沉浸虛擬現實交流系統的研究目的之一是在下一代互聯網實驗一種新型服務，因此考慮了互聯網上的節點擴展性，系統從總體上可分為服務中心和節點客戶端兩部分，如圖3所示。服務中心軟件負責用戶身份管理，協調用戶及交流研討小組，并進行一系列的后臺維護工作，門戶網站可以訪問數據庫檢索信息。客戶端軟件是研究的主要技術難點部分，主要包括多相機的實時采集與建模、聲音采集與播放、虛擬交互系統框架和網絡傳輸等。客戶端軟件主要包括系統登陸大廳、三維建模及虛實混合繪制兩部分。

圖3 系統結構

圖4 通訊結構

圖5 平臺運行場景

遠程沉浸節點需要交互的實時數據主要包括幾何模型、紋理和交互操作，其中模型尤其是紋理部分的數據量很大，如果都通過服務中心轉發，服務中心將很容易過載，因此將模型和紋理數據在節點之間直接傳輸，并且模型、紋理是實時更新的，當其在場景中渲染時，部分數據的丟失并不會帶來很嚴重的影響，而實時性更為重要，因此基于快速的UDP協議進行數據傳輸；而節點創建、加入交流組，下載模型等操作，都基于可靠的TCP協議通過服務中心在進行節點間進行傳輸，組內節點共享同一個虛擬環境，系統通訊結構圖如圖4所示。

另外，在研發過程中，還完成了專用的模型編輯軟件，項目門戶網站，和數據庫中心。

下一代互聯網虛擬現實交流平臺目前已經建立起了十多項各具特色的科研交流虛擬環境，由各參與學校發揮各自優勢，提供一些特色學科或專業的科研數據，開發相應的三維模型，并集成到平臺中提供相應的遠程科研交流服務。建設的交流場景有虛擬戰場、建筑協同研討環境、蛋白質虛擬研討環境、協同船體設計、虛擬醫療研討環境、虛擬制冷設備研討、協同建筑施工研討、工業機器人研討、材料研討環境、電磁仿真環境等。另外，平臺還開發提供了五子棋交互娛樂環境，模擬駕駛環境、虛擬足球場交互娛樂環境，月球漫游環境等不同主題和不同交流、交互方式的虛擬交流與交互場景。圖5為平臺運行的部分效果圖。

我們已經在下一代互聯網上開展了大量的性能測試，實驗結果表明其帶寬已經能夠滿足大數據的傳輸需求，但延遲和穩定性還需要提高。總的來說，作為一個新生事物，遠程沉浸系統的技術與建設尚屬實驗階段，隨著該技術的成熟和低成本化，將可能成為下一代互聯網上的特色應用，為社會大眾服務。

（作者單位為北京航空航天大學虛擬現實技術與系統國家重點實驗室）