增強現實技術在載人航天工程中的潛在應用

鄭 耀 謝 天 解利軍 杜昌平 潘海斌

（浙江大學航空航天學院）

1 引言

增強現實（Augmented Reality,AR）最早可以追溯到上世紀60年代Sutherland[1]首次用透視式頭盔顯示器（Head-Mounted Display,HMD）展現三維物體。到本世紀初，增強現實技術逐漸發展成為一個重要的科學研究領域。它借助計算機圖形技術和可視化技術生成現實環境中并不存在的虛擬對象，通過跟蹤注冊技術將虛擬對象準確地“放置”在真實環境中，然后借助顯示設備或者人機交互設備將虛擬對象與真實環境在感官上融為一體。在Milgram[2]定義的虛實環境集概念中，增強現實是混合現實（Mixed Reality,MR）的子集（圖1）。它與增強虛擬（Augmented Virtuality,AV）和虛擬現實（Virtual Environment,VE）最大的不同，就是它所呈現的環境主體是真實的而非虛擬的。在增強現實中，計算機產生的虛擬物體只是在局部區域疊加于真實場景之中，具有虛實融合、實時交互和輔助增強等特點[3]。

圖1 Milgram的虛實集定義[2]

40年來，各國研究者除了在跟蹤技術、顯示技術、交互技術這三個增強現實的支撐技術上不斷突破外，增強現實的應用領域也在被不斷擴展[4]。目前，增強現實技術的應用范圍已經逐步從桌面展示、電腦游戲等小型室內環境，向工廠車間、戶外等大的應用環境延伸。諸如波音公司[17]、美國陸軍[18]等，都已將增強現實技術作為主導技術用于大型航空和軍械設備的維修誘導系統。

在我國載人航天工程的許多實踐（例如太空維修和大時延遙操作等）中，如果對增強現實技術加以研究、發展和利用，必然可以發揮其獨特的作用。

2 增強現實的支撐技術

2.1 跟蹤注冊技術

虛擬物體在現實場景中是否能完美融合，意味著觀察者在改變自身位置和觀察角度的同時，觀察中的虛擬物體能否融洽地與現實場景保持一致。要實現這個目標，首先必須明確虛擬物體將要合并到現實場景的準確位置，其次要實時地檢測觀察者在場景中的位置、視角，甚至是運動方向，然后才能計算出該時刻虛擬物體應該具備的顯示方式，同時按照觀察者的視場重建坐標系。這個過程就是跟蹤注冊（Tracking Techniques），目前常用的方法可以分為以下三種[4]：

（1）基于傳感器的跟蹤注冊技術

基于傳感器的跟蹤注冊技術（Sensor-Based Tracking Techniques）是在觀察者頭部安裝跟蹤器來探測和跟蹤真實環境中目標的位置和方向。這類跟蹤器包括電磁跟蹤器、超聲波定位器、慣性跟蹤器、測距儀、全球定位系統等，相應的技術各有優缺點，在文獻［5］中已有詳盡的介紹。

（2）基于視覺的跟蹤注冊技術

基于視覺的跟蹤注冊技術（Vision-Based Tracking Techniques）是通過對一幅或多幅視頻圖像的圖像處理，來計算獲得固定在觀察者頭部的攝像機在真實場景中的位置和姿態。此類方法又分為基于特征（Feature-Based）和基于模型（Model-Based）兩種，其中后者最為常用，通常為各向互異的規則圖案（圖2）。

因為其易開發性和魯棒性，基于計算機視覺的注冊技術的研究在增強現實領域一直處于主導地位。依據對 ISMAR（International Symposium on Mixed and Augmented Reality）國際會議論文的統計，近十年來該會議接收的有關跟蹤注冊技術的論文中，基于視覺的注冊技術的研究占80%以上[4]。

（3）混合跟蹤注冊技術

在某些特殊的增強現實場景中，僅用基于視覺的跟蹤注冊難以達到魯棒的注冊效果，因此需要一些基于傳感器的跟蹤注冊技術的輔助。混合跟蹤注冊技術（Hybrid Tracking Techniques）就是指基于視覺和基于傳感器共存的跟蹤注冊技術。

2.2 顯示技術

如何簡單便捷地讓用戶感知現實場景和虛擬物體的融合，是顯示技術所必須解決的問題。目前的增強現實系統主要使用透視式頭盔顯示器，而透視式頭盔顯示器又分為光學透視式頭盔顯示器（Optical See-Through HMD）和視頻透視式頭盔顯示器（Video See-Through HMD）兩種。圖3是這兩種頭盔顯示器的原理結構圖。

圖3 透視式頭盔顯示器原理圖[16]

其中，光學透視式頭盔顯示器通過半透明鏡片可以直接觀察到真實場景，虛擬物體通過鏡片上方的顯示器投影至鏡片上，形成虛實疊加。這類顯示器可以實時觀察到真實場景，但虛實間由于處理時差會產生一定的時滯。而視頻透視式頭盔顯示器會將拍攝到的真實場景與虛擬物體合成完整后才播放出來，虛實間保持同步，沒有時滯。

目前在增強現實的應用領域中，生產透視式頭盔顯示器最著名的幾家公司包括Sony公司[2]、Micro－Vision 公司[9]、MicroOptical公司[10]和 Minolta 公司[11]等[12]，他們的部分產品如圖4所示。

2.3 交互技術

在增強現實的應用中，人們常常渴望最自然的交互方法，比如可以“觸摸”到虛擬物體，可以隨意拿起放下，并且感覺到虛擬物體的硬軟輕重等。但實際上，要實現這樣的交互是較為困難的。

目前常用的交互工具包括手勢識別、語音識別、力反饋設備、數據手套、六自由度鼠標、特制標志等。這些工具都需要在數據庫中預先設定各種命令對應的動作，以便在系統識別時對照先驗知識來進行操作。它們有各自的應用環境，針對不同的應用要求有不同的組合。

圖4 透視式頭盔顯示器實例

近幾年提出的凝視交互[8]是一個具有重要應用意義的交互方式。其硬件設備比普通HMD多了一個眼追蹤器，使設備可以檢測到觀察者所凝視的方向，然后針對凝視的區域執行相應的操作或給出用戶可能感興趣的信息。這一技術在維修誘導、戶外環游等應用環境中必將帶來一次革新。因為根據用戶的凝視來判斷用戶想要獲取的知識是十分合理且高效的，比以往將所有信息同時呈現在視野或需要借助別的設備來選取信息的做法，明顯簡潔和便利許多。

3 在載人航天工程中的潛在應用

3.1 維修誘導

航天設備往往都是結構復雜的大型機電系統，其拆裝和維修十分困難，不僅費用昂貴，而且對維修人員要求極高。在現有復雜的地面維修中，維修人員往往都是一邊翻閱紙質文件或查看電子手冊，一邊對照設備進行維修。這種方式效率低下，易受環境影響，出錯率高，而且過于依賴專業維修人員的個人技能和經驗。這種方法在地面操作中就已存在不小隱患，更加難以適應太空維修的各種苛刻環境。

因此，基于增強現實的維修誘導系統應運而生。如上文所述，增強現實技術借助計算機圖形學和可視化技術，可以在現實環境中融入原本不存在的虛擬對象。這樣，針對維修或裝配，增強現實可以智能化地提供誘導信息，比如提供觀察者視野中各部件的具體信息（圖5），提供當前步驟應該執行的操作提示（圖 6）等。

圖5 維修誘導實例——各部件信息提示[17]

在這種條件下，操作者不需精通太多領域的專業維修知識，也不需繁瑣的翻閱其他任何說明文件，只需在增強現實的誘導提示下就可正確無誤地完成維修任務。這種基于增強現實的數字化維修受外界環境的干擾較小，所需設備簡單、性能穩定、攜帶方便，將是太空維修的不二之選。

圖6 維修誘導實例——操作提示[18]

圖7是增強現實維修誘導系統的數據流框圖，整個系統包括三大子系統，分別為交互系統、增強現實系統、智能信息提供系統。

交互系統由運動感知模塊、運動感知數據庫、命令解釋模塊、命令數據庫組成。其中運動感知模塊用于監測和獲取用戶的運動類交互式輸入，讀取數據手套、眼動檢測儀、空間鼠標、移動鍵盤等外設的數據，通過與運動感知數據庫的對比識別解析出交互指令，發送給命令解釋模塊。命令解釋模塊處理運動感知模塊發出的交互指令和維修人員發出的語音命令，然后將這兩者轉換為對維修操作指導內容的請求。

圖7 增強現實維修誘導系統數據流框圖

增強現實系統由場景分析模塊、虛擬場景數據庫、信息增強模塊組成。其中場景分析模塊能夠持續地跟蹤維修場景的變化，并對維修人員所處的真實場景進行分析，解釋來自用戶所處真實環境的變化，進行環境相關數據如位置、視點位置等的更新，為系統提供用戶所在場景的變化數據。信息增強模塊完成整個維修誘導系統的信息輸出，將工作流控制模塊提供的虛擬信息疊加到對維修人員所在的真實環境中。

智能信息提供系統由信息獲取模塊、工作流控制模塊、技術資料數據庫和案例/知識數據庫組成。其中信息獲取模塊根據場景分析結果和工作流請求指令，面向具體的維修任務，從維修資料數據庫和案例／知識數據庫中獲取與維修場景相關的技術資料，并對獲取的信息進行處理；它所提取與場景變化相適應的虛擬信息，可為控制模塊提供依據。工作流控制模塊作為整個維修誘導系統的核心，具有兩個功能：一是對維修誘導流程進行控制，對輸入信息進行響應，對輸出信息進行管理，對整個系統進行維護；二是處理各個模塊之間可能的沖突，保證系統的正常運作。

整個系統以工作流控制模塊為核心，以命令解釋模塊和運動感知模塊為數據輸入，以信息增強模塊為輸出，通過場景分析模塊和信息獲取模塊的輔助，完成整個增強現實維修誘導過程。

這一由三個子系統緊密有序分工合作所形成的工作框架，可適用于絕大多數的應用環境。基于此框架的增強現實維修誘導、操作指導或是訓練等，在載人航天工程的未來實踐中，將能有效地提高工作效率、縮小培訓周期、減少人為差錯，因此具有非常現實的潛在應用價值。

3.2 遙操作

在載人航天工程中，遙操作是一種廣泛采用的控制技術，它使操作者能在危險環境或人類無法進入的環境中，進行指揮作業并安全完成作業任務。但遠距離通信導致的時延問題一直是遙操作系統的研究難點和熱點。

過大的時延很容易引起控制系統的不穩定，進而大大降低系統的可操作性。研究表明，當延遲大于0.25s時，操作人員就能明顯感覺到延遲的存在。而在航天工程領域，遠距離信號傳輸所導致的大時延幾乎是不可避免的，從幾秒甚至到幾分鐘都有可能。一旦產生大時延，操作者將無法實時地獲取被控物體的信息，被控物體也不可能實時響應操作指令，這將對操作者的判斷產生很大的干擾。

圖8 使用增強現實技術的遙操作系統組成

增強現實技術的引入，可以很大程度上彌補大時延對遙操作的影響。早在1990年，美國NASA的JPL 實驗室就提出了“Phantom Robot”的概念[14]，指出了用仿真圖像對視頻圖像進行疊加增強，以便克服時延對遙操作的影響。這一方法在1996年NASA Godard太空飛行中心得到驗證，操作時間節約了近50%。

由于增強現實技術可以在真實場景中仿真出被控物體的三維運動軌跡，將真實場景和仿真圖像兩者完美地融合[15]，使操作者可以清晰明確地實時預測各種指令的可能結果，及時做出下一個判斷，以此補償時延滯后。待新的場景信息返回后，可以對原預測的結果進行修正，并改進預測模型，實現不斷的迭代學習和持續預測。

圖8示出了一個典型的使用增強現實技術的遙操作系統。操作者可以通過被增強的視頻信息，方便地觀測到被操作物體的實際運動和預測運動之間的直觀差異，也可以使用力反饋設備進行雙向的力傳遞和預測。同時，還可以如維修誘導一般，直觀實時地獲得虛擬的輔助信息和操作提示（如三維動畫和文字），并加入語音、手勢、操作桿等多種交互指令，以保證及時發送一些常用指令，這可以提高操作者對未知環境的適應能力，有效地保證遙操作的效率和精度。

采用這種基于增強現實的遙操作技術，使虛擬的預測被控物和真實的遠程工作環境相互融合，在增強現實環境中使虛擬被控物對真實被控物的動作進行實時預測、仿真，這既可進行直觀高效的人性化交互，又避免了直接與遠程被控物交互的時延，將能大幅度地提高遙操作系統的可操作性、安全性和穩定性，這在載人航天工程中必將有所作為。

4 結束語

增強現實技術作為一項新興技術，在載人航天工程中的太空維修、大時延遙操作等領域，有著廣闊的應用前景。本文回顧了增強現實的三大支撐技術，展望了增強現實在載人航天工程中的潛在應用，分析了其中的技術難點，并提出了相應的方案。對增強現實技術的深入研究，一定能為我國載人航天工程的實踐提供有力的技術支撐。 ◇

［1］I.Sutherland.A Head-Mounted Three-Dimensional Display.Fall Joint Computer Conf.,Am.Federation of Information Processing Soc.（AFIPS）,Conf.Proc.33,Thompson Books,Washington,DC,1968,pp.757-764.

［2］P.Milgram and F.Kishino.A Taxonomy of Mixed Reality Visual Displays.IEICE Trans.Information Systems,1994,vol.E77-D,no.12,pp.1321-1329.

［3］R.Azuma,Y.Baillot,R.Behringer,et al.Recent Advances in Augmented Reality ［J］.IEEE Computer Graphics and Applications,2001,vol.25,no.6,pp.34-43.

［4］F.Zhou,H.B.L.Duh,M.Billinghurst.Trends in Augmented Reality Tracking.Interaction and Display:A Review of Ten Years of ISMAR,Proceedings-7th IEEE International Symposium on Mixed and Augmented Reality 2008,ISMAR 2008,pp.193-202.

［5］J.P.Rolland,L.Davis and Y.Baillot.A Survey of Tracking Technology for Virtual Environments.Fundamentals of Wearable Computers and Augmented Reality,1st ed,W.Barfield and T.Caudell,Eds.Mahwah,NJ:CRC,2001,pp.67-112.

［6］M.Fiala.ARTag.a Fiducial Marker System Using Digital Techniques.IEEE Computer Society Conference,CVPR 2005,vol.2,Canada,pp 590-596.

［7］朱淼良,姚遠,蔣云良.增強現實綜述［J］.中國圖象圖形學報,2004,vol.9,no.7,pp.767-774.

［8］H.M.Park,S.H.Lee,J.S.Choi.Wearable Augmented Reality System Using Gaze Interaction.Proceedings-7th IEEE International Symposium on Mixed and Augmented Reality 2008,ISMAR 2008,pp.175-176.

［9］H.L.Pryor,T.A.Furness and E.Viirre.The Virtual Retinal Display:A New Display Technology Using Scanned Laser Light.Proceedings of 42nd Human Factors Ergonomics Soc.,Santa Monica,CA,1998,pp.1570–1574.

［10］M.B.Spitzer,N.M.Rensing,R.McClelland and P.Aquilino.Eyeglass-Based Systems for Wearable Computing.Proceedings of First International Symposium on Wearable Computers.Massachusetts,USA,1997,pp.48–51.

［11］I.Kasai,Y.Tanijiri,T.Endo and H.Ueda.A Forgettable Near Eye Display.Proceedings of IEEE International Symposium on Wearable Computers,CA,USA,2000,pp.115–118.

［12］S.K.Ong,M.L.Yuan and A.Y.C.Nee.Augmented Reality Applications in Manufacturing:A Survey.International Journal of Production Research,May 2008,vol.46,no.10,pp.2707-2742.

［13］李薪宇,陳東義.基于混合跟蹤的增強現實系統設計與實現.計算機應用,2009.10,vol.29,no.10,pp.2852-2854,2858.

［14］A.Bejczy,W.Kim and S.Venema.The Phantom Robot:Predictive Display for Teleoperation with Time Delay.IEEE International Conference on Robotics and Automation,1990,pp.546-551.

［15］熊友軍.基于增強現實的遙操作關鍵技術研究.博士學位論文.華中科技大學.2005.

［16］譚繼帥,王松山.增強現實技術及其在維修培訓中的應用.設備管理與維修,2008,no.4,pp.8-10.

［17］ E.Memi.Boeing’s working on augmented reality,which could change space training,ops.Boeing Frontiers,Oct.2006,vol.5,issue 6,pp.21.

［18］S.J.Henderson,S.Feiner.Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret.Science and Technology Proceedings-IEEE International Symposium on Mixed and Augmented Reality 2009,ISMAR 2009,pp.135-144.