遠程增強現實交互系統設計

葛曉揚　包海默　馮鳴

摘要：擴展增強現實應用的使用條件，使用戶可以遠程對目標環境進行身臨其境的交互操作。分析了遠程增強現實交互的設計思路，形成“本地用戶交互端”、“遠程交互實施端”、“云端數據計算服務”三個子系統的總體架構，并對每個環節的技術條件和使用方式設計進行了詳細闡述。在此基礎上論述了該系統在教育等領域的應用前景和待解決問題。形成了遠程增強現實交互系統設計框架，以及對應的設計方案和技術路徑。遠程增強現實交互系統可以擴展增強現實技術的應用場景，在教育、安防、救災等領域為操作者提供更寬松、更安全的使用條件。

關鍵詞：交互設計 增強現實 姿態同步 5G 人工智能

中圖分類號：TB472 文獻標識碼：A

文章編號：1003-0069（2019）07-0137-03

一、增強現實技術與應用簡介

增強現實（Augmented Reality）一詞最早由前波音公司研究員Tom Caudell在1990年提出，指通過將用戶界面（UI）中的人工信息疊加在真實影像上，并同時呈現在使用者眼前的技術手段。早期的增強現實技術主要應用于軍事領域，如戰斗機的反射式瞄準裝置，飛行員可以通過反射鏡上投射的瞄準準星和頭盔中集成的抬頭顯示裝置（HUD）來直接獲取飛行狀態等必要信息，減少轉頭查看儀表盤的動作，從而提升駕駛的效率和安全性。

隨著微電子和移動互聯網等領域的技術進步，增強現實技術和應用近年來得到了快速的發展。以微軟的HoloLens增強現實頭盔為代表的一批產品已經面世，并給用戶和業界帶來了不同凡響的使用體驗以及應用前景遐想。與早期簡單的界面信息重疊投影不同，當今增強現實應用需要將界面信息與用戶視線注意的畫面對象相互結合，并設置有效的交互方式，以實現用戶通過增強現實應用和具體環境進行信息交互功能。例如在維修汽車時，增強現實應用可以根據用戶眼前的景象提示可能存在問題的位置，幫助和引導用戶對該位置進行排查。

二、增強現實產品設計模式分析

增強現實技術大幅擴展了交互設計的應用場景范圍，是當今設計發展的重要促進因素。它將用戶的信息交互過程從電腦或手機屏幕拓展到了實際問題和需要所在的真實場景中，提升了信息交互過程的直觀對應性。

從產品設計中用戶使用方式的角度分析，用戶在增強現實應用中看到的底層實景圖像信息與表層信息交互界面，都需要通過屏幕或其他顯示媒介技術輸入到眼中，因此底層實景圖像信息其實與用戶本人所處的實際環境位置其實無關。只要圖像信息采集自問題或需求所在的真實環境，通過遠程圖像傳輸技術的支持，用戶同樣可以實時地與真實環境進行交互操作，如圖1所示。

這種信息采集位置與用戶操作所在位置分離的設計思路其實更具有普遍意義。傳統的增強現實產品設計模式中，用戶通過智能手機或其他可穿戴設備來進行增強現實交互，其實是這種普遍設計思路中用戶位置與環境位置相同的特例情況。但在救災、安防、或空間狹小等場景條件下，用戶直接身處目標環境較為困難，這種操作與實施位置相同的設計思路也就較難實現。因此有必要在更普遍的設計思路上，建構遠程增強現實交互系統的產品設計框架，為相關需求的產品設計提供參考模式。

圖2對比了遠程增強現實與傳統增強現實設計在系統架構、界面內容、交互方式、應用情景等方面的差別。兩種設計模式具有相同的用戶界面內容，傳統增強現實設計模式的用戶直接身處問題所在場景中，這就要求這些場景必須滿足空間大小合適且安全的使用條件。應用場景包括日常購物的商品信息介紹、旅游觀光的景點導覽、日常維修的輔助信息提示等。

通過增加遠程執行端，遠程增強現實設計模式可以讓用戶在任意安全適宜的位置，對目標問題進行遠程操作。由于用戶無需實際身處問題場景，對可應用場景的要求也變得更為寬松。這種設計模式的改變可以大幅擴展增強現實技術的應用范圍，任何可部署遠程執行端設備的場景，如空間狹小或對人身有害的場景均可使用。使用者通過動作同步遙控操作的交互方式，可完成遠程教育、遠程展館游覽、遠程旅游觀光、遙控生產、勘探、救援、安防、危險品處理等任務。

三、遠程增強現實交互系統的設計框架

遠程增強現實交互系統包含“本地用戶交互端”、“遠程交互實施端”、“云端數據計算服務”三個子系統，分別對應用戶交互、問題所在環境的遠程控制以及過程中產生的智能識別、數據計算等任務，如圖3所示。

（一）“本地用戶交互端”設計

“本地用戶交互端”包括圖像與聲音信息輸出設備、用戶交互輸入設備、用戶動作同步捕捉設備、本地端信息處理設備四個部分。

1.信息輸出設備主要負責為用戶提供目標環境的視覺、聽覺等通道的信息和相應的用戶界面信息及交互反饋。具體包括液晶屏幕、全息投影鏡片、光纖投影、立體聲耳機等裝置。根據實際問題的交互需求，輸出設備還可以增加如對應觸覺的振動馬達等其他感知通道交互裝置。

2用戶交互輸入設備主要負責記錄用戶所需的各類交互操作，具體包括眼動追蹤、觸摸控制、按鍵控制、聲控、高清攝像、錄音等裝置。

3.用戶動作同步捕捉設備主要負責跟蹤用戶的頭部運動、轉向等動作，以同步控制遠程交互實施端設備的運動姿態，從而實現身臨其境的用戶遠程操作體驗。該功能是整個系統設計的重要部分，人的頭部與頸部有多個運動方向，為保證用戶使用產品時能夠得到擬合度最高的運動同步效果，動作同步捕捉設備需要搭載多個高靈敏度的九軸姿態傳感器，以實時記錄用戶頭部和頸部各關節運動的加速度變化、平衡變化以及方向變化。并將這些數據轉換成遠程交互實施端多軸云臺中具體舵機、無刷電機或液壓桿的驅動參數。

4.最后，本地端信息處理設備對所有的用戶交互操作與姿態信息進行預處理和編碼加密，通過5G或Wi-Fi網絡傳輸給云端的數據計算服務進行深度加工，包括用戶的語言指令含義識別、手勢動作模式識別等。然后將處理后的交互操作指令發送給遠程交互實施段進行實地執行。

從用戶的使用角度看，“本地用戶交互端”與傳統增強現實頭盔擁有相似的使用體驗。但在遠程增強現實交互系統中，“本地用戶交互端”實際上是用戶交互行為與“遠程交互實施端”之間的橋梁。本地端需要配備動作同步捕捉設備來實時記錄用戶的頭頸運動姿態并發送到遠程執行端，從而實時調整遠程端攝像裝置的視角等姿態，打造身臨其境的用戶體驗。

（二）“遠程交互實施端”設計

從功能設計的角度看，“遠程交互實施端”其實是用戶的遠程操作“代理”或“替身”。該子系統包括遠程端信息處理設備、用戶動作同步輸出設備、交互操作的輸出和反饋設備以及必要的運動系統四個部分。

1.遠程端信息處理設備負責接收用戶端的操作指令并發送給對應的動作執行模塊，是任務目標環境現場的總控臺，同時該設備還需對采集的圖像、聲音等信息進行編碼、發送等處理。

2.用戶動作同步輸出設備的主體為云臺裝置，根據具體使用環境的空間大小、任務工具載荷、操作精度等要求，可以選配為舵機云臺、無刷電機云臺或液壓平臺等模塊。云臺的運動姿態與用戶端動作捕捉的姿態實時保持一致，為了能夠提供較高的運動匹配精度和身臨其境的用戶體驗，在體積允許的情況下，云臺的運動結構設計應當與人頭部和頸部的關節運動關系相一致。傳統兩軸舵機云臺只有一個靠前的旋轉中心，而人的頭頸運動至少可以概括為上下兩個轉動中心，因此用傳統云臺較難擬合操作者的實際頭部運動，如圖4。針對這一問題，增強現實交互系統應當采用圖4右側所示的上下串聯式三軸云臺，以同部對應操作者實際的頭部運動軌跡。在空間狹小等環境或任務條件下，也可以使用單個三軸云臺以減少設備體積。

3.交互操作輸出和反饋設備負責記錄目標現場的畫面、聲音等環境信息并執行用戶對目標現場的實際操作。具體的，信息記錄相關的功能需要配備模擬雙眼視角差的雙攝像頭裝置、立體聲采集裝置等，操作實施的功能根據實際問題的需要，可以配備機械臂、材料加工工具套件、安防工具套件、救援工具套件等。用戶可以通過本地端對應的用戶交互輸入設備來遠程控制這些工具套件的使用。

4.最后，為了給用戶提供更自由的遠程控制體驗，根據具體的目標環境和使用需要條件，運動系統可以選配更換對應的運動模塊，如四軸飛行器運動模塊、輪式/履帶行進模塊、船舶漂浮運動模塊、潛水運動模塊等。出于安全和精準度等因素考慮，運動系統的遠程操作功能應當采用按鍵、模擬搖桿、觸屏、手勢等方案，并且并入“本地用戶交互端”的用戶交互輸入設備中。

相比傳統增強現實設計思路，遠程增強現實設計最主要的區別就在于增加了“遠程交互實施端”這一系統要素。“遠程交互實施端”的價值正在于它可以代替并部署在用戶無法親自到達的場景中，從而大幅擴展增強現實技術的應用范圍。因此為了適應不同的應用場景條件和任務內容，“遠程端”的交互操作和反饋設備與運動系統應當采用模塊化的設計思路，對應陸上、水上、空中、狹小等場景條件，配備不同的運動模塊，并針對不同的交互任務選配如機械臂、切割機、掃描探頭等不同的交互操作模塊。

四、遠程增強現實交互系統的應用分析

增強現實技術在社會生活和經濟生產領域中有很豐富的應用價值，使用者在面對真實環境中問題的同時，可以直觀地在視覺對象上看到相關的簡介、數據等信息。通過配置“遠程交互實施端”，原先很多使用者較難身處其中的環境也可以實現增強現實交互。這使得遠程增強現實交互設計在生產制造、旅游觀光、救援安防、尤其是教育等領域具有廣闊的應用前景。

1.在生產制造領域，遠程增強現實設計可以讓工作人員在安全的環境中，遠程遙控處理危險環境或空間狹小條件下的工作。如狹小設備空間中的故障檢修、高溫高壓或強輻射環境條件下的資源運輸和裝配工作。通過換裝潛水或四軸飛行器等運動系統，遠程增強現實設計還可以完成水下和空中的相關工作。通過為遠程執行端配備自主運動的功能，操作員可以同時控制多臺遠程執行端，每臺遠程執行端在非人工遙控狀態下可以在不同區域自主巡航或執行程序內的任務，在出現特殊情況或需要操作員做決策時提示操作員切換到對應的遠程端來執行同步遙控，以提升工作效率。

2.在旅游觀光領域，用戶可以通過遠程執行端實現遠程遙控觀光的視聽體驗。雖然這種方式有一定的體驗局限，但可以減輕博物館、名勝古跡等場所人員過于密集的問題。通過為遠程執行端配備自動蔽障、自動巡航、自動返航等功能，提升管理效率，降低管理成本。同時這種在線游覽的方式還可以降低用戶的消費成本，讓更多^可以參與其中，提升產業價值。與生產制造領域相同，遠程控制的方式讓用戶可以在安全的環境中體驗更多險絕的自然風光，擴展旅游體驗和服務內容的同時，降低使用的安全風險和消費成本。

3.在救援安防領域，遠程增強現實設計可以讓工作人員在安全的位置對險情或監控區域進行遠程遙控排查和監測。通過配備生命監測傳感器、微光夜視儀等設備，輔助救援人員完成相關工作。與生產制造領域相同，操作人員可以同時控制多臺遠程執行端來完成搜救任務，提升搜救和安防的工作效率。

4.從增強現實技術的核心價值，也就是增強信息的獲取與認知效率來說，教育是增強現實應用的重要領域。通過分離用戶與環境的實際位置，遠程增強現實交互系統可以在教學活動中發揮出很大的優勢。學生身處家中或教室，就可以通過遠程同步控制參與到任何一個真實環境的學習過程中。比如火山口、深林、地下、深海等較危險的環境，或是博物館、實驗室等人流量受限的場所，在傳統教育模式中較難讓大多數學生參與其中。通過遠程增強現實交互，學生可以安全地觀察和了解這些環境的知識內容。另—方面，由于省去了對學生的現場組織工作，使用增強現實技術可以降低教育資源的使用成本，使得更多人可以有機會參與其中，促進了教育機會均等和教育資源共享。從這些方面看，遠程增強現實應用是促進教育多元化發展的有效手段。得益于上述技術優勢，遠程增強現實技術可以有效促進發現式學習的教學理念實踐，通過對現實環境附加增強現實的引導信息來控制學習的路徑，可以彌補傳統發現式學習模式中較難控制學習目標和學習時效的問題。

最后，從更高的設計體驗要求看，遠程增強現實設計仍有需要發展完善的方面。目前增強現實技術的交互方式主要依靠視覺和聽覺通道，而人的認知和經驗往往需要多通道感官信息的輸入才能有效建立。比如在學習材料相關知識的過程中，雖然增強現實技術可以讓學生快速知道該材料有關的文本介紹、屬性數據、產地、加工工藝等信息，但這種材料的軟硬程度、氣味、表面肌理等更多的體驗內容卻無法僅通過視聽通道建立。對應這方的體驗和需求，增強現實技術和設計仍需要研究和探索。

結論

遠程增強現實交互系統可以實現用戶對目標問題的遠程實時操作，在旅游、教育、維修、救援等領域有廣泛的應用空間。在5G通信技術的支持下，遠程增強現實交互可以以極低的網絡延遲傳遞數據。大幅提升操作和問題反饋的同步率，同時也擴展了系統的使用場景，對于沒有配備Wi-Fi等高速網絡的戶外等場景也可以支持使用。

直接面向真實問題環境是增強現實產品的核心設計要素，相比預先編制的虛擬現實場景內容，增強現實產品需要對真實環境的諸多情景和事物進行識別，傳統計算機技術較難解決此類問題。而人工智能技術在問題識別、解決方案推薦等方面的技術優勢可以提供更全面的服務支持。目前人工智能技術在圖像識別、聲音識別、學習與生成規則模式等方面有了很大發展，人臉、表情、步態等內容的識別技術已較為普及。以智能化技術、5G通信、模塊化設計理念為依托，遠程增強現實交互系統有機會成為類似智能手機的通用硬件平臺。通過配備模塊化的交互功能，融合到社會發展需要的各個方面，為生活內容提供新體驗、為經濟發展提供新的機遇。