基于5G網絡與云計算構建MR云的研究與探討

［俞科峰］

1 引言

隨著5G基礎建設進程加快，5G 創(chuàng)新應用進入了高速發(fā)展期，在眾多的創(chuàng)新應用中，5G+AR 成為了除物聯(lián)網技術外企業(yè)青睞的技術，含運營商、華為、中興等產業(yè)鏈公司在內，眾多的產業(yè)鏈、高科技企業(yè)紛紛熱衷參與相關技術的研究。

AR（Augmented Reality）增強現(xiàn)實，它是通過傳感器獲取真實的場景，應用計算機計算能力將真實場景信息轉換為數字信息，并對根據需要進行增強，如增加額外的圖像、聲音、視頻及顯示其他細節(jié)信息。現(xiàn)應用于醫(yī)療、工業(yè)生產、教育、旅游、公共安全等行業(yè)；員工培訓、網絡會議、專業(yè)指導等場景。但是AR 終究只是現(xiàn)實的增強，它無法實現(xiàn)智能交互。比AR 更具有實際應用價值的技術MR（Mixed Reality）混合現(xiàn)實就應運而生。

MR 將真實場景與虛擬場景進行融合，通過混合疊加的呈現(xiàn)方式讓用戶可以真實地感受到交互和體驗。MR 更具有真實應用價值，是因為它具有智能交互性。MR 技術的應用具有代表性的案例，是微軟的Hololens 解決方案。但MR在實際的應用中，由于需要依賴專業(yè)的MR 設備和專業(yè)技術平臺，其能力部署的高成本、技術使用涉及專業(yè)性等局限至使無法更廣泛地應用。即便微軟的Hololens 解決方案提出的可以讓非專業(yè)人士從事專業(yè)工作，但就高昂的價格以及需要專業(yè)平臺支撐，也只有少量的企業(yè)能應用，無法泛民用。

縱觀國內AR云的廣泛應用，尤其在房地產互聯(lián)網銷售、汽車互聯(lián)網銷售等在手機上實現(xiàn)AR 技術，意味著AR 并不依賴于AR 眼鏡；同理，MR 是否必須依賴于專業(yè)的設備才能實現(xiàn)被打上問號。由此引發(fā)本次研究的課題：基于5G 與云計算技術在智能終端上實現(xiàn)模擬MR 技術的應用研究。

2 概念與說明

2.1 混合現(xiàn)實（MR）

Mixed Reality 混合現(xiàn)實，可以簡單概況為“裸眼現(xiàn)實+虛擬畫面+數字信息”。是一種將真實場景和虛擬場景自然地融合在一起，用戶可以很真實地感受包括遮擋、碰撞以及展開細節(jié)等交互的技術。引言中提到，在技術實現(xiàn)中具有代表性的是微軟的Hololens。

通過Hololens 與Google Glass 對比來說明MR 技術與AR 技術之間的區(qū)別。Google Glass 是AR 眼鏡，它智能將虛擬場景和真實場景進行簡單的疊加顯示，虛擬和真實沒有很好地融合，無法達到體驗式交互。而Hololens，雖然像AR 設備，但它具有實時的計算能力，通過對真實場景的與虛擬場景的融合，讓用戶真實感受體驗式交互，同時Hololens 可借助網絡與專用平臺對接，在虛擬場景上增加數字化說明。

2.2 MR云的實現(xiàn)依賴于5G網絡

從2.1 節(jié)可以了解，MR 技術區(qū)別于AR 技術，不僅僅只是單純的將真實場景與虛擬場景的疊加，在最終成像技術上，需要運用大量的計算能力。概括而言，MR 與AR 的本質區(qū)別在于實時的交互計算。

AR云，通過對真實場景的信息采集上傳到云平臺，在使用的時候，從云平臺調用所需要的信息，在終端上進行展示，網絡僅僅只是呈現(xiàn)延時。但MR云，需要與真實場景進行交互，云平臺需要實時采集真實場景信息進行數字化加工，融合虛擬場景，再通過網絡傳輸到終端進行輸出，期間的對網絡穩(wěn)定性、網絡帶寬、網絡延時都有著很高的要求，因此，MR云的實現(xiàn)只有選擇5G 超低延時專用切片才能很好地實現(xiàn)。

補充說明的是，有很多學者會提出，高速網絡使用專線寬帶也能達到，但本文所研究的是MR 技術更廣泛地應用，專線寬帶具有獨有性，與專用設備性質相同；同時，即使是光纖寬帶，也無法達到超低延時。由此可見，MR云的實現(xiàn)依賴于5G網絡。

3 構建MR云的研究與探討

3.1 MR云的構建研究

MR 技術在工業(yè)領域與設備維護領域已經開始應用，MR云的構建已具備技術基礎，從MR 應用原理基礎上，重點推進以下3 點，以構建MR云能力。

（1）通過輕應用方式替代MR 專用設備；

（2）真實場景、用戶交互場景、虛擬場景的融合實時計算能力云化；

（3）場景數據、交互數據、媒體數據傳輸的實時性與安全性。

3.1.1 MR 的組成與工作原理

混合現(xiàn)實（MR），從概念上就是真實世界與虛擬世界的交互性融合，MR 的運作需要以下組成部分，如圖1 所示。

圖1 混合現(xiàn)實（MR）的工作原理

（1）通過攝像頭采集真實世界信息；通過傳感器獲取用戶交互信息；

（2）MR 設備數據緩存器緩存相關數據，并通過算法將真實場景轉換為數字化信息；

（3）交互信息發(fā)送到MR 系統(tǒng)匹配響應策略，并從系統(tǒng)中獲取虛擬場景信息；

（4）MR 設備通過算法將真實場景與虛擬場景及數字交互信息進行融合計算；

（5）通過MR 設備的顯示組件進行成像輸出。

MR 眼鏡在真實的工作場景應用，MR 眼鏡采用高清視頻采集組件，實時獲取真實環(huán)境/設備，通過交互識別攝像頭識別用戶的交互手勢將相關視頻信息緩存到MR 的運存中。MR 的計算模塊分別對真實場景、交互信息進行數字化轉換。MR 設備通過交互策略將交互信息通過完了過傳送到MR 系統(tǒng)獲取服務響應策略或調動遠程支撐。MR 系統(tǒng)將響應策略的虛擬場景及交互信息回傳到MR 設備中。MR 設備的計算模塊對真實場景、虛擬場景以及交互信息進行融合計算，并最終在MR 眼鏡的顯示屏上成像展示。

MR在展示成像，通過真實場景+帶標識顏色的虛擬場景的融合展示及虛擬引導方式（如操作引導指示），可以讓用戶直觀地了解面對的場景/設備情況，以及下一步的操作。

3.1.2 MR云的構建

根據MR 應用構建，MR云的架構設計為4 層，分別是：終端層、數據層、計算層、資源層，架構設計如圖2 所示。

圖2 MR云平臺架構設計

（1）終端層：包括應用終端與管理終端。

①應用終端。以MR 專用設備（如MR 眼鏡），應用程序（手機端APP）等作為接觸媒介，通過傳感器獲取場景/設備的包括影像、聲音等信息并將信息上傳至MR云。同時，應用終端含有顯示組件，通過接受MR云傳送的混合現(xiàn)實圖像進行實時呈現(xiàn)。

② 管理終端。主要以PC 終端為主，通過管理終端的云桌面，可進行MR云的配置與資源維護，信息識別訓練等。

（2）數據層：信息傳輸與信息緩存兩部分。

①信息傳輸。通過5G-MR 專用切片上傳與下載媒體信息。上傳信息指的是應用終端將攝像設備采集的真實場景信息、用戶交互信息上傳到MR云。下載信息指的是MR云將MR 媒體信息通過應用終端進行實時播放。

② 信息緩存。信息中間件，主要用于媒體信息的緩存，包括緩存上傳的真實場景信息、用戶交互動作信息以及MR 媒體信息。

（3）計算層：計算層是MR云的核心部分，其計算包含三部分。

①真實場景數字化轉換計算。與增強現(xiàn)實（AR）的場景計算相似，對攝像設備采集的真實場景模擬信號進行數字化信息轉換計算，對關鍵信息（背景數據、設備/產品）進行標識。

② 虛擬場景與真實場景混合計算。通過關鍵信息標識，將背景數據、產品數據、客戶交互動作數據等進行分組，分別與資源層傳輸的虛擬場景信息進行疊加計算或融合計算，輸出初始化混合場景結果。

③模擬交互數字化轉換計算。將交互策略、操作引導、遠程專業(yè)指導等信息進行數字化轉換計算，輸出的模擬交互數字信息。

④ 全場景信息實時融合計算。將初始化混合場景結果與模擬交互數字信息進行融合計算，最終合并成為融合場景視頻信息即MR 媒體信息推向應用終端進行實時播放。

（4）資源層：包括產品信息庫、案例資源庫、服務資源庫、交互響應策略、遠程支撐組件。

①產品信息庫。主要存放企業(yè)的產品信息，記錄包括產品型號、標識以及其他說明。

② 案例資源庫。存放產品說明書、操作流程及產品排障指引案例三部分的數字資源。

③服務資源庫。用于存放的基于用戶需求、用戶交互動作匹配案例資源庫操作指引的索引信表，即用戶需求+產品設備與案例資源的映射關系表。

④ 交互響應策略。根據MR云的應用需求，而構建的服務。通過服務資源庫的映射結果從案例資源庫獲取包括用戶的行為動作，MR云需要做出的反應動作數字資源輸出交互策略信息。交互響應策略高度依賴企業(yè)對案例資源庫的完善及交互響應訓練。

⑤ 遠程支撐組件。通過該組件實現(xiàn)遠程呼叫工程師，實時遠程視頻協(xié)作指導操作。

3.2 MR云的研究

3.2.1 MR云構建的意義

構建MR云，主要的意義在于使用MR 技術不需要依賴于專業(yè)的MR 設備，降低使用門檻，讓MR 技術能更普及地應用于各服務領域，優(yōu)勢在于：

（1）應用去專業(yè)化。只要使用帶攝像頭、顯示屏、能接入互聯(lián)網的智能終端，就能輕松地使用MR 技術，可以在工業(yè)、物流、電信、服務領域等廣泛應用。

（2）核心算法云化，迭代更簡單。核心算法的云化，算法迭代只需要通過服務中臺更新算法，無論是測試還是全用戶更新，效率更高。

3.2.2 MR云構建與應用需面臨的問題

MR云的構建與應用面臨以下的問題。

（1）網絡延時

MR 的專用設備的成本高，是因為從攝像、傳感器及核心算法均構建在一個設備上，但正因為算法在同一設備，因此，MR 眼鏡能夠更快、更真實地將現(xiàn)實場景與虛擬場景融合在一起，沒有信息延時。當MR 算法云化后，從終端獲取的信息傳輸到云以及云計算輸出的媒體信息傳輸到終端，傳輸的網絡必然存在延時，延時的高低，決定著MR云的計算出錯高低。同時，用戶在使用MR 技術時不可能靜止不動，而且用戶需要根據MR 給出的引導進行操作，產生的位移信息，若延時高，MR云的計算出錯可能非常嚴重，甚至有可能拖垮平臺。

前文中提到MR云的應用需要高度依賴于5G 的低延時網絡切片，但實際的應用效果，需要在MR云構建測試實施時，才能被驗證是否能解決信息傳輸延時的問題。

（2）容錯設計不夠完善

MR云的構建核心在于MR 計算能力云化，除了需要應用如：SLAM、YOLO 等核心算法外，還必須對算法進行改良，首先要解決的是容錯能力的問題。當MR 核心算法云化后，除了網絡延時外，還會存在數據包丟失、信息傳輸不完整等情況，這就導致在融合計算時容易出錯。如果容錯設計不夠完善，在并發(fā)量大的情況下，大量的報錯將直接導致云平臺宕機。

（3）補全場景技術還不成熟。

MR云的應用需要展示更完整的真實場景信息，當傳輸的信息被容錯時，展示的場景信息就會丟失，現(xiàn)有的GQN 或衛(wèi)星采用的照片+EDM 數據場景補全技術，目前仍在探索階段，未能很普及的應用，為此，當應用場景缺失的狀況下，MR云可能存在較大的應用缺陷。

4 MR云在服務領域的應用探討

MR云的構建探討中，如果可以解決上節(jié)提到的網絡延時、高容錯及場景補全技術，MR云在實際應用中將有更大的作為。尤其在服務行業(yè)的應用。

行業(yè)應用示例如圖3 所示，在手機安裝MR云應用，通過使用手機攝像頭拍攝現(xiàn)場設備信息以及需要交互的操作需求（如安裝、維修），云平臺收集用戶上載的信息進行匹配響應資源、案例庫或通過呼叫專業(yè)人員遠程支撐，然后將操作步驟、虛擬場景信息及現(xiàn)實的設備信息進行融合計算，并通過應用展示給用戶。

圖3 5G+MR云服務支撐示例

5 結束語

隨著5G 進程不斷推進，AR云、智能交互等創(chuàng)新技術迭代發(fā)展，MR云的構建已具備實現(xiàn)條件，雖然MR云在構建與應用上仍存在很多需要解決的問題，MR云的構建將帶來MR 技術的創(chuàng)新發(fā)展，MR 的應用領域也會更為廣泛，而且MR云在生產與服務場景上，比AR云更具有應用意義，MR云應用如：3D 說明書、MR 服務支持等立體自助服務場景。除了MR云，應用技術云化將是應用技術未來發(fā)展的趨勢，利用創(chuàng)新技術不斷優(yōu)化客戶問題解決方案，能更好地助力企業(yè)騰飛，創(chuàng)造更大的價值。