基于元宇宙MR的通信工程實(shí)施建模應(yīng)用平臺(tái)研究

摘要：基于混合現(xiàn)實(shí)平臺(tái)，研究開發(fā)通信工程實(shí)施建模應(yīng)用平臺(tái)，構(gòu)建通信工程高頻常用設(shè)備三維模型，關(guān)聯(lián)自動(dòng)識(shí)別功能，通過(guò)視覺(jué)凝視、手勢(shì)控制、語(yǔ)音輸入等進(jìn)行人機(jī)實(shí)時(shí)交互，實(shí)現(xiàn)實(shí)時(shí)的自動(dòng)識(shí)別、施工操作指引，提高通信工程施工效率和質(zhì)量。

關(guān)鍵詞：AI圖像識(shí)別；3D建模渲染；視覺(jué)凝視；手勢(shì)控制

doi：10.3969/J.ISSN.1672-7274.2024.11.041

中圖分類號(hào)：F 627；TP 3" " " " " " " " "文獻(xiàn)標(biāo)志碼：A" " " " " " 文章編碼：1672-7274（2024）11-0-03

Development and Application Research of Communication Engineering Implementation Modeling Based on Metaverse MR

QI Ke， ZHAO Hongwei， LIU Shuai

（Henan Information Consulting Design and Research Co.， Ltd.， Zhengzhou 450000， China）

Abstract： Based on a mixed reality platform， research and develop a communication engineering implementation modeling application platform， construct a three-dimensional model of high-frequency commonly used equipment in communication engineering， associate automatic recognition functions， and achieve real-time human-machine interaction through visual gaze， gesture control， voice input， etc.， to achieve real-time automatic recognition and construction operation guidance， and improve the efficiency and quality of communication engineering construction.

Keywords： AI image recognition; 3D modeling rendering; visual gaze; gesture control

元宇宙MR技術(shù)的發(fā)展為通信工程實(shí)施提供了新的機(jī)遇，將元宇宙MR技術(shù)應(yīng)用于通信工程實(shí)施中，可以實(shí)現(xiàn)更智能、高效、準(zhǔn)確的工程管理，為通信行業(yè)的發(fā)展帶來(lái)新的機(jī)遇。借助元宇宙混合現(xiàn)實(shí)技術(shù)，將通信工程施工操作指導(dǎo)融入到施工現(xiàn)場(chǎng)，施工人員可以與系統(tǒng)進(jìn)行實(shí)時(shí)的可視化交互，獲取操作步驟、施工標(biāo)準(zhǔn)等信息，實(shí)現(xiàn)精準(zhǔn)的操作指引，避免人為操作的錯(cuò)漏和失誤，大大提高了工程實(shí)施的效率和質(zhì)量。

混合現(xiàn)實(shí)（Mixed Reality，MR）技術(shù)的核心在于頭戴式顯示設(shè)備（HMD），通過(guò)頭戴式顯示設(shè)備的傳感器、攝像頭和算法來(lái)跟蹤用戶的位置、動(dòng)作和視線，從而將計(jì)算機(jī)生成的圖像、聲音和其他感覺(jué)刺激與真實(shí)環(huán)境相結(jié)合。本項(xiàng)目的研究?jī)?nèi)容主要基于hololens2設(shè)備[1]，使用Unity引擎、MRTK、VisualStudio進(jìn)行開發(fā)，即在Unity引擎中使用HoloLens2設(shè)備進(jìn)行通信工程實(shí)施建模應(yīng)用平臺(tái)的開發(fā)，研究?jī)?nèi)容如下：通過(guò)開放的AI訓(xùn)練平臺(tái)進(jìn)行通信工程高頻常用設(shè)備的圖像識(shí)別訓(xùn)練；使用3Dmax制作通信工程高頻常用設(shè)備的3D模型并渲染；基于hololens2設(shè)備，使用Unity引擎和MRTK，實(shí)現(xiàn)設(shè)備的預(yù)覽、360°觀看、設(shè)備安裝視頻教學(xué)、設(shè)備安裝手冊(cè)觀看、空間規(guī)劃等功能；通過(guò)與圖像識(shí)別程序數(shù)據(jù)接口對(duì)接實(shí)現(xiàn)通信工程高頻常用設(shè)備的自動(dòng)識(shí)別[2-3]。

1" "AI圖像識(shí)別

采用AI圖像識(shí)別技術(shù)，借助有效的算法和模型實(shí)現(xiàn)通信工程中的圖像識(shí)別功能[4]。

1.1 算法選擇

目前主流的AI訓(xùn)練平臺(tái)中均提供有各類通用算法模型，包括物體檢測(cè)模型、混合模型、圖像分類模型、OCR模型等，本項(xiàng)目研究主要針對(duì)通信工程高頻常用設(shè)備，不僅需要識(shí)別出圖像中的物體的位置和類別，還需要識(shí)別出物體的屬性，因此采用混合模型進(jìn)行訓(xùn)練[4]。

1.2 數(shù)據(jù)準(zhǔn)備

模型訓(xùn)練就是使用準(zhǔn)備好的數(shù)據(jù)來(lái)訓(xùn)練所選模型的過(guò)程，而數(shù)據(jù)的規(guī)模和質(zhì)量將直接關(guān)系到算法模型的應(yīng)用效果，因此需要準(zhǔn)備好大量可用的數(shù)據(jù)。根據(jù)AI訓(xùn)練平臺(tái)的要求，針對(duì)通信工程高頻常用設(shè)備，需要在真實(shí)的角度、位置、場(chǎng)景下使用相機(jī)拍攝的素材，因此需要拍攝采集大量相關(guān)設(shè)備的照片素材，并篩選出合規(guī)素材，過(guò)濾模糊、目標(biāo)像素不滿足要求等的素材。

1.3 數(shù)據(jù)標(biāo)注

數(shù)據(jù)標(biāo)注就是對(duì)圖像數(shù)據(jù)的人工識(shí)別過(guò)程，對(duì)每個(gè)圖像中所需要識(shí)別的物體進(jìn)行人工選擇，并添加標(biāo)簽屬性。以交換機(jī)為例，可以添加一級(jí)屬性為盒式交換機(jī)和框式交換機(jī)，在盒式交換機(jī)下可以繼續(xù)添加二級(jí)屬性為24端口千兆交換機(jī)和48端口千兆交換機(jī)，以此類推，需要對(duì)所有圖像進(jìn)行數(shù)據(jù)標(biāo)注。

1.4 數(shù)據(jù)診斷

數(shù)據(jù)診斷主要是對(duì)已標(biāo)注數(shù)據(jù)進(jìn)行漏標(biāo)或者誤標(biāo)診斷，指出并修正標(biāo)注錯(cuò)誤的數(shù)據(jù)，提升數(shù)據(jù)標(biāo)注質(zhì)量。在數(shù)據(jù)診斷中可根據(jù)實(shí)際情況調(diào)整標(biāo)注信息。

1.5 模型訓(xùn)練

模型訓(xùn)練主要是基于標(biāo)注好的數(shù)據(jù)進(jìn)行擬合訓(xùn)練，一般在模型訓(xùn)練過(guò)程中，需要同時(shí)考慮過(guò)擬合和欠擬合的問(wèn)題。過(guò)擬合指模型在訓(xùn)練集上表現(xiàn)良好但在測(cè)試集上表現(xiàn)不佳；欠擬合則相反，模型對(duì)訓(xùn)練數(shù)據(jù)都無(wú)法很好地?cái)M合。對(duì)于過(guò)擬合問(wèn)題，可以通過(guò)增加數(shù)據(jù)集的規(guī)模、減少模型復(fù)雜度、正則化等方法來(lái)避免。對(duì)于欠擬合問(wèn)題，則可以通過(guò)增加特征數(shù)量、升高多項(xiàng)式次數(shù)、減小正則化強(qiáng)度等方法來(lái)避免。

1.6 模型部署

模型訓(xùn)練完成后就可對(duì)模型進(jìn)行部署和應(yīng)用，可以選擇部署于互聯(lián)網(wǎng)云平臺(tái)或本地AI服務(wù)器上。在進(jìn)行部署時(shí)，需要考慮系統(tǒng)的可靠性、運(yùn)行效果和計(jì)算資源消耗等方面。本次研究中，為便于后期與多渠道、多端系統(tǒng)和設(shè)備對(duì)接和適配，選擇將模型部署于云端。

2" "3D建模渲染

本次研究使用3DMax制作通信工程高頻常用設(shè)備的3D模型并渲染[5]。

2.1 模型準(zhǔn)備與設(shè)計(jì)

根據(jù)所要建模的設(shè)備收集相關(guān)參考圖像及詳細(xì)尺寸資料，使用3DMax建模工具，如基礎(chǔ)形態(tài)創(chuàng)建、修改器和復(fù)合對(duì)象等，設(shè)計(jì)并構(gòu)建模型。在這一階段，應(yīng)注重模型的比例、結(jié)構(gòu)和細(xì)節(jié)的準(zhǔn)確性。

2.2 選擇合適材質(zhì)

在3DMax中可以通過(guò)材質(zhì)編輯器選擇和調(diào)整材質(zhì)的屬性，如顏色、反射率、透明度等。根據(jù)項(xiàng)目的需求和場(chǎng)景的氛圍，為模型選擇合適的材質(zhì)，使其更加真實(shí)。

2.3 細(xì)節(jié)雕琢與調(diào)整

在場(chǎng)景布局完成后，對(duì)模型進(jìn)行進(jìn)一步的細(xì)節(jié)雕琢和調(diào)整。包括對(duì)模型表面的細(xì)節(jié)進(jìn)行刻畫，調(diào)整模型的形態(tài)和比例，以及優(yōu)化模型的紋理和貼圖。通過(guò)這一步驟，可以使模型更加精致和逼真。

2.4 渲染與優(yōu)化

在完成燈光和陰影設(shè)置后，開始進(jìn)行場(chǎng)景的渲染。在渲染過(guò)程中，可以調(diào)整渲染設(shè)置，如分辨率、抗鋸齒、反射和折射等，以獲得高質(zhì)量的渲染效果。同時(shí)，還應(yīng)對(duì)場(chǎng)景進(jìn)行優(yōu)化，減少渲染時(shí)間和提高渲染質(zhì)量，主要包括優(yōu)化模型的復(fù)雜度、減少不必要的細(xì)節(jié)、使用代理物體等技巧。

2.5 導(dǎo)出與交付

當(dāng)場(chǎng)景渲染和優(yōu)化完成后，將其導(dǎo)出為所需的文件格式，如.jpg、.png、.gif等圖像格式或.fbx、.obj等3D模型格式。在導(dǎo)出時(shí)，應(yīng)注意導(dǎo)出設(shè)置的選擇，以確保導(dǎo)出的文件質(zhì)量和兼容性。

3" "系統(tǒng)功能開發(fā)

系統(tǒng)基于HoloLens2設(shè)備，使用Unity引擎和MRTK進(jìn)行開發(fā)，完成設(shè)備的預(yù)覽、360度觀看、設(shè)備安裝視頻教學(xué)、設(shè)備安裝手冊(cè)觀看、空間規(guī)劃等系統(tǒng)功能[2]。

3.1 Unity環(huán)境配置與HoloLens2支持

在Unity編輯器中安裝HoloLens2支持插件（XRPluginManagement），確保可以構(gòu)建針對(duì)HoloLens2的應(yīng)用。配置Unity項(xiàng)目以支持MR開發(fā)，包括設(shè)置渲染管線（如使用UniversalRenderPipeline）和配置XR設(shè)置（啟用XR支持和HoloLens2作為目標(biāo)平臺(tái)）。

3.2 模型導(dǎo)入與場(chǎng)景構(gòu)建

將渲染好的3D模型導(dǎo)入U(xiǎn)nity中并調(diào)整其位置、角度和大小以適應(yīng)混合現(xiàn)實(shí)環(huán)境。使用Unity的地形工具或?qū)胪獠康匦螖?shù)據(jù)來(lái)創(chuàng)建虛擬環(huán)境。確保所有模型都適配HoloLens2的視野和分辨率，優(yōu)化模型細(xì)節(jié)以適應(yīng)設(shè)備性能。

3.3 交互與UI設(shè)計(jì)

設(shè)計(jì)適用于HoloLens2的手勢(shì)和視線交互功能，實(shí)現(xiàn)用戶與虛擬對(duì)象的交互（如拾取、移動(dòng)、旋轉(zhuǎn)等），如圖1所示。使用Unity的UI系統(tǒng)或MR專用的UI框架（如MRTK，Mixed Reality Toolkit）來(lái)創(chuàng)建用戶界面。確保UI元素適應(yīng)HoloLens2的透視顯示和交互方式。

3.4 通信信號(hào)與網(wǎng)絡(luò)模擬

利用設(shè)備的傳感器（如空間定位、手勢(shì)識(shí)別等）來(lái)實(shí)現(xiàn)更真實(shí)的模擬體驗(yàn)。使用Unity的腳本系統(tǒng)（如C#）來(lái)處理信號(hào)模擬和網(wǎng)絡(luò)交互邏輯。

3.5 測(cè)試與優(yōu)化

使用HoloLens2設(shè)備在真實(shí)環(huán)境中測(cè)試應(yīng)用，確保所有功能和交互都按照預(yù)期實(shí)現(xiàn)。根據(jù)測(cè)試結(jié)果優(yōu)化模型的顯示質(zhì)量、交互邏輯和性能。使用性能分析工具來(lái)識(shí)別和優(yōu)化瓶頸，確保應(yīng)用在HoloLens2上流暢運(yùn)行。

3.6 部署與應(yīng)用

將完成的項(xiàng)目打包成適用于HoloLens2的應(yīng)用包（.appxbundle）。使用Microsoft的部署工具（如Visual Studio或HoloLens2設(shè)備門戶）將應(yīng)用部署到設(shè)備上。

4" "對(duì)接測(cè)試

通過(guò)HTTP對(duì)云端AI圖像識(shí)別接口提交base64編碼的二進(jìn)制拍照?qǐng)D像數(shù)據(jù)，可以收到識(shí)別后的設(shè)備屬性數(shù)據(jù)，具體步驟如下：

（1）確定認(rèn)證與授權(quán)。為確保數(shù)據(jù)對(duì)接的安全性，雙方應(yīng)實(shí)施嚴(yán)格的認(rèn)證與授權(quán)機(jī)制。可采用OAuth2.0等認(rèn)證框架，以及基于角色的訪問(wèn)控制（RBAC）等授權(quán)策略。

（2）確定數(shù)據(jù)格式定義。數(shù)據(jù)格式統(tǒng)一采用JSON（JavaScript Object Notation）格式，易于解析和生成。對(duì)于特殊數(shù)據(jù)類型，應(yīng)定義相應(yīng)的序列化與反序列化規(guī)則。

（3）確定接口規(guī)范。接口規(guī)范應(yīng)遵循RESTful API設(shè)計(jì)原則，實(shí)現(xiàn)資源的統(tǒng)一訪問(wèn)與操作。接口應(yīng)具備良好的可讀性、可擴(kuò)展性和兼容性。

（4）測(cè)試與部署。在數(shù)據(jù)對(duì)接上線前進(jìn)行充分的測(cè)試，包括單元測(cè)試、集成測(cè)試和壓力測(cè)試等，以確保數(shù)據(jù)對(duì)接的準(zhǔn)確性和穩(wěn)定性。

5" "場(chǎng)景驗(yàn)證

啟動(dòng)HoloLens2設(shè)備，在彈出的主頁(yè)中以按鈕的方式顯示“開始”“單個(gè)設(shè)備演示”“空間規(guī)劃”等按鈕，可以通過(guò)手勢(shì)控制和語(yǔ)音輸入進(jìn)行操作。

手勢(shì)點(diǎn)擊“開始”，通過(guò)視覺(jué)凝視，HoloLens2設(shè)備自動(dòng)拍攝凝視目標(biāo)圖像，通過(guò)接口自動(dòng)上傳至云端AI圖像識(shí)別平臺(tái)，反饋設(shè)備屬性數(shù)據(jù)，通過(guò)測(cè)試，一般1～2秒即可完成反饋；HoloLens2設(shè)備根據(jù)反饋結(jié)果觸發(fā)下一步流程，進(jìn)入設(shè)備展示界面，展示設(shè)備的整體三維圖像，可通過(guò)拖曳的方式實(shí)現(xiàn)設(shè)備的360度觀看，還可通過(guò)炸裂方式顯示設(shè)備詳細(xì)構(gòu)造，并彈出設(shè)備安裝視頻教學(xué)、設(shè)備安裝手冊(cè)等。

手勢(shì)點(diǎn)擊“單個(gè)設(shè)備演示”，可顯示全部設(shè)備的選項(xiàng)卡，點(diǎn)擊任一設(shè)備，即可進(jìn)入到該設(shè)備的設(shè)備展示界面。

手勢(shì)點(diǎn)擊“空間規(guī)劃”，可通過(guò)拖曳、放置的方式將三維立體模型放置于真實(shí)場(chǎng)景中，展示三維立體模型安裝完成效果，實(shí)現(xiàn)對(duì)機(jī)房空間和機(jī)柜空間的規(guī)劃布局。

6" "結(jié)束語(yǔ)

基于元宇宙MR的通信工程實(shí)施在操作層面具有顯著的創(chuàng)造性。通過(guò)創(chuàng)新的交互方式、實(shí)時(shí)動(dòng)態(tài)調(diào)整、沉浸式操作體驗(yàn)、協(xié)同操作與共創(chuàng)以及創(chuàng)新的模擬與測(cè)試方法等手段，可以更加高效、直觀和深入地與虛擬環(huán)境中的模型和數(shù)據(jù)進(jìn)行互動(dòng)操作，從而實(shí)現(xiàn)更加智能、高效、精準(zhǔn)的通信工程實(shí)施和管理。

參考文獻(xiàn)

[1] 龔赤兵．HoloLens2混合現(xiàn)實(shí)新特性探究[J]．現(xiàn)代信息科技，2020，4（2）：121-123．

[2] 李廣松，張佳林，官澤良．基于MR技術(shù)的計(jì)算機(jī)組裝系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]．現(xiàn)代信息科技，2024，8（2）：108-113．

[3] 曾笑．基于HoloLens2的目標(biāo)檢測(cè)技術(shù)研究[J]．現(xiàn)代計(jì)算機(jī)，2021（14）：92-95．

[4] 張牧琢，張雋霏．基于百度AI的物體圖像識(shí)別軟件的設(shè)計(jì)與實(shí)現(xiàn)[J]．電腦知識(shí)與技術(shù)，2023，19（33）：11-13．

[5] 陳杰，尤薇薇，張鳳香．3D建模在企業(yè)設(shè)備管理中的應(yīng)用[J]．設(shè)備管理與維修，2023（9）：7-8．