基于數字孿生與混合現實技術的機電設備輔助維修方法研究

摘 要：為提高機電設備輔助維修的質量和效率，本文利用數字孿生與混合現實技術相結合的機電維修方法，設計了一套基于數字孿生與混合現實技術的機電設備輔助維修系統。本文概括了系統的總框架設計，對其硬件部分設計進行了詳細介紹，并從維修環境感知、故障識別與匹配等方面詳細闡述了系統的軟件設計，最后對其進行了試驗驗證。試驗結果表明，該系統具有較高的準確性和穩定性，可為未來的智能制造和維護提供有力支持。

關鍵詞：數字孿生；混合現實；機電設備；輔助維修

中國分類號：TP 335" " 文獻標志碼：A

隨著機電設備不斷發展，其故障維修已成為一個嚴峻的挑戰。本文將數字孿生技術與混合現實技術相結合，提出一種機電設備輔助維修方法，以改進維修過程的效率和準確性。數字孿生是一種先進的技術，它將現實世界中的物理實體或系統通過數字模型進行復制和仿真，以實現實時監測、分析、優化和預測的目的[1]?；旌犀F實技術是一種綜合了虛擬現實和增強現實的交互式技術[2]，旨在創造出融合擬和現實世界元素的沉浸式體驗，使用戶能夠在真實環境中與虛擬對象或信息進行實時互動[3]。數字孿生與混合現實技術相結合有助于更好地理解數字孿生和混合現實技術的潛力，并為其在工業領域的廣泛應用提供指導和啟發。

1 基于數字孿生與混合現實技術的機電設備輔助維修系統總框架設計

基于數字孿生與混合現實技術的機電設備輔助維修系統總框架圖如圖1所示。該系統由硬件平臺和軟件平臺組成，其中硬件平臺包括Microsoft Hololens 2頭戴顯示裝備、Intel Core i7-11700K服務器。Microsoft HoloLens 2為維修人員提供真實的虛擬場景，Intel Core i7-11700K服務器完成數據的存儲和計算等任務。軟件平臺包括維修環境感知模塊、故障識別與匹配模塊、故障維修指導模塊、虛擬環境注冊融合模塊以及人機交互模塊。維修環境感知模塊利用Microsoft HoloLens 2的傳感器采集維修環境的三維特征點等數據，搭建虛擬三維維修場景。故障識別與匹配模塊的傳感器檢查機電設備的故障信號，并將故障信號存入故障維修數據庫中的故障采集庫。將機電維修技術手冊輸入故障維修指導模塊。該模塊會根據機電維修技術手冊形成多種有效的機電維修指導方案，一并存入故障維修數據庫中，將故障維修數據庫中的故障信號與機電維修指導方案進行匹配，然后利用HoloLens 2頭戴式顯示裝備虛擬維修操作指導環境，并呈現具體的維修指導方案。再由虛擬環境注冊融合模塊進行數據還原，并將還原后的維修指導方案與真實的維修場景進行注冊融合，在用戶交互界面實現人機虛擬交互。

2 軟件設計

2.1 維修環境感知模塊

維修人員打開Microsoft HoloLens 2設備后，利用其慣性傳感器感知機電設備的方向，利用環境感知攝像頭實時捕捉維修場景，再利用深度攝像頭拍攝多張機電設備的深度圖像，從而進行三維場景重建。

在建模過程中，維修人員利用Microsoft HoloLens 2獲取多個輸入幀的RGB圖像和深度圖，包括零散和分散的物理環境信息。為創建更全面的三維模型，需要將這些幀的信息整合在一起。模型融合是該過程的核心步驟。將每個輸入幀的RGB圖像和深度圖轉換成其他表達方式，然后將RGB圖像上的像素映射到三維世界中的坐標點，為每個坐標點匹配與RGB圖像相對應的顏色值，以完成數據轉換。再將上述轉換后的數據整合到面元中，并將物體的何形狀和顏色信息結合起來，最后將物體模型中的各面元投影到深度圖像上，從而建立面元與物體表面的匹配關系。通過分析RGB圖像和深度圖，使系統理解物理環境的三維結構，并將其表示為不規則的三角網格模型，從而重建維修環境三維場景。

2.2 故障識別與匹配模塊

故障識別與匹配模塊是機電設備輔助維修系統中的重要組成部分。該模塊利用傳感器采集故障數據，并通過數據分析和匹配，幫助維修人員準確、快速地識別設備故障。

2.2.1 故障信號識別

在機電設備的組件上連接傳感器，利用傳感器采集機電設備的故障信號。利用去噪算法中的移動平均濾波公式，將采集的故障信號進行數據校對，如公式（1）所示。

（1）

式中：Y[n]是濾波后的信號；X[n]是原始信號；N是濾波窗口的大??；n是時間點；k是時間偏移的變量。

經公式（1）校對后，可確保數據的準確性和穩定性。系統可實時監控傳感器數據，并使用異常檢測算法的Z-得分檢測公式來識別故障信號，如公式（2）所示。

（2）

式中：Z是Z-得分；X是數據點的值；μ是數據集的均值；σ是數據集的標準差。

如果Z很大（正或負），則表示數據點與均值的偏差很大，是異常值，因此為故障信號。相反，如果Z接近于零，則表示數據點與均值的偏差很小，不是異常值，不是故障信號。

2.2.2 故障信號分類

利用特征提取中的互相關函數公式提取故障信號中不同故障類型的特征，如公式（3）所示。

（3）

式中：Rxy（T）是信號x和y之間在時間延遲T下的互相關函數；N是樣本數量；x（t）和（t）y分別是信號x和y在時刻t的值。

根據每個數據的特征，將故障類型標簽劃分為機械故障數據和電氣故障數據，使每個數據樣本與相應的故障類型關聯。

2.2.3 故障樹模型建立

基于故障信號分類的結果，將機械故障信號和電氣故障信號作為基本事件的來源，以構建故障樹的底層。將性能下降作為頂事件，并將基本事件連接到頂事件，建立故障樹。通過分析故障樹，識別導致設備故障的根本原因和可能的故障模式。為每個故障模式分配一個故障ID號，用于標識該事件，以便對故障進行追蹤和管理。并將故障ID和相關信息記錄在故障數據庫中，以便隨時查找和檢索。

2.3 故障維修指導模塊

故障維修指導模塊是機電設備輔助維修系統中的關鍵組成部分，旨在為維修人員提供診斷和修復設備故障的指導和支持。利用上述步驟將采集的數據進行數據整合，得到機電設備的數字孿生模型。通過數字孿生模型模擬機電設備的結構、運行和性能。再結合混合現實技術，儲存機電設備關鍵部位信息，并將故障識別碼與機電設備的每個關鍵部位進行匹配，以創建維修指南，其中包括每個故障點對應的修復流程，以指導維修人員執行特定機電設備故障維修任務，并使維修人員能夠在虛擬環境中觀看機電設備的內部結構和工作原理，以更好地理解維修流程。將提前錄制的機電設備維修視頻存入維修歷史數據庫。維修人員通過觀看視頻來獲取關于設備維修的實際示例。同時，維修人員可以利用Microsoft HoloLens 2與專家遠程進行視頻對話，并通過Microsoft HoloLens 2的傳感器為專家提供機電設備的故障信號數據、歷史維修數據以及維修環境數據，與專家協同進行機電設備的維修工作。

2.4 虛擬環境注冊融合模塊

虛擬環境注冊融合模塊是將虛擬信息（維修指導方案）與真實世界的物理環境（設備維修場景）進行對齊和融合，以使維修人員能夠在實際工作中看到虛擬信息和真實物體，如圖2所示。

2.4.1 提取場景特征點

維修人員使用Microsoft HoloLens 2的RGB-D相機采集當前幀的圖像，包括真實維修場景中的設備和環境。從數據庫中獲取預先存儲的基準幀圖像，這些圖像代表虛擬維修指導方案的參考狀態。在當前幀和基準幀圖像中使用特征檢測算法中的高斯差分圖像計算公式來提取特征點的位置和描述子（描述特征點周圍區域的信息），如公式（4）所示。

D（x，y，σ）=L（x，y，σ+k）-L（x，y，σ） （4）

式中：D（x，y，σ）表示高斯差分圖像；L（x，y，σ）表示在尺度σ下的高斯模糊圖像；k是一個常數，用于選擇相鄰尺度層次。

2.4.2 匹配特征點

將當前幀中的特征點描述子與基準幀中的特征點描述子進行比較，使用距離度量方法的歐氏距離計算公式來確定它們之間的相似性，如公式（5）所示。

（5）

式中：?Ai和Bi分別是向量?A和B中的元素；n是向量的維度。

根據計算結果，將虛擬環境中的特征點與相機圖像中的特征點進行匹配。

2.4.3 估計修正姿態

建立特征點的對應關系后，使用這些對應關系來估計相機的姿態，即相機在空間中的位置和方向。通過求解相機的位移和旋轉變換來估計相機姿態，從而將虛擬對象對齊到真實世界。使用平移矢量公式計算相機的位移，如公式（6）所示。

T=[tx，ty，tz] （6）

式中：tx、ty、tz表示相機的平移在x、y和z方向上的位移。

通過公式（6）描述相機在三維空間中的位置變化，再使用四元數計算公式計算相機的旋轉變換，如公式（7）所示。

q=[qw，qx，qy，qz] （7）

式中：qw是四元數的是實部；qx、qy、qz是虛部。

結合公式（7）式即可估計相機姿態。然而，估計的相機姿態可能包括誤差，因此利用歐式距離誤差公式對其進行修正，如公式（8）所示。

E（PVirtual，pReal）=|PVirtual-pReal| （8）

式中：E表示虛擬對象與真實世界之間的差異；PVirtual表示虛擬世界的坐標；pReal表示真實世界的坐標，修正相機姿態以確保虛擬對象與真實世界能準確對齊。

2.4.4 確認相機姿態

最后，將虛擬對象疊加到相機圖像中，觀察其在真實世界中的位置和外觀，確認修正后的相機姿態是否滿足對齊要求。

2.4.5 疊加虛擬場景

系統使用估計的相機姿態，將虛擬維修指導方案疊加到當前幀圖像中，以實現虛實融合顯示。虛擬場景會與真實維修場景相對應，保持位置和方向一致。

2.4.6 融合顯示

虛實融合后的圖像將在Microsoft HoloLens 2顯示器上呈現給維修人員。維修人員會看到虛擬維修指導方案與真實維修場景無縫融合在一起，得到實時的輔助信息和指導。

3 測試試驗

3.1 試驗準備

為檢測基于數字孿生與混合現實技術的機電設備輔助維修系統的實用性及有效性，對機電設備輔助維修系統進行模擬測試。選用MG730型電牽引采煤機搖臂傳動系統的齒輪故障為維修對象，選用2048×1080HD Microsoft HoloLens2的頭戴式顯示設備，立體全息顯示，水平視場角為52度，垂直視場角為40度，提供維修設備的虛擬維修場景。計算機處理器為Intel Core i7-11700K，8核心，16線程，基頻3.6GHz，最大睿頻5.0GHz。

3.2 試驗結果

本文試驗對系統的維修準確度和系統界面的清晰度、對齊精度、系統崩潰次數和平均響應時間進行測試，所得試驗結果見表1。

試驗數據表明，系統在不同維修任務下的準確性為98%～99%，表明系統在識別和處理維修任務方面具有較高的準確性，維修人員可以根據系統提供的信息來執行任務。清晰度評分為8～9，表明系統可提供相對清晰的虛擬維修場景信息，清晰的虛擬信息能幫助維修人員更好地理解維修任務的細節。對齊精度對混合現實系統非常重要，它影響了虛擬對象在真實場景中的位置和姿態。系統的對齊精度為2mm～5mm，表明虛擬對象與真實世界的對齊相對精確，可為維修人員提供高度準確的虛擬和現實世界的融合體驗，提高機電設備維修的精準度。系統在所有測試中崩潰次數為0，表明系統在穩定性方面表現良好。系統的平均響應時間為0.4s～0.7s，表明系統能夠在較短時間內響應用戶的操作，響應時間短可提高維修任務的效率。

基于數字孿生與混合現實技術的機電設備輔助維修系統在性能方面表現良好，具有較高的準確性、清晰度、對齊精度和穩定性，同時響應迅速。這些性能特點使該系統成為一個良好的機電設備維修工具，可支持維修人員執行復雜的機電設備維修任務。

4 結語

針對機電設備維修過程中遇到的困難，本文提出了數字孿生和混合現實技術相融合的維修方法，設計了基于數字孿生和混合現實技術的機電設備輔助維修系統，并詳細介紹了該系統的總框架設計、硬件設計以及軟件設計，包括維修環境感知模塊、故障識別與匹配模塊等關鍵組成部分。試驗數據驗證了該系統的實用性和有效性。希望相關技術人員繼續對該領域進行深入探討，以充分發揮數字孿生和混合現實技術的潛力，并解決相關的技術和應用問題。相信不久的將來，數字孿生與混合現實技術能廣泛應用于工業領域中，為提高工作效率、提供更好的用戶體驗和促進技術創新做出更大貢獻。

參考文獻

[1]張旭輝，張雨萌，王巖，等.融合數字孿生與混合現實技術的機電設備輔助維修方法[J].計算機集成制造系統，2021，27（8）：2187-2195.

[2]鐘珂珂，洪海波，宋倩，等.增強現實與數字孿生混合驅動的航天復雜裝備維修輔助技術研究[J].軍民兩用技術與產品，2023（4）：5-10.

[3]朱金達，陳佳輝，秦志英，等.基于虛擬現實與數字孿生技術的自行火炮輔助維修系統[J].數字印刷，2022（6）：117-127.

作者簡介：孫藝凌（1988-），女，江蘇連云港人，本科，講師，研究方向為加工制造類。

電子郵箱：280584924@qq.com。