基于混合現(xiàn)實(shí)的動(dòng)車(chē)組車(chē)鉤輔助檢修方法研究

史開(kāi)志，肖 乾

（華東交通大學(xué)載運(yùn)工具與裝備教育部重點(diǎn)實(shí)驗(yàn)室，江西 南昌 330013）

隨著軌道交通行業(yè)的迅猛發(fā)展，高速列車(chē)運(yùn)維環(huán)境也變得愈加復(fù)雜，其設(shè)施裝備運(yùn)行安全問(wèn)題顯得十分重要，當(dāng)高速鐵路機(jī)電設(shè)備出現(xiàn)故障，傳統(tǒng)的維修手段已不能滿足當(dāng)下需求[1]。存在維修方式老舊、操作人員維護(hù)不熟練、維修手冊(cè)內(nèi)容更新遲緩導(dǎo)致維修進(jìn)度不及時(shí)等問(wèn)題，尤其面對(duì)動(dòng)車(chē)組車(chē)鉤等復(fù)雜設(shè)備故障時(shí)更難滿足維修指導(dǎo)的需要[2]。近年來(lái)混合現(xiàn)實(shí) （mixed reality，MR）發(fā)展迅速，該技術(shù)能夠?qū)崿F(xiàn)真實(shí)與虛擬環(huán)境的相互融合，因其虛實(shí)結(jié)合的特點(diǎn)被大眾所熟知[3]。同時(shí)MR 技術(shù)具有高效性、便捷性的人機(jī)交互方式，能夠提高維護(hù)人員在虛實(shí)場(chǎng)景中實(shí)時(shí)操作的準(zhǔn)確度，運(yùn)用該技術(shù)能夠?yàn)闄C(jī)電設(shè)施設(shè)備出現(xiàn)故障時(shí)提供一種新興的解決方案[4-5]。例如張迎曉等[6]在配電網(wǎng)運(yùn)維的各個(gè)環(huán)節(jié)中引入混合現(xiàn)實(shí)技術(shù)，改善了對(duì)設(shè)備信息的獲取，簡(jiǎn)化了運(yùn)維模式。余芬等[7]優(yōu)化了手勢(shì)識(shí)別中指關(guān)節(jié)跟蹤注冊(cè)算法，研究混合現(xiàn)實(shí)技術(shù)的數(shù)據(jù)傳輸協(xié)議，以解決航空發(fā)動(dòng)機(jī)維修人員對(duì)技術(shù)手冊(cè)理解困難、學(xué)習(xí)培訓(xùn)缺乏實(shí)體案例、多終端協(xié)同維修等問(wèn)題。

對(duì)于先進(jìn)的運(yùn)維模式來(lái)說(shuō)，用最優(yōu)的方式排除故障是核心關(guān)鍵，國(guó)內(nèi)外學(xué)者針對(duì)高速列車(chē)運(yùn)維智能化、智慧化開(kāi)展了探索性工作，在故障處置領(lǐng)域積極尋求先進(jìn)的虛擬現(xiàn)實(shí)技術(shù)來(lái)解決行業(yè)痛點(diǎn)。例如周韶澤等[8]提出了虛擬現(xiàn)實(shí)檢修視點(diǎn)模擬方法，實(shí)現(xiàn)了動(dòng)車(chē)組檢視檢修的模擬流程。鄒俊俊等[9]針對(duì)鐵路客車(chē)轉(zhuǎn)向架的現(xiàn)場(chǎng)檢修作業(yè)流程，提出了一套虛擬檢修解決方案，可根據(jù)實(shí)際作業(yè)隨機(jī)生成模擬檢修處置流程，并實(shí)時(shí)記錄操作數(shù)據(jù)，最后對(duì)學(xué)員操作給出科學(xué)評(píng)價(jià)。Knopp等[10]以此為基礎(chǔ)，利用無(wú)線網(wǎng)絡(luò)將HoloLens 和Vuforia 圖像處理庫(kù)進(jìn)行遠(yuǎn)程整合，實(shí)現(xiàn)了基于混合現(xiàn)實(shí)的工業(yè)組件裝配和拆卸。陳華鵬等[11]提出一種面向結(jié)構(gòu)物的鐵路設(shè)施多尺度模型，能夠利用歷史數(shù)據(jù)、感知數(shù)據(jù)和虛擬模型等對(duì)故障進(jìn)行分析和處置。從已有的研究成果來(lái)看，國(guó)內(nèi)外學(xué)者認(rèn)為采用智能算法匹配故障以推送維修決策，融合虛擬現(xiàn)實(shí)技術(shù)的故障處置方法是智能運(yùn)維體系下的關(guān)鍵應(yīng)用手段。

本文借助三維數(shù)字技術(shù)構(gòu)建了高速動(dòng)車(chē)組車(chē)鉤MR 輔助檢修的數(shù)字模型，該模型通過(guò)對(duì)設(shè)備故障和維護(hù)中的數(shù)據(jù)進(jìn)行充分融合以驅(qū)動(dòng)檢修指導(dǎo)過(guò)程，在運(yùn)維過(guò)程中實(shí)現(xiàn)了物理維護(hù)與虛擬維護(hù)的數(shù)據(jù)交互方式，搭建了適合高速動(dòng)車(chē)組的復(fù)雜部件智能運(yùn)維系統(tǒng)總體模型，并以動(dòng)車(chē)組車(chē)鉤故障處置為例，研發(fā)了基于混合現(xiàn)實(shí)的動(dòng)車(chē)組車(chē)鉤輔助檢修系統(tǒng)。

1 基于混合現(xiàn)實(shí)的動(dòng)車(chē)組復(fù)雜部件智能運(yùn)維系統(tǒng)框架

基于混合現(xiàn)實(shí)的動(dòng)車(chē)組復(fù)雜部件智能運(yùn)維系統(tǒng)總體模型由物理實(shí)體、虛擬實(shí)體和服務(wù)組成。借助數(shù)據(jù)交互技術(shù)，數(shù)據(jù)在線監(jiān)測(cè)平臺(tái)可獲得物理實(shí)體環(huán)境中的設(shè)備狀態(tài)數(shù)據(jù)，融合多傳感器獲取的實(shí)時(shí)物理量數(shù)據(jù)，可通過(guò)遺傳（GA）算法、人工免疫（AI）算法、粒子群（PSO）算法等多種智能算法，運(yùn)用于故障識(shí)別診斷和壽命預(yù)估兩大內(nèi)容體系中，為MR 輔助檢修提供前置條件和決策依據(jù)。

基于混合現(xiàn)實(shí)的智能運(yùn)維具體在于如下幾方面：

1）虛實(shí)結(jié)合，應(yīng)用在一個(gè)復(fù)雜的動(dòng)車(chē)組部件維修過(guò)程中，虛擬維修解決方案要求虛擬部件與實(shí)際場(chǎng)景中的所有重要部件正確重疊結(jié)合，并保證其幾何同步、光照同步和時(shí)間同步。系統(tǒng)完成對(duì)識(shí)別目標(biāo)與操作人員注視方向的實(shí)時(shí)動(dòng)態(tài)追蹤，從而實(shí)現(xiàn)高精度的三維空間定位及配準(zhǔn)。

2）數(shù)據(jù)融合，系統(tǒng)通過(guò)多維傳感器對(duì)關(guān)鍵部件的狀態(tài)、溫濕度、應(yīng)力和振動(dòng)等數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)測(cè)，當(dāng)設(shè)備故障發(fā)生時(shí)，數(shù)據(jù)服務(wù)中心將通過(guò)維修指導(dǎo)系統(tǒng)后臺(tái)對(duì)故障信息進(jìn)行匹配及分類(lèi)，并根據(jù)故障指令的處理結(jié)果匹配故障，從而根據(jù)故障指示對(duì)應(yīng)的數(shù)據(jù)庫(kù)調(diào)用相應(yīng)的解決方案。HoloLens 配備了深度感知攝像模組，維修人員使用該模組功能可實(shí)現(xiàn)對(duì)現(xiàn)場(chǎng)維護(hù)環(huán)境空間信息的實(shí)時(shí)獲取，反饋給服務(wù)系統(tǒng)并修正維修過(guò)程。當(dāng)故障情況難以判斷時(shí)，可以通過(guò)對(duì)虛擬和物理環(huán)境下的數(shù)據(jù)進(jìn)行實(shí)時(shí)融合疊加，由遠(yuǎn)程專(zhuān)家在線進(jìn)入現(xiàn)場(chǎng)維護(hù)環(huán)境中引導(dǎo)檢修，通過(guò)實(shí)時(shí)融合虛擬和物理環(huán)境下的數(shù)據(jù)，達(dá)到故障處置引導(dǎo)的目的。

3）模擬分析，系統(tǒng)基于Unity3D 的虛擬仿真技術(shù)，通過(guò)三維建模、機(jī)械設(shè)備動(dòng)作編程、傳感器信息傳輸和存儲(chǔ)等技術(shù)，實(shí)現(xiàn)對(duì)設(shè)備維修過(guò)程的監(jiān)控模擬和實(shí)時(shí)分析。該系統(tǒng)可以實(shí)時(shí)跟蹤維修現(xiàn)場(chǎng)，獲取維修現(xiàn)場(chǎng)的圖像特征，判斷維修操作是否正確，防止因維修不當(dāng)造成的設(shè)備二次損壞，保證維修方案的可靠性。

2 基于混合現(xiàn)實(shí)的動(dòng)車(chē)組車(chē)鉤輔助檢修方法

本文以動(dòng)車(chē)組車(chē)鉤為對(duì)象，構(gòu)建基于混合現(xiàn)實(shí)的動(dòng)車(chē)組車(chē)鉤輔助檢修系統(tǒng)。通過(guò)多種傳感設(shè)備監(jiān)測(cè)獲得車(chē)鉤的運(yùn)行狀態(tài)，識(shí)別標(biāo)定形成實(shí)體維修環(huán)境。

2.1 技術(shù)路線及其框架

基于混合現(xiàn)實(shí)的動(dòng)車(chē)組車(chē)鉤輔助檢修系統(tǒng)的技術(shù)框架如圖1 所示，系統(tǒng)包括故障匹配與診斷、故障維護(hù)指導(dǎo)、維護(hù)空間感知、虛實(shí)融合疊加和人機(jī)交互等5 大模塊。

圖1 基于混合現(xiàn)實(shí)的動(dòng)車(chē)組車(chē)鉤輔助檢修系統(tǒng)技術(shù)框架Fig.1 Technical framework of auxiliary maintenance system for coupler of EMU based on mixed reality

故障匹配與診斷部分完成對(duì)實(shí)際裝置中各傳感器的故障信息的收集，并對(duì)其進(jìn)行識(shí)別及分類(lèi)，生成相應(yīng)的故障標(biāo)識(shí)碼，同時(shí)與其所對(duì)應(yīng)的維護(hù)解決方案指令進(jìn)行匹配綁定，針對(duì)各種故障情況推出相應(yīng)的處理方法；故障維護(hù)指導(dǎo)部分針對(duì)不同故障對(duì)應(yīng)的維修手冊(cè)制定出更加科學(xué)的維護(hù)流程及方案，同時(shí)通過(guò)環(huán)境虛實(shí)疊加、遠(yuǎn)程專(zhuān)家輔助等多種方式實(shí)現(xiàn)對(duì)故障的維修操作引導(dǎo)；維護(hù)空間感知部分完成對(duì)維護(hù)實(shí)際環(huán)境的自然特征點(diǎn)提取及識(shí)別，維護(hù)目標(biāo)的動(dòng)態(tài)跟蹤和空間位姿的數(shù)據(jù)解算；虛實(shí)融合疊加部分通過(guò)對(duì)環(huán)境感知特征分析還原，構(gòu)建出實(shí)際三維空間坐標(biāo)，通過(guò)與HoloLens 投影空間的坐標(biāo)轉(zhuǎn)換，得到虛實(shí)疊加的混合現(xiàn)實(shí)視效；人機(jī)交互部分通過(guò)手勢(shì)識(shí)別，視線追蹤，語(yǔ)音識(shí)別等先進(jìn)交互方式對(duì)混合現(xiàn)實(shí)系統(tǒng)界面內(nèi)容進(jìn)行便捷操作，大大提升用戶(hù)體驗(yàn)。

2.2 系統(tǒng)開(kāi)發(fā)流程

為了實(shí)時(shí)監(jiān)控設(shè)備維修指導(dǎo)過(guò)程，提出了一種基于Unity3D-HoloLens 的動(dòng)車(chē)組車(chē)鉤故障維修指導(dǎo)的新方法。首先利用多傳感器融合監(jiān)測(cè)車(chē)鉤實(shí)時(shí)狀態(tài)數(shù)據(jù)，監(jiān)測(cè)到的故障數(shù)據(jù)經(jīng)過(guò)識(shí)別分類(lèi)后存入數(shù)據(jù)庫(kù)，并由數(shù)據(jù)庫(kù)導(dǎo)出數(shù)據(jù)至三維數(shù)字建模平臺(tái)MAYA，通過(guò)三維信息模型構(gòu)建技術(shù)，建立了車(chē)鉤維修指導(dǎo)過(guò)程的數(shù)字模型；然后生成Unity3D 可識(shí)別的格式并導(dǎo)入集成虛擬現(xiàn)實(shí)平臺(tái)，搭建MR 開(kāi)發(fā)環(huán)境，對(duì)操作內(nèi)容進(jìn)行動(dòng)作編程，形成可調(diào)用的維修指導(dǎo)片段，與分類(lèi)后對(duì)應(yīng)的故障內(nèi)容進(jìn)行ID 綁定，形成匹配的維修指導(dǎo)方案；最后在方便用戶(hù)穿戴的HoloLens 眼鏡中匹配混合現(xiàn)實(shí)坐標(biāo)關(guān)系，完成虛實(shí)融合的三維疊加視效，并利用自然人機(jī)交互手段在虛實(shí)環(huán)境中進(jìn)行故障維修指導(dǎo)流程的操作及驗(yàn)證。系統(tǒng)開(kāi)發(fā)技術(shù)路線如圖2 所示。

圖2 系統(tǒng)開(kāi)發(fā)技術(shù)路線圖Fig.2 System development technology roadmap

3 基于混合現(xiàn)實(shí)的動(dòng)車(chē)組車(chē)鉤輔助檢修關(guān)鍵技術(shù)

3.1 故障智能診斷

智能診斷是根據(jù)故障信息和推送的維修案例進(jìn)行的。系統(tǒng)利用采集的動(dòng)車(chē)組車(chē)鉤振動(dòng)信號(hào)和紅外圖像通過(guò)深度學(xué)習(xí)進(jìn)行信息融合預(yù)處理。一方面，結(jié)合基于MobileNet 的信號(hào)分類(lèi)器，完成對(duì)車(chē)鉤運(yùn)行狀態(tài)信息的提取，并給出判斷結(jié)論；另一方面，在信息識(shí)別網(wǎng)絡(luò)中加入多尺度卷積，可以更好地提取狀態(tài)信息的語(yǔ)義特征。

MobileNet 卷積神經(jīng)網(wǎng)絡(luò)是一種輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)，具有模型體積較小、可訓(xùn)練參數(shù)較少、計(jì)算量較小等優(yōu)點(diǎn)，它可以大量降低模型的參數(shù)量和計(jì)算量，同時(shí)又保證了模型的性能，從而達(dá)到為模型加速的目的。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中的全卷積操作逐漸被MobileNet 網(wǎng)絡(luò)的深度卷積和逐點(diǎn)卷積所取代，這被稱(chēng)為深度可分離卷積[12]。全卷積與深度可分離卷積的結(jié)構(gòu)如圖3 所示。

圖3 全卷積與深度可分離卷積的結(jié)構(gòu)Fig.3 Structures of full convolution and depth-separable convolution

3.2 虛實(shí)注冊(cè)融合

幾何一致性在虛擬物體疊加到真實(shí)場(chǎng)景的擬真渲染中起著重要作用，是實(shí)現(xiàn)混合現(xiàn)實(shí)虛實(shí)注冊(cè)效果的必要條件之一，系統(tǒng)需要在現(xiàn)實(shí)環(huán)境精確地判定攝像機(jī)的位置和姿態(tài)，使其與現(xiàn)實(shí)中特定的地點(diǎn)位置正確重疊[13]。

目前有兩種常見(jiàn)的基于人工識(shí)別和自然特征點(diǎn)的虛擬現(xiàn)實(shí)幾何一致性注冊(cè)融合算法，兩種算法均能有效地處理真實(shí)和虛擬環(huán)境下融合的空間幾何相似性問(wèn)題[14-15]。

根據(jù)應(yīng)用場(chǎng)景特點(diǎn)，本文對(duì)復(fù)雜環(huán)境的特征提取進(jìn)行了研究，提出了一種基于SURF 的特征提取改進(jìn)方法，以一種更加有效的方式來(lái)實(shí)現(xiàn)動(dòng)車(chē)組車(chē)鉤維護(hù)環(huán)境特征點(diǎn)的提取與描述，更符合維修環(huán)境特征點(diǎn)提取精度的要求。有4 個(gè)主要步驟。

1）構(gòu)建Hessian 矩陣。建立Hessian 矩陣是用來(lái)產(chǎn)生一個(gè)穩(wěn)定的邊界（突變點(diǎn)）來(lái)進(jìn)行特征提取。對(duì)于圖像I（x，y）的Hessian 矩陣如下

H 矩陣的判別式是

在構(gòu)造Hessian 矩陣時(shí)，首先要對(duì)圖象進(jìn)行高斯濾波，經(jīng)過(guò)濾波后的Hessian 矩陣表達(dá)式為

式中：（x，y）為像素位置；L（x，y，σ）＝G（σ）I（x，y）為圖像的高斯尺度，是通過(guò)圖像和各種不同的高斯卷積而獲得的。

2）構(gòu)建尺度空間。

3）精確定位特征點(diǎn)。

4）主方向確定。

在提取了場(chǎng)景的特征點(diǎn)后，進(jìn)行了特征點(diǎn)匹配、相機(jī)姿態(tài)估計(jì)、姿態(tài)校正和相機(jī)姿態(tài)確認(rèn)等操作。系統(tǒng)通過(guò)對(duì)比維修環(huán)境數(shù)據(jù)庫(kù)中的基準(zhǔn)幀和HoloLens 攝像機(jī)獲取的當(dāng)前幀圖像，將其特征點(diǎn)進(jìn)行匹配，并與現(xiàn)實(shí)場(chǎng)景進(jìn)行重疊，從而在真實(shí)維護(hù)場(chǎng)景中實(shí)現(xiàn)虛擬維護(hù)指導(dǎo)方案的MR 虛實(shí)結(jié)合指引。

3.3 MR 故障遠(yuǎn)程指導(dǎo)

遠(yuǎn)程故障指導(dǎo)是指根據(jù)維修內(nèi)容，由智能匹配的專(zhuān)家進(jìn)行遠(yuǎn)程協(xié)助，并通過(guò)移動(dòng)終端和MR 設(shè)備HoloLens 視頻流通話進(jìn)行遠(yuǎn)程協(xié)作。關(guān)鍵是遠(yuǎn)程空間標(biāo)注，可以準(zhǔn)確實(shí)現(xiàn)三維空間的遠(yuǎn)程指導(dǎo)。

系統(tǒng)通過(guò)搭建音視頻通訊，傳輸包含HoloLens空間矩陣信息的視頻數(shù)據(jù)，經(jīng)過(guò)HoloLens 與Unity3D 空間矩陣轉(zhuǎn)換及2D 標(biāo)注到3D 空間的轉(zhuǎn)換實(shí)現(xiàn)遠(yuǎn)程空間標(biāo)注。

1）獲取相機(jī)空間矩陣數(shù)據(jù)。利用環(huán)境感知攝像機(jī)采集真實(shí)環(huán)境圖像，并從中提取特征點(diǎn)，然后對(duì)相鄰幀的特征點(diǎn)進(jìn)行匹配，通過(guò)特征點(diǎn)相對(duì)位置的變化反推當(dāng)前的旋轉(zhuǎn)角度和位移，從而計(jì)算出運(yùn)動(dòng)特征，得到攝像機(jī)矩陣和投影矩陣數(shù)據(jù)[16]，并存儲(chǔ)當(dāng)前攝像機(jī)的方向和位置，然后將攝像機(jī)空間矩陣轉(zhuǎn)換為Unity3D 空間矩陣，如圖4 所示。

圖4 相機(jī)空間矩陣轉(zhuǎn)換示意圖Fig.4 Schematic diagram of camera space matrix conversion

2）二維標(biāo)注到三維空間的坐標(biāo)轉(zhuǎn)換。MR 設(shè)備HoloLens 的每一幀視頻數(shù)據(jù)包含空間矩陣數(shù)據(jù)，專(zhuān)家端在二維圖像標(biāo)注后確定標(biāo)注形狀（i）、中心點(diǎn)（X1，Y1）、長(zhǎng)度和寬度（L1，W1）數(shù)據(jù)，然后將其發(fā)送給混合現(xiàn)實(shí)端。由該空間矩陣數(shù)據(jù)，可以求出攝影機(jī)在該標(biāo)記時(shí)刻的位置C1及該影像的四個(gè)投影點(diǎn)（P1，P2，P3，P4)，所述標(biāo)記點(diǎn)的屏幕位置C2和所述標(biāo)記點(diǎn)的長(zhǎng)度、寬度（L2，W2）可以由數(shù)據(jù)（X1，Y1）按比例計(jì)算得出，標(biāo)記點(diǎn)在空間的實(shí)際位置C3可以通過(guò)在標(biāo)記時(shí)間點(diǎn)從攝像機(jī)位置C1到C2的發(fā)射線的碰撞來(lái)檢測(cè)。在該空間中的大小尺寸（L3，W3)可以由C1，C2，C3和（L2，W2）的距離比例計(jì)算，從而產(chǎn)生（C3，L3，W3）對(duì)應(yīng)的標(biāo)注實(shí)例（i），所述標(biāo)記方向可為朝向C1或當(dāng)前照相機(jī)位置。

3.4 自然人機(jī)交互方法

基于混合現(xiàn)實(shí)技術(shù)的動(dòng)車(chē)組車(chē)鉤輔助檢修系統(tǒng)的信息交互主要由數(shù)據(jù)交互和人機(jī)交互兩部分組成，數(shù)據(jù)交互實(shí)現(xiàn)了設(shè)備的傳感器數(shù)據(jù)與虛擬維護(hù)環(huán)境的交互，而人機(jī)交互則實(shí)現(xiàn)了虛擬維護(hù)與實(shí)際維護(hù)的多模態(tài)交互。多模態(tài)人機(jī)交互是利用人機(jī)工程學(xué)原理，研究人－機(jī)－環(huán)境之間的協(xié)調(diào)關(guān)系。這里的“人”指的是人的多種感官器官，“機(jī)”指的是MR 交互設(shè)備，“環(huán)境”指的是虛實(shí)結(jié)合的交互環(huán)境[17]。在故障診斷指導(dǎo)系統(tǒng)中，利用數(shù)據(jù)和人機(jī)交互技術(shù)，實(shí)現(xiàn)了人員、設(shè)備、環(huán)境三方面的數(shù)據(jù)信息交互。

1）手勢(shì)識(shí)別。用戶(hù)不需要使用手套等額外產(chǎn)品，基于HoloLens 混合現(xiàn)實(shí)設(shè)備，采用TOF 技術(shù)采集手勢(shì)深度圖，在保證精度的前提下，可以快速識(shí)別手勢(shì)，由于外部影響很小，用戶(hù)體驗(yàn)效果較好。

2）視線追蹤。瞳孔位置信息的獲取能夠?qū)崿F(xiàn)準(zhǔn)確的全息圖定位、舒適的瀏覽體驗(yàn)和提高顯示質(zhì)量。瞳孔注視的方向?qū)⒆鳛檠蹌?dòng)追蹤結(jié)果的一部分被計(jì)算出來(lái)。在沒(méi)有任何互動(dòng)的情況下，基于HoloLens 的自動(dòng)眼球定位 （automatic eye positioning，AEP）允許設(shè)備自動(dòng)計(jì)算用戶(hù)的瞳孔位置并進(jìn)行校正。

3）語(yǔ)音識(shí)別。語(yǔ)音識(shí)別的深度工作原理也是機(jī)器學(xué)習(xí)訓(xùn)練的結(jié)果，其本質(zhì)是模式識(shí)別。完整的語(yǔ)音交互過(guò)程包括輸入和輸出過(guò)程，當(dāng)計(jì)算機(jī)接收到用戶(hù)的語(yǔ)音輸入后，需要完成語(yǔ)音特征識(shí)別和語(yǔ)義理解，并通過(guò)與現(xiàn)有模型的比較，選擇匹配度最高的模型作為識(shí)別結(jié)果輸出。

4 動(dòng)車(chē)組密接式車(chē)鉤氣路及控制系統(tǒng)故障MR 輔助檢修

4.1 輔助檢修對(duì)象

以SCHARFENBERG 自動(dòng)車(chē)鉤為輔助檢修對(duì)象，要求在其關(guān)鍵部件設(shè)置不同傳感設(shè)備，信息相互融合為其整體狀態(tài)監(jiān)測(cè)及故障診斷提供重要依據(jù)，為了便于描述MR 輔助檢修過(guò)程，根據(jù)該車(chē)鉤結(jié)構(gòu)組成特征可將其分為車(chē)鉤頭，牽引桿，電纜吊架，軸承座，氣路及控制等5 部分。假設(shè)氣路及控制部分監(jiān)測(cè)到特征信號(hào)異常發(fā)生故障預(yù)警A5，系統(tǒng)將從數(shù)據(jù)庫(kù)索引中匹配出輔助檢修方案，編號(hào)為N5。如圖5 所示。

圖5 車(chē)鉤特征劃分及故障編號(hào)示意圖Fig.5 Coupler feature division and fault numbering diagram

4.2 輔助檢修內(nèi)容

針對(duì)動(dòng)車(chē)組密接式車(chē)鉤氣路及控制故障的MR輔助檢修內(nèi)容主要包括虛實(shí)環(huán)境融合疊加，數(shù)據(jù)信息雙向映射，故障維護(hù)輔助指導(dǎo)3 部分。

1）虛實(shí)環(huán)境融合疊加，通過(guò)使用HoloLens 運(yùn)行系統(tǒng)，調(diào)用深度掃描相機(jī)對(duì)車(chē)鉤維護(hù)環(huán)境進(jìn)行特征提取，轉(zhuǎn)換為三維空間數(shù)據(jù)存儲(chǔ)到MySQL 數(shù)據(jù)庫(kù)并生成可識(shí)別的點(diǎn)云空間Slam 模型，同時(shí)建立與維修目標(biāo)車(chē)鉤保持高度一致性的三維仿真模型，達(dá)到虛實(shí)環(huán)境融合疊加的效果。

2）數(shù)據(jù)信息雙向映射，通過(guò)在關(guān)鍵部件位置布置多信息融合傳感器，實(shí)現(xiàn)車(chē)鉤狀態(tài)全感知，數(shù)據(jù)實(shí)時(shí)監(jiān)測(cè)并存儲(chǔ)，發(fā)生異常數(shù)據(jù)時(shí)識(shí)別到車(chē)鉤故障類(lèi)型A5，智能匹配出輔助檢修方案P5，形成輔助檢修處理流程，通過(guò)自然人機(jī)交互方式觸發(fā)相應(yīng)的功能及數(shù)據(jù)輸入。

3）故障維護(hù)輔助指導(dǎo)，動(dòng)車(chē)組密接式車(chē)鉤氣路及控制故障處置流程包括清理外表污漬，涂抹肥皂水，觀察氣泡產(chǎn)生情況，最后更換破損氣路部件。維修人員可根據(jù)虛實(shí)融合的輔助指導(dǎo)按步驟進(jìn)行操作，GUI 界面出現(xiàn)相應(yīng)的操作提示和響應(yīng)內(nèi)容，實(shí)時(shí)操作動(dòng)作通過(guò)傳感設(shè)備完成數(shù)據(jù)交互，如遇疑難問(wèn)題和復(fù)雜操作時(shí)可申請(qǐng)專(zhuān)家遠(yuǎn)程引導(dǎo)，通過(guò)多端設(shè)備實(shí)現(xiàn)虛實(shí)融合環(huán)境中的空間標(biāo)注和指引，進(jìn)行異地多人協(xié)同的MR 輔助檢修作業(yè)。

5 結(jié)論

針對(duì)動(dòng)車(chē)組車(chē)鉤故障維修方式老舊、檢修手冊(cè)內(nèi)容滯后，專(zhuān)業(yè)維修工作不能及時(shí)完成，本文采用混合現(xiàn)實(shí)技術(shù)與數(shù)據(jù)交互相結(jié)合的方法，研究了基于混合現(xiàn)實(shí)的動(dòng)車(chē)組車(chē)鉤輔助檢修方法。該方法充分利用故障維護(hù)流程的信息，對(duì)維護(hù)過(guò)程進(jìn)行驅(qū)動(dòng)及引導(dǎo)，使虛擬維護(hù)環(huán)境與實(shí)際維護(hù)環(huán)境的數(shù)據(jù)進(jìn)行雙向交互，構(gòu)建了適合于動(dòng)車(chē)組車(chē)鉤的MR 輔助維修指導(dǎo)體系，應(yīng)用了新型的人機(jī)交互方法，使得維護(hù)目標(biāo)-信息服務(wù)-物理環(huán)境等多向交互更為自然，能夠大大提高車(chē)鉤故障處置的效率和安全。