基于增強(qiáng)現(xiàn)實(shí)技術(shù)的汽車維修輔助系統(tǒng)設(shè)計(jì)

劉仕嬋

（欽州市交通運(yùn)輸服務(wù)中心，廣西 欽州 535000）

增強(qiáng)現(xiàn)實(shí)（AR）是一門融合了信號(hào)學(xué)、心理學(xué)、計(jì)算機(jī)圖形學(xué)等多門學(xué)科的新型技術(shù)，它是以真實(shí)場景為基礎(chǔ)，利用傳感器、掃描儀等設(shè)備采集真實(shí)環(huán)境信息后，在計(jì)算機(jī)環(huán)境下生成虛擬的三維圖像，模擬真實(shí)環(huán)境。基于增強(qiáng)現(xiàn)實(shí)技術(shù)設(shè)計(jì)的汽車維修輔助系統(tǒng)，除了直觀、精確地展示汽車各個(gè)部分的圖像外，還可以支持人機(jī)交互，這就為用戶在人機(jī)交互界面的引導(dǎo)下輕松完成汽車維修任務(wù)提供了技術(shù)支持。隨著AI、AR 等技術(shù)的不斷成熟，汽車維修輔助系統(tǒng)的功能日益豐富、操作門檻不斷降低，讓用戶自己動(dòng)手完成汽車維修成為了可能。

1 汽車輔助維修系統(tǒng)的架構(gòu)設(shè)計(jì)

按照常規(guī)的汽車維修流程設(shè)計(jì)了汽車輔助維修系統(tǒng)，該系統(tǒng)的架構(gòu)見圖1。

識(shí)別車輛信息是汽車維修輔助系統(tǒng)應(yīng)用的第一步。針對(duì)用戶容易認(rèn)錯(cuò)汽車型號(hào)的問題，該系統(tǒng)采用微軟公司生產(chǎn)的AR 眼鏡HlolLens 作為環(huán)境感知攝像頭和色彩攝像頭，對(duì)用戶前方的場景進(jìn)行快速掃描，利用圖像識(shí)別技術(shù)提取場景中的關(guān)鍵信息，并經(jīng)過計(jì)算機(jī)的匹配確認(rèn)汽車的型號(hào)，車輛識(shí)別結(jié)果以靜態(tài)圖片的方式反饋給用戶。獲取故障信息也是汽車輔助維修系統(tǒng)設(shè)計(jì)的要點(diǎn)之一，本系統(tǒng)可調(diào)取汽車的維修保養(yǎng)記錄、日常操作記錄、車況信息等，確定故障并提供故障相關(guān)的信息。

2 基于增強(qiáng)現(xiàn)實(shí)技術(shù)的汽車維修輔助系統(tǒng)操作流程

汽車維修輔助系統(tǒng)運(yùn)行后，由用戶選擇車輛信息識(shí)別方式，有“視覺掃描”、“語音搜索”兩種方式。選擇后即可開始車輛信息識(shí)別。執(zhí)行一個(gè)判斷程序“是否識(shí)別車輛信息？”，如果未成功識(shí)別，則更換另一種識(shí)別方式；識(shí)別成功后，系統(tǒng)根據(jù)獲取到的汽車牌照、車輛型號(hào)、生產(chǎn)廠商代碼等相關(guān)信息，掌握汽車的基本數(shù)據(jù)。系統(tǒng)同步獲取汽車的日常維修保養(yǎng)記錄，結(jié)合掃描或語音獲取的車輛信息，可以判斷汽車各個(gè)部件的當(dāng)前狀況，并且以標(biāo)簽形式呈現(xiàn)。正常工況下標(biāo)簽為綠色，異常工況下標(biāo)簽為紅色，需要維修時(shí)標(biāo)簽為黃色。對(duì)于需要維修的部件，該系統(tǒng)提供本地應(yīng)用輔助和遠(yuǎn)程專家協(xié)助2 種維修輔助。優(yōu)先啟用本地應(yīng)用輔助，然后執(zhí)行一個(gè)判斷程序“是否解決維修問題？”，如果問題已經(jīng)解決，則繼續(xù)執(zhí)行下一步操作；如果問題未解決，則啟用遠(yuǎn)程專家協(xié)助，通過視頻通話的方式由專家遠(yuǎn)程指導(dǎo)用戶完成維修。汽車維修結(jié)束后，維修記錄以檔案形式留存，用戶可手動(dòng)添加下一次需要維護(hù)保養(yǎng)的內(nèi)容，結(jié)束本次維修任務(wù)。汽車維修輔助系統(tǒng)的運(yùn)行流程見圖2。

3 基于增強(qiáng)現(xiàn)實(shí)技術(shù)的汽車維修輔助系統(tǒng)視覺與交互設(shè)計(jì)

3.1 開發(fā)設(shè)備

本系統(tǒng)以HoloLens 設(shè)備作為開發(fā)對(duì)象，該設(shè)備內(nèi)置Intel2-bit（1GHz）的CPU，以及最大2 GB 的RAM和64 GB 的硬盤容量。鏡面部分采用2.4 M光導(dǎo)透明全息眼睛，視角30°×18°，并配備有加速器、陀螺儀和光度傳感器。操作系統(tǒng)Windows10，支持Wifi 連接和藍(lán)牙連接，滿電最長待機(jī)時(shí)間為15 d。設(shè)備功能及組成見圖3。本系統(tǒng)所用的HoloLens 設(shè)備支持3 種人機(jī)交互模式，分別是Ge 模式（手勢）、Ga 模式（凝視）和V 模式（語音）。默認(rèn)模式為Ga 模式，該模式下用戶可通過長時(shí)間注視（視角停留3s）虛擬物體的方式進(jìn)行點(diǎn)選，在點(diǎn)選模式下移動(dòng)頭部即可進(jìn)行虛擬物體的拖拽[1]。

3.2 車輛信息識(shí)別模塊設(shè)計(jì)

本系統(tǒng)提供兩種識(shí)別汽車信息的模式，分別是視覺掃描、語音搜索，用戶可自行選擇。用戶通過點(diǎn)選的方式選擇其一，然后系統(tǒng)跳轉(zhuǎn)到相應(yīng)的信息錄入界面。在視覺掃描模式下，利用HoloLens 設(shè)備快速完成用戶視線前方場景信息的掃描，并建立相應(yīng)的模型。在Ga 模式下，用戶將視線對(duì)焦到汽車的車牌處、發(fā)動(dòng)機(jī)出廠信息位置處，即可收集車牌信息、發(fā)動(dòng)機(jī)出廠信息。如果掃描過程中存在車牌被遮擋，或者是車牌無損導(dǎo)致無法提取車牌信息，則用戶可手動(dòng)切換為語音搜索模式，然后通過語音輸入的方式，將車牌信息輸入到汽車維修輔助系統(tǒng)中。在設(shè)計(jì)車輛信息識(shí)別模塊時(shí)，除了通過視覺掃描、語音搜索方式識(shí)別車輛，用戶還可以根據(jù)當(dāng)前界面左上角的導(dǎo)航欄，確認(rèn)當(dāng)前在系統(tǒng)中所處的位置，并同樣以點(diǎn)選的方式，執(zhí)行“上一步”或“下一步”操作。當(dāng)然，用戶也可直接向系統(tǒng)發(fā)出語音指令，例如“進(jìn)入車況查詢界面”，在系統(tǒng)識(shí)別該語音指令后作出相應(yīng)的操作。

3.3 車況查詢模塊設(shè)計(jì)

在設(shè)計(jì)車況查詢模塊時(shí)，提供“標(biāo)簽搜索”和“語音搜索”2 種查詢模式。用戶可通過手勢交互任選其一，點(diǎn)選之后完成界面的跳轉(zhuǎn)。為了更加直觀、間接地呈現(xiàn)汽車的全部零件，在設(shè)計(jì)環(huán)節(jié)需要建立一個(gè)獨(dú)立的汽車部件數(shù)據(jù)庫，以信息編碼的形式為每一個(gè)部件設(shè)計(jì)唯一的數(shù)字標(biāo)簽[2]。

車況查詢結(jié)果以標(biāo)簽形式顯示。部件性能正常，顯示為綠色標(biāo)簽；當(dāng)系統(tǒng)查詢到汽車某一部件存在故障時(shí)，即以紅色標(biāo)簽顯示；而黃色標(biāo)簽代表部件近期需要保養(yǎng)。用戶可點(diǎn)擊標(biāo)簽獲取詳細(xì)信息。這里以汽車的火花塞部件為例，車況查詢完畢后，界面上火花塞部件顯示為紅色標(biāo)簽。用戶可繼續(xù)點(diǎn)擊該標(biāo)簽，進(jìn)入到火花塞工況的詳情頁面，以圖文和語音相結(jié)合的形式詳細(xì)展示汽車火花塞存在的問題，以及接下來需要進(jìn)行的維修操作，見圖4。

通過人機(jī)交互界面，用戶可以知道汽車火花塞存在積碳過多、間隙過大的問題，需要重新更換新的火花塞。如果需要立即執(zhí)行該維修操作，則在當(dāng)前界面上點(diǎn)擊“立即更換”，然后進(jìn)入到“保養(yǎng)維修”模塊[3]。

3.4 保養(yǎng)維修模塊設(shè)計(jì)

該模塊是整個(gè)汽車維修輔助系統(tǒng)中的核心部分，其功能是指導(dǎo)用戶自主完成汽車常見故障的維修。在設(shè)計(jì)該模塊時(shí)，同樣提供了2 種輔助方式，即本地應(yīng)用輔助維修、遠(yuǎn)程專家協(xié)助維修。進(jìn)入保養(yǎng)維修模塊后，系統(tǒng)界面上展示兩種維修方式，用戶可從中選擇一種。

在本地應(yīng)用輔助功能設(shè)計(jì)時(shí)，需要在人機(jī)交互界面上精確地顯示待維修部件的具體位置。這里還是以汽車火花塞故障為例，可顯示火花塞外罩在發(fā)動(dòng)機(jī)艙內(nèi)的位置。同時(shí)，對(duì)于火花塞外罩的4 個(gè)固定螺絲采用增強(qiáng)現(xiàn)實(shí)信息高亮顯示，以便于用戶可以快速找到螺絲位置。然后系統(tǒng)通過3D 操作演示的方式，為用戶呈現(xiàn)火花塞外罩的拆卸方式，見圖5。

用戶根據(jù)界面提示，首先使用套筒扳手順時(shí)針擰下固定火花塞外罩的螺絲，將拆卸下來的螺絲統(tǒng)一放到塑料袋中，防止丟失。然后根據(jù)演示動(dòng)畫向上拔起火花塞外罩。按照同樣的方法，完成舊火花塞的拆除和新火花塞的安裝。在維修操作中，如果用戶不清楚套筒扳手的具體型號(hào)，也可以通過語音輸入的方式，向系統(tǒng)詢問套筒扳手的型號(hào)，系統(tǒng)會(huì)提供套筒扳手的型號(hào)、形狀以及操作方法，以便于用戶正確選擇和規(guī)范操作[4]。

考慮到部分用戶在進(jìn)行維修過程中，可能會(huì)因?yàn)榫o張、粗心或者是不熟悉維修工具的使用方法，難免會(huì)出現(xiàn)不符合規(guī)范的誤操作。因此在設(shè)計(jì)保養(yǎng)維修模塊時(shí)，還加入了智能提醒功能。當(dāng)用戶進(jìn)行該項(xiàng)操作時(shí)，會(huì)在人機(jī)交互界面上出現(xiàn)提醒信息，如“注意：保持平緩用力，防止扯斷點(diǎn)火線圈外接電路”、“注意：向上拔起火花塞外罩要垂直發(fā)力，不可四周晃動(dòng)”。

用戶可在“維修保養(yǎng)”界面點(diǎn)選“遠(yuǎn)程專家協(xié)助”按鈕，此時(shí)系統(tǒng)從專家?guī)熘凶詣?dòng)匹配處于空閑狀態(tài)的專家。在專家選擇接受遠(yuǎn)程服務(wù)后，自動(dòng)建立連接，以遠(yuǎn)程視頻通話的形式了解汽車故障，向用戶提供技術(shù)支持。通信建立后，專家可通過用戶的HoloLens 視角觀察維修場景，基于自身豐富的維修經(jīng)驗(yàn)判斷故障位置、故障類型，并遠(yuǎn)程指導(dǎo)用戶完成維修[5]。

3.5 記錄提醒模塊設(shè)計(jì)

在維修記錄界面設(shè)計(jì)時(shí)，選擇了日歷形式標(biāo)注維修日期、維修項(xiàng)目。例如，該汽車在10 月6 日進(jìn)行一次火花塞更換的維修，在日歷上10 月6 日這一天會(huì)添加維修圖標(biāo)，用戶可點(diǎn)擊該圖表進(jìn)入維修保養(yǎng)日志的詳情界面。該界面會(huì)提供維修日期、維修內(nèi)容、性能測試等信息，見圖6。

該模塊采用手勢交互和語音交互雙模態(tài)設(shè)計(jì)，既可以滿足用戶日常操作習(xí)慣，同時(shí)又能提升增強(qiáng)現(xiàn)實(shí)界面的交互效率。系統(tǒng)會(huì)定期刷新提醒信息，從而確保提醒信息與車況查詢模塊中提供的汽車零件狀態(tài)信息保持同步。采用顏色區(qū)分設(shè)計(jì)，如果汽車火花塞臨近保養(yǎng)時(shí)間，則在標(biāo)簽搜索功能中將“火花塞”一項(xiàng)標(biāo)記為黃色，提醒用戶及時(shí)更換。用戶更換火花塞后，手動(dòng)修改提醒信息，將“待維護(hù)”修改為“已維護(hù)”，該信息同步到車輛狀態(tài)信息中，等到系統(tǒng)刷新信息后，標(biāo)簽搜索功能中“火花塞”一項(xiàng)重新變?yōu)榫G色。

4 結(jié)論

基于增強(qiáng)現(xiàn)實(shí)技術(shù)和多模態(tài)交互理論設(shè)計(jì)的汽車維修輔助系統(tǒng)，可以準(zhǔn)確、全面地獲取汽車各個(gè)部件的工況，并基于用戶在汽車維修中的需求，提供相應(yīng)的功能選項(xiàng)，以可視化的方式降低了用戶自主維修汽車的難度。考慮到真實(shí)維修環(huán)境更加復(fù)雜，因此下一步還需要從多模態(tài)整合對(duì)用戶認(rèn)知的影響以及平衡用戶視覺注意力分配與聲音指令之間的關(guān)系等角度出發(fā)，繼續(xù)開展研究，從而使汽車維修輔助系統(tǒng)的人機(jī)交互體驗(yàn)得到進(jìn)一步提升。