基于AR 技術(shù)的工業(yè)控制交互的智能化協(xié)同應(yīng)用

沈 毅 李華明 吳 罡 焦 亮

（湖南中煙工業(yè)有限責(zé)任公司長沙卷煙廠，湖南 長沙410007）

1 概述

當(dāng)前煙草工業(yè)對煙機裝備的管理維護(hù)處于精耕細(xì)作的狀態(tài)，但對于信息化和信息化技術(shù)的融合運用，依存在傳統(tǒng)制造和精益化制造的實施階段，處于廠家配套加現(xiàn)場調(diào)配維修等平臺的系統(tǒng)狀態(tài)，對現(xiàn)有MES 系統(tǒng)的改善和拓展，停留在穩(wěn)步探索的迭代階段。而面向行業(yè)未來裝備的實際保障需求，因為設(shè)備資產(chǎn)面臨跨專業(yè)、跨平臺融合智能單機協(xié)同的工業(yè)升級挑戰(zhàn)，包括無人操作、AI 協(xié)同[1]、大數(shù)據(jù)等研究的技術(shù)推進(jìn)，提供了煙草工業(yè)主要裝備維護(hù)改進(jìn)的優(yōu)化空間及可選方案，包括設(shè)備的遠(yuǎn)程管理和協(xié)助控制的可視化用途研究，為目前工業(yè)生產(chǎn)控制的進(jìn)一步診斷提供了拓展空間。

2 案例研究和存在問題

德國西門子某工廠通過提出遠(yuǎn)程專家協(xié)助系統(tǒng)的優(yōu)化需求，研發(fā)了AR（Augmented Reality）遠(yuǎn)程標(biāo)準(zhǔn)化作業(yè)系統(tǒng)，通過使用AR 智能眼鏡傳輸數(shù)據(jù)，指導(dǎo)工程師進(jìn)行設(shè)備安裝、維保、檢修等工作，主要案例包括運用AR、MR 遠(yuǎn)程專家系統(tǒng)實現(xiàn)的德國克虜伯電梯維修實例[2]。實際工作中，發(fā)現(xiàn)問題在于AR 眼鏡選配環(huán)境的適應(yīng)性，眼鏡電池用量、可觀察視距與視野FOV、語音控制的噪音干擾等都有影響。

中船某工廠遠(yuǎn)程數(shù)據(jù)可視化監(jiān)控系統(tǒng)，利用虛擬現(xiàn)實及現(xiàn)場三維圖像采集技術(shù)[3]，以沉浸式虛擬現(xiàn)實的方式實現(xiàn)監(jiān)控工廠現(xiàn)場情況，便于用戶隨時隨地使用系統(tǒng)觀察廠房當(dāng)前環(huán)境。該系統(tǒng)實現(xiàn)了遠(yuǎn)程工作人員的作業(yè)監(jiān)控指揮、遠(yuǎn)程三維可視化數(shù)據(jù)的實時同步、遠(yuǎn)程協(xié)同作業(yè)等，及時性數(shù)據(jù)的獲取提升了車間作業(yè)的效率，降低車間人員的管理成本和專業(yè)資源投入。此案例不足在于，設(shè)備及產(chǎn)線的變化修護(hù)無法同步到監(jiān)控系統(tǒng)獲得遠(yuǎn)程信息的及時更新，缺乏移動式便攜操作的靈活性和可控度。

湖南中煙某工廠由于集中采購、設(shè)備利舊與發(fā)展階段的原因，其制絲、卷接和包裝、甚至于高架庫倉儲等生產(chǎn)車間主力裝備，多年未曾批量更新，同時，該廠設(shè)備維修的一線技術(shù)人員普遍存在年齡偏高、面臨未來離退休交接班的調(diào)整。由此，企業(yè)面臨生產(chǎn)裝備和維護(hù)團(tuán)隊的更新瓶頸，提升主力裝備的持續(xù)平穩(wěn)，培養(yǎng)接班人的知識轉(zhuǎn)換和經(jīng)驗積累，是企業(yè)制訂未來五年計劃重點攻關(guān)目標(biāo)的明確方向。

解決問題的目標(biāo)方案，就是對于某廠用戶的終端需求，研發(fā)一款適用于便攜式系統(tǒng)，能夠運行在智能眼鏡和平板電腦平臺上的AR app[4]，通過采用設(shè)備維修的若干新技術(shù)，構(gòu)建一個多功能集成前沿技術(shù)的AR 系統(tǒng)應(yīng)用，歸納問題庫、答案庫的收集，培育維修人員和設(shè)備專家的經(jīng)驗庫和知識庫，檢驗遠(yuǎn)程專家的多方協(xié)同交互功能，是否滿足需要。

3 解決方案與效果分析

3.1 系統(tǒng)設(shè)計

系統(tǒng)交互設(shè)計，AR 遠(yuǎn)程專家系統(tǒng)的用戶，通過語音和指示實時指示相應(yīng)的表達(dá)目標(biāo)，在智能眼鏡端的移動視野中發(fā)布指示圖標(biāo)，達(dá)到輔助雙方指示目標(biāo)的作用。

系統(tǒng)安全設(shè)計，確保遠(yuǎn)程操作被記錄，傳輸數(shù)據(jù)被安全加密，只能選擇VPN 或堡壘主機進(jìn)行認(rèn)證傳輸。設(shè)備維護(hù)的過程記錄，將作為車間用戶對某臺設(shè)備的維修記錄，進(jìn)入設(shè)備經(jīng)驗庫予以保存使用。網(wǎng)絡(luò)訪問通過云應(yīng)用進(jìn)行授權(quán)和處理，通過某工廠域控制內(nèi)網(wǎng)實現(xiàn)遠(yuǎn)程訪問單點控制。確保專家在任何地方遠(yuǎn)程解決突發(fā)故障時，無須趕到現(xiàn)場。

系統(tǒng)功能設(shè)計，現(xiàn)場設(shè)備用戶或設(shè)備維修專家在AR app發(fā)起聯(lián)機遠(yuǎn)程協(xié)助的申請，通過AR 眼鏡或安卓平板電腦，操作APP 遠(yuǎn)程查驗故障案例，提供人工干預(yù)的動作指導(dǎo)，完成遠(yuǎn)程協(xié)助控制的共享交互操作，共同實現(xiàn)未識別故障的遠(yuǎn)程維修。

3.2 架構(gòu)設(shè)計

AR app 遠(yuǎn)程協(xié)助和交互控制功能分四類：（1）遠(yuǎn)程視頻通話：通過視頻了解現(xiàn)場的狀況，通過語音了解對方的需求并解決問題；（2）遠(yuǎn)程指導(dǎo)：在遠(yuǎn)程端通過繪圖或者圖標(biāo)指引的方式，配合語音，指點現(xiàn)場員工操作并解決問題；（3）繪圖或圖標(biāo)：引導(dǎo)雙方，確定重點，避免錯誤理解；（4）遠(yuǎn)程專家會診：多專家遠(yuǎn)程會診故障，并提出相應(yīng)解決方法。本文AR-App 系統(tǒng)架構(gòu)設(shè)計原理如圖1。

圖1 AR app 智能化場景遠(yuǎn)程協(xié)同的系統(tǒng)架構(gòu)設(shè)計圖

3.3 設(shè)備操作運行維護(hù)保養(yǎng)的遠(yuǎn)程協(xié)助服務(wù)功能設(shè)計

設(shè)備生態(tài)場景化維修：利用增強現(xiàn)實技術(shù)，將用戶維修過程中針對所有的零部件發(fā)生過的故障形成經(jīng)驗庫，讓用戶通過現(xiàn)場戴上AR 眼鏡，在設(shè)備維修中，輔導(dǎo)維修工循序漸進(jìn)完成維修作業(yè)。

設(shè)備遠(yuǎn)程專家協(xié)助：通過流媒體技術(shù)將維修現(xiàn)場和非現(xiàn)場進(jìn)行實時音視頻互動[5]，實現(xiàn)專家通過系統(tǒng)的遠(yuǎn)程指導(dǎo)操控、多人會診并實時輔助維修現(xiàn)場的具體維修工作。通過AR 增強現(xiàn)實技術(shù)，將具體操作步驟或者零部件操作維修方法推送給一線的設(shè)備維修工，輔助指導(dǎo)維修人員完成維護(hù)作業(yè)。AR-App 遠(yuǎn)程專家經(jīng)驗庫錄入如圖2。

圖2 AR app 遠(yuǎn)程專家經(jīng)驗庫操作界面圖

3.4 遠(yuǎn)程跨平臺多方視頻通話

3.4.1 網(wǎng)絡(luò)視頻框架。遠(yuǎn)程協(xié)助功能是實施遠(yuǎn)程通話和桌面分享等作用，根據(jù)當(dāng)前系統(tǒng)使用人員情況，系統(tǒng)利用P2P 打洞技術(shù)，并將所有底層的、復(fù)雜的、繁瑣的細(xì)節(jié)統(tǒng)一封裝，構(gòu)建安全接口，系統(tǒng)通過接口形成網(wǎng)絡(luò)視頻框架。用戶只要連接到系統(tǒng)服務(wù)器，將隨時可以訪問任何一個在線用戶的多媒體設(shè)備。

圖3 智能工具端遠(yuǎn)程協(xié)助功能定制P2P 路由圖

（1）P2P 打洞技術(shù)原理。當(dāng)服務(wù)端之間相互通信時，網(wǎng)絡(luò)視頻框架會自動進(jìn)行P2P 連接，如果P2P 通道能創(chuàng)建成功，該兩個客戶端之間的后續(xù)通信都經(jīng)過P2P 通道進(jìn)行。通過P2P 打洞技術(shù)，在帶寬一定的情況下，實現(xiàn)視頻音頻的高速傳輸。本文遠(yuǎn)程視頻P2P 路由原理如圖3。

（2）1 對1、1 對N、N 對N、N 對1 遠(yuǎn)程協(xié)助的功能。在系統(tǒng)中，每一個用戶都有Traveler 和User 雙重身份。當(dāng)用戶作為Traveler 時提供自身的桌面、攝像頭、話筒等多媒體，當(dāng)用戶作為User 時可以訪問其他用戶的Traveler 功能[6]。

1 對1：當(dāng)2 個用戶同時開放自己自身的雙重身份，使用User 身份訪問對方的Traveler 的時候就實現(xiàn)了1 對1 的遠(yuǎn)程協(xié)助；

1 對N：當(dāng)一個用戶只使用User 身份，訪問其他用戶開放Traveler 身份，就實現(xiàn)了1 對N 的遠(yuǎn)程協(xié)助。

N 對N、N 對1 同理。本文1 對1、1 對N、N 對N、N 對1 遠(yuǎn)程協(xié)助的功能原理如圖4。

圖4 1 對1、1 對N、N 對N、N 對1 遠(yuǎn)程協(xié)助功能原理圖

3.4.2 遠(yuǎn)程協(xié)助實時空間點標(biāo)注。在實際通話過程中，語音的描述并不能快速定位到工程師所指示的位置，系統(tǒng)加入實時空間點標(biāo)注功能。在遠(yuǎn)程協(xié)助過程中，工程師點開空間點標(biāo)注功能并標(biāo)注具體位置，標(biāo)注數(shù)據(jù)就會發(fā)送給對方。本文AR-App遠(yuǎn)程協(xié)助實時標(biāo)注空間點功能如圖5。

圖5 遠(yuǎn)程專家協(xié)助實時空間點標(biāo)注功能效果展示圖

圖6 HoloLens 端視頻協(xié)助效果

3.4.3 HoloLens 端遠(yuǎn)程協(xié)助設(shè)計。AR 眼鏡端作為一個被動接受的學(xué)習(xí)端，在操作過程中并不需要設(shè)計過多的操作手勢及命令，主要是接受遠(yuǎn)程工程師的指導(dǎo)意見，有效合理溝通。AR眼鏡端在聯(lián)網(wǎng)之后會自動從服務(wù)器獲取遠(yuǎn)程工程師在線列表，通過P2P 技術(shù)直接與工程師端進(jìn)行數(shù)據(jù)通信，效果[7]如圖6。

3.4.4 移動端/PC 端遠(yuǎn)程協(xié)助設(shè)計

移動端/PC 端視頻協(xié)助，使得單方或多方遠(yuǎn)端專家可以通過PC、平板、手機多種形式接收遠(yuǎn)程支持請求。在遠(yuǎn)程專家端，專家可以利用快速查詢功能，快速在文件資料庫中調(diào)取需要的文件并發(fā)送到主叫方。本文AR-App 遠(yuǎn)程專家/視頻協(xié)助原理和效果引述如圖7。

圖7 AR-App 遠(yuǎn)程協(xié)助專家原理圖

3.5 故障經(jīng)驗庫

故障庫收錄歷史設(shè)備故障及維修故障過程的信息，存管工程師多維度狀態(tài)的維修經(jīng)驗，通過數(shù)據(jù)分析在設(shè)備正常運轉(zhuǎn)的情況下判斷故障部位和故障原因，為未來狀態(tài)進(jìn)行預(yù)防維修提供依據(jù)，故障庫的運行設(shè)計思路即與設(shè)備診斷的安全高效邏輯具備強相關(guān)性。

操作工根據(jù)機器的當(dāng)前故障，通過故障任務(wù)提交系統(tǒng)，拍攝當(dāng)前機器的故障部位的視頻，圖片等，并在圖上標(biāo)注出來故障部位，詳細(xì)填寫故障的可能原因、故障現(xiàn)象、故障名稱等。提交給故障維修人員，可指定維修工程師，可提交公共維修小組，由小組指派人員維修。操作人員實時查看當(dāng)前故障的解決進(jìn)度，關(guān)注追溯是否有人接受相關(guān)的任務(wù)，維修人員及設(shè)備配置情況等。AP app 故障任務(wù)系統(tǒng)的錄入功能設(shè)計如圖8。

圖8 AR-App 故障任務(wù)系統(tǒng)錄入流程

3.5.1 故障庫智能錄入

信息智能錄入：通過藍(lán)牙定位技術(shù)，判斷智能眼鏡端用戶所處機臺位置，每次遠(yuǎn)程協(xié)助結(jié)束時，只要被人工判定為一次有效通話，系統(tǒng)自動讀取系統(tǒng)登陸用戶信息、系統(tǒng)時間、機臺位置、機臺數(shù)據(jù)等信息完成錄入。

智能語音管控輔助錄入：系統(tǒng)加入智能語音識別技術(shù)輔助簡化錄入過程，用戶只需要語音描述，系統(tǒng)自動匹配數(shù)據(jù)庫匹配專業(yè)詞匯，減少用戶錄入工作量，簡化錄入過程。

3.5.2 故障庫定制服務(wù)

AI 技術(shù)具備學(xué)習(xí)訓(xùn)練能力，因故障庫存儲隨機倍增，AR app 提供用戶定制化服務(wù)。AI 模型自動學(xué)習(xí)用戶的操作習(xí)慣和職業(yè)規(guī)律，為用戶提供不同的定制化歸集數(shù)據(jù)方案，預(yù)測用戶行為。用戶無須檢索或僅需輸入關(guān)鍵信息，快速感知設(shè)備維護(hù)所需的信息。AI 技術(shù)的運用研發(fā)，減少設(shè)備運維團(tuán)隊查找數(shù)據(jù)所消耗的時間，提高學(xué)習(xí)效率。

3.6 遠(yuǎn)程控制

AGV 小車具備自身零排放和全自動化的主要特點[8]，是煙草工業(yè)生產(chǎn)過程中的自動化運輸機器人以及柔性生產(chǎn)的關(guān)鍵設(shè)備。

隨著工業(yè)制造升級的自動化需求，對于AGV 要求高效和靈活，擔(dān)負(fù)更多自動裝卸和搬運任務(wù)。某工廠在生產(chǎn)現(xiàn)場研究改進(jìn)AGV 自動物流小車，結(jié)合圖形圖像算法、空間掃描、三維重建、人工智能識別等技術(shù)的室內(nèi)空間定位系統(tǒng)，認(rèn)為在技術(shù)配置上可優(yōu)化導(dǎo)航設(shè)備，有效提升AGV 小車運用的范圍，通過5G蜂窩移動通信技術(shù)，利用高帶寬、低時延等特性，實現(xiàn)AGV 小車全棧控制的智能化應(yīng)用[9]。

3.6.1 AGV 遠(yuǎn)程控制示例

某工廠計劃在配送作業(yè)的優(yōu)化流程中，將AGV 小車改造成為“全能型配送員”，不受計劃行徑的約束，而是在用戶指定范圍內(nèi)自由行走，不需要劃定所屬部門和工作區(qū)域。每一臺AGV 小車擁有自檢功能，只要用戶有需求進(jìn)行遠(yuǎn)程“下單”，每一臺AGV 小車自行完成條件判斷：“自身是否有搬運任務(wù)”、“自身狀態(tài)能否完成搬運距離”、“是否距離目標(biāo)點最近”、“任務(wù)優(yōu)先級是否最高”等，并選派最合適的一臺機器去執(zhí)行任務(wù)。

在此系列“配送“作業(yè)中，AGV 小車將自身傳感器數(shù)據(jù)通過5G 移動蜂窩傳送給遠(yuǎn)程終端，遠(yuǎn)程終端把傳感器數(shù)據(jù)通過數(shù)字孿生技術(shù)進(jìn)行還原，反饋給用戶。用戶通過電腦端、移動端、AR眼鏡等遠(yuǎn)程終端實時監(jiān)測到AGV 小車的行為，反饋一系列命令給AGV 小車而達(dá)到遠(yuǎn)程控制的目的，本文AR-App 手機端遠(yuǎn)程控制物流小車原理如圖9。

4 總結(jié)與展望

本文在智能眼鏡端/PC 平板端的AR app 定制化設(shè)計研發(fā)中，實現(xiàn)了某工廠圍繞“遠(yuǎn)程專家、物流小車AGV 改進(jìn)、經(jīng)驗庫智能維修”等創(chuàng)新應(yīng)用的研究，經(jīng)過系統(tǒng)測評，該廠設(shè)備維修專家和一線操作員工，都能在兩類終端操作AR 支持的智能化應(yīng)用，遠(yuǎn)程控制實現(xiàn)設(shè)備故障部位的智能識別和經(jīng)驗信息庫的整理提取，進(jìn)一步協(xié)助老員工經(jīng)驗的轉(zhuǎn)移及保存，AR app 將維修現(xiàn)場和外地專家進(jìn)行實時音視頻互動，支持遠(yuǎn)程專家指導(dǎo)、多人會診并實時輔助維修現(xiàn)場的具體維修工作，利用設(shè)備零部件的VR 拆裝功能實現(xiàn)用戶的輔助培訓(xùn)。未來在該工廠制造流程的智能維修場景，AGV 改造、遠(yuǎn)程交互智能化、員工輔助培訓(xùn)是最實用的示范功能。

由于智能眼鏡或平板電腦的硬件設(shè)備、計算性能的設(shè)計局限，本文的研究難點，體現(xiàn)在設(shè)備出廠限制、HoloLens 瓶頸、數(shù)據(jù)模型的智能分析、語音識別與操作等區(qū)域，如何破局？下一步，首先需要進(jìn)一步突破技術(shù)限制的難關(guān)，完善解決方案，聚焦關(guān)鍵技術(shù)及架構(gòu)設(shè)計。其次，智能化的目標(biāo)應(yīng)用，實現(xiàn)核心在于打通供應(yīng)鏈和生產(chǎn)系統(tǒng)之間的數(shù)據(jù)節(jié)點，讓數(shù)據(jù)運行得到合理真實的數(shù)據(jù)匯總，形成AI 智能生態(tài)維修體系。最后，研究和推進(jìn)增強現(xiàn)實技術(shù)的意義，在于解放雙手，解放生產(chǎn)力，實現(xiàn)虛擬信息的增強可視化，提高現(xiàn)實社會的智能化應(yīng)用實例，實現(xiàn)對現(xiàn)實世界人機交互的多重輔助效果。