基于AR/MR技術的智能穿戴設備在工業巡檢中的應用

方維嵐 吳奕龍 陳翀

(上海煙草集團有限責任公司,上海 200082)

0 引言

經歷歷次技改升級,自控數采、物聯網、大數據等信息技術正在制造行業供應鏈中不斷的落地延伸,已經具備了深厚的基礎。如何應用好這些既有平臺和數據,是“高質量發展”和提升智能制造水平總體要求的重要課題,也是智慧園區建設中加強人與園區互動、感知能力的重要方向。其中,設備互聯、人機互動是智能制造的重要一環。通過將智能前端設備“武裝”運維巡檢人員,可以將信息快速高效精準地傳遞給相關人員,在單位時間內使得個體獲取更多的信息量,大幅提高運維人員單兵作戰能力。

1 系統需求與總體設計

1.1 智能穿戴設備載體選型、配置及改造

對增強現實、混合現實技術深入研究、對比,并選擇一款適合行業生產現場的智能穿戴設備進行改造和利用。

滿足MR巡檢需要的要素為:支持空間定位、支持環境感知。目前可選最優的MR智能穿戴設備Hololens一代和二代。

1.2 車間工控信息接入整合

梳理目前車間現場工控數采情況、數據結構。并開發特定的接口,將原本相對孤立的工控數據與智能穿戴設備的AR/MR進行數據交互。

車間工控信息通過“DCS服務器”采集并接入OPC服務,我們采用一臺“巡檢服務器”,將其與“DCS服務器”連接到同一內網局域網,即可實現數據鏈路的打通,然后通過OPC協議連接DCS服務器和巡檢服務器,由巡檢服務器作為客戶端定時向DCS服務器發起請求,獲取數據。然后再通過Wi-Fi路由器轉發數據至巡檢智能眼鏡端(如圖1)。

圖1 車間工控信息接入整合物理架構圖Fig.1 Physical architecture diagram of workshop industrial control information access integration

1.3 室內精準定位技術及空間三維顯示、視覺輔助技術

基于視頻識別技術及近場通訊技術形成室內的精準定位。并整合場景識別、虛擬成像、空間及姿態精準定位功能,研發視覺算法,實現虛實結合展示。

MR智能穿戴設備HoloLens有4個環境感知攝像頭、1個深度攝像頭、1個IMU(慣性測量單元)。IMU負責感應設備的方向,環境感知攝像頭負責感應設備相對位置的偏移,深度攝像頭負責掃描環境還原周圍環境。

IMU和4個環境感知攝像頭負責解決“我在哪兒”問題,再加上深度攝像頭后解決“我周圍有什么”問題。深度攝像頭和普通攝像頭的不同就是能夠獲得拍攝對象的深度信息,從而獲得了環境三維立體數據,這其中涉及到SLAM技術。

HoloLens使用單目SLAM,首先提取圖像中的特征,然后根據相鄰幀圖像的特征去匹配,識別出場景某些特征點位置,并通過圖像的變化反向計算出相機的運動,即空間定位。

通過深度圖像獲得三維點云加上環境感知攝像頭計算出相機位置,將二者綜合計算得出網格模型,如此循環就可以通過移動相機獲取相機不同視角點云,重建完整的場景表面,即環境感知。

這兩個功能實現后,在設備運行過程可實時添加錨點,記錄當前環境網格信息、空間原點信息、相對于空間原點的錨點坐標信息,并保存這些信息到本地或云端,當二次打開應用,重新加載這些信息,與當前環境信息進行匹配,匹配成功則創建該錨點。另外對錨點進行編號,可對編號綁定其他信息。

1.4 基于AR/MR技術穿戴設備在工業巡檢中的應用

選擇合適的試點對象,構建應用場景。并根據應用場景設計AR/MR的技術系統架構,完成整套基于AR/MR技術的智能化巡檢可穿戴設備的實施展示。

1.4.1 應用場景設計

應用地點:空壓機房;

使用對象:培訓師、巡檢人員;

使用場景:

(1)日常巡檢:巡檢人員佩戴MR智能穿戴設備,進入空壓機房,開啟巡檢程序,MR設備自動在巡檢人員眼前顯示巡檢路線,以空間虛擬的3D箭頭指向,巡檢人員按照指示行進,巡檢路線上的設備(已配置的)自動以虛擬的3D效果顯示設備關聯的實時數據。當路線走完或設備數據檢查完畢后,巡檢人員操作退出程序,完成巡檢工作。

(2)設備維修:巡檢人員佩戴MR智能穿戴設備,進入空壓機房,開啟巡檢程序。當設備數據出現異常時,MR設備顯示屏上出現報警標志并指向該異常設備的位置,巡檢人員根據指向,前往設備位置,發現設備具體的異常數據,調取設備相關資料和維修指南,找到異常原因,進行維修,維修完成后,數據恢復正常,報警消失。巡檢人員退出程序。

(3)培訓:培訓師佩戴MR智能穿戴設備,進入空壓機房,開啟巡檢程序。同時另外使用一臺便攜式筆記本電腦,連接到同一無線網絡,開啟投屏軟件,實時同步MR設備的畫面,以供被培訓人員(如巡檢人員)觀看。培訓師按照巡檢路線行進,以此對設備進行查看、講解和操作,被培訓人員觀察學習。培訓結束后,退出程序。

1.4.2 技術架構設計

巡檢服務平臺整體包括數據交互接口、業務組件、支撐組件、標準規范和集成框架,各自承辦不同的功能,實現MR巡檢所需服務和運營(如圖2)。

圖2 巡檢服務平臺技術架構設計圖Fig.2 Technical architecture design drawing of inspection service platform

巡檢服務與工控系統通過OPC服務及標準數據接口進行數據交互。巡檢服務與MR智能穿戴設備通過Wi-Fi網絡及標準數據接口進行數據交互,MR智能穿戴設備獲取數據,進行數據解析、緩存,再通過SLAM算法對空間信息進行構建,匹配設備數據進行空間定位,支持手勢識別進行交互操作。

1.4.3 物理架構設計

“巡檢服務器”與“DCS服務器”同部署在IT機房,且與空壓機房的控制器機柜在同一局域網內,通過兩臺交換機連接。另將一臺“WI-FI路由器”接入到內網交換機,“WI-FI路由器”同樣放置于現場控制機柜內,WI-FI信號需要覆蓋整個室內環境。“MR智能穿戴設備”和“投屏筆記本”連接到“WI-FI路由器”,通過無線網絡和“巡檢服務器”進行數據交換。整個網絡都在內網搭建,不接入外網,安全可靠(如圖3)。

圖3 巡檢服務平臺物理架構設計圖Fig.3 Physical architecture design drawing of the inspection service platform

2 系統功能設計

根據系統需求和總體設計,我們將系統功能劃分為以下模塊和功能,見表1。

表1 系統功能模塊說明Tab.1 System function module description

3 結語

綜上所述,本文圍繞著基于AR/MR技術的智能穿戴設備在工業巡檢中的應用進行了介紹說明,實現了AR/MR技術在工業巡檢場景中的落地。在AR/MR技術的支持之下,巡檢工作人員可以更高效地進行巡檢作業,并因此節省了人工成本和時間。在未來,AR/MR技術將會在更多的行業和場景發揮更大的作用。