基于增強現實技術的電網設備檢修系統的研制

陳 聞 毛亞飛 朱 毅

（1.湖北華中電力科技開發有限責任公司，武漢 430060；2.武漢昱然智能科技有限公司，武漢 430000）

作為人工智能領域的前沿應用，增強現實（Augmented Reality，AR）是在用戶觀察到的真實自然環境中添加計算機生成的文字、3D模型等信息的技術[1]。它可以將真實的環境和虛擬的信息實時地疊加到同一個畫面或空間中，同時存在，被人類感官所感知，擴展了人類感官的范圍，從而達到超越現實的感官體驗。目前，圍繞該技術的各種應用研究正在蓬勃開展，德國寶馬汽車公司利用增強現實技術開發了汽車維修輔助系統。英國牛津大學基于增強現實技術開發了示波器使用引導系統[2]。我國的陳靖、王涌天團隊也開發了基于增強現實技術的圓明園景觀數字重現系統[3]。增強現實技術在醫學研究、教育培訓和文化娛樂等諸多領域已有成功應用的實例。

本文以電網配電線路設備智能化檢修為業務切入點，對基于增強現實技術的配電線路設備檢修系統進行了設計與研究。該系統依托增強現實技術，借助智能手機、AR眼鏡等智能設備，通過快速響應碼（二維碼）及特定圖形識別等技術，快速識別并顯示變壓器、門禁、桿塔、線路等電力設備的基礎臺賬、檢修次數、運行狀態和常用檢修方法等設備信息，突破了現場檢修人員的感官限度，有效提升電網企業“輸變配”設備檢修的智能化程度。

1 研究現狀

目前，國內外VR技術與AR技術蓬勃發展，各行各業對先進的VR技術與AR技術多有應用。AR技術在視覺上把虛擬世界嵌入現實世界并進行互動，可幫助觀察者更全面地了解背景、獲取信息和擴充知識，以達到更深入理解的效果[4]。

在國內，有的企業結合VR技術的特點與變電站的仿真培訓的需求，開發了變電站仿真培訓軟件。有的企業基于Querst平臺開發出了帶作業VR仿真平臺，這些系統均發揮了VR虛擬現實的特點，很好地解決了電網培訓作業員工培訓成本及安全問題。但這些系統基本都是一種通用化的VR視頻制作平臺，無法對生產或檢修一線的人員提供實時有效的信息支撐，而AR技術的開發和利用將有效補充這一方面的不足。

從最早提出增強現實的概念到當下的廣泛應用已過去了幾十年的時間，如表1所示，目前世界上最大的AR sDK供應商及AR設備供應商均在國外，在圖像追蹤與分析、算法效率、算法準確率和設備體驗等多方面均領先于國內同類型產品。

表1 VR SDK及VR設備供應商

2 關鍵技術

本系統的核心功能是能夠通過移動APP和可穿戴設備實時識別并展現出配電線路設備的維修記錄、維修方法、出廠信息、設備拆解、操作手冊以及檢修資料等信息，應用的關鍵技術有增強現實、三維建模和二維碼識別等技術。

2.1 增強現實

增強現實就是把虛擬帶進現實，利用虛擬來輔助人們更好地認識現實、理解現實和利用現實[5]。增強現實具有三大關鍵技術：三維注冊，即利用自動跟蹤技術將虛擬模型和真實物體精確地對準，解決虛實匹配的問題，其中，虛實遮擋是研究的一個難點；虛實融合顯示，即使虛擬模型和真實世界中的物體共存于用戶的視野中；人機實時交互，用戶可以與視野中的真實物體和虛擬物體進行實時的交互[6-7]。

AR系統的應用流程主要由四個環節組成：虛擬信息的建立、渲染；真實世界中的跟蹤、定位；虛擬信息的注冊、顯示；實時的人機交互。虛擬信息的建立和渲染在電網中主要是通過一定的方法來建立電網本體和電網設備的3D模型[8]。而真實世界中的跟蹤和定位主要包括使用單一姿態跟蹤器的方法和混合跟蹤技術[9]。

當下較為成熟的AR技術由微軟掌握，通過Vuforia、ARToolKit等AR-sDK工具開發后，微軟AR眼鏡Hololens就能夠提供通過攝像頭識別物體、展示相關數字信息的功能。合理使用這一特性，就能實現現場檢修人員通過AR眼鏡識別變壓器、門禁、桿塔和線路等電力設備，在AR眼鏡上通過全息投影的方式實時展現相關設備的維修記錄、維修方法、出廠信息、設備拆解以及操作手冊等信息。

2.2 三維建模

Unity 3D是一個跨平臺的3D應用開發引擎，支持Windows、Mac、iOs和Android等平臺，通過該引擎可以直接發布網頁3D應用、手機3D應用等[10]。Unity 3D是由Unity Technologies開發的一個讓玩家輕松創建諸如三維視頻游戲、建筑可視化、實時三維動畫等類型互動內容的綜合型開發工具，可用于擴增內容的實現。擴增內容是指在真實場景中附加的虛擬內容，包括三維模型及動畫、語音、視頻等素材，其中工作量最大的當屬三維模型[11]。

本系統使用的建模工具為Pro/E和3Ds Max，可生成高精度的設備零件三維模型，經3Ds Max美化及補充后，最后導入Unity 3D平臺。建好的變壓器模型如圖1所示。

圖1 變壓器模型

如圖2所示，本系統通過Unity3D、Pro/E、3Ds Max等三維建模技術及AR技術的綜合運用，能使變壓器、門禁、桿塔、線路等電力設備的拆解、維修過程以二維視圖或三維全息視圖的形式實時再現，對現場檢修人員進行有效的同步指導。

圖2 AR現場檢修示例

2.3 二維碼識別

人工標識是用攝像頭捕捉到的方便電腦三維跟蹤的標志物，可以放在電子產品畫面上顯示，也可以打印成紙質版[12]。本系統以二維碼作為人工標識，利用軟件系統生成配電線路設備二維碼，作為電力設備的唯一標識。該標識通過數據庫技術關聯對應設備的維修記錄、維修方法、出廠信息、設備拆解、操作手冊以及檢修資料等信息，在工作現場，通過手機或AR眼鏡的攝像頭掃描設備二維碼就能夠實時展現相關設備信息。

3 架構設計

3.1 業務架構

如圖4所示，設備信息庫由臺賬信息維護、巡檢記錄維護和視頻輔助信息維護組成。臺賬信息維護以業務系統中相關數據為基礎，支持信息補錄和擴展；巡檢記錄維護用于維護設備的巡檢記錄信息；視頻輔助信息維護用于維護檢修作業指南等相關視頻信息。

圖3 系統功能視圖

圖4 業務架構圖

信息處理服務由消息推送、視頻轉換、信息查詢、信息加密和3D建模等構成。消息推送用于同手機或可穿戴設備的通信，實現消息接收和推送；視頻轉換，針對部分業務場景，制作VR視頻，同時支持部分傳統視頻的VR轉換；信息查詢用于支持多維度的信息查詢服務。信息加密用于實現信息傳輸過程中的加密和脫敏處理；3D建模用于對核心設備進行3D建模仿真；消息日志用于實現操作級系統日志記錄。

信息展現服務由消息解密、APP客戶端和AR展現組成。消息解密用于對部分信息進行解密后展示；APP客戶端用于實現基于Android的客戶端程序，實現設備掃描和增強現實信息展示；AR展現通過可穿戴設備，提供增強現實信息服務。顯示輸出和實時人機交互的研究中，不同的輸出設備、不同的人機交互方式給用戶帶來不同的體驗[13]。

3.2 技術架構

如圖5所示，系統主要分為三個層次，最底層為數據層，由關系型數據庫提供支撐，MYsQL為服務器端數據庫，作為主數據庫使用；sQLLite為手機或手持設備端數據緩存，用來提升響應速度或支撐離線使用；由于本系統中部分數據來源于業務系統，故需要開發專門的接口程序進行數據抽取和同步。中間的服務層依托底層數據庫，通過socket和webservice等通信手段，對終端設備提供數據服務。系統最上層為終端設備，由手機APP或可穿戴設備（微軟Hololens眼鏡）作為展現端，為用戶提供AR信息輸出。

圖5 技術架構圖

4 技術難點

目前，基于增強現實的智能穿戴技術已在消費電子、工業和醫療等領域中取得多項創新應用，通過引入增強現實技術，給電網設備的安裝、運行和檢修作業帶來了新的信息化、智能化解決方案[14]。

微軟Hololens是世界第一款完全無線的全息計算機，融合了最先進的光學元件和傳感器，能夠將3D全息圖形固定到用戶周圍的真實世界中，使用者能夠通過凝視、手勢和聲音與HoloLens交互。HoloLens可以通過簡單的手勢或語音設置來完成包括選擇、移動和調整的操作[15]。基于微軟HoloLens眼鏡的AR開發是實現本系統功能的技術難點。

4.1 HoloLens開發工具

開發HoloLens全息應用將使用UWP平臺（Universal Windows Platform），所有的HoloLens應用都是Win10通用應用，所有UWP通用應用都可以在HoloLens上運行。2D應用可以使用任何可以開發UWP應用的工具開發，如用來開發PC、平板和Windows Phoned通用應用的工具。這種應用將被表現為2D投影，并且能夠跨設備運行。全息應用需要使用基于Windows全息API（Windows Holographic APIs）設計的工具來開發。本系統使用Visual studio and the Windows sDK、Windows Device Portal、HoloLens emulator、Unity等工具開發HoloLens應用。

4.2 Vuforia與Hololens的集成

Vuforia是一個能讓應用擁有視覺的軟件平臺，Vuforia的關鍵特性包括對圖片、物體、文本和標記的識別和追蹤。Vuforia提供的Unity插件使得開發者可以使用Unity引擎很容易地創建AR應用和游戲，Vuforia插件和Unity標準版以及專業版都是兼容的。

Vuforia與HoloLens的集成應用能將AR體驗應用到環境中的特定圖像和物體，是為HoloLens可以看到的任何物體添加AR體驗的理想解決方案。Vuforia在6.1版本的Unity sDK里實現了對HoloLens的支持，使用Vuforia為HoloLens開發應用，人們需要在Vuforia的ARCamera和場景攝像機之間建立綁定關系，同時啟用對Image target的追蹤，確保Vuforia能夠和HoloLens空間映射以及定位追蹤系統一起來正常工作。

本系統通過Vuforia與HoloLens的集成開發，使HoloLens能夠通過快速響應碼（二維碼）或特定圖形識別配電線路設備檢修現場的變壓器、門禁、桿塔和線路等電力設備，并通過二維視圖或三維全息視圖的方式實時展現相關設備的維修記錄、維修方法、出廠信息、設備拆解以及操作手冊等信息。

5 結論

現有的針對現場檢修的移動作業輔助工具操作復雜，響應速度不夠理想，且信息的展現形式較為單一，大多數需要在聯網環境下使用。本文對基于增強現實技術的電網設備檢修系統進行了設計與研究，本系統能夠將更全面和豐富的信息以更直觀、更快捷的方式呈現給用戶，借助可穿戴設備或移動終端，通過“即視”的方式獲取相關信息，提升設備識別的速度和巡檢工作的效率；通過AR技術，利用3D建模，模擬設備內部構造，突破現場巡檢人員的感官范圍，為現場作業提供更為全面和深層次的技術支撐；能夠利用AR設備的本地存儲與計算能力，支持斷網作業，充分適應我國部分偏遠地區移動網絡信號差的現實狀況。