基于增強現實的電力系統云平臺綜合解決方案

何雙伯,李軍鋒,劉曉,郝騰飛,馮偉夏,黃成云

基于增強現實的電力系統云平臺綜合解決方案

何雙伯,李軍鋒,劉曉,郝騰飛,馮偉夏,黃成云

廣東電網有限責任公司, 廣東 廣州 510520

為了實現電力企業電網運行的自動化和智能化，提升基于增強現實（AR）的綜合解決方案，研究設計了基于AR電力系統云平臺的綜合解決方案。電力系統解決方案包括設備檢查、緊急修復、設備維護和電力線路巡檢等操作，采用AR頭戴式智能設備、便攜式智能傳感器，以及音頻圖像等部分，構成了一個人-硬件-軟件的完整范式。為了結合電力系統運行現場的特征，所提系統改進了現場操作模式，主要通過終端多維展示、后臺數據融合、自定義服務等交互式協作。在一些電力企業的實施中，所提系統能夠向電網現場提供基于AR的綜合解決方案，具有較好的自動化和智能化。

電力系統; 增強現實; 智能設備; 云平臺

增強現實[1]（Augmented Reality，AR）是通過虛擬現實[2]（Virtual Reality，VR）發展起來的一個新的研究領域。AR是一種將計算機生成的虛擬對象或信息與真實環境相結合，由此增強或擴展合成場景的技術。增強現實與虛擬現實的區別在于，AR并非將用戶與現實世界隔離，而是將計算機生成的虛擬物體或信息加入真實的場景中，以構建虛擬和現實的混合空間[3]。從觀察者的角度來看，真實物體和虛擬物體（或信息）共存，且可以互相增強或補充。增強現實技術能夠增強人們對現實世界的感知和交互能力，具有廣闊的應用前景，是近年來的研究熱點。

近年來，我國加大了電網建設力度，特別是建設了一系列遠距離輸電網絡，擴大了輸電線路的規模。各省份的電力公司不斷嘗試使用新技術，以提升工作效率。但同時也對巡檢作業的管理和檢查提出了更高的要求。當前市場上的操作輔助系統大多采用傳統的固化操作模式，過程不靈活，不能滿足基于個性化定制的電網運行要求。由此常常會產生不必要的冗余，降低使用期望。AR技術的使用可以提升工作自動化和智能化，改善工作環境。

在電力系統中，每年在AR技術上進行的科研項目數量與投入呈幾何式增長。如文獻[4]通過攝像機標定得到故障源對應的位置信息，以全局增強現實的形式顯示輸出。文獻[5]通過對在設計、建造、運行維護等階段實例應用的分析，得出AR技術可以幫助電力企業從二維圖紙及模擬仿真等模式，轉變為真實+虛擬的設計、施工及運行的全新設計。文獻[6]提出了一種增強現實電力系統及其相應的設計方案，利用自由空間中數字化三維模型與投影儀的幾何關系推導出了一般的反投影模型，并設計了相應的標定方法。

目前，在我國的電力公司的實際應用也有一些成果，如國網江蘇省電力公司已經著手于集成化可穿戴檢測設備小型化研究，中國南方電網公司成功研制出智能頭盔，安徽電力公司研發出的可穿戴巡檢設備以大數據、定位和導航技術為基礎，主要包括后臺數據庫、三維變電站巡檢模型、GPS導航模塊和可穿戴智能終端。國網江蘇省電力公司研發了一些綜合檢測設備，包括便攜式智能檢測管理綜合機，紅外線、紫外線、超聲波傳感器等，能夠檢測常見的安全隱患，并在電力設備的功率瞬態檢測中進行局部放電。

目前AR技術不夠成熟，智能化和自動化的優勢還有待提高，本文結合電力系統運行現場的特征，通過例如終端多維展示、后臺數據融合、自定義服務等交互式協作，改進現場操作模式。由此，提出了云識別系統能夠向電網現場提供基于增強現實的自動化、智能化解決方案。

圖 1 本文系統架構

1 系統架構

提出的系統由硬件平臺和軟件支持兩部分組成，包括顯示硬件、人機交互等，如圖1所示。顯示硬件通過智能可穿戴設備，例如頭盔顯示器、智能眼鏡、智能手環、移動終端等，為用戶提供當前真實的環境、計算機生成的虛擬對象和文本的同時顯示。

智能設備具有接近普通PC的功能，同時包含內置相機、紅外通信接口、藍牙無線接口和GPS定位裝置。智能設備是增強現實的載體，隨著智能設備的容量、移動性、交互性的提升，有望將增強現實技術應用到更多的領域。

在融合了虛擬和真實的顯示設備之外，還需要理解人機交互設備的使用者意愿[7]。傳統的鍵盤鼠標無法實現充分的人機交互，還需要一系列更自然的交互手段，包括影像識別、語音識別和頭部姿態識別等。此外，還需要通過計算平臺完成例如融合現實、虛擬物體渲染和人機交互等復雜操作。

在硬件平臺之外，需要一整套的軟件支持，包括識別當前使用者所觀察的目標類型和場景，定位識別，跟蹤軟件，虛擬三維目標實時渲染，三維圖形繪制融合顯示軟件等。硬件和軟件平臺共同組成了移動增強現實系統。

2 系統的具體實施

2.1 體感交互

本文利用智能設備中集成的便攜傳感器采集人體運動加速信號或角速度信號數據，基于數據類型進行數據處理，然后通過高效算法識別人體頭部姿態。該方法具有以下優點：

首先，不受環境約束。由于加速傳感器是直接集成在智能眼鏡（或頭盔）中并在用戶體驗過程中收集數據，因此不需要考慮外部環境限制和影響（如光照、障礙等），同時也不需要任何其他的額外設備（例如相機等）或其他人的監督。由此，用戶可按照日常工作習慣來行動，不需要考慮其他額外因素的影響。這種情況下采集到的數據能夠更好地訓練場景識別模型，以反映真實工作環境。

其次，成本較低。由于提出的方法中僅使用智能設備集成的視頻攝像頭和低成本加速傳感器，不需要使用昂貴的視頻攝像機。圖2是本文使用的Mira Prism智能眼鏡，是一種類似于三星Gear VR或Google眼鏡[8]的虛擬現實設備。但是該設備有兩個巨大的非硬件優勢，價格低于1000人民幣，內部設有電腦或相機技術，使用IOS操作系統，可以利用蘋果的ARKit平臺[9]，軟件可將大多數ARKit應用程序轉化為實際的投影疊加層。提出的智能設備不但成本低，且具有尺寸小、敏感度高和低功耗的優點。

圖 2 Mira Prism智能眼鏡

第三，便于進行數據采集。加速傳感器在用戶身上攜帶，可以非常簡單地采集使用者的運動數據。加速傳感器設備可以在用戶移動過程中輕易獲取運動數據，且無需用戶的主動參與。

最后，加速信號包含頻域和時域中的大量信息，通過加速信號能夠得到用戶頭部移動、速度和角度等各種有效信息。動作識別主要包括運動檢測單元、運動標定、運動捕獲和跟蹤，其中運動檢測單元的硬件設備包括三軸陀螺儀MEMS，三軸磁力計校準，以及在體感交互過程中用于運動捕獲和跟蹤的姿態和角度定義算法，如圖3所示。硬件與軟件的范式如圖4所示，在這個過程中，沉浸感實現高幀率（至少95 fps）和低延遲[10]。且屏幕響應時間低于3 ms，這樣能夠避免用戶在移動頭部時感到不適。

由定義8可知，發動機E處于第1次裝試的部裝任務節點t3=t4∪t5∪t6，t4，t5，t6的相對完成工時量為70，200，280，則t3的相對完成工時量為FWH3=280-max{150-70,0,0}=200，部裝任務節點t3的進度ra3=200/280=71.4%，在裝發動機E的裝配進度Ra=(5+5+200)/1 900=11.1%。

圖 3 體感交互

圖 4 人-硬件-軟件所構成的范式

2.2 云平臺搭建

在系統的設計和實施中，使用基于AR插件的增強顯示配準跟蹤和模型優化表示[11]。利用Eclipse+Java完成特定功能模塊，例如遠程輔助、語音識別、紅外溫度等輔助模塊的開發。

在云平臺搭建過程中，基于開源方法進行平臺開發，利用輔助功能解決電力運行中的問題，降低在終端上存儲的照片和模型資源的云識別，通過服務器數據融合提升服務分類操作效率并實現用戶共享。系統架構如圖5所示。

在提出的基于AR的電力系統云識別方法中，主要問題的技術解決方案如下：

1）為通過該系統改進運行時操作模式，系統被分為三個部分，即多維顯示終端，后臺數據融合以及高級云平臺，以實現服務共享和三方協作服務。終端應用分布在國內各個省份的不同區域，后臺服務器的高級服務則共享一個云平臺。

2）終端應用具有較好的通用性，可以在智能手機、平板、智能眼鏡、智能頭盔，以及例如智能手環等可穿戴智能設備上運行。各個區域中的后臺服務器為特定變電站提供定制化的基礎服務。高級服務，例如遠程輔助、照片識別、語音識別和增強現實等在云平臺上實現，提供統一的升級服務。

2.3 增強現實云識別

由于智能設備的計算性能和圖形顯示能力相對較弱，為減輕中斷的計算負擔，增強現實使用基于C/S的系統架構，終端和服務器共享計算任務，服務器通過互聯網或LAN返回計算結果，增強了顯示在中斷屏幕上的實際效果，如圖6所示。

圖 5 本文系統的云平臺構建

圖 6 系統結構

在智能終端上基于空間位置和姿態完成設備跟蹤，根據該信息計算出虛擬目標，并在終端上完成虛擬目標圖像與真實場景圖像的準確匹配。其中最重要的技術是虛擬跟蹤和現實跟蹤的結合。增強現實系統中基于配準的設備跟蹤可被分為兩類：終端跟蹤配準，即跟蹤器方法；以及利用計算機視覺系統和特定算法得到的實施虛擬目標，即虛擬方法。其中虛擬方法可被分為標記方法和自然特征方法。

該系統針對圖像配準、跟蹤和定位，采用了以下跟蹤技術。視頻檢測：利用模式識別技術，模板匹配和邊緣檢測方法，識別預定義的標記、目標或參考點，然后根據偏移量計算旋轉坐標變換矩陣。GPS：用于戶外跟蹤，確定用戶位置。超聲波：原理與GPS相似，使用測量接收裝置和三個已知的超聲波源的距離來確定用戶位置。通過陀螺儀旋轉角度確定用戶頭部姿態，以及虛擬場景中的虛擬目標轉換內容。

面向實體的虛擬信息融合云識別系統的工作流程如下：得到作業現場工作人員的運行時真實電力設備信息，分析真實設備和位置信息，生成虛擬場景、融合視頻并直接顯示。首先，在視頻流中對場景位置信息進行標記，基于從真實場景中得到的相機定位信息通過虛擬目標映射平面中的轉換矩陣計算相機平面中的虛擬目標。然后在輸出設備上展示融合場景。通過輸出設備、跟蹤和定位技術和交互技術的結合，完成AR系統的實施。

通過陀螺儀傳感器獲取用戶頭部旋轉角度，使用圖像跟蹤技術獲取目標信息，在用戶設備中簽名并傳遞至后端服務器，然后生成虛擬現實，最終將真實圖像和虛擬信息進行合并，并展示出疊加影像。現場檢測人員通過審視電力設備外觀，可在終端上快速得到電力設備三維模型、額外結構和操作指南。并可通過設備操作指南迅速準確地發現并解決故障。

2.4 模型的優化與渲染

三維圖像模型的畫面與優化渲染是AR技術中的關鍵一點。本文系統所用的優化和渲染軟件有Balancer和Maya等。其中，Balancer是一款專注于模型優化的軟件，因為功能專一，在三維模型的減面與合并功能上非常強大。其優化的畫面例子如圖7所示，可以看出其最終效果非常好，且他的可操作性較好，計算機速度快。

Maya作為3dsMax的同類型軟件，用于將高精度模型簡化成一個低面數的代理模型。為了給電力用戶創造身臨其境的感受，需要制作方盡量避免龐大的數據量給系統帶來沉重的運算負擔，或者在保證模型質量的前提下，盡可能縮減與優化3D模型的數據量，這方面Maya做的較為完美，且操作簡單，可用性好，實例效果如圖8所示。

圖7 對羊角斷路器進行Balancer優化

圖8 對電流互感器模型進行優化渲染

3 結論

本文提出了一個基于AR的云識別電力系統平臺，在一些電力企業的實施和實踐中，所提系統能夠向電網現場提供基于AR的自動化和智能化的綜合解決方案。其特征如下：

根據區域劃分終端和后臺服務器，不同部分的終端和后臺服務器共享云平臺的高級服務，其中包括變電站定制化基礎服務和高級服務。可通過更新云平臺實現高級服務升級，及時、有效和準確地提升用戶體驗。終端主要被用戶數據采集和展示，云平臺主要負責數據融合和資源存儲，由此解決了終端設備處理能力不足、存儲容量有限的缺點。

通過功能模塊劃分，提高了系統的可擴展性。利用增強現實技術實現真實世界和虛擬場景的結合，能夠提升電力運行的自動化和智能化，有效提高工作效率。

在設計和實施過程中，存在以下難題：

首先，交互模式的無縫切換。作為輔助操作手段，根據不同場景中的工作環境，動態選擇一種交互模式。舉例來說，在光線較差的場景中首選語音交互，次選為姿態交互；在嘈雜環境中，首選姿態交互。其次，雙向操作理念。利用各種交互模式，在同一個工作場景中，遠程和現場的工作人員之間可彼此進行交互，共同完成任務。例如當遠程觀察時，旋轉頭部，選擇視場，通過姿態交互完成放大和縮小。其中相應的硬件需要進行環境檢測，并通過軟件輔助判定。

其次，增強現實在顯示方式、交互體驗和顯示效果方面具有明顯的優勢，可顯著提高三維模型和實體設備的分析能力。但當前增強現實的識別跟蹤研究領域，受環境因素（例如光強、角度）的影響較大，如何確保全天候正確識別和虛擬模型的合理自然疊加，尚有待進一步研究。

[1] 高翔,安輝,陳為,等.移動增強現實可視化綜述[J].計算機輔助設計與圖形學學報,2018,30(1):1-8

[2] 張鳳軍,戴國忠,彭曉蘭.虛擬現實的人機交互綜述[J].中國科學:信息科學,2016,36(12):23-48

[3] 沈克,蔣建國,彭太樂.基于增強現實的人機物理交互仿真系統研究[J].計算機仿真,2008,25(4):210-212,217

[4] 鄧麗,魯琛瑤,邵宇鷹,等.增強現實技術在電力系統故障源標識中的應用[J].系統仿真學報,2014,26(10):2386-2390

[5] 蘇博,蘇陽,張壯.增強現實技術在火電廠全生命周期的應用探討[J].電力信息與通信技術,2017,26(4):17-21

[6] Liu M, Yang S, Wang Z,Generic precise augmented reality guiding system and its calibration method based on 3D virtual model[J]. Optics Express,2016,24(11):120-132

[7] Tang J, Kim S. A Service-oriented device selection solution based on user satisfaction and device performance in a ubiquitous environment[J]. Multimedia Tools and Applications, 2015,74(23):10761-10783

[8] homas BH, Marner M, Simon T,. Spatial augmented reality — A tool for 3D data visualization[C]. IEEE Vis International Workshop on 3dvis. IEEE, 2015:45-50

[9] 張永生,王勇.基于AR的互動式3D電子書的研發與實現[J].齊齊哈爾大學學報:自然科學版,2016,32(2):60-63

[10] 劉飛洋.虛擬場景真實感繪制關鍵技術研究及實現[D].成都:電子科技大學,2011

[11] 張國亮,吳琰翔,王展妮,等.基于視覺標記的增強現實系統建模及配準誤差問題研究[J].計算機科學,2015,42(6):299-302

[12] Sun G, Qiu C, Qi Q,The implementation of a live interactive augmented reality game creative system[C]. International Conference on Cyberspace Technology, IET, 2015:127-135

Integrated Solution of Power System Cloud Platform Based on Augmented Reality

HE Shuang-bo, LI Jun-feng, LIU Xiao, HAO Teng-fei, FENG Wei-xia, HAUNG Cheng-yun

510520,

In order to realize the automation and intellectualization of power grid operation in power enterprises and enhance the comprehensive solution based on augmented reality (AR), a comprehensive solution based on AR power system cloud platform is studied and designed. Power system solutions include equipment inspection, emergency repair, equipment maintenance and power line patrol operations. A complete human-hardware-software paradigm is formed by using AR head-mounted smart devices, portable smart sensors, and audio images. To combine the characteristics of power system operation site, the proposed system improves the field operation mode, mainly through interactive collaboration such as terminal multiple-dimensional display, background data fusion, custom service and so on. In the implementation of some electric power enterprises, the proposed system can provide a comprehensive solution based on AR to the grid site, which has better automation and intelligence.

Power system; augmented reality; smart devices; cloud platform

TP391

A

1000-2324(2019)03-0477-05

10.3969/j.issn.1000-2324.2019.03.026

2018-03-01

2018-04-13

何雙伯(1983-),男,碩士研究生,工程師,主要從事電力系統與自動化工作. E-mail:heshuangbodada@163.com