基于AR與ASR的變電運檢系統設計與實現

梁日才，劉文平，羅海鑫，王曉強

（1.中山市電力工程有限公司，廣東 中山 528455；2.南方電網廣東中山供電局，廣東 中山 528401）

0 引 言

如今社會經濟的發展更加迅速，工業生產與日常生活對電力的需求急劇增加，保障電力系統的安全穩定運行尤為重要。電力系統運行中變電系統占據非常重要的位置，變電設備在高負荷運轉下很容易出現故障，電力企業需要開展變電設備定期巡視、維護、檢修和緊急搶修工作[1,2]。變電消缺工作質量對故障處理效率具有直接影響，但目前的變電消缺工作受限于現場運行與檢修人員技術水平，存在工作效率不高以及消缺效果較差等問題，亟需對變電運檢工作模式及技術進行優化[3-5]。因此，設計一款變電運檢系統，為現場運行與檢修人員提供及時高效的專家會診服務，從而提高變電消缺工作的可視化及智能化水平是十分必要的。

傳統變電運檢模式存在以下缺點。

（1）設備缺陷分析和處理能力不足。變電站設備多樣，設備缺陷多且性質不同，正常情況下運行人員通過簡單的經驗方法（例如看、聽、嗅等）判斷，同時可以結合專業的檢測設備（紅外測溫儀、局部放電測試儀、SF6氣體檢漏儀等）對變電設備進行運維，但是運行人員對設備缺陷表象、等級不清楚，導致誤判情況的發生，在巡視設備時不能及時發現缺陷。

（2）交互效率低。人機交互方式效率較低，需要現成人員在手持機上查詢數據，無法解放人員雙手。現有裝備儀器具有體積大、攜裝不便、布線復雜、操作復雜、功能單一以及設備身份與數據關聯依賴人工等特點。

（3）設備關聯差。常規運檢作業中，運檢設備量大，設備身份與后臺運檢數據關聯過程影響了運檢工作效率。數據交互通過紙質記錄，易出錯，相關信息無法及時便捷獲取。

（4）診斷效率低。變電設備關聯信息無法及時獲取，影響設備的綜合診斷效率。診斷分析靠人工診斷，專業要求高，報告編寫會造成大量重復勞動。

為了解決上述變電運檢工作智能化水平低，無法為現場運檢人員提高決策性支撐能力的問題，本文基于增強現實（Augmented Reality，AR）和自動語音識別（Automatic Speech Recognition，ASR）等技術設計了智能云E安全帽，是一款帶智能眼鏡攝像頭及帶網絡的智能安全帽，具有錄像、本地存儲及夜間照明等功能，搭配云E系列管理軟件（名稱“云E直播”安卓版本）可實現實時語音對講（遠程指導作業）、直播（協同作業）、人員全球定位系統（Global Position System，GPS）定位、環境溫濕度感應、人身安全報警、人臉識別及可視化管理功能。通過使用智能云E安全帽可以實現高效率、高精度的檢修工作，維持電力系統的最佳運行狀態，從而保證電能的安全與可靠，對工業生產、居民生活以及各行各業的穩定運行具有重要意義。

1 基于AR與ASR的變電運檢系統的結構與功能設計

1.1 組織架構

如圖1所示，智能云E安全帽系統結構包括自然交互、功能模塊、系統對接和后臺管理。自然交互采用可視化用戶界面 （User Interface，UI）設計，將安全帽、手機、平板以及電腦等終端設備聯系起來。功能模塊分為語音交互、按鍵交互和手勢交互3種方式，實現了實時直播、通話以及錄制、人員GPS/北斗定位、溫濕度感應、安全報警以及人臉識別等功能。系統對接部分采用云/本地服務器技術，實現了遠程協同、現場作業錄像、巡檢信息庫、定位、數據庫存盤跟蹤和云數據庫等功能。后臺管理包括數據管理、任務管理、系統管理、信息管理、設備管理以及智能識別6大部分，后臺管理可以使所有的工作任務都能統一且高效的管理。

1.2 硬件及配置

如圖2所示，智能云E安全帽硬件由近電預警模塊、主機按鈕、前照明燈、電源、攝像頭、接口、AR光學屏以及溫濕度傳感器等組成。其中近電預警有5個檔位（220 kV報警距離4.5～6 m、110 kV報警距離2.5～4 m、35 kV報警距離1.5～2.5 m、10 kV報警距離1.2～1.8 m、220 V報警距離0.6～1 m），分別對應不同的電壓等級，并且通過蜂鳴器進行提醒警示；主機按鈕包括開關機按鈕、電源指示燈和自定義功能按鈕，作業人員通過操作主機按鈕實現設備開關機；前照明燈作用是為作業人員提供照明和攝像頭補光；電源采用可更換鋰電池設計，為裝置提供工作電源；攝像頭采用1 300萬像素攝像頭，供作業人員拍照、錄像、視頻時使用；裝置提供USB、藍牙、Wi-Fi、3.5 mm音頻接口，方便作業人員使用；AR光學屏可以波導近眼顯示作業人員需要的資料，例如作業指導書、圖紙、廠家資料、歷史缺陷信息等；溫濕度傳感器可以實時監測作業環境的溫濕度值，異常時及時提醒。

圖2 智能云E安全帽組成配件

1.3 功能設計

智能云E安全帽可實現智能芯片、高清攝像、發光二極管（Light-Emitting Diode，LED）照明、數據儲存、人臉識別、直播語音通話、定位、溫濕度感應以及安全守護等功能。

1.3.1 直播語音通話

在巡視維護工作中，運行人員發現設備缺陷時，通過智能云E安全帽與遠方專家進行直播、語音通話，指導現場人員查找缺陷原因。在檢修工作中，檢修人員通過直播與遠方專家建立聯系，將檢修第一視角展示給專家，從而實現專家遠程會診，協助現場作業人員進行消缺工作。當現場工作遇到難以解決的問題時，專家能以最快的速度參與現場工作，通過本功能將專家的能力和作用發揮到極致。專家不用親臨現場，即可通過設備獲取到所有現場信息，省去流程審批和花費在路途上的時間，智能云E安全帽直播現場展示如圖3所示。

圖3 智能云E安全帽直播現場展示

1.3.2 智能芯片

設備通過采用高端智能芯片實現了高效智能連接，包括AR集成高速處理器、AR光學屏、4G/5G無線通信模塊等。智能芯片集成了AR和ASR的功能，當運行人員和檢修人員在現場需要查詢資料時，只需要用語音喚醒設備，將所需用語音的形式傳達給設備，設備就會將相應的資料和圖紙通過AR顯示屏呈現到檢修人員的眼前，從而在檢修工作中釋放了雙手，而且調取資料的速度也有一定程度的提升。

1.3.3 高清攝像

設備采用大視角21°攝像頭，能捕捉更多畫面，采用百萬級像素攝像頭成像更清晰，可以實現視頻實時連接、高保真語音在線通話、后方遠程觀看實時指導作業等功能，變電消缺工作更加高效便捷。

1.3.4 人臉識別

作業人員佩戴安全帽前，通過攝像頭拍照上傳至后臺，將人臉信息與數據庫中的人臉信息進行對比，分析面部特征，判斷是否為同一人，更便捷地進行人員管理。現場人臉識別還能快速查看人員信息，如圖4所示。

圖4 智能云E安全帽人臉識別功能展示

1.3.5 數據儲存

作業人員佩戴智能云E安全帽，可以通過主機按鈕或者AR全息成像界面虛擬按鍵實現靈活存儲，本地存儲圖片、視頻和語音數據或上傳到App中，也可選擇直接上傳到云服務器。

1.3.6 溫濕度感應及安全守護

溫濕度傳感器通過作業環境溫濕度感應，及時發現作業現場的高溫或其他危險，并通過安全帽及時報警，安全守護每一位作業人員，做到防范于未然。通過GPS/北斗芯片可實時定位標記作業人員位置。當作業人員靠近帶電設備超過安全距離時近電告警模塊及時報警。

2 系統關鍵技術

2.1 人工智能技術

本文所設計的智能云E安全帽采用先進的人工智能技術（深度學習、語音識別、圖像識別等），將多種應用都變得更智能。“深度學習”技術可以進行計算和學習，讓計算機模擬人類的認知過程，從經驗中學習（也就是所謂的直覺）[6]。深度學習通過計算機層次化的概念體系來理解世界，每個概念通過與某些相對簡單的概念之間的關系來定義（構建較簡單的概念來學習復雜概念），“深”（層次很多）的圖是描述這些概念如何構建和彼此上面的關系圖。

主流深度學習模型有卷積神經網絡（Convolutional Neural Network，CNN）、循環神經網絡（Recurrent Neural Network，RNN）、遞歸神經網絡、自編碼器（Autoencoder）和生成式對抗網絡（Generative Adversarial Nerwork，GAN）[7,8]。

循環神經網絡在時間上展開，處理序列結構的信息，模型結構如圖5所示。

圖5 循環神經網絡結構

遞歸神經網絡在空間上的展開，處理樹狀結構的信息，模型結構如圖6所示。

圖6 遞歸神經網絡結構

本文主要采用循環神經網絡和遞歸神經網絡實現智能語音識別，而采用卷積神經網絡實現智能圖像識別。循環神經網絡通過處理序列數據，能高效學習序列的非線性特征。它能夠擴展到更長的序列中（比不基于序列的特化網絡長得多），而大多數循環神經網絡也能夠處理不同長度的序列。遞歸神經網絡通常采用比結構更深的樹狀結構，而不是循環神經網絡的鏈條性構造，是不同種類的計算圖。遞歸神經網絡的每個父節點都只和某個母節點相連時，此架構就等價于全連接的循環神經網絡。從遞歸神經網絡中可以學習推論，已相當成熟地運用在所有輸入都是數據結構的神經網絡，例如自然語言處理和計算機視覺。

2.2 云計算、云存儲、云安全技術

云計算技術通過把大規模的信息運算程序劃分成許多小程序，然后通過使用由多臺服務器構成的復雜網絡系統進行數據處理，最后通過這些小程序得出結論并反饋給客戶，從而能夠在最短的時間內（幾秒鐘）實現對成千上萬信息資源的有效管理。

云存儲技術通過利用集群技術、網格技術或分布式文件系統，把電網體系中各種不同形式的數據資源和應用技術集合起來協同工作，共同對外提供數據存取和服務使用，既可保證數據的安全，又可節省空間。作業人員可以通過連網的裝置連接到云端方便地存取數據。

云安全技術通過融合并行處理技術、網格計算技術、未知病毒行為判斷技術等，將網狀的大量設備對網絡中軟件行為進行異常監測，通過網絡獲取最新的木馬、惡意程序，并傳輸到服務器進行自動分析和處理，再把病毒和木馬的解決方案分發到每一個設備。

2.3 AR顯示技術

AR技術不僅展示了作業現場的信息，同時根據作業人員的需求展示相關信息，使得兩種信息相互補充，增強了作業人員對真實環境的感知。AR技術具有實時交互性、信息化集成度高、三維空間中定位虛擬物體的特點。智能云E安全帽用AR圖形顯示與觀察設備，通過實時計算攝影機影像位置及角度并加上相應圖像的技術，在棱鏡上把虛擬場景結合在現實場景中進行互動[9,10]。人機互動方式分為判斷三維空間點位置、人為命令、硬件設備和手勢交互，通過智能語音可以實現自動識別作業人員指令的功能，完成語音搜索、AR展示畫面翻頁、拍照、錄像等工作。通過安全帽上的按鍵可以實現裝置開關機、翻頁、聲音調節、拍照以及錄像等功能。通過AR顯示屏上的虛擬按鍵可以實現裝置翻頁、聲音調節、拍照、錄像等功能。

3 應用實例

本文研制的智能云E安全帽已應用于變電站運檢工作，共設計有3套設備，分別配置給運行、繼保、檢修班組。通過高清攝像視頻實時與后臺專家連接，后方遠程觀看實時語音指導作業。作業人員通過該系統可以與后臺專家同步視頻會診，提高了作業效率。通過后臺監控系統與作業現場進行實時交互、數據儲存、功能設置、人員定位、場景展示和數據收集，通過大數據分析為每位現場作業人員保駕護航，消除安全隱患。

運行人員佩戴智能云E安全帽進行日常巡視工作時，攝像頭實時拍攝設備，通過圖像識別掃描設備缺陷等級，例如滲漏油、套管裂紋、油位低、SF6壓力低等。通過錄設備異常音與缺陷數據庫比對，及時發現設備缺陷，例如主變、電容、開關柜異響。運行人員發現缺陷時，根據需要在AR顯示屏上顯示設備廠家資料、歷史缺陷信息、設備圖紙，通過與后臺專家視頻互動，指導作業人員查找缺陷原因。通過識別信息搜索備品備件庫，按作業人員需求拍攝設備銘牌和錄像。在操作過程中佩戴智能云E安全帽提示運行人員操作步驟，通過監護人員的操作指令、操作票內容與現場設備雙編信息對比，及時制止操作人員的漏項、跳項、越項操作行為。

繼保人員佩戴智能云E安全帽通過AR顯示屏掃描保護測控裝置標簽或圖像，根據作業人員按鍵、手勢或語音指令展示設備的廠家資料、運維檢修臺賬、現場設備信息以及設備圖紙信息。在AR顯示屏顯示巡視作業表單指導繼保人員二次巡視工作。在缺陷處理過程中根據需要啟動遠程專家功能，獲取遠程專家的實時技術支持，也可根據AR 二次設備檢修工作流程提示依次進行設備檢修直至該次工作任務結束。

以變電站10 kV開關輔助接點損壞缺陷為例，描述變檢消缺過程。檢修人員佩戴智能云E安全帽，通過智能語音查詢該項工作的作業指導書，通過AR顯示屏呈現到檢修人員的眼前，按照內容進行消缺工作，通過攝像頭將消缺過程實時與遠程專家共享，后臺專家遠程指導。查找故障時，通過智能語音查詢該項工作所需的圖紙資料，然后根據圖紙查找回路故障，發現故障點時通過智能語音喚醒拍照或錄像功能，記錄故障位置，消缺完畢時拍照上傳系統，自動記錄消缺過程。

4 結 論

基于AR和ASR的交互式變電運檢系統通過使用人工智能技術、云計算、云存儲、云安全技術和AR顯示技術等，實現了智能芯片、高清攝像、LED照明、本地儲存、人臉識別、直播語音通話、GPS定位、溫濕度感應以及安全守護等功能，解決了變電運檢工作存在的交互效率低、設備關聯差以及診斷效率低等痛點。總的來說，本系統既提高了變電運檢人員的工作效率，也保障了運檢工作的安全，對電網穩定運行有重要意義。