基于頭戴式雙目相機的智能變電站巡檢巡視系統(tǒng)設計

(1.國網天津市電力公司設備管理部, 天津 300010;2.天津市渤海新能科技有限公司, 天津 300384)

0 引言

隨著我國社會經濟的快速發(fā)展，國家對電力設施建設的力度不斷加大，搭建了一系列遠距離的傳輸網絡和智能化的變電站，輸變電線路規(guī)模不斷擴大，為電力輸送設施的巡檢巡視作業(yè)帶來了較大的難度。目前我國國內對電力輸送設施的巡檢巡視大多采用的仍然是半自動化巡檢、射頻采集、條形識別法和手工紙介質記錄的方式，很難保證巡檢巡視的效果。可穿戴技術是一種結合了無線通信、傳感器、多媒體技術的創(chuàng)新技術，最早出現(xiàn)在美國。20世紀60年代，美國麻省理工學院媒體實驗室通過實驗開發(fā)出了最早的可穿戴技術。可穿戴技術較為常見的交互方式包括觸覺、語音、眼動操作、手勢等。近年來，可穿戴技術越來越成熟，正式進入了快速發(fā)展的時期。

隨著可穿戴技術的不斷發(fā)展，相關研究成果逐漸進入了產業(yè)化和實用化的應用階段，促成了新的應用模式的發(fā)展，從根本上改變了傳統(tǒng)人機交互的方式，采用可穿戴式輔助系統(tǒng)的現(xiàn)場作業(yè)輔助模式被廣泛的應用于工業(yè)領域的巡檢、維修等場合。基于信息通信技術的發(fā)展，應用新型可穿戴式設備對電力傳輸設備和線路進行巡檢巡視成為了可能，極大的推進了電力傳輸設施的巡檢巡視作業(yè)的智能化和自動化水平。

1 基于頭戴式雙目相機的動態(tài)自定位方法

1.1 雙目視覺里程計

雙目視覺里程計利用通過圖像特征匹配算法獲得的相鄰幀的匹配特征點，以及通過雙目相機的成像原理獲得的特征點所對應的空間點的三維坐標，即可得到相機在前后兩個不同時刻的運動估計。其成像原理如圖1所示，圖中相機的坐標系由x、y、z軸組成，其中x軸表示與相機平行的方向向右，y軸表示右手系，z軸表示相機的光軸方向；二維圖像坐標系統(tǒng)由v、u軸組成，其中v軸豎起向下；u軸水平向右。雙目相機利用同一時刻兩個相機捕獲的有視差的圖像和雙目相機的參數(shù)即可將真實環(huán)境中空間點的三維坐標復原。

圖1 雙目相機立體成像原理圖

雙目視覺里程的圖像必須要與運動過程中前后幀的圖像及同一時刻采集的左右圖像相匹配。對視角變化及光照強度的變化與噪聲之間保持了一定的魯棒性。

1.2 IMU數(shù)據融合

在運用雙目相機視覺里程計進行定位的時候，由于各種原因，往往會產生一定的測量誤差，為了消除這種測量誤差，需要在雙目視覺里程計的基礎上，引入額外的傳感器保證定位估計的準確性，構建出一個更大規(guī)模和尺度的狀態(tài)優(yōu)化模型，其中較為常用的傳感器為IMU。系統(tǒng)首先需要建立一個EKF狀態(tài)估計模型，通過IMU數(shù)據提高視覺里程的魯棒性和準確性，降低系統(tǒng)的累計誤差。IMU傳感器包括了磁力計、陀螺儀、加速度計等，是一個高精度的慣性測量單元，可以對姿態(tài)角、角速度、線加速度等數(shù)據進行測量。IMU數(shù)據融合僅僅將視覺里程計的定位估計值和姿態(tài)角的測量值融合在了一起，但是在實際的融合過程中，由于設備自身的原因，經常出現(xiàn)IMU時鐘與視覺里程計不同步的現(xiàn)象，因此需要在融合之前將時鐘不同步的問題解決掉，需要對IMU采集到的數(shù)據信息進行預處理。

2 系統(tǒng)需求分析

2.1 應用場景

基于頭戴式雙目相機的智能變電站巡檢巡視系統(tǒng)的應用場景為智能變電站系統(tǒng)，包含了室外變電站和室內電力控制室兩部分。其中室外變電站的使用對象為現(xiàn)場巡檢巡視人員，主要負責變電站現(xiàn)場設備的巡檢巡視工作。變電站場景具有 空間開放、尺度大、場景相似度高、干擾大、限定了行走區(qū)間的特點。本文所要解決的問題既是根據變電站場景的特點及巡檢巡視作業(yè)的需求，開發(fā)設計出適用于變電站巡檢巡視作業(yè)人員的輔助引導系統(tǒng)。

2.2 系統(tǒng)的功能需求

基于頭戴式雙目相機的智能變電站系統(tǒng)作業(yè)人員的巡檢作業(yè)需要具備下面幾項基本功能：

2.2.1 環(huán)境建圖

基于頭戴式雙目相機的智能變電站系統(tǒng)環(huán)境地圖的創(chuàng)建是整個系統(tǒng)設計的基礎與前提，系統(tǒng)的定位與引導功能的實現(xiàn)都是建立在環(huán)境地圖創(chuàng)建的基礎之上的。通過對未知環(huán)境的探索，創(chuàng)建出滿足系統(tǒng)功能需求的環(huán)境地圖，并將其應用于智能變電站巡檢巡視作業(yè)人員的自定位路徑引導。地圖需要支持高效的讀取，具備離線存儲功能。

2.2.2 自定位

巡檢巡視作業(yè)人員自定位的實時性和準確性對路徑的引導等功能的正常工作具有直接的影響 ，其自定位信息反映了使用者在實際真實環(huán)境中的位置，需要進行實時的更新，確保自定位信息的準確性，以及出錯時的自恢復能力。

2.2.3 路徑引導

路徑引導是智能變電站巡檢巡視系統(tǒng)的直接需求，智能變電站的巡檢巡視作業(yè)人員要想快速的到達等巡檢設備，就離不開路徑引導的幫助。與面向機器人的引導不同，面向人的引導應該降低人的信息負擔，直觀地向巡檢者提供有效的路徑引導，提供最優(yōu)的巡檢路徑。

2.2.4 設備的可視化指導與識別

智能變電站巡檢巡視作業(yè)人員最基本的工作內容是對設備運行狀態(tài)的查看及檢修，因此基于頭戴式雙目相機的智能變電站巡檢巡視系統(tǒng)的設計首先需要滿足巡檢巡視作業(yè)人員的工作需求，降低巡檢巡視作業(yè)人員的工作強度，具備設備工作狀態(tài)檢測及識別的能力，對設備的運行狀態(tài)進行自動的檢測。

2.2.5 人機交互

智能變電站巡檢巡視作業(yè)人員能夠通過交互界面與系統(tǒng)之間進行交互，是系統(tǒng)實用性的直接要求，良好的交互功能能夠有效提高巡檢巡視作業(yè)人員的作業(yè)效率，使作業(yè)人員更加專注于巡檢巡視作業(yè)本身。

2.3 系統(tǒng)的性能需求

基于頭戴式雙目相機的智能變電站巡檢巡視系統(tǒng)是應用于智能變電站巡檢巡視作業(yè)的引導輔助系統(tǒng)，需要滿足如下性能需求：

2.3.1 實用性需求

系統(tǒng)需要在不對作業(yè)人員的作業(yè)工作造成影響的基礎上，為作業(yè)人員提供實用性的功能，不允許對作業(yè)人員有所限制。

2.3.2 準確性需求

系統(tǒng)必須要為巡檢巡視作業(yè)人員提供準確的自定位及路徑引導功能，不能將錯誤的信息提供給作業(yè)人員，以免對作業(yè)人員造成誤導。

2.3.3 穩(wěn)定性需求

為了保證智能變電站系統(tǒng)工作的穩(wěn)定性，系統(tǒng)應該降低各功能模塊之間的耦合，當某一功能模塊出現(xiàn)故障時，能夠保證其他功能模塊的正常工作，并保證當某功能模塊出現(xiàn)故障時能夠具備一定的自動恢復功能。

2.3.4 可擴展性需求

系統(tǒng)結構應該分層設計，能夠支持多種硬件設備，提供較高的可擴展性，降低模塊耦合，預留通信與集成接口，保證軟件平臺的可擴展性，方便更多功能的集成。

2.4 技術難點及解決方案

1)如何兼顧系統(tǒng)便攜性與視覺處理計算要求之間的矛盾。

解決方案：采用前后臺形式的分布系統(tǒng)，前端采用Android平臺，能夠AR技術將可視化指導信息推送給使用者；后臺負責對復雜的視覺任務的處理計算，通過網絡實現(xiàn)與前端的通信。

2)由于處理器計算能力有限，如何保證定位的實時性是系統(tǒng)的一個關鍵性的問題。

解決方案：建立起一種同時兼顧存儲簡約和信息豐富的環(huán)境拓撲圖，對環(huán)境中等檢修設備的拓撲位置關系進行描述，并將作業(yè)人員的典型巡檢作業(yè)路徑軌跡記錄下來，采用融合特征與距離的關鍵幀選擇的方法，完善關鍵幀拓撲圖。

3)基于頭戴式雙目相機的實時視覺定位存在著可靠性和精度上的不足，因此如何提高系統(tǒng)的可靠性也是一個非常重要的難點問題。

解決方案：采用EKF算法將IMU輸出和雙目視覺里程計輸出融合在一起，采用對極幾何約束和空間位置約束，建立起可靠的回環(huán)檢測，將通過圖優(yōu)化算法對視覺里程計的累計定位誤差進行修正。

3 系統(tǒng)運行平臺的設計

3.1 系統(tǒng)的總體框架

系統(tǒng)根據引導輔助系統(tǒng)的功能需求和性能需求，利用雙目立體相機引入了面向智能變電站巡檢巡視作業(yè)的引導輔助系統(tǒng)，提供了友好的人機交互功能和定位導航功能，創(chuàng)建了環(huán)境地圖，滿足了系統(tǒng)的設計需求，具體框架如圖2所示。系統(tǒng)后臺主要由自定位模塊、環(huán)境建圖模塊、地圖管理模塊、路徑引導模塊、管理模塊、通信模塊等幾大模塊組成。

3.2 系統(tǒng)的硬件平臺

基于雙目相機的智能變電站巡檢巡視系統(tǒng)的硬件包括四部分：IMU、雙目相機、智能眼鏡和處理中心。首先將IMU固定在雙目相機上，再將裝有IMU的雙目相機固定在頭盔上。智能眼鏡的輸入設備為觸摸板，是單獨的設備，巡檢巡視作業(yè)人員直接配戴在眼部即可。處理中心選擇筆記本電腦，放置在作業(yè)人員的背包內，通過USB將處理中心筆記本電腦民傳感器連接。個體如圖3所示。

為了方便地進行實驗調試，后臺選用筆記本電腦，也可選用NvidiaJetson TX1開發(fā)版。雙目相機是定位引導與環(huán)境建模的基礎，用于對環(huán)境的感知以獲得環(huán)境圖像，是系統(tǒng)最核心的傳感器，本系統(tǒng)選用ZED雙目相機，該相機具有USB3.0接口提供高傳輸速度，有效測量距離達20 m，重量適中，便于在頭盔上的安裝。智能眼鏡選用EPSON BT-300智能眼鏡，該眼鏡采用了OLED顯示技術，可以通過投射的方式在用戶眼前虛擬顯示屏上顯示。

圖2 基于頭戴式雙目相機的智能變電站巡檢巡視系統(tǒng)總體框架圖

圖3 系統(tǒng)原型平臺組成

3.3 系統(tǒng)的軟件平臺

根據前后臺的不同，系統(tǒng)的開發(fā)平臺包括基于Unity的前端平臺和基于ROS(Robot Operating System)的后臺。其中后臺軟件的開發(fā)以節(jié)點為基本單元，對各節(jié)點的管理是通過ROS實現(xiàn)的，從而保證了各節(jié)點單元之間通信的可靠性，為各節(jié)點單元之間的通信提供了標準，ROS后臺開發(fā)平臺具有開源性、分布式、通用性的特點，節(jié)點之間的通信是基于ROS標準的通信機制，該機制主要有Topic和Service兩種通信方式。

圖4 地圖創(chuàng)建線程圖

系統(tǒng)后臺結構采用的是三層結構，包括系統(tǒng)層、中間層和應用層等，其中系統(tǒng)層包含了基于Ubuntu操作系統(tǒng)的ROS開發(fā)平臺及其所提供的第三方庫、設備驅動程序等；中間層為具體的功能模塊；應用層主要包括環(huán)境建圖、定位、引導等實用化應用程序，具體如圖4所示。

系統(tǒng)的前端軟件的開發(fā)基于Unity平臺，該平臺同時支持VR、AR，具有工具豐富、跨平臺的特點，是一款專業(yè)的游戲引擎，能夠在搭載Android系統(tǒng)的智能眼鏡上運行。

3.4 系統(tǒng)模塊的設計

3.4.1 自定位模塊

該模塊是實時引導及環(huán)境建圖的基礎模塊，在雙目視覺里程計的基礎上，將位姿優(yōu)化和回環(huán)檢測等加入到模塊當中，通過視覺里程計和IMU的融合，獲取準確的定位信息。由于模塊中添加了回環(huán)檢測功能，因此如果視覺里程計失效，當作業(yè)人員回到先前經過的位置時，系統(tǒng)能夠自動恢復定位。自定位模塊的主要函數(shù)如表1所示。

表1 自定位模塊的主要函數(shù)

3.4.2 環(huán)境建圖模塊

環(huán)境建圖模塊以定位算法為基礎，針對作業(yè)環(huán)境的特點對作業(yè)環(huán)境進行建圖，并將其保存在數(shù)據庫中。地圖構建主要包括三個方面的功能：視覺里程計運行的跟蹤功能、傳感器數(shù)據的獲取功能及全局地圖的優(yōu)化功能，包含了運動跟蹤、創(chuàng)建關鍵幀、回環(huán)檢測及地圖優(yōu)化等4個線程。具體如圖4所示。

3.4.3 路徑引導模塊

該模塊是以環(huán)境建圖模塊所創(chuàng)建的地圖為基礎，對巡檢巡視作業(yè)人員的路徑進行規(guī)劃與引導。路徑引導模塊包括兩部分：室外環(huán)境引導和室內環(huán)境引導，其中室外環(huán)境引導是分層進行的，通過拓撲圖路徑規(guī)劃算法，得出從起始點到目標點的最短路徑。在進行引導的過程中，如果回環(huán)檢測檢測到了回環(huán)，則將其視作新的起始點，對引導軌跡進行重新規(guī)劃(室外路徑引導的主要函數(shù)如表2所示)。而由于室外環(huán)境引導的路徑規(guī)劃與引導是建立在進程計和拓撲圖的基礎之上的，但是由于對拓撲圖過度依賴，影響到規(guī)劃路徑的效果，另外由于系統(tǒng)對環(huán)境建圖的要求也比較高，因此在室內環(huán)境的引導規(guī)劃過程中，需要根據概要地圖中的柵格地圖對路徑進行規(guī)劃，通過實時全局定位，直接獲得巡檢巡視作業(yè)人員在柵格地圖中的當前位置，快速地規(guī)劃出巡檢巡視的引導路徑。

表2 室外路徑引導的主要函數(shù)

3.4.4 管理模塊

管理模塊包括后臺軟件管理模塊和前端軟件管理模塊兩部分，前端軟件管理模塊以智能眼鏡為運行平臺，包括人機交互模塊、可視化裝配與指導模塊、設備檢測與識別模塊及路徑引導可視化模塊等。系統(tǒng)通過多進程的方式執(zhí)行各種任務，保證了某一任務執(zhí)行過程中出現(xiàn)錯誤不會對整個前端軟件的運行產生影響，降低了任務之間的耦合關系。

3.4.5 通信模塊

該模塊采用ROS典型的topic工作模式，通過訂閱相應的topic得到原始的ROS數(shù)據，并通過函數(shù)回調的方式對多個topic的數(shù)據接收進行處理。通信模塊的傳輸層使用TCP/IP協(xié)議，采用流套接字進行數(shù)據通信，系統(tǒng)的前端為客戶端，后臺為服務器。通信機制采用了回調函數(shù)的方式對數(shù)據進行處理。該模塊根據目前系統(tǒng)的通信需求，在系統(tǒng)中設置了固定的topic，并編寫了針對每一個subscriber的消息回調函數(shù)，提高了系統(tǒng)的可擴展性。通信模塊的主要函數(shù)如表3所示。

表3 通信模塊的主要函數(shù)

4 系統(tǒng)實驗驗證評估

4.1 基本功能測試

4.1.1 自定位測試

自定位實驗的目的是為了對實際行走路徑閉合的狀態(tài)下考察融合IMU視覺定位法與純視覺定位法起點與終點之間的距離誤差。測試方法為巡檢巡視作業(yè)人員頭戴相機在室內非結構化環(huán)境中從起點到終點繞行數(shù)圈。經過多次實驗，實驗結果基本相似，說明與純視覺里程計相比，融合IMU的里程計定位精度更高。

4.1.2 地圖定位測試

利用事先創(chuàng)建的環(huán)境概要地圖，通過位姿偏差補償對全局進行定位，當視覺定位出錯時，人為的將相機朝向視覺特征較少的參照系，如白墻等，當回環(huán)檢測檢測出回環(huán)的時候，，全局位姿通過位姿偏差計算可以恢復到初始狀態(tài)，說明系統(tǒng)的實用性比較強。

4.2 系統(tǒng)整體運行演示

4.2.1 室內作業(yè)環(huán)境

模擬任務為巡檢巡視作業(yè)人員從智能變電站的控制室出發(fā)到達指定設備，檢查指定設備的運行狀態(tài)，并按要求操作設備。首先作業(yè)人員在系統(tǒng)設置的導航目標的引導下到達目標位置。當作業(yè)人員到達目標位置之后，前端設備將設備的檢測與識別功能開啟，作業(yè)人員即可在系統(tǒng)的指導下對設備進行操作。實驗結果表明系統(tǒng)的前后臺各模塊之間通過按照設定的工作流程協(xié)調工作，充分驗證了系統(tǒng)的實用性。

4.2.2 室外環(huán)境引導任務演示

室外環(huán)境引導任務演示的模擬任務為對巡檢巡視作業(yè)人員的室外定位與引導。首先作業(yè)人員設置導航目標，完成初始全局定位，然后作業(yè)人員在系統(tǒng)引導可視化模塊給出的有效路徑指引下下運動到目標位置。演示結果表明引導可視化模塊為作業(yè)人員提供了有效的路徑指引。

5 結語

傳統(tǒng)的電力設備巡檢巡視方式存在著人員安全性不足、信息量單一的缺陷，而基于可穿戴設備的智能巡檢巡視系統(tǒng)有效地彌補了傳統(tǒng)巡檢巡視方式的不足，極大地提高了巡檢巡視作業(yè)的效率和準確性，使作業(yè)人員的巡檢巡視作業(yè)更加高效和安全，降低了巡檢人員的勞動強度。本文設計的基于雙目相機的智能變電站巡檢巡視系統(tǒng)充分考慮了智能變電站的應用場景和功能、性能需求，實現(xiàn)了對作業(yè)人員的巡檢巡視路徑的最佳指引，極大地提高了作業(yè)效率、準確性及安全性，達到了系統(tǒng)設計的初衷。