虛擬現實技術在高壓帶電作業領域的遠程遙操作應用研究

國網上海市電力公司青浦供電公司 張樹欣 鄭 真 陳超杰

高壓電氣設備及電力傳輸線路是維系社會正常運轉的重要基礎設施之一，在電力輸送的任意一環出現故障都會導致嚴重的經濟損失，在問題出現后的高效搶修是非常重要的。目前已采用機器人/機械臂等設備代替了人工帶電作業檢修。現有的常規機器操作作業方式是將操作室設置在工程作業車上，并安裝一個可升降機械臂或機器人。作業人員通過控制操作室內控制器/控制界面，對設備進行升降與作業操作，通過作業端安裝的監控攝像頭捕獲作業區域的監視視頻流并同步反饋至控制端顯示。作業人員由于僅能通過小幅監視畫面觀察作業區域，不能直接近距離觀察到作業對象且機械操作維度較難判斷，導致作業準確度低、作業效率低。

隨著控制系統和數字技術的發展，虛擬現實技術被運用在了各個行業領域，其擁有高沉浸式觀察體驗與精準的虛擬交互能力，在遠程遙操作方面具有巨大的優勢。首先通過對作業區域進行更大范圍的圖像捕獲，再通過本地計算機進行圖像融合處理，渲染顯示成沉浸式虛擬現實畫面，作業人員可通過佩戴虛擬現實設備觀察，仿佛置身于作業區域。同時采用虛擬現實光學定位手柄作為操作輸入，對機械臂進行直觀控制操作。本文提出一種基于向虛擬現實的沉浸式遙操作系統，該設備用于高壓電力作業區域的機械臂遙操作控制，可實現全景圖像采集與融合、虛擬現實沉浸式實時監測、手柄定位操作與輸入。該裝置能安全可靠完成高壓作業區域遙操作的區域監視并與操作人機交互，提高了高壓作業區域遙操作的準確性，提升了效率。

1 方案設計及關鍵技術

1.1 需求分析

基于虛擬現實的沉浸式遙操作系統的設計應滿足以下功能需求：全景視頻流的采集傳輸融合功能：基于向虛擬現實的沉浸式遙操作系統能在作業區域內捕獲覆蓋完全的的監視畫面，實現實時視屏流傳輸與實時融合，生成360°實時全景監視畫面；虛擬現實沉浸式渲染：系統需具備沉浸式渲染能力，將360°監視畫面映射為沉浸式觀察模式并進行渲染；控制手柄定位與輸入：系統具備一款控制手柄，能基于光學準確定位，可在虛擬現實環境中實現控制交互輸入。

基于虛擬現實的沉浸式遙操作系統由監視捕獲模塊與虛擬現實服務器兩部分組成。監視捕獲模塊位于搭載操作機械臂的升降式平臺上，負責對機械臂所在作業區域四周的畫面進行監視捕獲，通過無線局域網絡傳輸視頻流數據至操作室的服務器主機，并在主機端完成圖像融合；虛擬現實服務器部署在操作室內，獲取融合后的360°監視畫面，負責在虛擬現實場景中實現視頻數據映射與渲染，并具備虛擬現實沉浸式監視與沉浸式控制交互功能。

基于虛擬現實的沉浸式遙操作系統接入實際機械臂控制操作系統，最后可將虛擬輸入指令傳輸至機械臂控制操作系統進行控制。

圖1 基于虛擬現實的沉浸式遙操作系統系統框架

1.2 全景拼接技術

基于虛擬現實的沉浸式遙操作系統采用雙魚眼鏡頭拼接，單一魚眼鏡頭具備超廣角，可覆蓋視場角大于180°，雙魚眼全景拼接較為高效，在滿足全景監視的效果下可做到高實時性。在作業區域設置一對網絡魚眼攝像頭，一正一反安置以覆蓋大于360°作業區域，實時獲取視頻流數據并通過無線網絡傳輸至服務器，進行后續的圖像拼接處理。

1.2.1 圖像特征匹配融合

圖像特征提取與匹配是計算機視覺技術的一種技術方法，可提取圖像或視頻中的色彩紋理形狀的特征信息并進行描述與匹配，在此基礎上的圖像特征匹配融合是將兩個魚眼監視畫面通過特征匹配的方法，對監視畫面進行特征點配準、圖像裁剪與縫合。實現流程如下：魚眼視頻流輸入1/魚眼視頻流輸入2-視頻流解析提取-圖像幀同步及予處理-特征點匹配-旋轉角計算-雙旋轉矩陣計算-圖像融合。首先對雙魚眼視頻流進行提取，在進行圖像幀同步及預處理后，使用圖像映射的方法將兩個魚眼的原始圖像映射在球面，然后在兩者產生重疊區域位置進行特征點查找與匹配，使用矩陣變換的方法對齊匹配的特征，將兩個魚眼畫面拼合成一個360°全景畫面，生成拼接重疊區域。

采用基于圖割能量優化[1]的方法尋找最優縫合線，將圖像中的像素點視為圖中的節點，相鄰的像素間存在一條無向帶權邊，圖結構由待拼接的兩幅圖像的重疊區域生成。權重能量函數計算公式一般為通過多波段融合獲得疊加區域，然后縫合左右兩邊的原圖像，按距離加權對重疊圖像進行加權融合。縫合線單邊加權融合過程可表示為。

1.2.2 圖像融合亮度補償

由于不同視角區域的光照強度不同，魚眼攝像頭的視頻流在曝光度會存在差異，在重疊區域完成對齊匹配后，利用亮度補償來對匹配重疊區域與之相鄰的邊緣區域進行圖像融合。首先選取完成對齊后的重疊區域并向周邊拓展1/5重疊區域范圍，測算得出兩個重疊區域的平均灰度值；選取重疊區域并向內拓展1/5重疊區域，求出一個加權平均值。然后重新調整兩個全景畫面的亮度，并在重疊區域實現亮度過渡。

1.3 虛擬現實技術

Inside-out 空間定位：目前光學定位技術分為Inside-out 內向外追蹤技術與Outside-in 外向內追蹤技術。由于操作室空間范圍小，頭戴顯示器與虛擬現實手柄易被遮擋出現光學盲區。Inside-out內向外追蹤技術可不受遮擋問題影響，也不受傳感器監測范圍限制，適用于小空間虛擬操作空間定位。本項目采用了Inside-out 虛擬現實頭戴式顯示器。設備置于操作室中，通過設備上的6個光學攝像頭捕獲操作室內的圖像數據，使用三角定位算法將圖像數據提取為空間特征點錨定，從而定位操作室內空間。在操作手柄的定位中同樣使用光學特征匹配手柄位置，然后配合更高效的運動跟蹤算法實時追蹤手柄位置，以達到在小空間內的操控定位。

虛擬現實顯示技術：通過模擬視覺反饋的方式將作業人員從真實空間帶入虛擬沉浸空間，并通過三維空間運算計算沉浸式交互反饋，給作業人員身臨其境的沉浸式體驗。本項目采用投影映射方式，首先獲取拼接完成的全景視屏流數據，將其通過UV 空間映射展開，在三維渲染引擎中映射于球體模型上并對其進行紋理渲染，這樣就可獲得360°無死角的球形全景監視畫面。將攝像機設置在球體中心，使用由攝像機發出的錐形區域裁剪球面，經過幾何運算和光柵化后分別輸出左右眼渲染畫面至頭戴式顯示器。虛擬現實頭戴顯示器是一種成像顯示設備，主要是為將渲染輸出的圖像畫面通過小型高分辨率屏幕顯示，在屏幕與人眼間增加一塊凸透鏡，屏幕光通凸透鏡偏著后傳入人眼，虛擬建立了人眼的可視焦距，作業人員實際看到的影像要更大更遠，可完全沉浸入虛擬場景中。

圖2 球形UV 空間映射

手部控制器交互：虛擬現實控制器為手握式手柄，控制手柄具備按鈕輸入功能、扳機輸入功能、搖桿輸入功能與自身姿態輸入功能。輸入數據通過藍牙傳輸至頭戴式顯示器，通過服務器進行交互邏輯與控制邏輯計算后將輸出至實際機械臂控制系統。控制手柄具備光學特征可被頭戴顯示器的攝像頭捕獲定位。通過三角定位計算獲得控制手柄相對于頭戴顯示器的位置與姿態，通過多次坐標系變換，在錨定的虛擬顯示世界中計算出世界坐標與歐拉角，完成姿態計算。

2 硬件設計及軟件設計

2.1 魚眼攝像機

本文采用兩個相同配置的魚眼攝像機捕獲作業區域影像，選用海康威視DS-2CD3955FWDIWS。該魚眼攝像機支持500萬像素逐行掃描CMOS，最大可輸出2560×1920@30fps 實時監視圖像；支持日夜兩套參數獨立配置，支持smart IR與ICR 紅外濾片式自動切換，可防止夜間紅外過曝；具有多種白平衡模式，支持背光補償,適應不同作業監視環境；支持無線網絡傳輸，傳輸距離可達50米；支持H264與H265編碼方式。該攝像頭具有一個電源接口、一個485接口、一個網口、一個音頻輸入輸出接口與一個報警器接口，具備清晰度高、環境適應性好、穩定性高、魚眼邊緣扭曲小等特性，非常適合用來捕獲機械臂作業區域影像，其參數配置如下。

圖像處理：支持畫面矯正，支持背光補償，3D數字降噪；傳感器類型1/2.5”Progressive Scan CMOS；視頻壓縮標準Smart265/H.265/Smart264/H.264/MJPEG；主碼流分辨率與幀率：50Hz時為25fps(2560x1920,2048x1536,1280x960)、60Hz時為30fps(2560x1920,2048x1536, 1280x960)；支持協議：TCP/IP,UDP,ARP,ICMP,HTTP,HTTPS,FTP,DHCP,DNS,DDNS,RTP,RTSP,RTCP,PP PoE,NTP,UPnP,SMTP,SNMP,IGMP,802.1X,Q oS,IPv6,Bonjour；通訊接口：1個RJ4510M/100M自適應以太網口；無線指標：2.4GHz，50米無遮擋無干擾傳輸11b:11Mbps 11g:54Mbps 11n:上限150Mbps；工作環境：-10℃～40℃,濕度小于95%(無凝結)；電源功耗：DC12V±25%//PoE(802.3af)，6.7WMAX；尺寸：?119.9×41.2mm。

2.2 虛擬現實服務器

本文選用虛擬現實服務器為惠普（HP）Z1G6-Z4臺式工作站，具有高性能圖形渲染能力與強大的中央處理計算能力，能夠同時完成視頻流圖像實時拼接與虛擬現實映射渲染。在主要的硬件配置上，該服務器選用的CPU 為八核英特爾酷睿七代處理器，運算速度為2.9GHz；GPU 采用的為英偉達RTX2080S,顯存8Gb,圖像渲染效果較好；內存采用的為16G 雙通道內存；硬盤選用2T 的大容量硬盤配合256G 的固態硬盤。性能上該服務器足夠滿足系統的正常運行且外圍接口豐富，可方便的進行升級和擴展。

2.3 虛擬現實頭戴顯示器及控制器

虛擬現實頭戴顯示器是作人員佩戴的成像顯示終端，本文采用HTC VIVE COSMOS頭盔為Inside-out定位，其具備高清的pixel-packed LCD屏，支持real-RGB色彩顯示，屏幕可見光通過菲涅爾式透鏡傳入人眼，可調節屈光度且無明顯的紗窗效應。支持對周圍環境圖像降噪拼接，在顯示器中模擬顯示真實環境。頭盔在同類產品中具有重量輕、分辨率高、對空間依賴度低等特點。其參數配置如下：pixel-packed Real RGB LCD顯示屏；分辨率2880×1700雙目；視場角最大110度；刷新率90Hz；傳感器G-sensor校正、gyroscope陀螺儀、proximity距離感測器、瞳距校正感測器；接口USB3.0、Displayport1.2；機身寬度199mm、機身高度145mm、機身長度275mm。

虛擬現實控制器是作業人員人機交互輸入端，本文選取VIVE COSMOS 操控手柄，該手柄的控制按鍵具備touch 檢測、press 檢測功能，使用方便（圖3）。

圖3 VIVE COSMOS 手柄按鍵

2.4 軟件設計

基于向虛擬現實的沉浸式遙操作系統軟件基于Unity3D2019.3.4版本，使用Visual studio2015開發工具，開發語言為C#，軟件系統包含如下功能模塊：

串流獲取模塊：對攝像機采集的RTSP 網絡視頻串流進行讀取；H265編碼解碼模塊：對網絡串流H265編碼格式進行解碼，獲得實時視頻畫面；全景拼接模塊：負責對兩個魚眼實時監視畫面進行圖像特征匹配拼合，并完成曝光補償與畫面融合；全景映射模塊：通過對魚眼全景拼接畫面的UV 空間映射，完成360°的全景球形圖像；虛擬現實渲染模塊：負責實現攝像機錐形裁剪、頂點shader 渲染、三角面繪制與圖像柵格化，最終輸出DP 信號至頭戴式顯示器。

光學定位模塊：實現對頭戴式顯示器進行空間定位與補償，并對控制器進行光學定位；控制器渲染模塊：在虛擬場景中對控制器的形狀、色彩進行描繪并最終渲染顯示，為作業人員提供視覺反饋和輔助信息；控制器輸入模塊：通過對控制器按鈕搖桿及其自身位置的實時狀態檢測，獲得控制器的輸入操作；控制設備接口模塊：與機械臂設備建立通信接口，將控制器輸入操作綁定至機械臂設備；網絡通信模塊：負責服務器與全景攝像機、機械臂設備間的網絡通信。

3 結語

高壓電氣設備及電力傳輸線路是維系社會正常運轉的重要基礎設施之一，在電力輸送的任意一環出現故障都會導致嚴重的經濟損失，在問題出現后的高效搶修是非常重要的。本文提出一種基于向虛擬現實的沉浸式遙操作系統，該設備用于高壓電力作業區域的機械臂遙操作控制，可實現全景圖像采集與融合、虛擬現實沉浸式實時監測、手柄定位操作與輸入。該裝置能安全可靠完成高壓作業區域遙操作的區域監視與操作人機交互，提高了高壓作業區域遙操作的準確性，提升了效率。