VR遠程無線控制系統設計與仿真

劉雪林,王曉東(通信作者),范知遙

(1 廈門大學嘉庚學院 福建 漳州 363105) (2 北京林業大學經濟管理學院 北京 100083)

0 引言

在工業控制領域,很多一線操作/駕駛人員身處高空、高腐蝕性、高輻射、高溫、高壓、缺氧等惡劣環境,工作安全風險高,這是導致此類崗位人力成本提升和惡性事故頻發的直接原因。

針對該問題,領域專家及工程技術人員建議采用遠程控制技術,以幫助操作員規避環境風險。所謂遠程控制是指本地計算機通過網絡系統對遠端的設備進行監測與控制。目前,很多先進的遠程控制解決方案已經被設計出來,并應用于工程實踐,具體包括:煤礦掘進機[1]、油田注水井[2]、機械系統[3]、機器人等。隨著近些年來5G、虛擬現實(virtual reality,VR)、物聯網、人工智能技術的日漸成熟,打造新一代、高可靠、高逼真的遠程無線控制的條件業已成熟。

基于此,為了進一步提升工業設備操作的可靠性以及操作體驗,本文提出設計一種新型具有高可靠性的VR遠程無線控制系統方案。通過該方案的應用,一方面可以顯著降低操作人員的工作安全風險,遠離高危環境,另一方面也為未來建立多設備集中遠程控制室,從而為實現“一人多機”(單一操作人員同時操控多臺設備)、批量操作(通過自動化手段整合多項操作)等高級運行模式提供條件。

1 系統設計需求分析

實現工業設備無線遠程控制,必須確保操作的安全性、可靠性、逼真性,才能滿足工程實踐的需求。

1.1 安全性

對于遠程控制系統,必須考慮時延帶來的安全性影響。由于網絡控制系統的狀態參數采樣、通訊結構的延遲、數據傳輸和接收的等待等行為,必然會造成整個控制閉環回路的傳輸延遲現象。即使存在輕微的時延,也會導致設備運轉過程中產生較大的位移偏差,造成難以估計的安全損失。

1.2 可靠性

遠程控制操作必須是高可靠的,這就要求設計者采取特殊保障手段確保指令傳輸在各種惡劣條件下都通暢可達。鑒于進行遠程控制通信距離長、網絡設備多,通信不穩定性大大增加的實際問題,系統設計對遠程網絡可靠性和時滯指標需要制定嚴苛的指標。

1.3 逼真性

在現場遠程操作視景呈現時,如果僅僅采用簡單的二維圖像方式實現,顯然會喪失操作人員的空間感。因此新一代的遠程控制系統應該更多引入三維圖像技術,使得操作人員具有身臨其境的感覺。同時,為了實現與日前逐漸流行起來的駕駛培訓三維技術[4]無縫結合,遠程控制界面向三維圖像過渡也成為必然趨勢。

2 系統設計關鍵技術

針對上文提出的問題,本節針對性引入關鍵技術加以解決。

2.1 冗余通信

對于重要、昂貴系統的現場通信來說,冗余通信一般是指在任何兩個通信端點之間存在兩條或者更多的通信信道并且能將這兩個端點之間的通信在這些信道之間作動態切換。在此情況下,如果使用單一信道進行遠程數據的通信,往往無法滿足上述遠程通信可靠性的需求。為此就需要采用冗余通信方式。

2.2 時延控制

網絡機械控制系統需要考慮傳輸延遲,這對于安全尤其重要。目前,針對這種通信時延的抑制/補償主要有兩種解決方案,一種是改善網絡的帶寬和通信結構,例如:采用更大的網絡帶寬,通過改進網絡任務的調度策略來減少網絡傳輸的擁堵問題。另一種方案通過分析網絡的傳輸特性,改進相關的控制策略,對網絡滯后信號進行魯棒控制等。

2.3 時滯濾波

操作的時延問題可以通過信號處理加以解決,也就是引入時滯濾波器。時滯濾波器是一種專門用于處理含有時滯信號的濾波器。在控制系統、信號處理和仿真等領域中,延時信號經常會引入不穩定性和不平滑性,影響系統的性能和穩定性。時滯濾波器可以對這種含有時滯信號進行濾波和補償,從而提高系統的響應速度、穩定性和平滑度[5]。

2.4 VR

VR技術通過結合網絡技術、仿真技術、人工智能技術、三維圖形技術、多傳感交互技術等多種高新技術,使得機器可以生成逼真的虛擬環境,可以確保交互性、感知性、動態性、實時性,這使其成為遠程現場演示的理想選擇。并且,近年來在德國、美國和其他一些工業發達國家的實踐也表明,VR技術有助于實現工業控制領域中最優成本、質量和安全性的統一。

3 系統框架模塊設計

本節提出設計的高可靠VR遠程無線控制系統是軟硬件綜合的復雜系統,主要由四個子系統構成,分別為:數據采集子系統、網絡通信子系統、遠程控制子系統、VR視景顯示子系統,如圖1所示。

圖1 VR無線遠程無線控制系統模型

3.1 數據采集子系統

該子系統的主要任務在于收集設備的現場數據,并將數據發送到控制中心,這是整個遠程控制系統交互功能的重要基礎。為了保證遠程操作端體驗的真實性,數據采集子系統將選用基于模塊化的信號采集驅動板,包括:多路攝像頭、音頻采集、設備狀態傳感器、電源、輸入輸出等模塊。主控芯片采用高性能單片機,并選擇專用采集通信板采集外部模擬量和數字輸入量。此外,還需要保證整個數據采集子系統接口的一致性和可拓展性,以保證未來可以連接更多的監控設備與傳感器。

3.2 網絡通信子系統

該子系統是控制器與遠程控制中心之間的傳輸橋梁,數據之間的交換和通信都需要由網絡系統來完成,才能使得整個系統呈現出典型的分布式交互式系統特征。該子系統具有顯著的分布性、交互性、實時性和異構性。為了實現上述冗余通信和時延控制,系統采用多路通信,各路并發進行信號傳輸,一方面確保信號可達,另一方面相當于增加了網絡帶寬。

3.3 遠程控制子系統

該子系統用以獲取及發送用戶遠程操作指令,分為本地端和設備端,內部包括:指令輸入輸出器、指令編解碼器、指令收發器模塊。通過遠程控制,使得控制不再需要操作者親臨現場,保證了操作者的安全,節約時間,且充分提高了操作者的工作效率、舒適度、體驗等。該子系統內含多路信號的比較器,依據傳輸時延估算和數據完整性校驗,選取網絡通信子系統中時延最小一路信號。該子系統還整合了的時滯濾波算法,實現對操作信號的修正。

3.4 VR視景顯示子系統

該子系統構建視覺顯示場景(視景),主要部件包括投影儀、投影控制設備、柱形投影幕等,特別是通過VR眼鏡可以有效增強控制器的體驗真實感[6]。在這種VR環境中,操作者能夠更加直觀地查看平臺各個系統的運行狀態,如:通過手柄可以在平臺上漫游行走,通過漫游查看能夠直觀地查看現場不同的操作情況等。該子系統實現技術主要包括:三維建模、圖像生成、交互軟件等[6]。

(1)三維建模。將作業環境在虛擬的環境下進行還原,真實呈現現場物資分布、結構、高程參數等,從而以此為基礎了解作業情況。本文三維建?；?ds Max的多邊形工具,其優點在于能夠在輸入參數和輸出模型之間建立準確的聯系,并保持模型的準確性和美觀性。該方法有助于還原細節,并且提升后期渲染的速度。在建模的過程要特別注重保持實際設備的原始比例。

(2)圖像生成。在三維建模的基礎上,基于成像計算機獲取真實圖像,對其進行幾何變形矯正、光學邊緣融合等修飾調整工作,以確保各通道之間的完整性和連續性,從而保證圖像的沉浸效果和完整性。

(3)交互軟件。通過設備的運行實現用戶與軟件系統之間的交互,當操作者單擊按鈕時即可進入操作過程。系統還會將每個設備動作流程均備份到數據庫,以確保操作整個過程可追溯。此外,具體的業務交互設計對于確保運營流程與實際活動兼容也至關重要,業務模塊會進一步分為許多組件,以保證完整業務組合的完整性。組件一般包括:基礎信息管理、流程管理、數據管理和統計查詢等。

此外,該子系統還內含一個警告系統來協助安全管理。

4 VR遠程無線控制系統仿真

本文通過搭建塔吊VR遠程無線控制仿真系統對上述模型進行驗證。

4.1 控制系統軟硬件設計與設備選型

主要利用嵌入式系統和Wi-Fi,以及“輕量級”發布/訂閱模式通信協議實現控制平臺系統。

(1)遙控器設計

本遠程無線控制子系統設備如圖2所示。系統采用ESP32主控芯片開發板實現模擬控制。該開發板正面裝有一塊OLED顯示屏,用于顯示當前的通信模式;兩側裝有兩個搖桿,通過兩根搖桿的位置信息發出控制指令及進行指令編碼,實現對模擬塔吊舵機的控制[7]。另外,采用Esp8266開發板模擬接收器實現塔吊連接。

圖2 ESP32主控芯片與Esp8266開發板

(2)通信協議

系統網絡通信子系統基于ESP-NOW和消息隊列遙測傳輸協議(message queuing telemetry transport,,MQTT)。ESP-NOW是一種無連接Wi-Fi通信協議,旨在用于物聯網設備之間的簡單、可靠的通信,廣泛應用于智能照明、遠程控制、傳感器等領域。ESP-NOW設備之間的通信可以通過預定義的數據結構進行,不需要復雜的網絡配置或路由設置。而MQTT可以以極少的代碼和有限的帶寬,為遠程連接設備提過實時可靠的消息服務。本仿真模擬系統通過多路TCP連接實現冗余信道。

(3)VR顯示

從工業實用性等多方面考慮,本仿真模擬系統選擇HTC Vive Pro 2實現塔吊VR頭顯。該款VR頭顯具有高分辨率(2448×2448像素/眼),提供清晰的視覺效果,有助于用戶更好地進行塔吊操作。它具有120°的視場角,為用戶提供更廣闊的視野,可提高沉浸感。此款設備還能夠配合SteamVR基站實現六自由度跟蹤,提供更高的精度和穩定性,以及針對企業級應用和專業訓練場景進行了優化,具備更高的耐用性。設備選取120Hz刷新率,有助于提高視覺舒適度,降低運動模糊,對長時間操作更為友好。與此同時,該設備還具有良好的軟件兼容,可以直接運行或通過SteamVR連接計算機終端(本模擬系統中,將三維建模、信道比較、軟時滯濾波器部署在該終端上),構成了本仿真模擬系統的VR視景顯示子系統。

4.2 虛擬環境搭建

本仿真模擬系統的設備部分是采用3D Max與UE5搭建的虛擬設備,實現過程中采用了以下設計。

(1)渲染。包括:實時光照、陰影、抗鋸齒等。開發對塔吊模型進行渲染設置,使得模型在VR環境中呈現逼真的光照和陰影效果,增強用戶的沉浸感。通過調整渲染參數、光源設置、材質屬性等,以獲得符合實際塔吊的視覺效果。

(2)物理模擬。通過設置塔吊的物理屬性,如質量、慣性、摩擦力等,以模擬塔吊的運動行為;通過設置塔吊的運動軌跡、吊鉤位置、荷載效應等,從而實現塔吊在虛擬現實環境中的逼真操作。

(3)互動性應用。利用UE5為塔吊模型添加與塔吊遠程控制子系統操作互動性的應用,包括:控制塔吊的運動、調整吊鉤位置、觀察荷載效應等。具體采用UE5的腳本編程功能(藍圖系統或C++)來實現與前述嵌入式系統的互動邏輯。

由于本仿真系統采用UE模擬現場,因此無需現場圖像采集。

4.3 仿真結果分析

在本仿真模擬系統上實現對虛擬VR塔吊的操作,效果如圖3所示。

圖3 塔吊遠程控制仿真3D場景

通過仿真測試對系統的進行定性分析,得出以下初步結論:基于VR的遠程無線控制系統可以較為逼真地實現現場的塔吊操作,浸入感強;通過抓包分析,確定通過冗余通信(多路TCP)可以有效提高數據可靠性,包括降低時延和誤碼;數據分析表明,通過軟件整合方法實現塔吊遠程操作時滯濾波是可行且有效的。

5 結語

VR技術通過計算機技術和感知設備創建虛擬環境,使用戶能夠在虛擬世界進行互動。隨著VR技術與無線通信技術的日漸成熟,將其應用于高危崗位的遠程無線控制,在確保逼真性的同時提高了工作效率是一種非常具有現實意義的工作。本文結合目前遠程無線控制的最新軟硬件技術,設計并仿真實現了一種多通路、低延時,具有時滯濾波功能的VR遠程無線控制系統模型,較好地拓展了傳統無線遠程控制系統的功能,也開闊了相關設計思路。