一種遙操作場景下的混合現(xiàn)實(shí)視覺增強(qiáng)交互系統(tǒng)

施樂洋,李曉玲,王龍,陳漳沂,鄭帥

(1. 西安交通大學(xué)機(jī)械工程學(xué)院,710049,西安; 2. 西安交通大學(xué)電子與信息學(xué)部,710049,西安)

隨著自動(dòng)化控制、自然人機(jī)交互、信息通信等技術(shù)的快速發(fā)展,面向遙操作環(huán)境的高度智能化與自主化的機(jī)器人系統(tǒng)在高風(fēng)險(xiǎn)任務(wù)中發(fā)揮著越來越重要的作用[1]。同時(shí),遙操作技術(shù)也被廣泛應(yīng)用于排雷排爆[2]、搜索救援[3]、高空作業(yè)[4]、水下探索[5]和太空探索[6-7]等極端復(fù)雜環(huán)境中。在這些應(yīng)用領(lǐng)域里,機(jī)器人往往要代替人們進(jìn)入危險(xiǎn)環(huán)境,因此需要重點(diǎn)研究的是該如何賦予機(jī)器人以近似人類的感官系統(tǒng)和認(rèn)知能力,從而能夠直觀地在操作員端再現(xiàn)遠(yuǎn)端場景[8]。

研究表明,在人類的5種感官系統(tǒng)中,視覺的神經(jīng)元數(shù)量以及信息傳輸率要遠(yuǎn)高于其他感覺模式[9]。從某些程度上來講,人類大腦的一半以上直接或間接地用于處理視覺影像,視覺信息的處理又支配著來自其他模態(tài)信息的處理,由此可見視覺信息的正確反饋對于人類的重要性[10]。然而,目前大多數(shù)遙操作系統(tǒng)都是通過2D顯示器提供視覺模態(tài)的反饋,在這種方式的遙操作過程中,存在著大量的用戶操作失誤以及設(shè)備自身的人機(jī)交互問題[11]。

混合現(xiàn)實(shí)技術(shù)是一種將視覺作為最重要的輸入通道之一的交互技術(shù),多年以來,混合現(xiàn)實(shí)中的人機(jī)交互研究一直在探索更加自然和高效的交互方式[12-13],旨在通過其立體、多維的場景輸入[14]改善傳統(tǒng)系統(tǒng)中的人機(jī)矛盾。目前,混合現(xiàn)實(shí)技術(shù)已經(jīng)開始應(yīng)用于遠(yuǎn)程醫(yī)療手術(shù)[15]、太空艙外作業(yè)[16]以及排雷排爆等較為特殊的使用場景。在這些應(yīng)用場景中,用戶均可以借助空間信息和直觀的交互技術(shù)(如手勢),來實(shí)現(xiàn)交互數(shù)據(jù)可視化或多模式遙操作,并可以實(shí)時(shí)獲取真實(shí)操作狀態(tài)信息,幫助自身保持高度的情景意識。因此,混合現(xiàn)實(shí)技術(shù)在提升操作系統(tǒng)的人機(jī)交互與協(xié)作效率方面具有巨大潛力。針對遙操作機(jī)器人這一場景,Su等提出了一種基于混合現(xiàn)實(shí)視覺和觸覺反饋方法的焊接方案[17],并用于遙控機(jī)器人焊接。該方案由機(jī)器人工作區(qū)域進(jìn)行混合現(xiàn)實(shí)視覺反饋,同時(shí)通過混合觸覺約束,引導(dǎo)操作員的手部沿混合現(xiàn)實(shí)標(biāo)注導(dǎo)向移動(dòng),并將焊接操作限制在無碰撞區(qū)域內(nèi)。這種允許用戶進(jìn)行沉浸式交互的設(shè)計(jì)方案,具有以用戶為中心、將觀察視角和態(tài)勢感知相結(jié)合的特點(diǎn),可以使操作系統(tǒng)快速理解人類指令,豐富了人機(jī)協(xié)作的應(yīng)用場景及范圍[18-19]。除此以外,華南理工大學(xué)的研究團(tuán)隊(duì)利用Leap Motion體感控制器對操作者的手部動(dòng)作進(jìn)行檢測[20],并將其轉(zhuǎn)化為機(jī)器人的控制指令,通過混合現(xiàn)實(shí)技術(shù)對機(jī)器人的作業(yè)場景進(jìn)行實(shí)時(shí)的視覺反饋,以確保操作的安全性和效率,提高了人機(jī)交互體驗(yàn)[21]。Livatino等基于混合現(xiàn)實(shí)技術(shù)設(shè)計(jì)了一種組織信息呈現(xiàn)方法和一套視覺輔助工具,通過在用戶界面中使用混合現(xiàn)實(shí)和視覺輔助工具,向用戶呈現(xiàn)傳感器數(shù)據(jù),以促進(jìn)遠(yuǎn)程操作控制面板中數(shù)據(jù)的視覺通信,不僅提高了操作員態(tài)勢感知能力,還加快了決策速度[22]。

上述研究現(xiàn)狀表明,混合現(xiàn)實(shí)技術(shù)在遙操作交互領(lǐng)域具有很大的應(yīng)用價(jià)值,但現(xiàn)有研究往往單獨(dú)著眼于改進(jìn)系統(tǒng)的某一個(gè)方向,如視覺反饋、交互反饋等;在進(jìn)行系統(tǒng)整體設(shè)計(jì)時(shí),仍沒有脫離傳統(tǒng)系統(tǒng)的設(shè)計(jì)思路;在進(jìn)行交互任務(wù)時(shí),由于各部分的混合現(xiàn)實(shí)程度不一,使用效率并沒有得到較大的提升;而且,混合現(xiàn)實(shí)場景下的臨場感往往比較低,交互性能不高。因此,本文基于以上研究內(nèi)容與技術(shù)背景,面向遙操作應(yīng)用場景,利用混合現(xiàn)實(shí)技術(shù)在人體視覺認(rèn)知以及人機(jī)協(xié)作方面的優(yōu)勢,設(shè)計(jì)了一種視覺增強(qiáng)交互系統(tǒng)架構(gòu),以滿足遙操作過程中操作員的交互需求;然后,采用攝像機(jī)到HoloLens(一種混合現(xiàn)實(shí)顯示設(shè)備)的端到端視頻傳輸方法,實(shí)現(xiàn)了遠(yuǎn)程視景的實(shí)時(shí)呈現(xiàn);通過研究混合現(xiàn)實(shí)場景下遙操作主端的交互流程與技術(shù)實(shí)現(xiàn),建立了基于循環(huán)坐標(biāo)下降逆運(yùn)動(dòng)學(xué)法的機(jī)械臂虛擬交互模型,通過虛實(shí)融合技術(shù)為遙操作機(jī)器人提供了一種可視化效果較好的交互控制方案,解決了目前主從式遙操作系統(tǒng)缺乏臨場感、交互性能差的問題,對系統(tǒng)的安全性、穩(wěn)定性起到了很大的促進(jìn)作用。

1 混合現(xiàn)實(shí)視覺增強(qiáng)交互系統(tǒng)設(shè)計(jì)

1.1 混合現(xiàn)實(shí)遙操作交互需求分析

當(dāng)前的遙操作系統(tǒng),尤其是排雷機(jī)器人系統(tǒng)(本文主要探討這一背景),操作員通常是通過顯示屏或傳統(tǒng)屏幕(如移動(dòng)設(shè)備、平板電腦或筆記本電腦等)觀看機(jī)器人端攝像頭返回的實(shí)時(shí)視頻流。在這種情況下,操作員只能看到二維的圖像信息,明顯缺乏臨場感知[23]。另外,傳統(tǒng)的排雷系統(tǒng)中使用的搖桿、手柄、鍵鼠等遙控設(shè)備限制了交互的空間,通常情況下,遠(yuǎn)端機(jī)器人的控制操作與視覺反饋兩個(gè)模塊呈現(xiàn)相互獨(dú)立的態(tài)勢。在實(shí)際作業(yè)與交互過程中,操作員不僅要實(shí)時(shí)關(guān)注機(jī)器人端攝像頭畫面,還需要實(shí)時(shí)獲取機(jī)器人的運(yùn)動(dòng)姿態(tài)并進(jìn)行遠(yuǎn)程操作,即操作員必須在視覺反饋區(qū)域和控制區(qū)域之間不斷進(jìn)行切換,這樣不僅會(huì)導(dǎo)致注意力分散,而且是不自然和低效的[24-25]。基于上述問題,本文重點(diǎn)研究了如何利用混合現(xiàn)實(shí)技術(shù)提供一種新型的沉浸式視覺反饋與交互系統(tǒng),以解決現(xiàn)有系統(tǒng)視點(diǎn)跳躍、交互區(qū)域不統(tǒng)一的問題。

從遙操作作業(yè)存在的問題和實(shí)際需求出發(fā),可以總結(jié)出本系統(tǒng)的功能需求如下。

(1)遠(yuǎn)程視景實(shí)時(shí)呈現(xiàn):用戶的首要需求是通過實(shí)時(shí)視頻流信息來感知遠(yuǎn)端環(huán)境,因此該系統(tǒng)的主要功能就是采集與傳輸實(shí)時(shí)畫面,且實(shí)時(shí)地呈現(xiàn)在用戶面前。

(2)人機(jī)自然交互:在人機(jī)交互過程中,遠(yuǎn)程機(jī)械臂的交互控制需要納入混合現(xiàn)實(shí)交互場景中,以實(shí)現(xiàn)視線交互區(qū)域與遙控操作交互區(qū)域相統(tǒng)一。

(3)虛實(shí)融合:在遙工作場景中,將混合現(xiàn)實(shí)全息對象和真實(shí)的環(huán)境元素結(jié)合在一起,從而增強(qiáng)交互場景的視覺體驗(yàn)。

非功能需求主要針對軟、硬件環(huán)境與應(yīng)用場景,具體包括如下內(nèi)容。

(1)系統(tǒng)開發(fā)平臺(tái):Windows平臺(tái),不需要大量的存儲(chǔ)空間,系統(tǒng)盡量小巧。

(2)用戶需求:用戶需具備基本的計(jì)算機(jī)作業(yè)經(jīng)驗(yàn)與能力,且在不熟悉計(jì)算機(jī)操作和混合現(xiàn)實(shí)系統(tǒng)的條件下,能做到快速學(xué)習(xí)并很好地適應(yīng)。

(3)環(huán)境條件:應(yīng)當(dāng)盡量避免強(qiáng)光,以適用于設(shè)備采集到合適亮度的視頻為準(zhǔn)。混合現(xiàn)實(shí)顯示設(shè)備也同樣不適用于強(qiáng)光環(huán)境。

總體來說,通過混合現(xiàn)實(shí)技術(shù)改變傳統(tǒng)的第三人稱視角觀察的多視頻流傳輸,有助于理解操作的上下文。此外,交互系統(tǒng)能為用戶提供直觀、立體的混合現(xiàn)實(shí)機(jī)械臂交互控制方式,使其更加身臨其境并得到自然的交互體驗(yàn)。

1.2 視覺增強(qiáng)交互系統(tǒng)總體架構(gòu)

綜合以上需求分析,本文提出了一種新的視覺增強(qiáng)交互系統(tǒng)框架,采用“視頻視角”的混合現(xiàn)實(shí)顯示方案,將機(jī)器人端返回的視頻信息視為真實(shí)世界,將混合現(xiàn)實(shí)場景中的全息對象用于遠(yuǎn)程機(jī)器人控制,并在數(shù)字化視頻流上完成混合現(xiàn)實(shí)的工作。該方法將視覺反饋區(qū)域與控制區(qū)域集成一體,最終呈現(xiàn)出一套完整的基于混合現(xiàn)實(shí)的閉環(huán)遙操作交互系統(tǒng)。此系統(tǒng)從三維顯示和自然交互的角度出發(fā),在為操作員提供實(shí)時(shí)、準(zhǔn)確、有效的作業(yè)場景信息的同時(shí),實(shí)現(xiàn)了立體直觀的交互控制指令反饋。所設(shè)計(jì)的系統(tǒng)結(jié)構(gòu)框架如圖1所示,主要分為主動(dòng)端的操作員站和從動(dòng)端的機(jī)器人作業(yè)站,二者通過無線自組網(wǎng)設(shè)備實(shí)現(xiàn)遠(yuǎn)程通信。

圖1 遙操作視覺增強(qiáng)交互系統(tǒng)框架Fig.1 Teleoperation vision enhancement system frame

主動(dòng)端為操作員、頭戴式顯示器、本地計(jì)算機(jī)等組成的操作員站。在本地計(jì)算機(jī)上建立一個(gè)混合現(xiàn)實(shí)場景,該場景包括立體視覺顯示和人機(jī)交互界面,可以直接給操作員提供立體可視化的遠(yuǎn)端場景和交互界面,操作員通過頭戴式顯示器,在安全環(huán)境中實(shí)時(shí)、準(zhǔn)確地觀察機(jī)器人姿態(tài)并完成交互控制任務(wù)。從動(dòng)端為遙操作機(jī)器人、圖像采集設(shè)備、云臺(tái)等組成的機(jī)器人作業(yè)站。主動(dòng)端和從動(dòng)端通過自組網(wǎng)設(shè)備進(jìn)行通信,自組網(wǎng)設(shè)備內(nèi)嵌有視頻流傳輸協(xié)議,能夠把攝像頭采集到的圖像發(fā)送回主動(dòng)端,在作業(yè)任務(wù)時(shí)提供輔助參考給操作員。交互系統(tǒng)按功能可分為真實(shí)層、虛擬層和交互層,其中也包括了作業(yè)場景采集系統(tǒng)、終端虛實(shí)顯示系統(tǒng)、跟蹤注冊模塊、虛實(shí)融合模塊等,其工作步驟如下。

步驟1真實(shí)層的作業(yè)場景采集系統(tǒng)首先讀取攝像機(jī)采集到的實(shí)時(shí)流協(xié)議(RTSP)視頻流,再對其進(jìn)行編解碼,從而獲得實(shí)時(shí)圖像信息。

步驟2通過計(jì)算機(jī)終端的虛實(shí)顯示系統(tǒng),完成虛擬圖像渲染與柵格化,生成虛擬層的虛擬信息。

步驟3跟蹤注冊模塊完成對攝像機(jī)視野和視角的跟蹤,生成相關(guān)的位置、坐標(biāo)等信息,同時(shí)將虛擬層的數(shù)字信息與真實(shí)環(huán)境相匹配,實(shí)現(xiàn)虛擬層與真實(shí)層的融合。

步驟4將整合后的信息輸出至頭戴式顯示器,為操作人員提供視覺反饋和機(jī)器人控制界面,然后操作員與虛擬模型進(jìn)行交互,完成遙操作任務(wù)并發(fā)出控制指令。

2 關(guān)鍵交互技術(shù)研究

2.1 遠(yuǎn)程視景實(shí)時(shí)呈現(xiàn)

混合現(xiàn)實(shí)交互系統(tǒng)首先需要實(shí)現(xiàn)的一個(gè)功能就是通過攝像機(jī)捕捉或記錄近端任務(wù)環(huán)境,與此同時(shí),遠(yuǎn)程用戶在混合現(xiàn)實(shí)頭盔(HMD)上獲得近乎實(shí)時(shí)的視頻流。攝像機(jī)-HoloLens端到端視頻傳輸實(shí)現(xiàn)方法如圖2所示,首先設(shè)置流媒體通道,用于發(fā)布視頻輸出、編碼視頻和發(fā)布視頻流,然后在全息應(yīng)用程序中將這個(gè)視頻流通道部署至HoloLens。

圖2 攝像機(jī)-HoloLens端到端視頻傳輸實(shí)現(xiàn)方法Fig.2 End-to-end video delivery implementation methods

圖像傳輸?shù)牧鞒倘鐖D3所示,可通過自定義服務(wù)器端和遠(yuǎn)程客戶端傳輸與接收的數(shù)據(jù)類型,提高網(wǎng)絡(luò)通信過程中的穩(wěn)定性。

圖3 圖像傳輸流程Fig.3 Image transfer flowchart

采用2個(gè)網(wǎng)絡(luò)協(xié)議(IP)攝像頭采集遠(yuǎn)端場景,分別獲取遠(yuǎn)端整體抓取場景的全景圖像以及手部抓取的特寫圖像。在圖像數(shù)據(jù)的無線傳輸過程中,圖像幀率為30 Hz,分辨率為1 920×1 080像素。另外,為了減小數(shù)據(jù)傳輸量,在獲取實(shí)時(shí)圖像后將數(shù)據(jù)壓縮為JPEG格式,并根據(jù)自定義的傳輸類型進(jìn)行打包發(fā)送。服務(wù)器端程序流程如圖4所示,遠(yuǎn)程客戶端負(fù)責(zé)接收圖像數(shù)據(jù),并將其解包、解碼后在混合現(xiàn)實(shí)場景中實(shí)時(shí)顯示。

圖4 服務(wù)器端程序設(shè)計(jì)流程Fig.4 Server-side programming

本文基于Unity3D軟件實(shí)現(xiàn)實(shí)時(shí)視頻播放功能,但由于其原生視頻播放器僅支持本地視頻文件的播放,因此為了將外部世界的IP攝像頭輸入到開發(fā)環(huán)境中,使用Universal Media Player 插件搭建了一個(gè)可以播放RTSP實(shí)時(shí)視頻流的場景,用腳本控制RTSP視頻流的播放,設(shè)計(jì)并開發(fā)了相應(yīng)的程序接口與軟件界面,如圖5所示。

圖5 Unity3D軟件中的場景架構(gòu)Fig.5 Scene architecture in Unity3D

該場景包括2個(gè)并列排布的2D畫布(canvas),分別用于渲染顯示主視角相機(jī)(CAM1)和手部視角相機(jī)(CAM2)的實(shí)時(shí)視頻流,并通過背景面板有效地避免強(qiáng)光環(huán)境中的光線干擾。隨后設(shè)置畫布的層次結(jié)構(gòu),掛載相應(yīng)的腳本文件,直接調(diào)用RTSP視頻流,將畫面渲染到對應(yīng)的畫布上,實(shí)現(xiàn)實(shí)時(shí)視頻流的接收與播放。運(yùn)行該場景程序時(shí),會(huì)在本地計(jì)算機(jī)打開一個(gè)提供網(wǎng)絡(luò)攝像頭畫面的新窗口,以輸出視頻編碼器正在接收圖像數(shù)據(jù)的狀態(tài)信息。在混合現(xiàn)實(shí)顯示器中,為了生成高質(zhì)量且穩(wěn)定的混合現(xiàn)實(shí)場景,通過無線串流在Unity3D軟件中實(shí)現(xiàn)HoloLens與PC電腦在同一局域網(wǎng)內(nèi)的無線連接,從而在HoloLens中同步Unity中的輸出結(jié)果,如圖6所示。針對此類二維信息的注冊,只需確定其相對于真實(shí)空間的坐標(biāo)信息,就能較好地實(shí)現(xiàn)信息疊加。在這個(gè)過程中,PC計(jì)算機(jī)作為后臺(tái)服務(wù)器進(jìn)行數(shù)據(jù)處理,HoloLens作為客戶端向用戶提供操作環(huán)境。

圖6 Unity3D軟件中的視頻流顯示Fig.6 Video stream display in Unity3D

2.2 Unity場景下的機(jī)械臂自適應(yīng)控制

本文所提出的混合現(xiàn)實(shí)交互系統(tǒng)面向遙操作作業(yè)環(huán)境,需要根據(jù)真實(shí)環(huán)境的物理數(shù)據(jù)創(chuàng)建遙操作平臺(tái)虛擬交互模型,從而實(shí)現(xiàn)對遙操作機(jī)器人作業(yè)場景中各要素的構(gòu)建與實(shí)際控制。以遙操作機(jī)械臂為例,由于需要通過對機(jī)械臂模型各關(guān)節(jié)角度的實(shí)時(shí)接收發(fā)控制遠(yuǎn)端的真實(shí)機(jī)械臂,因此首先構(gòu)建機(jī)械臂模型,具體流程如圖7所示。首先利用SolidWorks軟件對機(jī)械臂進(jìn)行幾何重建,確定各零部件之間的裝配關(guān)系與旋轉(zhuǎn)中心,然后考慮到形狀、材質(zhì)、紋理等因素的影響,利用計(jì)算機(jī)圖形學(xué)及相關(guān)渲染算法進(jìn)行模型著色,以提高混合現(xiàn)實(shí)三維立體顯示的質(zhì)量。

圖7 機(jī)械臂虛擬模型構(gòu)建流程Fig.7 Robotic arm virtual model building process

由于Unity3D軟件所支持的模型文件為FBX格式,所以必須先將SolidWorks軟件生成的模型導(dǎo)入3DsMAX軟件進(jìn)行轉(zhuǎn)化,再將轉(zhuǎn)化后的文件導(dǎo)入U(xiǎn)nity3D軟件,建立對應(yīng)模型的材質(zhì)球以刻畫模型的細(xì)節(jié)特征,從而提高混合現(xiàn)實(shí)視覺質(zhì)量。此外,通過降低虛擬模型的真實(shí)性,保證了系統(tǒng)的實(shí)時(shí)性需求,即在進(jìn)行建模與實(shí)時(shí)渲染時(shí),對模型的精確度和繪制速度進(jìn)行了權(quán)衡,既能使畫質(zhì)得到保證又不會(huì)給用戶帶來任何視覺觀感上的不適。模型生成后需要貼上紋理,使其更具有真實(shí)感。三維模型貼圖的核心是建立紋理貼圖與模型表面的映射關(guān)系,其實(shí)現(xiàn)過程如圖8所示。首先計(jì)算紋理在三維模型空間坐標(biāo)系中的空間位置,確定紋理空間點(diǎn)(u,v)與模型空間坐標(biāo)的映射關(guān)系,然后依據(jù)該映射關(guān)系,實(shí)現(xiàn)三維模型的著色。

圖8 紋理映射過程示意圖Fig.8 Texture mapping process

在場景實(shí)現(xiàn)過程中,模型建立后需要對機(jī)械臂模型進(jìn)行控制與交互方法的設(shè)計(jì)。由于采用機(jī)械臂仿真Unity鉸鏈關(guān)節(jié)后進(jìn)行角度輸出的傳統(tǒng)方案存在無法精確控制角度的問題,以及當(dāng)項(xiàng)目套用混合現(xiàn)實(shí)工具包(MRTK)組件在混合現(xiàn)實(shí)場景下運(yùn)行時(shí),本文所使用的機(jī)械臂需要進(jìn)行6軸的關(guān)節(jié)計(jì)算,給系統(tǒng)運(yùn)行造成了較大的負(fù)載,常常會(huì)出現(xiàn)系統(tǒng)崩潰、模型顯示邏輯混亂的情況,因此,本文提出采用循環(huán)坐標(biāo)下降逆運(yùn)動(dòng)學(xué)(cyclic coordinate descent inverse kinematics,CCDIK)方法實(shí)現(xiàn)混合現(xiàn)實(shí)場景下機(jī)械臂的交互。實(shí)現(xiàn)機(jī)械臂交互控制的框架如圖9 所示。

圖9 基于末端抓取物的機(jī)械臂交互控制框架 Fig.9 Robotic arm interactive control frame based on end-grabbing objects

本文基于Unity2020.3.41f1c1版本,利用CCDIK算法在混合現(xiàn)實(shí)場景中實(shí)現(xiàn)Unity機(jī)械臂的自適應(yīng)交互。CCDIK算法是一種較為快速的逆運(yùn)動(dòng)學(xué)求解算法,在實(shí)時(shí)性要求較高的環(huán)境中運(yùn)用比較廣泛,且由于這種算法的計(jì)算量比較小,對系統(tǒng)的負(fù)載影響也較小,因此適合在混合現(xiàn)實(shí)設(shè)備算力較弱的情況下使用。該算法的具體過程為:首先在Unity中創(chuàng)建一個(gè)機(jī)械臂模型,包括機(jī)械臂的各個(gè)關(guān)節(jié)和連接器,并設(shè)置好每個(gè)關(guān)節(jié)的轉(zhuǎn)動(dòng)范圍和初始角度;然后,搭建CCDIK腳本來構(gòu)建機(jī)械臂的逆運(yùn)動(dòng)學(xué)模型,該腳本可以根據(jù)機(jī)械臂的目標(biāo)位置和姿態(tài),計(jì)算出每個(gè)關(guān)節(jié)需要旋轉(zhuǎn)的角度,從而實(shí)現(xiàn)機(jī)械臂末端的精確定位;最后,將CCDIK腳本掛載到機(jī)械臂模型上,設(shè)置目標(biāo)位置和姿態(tài),并進(jìn)行運(yùn)動(dòng)控制。本文通過編寫腳本來控制機(jī)械臂的運(yùn)動(dòng),使用手部位姿來操作目標(biāo)抓取物體,通過在更新進(jìn)程中進(jìn)行不間斷的坐標(biāo)判斷,向腳本不斷輸出目標(biāo)位置,實(shí)現(xiàn)連續(xù)、實(shí)時(shí)的機(jī)械臂姿態(tài)變換。隨后,進(jìn)一步對機(jī)械臂模型進(jìn)行優(yōu)化和改進(jìn),添加了碰撞檢測以提高模型的精度和穩(wěn)定性。

2.3 三維注冊與融合流程

混合現(xiàn)實(shí)系統(tǒng)的重要部分是將虛擬的全息對象與真實(shí)環(huán)境融合起來。本文所設(shè)計(jì)的混合現(xiàn)實(shí)場景中的全息對象包括兩大類,如圖10所示,一類是2D對象如字體、圖片、UI等,用于向用戶展示當(dāng)前環(huán)境的動(dòng)態(tài)信息及相關(guān)屬性;另一類是3D對象,主要是指三維全息對象如機(jī)械臂、抓取物、小車等虛擬模型,用于遠(yuǎn)程機(jī)器人系統(tǒng)的交互控制,以增強(qiáng)用戶的沉浸感體驗(yàn)。

圖10 混合現(xiàn)實(shí)場景中的虛擬信息Fig.10 Virtual information in a mixed reality scenario

采用基于自然特征點(diǎn)的無標(biāo)識三維注冊方法,對這些全息對象進(jìn)行空間三維注冊,利用Vuforia SDK工具包和Unity3D軟件開發(fā)對應(yīng)的Unity腳本,實(shí)現(xiàn)對全息對象空間位置和姿態(tài)的實(shí)時(shí)定義。該三維注冊系統(tǒng)由4個(gè)部分組成,分別是三維目標(biāo)預(yù)設(shè)、圖像實(shí)時(shí)處理、三維注冊以及圖像輸出。實(shí)現(xiàn)的基本流程如圖11所示。

圖11 三維注冊與融合流程Fig.11 3D registration and fusion flowchart

通過選取多張標(biāo)記圖像建立目標(biāo)樣本數(shù)據(jù)庫,并將數(shù)據(jù)庫導(dǎo)入到Unity項(xiàng)目中,可實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)標(biāo)記的調(diào)用。通過綁定模型與目標(biāo)物圖像,根據(jù)Unity3D軟件中空間參考坐標(biāo)系與真實(shí)空間坐標(biāo)系的關(guān)系,設(shè)定目標(biāo)物與虛擬模型的相對位置關(guān)系,可實(shí)現(xiàn)虛實(shí)融合與顯示。采用HoloLens設(shè)備進(jìn)行虛實(shí)融合的過程如圖12所示。由圖可見,該三維注冊方法能將全息對象和現(xiàn)實(shí)所觀察到的遙操作場景相融合,使全息影像在相機(jī)識別到目標(biāo)對象時(shí),可以按照預(yù)先設(shè)置的相對關(guān)系在混合現(xiàn)實(shí)場景中顯示,增強(qiáng)了全息圖像的真實(shí)感,極大地改善了物理環(huán)境與虛擬環(huán)境的虛實(shí)融合效果。基于此方法,系統(tǒng)提供了可以進(jìn)行機(jī)器人操作的全向感知平臺(tái),允許操作員在作業(yè)過程中與虛擬機(jī)器人系統(tǒng)進(jìn)行交互,并能從各個(gè)方向觀察虛擬機(jī)器人與虛擬抓取場景,有助于操作員直接感受遠(yuǎn)端環(huán)境并進(jìn)行遙操作控制,以獲得更好的真實(shí)感和沉浸感。

3 交互系統(tǒng)構(gòu)建

3.1 交互界面可視化

在Unity3D軟件中進(jìn)行系統(tǒng)交互界面的構(gòu)建,作為遙操作視覺增強(qiáng)交互系統(tǒng)的重要組成部分,主要包括利用遠(yuǎn)程攝像機(jī)在混合現(xiàn)實(shí)場景中獲取傳輸?shù)膶?shí)時(shí)視頻流,以及拖動(dòng)三維可視化后的虛擬機(jī)械臂進(jìn)行控制兩部分內(nèi)容,因此可將虛擬交互空間進(jìn)行劃分,并根據(jù)相應(yīng)的交互功能進(jìn)行布局。如圖13所示,左、右兩側(cè)展示了遙操作實(shí)時(shí)視頻流畫面,分別用于顯示遙操作端的手部實(shí)景和遙操作端的全局實(shí)景。AR識別平臺(tái)位于視野正前方,用于實(shí)時(shí)追蹤并定位虛擬機(jī)械臂控制的交互平臺(tái)。用戶通過觀察立體傳輸?shù)囊曨l流信息,變換機(jī)械臂的虛擬模型位姿以進(jìn)行遠(yuǎn)端機(jī)械臂的同步控制。交互模式選擇模塊集合了性能分析器、手勢交互方式選擇、AR平臺(tái)關(guān)閉與顯示、場景切換等功能按鍵,分別響應(yīng)于對應(yīng)的特征。該界面用戶最終通過HoloLens設(shè)備進(jìn)行顯示,輔助遙操作系統(tǒng)實(shí)現(xiàn)了自然人機(jī)交互與沉浸式作業(yè)。

圖13 混合現(xiàn)實(shí)系統(tǒng)界面Fig.13 Hybrid reality system interface

交互系統(tǒng)中使用的界面標(biāo)定方式為環(huán)境鎖定,但為了適應(yīng)不同應(yīng)用場景以及用戶的個(gè)性化需求,在實(shí)際應(yīng)用過程中也提供了基于頭部追隨技術(shù)的界面標(biāo)定方式供操作員選擇,此方式能有效地避免由于用戶移動(dòng)造成的畫面消失或頻繁的手動(dòng)定位。

3.2 系統(tǒng)通信實(shí)現(xiàn)

本系統(tǒng)網(wǎng)絡(luò)通信由兩套獨(dú)立的子系統(tǒng)實(shí)現(xiàn),分別為相機(jī)端-主機(jī)端視頻流的通信實(shí)現(xiàn)以及主動(dòng)端-從動(dòng)端交互指令的通信實(shí)現(xiàn)。通過不同的數(shù)據(jù)傳輸協(xié)議,從而實(shí)現(xiàn)主從端各子系統(tǒng)之間的信息、控制數(shù)據(jù)流轉(zhuǎn)。

本系統(tǒng)通過傳輸控制協(xié)議(transmission control protocol,TCP)通信實(shí)現(xiàn)主從端點(diǎn)云數(shù)據(jù)流的傳輸,其方法為在從端的Linux主機(jī)上搭建服務(wù)端,在主端的Unity程序中搭建客戶端并編寫對應(yīng)的腳本文件。TCP是一種面向連接的、可靠的、基于字節(jié)流的傳輸層通信協(xié)議,其通過建立穩(wěn)定連接、按順序傳輸數(shù)據(jù)包以及提供錯(cuò)誤檢測和重傳機(jī)制,確保了數(shù)據(jù)的完整性和可靠性。該協(xié)議在本系統(tǒng)的具體應(yīng)用如圖14所示 。

圖14 場景傳輸TCP通信流程Fig.14 Scenario transmission TCP communication process

基于Unity的自適應(yīng)機(jī)械臂實(shí)現(xiàn)交互控制后,需要進(jìn)一步搭建局域網(wǎng)傳輸機(jī)械臂的遠(yuǎn)程控制指令,具體的通信流程設(shè)計(jì)如圖15所示。由于模型機(jī)械臂與真實(shí)機(jī)械臂的初始位姿不一定同步,因此在系統(tǒng)開啟之前需要先進(jìn)行初始化同步以保證兩者的位姿相同,再通過用戶數(shù)據(jù)報(bào)協(xié)議(UDP)通信使Unity工程與遠(yuǎn)端機(jī)器人進(jìn)行遠(yuǎn)程數(shù)據(jù)交換并發(fā)送位置指令。

圖15 混合現(xiàn)實(shí)機(jī)械臂控制通信流程Fig.15 Mixed reality robotic arm control communication process

為了控制機(jī)械臂的運(yùn)動(dòng),需要獲取機(jī)械臂關(guān)節(jié)角度的變化信息。這些信息可以從Unity工程中提取,在進(jìn)行位姿同步后,機(jī)械臂模型接收末端位姿的坐標(biāo)并進(jìn)行實(shí)時(shí)的姿態(tài)變換計(jì)算,隨后將變換后的角度信息通過UDP通信傳輸給遠(yuǎn)端機(jī)器人。

在該Unity通信進(jìn)程中,每一幀即1/12 s都會(huì)產(chǎn)生一次角度數(shù)據(jù),因此在短時(shí)間內(nèi)產(chǎn)生了大量的、重復(fù)的角度數(shù)據(jù),并被機(jī)械臂服務(wù)器端全部接收,這對機(jī)械臂的角度處理造成了較大的干擾,頻繁出現(xiàn)單次姿態(tài)變換中移動(dòng)卡頓的問題。基于此問題,本文通過物體抓取操作的監(jiān)聽進(jìn)行數(shù)據(jù)傳輸優(yōu)化,由于系統(tǒng)構(gòu)建中采用MRTK的交互腳本實(shí)現(xiàn)了對虛擬抓取物的交互操作,因此使用 MRTK 的可交互組件進(jìn)行物體抓取操作時(shí),可以通過監(jiān)聽手勢交互終止事件(manipulation ended)來實(shí)現(xiàn)每次抓取結(jié)束后輸出一次角度信息的功能。實(shí)現(xiàn)的最終效果為在每次抓取操作結(jié)束后,才將旋轉(zhuǎn)信息發(fā)送到服務(wù)器,并輸出角度信息,極大地優(yōu)化了機(jī)械臂的交互控制效果。

4 系統(tǒng)驗(yàn)證

4.1 遙操作場景下傳輸延時(shí)實(shí)驗(yàn)

在混合現(xiàn)實(shí)視覺增強(qiáng)交互系統(tǒng)的實(shí)際應(yīng)用中,遙操作主從端的傳輸延時(shí)是衡量系統(tǒng)整體性能的一個(gè)關(guān)鍵指標(biāo)。一般情況下,系統(tǒng)延遲響應(yīng)約為70～110 ms,一旦超過300 ms,就會(huì)直接影響到操作者的作業(yè)效率。設(shè)Δt1是相機(jī)從新的位置采集圖像并返回顯示器所造成的延遲,主要受由網(wǎng)絡(luò)傳輸性能的影響,并隨著傳輸圖像尺寸的增大而增大,Δt2是在HMD上渲染獲取的圖像所造成的延遲,因此系統(tǒng)總延遲Δt為Δt1與Δt2之和。實(shí)驗(yàn)設(shè)定視頻以1 920×1 080 像素高清分辨率進(jìn)行傳輸,使用MJPG編碼,幀率為30 Hz,傳輸圖像尺寸為640×480像素,服務(wù)器和客戶端在同一局域網(wǎng)中。設(shè)置主從端距離為15 m,在攝像機(jī)前執(zhí)行固定動(dòng)作直到該動(dòng)作在交互系統(tǒng)中復(fù)現(xiàn)后,計(jì)算執(zhí)行動(dòng)作與復(fù)現(xiàn)動(dòng)作之間的時(shí)間差即系統(tǒng)延時(shí)。

實(shí)驗(yàn)得到的結(jié)果如圖16所示,統(tǒng)計(jì)結(jié)果表明,圖像傳輸過程中的延時(shí)保持在210 ms到300 ms之間,平均值為260 ms,方差為29 ms,能夠滿足實(shí)時(shí)性要求。

圖16 主從端距離為15 m時(shí)圖像傳輸延時(shí)實(shí)驗(yàn)結(jié)果Fig.16 Experimental results of image transmission delay when the master-slave distance is 15 m

4.2 人機(jī)交互功能測試

對本文所設(shè)計(jì)的遙操作交互系統(tǒng)進(jìn)行人機(jī)交互功能測試,測試結(jié)果主要用于評估系統(tǒng)的手勢識別與交互性能。實(shí)驗(yàn)隨機(jī)招募14名被試者(10名男性,4名女性),年齡范圍為21～26歲(平均為23.79歲,標(biāo)準(zhǔn)差為1.42),均無VR、AR使用經(jīng)驗(yàn)。被試者進(jìn)行基礎(chǔ)學(xué)習(xí)與訓(xùn)練后,執(zhí)行手勢30次/命令。手勢由5個(gè)命令組成,分別為選擇虛擬對象、調(diào)整對象位置、調(diào)整對象尺寸、機(jī)械臂姿態(tài)變換和多通道選擇交互,要求被試者完成混合現(xiàn)實(shí)環(huán)境下的關(guān)于系統(tǒng)相關(guān)模塊的基本交互任務(wù)。實(shí)驗(yàn)記錄下檢測到的手勢數(shù),并將統(tǒng)計(jì)結(jié)果列于表1。

表1 人機(jī)交互功能測試任務(wù)及結(jié)果統(tǒng)計(jì)

由表1可見,該系統(tǒng)對手勢命令的檢測準(zhǔn)確率較高,交互時(shí)間隨著交互任務(wù)的復(fù)雜度增加。實(shí)驗(yàn)過程中幀率總體波動(dòng)范圍為55～75 Hz,最大差值保持在10 Hz以內(nèi)。

綜上所述,所設(shè)計(jì)的混合現(xiàn)實(shí)視覺增強(qiáng)交互系統(tǒng),能夠滿足基本的人機(jī)交互功能需求,并且具有良好的運(yùn)行性能與流暢性。同時(shí),通過與實(shí)驗(yàn)搭建的利用二維顯示器進(jìn)行場景傳輸?shù)膫鹘y(tǒng)遙操作系統(tǒng)相比,在進(jìn)行完整的遙操作抓取任務(wù)中,同樣完成選擇對象、機(jī)械臂變換以及抓取對象這3組動(dòng)作,傳統(tǒng)二維系統(tǒng)完成任務(wù)所需的平均時(shí)間為11.73 s,準(zhǔn)確度為0.87,而本文所設(shè)計(jì)的遙操作交互系統(tǒng)在任務(wù)平均完成時(shí)間上減少了17.3%,準(zhǔn)確度提高了7%。

5 結(jié) 論

本文針對遙操作機(jī)器人系統(tǒng)在高風(fēng)險(xiǎn)任務(wù)中近端交互臨場感差、操作者難以獲得真實(shí)體驗(yàn)感的問題,提出了一種適用于遙操作場景的混合現(xiàn)實(shí)視覺增強(qiáng)交互系統(tǒng),并對該交互系統(tǒng)的交互性能進(jìn)行分析和實(shí)驗(yàn)驗(yàn)證,探討了混合現(xiàn)實(shí)交互技術(shù)的應(yīng)用對于遙操作機(jī)器人系統(tǒng)人機(jī)交互性能的影響,得到以下主要結(jié)論。

(1)以人機(jī)交互通道為研究對象,從多通道信息的整合入手,研究了Unity3D平臺(tái)下視頻流的采集與流式無線傳輸方法,完成了在硬件平臺(tái)上的搭載并進(jìn)行了傳輸測試,有效地完成了遠(yuǎn)程場景還原的系統(tǒng)需求。

(2)基于機(jī)械臂的逆運(yùn)動(dòng)學(xué)構(gòu)建了混合現(xiàn)實(shí)場景下的機(jī)械臂控制腳本,設(shè)計(jì)了一種立體可視化的遙操作控制流程,最大程度地保障了用戶以自然的方式與控制對象交互,降低了學(xué)習(xí)成本。

(3)基于視覺感知以及可視化交互理論構(gòu)建系統(tǒng)交互界面,提出了二維信息與三維模型相結(jié)合的混合式系統(tǒng)信息構(gòu)建方法。該方法將視覺反饋區(qū)域與控制區(qū)域集成一體,改善了遙操作機(jī)器人系統(tǒng)的復(fù)雜度和穩(wěn)定性。

本文所提出的混合現(xiàn)實(shí)視覺增強(qiáng)方法遙操作交互系統(tǒng),有效地解決了遠(yuǎn)端作業(yè)場景的同步再現(xiàn)問題,提高了操作員的作業(yè)效率和準(zhǔn)確率,對于軍事領(lǐng)域中的排雷排爆等遙操作作業(yè)具有一定的應(yīng)用價(jià)值。