一種沉浸式體控機器人的設計方案與應用分析

1.阿迪思 2.姚皓 3.王金金

四川大學制造科學與工程學院

一種沉浸式體控機器人的設計方案與應用分析

1.阿迪思 2.姚皓 3.王金金

四川大學制造科學與工程學院

本項目運用VR技術和體感控制技術的基礎和原理，將虛擬現實應用于機器人控制領域。提出立體沉浸式體感控制機器人的概念和技術路線：利用雙目攝像頭和VR顯示設備構建立體沉浸式環境，利用光學姿態采集器和搭載在頭部的姿態傳感器構建體感控制系統。使操作者可以自由地選擇觀察視角，并使機械臂隨操作者意圖同步運動。特點在于交互性、動作性和自主性強。沉浸式體控機器人可以應用于多種領域，云服務器的接入，可以打破距離的限制，使機器人可以真正意義上代替用戶進行遠端的操作。

沉浸式技術 雙目攝像頭 體感控制 光學姿態捕捉 圖像回傳

引言

遠程智能控制系統的研究始于DOS時代，但由于硬件水平限制，其發展始終不盡如人意，只停留在概念層次，而到了90年代，互聯網的興起才讓這項技術開始逐漸走入大眾生活。而在那個時期一起發展起來的，還有沉浸式虛擬現實技術，它能提供參與者完全沉浸的體驗，使用戶有一種置身于虛擬世界之中的感覺。由于兩項技術都有極大優越性，各國科學家都在努力嘗試將二者很好的結合起來，即在發展基于VR的遠程體感控制系統上下了很多功夫。現在的智能機器人大多是依靠自身存儲的復雜程序代碼或者操作手柄，根據外部事件觸發產生相應的執行動作來實現控制。但是大量的程序代碼存儲需要大的存儲空間同時伴隨而來的體積大、功耗大、速度慢、存在延時等問題都會降低機器人得控制精度，不易實現同步控制功能。另外在監測機器人領域，由于傳輸的二維視頻畫面對三維世界描述的巨大局限性，因此對復雜環境無法進行最真實的還原與反饋，操作者無法更加自由、方便和直接地控制機器人進行工作。設計一款具有人機交互、沉浸式體驗與體感控制于一體機器人，使機器人具有代替人工操作和傳統的機器人進行遠程技術操作成為可能。

一、沉浸式體控機器人的設計方案

（一）立體沉浸式環境構建

1.圖像采集--雙目視覺系統設計。常用的雙目立體視覺成像模型有平行雙目成像模型和匯聚雙目成像模型兩種。兩種模型都采用兩個單目攝像頭進行取景。所得的兩幅有視差的圖片在人大腦中疊加融合處理，就構成了有深度立體效果的畫面。綜合人眼獲取圖像的運作方式，匯聚雙目成像模型更符合人眼的視覺習慣。為獲得較好的立體成像效果，本系統選取了匯聚雙目成像模型。

在頭部和兩眼都處于放松狀態情況下，眼睛觀察的視線在水平視線下約25度-35度，結合人在自然觀察狀態下視線的特點，為使用者在觀察時具有最佳的舒適度，對攝像頭的俯仰角進行調試，兩攝像頭在水平面下夾角為25度時最佳。

電子雙目系統采用兩個同品牌、內部參數基本一致的攝像頭構成，兩攝像頭位于同一水平面，且夾角為25°，如圖1所示。滿足對沉浸式視頻最優化的顯示，最大程度的保證3D顯示效果。

圖1 雙目攝像頭

2.圖像顯示——VR設備。場景顯示方式及設備是虛擬現實系統中人機交互的基本組成部分，按照顯示方式分為頭盔式顯示、投影式、手持式和自由立體顯示方式等，其中桌面式顯示沉浸感不強，投影顯示受到高價格、大場地等因素的限制，所以本系統將采用頭戴式設備進行研究與改造。

本系統所用頭盔式顯示設備是款非常簡單的3D眼鏡，將手機安裝于設備前方作為顯示器,在該設備上安裝上相應的陀螺儀姿態傳感器并連接至單片機，配合相應的軟件控制即可實現沉浸式體感控制陀螺儀傳感器芯片可以實時檢測使用者頭部的位置和方向，并傳輸至單片機，單片機根據使用者頭部位置和方向信息計算出人體當前姿態，從而控制攝像頭移動到相應位置，顯示當前視點下的場景，人體視點與電子雙目的同步性和交互性讓使用者產生強烈的沉浸感。

（二）電子雙目控制

本控制系統主要由執行機構與傳感環節兩部分構成，其中傳感環節由姿態傳感器感知和獲取人體頭部運動信息并將該信息傳輸至單片機進行處理，單片機根據不同的姿態信號發送相關指令至執行機構，控制電子雙目做出相應的運動，實現具有人機交互性的體感控制。

1.雙目攝像頭執行機構設計。對雙目攝像頭的控制通常是利用攝像頭云臺作為執行機構對攝像頭進行水平和垂直的移動和控制。為了電子雙目能夠進行二維的水平和垂直運動，使操作者具有更好的體驗本產品的人機交互功能。通過分析人體頭部姿態的特征，由于人體頭部的運動類似于一個二自由度的結構。因此選擇二自由度云臺對舵機進行控制，從而可以實現雙目攝像頭可以模仿操作者頭部動作。

2.頭部姿態采集——MPU6050加速度傳感器。系統選擇 MPU6050 模塊來檢測人體頭部和手臂的姿態角度變化。姿態數據采集與傳輸系統的程序主要實現的功能包括采集人體姿態數據、姿態數據融合、數據傳輸。其系統軟件功能框圖如圖2 所示。

圖 2 系統軟件功能框圖

（1）采集人體姿態數據：采集人體頭部運動過程中三軸加速度和角速度數據；（2）姿態數據融合：選擇合適的融合方法處理采集到的人體姿態數據，以得到所需的姿態角；（3）數據傳輸：將融合后的姿態數據通過WIFI傳輸給控制電子雙目系統的MCU處理器。

（三）機械臂控制系統的硬件設計

目前的體感控制越來越趨向于光學的姿態捕捉。雖然特質手套是目前最常用的體感控制方式，但是佩戴手套操作受限，并且傳感器（如柔性傳感器）存在一定的磨損與消耗，因此使用光學姿態采集器代替特質傳感手套，光學傳感器穩定，使機械臂控制更加自由、靈活。此外光學圖像數據的處理，需要一個高性能的單片機給予支持，下面將針對硬件的結合做相應分析。

Leap Motion的主要原理是使用紅外LED+灰階Camera的方式采集數據，并生成3D數據。利用了物體對紅外照射反射特性不同而形成光場，并利用相應的算法在其中檢測特定的幾何特征，可以比較準確地檢測反射光場中的極點（如手指和物體尖端）和特定形狀的大范圍反射面（手掌）。它的功能主要就是集中在深度距離探測、指尖以及它的方向獲取、目標跟蹤。Leap Motion系統的硬件是雙目立體視覺，可以在高跟蹤幀率下工作。Leap Motion 軟件分析在器件可視范圍內的物體。它識別手、手指和工具，可以實時獲取它們的位置、手勢和動作。

Leap Motion由于使用了紅外LED+灰階Camera，成本較低；只處理手部的3D，相比較于現在Kinect需要生成全身的skeleton, 復雜的depth信息，Leap的運行效率自然也會高很多，對處理圖形的DSP要求也不會特別高。

樹莓派是一款基于ARM架構的微型電腦主板，以SD/MicroSD卡為內存硬盤，卡片主板周圍有多個USB接口和一個10/100Mbps以太網接口，并具有藍牙和WIFI功能，可連接鍵盤、鼠標和網線，同時擁有視頻模擬信號的電視輸出接口和HDMI高清視頻輸出接口，以上部件全部整合在一張僅比信用卡稍大的主板上，具備所有PC的基本功能。

通過使用Leap Motion的SDK，捕捉手勢動作，通過編寫的JAVA程序，將手部姿態數據解析為舵機控制信號。將此信息（角度值）無線傳輸至樹莓派中，將舵機控制信號進行處理并發送至機械臂，實現控制。

圖3 光學傳感器控制原理圖

（四）機械臂控制系統的硬件設計

體感控制的真正意義在于其通訊距離的遠程化，在保證實時的圖像信息穩定、有效的前提下，盡可能大地擴展傳輸距離可以提高機器人的可用性和拓展其應用前景。現階段，環境基礎設施完善的情況下，可以借助任何一個局域網，訪問互聯網，實現兩局域網子機之間的信息交換，方便快捷，任何網絡的地方就可以實現控制。沉浸式機器人的雙向數據傳輸將以此為基礎,總體傳輸示意圖如圖4所示。

圖4 雙向數據傳輸示意圖

關于視頻無線傳輸方案：

使用云端服務器，登錄遠程控制管理臺控制服務器，實現所需功能。在帶寬保證的條件下，由雙目攝像頭采集的視頻信息可以通過服務器來進行訪問顯示。選擇ffmepg+ffserver這種方式來實現視頻傳輸功能，原因有兩點。首先這種方式實現的視頻傳輸有較好的流暢度，項目的目的便是攝像頭監控并且對攝像頭進行調整，所以對視頻的延遲要求很嚴格。其次，mjpeg-streamer在通過網頁訪問攝像頭的時候需要知道此時樹莓派的IP，通過ffmepg+ffserver這種方式在實現過程中，將樹莓派和客戶端進行隔離，不再直接聯系，樹莓派通過服務器端就可以實時獲取視頻信息。

二、沉浸式體控機器人的應用前景分析

（一）機器人原理樣機分析

沉浸式體控機器人運用VR技術和體感控制技術，具備人機交互性良好，動作性能優越，能耗低等特點。一方面，頭部及手臂共七個自由度的運動實現幾乎無延遲控制，另一方面，雙目攝像頭采集到的動態圖像可以經無線方式實時傳輸至操作者眼前。在機器人端和操作者端網絡條件良好時，圖像清晰，延遲約0.5秒。

圖5 成品概念圖

（二）沉浸式體控機器人在危險環境下的應用

隨著經濟社會的發展，大量新工種不斷涌現，其中不乏高危險性、傷害人體健康、人力無法實現的職業。比如核電站輻射量監測、電力鐵塔檢測、塔吊高空作業以及在有毒有害氣體、低溫或高溫環境中的操作、巡檢、采樣、維修等等。因此發展能用于有毒有害環境下的遠程體控機器人意義重大。

（1）遠程體控機器人采用虛擬現實設備，使機器人圖像采集部位緊隨著人體頭部運動而運動，大大提高了遠程監控的清晰度和監控范圍，實景傳輸效率非常高，使操作人員有身臨其境的感覺，也提高了遠程控制效率；（2）遠程體控機器人能工作在條件苛刻的地方，如核輻射、高空、狹小空間、極端溫度條件、有毒有害氣體內等，使人員免受身體健康或生命安全的威脅；

（3）遠程體控機器人能進行遠距離的仿人同步操作，如巡檢、偵查、采樣、生產、維修等等，必要時還可以將人體在某一時間段內的動作數據記錄下來，從而進行自發的重復運動，提高生產效率；

（4）目前現有的機器人工作行為大都比較單一，通常只能固定在某處完成預先設定的操作，應用范圍較窄。而遠程體控機器人可以實時地仿照人體手臂運動，從而免去了復雜的手臂運動設計分析和程序編寫過程，使控制更加靈活可變。

三、結語

隨著視覺技術和計算機科學的高速發展，具有交互性、自由化的沉浸式視覺系統成為未來多媒體視頻技術的重要組成部分，具有極其廣闊的應用前景。本項目利用立體沉浸技術和體感控制技術，創新性地將虛擬現實技術發展并應用于監測控制領域，提出遠程三維立體沉浸式智能體感控制的概念與技術路線。使觀察者可以自由地選擇觀察方向與視角，同時使機械臂隨操作者動作同步運動。其特點在于交互性、動作性和自主性較強。沉浸式體控機器人能夠實現遠程沉浸式操作，并結合輪式、履帶式等移動機器人或航拍機器人，以更直觀、自由地體感控制方式，完成各類特定任務，使未來機器人工作更加安全、可靠和高效。

[1] Don Wilcher著∶ 翁愷 譯.學ARDUINO玩轉電子制作[M].北京∶人民郵電出版社.2013.

[2]程晨.Arduino開發實戰指南[M].北京：機械工業出版社,2012.

[3]陳玉敏,謝瑋,孟憲民.基于體感控制的智能車設計[J]. 現代電子技術,2016,(03)∶155-158.

[4]龔霖迪. 體感控制攝像機初識[J].中國公共安全,2014,(18)∶92-95.

[5]戴歡. 基于慣性動作捕捉的人體運動姿態研究[D].石家莊鐵道大學,2012.

[6]郭偉,蘭景婷. 三維動畫及其運動捕捉技術[J].四川文理學院學報,2011,(05)∶97-99.

[7]周冬鑫.慣性運動捕捉前端設備研究與設計[D].浙江大學,2011.

[8]劉然. 基于計算機立體視覺的雙目立體成像研究[D].重慶大學,2007.

[9]陳孟臻.基于MPU-6050陀螺——加速度儀三軸云臺的研究[J].百色學院學報,2015,(03)∶126-131.