滿足不同交互任務的人機共融系統設計

禹鑫燚 王正安 吳加鑫 歐林林

隨著自動化與機器人技術的發展,機器人在制造、運輸、倉儲等許多領域中都得到了廣泛應用,然而大部分的機器人仍處在與人完全隔離的環境下進行工作,一方面是為了避免安全上的隱患,另一方面是為了降低系統部署的難度.雖然人機隔離的工作方式能夠發揮機器人在運動精度和速度上的優勢,適用于一些簡單重復性的工作,但對于一些需要復雜判斷能力和靈活機動性的工作,目前大部分的機器人很難單獨勝任,而且大部分機器人都缺乏在人機共融環境下工作的能力,導致這些工作只能由人來完成[1].為了改變人機分離工作的現狀,希望機器人以協助的方式參與到人的生產工作中,負責搬運、夾持、預處理等任務,減少人的負擔,提升整體的工作效率.

為了讓機器人融入有人參與的工作環境,首先需要解決的是人機之間的安全問題.國際標準化組織提出了4 種實現安全人機協作的方式: 1)安全級監控停止: 當檢測到人和機器人同時處于協作區內時,機器人保持停止;2)手動引導: 通過手動引導的裝置或設備在協作區內對操作機器人的末端工具使其達到期望的位置和姿態;3)速度與距離監控: 機器人與操作人員時刻保持在一定距離以上,當機器人本身的運行速度越大,需要與人保持的距離也越大;4)功率及力限制: 通過限制機器人本身的力/力矩輸出來防止對人的傷害[2-3].針對不同情況的人機交互,Bdiwi 等[4]對國際標準化組織提出的安全模式進行了擴展,根據視覺信息,如觸碰、分離、遮擋等定義機器人當前需要符合的行為;Bdiwi[5]對人機協作的交互等級做了更細致的劃分,規定了不同交互等級下機器人需要符合的行為和場景內需要被監控的信息.可以看出,實時信息監控對于任何形式的人機協作都是非常重要的.

信息監控包括對機器人運動的監控、受力輸出力矩的監控以及人體動作的監控等.要實現機器人的運動監控,需要解決機器人在周邊環境中的定位問題.對于固定安裝的機器人,可以采用相機手眼標定的方式對機器人在相機坐標系下的位姿進行確定[6];而對于包含移動平臺的機器人,根據使用場景的不同,可以采用即時定位與地圖構建或定位標記的方式確定機器人的位姿.對于人體姿態的實時估計,目前的方法主要有3 種: 1)基于光學標記的人體姿態捕捉;2)基于慣性傳感的姿態捕捉;3)基于圖像和卷積神經網絡的姿態估計.Vicon 和Optitrack 等公司為基于光學標記的人體姿態捕捉提供了商業化的解決方案: 姿態捕捉的對象需要穿戴特殊服裝并粘貼相應的光學標記,通過空間中的多臺紅外攝像機組對人體動作進行采集.該方法具有較高的精度和響應速度,但由于穿戴方式過于復雜和成本較高等原因不適合工業環境的使用[7].基于慣性傳感的方式需要在身上佩戴慣性測量單元(Inertial measurement unit,IMU),Von Marcard 等[8]研究中使用稀疏傳感器配置來估計人體姿態,但需要利用一個時間片段內所有的加速度和旋轉信息進行優化計算來保證估計的準確率,實時性較差.此外,基于慣性傳感器的方法主要的問題在于無法對捕捉人員在空間中的絕對位置進行有效的估計[9].基于圖像的姿態估計方法近年發展迅速,其主要原理是利用卷積神經網絡對人體肢體、關節進行識別,不需要佩戴任何設備,降低了使用的門檻.Cao 等[10]提出了一種利用單張圖像估計多人2D 姿態的方法,在硬件加速的情況下能夠達到準實時的效果.結合人體運動學擬合方法.Mehta 等[11]利用卷積神經網絡給出了基于單目相機的3D 人體姿態計算方法.基于圖像的姿態估計方法很難對誤差進行控制,對于遮擋、畫面背景、圖像輸入分辨率等因素較為敏感,而且僅依靠視覺信息很難對肢體的旋轉信息做出有效的檢測.除以上利用彩色圖像進行人體姿態估計的方法,也有利用深度相機的深度圖像進行人體姿態識別的研究.Shotton 等[12]提出了基于單張深度圖像的3D 人體姿態快速計算方法,但其檢測效果也同樣容易受到遮擋,光照等因素的影響.

除了人機信息的采集,機器人的靈活控制在人機交互系統中也起到非常重要的作用.靈活的控制策略能夠保證機器人對不同交互情況具有良好的適應性[13].Flacco 等[14]提出一種深度圖下快速估計多個動態質點之間的距離的方法,并利用距離向量所生成的斥力場實現了機器人的動態避障.Tsai 等[15]研究了7 軸機器人的軌跡規劃方法來執行人機共融環境下的工作任務,并通過仿真驗證了其軌跡規劃方法的可行性.Mohammed 等[16]提出了一種視覺驅動的機器人動態避障方法,并在VR 虛擬空間中進行了實驗驗證了算法的有效性.目前普遍的機器人控制研究沒有對人機交互中任務目標的隨機性和工作場景頻繁的變化進行充足的考慮,很難保證機器人在動態環境下的控制可靠性.

為了實現安全高效的人機交互,本文對人機共融環境下人與機器人的運動狀態估計方法,以及交互系統中機器人的控制方法進行了研究.為了在人機共存的環境下實時獲取穩定的人體姿態,采用了多相機和IMU 信息融合優化的方式對人體姿態進行估計,提升了人體姿態估計效果的魯棒性,避免了單相機視角下對遮擋因素敏感的問題,并通過融合IMU 信息實現了對肢體旋轉旋轉信息的檢測,提供了有效的交互信息.此外,結合機器人本身的運動學特性,設計了機器人的交互控制策略.所設計的控制策略能夠提升機器人在復雜環境中工作的安全性,且對不同的任務目標能夠靈活的切換,提高了機器人在不同場景下的適應性.

本文的內容組織結構如下: 第1 節提出了人機共融系統的系統設計,第2 節研究了機器人和操作人員的姿態解算方法,第3 節設計了機器人控制策略,第4 節通過若干實驗說明了算法和控制方法的有效性和實用性.

1 系統設計

在人機共融系統下工作的機器人,主要起到協助操作人員進行工作的作用.圖1 給出的動作跟隨、目標指定、動態避障等較為典型人機協作方式,在非接觸式人機交互中有較強的應用價值.為了滿足上述功能,實現可靠的交互,需要穩定的人體姿態識別算法和靈活的機器人控制策略.

圖1 人機交互方式Fig.1 Patterns of human-robot interaction

對于人體姿態估計問題,基于單相機的方法對遮擋、光照、背景等環境因素較為敏感,而且僅基于圖像信息很難對人體肢體的旋轉信息進行有效的判斷.本文擬采用多相機與IMU 信息融合的方法對人體姿態進行估計,以提升人體姿態識別的精度、穩定性和姿態信息的完整性.

對于人機交互應用中的機器人控制,需要使用合適的交互控制策略使得機器人能夠適應不同的交互模式下不同的控制需求.本文擬針對不同的交互方式給出相應目標點生成方式,機器人通過對相應目標點進行追蹤以實現不同的交互運動;結合模型預測控制,通過建立優化函數,以調整優化參數的方式使機器人適應不同模式下的控制性能要求.

具體的系統設計如圖2 所示.機器人的工作空間處于多臺固定架設的相機視野下,機器人的坐標系與相機坐標系的變換關系通過機器人手眼標定獲得,從而可以通過機器人運動學計算出機器人的運動狀態.利用多臺相機的2D 人體姿態估計結果和操作人員所佩戴的IMU 的旋轉信息,在人體姿態估計模塊中通過構造能量函數,對傳感器信息進行融合并優化求解出3D 的人體姿態信息.系統通過分析操作人員與機器人的空間關系,并結合當前的交互模式生成機器人的任務目標,機器人的任務目標經過系統修正以保證安全性與合理性.最后,以生成的任務目標為參考,通過模型預測控制器生成機器人的運動指令,最終控制機器人運動完成交互行為.“虛擬環境”作為整個系統信息交換的中樞,存儲了當前實時的人機姿態信息,起到信息同步和可視化的作用.在人機交互系統中,基于多傳感器融合的人機姿態解算、機器人的目標點生成和修正方法以及靈活的控制策略是本文研究的核心問題.

圖2 人機共融系統示意圖Fig.2 Overview of human-robot coexisting system

2 基于多傳感器的三維人機姿態解算

2.1 虛擬空間的坐標關系描述

在圖2 所示的虛擬環境中,利用坐標系來表示空間中人與機器人的狀態.人與機器人都被視為獨立的剛體運動系統,分別具有各自的基坐標系.對于機器人,基坐標系為機器人的基座坐標系;對于操作人員來說,髖部關節坐標系被視為基坐標系.為了方便對人與機器人之間的位姿關系進行計算和表示,在虛擬環境中還設有世界坐標系,機器人與操作人員的定位信息都基于世界坐標系來表示.虛擬3D 環境中的人機動作捕獲主要依靠多臺單目相機構成的視覺系統.多臺單目相機之間的空間關系采用了標定板進行了標定,最后,所有相機的相機坐標系也基于世界坐標系進行表示.

2.2 機器人的姿態解算

對于固定安裝的機器人,其基坐標系與世界坐標系的關系保持恒定,因此只需對基坐標系進行標定,得到機器人基坐標系與世界坐標系之間的固定關系.在相機固定安裝的條件下,通過一種基于迭代最小二乘法的機器人手眼標定方法[6],配合視覺標記對固定安裝的機器人進行標定,得到相機坐標系c下機器人基坐標系r0的位姿.世界坐標下機器人基坐標系的位姿表示為:

機器人可以被視為串聯的剛體連桿運動系統,具有數個串聯的連桿,父連桿與子連桿之間由單自由度的旋轉關節連接.通過機器人正運動學,可以從基座坐標系對機器人的子連桿坐標系進行推算.機器人子連桿rj相對機器人基座r0的位姿的計算公式為:

由式(3)可以計算出如圖3 所示的機器人在虛擬空間中的運動狀態.

圖3 機器人動作解算結果Fig.3 Robot pose estimation result

2.3 基于多傳感器融合的人體動作解算

在人機交互過程中,需要獲得盡可能完整的人體動作信息,同時需要考慮姿態估計的穩定性.一般基于圖像的方法容易受到遮擋的影響,而且很難對手掌等部位的旋轉信息進行有效的檢測.本節建立了人體上肢骨骼模型,并引入了可穿戴的慣性測量單元,配合多臺相機進行人體動作的估計.

2.3.1 人體上肢模型的建立

與機器人類似,本系統中,人體也被視為串聯的剛體運動系統.在與機器人的交互行為中,人體的上肢動作信息更為重要.為了對人體上肢姿態進行表示和計算,基于文獻[17]的數據集,建立了人體上肢的運動學模型,如圖4 所示.人體上肢運動學模型為包含10 個連桿的運動系統,其中,根連桿h0(髖部)為人體基坐標系,包含相對世界坐標系表示的姿態和位移其余子連桿hj,j ∈{1,2,···,9}通過球形關節與父連桿連接,相對于父連桿有旋轉和常量連桿位移其中,是用于表示球形關節歐拉角旋轉量的3 維向量.人體模型中的左肩連桿h2和右鍵連桿h6同時將胸部連桿h1作為父連桿,區別于機器人的結構,以prt作為父連桿編號.令P(hj) 為連桿hj所有上級連桿的集合,則hj在世界坐標系下的位姿為:

圖4 人體上肢骨骼關節點Fig.4 Key points of human upper limb skeleton

2.3.2 能量函數構造

人體動作估計需要融合視覺和IMU 傳感器的數據,對θh進行求解.建立θh的目標函數

式中,ER(θh)為人體上肢模型中連桿姿態與IMU測得肢體姿態的誤差項,EP(θh)表示視覺傳感器測得的人體肢體位置的誤差項,EL(θh)為人體關節自由度約束項,αR、αP、αL分別為上述3 項的權重系數.通過最小化E(θh)能夠求得融合了視覺信息與IMU 信息的人體動作估計結果θh.

1) IMU 誤差項

人體姿態估計中,IMU 佩戴方式如圖4 所示,需要在腰部、左手臂、右手臂、左手掌和右手掌佩戴IMU.各個IMU 能夠檢測自身在世界坐標系下的姿態對應其追蹤的肢體連桿hj.在佩戴好IMU 后,肢體連桿坐標系hj與IMU 傳感器坐標系Ij存在固定的旋轉偏差,該偏差能夠在人體姿態估計的初始化階段通過動作標定計算得出,具體計算方法見式(12).那么肢體連桿hj在世界坐標系下的IMU 測量值表示為:

式中,I為佩戴有IMU 的肢體連桿編號的集合,Γ(·)將旋轉矩陣轉化四元數并取其向量部分.

2)視覺誤差項

式中,Projc(·) 為相機c的3D-2D 投影函數.最后建立視覺誤差項:

式中,C為所有相機的集合,J為所有關鍵點的集合.

3)關節自由度約束項

僅依靠穿戴的IMU 和圖像的信息無法很好地保證優化中θh收斂結果的合理性.其主要的原因在于傳感器信息的自由度不足,無法完全約束人體模型的關節自由度.例如肩部連桿和胸部連桿的關節信息并沒有被IMU 直接觀測,主要依靠圖像信息進行估計.在建立人體運動學模型時,雖然人體的每一個連桿關節具有3 個自由度,但對于實際的人體,大部分的關節都有著運動方向和角度上的限制,并非所有的關節都能滿足3 個自由度上的自由旋轉.

通過對人體動作數據集[17]的分析,可以得到各個關節數據分布的均值和標準差,以此建立關節自由度約束項:

式中,J′為除髖關節外所有旋轉關節的集合.標準差較大的關節在關節運動限制上有著較大的容忍度;而對于標準差較小的關節,與均值偏差較大的優化結果會導致該項的計算結果顯著增大.最小化該項能夠使優化求解所得出的姿態更趨近數據集中存在的姿態,從而達到約束關節自由度的效果.

2.3.3 人體姿態的優化求解

式(5)中的IMU 誤差項(7)和視覺誤差項(9)分別定義了兩種傳感器在人體姿態優化求解過程中的誤差,但由于所對應物理量量綱的不同,以及傳感器本身對測量誤差的容忍度不同(IMU 一般不會出現較大的測量誤差,而基于卷積神經網絡的圖像數據處理經常出現不合理的輸出結果),需要調整各項所對應的權重系數α∈[0,1] 以平衡各項在優化過程中的作用,對于關節自由度約束項(10)同理.

同一時刻的IMU 數據和圖像檢測數據作為一組傳感器數據,對于每一組傳感器數據,首先將對式(7)與式(9)進行數據代入,再建立優化目標問題(11),給定優化過程的初始迭代值,并采用Levenberg-Marquardt 法在約束范圍內對該非線性問題的最小值解θh進行迭代搜索,最后收斂得到當前人體姿態的計算結果.

在優化問題中給定接近最優解的初始迭代值能夠提升梯度下降的效率,并減少求解陷入局部最優的可能性,為此使用前一組數據所求得的姿態結果作為初始迭代值來進行優化問題的求解.而對于優化第一組數據,由于沒有上一時刻的結果可以利用,設計了初始化階段以提供最初的迭代值.在初始化階段中,預先定義了一個初始姿態(一般為Tpose: 即保持身體直立,雙手向兩側平舉的姿態),操作人員需要和初始姿態保持吻合,再以初始姿態作為當前優化問題的初始值進行姿態求解,以計算得到第一組數據的姿態估計結果.同時,由于給定了初始姿態,各個IMU 與相應骨骼連桿的固定旋轉偏移能夠在初始化階段進行計算:

3 人機共融系統中的機器人控制

在人機交互應用中,機器人以操作人員為中心進行工作,操作人員在交互過程中常常起到指定任務目標的作用.然而,人在交互過程中所給定的目標具有潛在的隨意性和不合理性.隨意性是指操作人員往往無法直接給出精確的任務目標,而需要給出大致目標后,經過不斷的反饋調整最終令操作人員達到滿意;不合理性是指,人在指定目標時往往并不考慮機器人自身能力與周圍環境等因素,給出的目標容易導致機器人不安全的運動,甚至發生碰撞而導致損耗等情況.在人機交互的過程中,機器人一方面需要對頻繁發生變動的目標進行快速的響應,提高交互的效率和舒適度,同時另一方面需要考慮操作人員和自身的安全,對于不合理的目標指令進行修正,并及時對操作人員發出反饋.本節首先對人機交互中不同模式的目標點生成方法進行闡述,隨后提出基于邊界限制的目標修正和機器人的模型預測控制來解決上述的問題.

3.1 機器人目標點生成方法

在所設計的系統中,機器人在工作狀態下始終具有一個任務目標,機器人通過對進行跟蹤來達到交互目的.基于第2 節中構建的虛擬環境中得到的信息,對圖1 中給出的幾種交互方式所對應的的生成方式進行說明.

1)動作跟隨模式

式中,I3為3 階單位矩陣.

2)目標指定模式

如圖1(b)所示,機器人的工作環境中一般存在若干操作平面.在虛擬環境中,人體運動模型的手掌連桿能夠形成射線矢量與機器人的操作平面相交,若相交點處于操作平面內,則以相交的位置作為機器人的行動目標.在該模式下能夠讓操作人員方便地對桌面上離散的目標進行指定,命令機器人進行抓取等操作.

3)動態避障模式

系統能夠實時地對虛擬環境中機器人的各個連桿與人體的各個連桿的距離進行計算.如圖1(c)所示,當機器人處于自主運動狀態(指操作人員并無意圖控制機器人運動的情況),同時檢測到機器人連桿與人體連桿距離過近時,能夠觸發該模式,通過動態避障算法實時修正,對人體進行避讓.本文以人工勢場法為啟發,設計了基于斥力引力場的避障目標點生成方法: 當人體與機器人距離足夠大的情況下,機器人向任務目標運動,目標點對機器人工具坐標系rtool產生引力向量Fo:

式中,δ∈(0,∞)為目標點距離系數,用于調整合成力與生成的目標點之間的線性關系.

3.2 機器人運動控制策略設計

3.2.1 任務目標的修正

圖5 機器人運動邊界Fig.5 Boundary of robot motion

1)奇異狀態邊界.理論上,機器人具有以基座為中心,最大臂展R為半徑的球形的最大可達工作空間W{R}.但是機器人在達到最大伸展距離時會處于奇異姿態,在奇異姿態下無法保證逆運動學求解的合理性,這將導致機器人的運動方式進入一種難以預估的狀態.為了避免奇異姿態的出現,對機器人的工作空間進行了限制.若理論上的機器人最大工作空間半徑為R,則令限制后的工作空間半徑為R′=0.9R,超出工作空間W{R′}的目標姿態將被重新限制到W{R′}的邊界,以此避免了奇異姿態的出現.

2) 靜態障礙物邊界.除了工作空間W{R′}的限制外,機器人的運動還受到工作空間中靜態障礙物的限制,對于體積較大的靜態障礙物,如操作臺面,貨架等,機器人難以通過運動規劃對其進行避讓,那么系統根據此類障礙物的形狀形成邊界,在W{R′}的基礎上對工作空間進行限制.這些邊界的生成需要使用者根據機器人所處的具體環境在虛擬環境中對障礙物進行配置,每個障礙物都設有接觸閾值,根據閾值系統會在障礙物周圍形成外包絡邊界,目標姿態將會被限制在包絡邊界外,以免和環境發生碰撞.

3)自碰撞邊界.機器人在運動時也可能會與自身發生碰撞,類似靜態障礙物,機器人自身在連桿周圍根據接觸閾值形成外包絡邊界,目標姿態將被修正在邊界外,防止自碰撞的發生.

3.2.2 基于模型預測的機器人靈活控制

在人機交互系統中,針對當前不同情況可能有著不同的控制需求.比如在動作跟隨模式下,機器人需要快速的響應速度以減小軌跡的跟蹤誤差,而在近距離的交互過程中,運動過程的柔和度和人機安全更加重要.為了能夠靈活地調整機器人的控制策略,使用了模型預測控制分別應用于各個機器人關節.控制器設計如圖6 所示,其中,為預測時間窗口Tpre內的機器人的目標關節角序列;目標點的序列經逆運動學求解得出;控制量u為關節角加速度分別為關節位置和關節角速度.單關節預測模型通過輸入u對機器人關節狀態x=進 行計算,θpre和分別為預測時間窗口Tpre內的關節位置和關節角速度的預測結果序列,機器人的單關節狀態空間模型定義如下:

圖6 基于單關節模型的預測控制器Fig.6 Model predictive controller based on single robot joint

建立如下的優化問題進行滾動優化:

通過調節qp、qv、qa的大小,能夠有效地改變控制側重的性能指標: 在qp相對較大,qv和qa相對較小的情況下,能夠保證機器人具有較好的軌跡跟蹤性能;反之,在qv和qa相對較大時,軌跡跟蹤的實時性下降,但能夠更好地限制機器人的運行速度和加速度,使得機器人的運動更為柔和.針對不同的交互情況可以使用不同的機器人控制策略,同時機器人的運動能夠嚴格保持在最大速度vmax和最大加速度amax的約束之下,從而實現安全靈活的機器人交互控制.

4 系統實現與驗證

為了驗證所提出的機器人共融系統的性能,設計了若干實驗,分別對第2 節提出的人體姿態估計方法的穩定性和第3 節提出的機器人控制策略對動態目標的跟蹤性能以及人機共融環境下的人機交互可行性進行了驗證.

4.1 系統具體配置

系統中的交互在一對一的情況下展開.使用的機器人為串聯6 軸協作型機器人UR5.使用的傳感器包含高清相機3 臺,5 個可穿戴式IMU.高清相機的圖像傳輸分辨率為1 920 × 1 080,通過USB3.0接口與主機相連.該分辨率下的圖像主要用于相機的標定環節,每臺相機利用支架架設于交互場景的高處,均勻的分布的場景的周圍,主要目的是為了保證相機的視野.在相機經過標定得到內外參數后,在實際實時處理過程中被降采樣為960×540 的分辨率.在降采樣后,圖像在傳輸和識別部分的延遲都能夠得到有效降低.人體2D 關節點的識別使用文獻[10]方法,本文使用的主機配置為i7-8700X,Nvidia Titan Xp,在識別環節能夠達到25 Hz 的幀率,處理結果有40 ms 左右的延時.

可穿戴式的IMU 使用無線網絡與主機進行數據傳輸,為了方便計算,將IMU 的參考坐標系設為和相機標定得到的世界坐標系保持一致.每個IMU與相應人體連桿的固定偏差通過預設定的初始人體姿態進行標定得到.

UR5 與主機采用socket 通訊方式進行數據傳輸,主機對UR5 的30002 端口進行數據解析以獲取機器人各關節角度θr與角速度,同時對30003端口進行速度指令寫入以控制UR5 的運動.

4.2 人體動作估計穩定性實驗

單臺相機圖像處理得到的2D 姿態估計結果常常由于遮擋因素導致識別上的錯誤,而在與機器人的近距離交互過程當中,遮擋的情況時有發生.本文通過一組時長60 秒的人體姿態數據進行實驗,驗證了第2.3 節提出的人體姿態解算方法在不同傳感器配置下的準確度.實驗中所使用的人體姿態求解能量函數(5)的權重系數為:αP=1.0,αR=8.0,αP=5.0,實驗結果如表1 所示.需要注意的是,由于人體關節具體位置定義的模糊性,不采用絕對的參考值進行準確率的判斷,在姿態估計結果與當前圖像大致吻合時即認為該幀數據的估計結果準確,只有當某一幀數據的計算結果和圖像本身出現了明顯偏差時,該幀數據被視為不準確,判斷準確率時不考慮肢體的旋轉信息,準確率的計算公式為: 準確幀幀/實驗數據總幀數.

表1 不同傳感器配置下的人體姿態估計準確率Table 1 Accuracy of human pose estimation under different sensor configurations

由表1 可以看出,相機的使用數量對準確率有著顯著的影響,在只使用兩臺相機的信息時,非常容易出現遮擋導致的結果失真.在使用了第3 臺相機后準確率有了很大的提升,偶爾出現的姿態結果失真一般都能夠快速恢復正常.IMU 的使用對結果準確率的提升有一定的幫助,其主要的作用在于提供準確的肢體旋轉信息.

圖7 給出了同一組數據下使用不同傳感器配置時的姿態估計情況.相機圖像中的圓圈標志為被識別的人體關鍵點,其半徑代表了式(9)中置信度的大小,人體身上標明的骨架信息為姿態估計的結果.使用2 臺相機是實現人體姿態捕捉的最小傳感器配置,但在信息受到遮擋時就很難得到精確的估計結果.如圖7(a)所示,由于沒有使用相機3 的信息,導致右手臂的動作無法正確地被估計,可以觀察到人體姿態的估計結果與機器人模型發生了位置上的重疊,顯然是不正確的.圖7(b)中使用了相機3 的關鍵點信息,右手臂的姿態能夠被正確地估計.在使用大于2 臺相機時,由于關鍵點置信度的存在,各臺相機得到的信息能夠相互補償,得到更好的結果.使用了IMU 信息的圖7(c)中,姿態估計結果得到了進一步的矯正,并解算得出了正確的肢體旋轉信息.

圖7 不同傳感器配置下的姿態估計結果Fig.7 Pose estimation result under different sensor configuration cases

4.3 目標跟蹤實驗

基于第3.2.2 節給出的模型預測控制方法,采用2 組不同的控制權重qp、qv、qa,對機器人的目標跟蹤性能進行驗證.目標點的生成使用第3.1 節中的動作跟隨模式,模型預測控制的預測窗口為0.5 s,機器人狀態的采樣頻率和機器人控制頻率均為100 Hz,機器人的關節角速度限制vmax為1.5 rad/s,角加速度限制amax為3.0 rad/s2,使用的2 組控制權重參數為:

參數組1:qp=5.0,qv=1.0,qa=0.5.

參數組2:qp=3.0,qv=1.5,qa=1.0.

圖8 給出了參數組1 對應的機器人各關節的跟蹤軌跡.在qp相對較大,qv和qa相對較小的情況下,可以看出機器人能夠實時地對軌跡進行跟蹤.圖9 給出了參數組2 對應的機器人各關節的跟蹤軌跡.在qp相對較小,qv和qa相對較大的情況下,機器人的軌跡跟蹤有較大的延時,但軌跡跟蹤速度較為柔和,且對目標軌跡中的噪聲有較好的過濾作用.在不同參數配置下控制都有良好的穩定性和較小的靜態誤差,根據不同控制性能需求可以選用相應的控制參數對機器人進行控制.

圖8 基于參數組1 的機器人各關節目標跟蹤軌跡Fig.8 Robot joint tracking result based on parameter 1

圖9 基于參數組2 的機器人各關節目標跟蹤軌跡Fig.9 Robot joint tracking result based on parameter 2

4.4 人機交互實驗

基于本文給出的人機姿態解算方法和機器人控制策略,實現了滿足第3.1 節中不同機器人交互模式的機器人交互系統.

基于動作跟隨模式實現了機器人遙操作搬運,如圖10 所示.本實驗根據人體右手手掌位姿,以固定的位移偏差值生成目標,以實現對機器人末端的遙操作.在實驗中,操作臺面上設有一環狀物體和一柱狀物體,操作人員利用該模式控制機器人對環狀物體進行了抓取并將其套入柱狀物體中.使用該模式操作機器人能夠保證操作人員視角的直觀性,操作人員無需考慮機器人本身的參考坐標系,只需以當前機器人末端位置為準對其進行位姿調整,而且當操作人員進行操作時,無需束縛在固定的操作位置,可以自由走動同時對機器人的姿態進行調整.

圖10 機器人遙操作搬運Fig.10 Robot pick-and-place under teleoperation

基于目標指定模式實現了指定物品的遞送,如圖11 所示.在實驗的操作臺面上設置了需要遞送的毛絨玩具,操作人員用手指定機器人需要抓取的目 標,在機器人移動至物品上方并且經過操作人員確認后,機器人執行抓取操作,并將所持物品交給操作人員.在本實驗中,系統利用人體手臂生成的矢量與操作桌面形成的交點來判斷機器人需要抓取的物品.

圖11 指定物品遞送Fig.11 Target pointing and fetching

基于動態避障模式實現了人機共融環境下的機器人主動避讓.正常情況下,機器人在自身預設的運動軌跡中工作,如圖12(a)所示.當人靠近機器人工作區域并在臺面上操作時,阻擋了機器人原本的運行軌跡,系統通過人工勢場法對機器人的運動軌跡進行了調整,在不與人體產生沖突的情況下到達了目標位置,如圖12(b)所示.

圖12 機器人主動避障Fig.12 Active collision avoidance

5 結束語

本文通過對人機姿態解算和機器人控制策略的研究,設計并實現了滿足不同交互需求的人機共融系統.為了獲取交互系統中的人體姿態信息,建立了人體上肢運動學模型,并基于傳感器特性構造了相應的能量函數用于多相機和IMU 信息的融合優化,給出了高穩定性的人體姿態估計方法.針對動作跟隨、目標指定、動態避障等人機交互模式,設計了相應的目標點生成方法和目標點修正方法,并采用模型預測控制使得機器人能夠通過調整控制參數適應不同的交互需求.結合人機姿態的解算方法和機器人控制策略,對所設計的人機交互系統的性能進行了實驗驗證.實驗結果分別驗證了: 本文人體姿態解算方法在局部遮擋條件下的穩定性;機器人控制方法進行動態目標跟蹤的平滑性;機器人交互系統在不同交互模式下的有效性.所設計的人機共融能夠保證交互時的人機安全以及對不同交互模式的適應性.在今后的研究中,將進一步給出多人情況下的人機交互方法.