人類行為模式啟發的人機物體傳遞*

王憲偉, 叢 明，劉 冬，杜 宇，鄒 強

(1.大連理工大學機械工程學院，遼寧 大連 116024；2.大連大華中天科技有限公司，遼寧 大連 116025)

0 引言

人機物體傳遞是諸多人機協作場景中的基本任務。目前在工廠流水線、家居養老、空間探索、醫院護理等復雜環境中，機器人大多不能完全脫離人類實現全自動化，還需要依靠于人類的靈活性來完成一些復雜的任務。正如手術中護士能夠協助外科醫生接過手術刀一樣，擁有物體傳遞交互功能的機器人能夠提高被協助者的工作效率，并提高機器人自身的社會接納度與認可度[1]。

目前提出的人機物體傳遞方式大部分需要人類主動控制機器人來配合完成動作[2-4]，如使用語音、遙控器等方式，少數則通過識別傳遞意圖來控制機器人配合完成物體傳遞[5-7]，但是都使用了固定的動作捕捉設備或專用的被傳遞物體，不能自由搭載于機器人平臺上投入實際應用。為了能夠讓機器人更靈活的配合人類完成物體傳遞任務，本文從人類行為模式著手，探究人類傳遞過程中的意圖判斷方式及傳遞響應方式，遵循該方式開發一套系統并移植到服務機器人平臺并開展實驗。

現有的研究證明人們常會通過手臂動作、頭部動作等非語言線索來判斷他人的傳遞意圖。Kobayashi F等[5]基于固定于手部區域下方的Leap傳感器來檢測手部動作進行意圖判斷，Pan MIKXJ等[6]設計了一個用于傳接的圓環，并使用視覺對其進行定位從而間接判斷傳遞意圖，Pan M K等[7]使用運動捕捉設備獲取數據，并基于支持向量機判斷傳遞意圖。以上研究雖然取得了一定的實驗效果，但都存在著設備固定、檢測環境單一的缺陷，不利于服務機器人的搭載，且上述部分方法未考慮傳遞者手中物體，難以將傳遞物體與接收物體兩種通過相同動作表現的不同意圖進行區分。

因此，本文在人類行為模式啟發下，創新提出了一種基于視覺的傳遞意圖識別方法，克服過往意圖識別的局限性，融合骨骼關節點數據與手持物體存在信息特征實現對傳遞意圖的有效判斷，并在此基礎上開發了一種擺脫固定設備限制，應用范圍更廣闊的人機物體傳遞系統。

1 人類傳遞行為模型

1.1 問題闡述

Basili P等[8]將人與人的傳遞過程分為三種主要活動，包括：物體攜帶、意圖判斷、物體傳遞。而本文目的在于解決人給機器人傳遞物體的過程中機器人的控制問題，因而重點關注意圖判斷與物體傳遞階段人類的行為模式。希望通過設計實驗來探究在傳遞中的動作序列，進一步探討從接收者的角度如何配合完成物體傳遞任務。

1.2 實驗設置

本階段實驗中，共征集了15名志愿者，均為右手慣用者，身高1.72±0.15 m，體重60±10 kg，年齡25±4 歲，參與者身體狀況良好，且近期無手臂、肩頸等部位健康問題。

實驗中全程采用兩臺彩色相機跟拍，同步采集視頻信息，每次試驗隨機選取4名志愿者進入該區域。實驗開始后，每名志愿者可以自由選擇自身行為，如閱讀，上網等，且志愿者會隨機接到外界指令，如傳遞書本、水杯或將簽字筆遞給其他人等。每輪實驗持續4 min，共進行5輪實驗。

1.3 實驗分析

在實驗數據分析階段，本文通過分析了視頻中共142段傳遞動作序列，傳遞中沒有出現物體掉落現象。本文對視頻記錄以5 Hz頻率進行壓縮編碼[9]，結合Strabala K等[10]提出的傳遞行為模式分類方式將實驗中的行為模式分為兩類，如圖1所示。

(1)模式1(52%)：給予者會在向接收者移動的過程中提前伸出手臂，表明傳遞意圖，接收者會跟隨對方動作將注意力轉移到其手中的待傳遞物體，并提前伸出手臂配合進行抓取，在雙方靠近到一定范圍內給予者將物品遞入接收者手中。

(2)模式2(48%)：給予者以放松姿態握持物體并靠近接收者，在兩者相距足夠近時，給予者會將物體遞至到對方手部工作范圍內，引起對方注意，并在表明傳遞意圖的同時確定物體傳接點位置，接收者會在確認意圖后直接握住物體，完成目標物體的傳遞。

圖1 兩種傳遞行為模式步驟

綜上所述，兩種傳遞模式僅在意圖判斷階段有所區別，在物體傳遞階段基本一致。在此提取以下關鍵步驟，用于指導后續的人機物體傳遞系統開發：

(1)判斷傳遞意圖：在給予者靠近時，接收者會觀察對方的動作，根據對方的手臂姿態及手中物體存在狀態判斷其傳遞意圖。

(2)釋放接收信號：在確認對方的傳遞意圖后，接收者會通過注視對方手中物體的方式釋放準備接收信號。

(3)配合完成傳遞：若給予者伸手后待傳遞物體可以在接收者手臂可達空間內，則會伸出手抓過對方物體，否則先伸手至預期傳遞位置等待對方配合完成物體傳遞。

2 人機物體傳遞系統搭建

2.1 傳遞系統整體控制邏輯

基于上述人類傳遞行為模式探究實驗結論，本文設計了如下人機傳遞交互邏輯，如圖2所示。

圖2 傳遞系統控制流程

傳遞過程中，機器人擔任接收者角色，首先機器人初始化，等待人類給予者進入視野，在識別到給予者存在后，進行傳遞意圖判別，在確認給予者表達出傳遞意圖后，機器人會轉動頭部觀察對方手中物體，釋放準備接收信號，并根據給予者手部位置控制機器人手臂運動，若給予者當前手部位置處于機械臂可達空間內，則機械手直接前往給予者手部位置附近進行抓取，否則機械臂會伸至期待傳遞位置，等待給予者靠近并配合完成傳遞，最后機器人通過識別給予者手部位置決定是否閉合手爪抓住物體，完成傳遞任務。

2.2 給予者手持物體存在檢測

為區分相同姿態表現的不同意圖，本文對手持物體存在信息進行檢測，通過給與者傳遞物體時手中必然需要持有物體的先決條件來對傳遞意圖進行區分。使用區域增長法提取手部區域掩膜，并通過HSV顏色閾值分割提取該區域疑似物體部分，輸出疑似物體面積占比robject。優化后的算法偽代碼如表1所示。

表1 優化后的算法偽代碼

輸出的疑似物體占比robject越高，說明手持物體存在可能性越大，本文在后續將其作為一個特征維度加入到意圖識別的過程中。給予者手持物體存在檢測流程如圖3所示。

圖3 給予者手部物體存在檢測流程

2.3 傳遞意圖判斷

因物體傳遞過程主要由人體上肢進行參與，因此本文采用有監督學習的方式去檢測人體上肢姿態，從而判斷給予者傳遞意圖。上肢主要包含5個主要部分的運動，包括頭、右手腕、右手肘、左手腕、左手肘。首先求得此5個部分相對肩部中點的三維坐標，記作(xi,yi,zi)，之后，將其從笛卡爾坐標系轉換到以肩部中點為中心的球坐標系，如圖4所示，坐標系轉換方式如下：

(1)

(2)

(3)

其中，ri為關節點Ji與原點間的距離，θi為關節點Ji和原點連線與z軸夾角，φi為關節點Ji和原點連線在xy平面的投影線與x軸之間的夾角。

圖4 關節向量角提取

不同人體的肢體長度、距離遠近縮放等因素影響會導致ri的不一致，因此本文對ri進行歸一化處理，優化尺度不變性。這里選擇求解最大ri作為歸一化尺寸標準，記：

R=max(ri)

(4)

則有歸一化后距離：

(5)

此處定義單一關節點的特征為：

(6)

則加入了手部疑似物體特征的總特征向量為：

M=[A1,A3,A4,A6,A7,robject]

(7)

在建立傳遞意圖數據集后，即可采用機器學習方法對傳遞姿態意圖進行訓練。在現有的諸多機器學習方法中，支持向量機(SVM)具有泛化性好、魯棒性高等優點，尤為適合小樣本分類，因而本文選用該方法訓練數據并實現實時意圖判斷。支持向量機核函數選擇徑向基核函數(RBF):

(8)

其中：xi和xj為特征向量，γ為核函數參數。

2.4 機器人響應控制過程

機器人控制包括機械臂Manipulator、機械手Gripper、云臺Ptu三個部分，通過控制三個部分的運動來傳遞信息并配合完成物體抓取任務。

機械臂末端執行器的初始位置Pstart參考人類手臂自然下垂時的狀態，并根據手臂構型適當調整。根據現有傳遞理論可知常用傳接點為兩人身體中間位置[8, 11]，在此預設傳遞位置Ppredict為兩者在相距1.5 m(根據機械臂工作空間設置)時的中間位置。響應控制過程偽代碼如表2所示。

表2 響應控制過程偽代碼

3 傳遞系統實驗及分析

3.1 實驗平臺

本系統中采用的機器人為實驗室自主開發的服務機器人平臺。使用ROS(機器人操作系統)為中間件將各傳感器及驅動器的控制與反饋封裝為話題數據流，方便信息流的可視化以及更高等級任務決策控制。基于各運動關節實時反饋的關節角，構建了機器人的TF樹(坐標系轉換樹)，并且將識別到的骨骼坐標系也納入TF樹，在可視化工具Rviz上實時顯示，如圖5所示。

(a) 機器人實物圖 (b) 實時可視化建模圖5 機器人實驗平臺

3.2 傳遞意圖判斷實驗結果與分析

因目前尚無傳遞意圖數據集，因此本文自行采集并建立數據集。因意圖識別目的是將傳遞物體意圖行為與其他行為進行區分，因此負數據集(非傳遞意圖動作)需要包含大量的行為來提高分類器的泛化能力，本文在采集負數據集時加入大量常見的上肢行為，如握手、立正、揮手、展示物體、摸頭、揮拳、叉腰、抱胸等。

本階段共征集了20名志愿者，在距離攝像頭1 m～2.5 m的距離下，根據指示做出規定的行為。采集每名志愿者50次傳遞不同物體的行為作為正數據集，以及300次其他姿態作為負數據集，共采集了7000組數據，在剔除了17條骨骼識別錯誤的數據后，獲得了6983條有效數據。隨機抽取70%的樣本作為訓練集，使用libSVM庫[12]進行訓練并調節超參數，剩余30%的樣本作為測試集來評估訓練器真實分類性能。首先使用網格搜索方法尋找最佳超參數C及γ并通過3折交叉驗證評價準確率，如圖6所示。

圖6 不同參數對準確率的影響

根據網格搜索結果，設定超參數C=32，γ=0.031 25，采用文獻[13]的精確率PR、召回率RE、準確率ACC作為性能指標分析檢測效果，在測試集上展開測試，并與文獻[7]中方法在本文所提出的數據集上進行的測試結果進行了比對，結果見表3。

表3 傳遞意圖判斷性能比較

從上表中可以看出，本文方法在傳遞意圖識別準確率方面有明顯的提升，且在搭載了Intel(R) Core(TM) i7-7700HQ 中央處理器的電腦上的平均識別速度高于100幀/s，滿足意圖識別的實時性、準確性的要求。

3.3 傳遞系統整體實驗

3.3.1 實驗設置

本實驗中，將章節2中所述傳遞系統移植到該機器人平臺上，作為任務決策層來控制機器人各部分行為。為分析該系統的實際體驗效果，本文征集了6名志愿者作為給予者使用該系統進行了物體傳遞實驗，志愿者皆被要求使用右手進行傳遞。在每個實驗的初始階段，志愿者會從桌子上拿起要傳遞的物體，并將其傳遞給機器人，機器人則會使用該傳遞系統來與志愿者相互配合完成傳遞實驗。每位志愿者都使用桌子上的3種物體(書、飲料瓶、水杯)分別與機器人進行5次傳遞，如圖7所示。

圖7 傳遞實驗過程

為體現本實驗系統的效果，本文參考文獻[4]中的語音控制方法，設計了一組對比實驗，讓給予者采用語音指令控制機器人伸出手臂接過物體(即通過固定喚醒語句控制機器人伸手配合傳遞)，并按照相同流程讓志愿者與機器人開展傳遞實驗。

志愿者們被要求在體驗兩種傳遞系統后填寫調查問卷，該問卷基于RoSAS[14]編寫，如表4所示，能夠清晰的體現出兩種控制模式下人類對機器人能力(Competence)、溫暖(Warmth)、不適(Discomfort)共3個維度的體驗。志愿者根據符合程度對每個維度中的5個項目打分(1～5分，5分為符合程度最高)。

表4 機器人社會屬性量表具體項目

3.3.2 實驗結果及分析

以單次實驗中機器人沒有出現錯誤響應且機器人抓取物體后未掉落視為傳遞成功，統計實驗中成功率及傳遞成功情況下平均傳遞完成時間如下：本文所使用系統傳遞成功率為91.1%，平均傳遞時間為3.3 s；語音系統傳遞成功率為88.9%，平均傳遞時間為4.9 s。RoSAS問卷結果對比如圖8所示。

圖8 RoSAS問卷評分對比

可以看出，相較于語音控制系統，本論文所提出的人機物體傳遞系統耗費傳遞時間縮短了33%，并且在機器人社會屬性量表評分方面也有更好的評分，人類使用者對機器人的能力認可度更高，使用者認為機器人給予者更加親切，且不適感有明顯降低。

4 結論

本文提出了一種人類行為模式啟發的人機物體傳遞系統，讓機器人在復雜場景下主動配合人類并實現物體傳遞任務。實驗結果表明，本文提出的意圖識別準確率為96.2%，實現了對傳遞意圖的有效區分，人機傳遞系統成功率91.1%，平均傳遞時間3.3 s，滿足了傳遞系統的實時性、準確性要求，且在RoSAS評價中獲得了相較傳統語音控制傳遞更好的社會屬性評價，給使用者帶來更佳的傳遞體驗。在未來的工作中，會進一步優化機器人的響應控制過程，提升傳遞系統的魯棒性。