基于本體手勢(shì)-觸覺(jué)感知的機(jī)器手抓取

張曉鵬，張陽(yáng)陽(yáng)，李莉萍，趙 吉，張東彥

(安徽大學(xué) 互聯(lián)網(wǎng)學(xué)院，安徽 合肥 230039)

0 引言

近年來(lái)，面向主從協(xié)同操作的主從映射式遙操作機(jī)器人技術(shù)成為研究熱點(diǎn)之一[1-5]，主從協(xié)同作業(yè)、操作信息雙向傳遞及協(xié)同以及在機(jī)器人遙操作系統(tǒng)中的力反饋是操作者感知被抓物體物理特性及掌握主從式遙操作的關(guān)鍵點(diǎn)。基于計(jì)算機(jī)視覺(jué)、數(shù)據(jù)手套及反饋裝置的主從手映射技術(shù)的研究已經(jīng)取得了較大的進(jìn)展[6-10],可穿戴傳感器引起了學(xué)者們的研究興趣[11-15],同時(shí)，基于觸覺(jué)反饋技術(shù)的遙操作機(jī)器人技術(shù)也已經(jīng)取得了較大的成果[16-20]。Nicolis D等人[21]研究了遙操作機(jī)器人中的視覺(jué)伺服，為操作者提供有關(guān)遠(yuǎn)程位置的信息并協(xié)助執(zhí)行任務(wù)，提出了一個(gè)由兩個(gè)機(jī)器人手臂組成的遠(yuǎn)程操作系統(tǒng)，并且配備了一個(gè)手持式攝像機(jī)傳感器。通過(guò)對(duì)攝像機(jī)的自主調(diào)節(jié)來(lái)實(shí)現(xiàn)無(wú)遮擋任務(wù)的執(zhí)行，進(jìn)一步將遮擋避免作為一個(gè)約束進(jìn)行遙操作優(yōu)化。Qiu S等人[22]提出了一種基于視覺(jué)反饋的外骨骼機(jī)器人遙操作控制方法，視覺(jué)反饋鏈接由攝像機(jī)捕獲的視頻實(shí)現(xiàn)，將壓縮后的圖像作為反饋信息。Yang C等人[23]利用表面肌電信號(hào)提取操作者的肌肉激活信息，通過(guò)觸覺(jué)和視覺(jué)反饋來(lái)感知對(duì)外部環(huán)境的變化，人類(lèi)操作者自然會(huì)對(duì)各種肌肉活動(dòng)做出反應(yīng)；同時(shí)通過(guò)肌肉活動(dòng)信息來(lái)調(diào)節(jié)機(jī)器人手臂的剛度，期望機(jī)器人能夠以更高的智能水平完成重復(fù)或不確定的任務(wù)。毛磊東等人[24]針對(duì)智能抓取機(jī)器人在軟抓取過(guò)程中對(duì)三軸力感知和滑移識(shí)別的要求，提出了一種由碳、石墨烯納米片和硅橡膠制造的柔性三軸觸覺(jué)傳感器。

本研究在前期基于柔性可拉伸傳感器的數(shù)據(jù)手套的主從手遙操作研究基礎(chǔ)上[25]，進(jìn)一步基于觸覺(jué)感知-視觸雙模態(tài)反饋信息，研究主從手映射式遙操作機(jī)器人穩(wěn)定抓取系統(tǒng)，本文設(shè)計(jì)的反饋系統(tǒng)由視覺(jué)反饋和力觸覺(jué)反饋兩部分組成。視覺(jué)反饋采用計(jì)算機(jī)顯示技術(shù)，實(shí)時(shí)反饋機(jī)器人靈巧手抓取物體的力的大小。基于電刺激的力反饋模塊用于反饋機(jī)器人靈巧手抓取物體的作業(yè)狀態(tài)。機(jī)器人靈巧手的抓取狀態(tài)由觸覺(jué)感知裝置捕捉，為已有的研究基礎(chǔ)；構(gòu)建了實(shí)驗(yàn)平臺(tái)，驗(yàn)證基于觸覺(jué)感知及視-觸雙模態(tài)反饋系統(tǒng)反饋機(jī)器人靈巧手抓取的作業(yè)狀態(tài)、抓取力度的有效性。同時(shí)增強(qiáng)了操作者對(duì)于主從手映射式機(jī)器人遙操作的本體感及臨場(chǎng)感，實(shí)現(xiàn)了對(duì)目標(biāo)物體的穩(wěn)定抓取。

1 系統(tǒng)平臺(tái)構(gòu)建

1.1 觸覺(jué)感知裝置構(gòu)建

本文采用的數(shù)據(jù)手套為已有的研究基礎(chǔ)[26]。另外將5個(gè)可拉伸傳感器布置于機(jī)器人靈巧手的關(guān)節(jié)處，捕捉靈巧手抓取過(guò)程中的關(guān)節(jié)角度特征，如圖1(a)所示。文中選用的壓力傳感器在已有研究基礎(chǔ)之上進(jìn)一步陣列化，如圖1(b)所示，感知機(jī)器人靈巧手在抓取物體過(guò)程中的觸覺(jué)感知信息。

(b) 穩(wěn)定

(a) 手滑動(dòng)

(a) 可拉伸傳感器陣列

(b) 壓力傳感器陣列

1.2 遙操作方法論述

主從手手勢(shì)映射流程如圖2所示，首先對(duì)特征信息進(jìn)行歸一化預(yù)處理：

圖2 主從手手勢(shì)映射流程Fig.2 Master slave hand gesture mapping process

(1)

式中x，y分別為轉(zhuǎn)換前后的值，maxSensor、minSensor分別為采集數(shù)據(jù)的最大值和最小值。傳感器的歸一化輸出與關(guān)節(jié)角度之間存在一一對(duì)應(yīng)的關(guān)系，為此，對(duì)傳感器的電學(xué)輸出信號(hào)及關(guān)節(jié)角度進(jìn)行標(biāo)定。

(2)

(3)

(4)

(5)

(6)

(7)

機(jī)器人靈巧手的近端指關(guān)節(jié)的角速度ωi是遙操作過(guò)程中的一個(gè)關(guān)鍵參數(shù)。自適應(yīng)角速度控制的目的是實(shí)現(xiàn)精確的姿態(tài)映射和安全的抓取，防止因抓取速度過(guò)快而破壞目標(biāo)。本文使用的靈巧手由直流刷伺服電機(jī)驅(qū)動(dòng)，電機(jī)的速度可以由驅(qū)動(dòng)信號(hào)的占空比控制。

2 基于觸覺(jué)感知及反饋的靈巧手抓取

2.1 抓取狀態(tài)識(shí)別

本文利用長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory)算法結(jié)合動(dòng)態(tài)時(shí)間規(guī)整(Dynamic Time Warping)的模型。與前向神經(jīng)網(wǎng)絡(luò)類(lèi)似，LSTM網(wǎng)絡(luò)訓(xùn)練采用誤差反向傳播算法(Back Propagation)，但由于LSTM處理序列數(shù)據(jù)，在使用BP算法時(shí)需要將誤差在整個(gè)時(shí)間序列中傳播回來(lái)[27-28]。采用基于LSTM及DTW結(jié)合的方法訓(xùn)練和測(cè)試數(shù)據(jù)進(jìn)行標(biāo)記。對(duì)于圖3所示的LSTM，每個(gè)輸入向量由61個(gè)1步采樣的動(dòng)態(tài)窗口構(gòu)成，隱藏層由20個(gè)節(jié)點(diǎn)組成，輸出由9個(gè)節(jié)點(diǎn)組成。為了訓(xùn)練LSTM，分類(lèi)代表LSTM觀測(cè)結(jié)果，抓取狀態(tài)標(biāo)簽代表LSTM真實(shí)狀態(tài)。同一類(lèi)別抓取狀態(tài)包含不一致的信息序列，因此采集的樣本的時(shí)間序列特征不一致。DTW算法建立一種科學(xué)的時(shí)間序列比對(duì)方法，使測(cè)試模式的特征與參考模式之間的路徑相匹配。

即使同一人重復(fù)相同的行為，也不可能再現(xiàn)完全一致的時(shí)間序列。在這種復(fù)雜情況下，傳統(tǒng)的歐氏距離法在計(jì)算兩個(gè)時(shí)間序列之間的距離時(shí)并不十分有效。假設(shè)有兩個(gè)實(shí)驗(yàn)時(shí)間序列Ri和Rj:Ri=(r1,r2,…，ri)是測(cè)試模式特征向量序列。Rj=(r1,r2,…，rj)是參考模式特征向量序列。其中i，j代表時(shí)間序列號(hào)。

P(RT)=[P1(R1)，P1(R2)，…，P1(RT)，…，PN(R1)，

PN(R2)，…，PN(RT)]。

(8)

時(shí)間特征空間是在時(shí)間T統(tǒng)一時(shí)間線程P下，將輸出與時(shí)間窗口拼接而成，N是傳感器的序列號(hào)，如式(8)所示。路徑W用于定義Ri和Rj之間的映射。W=(w1,w2,…,wk,…，wK),max(i,j)≤K≤i+j-1。變量K代表最終的翹曲路徑，wk=(i，j)，K是第i個(gè)試驗(yàn)?zāi)Ｊ教卣飨蛄亢偷趈個(gè)參考模式特征向量之間的第K個(gè)映射增益。因此，最小翹曲函數(shù)可以描述：

(9)

利用動(dòng)態(tài)規(guī)劃方法求出路徑的遞推，該遞推定義了累積距離L(Ri，Rj)和當(dāng)前核距離N(Ri，Rj)。

L(Ri,Rj)=N(Ri,Rj)+min{L(Ri-1,Rj-1),

(10)

圖3給出了單元結(jié)構(gòu)，展示出門(mén)操作和所提出混合模型的整體結(jié)構(gòu)。

圖3 基于DTW/LSTM/BPTT的抓取狀態(tài)識(shí)別混合模型的工作流程Fig.3 Work flow of DTW/LSTM/BPTT-based grasping state recognition hybrid model

其基本單元定義為式(11)～式(16)：

ft=σ(Wf·[ht-1,xt]+bf),

(11)

it=σ(Wi·[ht-1,xt]+bi),

(12)

(13)

(14)

ot=σ(W0·[ht-1,xt]+b0),

(15)

ht=ottanh(Ct)，

(16)

(17)

(18)

LSTM遺忘門(mén)描述:

(19)

(20)

LSTM單元及描述:

(21)

(22)

LSTM輸出門(mén)描述為:

(23)

(24)

單元輸出:

(25)

基于BPTT反向傳播更新過(guò)程描述:

(26)

(27)

反向傳播LSTM單元輸出描述:

(28)

反向傳播更新過(guò)程中LSTM輸出門(mén)描述:

(29)

(30)

計(jì)算單元、遺忘門(mén)及輸入門(mén):

(31)

(32)

(33)

式中，wij表示神經(jīng)元i到j(luò)的連接權(quán)，用a、b分別表示輸入和輸出，l、φ、w表示輸入門(mén)、遺忘門(mén)、輸出門(mén)。wcl、wcφ、wcω分別表示從單元到輸入門(mén)、遺忘門(mén)、輸出門(mén)權(quán)重。sc表示神經(jīng)元c的狀態(tài)，f表示控制門(mén)激活函數(shù)，g和h分別表示輸入和輸出激活函數(shù)。I表示輸入層的神經(jīng)元，K表示輸出層的神經(jīng)元，H表示隱藏層的神經(jīng)元。

2.2 視-觸雙模態(tài)反饋系統(tǒng)

本文提出了基于觸覺(jué)感知-視觸雙模態(tài)反饋的遙操作機(jī)器人抓取系統(tǒng)，如圖4所示。靈巧手作業(yè)狀態(tài)為手指滑動(dòng) (FD)、手指穩(wěn)定 (FS)、手指晃動(dòng) (FW)、手掌滑動(dòng) (PD)、手掌穩(wěn)定 (PS)、手掌晃動(dòng) (PW)、手滑動(dòng) (HD)、手穩(wěn)定 (HS)、手晃動(dòng) (HW)9種作業(yè)狀態(tài)，電刺激反饋裝置采用3個(gè)電刺激點(diǎn)布置在人手小臂處。

圖4 遙操作機(jī)器人抓取策略Fig.4 Grasping strategies for teleoperated robots

3 實(shí)驗(yàn)

機(jī)械手角速度和驅(qū)動(dòng)信號(hào)占空比標(biāo)定曲線如圖5所示，壓力傳感器相對(duì)阻力隨壓力變化曲線如圖6所示。

圖5 角速度和驅(qū)動(dòng)信號(hào)標(biāo)定曲線Fig.5 Relationship of angular velocity and driving signals

圖6 壓力傳感器相對(duì)阻力隨壓力變化曲線Fig.6 Relative resistance change under increasing pressure

手勢(shì)映射處于第一階段，手勢(shì)映射增益系數(shù)k1=1(式(5))。占空比T=10，機(jī)器人關(guān)節(jié)角速度為2.5 °/s。 機(jī)器人手接觸目標(biāo)物體，進(jìn)入第二階段，手勢(shì)映射系數(shù)k2=0.25。占空比T=5，靈巧手關(guān)節(jié)角速度為1 °/s。食指指尖觸覺(jué)傳感器的響應(yīng)曲線如圖7所示。因此，當(dāng)機(jī)器人指尖接觸到目標(biāo)物體時(shí)，關(guān)節(jié)的角速度開(kāi)始減小如圖8所示。實(shí)驗(yàn)對(duì)象被機(jī)械手成功穩(wěn)定地抓取。主從手指關(guān)節(jié)角最大測(cè)量誤差值小于2°，如圖9所示，橫坐標(biāo)為時(shí)間序列，縱坐標(biāo)為靈巧手角度相應(yīng)。

圖7 機(jī)器人指尖壓力傳感器響應(yīng)Fig.7 Pressure sensor response of the robotic index fingertip

圖8 食指關(guān)節(jié)自適應(yīng)角速度控制Fig.8 Adaptive angular velocity control of index finger joint

圖9 關(guān)節(jié)測(cè)量誤差Fig.9 Error measurements of index joints angles

如圖10所示，在連續(xù)事件之間仍有未標(biāo)記的樣本[29]，圖中x軸、y軸、z軸分別表示感知序列、傳感器序列和傳感器輸出。觀測(cè)值可用于評(píng)價(jià)LSTM的躍遷和發(fā)射概率。訓(xùn)練的LSTM模型的轉(zhuǎn)移和發(fā)射概率矩陣的示例如圖11和圖12所示。不同抓取狀態(tài)下，對(duì)觸覺(jué)序列進(jìn)行處理和分析。每個(gè)樣本組限定500個(gè)樣本，得到900個(gè)觸覺(jué)序列樣本，500個(gè)樣本。對(duì)每種抓取狀態(tài)的50組樣本，隨機(jī)抽取30組樣本作為訓(xùn)練集，其余20組作為測(cè)試集。

(c) 擺動(dòng)

(d) 手指滑動(dòng)

(e) 穩(wěn)定和

(f) 擺動(dòng)

(g) 手掌滑動(dòng)

(h) 穩(wěn)定

圖11 LSTM模型轉(zhuǎn)移概率矩陣Fig.11 Transition probability matrix of LSTM model

圖12 LSTM模型發(fā)射概率矩陣Fig.12 Emission probability matrix of LSTM model

因此，共有480組訓(xùn)練集樣本和420組測(cè)試集樣本。采用準(zhǔn)確性、敏感性和特異性3個(gè)性能指標(biāo)并取平均值以評(píng)估整體性能。性能結(jié)果可以通過(guò)實(shí)驗(yàn)事件和預(yù)測(cè)事件之間的±n個(gè)樣本的時(shí)間公差來(lái)計(jì)算。當(dāng)采樣率為100 Hz時(shí)，±1個(gè)樣本的誤差等于10 ms內(nèi)的定時(shí)誤差。在估計(jì)過(guò)程中，采用留一個(gè)交叉驗(yàn)證的方法[30]來(lái)估計(jì)LSTM模型的泛化能力。除一名參與者外，其余參與者的數(shù)據(jù)全部用于培訓(xùn)，其余參與者的數(shù)據(jù)作為測(cè)試數(shù)據(jù)。與N倍交叉驗(yàn)證相比，在驗(yàn)證過(guò)程中，主體間變異的混合效應(yīng)最大化。每個(gè)參與者的每次試驗(yàn)都重復(fù)驗(yàn)證過(guò)程，以便最終使每個(gè)數(shù)據(jù)集便于使用。

如表1所示，實(shí)現(xiàn)抓取狀態(tài)的編號(hào)及反饋，其中標(biāo)簽1、2、3為人手上的3個(gè)電刺激反饋點(diǎn)標(biāo)簽。表2展示了不同反饋方式下靈巧手抓取不同物體的遙操作性能及指尖平均壓力大小，實(shí)驗(yàn)次數(shù)為20次。可以看出，基于視-觸雙模態(tài)反饋系統(tǒng)具有更好的遙操作抓取性能。表3展示不同用戶使用此遙操作系統(tǒng)，同樣具有較好的性能。

表1 電刺激反饋對(duì)應(yīng)抓取狀態(tài)表Tab.1 Corresponding grabbing states of electrical stimulation feedback

表2 遙操作抓取對(duì)比實(shí)驗(yàn)Tab.2 Comparative experiments of teleoperation grab

表3 系統(tǒng)性能Tab.3 System performance values %

4 結(jié)論

本文采用數(shù)據(jù)手套及壓力傳感器陣列作為機(jī)器人靈巧手作業(yè)信息的獲取手段，結(jié)合視-觸雙模態(tài)反饋，采用上位機(jī)實(shí)時(shí)顯示的方式解析機(jī)器人作業(yè)狀態(tài)，同時(shí)構(gòu)建了基于電刺激的力觸覺(jué)臨場(chǎng)感反饋模型，實(shí)現(xiàn)對(duì)機(jī)器人靈巧手的精準(zhǔn)控制及抓握作業(yè)情況和握力的再現(xiàn)，增加操作者的本體感。針對(duì)不同的用戶使用情況進(jìn)行了實(shí)驗(yàn)。結(jié)果表明，基于視-觸雙模態(tài)反饋及觸覺(jué)感知能夠?qū)崿F(xiàn)對(duì)觸覺(jué)力的大小及遙操作機(jī)器人作業(yè)狀態(tài)更優(yōu)的反饋性能，普遍提高了主從手遙操作機(jī)器人盲抓取作業(yè)的成功率，實(shí)現(xiàn)了操作者在視覺(jué)受阻礙狀況下對(duì)機(jī)器人靈巧手進(jìn)行遙操作并完成穩(wěn)定抓取的任務(wù)。