基于雙目視覺信息采集的鏡像康復機器人

陳海洋 張宏坡 朱西昆 劉艷紅 韓坤峰 逯 鵬,4*

1(鄭州大學電氣工程學院 河南 鄭州 450001)2(機器人感知與控制河南省工程實驗室 河南 鄭州 450001)3(數學工程與先進計算國家重點實驗室 河南 鄭州 450001)4(互聯網醫療與健康服務河南省協同創新中心 河南 鄭州 450001)

0 引 言

腦卒中是我國第一大致殘病因。運動康復[1]訓練能使卒中患者喪失的功能重新獲得。

與被動的康復訓練[2]不同，鏡像運動康復機器人康復訓練以視覺刺激為基礎，基于鏡像對稱的雙側上肢運動模式，使損傷半腦與對側交互，促進感覺及運動功能復原[3]；同時，與醫師參與動作軌跡[4]相比，鏡像康復治療[5]更具患者主動性[6]。

本文設計了一種鏡像康復機器人，結合雙目視覺信息采集技術[7]和末端[8]導引技術[9]。其中，利用雙目視覺健側采集，末端導引患側輔助，協助患者完成肩關節外展/內屈、肘關節外展/內屈運動等。著重研究雙目視覺特點，健側信息可以無接觸采集，增強了采集的安全性。

實驗表明，機器人能夠完成肩關節外展/內屈、肘關節外展/內屈運動等相應任務，為卒中患者康復訓練提供了一種新的途徑。

1 系統總體設計

人體基本上肢運動運動參考[10]如圖1所示。

圖1 上肢基本關節活動

系統整體設計思路如圖2所示，其中雙目攝像頭解決健側信息采集，傳遞到康復訓練器，通過角度和位置控制末端導引式輔助裝置帶動患側上肢鏡像運動，達到患者主動康復的目的。

圖2 整體設計思路

系統總體設計如圖3所示，由健側信息采集、患側輔助裝置等部分組成。上肢運動信息經健側信息采集并鏡像轉換，傳遞給輔助裝置帶動患側上肢康復訓練。

圖3 系統總體設計

2 患側輔助設計

患側通過輔助裝置帶動患者上肢運動，模擬各種人體上肢日常行為。末端導引技術[11]能使患者上肢各關節、運動肌肉群、運動功能神經群得到有效的物理刺激，通過傳感器配合可以實時地反映康復訓練的強度和效果，為醫務人員提供有參考價值的臨床治療數據。

2.1 患側機構設計

鏡像上肢輔助機器人如圖4所示。患側輔助裝置參考末端導引式輔助機器人，輔助上肢進行康復訓練，實現肩關節和肘關節的運動。

圖4 鏡像上肢輔助機器人

裝置主要包括底座、旋轉盤、電機、主臂、副臂、連桿和操作臺等部分。為保證患者腕部可得到訓練并保證其腕部安全，設計的輔助裝置保持水平狀態。康復訓練系統整體指標如表1所示。

表1 機器人的整體設計指標

裝置結構包括主臂關節、副臂關節和腰部回轉關節等三個可控關節，分三個電機分別對其提供動力，設計的幾何結構分別如圖5、圖6、圖7所示。基于安全導向思想[12]在每個運動關節上安裝限位開關，同時控制臺設置急停按鈕。

圖5 主臂關節

圖6 副臂關節

圖7 腰部回轉關節

主臂關節包括主臂電機、主臂、主臂齒輪等部分。設計3D打印成型的20齒同步齒輪；為達到運動力矩，電機選用直流減速電機；主臂選擇壁厚1 mm的碳纖維管，可以達到硬度要求。表2所示為主臂轉動關節設計指標。

表2 主臂轉動關節設計指標

副臂關節包括副臂電機、副臂拉桿、副臂和副臂曲柄齒輪等部分。設計3D打印成型的副臂曲柄齒輪；選擇與主臂相同的減速電機；副臂需要配合拉桿運動，選擇6 mm碳纖維管做拉桿。表3所示為副臂轉動關節設計指標。

表3 副臂轉動關節設計指標

腰部回轉關節包括回轉電機、底座齒輪、底座等部分。其中由于裝置的負載和自重最終都落于底板上，根據承重應力分析，選擇8 mm厚亞克力板作為底板。表4所示為腰回轉關節設計指標。

表4 腰回轉關節設計指標

2.2 患側運動分析

患側結構包括主臂關節、副臂關節和腰部回轉關節等。根據機器人的結構特點，采用D-H(Denavit-Hartenberg)法[13]對其運動學[14]分析。輔助裝置運動學分析如圖8所示。其中θ1是腰部回轉關節旋轉角度；θ2和θ3為主臂關節與副臂關節旋轉的角度；X0Y0Z0為固定基坐標，X1Y1Z1為主臂的坐標系，X2Y2Z2為副臂的坐標系，X3Y3Z3為末端的坐標系。

圖8 輔助裝置運動學分析

根據圖8建立的參考坐標系，標定出各關節標準的D-H參數如表5所示。表中：d1=0.045 m、a1=0.018 m、a2=0.208 m、a3=0.224 m。

表5 機器人D-H參數表

用矩陣A表示后一坐標系i相對于前一坐標系i-1的變換矩陣：

n-1Tn=An=Rot(z，θn)×Trans(0，0，dn)×

Trans(an，0，0)×Rot(x，an)

(1)

(2)

(5)

手臂末端C點坐標系相對于基坐標系的總變換矩陣為：

(6)

式中：0T3體現出機器人的末端執行器坐標系相對于基坐標系的位置關系和運動姿態；n、o、a表示末端執行器相對于基坐標的姿態；p表示末端執行器相對于基坐標的位置關系。

構建模型求解正運動學解。

(7)

式中：θ1、θ2和θ3為各關節角位移。將參數代入式(7)后有：

(8)

空間模擬圖如圖9所示。

圖9 機械臂空間仿真圖

2.3 患側裝置實現

主要零件位置及標號如圖10所示。

圖10 主要零件位置圖

其中上三角形是保持腕部始終水平的關鍵部件；底板是主要載物臺；Z軸大同步輪是帶動腰部回轉機構，也是機械承重一部分。

圖11所示為機械結構的實物圖，包括底座、旋轉盤、電機、主臂、副臂、連桿和操作臺等部分。

圖11 機器人實物圖

3 健側信息采集設計

健側信息采集是鏡像康復的關鍵[15]。斯坦福大學開發的MIME(mirror image motion enabler)[16]通過安裝在健側的6自由度位置數字化儀，以及Narang等[17]開發的機器人輔助鏡像治療的人機交互系統通過佩戴的無線體域網(wireless Body-Area Network，WBAN)傳感器等，利用冗余機械結構、傳感器等接觸式裝置實現健側采集。

基于安全和患者自由度考慮[18]，利用雙目視覺技術實現健側無接觸的、多自由度采集，同時可以最大程度保護患者。

3.1 采集模型分析

基于雙目立體視覺技術的模型分析[19]如圖12所示。

圖12 理想的雙目測距相機

雙目攝像頭的立體標定[20]。選擇“張氏標定”，待標定的攝像頭如圖13所示，主要參數如表6所示。

圖13 待標定的攝像頭

表6 待標定的攝像頭的主要參數

兩相機的參數如下：

(1) 內部參數：

左相機內參矩陣：

右相機內參數矩陣：

左攝像頭畸變系數矩陣：

式中：k1l、k2l、k3l為左攝像頭徑向畸變的參數；p1l、p2l為左攝像機切向畸變的參數。

右攝像頭畸變系數矩陣：

(2) 外部參數：

基本參數矩陣：

平移矩陣：

其中R、T是用來描述左右兩攝像頭位置關系的參量。

采用Bouguet極線校正算法[21]進行雙目立體校正，整個校正過程如圖14所示。

圖14 校正流程說明圖

通過查找校正圖像(圖14(a))整型像素在非畸變圖(圖14(b))上的對應坐標，繼而回溯到原始圖像(圖14(a))上的真實浮點坐標。

3.2 健側運動識別

基于鏡像治療雙側同時運動的要求，健側運動識別[22]采用匹配速度快的BM[22](Block Matching)算法。BM算法只查找兩幅圖片之間的強紋理，故在弱紋理環境下只計算少數點的深度，依據此原理即可識別出健側上肢。進行健側上肢的運動識別，主要識別上肢的運動角度和手臂三維距離。識別算法如圖15所示。

圖15 上肢姿態識別

4 實 驗

4.1 底板強度實驗

底板是機械裝置的主要支撐部件，容易承重過度而變形，對材料強度需進行應力測試以保證機器人運行的穩定性。

底板承受負載重量外還需承受三個電機、固定螺絲、側板、齒輪、輔助臂、手腕支架等重量。設計如圖16所示底板，采用8 mm厚亞克力板材料，對底板進行了靜應力分析。

圖16 底板模型

模擬極限條件、重力場作用，對底板施力如圖 17所示。側面施加的25 N應用法相力，對鍵槽施加5 N應用法相力。

圖17 應力施加圖

考慮到計算成本，通過稀疏程度適中網格劃分得到了六面體單元，如圖18(a)所示。檢查無誤后運行算例，得到了板應力分布云圖和應變分布云圖及位移應變分布云圖，分別如圖18(b)、圖18(c)與圖18(d)所示。其分析結果如表7所示。

(a) (b)

(c) (d)圖18 分析結果

表7 分析結果數據表

4.2 雙目信息采集實驗

本文實驗對象是一名24歲男性，測試環境為室內，測試手為未著衣左手手臂。使用雙目攝像頭采集運動信息，將攝像頭放置在機械臂正下方，進行內屈30°角度與距離測試。測試方式如圖19所示。

圖19 雙目視覺測試圖

進行5組實驗，每組10次內屈，結果如表8所示。

表8 雙目測試誤差分析

測試結果表明，測試誤差在可接受范圍內，利用雙目視覺可完成健側信息采集。

4.3 患側動作實驗

4.3.1被試選擇

由于本實驗未進行臨床驗證，醫院倫理委員會認為本實驗對腦卒中患者的安全、健康存在隱患，建議使用健康人進行前期研究。本實驗從鄭州大學招募無神經疾病史、身體健康的10名本科生和研究生，其中男性5名，女性5名，年齡為24.0±5.0周歲。本實驗經過了鄭州大學電氣工程學院倫理審查委員會的同意，所有被試者均簽訂了《實驗知情同意書》，并按小時數給予被試者一定的經濟報酬。

4.3.2實驗范式設計

為確定雙目視覺能有效完成鏡像實驗動作信息采集，設計包含三種動作。動作“0”為靜止狀態，如圖20(a)所示，保持健側上肢與胸部有15°夾角；動作“1”為肩外展動作，如圖20(b)所示，肩關節由靜止狀態外展45°角。雙目攝像頭放置于健側(右)上肢的前側，保持攝像頭垂直放置。

(a) (b)圖20 肩關節外展/內收

動作“2”為肘關節屈曲伸展運動，如圖21所示。健側肘關節45°內屈后伸展。雙目攝像頭放置于健側(右)上肢右側，保持攝像頭垂直放置。

圖21 肘關節內屈/外展

患側輔助裝置接收健側采集的動作信息后，帶動患側上肢運動。患側輔助裝置運動如表9所示。

表9 測試結果

測試結果表明，患側輔助裝置可以完成肩關節外展/內收和肘關節外展/內收訓練動作。

5 結 語

本文結合雙目視覺信息采集技術和末端導引式技術，設計并實現了一種鏡像康復機器人，輔助患者進行肩關節外展/內屈、肘關節外展/內屈的康復訓練。該機器人實現健側信息無接觸采集，安全可靠。輔助裝置質量輕，易于控制，適用于一定范圍內不同尺寸的上肢。實驗結果表明，輔助患者運動的位置角度等滿足患者康復訓練需求，具有實際的應用價值。