遠程人機交互機械手

胡 晨，彭元修

(南昌航空大學 信息工程學院，江西 南昌 330063)

1 引言

隨著現代化工業生產的發展和進步,工業機器人早已經被廣泛地用于代替工人完成一些簡單和重復性的勞動[1]。由于仿人機械手具有極強的功能和通用性，可以代替人手在很多場合下完成各類復雜和靈巧的操作，因此仿人機械手成為現在機器人研究領域的焦點問題[1]。通過樹莓派圖像識別，實時識別出人手掌的姿態，再使用無線傳輸手掌姿態和各種命令數據，進而進行遠程操作機械手，擺脫了數據手套，并且能夠讓機械手代替人在各種惡劣的環境進行較精密的操作，大大降低了人們對工作環境的限制和危險。仿人機械手特別在日常生活、人工智能、搶險救災、工農業生產中能有較好的應用[2]。

目前大多數仿人機械手的遠程控制都是搭配各式各樣的數據手套，不夠靈活和便攜。本文采用圖像識別技術，實現讓操縱者不再依賴數據手套，只需使用樹莓派和攝像頭，便可以很方便地對機械手進行精確的遠程控制，并且經過現場實驗，證實其可以在現實生活中靈活的完成各種任務。

2 仿人機械手的工作原理

仿人機械手由5個手指頭和手腕組成，它們可以使用STM32直接在觸摸屏上進行控制；同時也可以使用樹莓派對真人的手掌進行識別，通過真人的手掌的姿態進而遠程控制仿人機械手，以便可以讓仿人機械手在各種環境下進行復雜的任務。

仿人機械手的整體結構如圖 1所示，它由觸摸屏、微控制器、驅動單元、無線傳輸單元、圖像采集單元、樹莓派等六部分組成。

圖1 仿人機械手的構成

仿人機械手有兩種控制的方式：①操作者通過機械手的主控電路板上面的TFT觸摸屏直接控制機械手的運動，這種控制方式由于主控板和機械手上面的驅動單元通過信號線相連，所以操作者不能距離機械手太遠，而且需要操作者對于主控電路的系統需要一定的熟練度和了解；②攝像頭通過采集操作者的手的姿態，傳遞給樹莓派進行處理，最后通過無線傳輸單元將手的姿態的數據和其他命令數據傳輸給微控制器，微控制器控制機械手進行相應的動作。這種控制方式操作者可以距離機械手較遠距離控制機械手，而且操作簡單，對不同的工作環境具有良好的適應性。

3 仿人機械手的設計

3.1 機械結構設計

3.1.1 傳動方式

機械手采用不同的傳動方式，其靈活性、可操作性、體積等性能指標都會有較大的差距。目前機械手采用較多的傳動方式為腱傳動和連桿傳動[2]。

本文采用的傳動方式為腱傳動，驅動單元和手指通過漁線進行連接。驅動單元通過拉伸漁線使得手指彎曲，并且通過拉簧和壓簧使得手指回復原狀，進而完成抓、握等各種動作[3]。

3.1.2 驅動方式

目前，用于機械手驅動的電機主要有步進電機、直流伺服電機等。考慮到機械手的體積，所需力矩等因素，所以決定采用直流模擬舵機。它具有高精度、反應速度快、穩定性好、力矩大、體積小巧等特點。在舵機動力輸出末端，加上了凸輪，使得手指可以完全屈伸。

3.2 軟件部分設計

3.2.1 圖像識別算法設計

圖像識別是機械手反應速度和準確度的核心之一，一個穩定、快速的圖像識別算法，可以讓整個項目的實用性和穩定性大大提高。這里涉及的需要處理的圖像是人的手掌。因為圖像較為復雜，本項目采用計算機視覺來進行處理，考慮到項目的整體大小、便攜性、處理速度等因素，本項目使用樹莓派3b+作為圖像處理的平臺。

隨著計算視覺技術的迅速發展，傳統的人機交互技術(如鍵盤、鼠標等)逐漸無法滿足人們日常活動中的應用。許多研究工作致力于開發新的人機交互技術，包括手勢識別、人臉識別、人體姿態識別等。其中，手勢識別是人機交互中一種十分重要的交互方式，它主要由計算機通過視頻輸入設備(攝像頭等)對用戶手勢進行檢測、跟蹤與識別，從而理解人的意圖[4]。

手勢識別已經發展出很多算法，其中很多算法的一般處理步驟是手勢的分割、跟蹤、特征提取、分類識別以及深度學習來進行較為精準識別。但是程序代碼量大，調試時間較長，對于很多人來說入手難。本項目手勢識別采用入手簡單的百度API接口技術。API相當于連接前端和后端的一個接口[5]，非常適合程序員進行軟件的開發。百度API只需要向API服務地址使用POST發送請求，然后將你需要處理的圖像編碼成相應的識別格式[6]，就可以運用百度云端的資源幫你處理圖像。最后，將返回的數據運用在圖像上，重新繪制圖像，得到自己理想的圖像。

4 實驗

為了測試仿人機械手整個系統的穩定性，將進行綜合性的實驗。實驗以猜拳游戲來進行測試，通過樹莓派來識別真人的手勢，機械手做出對應手型來贏得猜拳游戲，實驗現場和結果如圖2 所示。

圖2 猜拳游戲現場演示

經過多次實驗，手勢識別在日常的生活環境中，正確率高達90%以上。無線傳輸的數據目前沒有出現過掉數據包的現象。并且仿人機械手完全可以勝任石頭、剪刀、布等多種手勢形狀。

5 結語

本文從機械設計、軟件設計來較詳細的描述仿人機械手整個項目的構思、制作，通過現場演示展示了仿人機械手的可操作性。仿人機械手既可以通過主控電路上面的觸摸屏控制，又可以通過樹莓派3b+進行遠程操控和演示，本項目完全擺脫了目前市面上常用的數據手套，具有一定的先進性和實用性。本文使用遠程圖像識別技術，設計并實現了一套完全擺脫數據手套的遠程仿人機械手，并且使用3D打印和三維建模，使機械手外觀仿人手化，模塊化，靈活性強，抓力強。本項目可以很好地實現機械手的操作便捷性，通用性，以及對現場環境良好的適應性。為遠程操作機械手提供了參考方案。