手勢識別機器人

陸一嬌 廖倩倩 李成良 王靖賀 劉翼溥

摘要：隨著智能移動設備和可穿戴設備的發展，自然的、符合人類習慣的人機交互方式逐漸成為人們研究的熱點。手勢、體態、人臉姿態這些最為直觀、方便的人體動作，自然就成為人機交互研究的難點和重要方向。基于以上背景，我們將以履帶式抓取機器人為實驗平臺，通過智能手套對手勢進行識別，進而完成對移動機器人的運動狀態的控制。致力于設計和開發適當的控制算法，實現對機器人多方面的操控。使用者可以通過智能手套控制機器人在多種環境下進行抓取操作，既操作方便，還能保護用戶自身安全。

關鍵詞：抓取機器人;控制算法;手勢識別

1.引言

目前，手勢識別在手語、智能監控、機器人控制、虛擬現實等領域發揮著重要作用。隨著計算機視覺的發展和人機交互的需要，手勢識別的研究得到了巨大的發展。我國手勢識別下游應用市場也逐漸成熟。現在，大多數消費類應用程序都在嘗試增加這種識別功能，可以帶來很多好處。它在許多應用中發揮了良好的作用。多年來，人機交互一直以鍵盤和鼠標為中心。然而，隨著科學技術的進步，特別是傳感器技術和芯片制造技術的進步，中國正在不斷研究新的人機交互體驗。手勢識別是一種新型的人機交互方式。它使用人類的姿勢和動作來表達用戶的重要性，這對于殘疾人來說非常重要。不同的手勢可以命令機器人執行不同的指令。

2.主要內容

本文是使用智能手套通過彎曲度傳感器感知人的手部動作，然后通過藍牙模塊對機器車發出不同的工作指令;機器車以STM32單片機為主控，使用直流電機和履帶驅動，搭載伺服電機驅動的機械手臂，在接收到智能手套發來的控制信號后可以進行移動和抓取操作。

2.1履帶式智能抓取機器人

（1）機器人主控

我們選擇STM32作為主控，STM32單片機是一種集成度高的單片機，具有高性能、實時功能、低功耗、低電壓運行等特點。同時，它還保留了高集成度和輕開發的特點，這將為未來的集成開發提供舒適性和便利性。

（2）機器人姿態檢測模塊

我們利用陀螺儀MPU6050來實時感知機器人的姿態，MPU6050為全球首例整合性6軸運動處理組件，我們可以利用它感知機器人行走方向，以及獲知機器人在平路行駛還是坡路行駛，從而可以使機器人適應室內的不同地形。

（3）障礙感知

超聲波模塊HC-SR04可以通過發送和接收超聲波，利用時間差和聲音傳播速度，計算出模塊到前方障礙物的距離。我們利用它檢測室內不同的障礙，在遇到障礙物時，提前做出避障。

（4）多舵機控制

舵機是機器人轉向的中心機構。它具的體型小、力矩大、穩定性高等特點，無論在硬件設計還是軟件設計中，舵機都是機器人控制的重要組成部分。

（5）人體感應

我們采用HC-R501人體紅外感應模塊，HC-R501是基于紅外線技術的自動控制模塊，采用LH1788探頭設計，靈敏度高，可靠性強。我們通過此傳感器探測周圍是否有人靠近，避免阻礙行人，方便用戶使用。

（6）機械手臂

機械手臂是機器人技術領域中應用最廣泛的自動化機械設備。它可以在工業生產、醫療、軍事、制造業和空間的研究等領域看到。它們都有一個共同的特點，即它們可以接受指令并精確定位三維空間中的一個點進行操作。

2.2智能感知手套

（1）手勢姿態識別模塊

RFP系列薄膜彎曲傳感器基本功能是可以對物體彎曲度進行測試，它可用于各種應用環境和各種場景：傳感器具有抗干擾性。當感應彎曲發生變化時，傳感器的電阻也會發生變化：彎曲越大，電阻越大。其原理簡單易用。它可以直接捕獲彎曲度傳感器的電阻值，或通過采集模塊將其轉換為標準信號電壓數據。

通常，傳感器可以直接檢測電阻，并根據電阻值計算出相應的彎曲范圍。因此，只能使用一個歐姆表。在實際的測試過程中，直接使用電阻檢測設備不適合集成，因此在很多情況下通常使用電壓采集卡，即將電阻信號轉換為電壓信號記錄，并根據測試電壓值計算出相應的彎曲度。下圖計算公式：

（2）手勢識別算法

①基于模板匹配

直接匹配法：利用輸入手勢與訓練好的標準模板的相似度。

優點：通俗易懂，可以方便后期添加和改進。

動態時間規整（Dynamic Time Warping，DTW）：把輸入手勢時間軸非線性地映射到模板事件軸，再進行模板匹配。

②基于概率統計

隱性馬爾科夫模型（Hiden Markov Model，HMM）模型：訓練時每一種手勢對應一個HMM model，識別時取概率最大的一個HMM即可。

優點：比較適合時間序列模型，比較容易對手勢庫進行添加和修改。

③基于數據分類

神經網絡（Nerual Network，NN）模型：基于某種學習準則循環進行學習，使得下次犯錯誤的概率最低。

優點：容錯能力強，抗干擾能力強，比較適合學習算法。

（3）藍牙控制模塊

藍牙技術實際上是一種無線短程技術。藍牙技術可以有效簡化移動設備之間的通信。它負責將從串行接口接收到的數據轉換成藍牙協議，并發送到另一個藍牙設備，將從另一個藍牙設備接收到的藍牙數據轉換成串行端口數據并發送到該設備。其次，根據傳輸特性選擇不同功能的藍牙模塊。如果用于數據傳輸，可以選擇點對點透明傳輸模塊，和點對多點模，還可以根據包裝形式進行選擇。藍牙模塊有三種類型：直插型、表貼型和串行端口適配器。直插型適合前期焊接和小批量生產。該模塊有兩種安裝模式：內置和外部。此外，還有一個外部串行端口藍牙適配器。如果用戶不喜歡在設備中內置藍牙，他們可以將適配器直接插入設備的串行接口，并在開機時使用。

3.結果

通過制作，該系統一切正常運行，可以通過智能手套的控制實現小車的前進、后退、加速、減速，藍牙連接等操作。該系統具有可靠、方便、低成本等特性。具有一定的使用功能。其應用范圍廣泛，具有一定的現實意義，可以幫助行動不便的老年人進行抓取操作。

參考文獻：

[1]梅武松，李忠新.基于手形和姿態的軍用動態手勢識別方法研究[J].兵器裝備工程學報，2021，42（05）：208-214.

[2]苗凱，曲海洲，徐何江.基于人工智能的無穿戴人體姿態識別技術研究[J].信息化建設，2020（09）：60-64.

[3]王敏旭. 實時目標的位置姿態識別以及運動跟蹤的研究和應用[D].電子科技大學，2020.DOI：10.27005/d.cnki.gdzku.2020.004348.

[4]宋一凡，張鵬，劉立波.基于視覺手勢識別的人機交互系統[J].計算機科學，2019，46（S2）：570-574.

作者簡介：

陸一嬌（2000-），女，滿族，遼寧錦州人，西北民族大學本科在讀，物聯網工程方向。

基金項目：

西北民族大學國家級大學生創新創業訓練計劃資助項目 （202110742027）。