基于手勢(shì)識(shí)別的小車控制

趙孫裕

摘要：利用PAJ7620U2手勢(shì)識(shí)別傳感器，結(jié)合LabVIEW軟件，設(shè)計(jì)了一款手勢(shì)識(shí)別系統(tǒng)，可以識(shí)別9種手勢(shì)，并通過BT06藍(lán)牙無線通訊，將相關(guān)指令傳遞給小車的控制系統(tǒng)，通過手勢(shì)實(shí)現(xiàn)小車的前進(jìn)、后退、左轉(zhuǎn)向、右轉(zhuǎn)向、停車、直線行走等功能，實(shí)現(xiàn)無需佩戴任何傳感器，即可實(shí)現(xiàn)小車的非接觸式控制。

關(guān)鍵詞：手勢(shì)識(shí)別;LabVIEW;小車控制

0? 引言

手勢(shì)識(shí)別是通過攝像頭等光學(xué)傳感器，將拍攝到的包含手勢(shì)的圖像序列，通過計(jì)算機(jī)視覺技術(shù)進(jìn)行處理，識(shí)別人手的姿勢(shì)，進(jìn)行人機(jī)交互。由于手勢(shì)識(shí)別時(shí)無需另外佩戴傳感器，僅需要視覺傳感器即可，因此操作起來比較自由[1-3]。

文獻(xiàn)[4]設(shè)計(jì)了基于電容式傳感器FDC2214的手勢(shì)識(shí)別系統(tǒng)，采用單極板單通道法和頻率測(cè)量法提高測(cè)量的精度，在學(xué)習(xí)模式中，通過對(duì)采集的不同手勢(shì)的電容值進(jìn)行閾值標(biāo)定，記錄訓(xùn)練數(shù)據(jù)。在識(shí)別模式中，調(diào)用訓(xùn)練模型對(duì)采集的識(shí)別者手勢(shì)進(jìn)行分類識(shí)別。經(jīng)過有限次學(xué)習(xí)和閾值分析優(yōu)化，識(shí)別正確率可以達(dá)到94.56%。文獻(xiàn)[5]提出基于注意力機(jī)制和特征融合的手勢(shì)識(shí)別方法，來解決動(dòng)態(tài)手勢(shì)視頻流預(yù)處理過程中，隨機(jī)采樣或密集采樣中，關(guān)鍵幀丟失或數(shù)據(jù)冗余導(dǎo)致特征融合在時(shí)序建模中，可能丟失重要時(shí)序信息的問題。通過包含注意力機(jī)制的長短期記憶網(wǎng)絡(luò)，在時(shí)序建模過程中抽取重要數(shù)據(jù)，來避免采樣方法的隨意性或盲目性;設(shè)計(jì)三層特征融合網(wǎng)絡(luò)對(duì)抽取的RGB特征和深度圖像特征進(jìn)行融合處理，提升動(dòng)態(tài)識(shí)別的準(zhǔn)確率。文獻(xiàn)[6]通過去除手勢(shì)無效幀、手勢(shì)幀數(shù)據(jù)補(bǔ)全和關(guān)節(jié)長度歸一化等數(shù)據(jù)預(yù)處理，并根據(jù)手部關(guān)節(jié)坐標(biāo)、手勢(shì)距離函數(shù)分段提取動(dòng)態(tài)手勢(shì)關(guān)鍵幀，以此來提取手的全局運(yùn)動(dòng)特征和手指的局部運(yùn)動(dòng)特征;采用線性判別分析進(jìn)行特征降維;最后利用帶高斯核的支持向量機(jī)實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)識(shí)別與分類，對(duì)14類手勢(shì)和28類手勢(shì)進(jìn)行實(shí)驗(yàn)，其分類識(shí)別準(zhǔn)確率比現(xiàn)有方法分別提高11.27%和4.89%。

但上述算法，在實(shí)際應(yīng)用時(shí)，對(duì)系統(tǒng)要求較高，基于此本文提出一種低成本的基于圖像識(shí)別傳感器PAJ7620U2的手勢(shì)識(shí)別控制技術(shù)，來控制小車實(shí)現(xiàn)前進(jìn)、后退、轉(zhuǎn)向等操作[7]。

1? 硬件搭建

該系統(tǒng)的硬件核心是：ATK-PAJ7620_V1.2手勢(shì)識(shí)別模塊，該模塊是ALIENTEK推出的一款高性能手勢(shì)識(shí)別傳感器模塊。該模塊采用原相科技（Pixart）公司的PAJ7620U2芯片，芯片內(nèi)部集成了光學(xué)數(shù)組式傳感器，實(shí)現(xiàn)復(fù)雜的手勢(shì)和光標(biāo)模式輸出，自帶九種手勢(shì)識(shí)別，支持上、下、左、右、前、后、順時(shí)針旋轉(zhuǎn)、逆時(shí)針旋轉(zhuǎn)和揮動(dòng)的手勢(shì)動(dòng)作識(shí)別，以及支持物體接近檢測(cè)等功能。

TK-PAJ7620模塊具有：體積小、靈敏度高、支持中斷輸出、兼容3.3V/5V系統(tǒng)、使用方便等特點(diǎn)。

PAJ720是原相科技（PixArt）公司推出的一款光學(xué)數(shù)組式傳感器，內(nèi)置光源和環(huán)境光抑制濾波器集成的LED，鏡頭和手勢(shì)感測(cè)器集成在一個(gè)小的立方體模組內(nèi)，能在黑暗或低光環(huán)境下工作。同時(shí)傳感器內(nèi)置手勢(shì)識(shí)別，支持9個(gè)手勢(shì)類型和輸出的手勢(shì)中斷和結(jié)果。并且內(nèi)置還提供接近檢測(cè)功能，可用于感測(cè)物體接近或離開。

PAJ7620的特點(diǎn)包括：

①IIC接口，支持高達(dá)400Khz通信速率。

②內(nèi)置9個(gè)手勢(shì)類型（上、下、左、右、前、后、順時(shí)針旋轉(zhuǎn)、逆時(shí)針旋轉(zhuǎn)、揮動(dòng)），支持輸出中斷。

③支持接近檢測(cè)功能，檢測(cè)物體體積大小和亮度。

④待機(jī)功耗電流15uA。

⑤抗燈光干擾。

PAJ7620的模塊采用的是IIC通訊協(xié)議，需要利用Arduino Nano編制相應(yīng)的程序，將IIC協(xié)議轉(zhuǎn)化為串口通訊協(xié)議，傳遞給計(jì)算機(jī)，硬件連接框圖如圖1所示。

2? 軟件控制

整個(gè)系統(tǒng)軟件分為三部分：控制小車的下位機(jī)軟件系統(tǒng)、負(fù)責(zé)手勢(shì)識(shí)別模塊與上位機(jī)通訊的軟件系統(tǒng)和上位機(jī)軟件系統(tǒng)。

①控制小車的下位機(jī)軟件系統(tǒng)。主要通過藍(lán)牙模塊接收上位機(jī)的控制指令，并將指令轉(zhuǎn)化為各個(gè)車輪速度控制信息。

②手勢(shì)識(shí)別通訊模塊。主要實(shí)現(xiàn)通過IIC協(xié)議，將PAJ7620手勢(shì)識(shí)別模塊的手勢(shì)信息讀取出來，并通過串口傳遞給上位機(jī)。實(shí)現(xiàn)下位機(jī)軟件系統(tǒng)包括兩部分：控制小車的軟件系統(tǒng)和采集PAJ7620手勢(shì)識(shí)別信息并傳遞給上位機(jī)的軟件系統(tǒng)。

③上位機(jī)軟件系統(tǒng)。主要利用LabVIEW軟件，設(shè)計(jì)對(duì)應(yīng)的界面（如圖2所示），并通過相連的Arduino Nano來識(shí)別PAJ7620模塊傳過來的手勢(shì)信息，并啟動(dòng)對(duì)應(yīng)的小車控制指令，然后通過藍(lán)牙模塊BT06傳遞給小車，實(shí)現(xiàn)小車基于手勢(shì)的可控運(yùn)動(dòng)。

3? 實(shí)驗(yàn)驗(yàn)證

將PAJ7620U2模塊固定在筆記本計(jì)算機(jī)的頂部，將光學(xué)傳感器正對(duì)著操作者，手在傳感器的正前方，保持與傳感器的垂直距離，做出圖3和4所示的手勢(shì)，可以分別得出“上”、“下”、“左”、“右”、“順時(shí)針旋轉(zhuǎn)”、“逆時(shí)針旋轉(zhuǎn)”、“揮動(dòng)”的識(shí)別結(jié)果。

手在傳感器的前方，與傳感器之間垂直方向上距離有相對(duì)的變化，做出圖5所示的手勢(shì)，可以得出“前”、“后”的識(shí)別結(jié)果。

上位機(jī)軟件系統(tǒng)根據(jù)識(shí)別的結(jié)果，執(zhí)行對(duì)應(yīng)的控制指令，并將指令，通過藍(lán)牙傳遞給小車上的控制模塊，實(shí)現(xiàn)圖6所示三軸輪式小車的對(duì)應(yīng)行駛功能控制。

4? 結(jié)論

本文利用LabVIEW軟件，基于手勢(shì)傳感器，設(shè)計(jì)了一款基于手勢(shì)識(shí)別的小車控制系統(tǒng)，實(shí)現(xiàn)了9種手勢(shì)的小車行駛控制。

參考文獻(xiàn)：

[1]任海兵，祝遠(yuǎn)新，徐光，等.基于視覺手勢(shì)識(shí)別的研究——綜述[J].電子學(xué)報(bào)，2000，28（2）：118-121.

[2]王鵬.動(dòng)態(tài)手勢(shì)識(shí)別研究[D].大連理工大學(xué)，2013.

[3]劉江華，程君實(shí)，陳佳品.基于視覺的動(dòng)態(tài)手勢(shì)識(shí)別及其在仿人機(jī)器人交互中的應(yīng)用[J].機(jī)器人，2002，24（3）：197-200.

[4]王鑫，陳成凱，陳梓威，霍非凡，林樂坤，吳珂，劉浩.基于FDC2214單通道閾值分析的手勢(shì)識(shí)別系統(tǒng)[J/OL].實(shí)驗(yàn)技術(shù)與管理，2020（06）：112-115，178[2020-06-20].https：//doi.org/10.16791/j.cnki.sjg.2020.06.024.

[5]高明柯，趙卓，逄濤，王天保，鄒一波，黃晨，李德旭.基于注意力機(jī)制和特征融合的手勢(shì)識(shí)別方法[J].計(jì)算機(jī)應(yīng)用與軟件，2020，37（06）：199-203.

[6]繆永偉，李佳穎，孫樹森.融合手勢(shì)全局運(yùn)動(dòng)和手指局部運(yùn)動(dòng)的動(dòng)態(tài)手勢(shì)識(shí)別[J/OL].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)：1-10[2020-06-20].http：//kns.cnki.net/kcms/detail/11.2925.TP.20200609.

1357.008.html.

[7]路凱，李小堅(jiān).手勢(shì)識(shí)別研究概述[J].西安文理學(xué)院學(xué)報(bào)（自然科學(xué)版），2006，9（2）：91-94.