數(shù)字化的人：人體關(guān)鍵點檢測及教學(xué)應(yīng)用之手勢識別

于方軍 山東省淄博市博山區(qū)山頭中心學(xué)校

侯鵬 山東省淄博市博山區(qū)實驗中學(xué)

孫麗君 山東省淄博第二中學(xué)

計算機視覺主要研究的是讓計算機認識人和物，把拍攝的物體數(shù)字化后，通過算法計算機學(xué)會認識物體，把人體數(shù)字化后計算機也能認識人類，更好地服務(wù)于人類。例如，計算機學(xué)會了人臉識別的算法，我們在坐火車時，不用取票刷臉就能進入高鐵站；學(xué)會檢測手部關(guān)鍵點可以用手勢控制設(shè)備；當檢測到肩部數(shù)據(jù)點坐標和膝蓋數(shù)據(jù)點坐標比較接近時，判斷出他可能在蹲下身體。這類算法統(tǒng)稱為人體關(guān)鍵點檢測，常用的能進行人體關(guān)鍵點檢測的開源算法模型有OpenPose、MMPose、MediaPipe等，其工作過程都是通過算法檢測出人體有代表性的關(guān)鍵點，再對這些關(guān)鍵點進行判斷。

以MediaPipe中的姿態(tài)、人臉、手勢識別為例，MediaPipe借助一個輕量級的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，分別利用姿勢（MediaPipe Pose）、面部（MediaPipe Face Mesh）和手部（MediaPipe Hands）關(guān)鍵點模型，生成總共500多個關(guān)鍵點（身體姿勢33個，臉部468個、手部21個，如圖1所示），運算速度快，可以用它完成如健身追蹤和手語識別、舞蹈和健身應(yīng)用等。下面，我們從手勢識別入手，了解人體關(guān)鍵點檢測工作過程，并借助手勢識別實現(xiàn)一個手勢控制燈的硬件應(yīng)用實例，再通過采集手部關(guān)鍵點數(shù)據(jù)作為數(shù)據(jù)集，訓(xùn)練一個手勢識別的神經(jīng)網(wǎng)絡(luò)，通過手勢控制開源硬件制作的小車運動。

圖1 關(guān)鍵點檢測圖片（MediaPipe官網(wǎng)）

● 簡單手勢控制——控制開關(guān)燈

利用采集到的手部關(guān)鍵點數(shù)據(jù)，結(jié)合開源硬件，可以實現(xiàn)簡單的手勢控制燈，硬件選用arduino板，用pinpong庫進行控制。

1.獲取手部關(guān)鍵點坐標，通過如下頁圖2所示的代碼讀取手部關(guān)鍵點4（大拇指尖）、關(guān)鍵點8（食指尖）的x、y坐標，MediaPipe用landmark函數(shù)，可以讀取食指尖關(guān)鍵點坐標，同理可以用landmark讀取拇指尖坐標，用食指和拇指的位置坐標作為控制量，只要拇指尖的x、y坐標和食指尖x、y坐標的差值小于5，就認為兩個手指尖接觸，此時點亮LED燈。

圖2 手指尖關(guān)鍵點坐標讀取及代碼應(yīng)用

2.用Python控制開源硬件arduino板的11腳輸出，從而控制燈的亮滅。這里選用的是pinpong庫，用pip install pinpong可以方便安裝該庫，使用時需要先定義好輸出腳，本例中定義11腳為輸出腳，運行代碼如圖3所示，根據(jù)實時采集到的手指關(guān)鍵點坐標，控制接在arduino板11腳的燈亮滅。

圖3 手勢控制開關(guān)燈代碼

這個案例是對MediaPipe提供的訓(xùn)練好的模型的一個簡單應(yīng)用，如果要訓(xùn)練特定的手勢識別，通過這種方式則難以完成。所以，可以自己設(shè)計一個神經(jīng)網(wǎng)絡(luò)模型，并用采集到的數(shù)據(jù)訓(xùn)練它，讓計算機學(xué)習(xí)、認識各種特定手勢，幫助我們更好地理解基于數(shù)據(jù)的機器學(xué)習(xí)算法是如何工作的，這其中包括數(shù)據(jù)采集、搭建神經(jīng)網(wǎng)絡(luò)、模型訓(xùn)練、模型應(yīng)用等過程。

● 復(fù)雜的手勢控制——從數(shù)據(jù)中學(xué)習(xí)

從數(shù)據(jù)中學(xué)習(xí)的過程，就像生活中教幼兒識圖的過程，教師會從一堆圖片中挑出一張“蘋果”，不斷地給幼兒讀“蘋果”讓他認識，再挑出一張“桔子”讓他認識，然后任意挑一張讓他判斷是什么，這些圖片就是學(xué)習(xí)用的數(shù)據(jù)。所以，在教給計算機認識手勢時需要先采集一些手勢信息，在CPU模式下為了提高訓(xùn)練速度，可以采用手部關(guān)鍵點的數(shù)據(jù)訓(xùn)練，MediaPipe Hands已經(jīng)把人手圖像抽象為21個數(shù)據(jù)點，用這些數(shù)據(jù)點的信息進行訓(xùn)練可以大大提高模型訓(xùn)練效率，同時也能幫助學(xué)生理解神經(jīng)網(wǎng)絡(luò)如何通過數(shù)據(jù)進行學(xué)習(xí)。

1.采集信息構(gòu)建數(shù)據(jù)集，首先做一個手勢指示方向，學(xué)習(xí)需要的數(shù)據(jù)為：圖片、帶數(shù)據(jù)點圖片、方向標簽、對應(yīng)采集序號（如下表）。

圖片帶關(guān)鍵點信息圖片標簽 Stop(停止） Up（上） Down（下） Left（左） Right（右）序號 0 1 2 3 4images/BZ_85_1109_2139_2268_2584.png

采集左手信息，握拳代表原地不動，用食指朝上代表向上，食指朝下代表向下，食指朝右代表向右，拇指朝左代表向左，每種手勢可以從不同角度采集20張圖片，用keypoint.csv保存數(shù)據(jù)點相對坐標信息，第一列記錄是手勢標簽信息，如0代表stop停止，也就是攥拳時手指信息。后面42個信息代表手部21個特征點，每個特征點記錄x、y兩個相對坐標信息。上頁圖4顯示了同一個手勢的多次數(shù)據(jù)采集的過程，并可以作為后續(xù)分析的基礎(chǔ)數(shù)據(jù)。

圖4 手指數(shù)據(jù)點信息

可以用keypoint_classifier_label.csv來記錄標簽信息，手工添加該信息，進而決定神經(jīng)網(wǎng)絡(luò)模型的分類標簽數(shù)，如圖5所示。在采集模式下，按下對應(yīng)序號完成手勢拍照，采集一定數(shù)量的照片。

圖5 分類標簽信息

2.搭建神經(jīng)網(wǎng)絡(luò)，用keras構(gòu)架的sequential模型搭建一個六層神經(jīng)網(wǎng)絡(luò)（如圖6），在輸入、輸出層中間是兩個全連接層（Dense）和兩個防止過擬合的dropout層。

圖6 Keras搭建的神經(jīng)網(wǎng)絡(luò)

3.訓(xùn)練認知模型。設(shè)置好各種訓(xùn)練參數(shù)后，就可以開始進行訓(xùn)練了，經(jīng)過測試，core i5處理器每訓(xùn)練一個epoch用時不到1秒，在幾分鐘之內(nèi)就可以完成訓(xùn)練（如圖7），當回調(diào)函數(shù)callbacks監(jiān)控的準確率不再改進時停止訓(xùn)練，在訓(xùn)練了455個epoch后，識別準確率達到了0.9913。

圖7 模型訓(xùn)練代碼

4.模型部署應(yīng)用。定義好小車arduino板上的端口10、11腳控制左輪，12、13控制右輪，對應(yīng)連到驅(qū)動板L298N的4個輸入腳IN1-IN4，當神經(jīng)網(wǎng)絡(luò)檢測到攝像頭采集的視頻圖像是“up”手勢時小車前進，是“down”手勢時小車后退，以此類推，如圖8所示。

圖8 手勢控制小車

綜上所述，對于中學(xué)人工智能課的開設(shè)，筆者認為需要有數(shù)據(jù)采集、模型搭建、訓(xùn)練模型等基本過程，不能只停留在對結(jié)果的體驗上，這樣才能有利于學(xué)生計算思維的培養(yǎng)，幫助學(xué)生更深刻地認知數(shù)字化信息的本源，在此基礎(chǔ)上結(jié)合前期的創(chuàng)客活動，把“造物”的學(xué)習(xí)提升到造“智能”物的更高階段。