手勢控制智能搬運小車中手指類型識別

黃玉銀 李志揚

[摘要]采用手勢控制的智能搬運小車可大幅度減輕快遞貨物分揀中的體力勞動強度，提升工作效率，其中手指類型識別對手勢識別有重要輔助作用。通過車載攝像頭采集手勢，經過圖像處理獲選取基于中心線的角度FBA和垂直長度FPD兩個不受圖像旋轉和平移影響的特征向量，通過多元混合高斯統計模型實現手指類型識別，識別率可達93%。

[關鍵詞]手勢控制；手指類型識別；智能搬運小車；快遞分揀

[中圖分類號]TP23 [文獻標識碼]A [文章編號]1005-152X（2018）02-0105-03

1 引言

隨著電商爆炸時代的到來，物流業空前繁榮，特別是在節假日大促銷期間，時常出現快遞分揀人手不夠的情況。目前快遞分揀在自動化方面還不夠成熟，如果引入智能搬運小車可大幅度減輕勞動強度，提升分揀速度。但是分揀車間環境較為復雜，布置固定路徑的搬運小車很不方便，成本也很高。

本文采用基于手勢控制的智能搬運小車實現分揀工作的半自動化。分揀員通過五指的組合做出備種手勢命令，控制小車的前進、后退、左右轉彎以及運動幅度等。其中手指識別是手勢控制的關鍵。本文通過車載攝像頭采集手勢，經過圖像處理獲取特征向量，借助預先訓練好的多元混合高斯統計模型實現手指分類識別。

2 原理

2.1 手勢識別流程

本文開發的基于視覺的手勢識別系統，其T作流程如圖1所示，首先利用車載攝像頭采集手勢圖像，然后通過中值濾波進行去噪，再通過膚色檢測進行手勢圖像二值分割和腐蝕、膨脹和開運算等形態學運算，進一步提取所需要的特征點，如手腕中心，手掌中心，指根和指尖等特征點，最后利用高斯模型分類器進行手勢手指識別，如圖l所示。

2.2 特征提取

2.2.1 手掌中心和手腕中心。對分割后的二值手勢圖像，運用下面公式計算手掌掌心的位置：

其中，（xiyi）代表圖像處理后所有檢測到的邊緣點的二維像素坐標。然后以掌心為原點以r為半徑，沿順時針方向跟蹤手掌中心網上的每個邊緣像素點，即圖2中小圓點點，如果半徑r過小，則邊緣點為零，當r剛好大于手掌時邊緣點數目會出現一個跳變增長。多次測試合適的半徑之后取得手腕黑白像素交界區域輪廓兩個邊緣點的坐標WI和W2，手腕的中心就是W1和W2的中間值。

2.2.2 手指指尖和指根。確定手指指尖和指根需要確定手掌的凸包，如圖3所示。凸包（Convex Hull）是一個計算幾何的概念，在二維歐幾里得空間中，凸包可以想象成為一條剛好包著所有點的橡皮圈。簡單的描述就是給定二維平面上的點集，凸包就是將最外層的點連接起來構成的凸多邊形，進一步需要借助凸包缺陷深度來篩選指尖的凸包位置。圖3給出了通過鄰域凸包缺陷深度最大原則確定的指尖和指根的位置。

2.2.3 特征向量FBA和FDA。借助上節提取的指尖和指根位置，本節進一步提取對平移、旋轉和尺度縮放都不太敏感，且變化較小的角度特征FBA和長度特征FPD作為最后手指識別特征。如圖4所示，FBA是指尖點與中心點的連線和中心線的夾角，FPD是指根到中心線的垂直線與中心線的交點到手掌中心的距離，而中心線為手掌中心中指指根和手腕中心的連線。

FBA可以運用向量的夾角公式求出：，a為指根位置到手掌心點的連線所在的向量，b為中心線所在的向量；FPD距離可以根據指根點到手掌心點的歐式距離與指根點到中心線的垂直距離得到。

2.3 多元高斯混合模型分類

一元高斯分布是由均值μ和方差σ兩個參數所確定的，期望值決定了函數位置，標準差決定了分布的幅度，其概率密度函數：

多元高斯分布是由均值向量E（x）=μ，cov（x）=∑所確定，協方差矩陣對稱且正定，其概率密度函數為：

假設x=（x1，x2….xd）T在任意時刻觀察這個隨機過程，概率分布服從聯合高斯分布，高斯過程都是由均值函數和協方差矩陣組成。本文高斯分類的類別有5種，分別是拇指、食指、中指、無名指和小指。在訓練階段，輸入訓練樣本的圖像特征向量x=（ FBA，FPD），可確定多元高斯分布的均值向量μi=（μFBA，μFPD）和FBA與FPD的協方差矩陣∑。在識別階段，輸入實測手勢的圖像特征向量，可以用訓練好的高斯模型計算分別屬于5種手指類型的概率，并將實測手勢中的手指類型識別為概率最大的手指。

3 特征訓練和測試

圖5給出了我們對200個樣本的訓練結果。在輸入特征向量FPD的時候，從圖5左邊圖中可以看到大拇指、食指、中指和無名指被正確劃分，只是無名指和小指的區域重合部分比較明顯，說明輸入特征向量FPD對無名指和小指的測試識別不靈敏；從圖5右邊圖中可以看到輸入特征向量FBA時也比較正確的劃分了五個手指并且對食指和中指的靈敏度較高。實驗表明進一步聯合檢測FPD和FBA，手指類型識別率可達93%。

根據手指的伸展情況，可組合表達種不同手勢。進一步結合手指的方向還可組合出更多的手勢，圖6給出了識別的幾種常見手勢。在實際應用中選取那些簡單易記，接近日常生活的自然手勢，可實現對智能搬運小車的靈活控制。

4 結論

本文通過車載攝像頭采集手指的特征向量FBA和FPD，借助多元混合高斯統計模型實現手指類型識別，進一步通過各種手指組合表達各種命令，通過手勢控制的智能搬運小車，可大幅度減輕快遞貨物分揀中的體力勞動強度，提升工作效率。