智能揀選工作臺中的人機協(xié)作研究

張賀龍 吳洪明

武漢理工大學(xué)物流工程學(xué)院 武漢 430063

0 引言

訂單揀選是物流配送中心最重要、最復(fù)雜的作業(yè)之一，揀選方式和揀選技術(shù)直接影響著整個倉庫的揀選效率，關(guān)系到倉庫成本的高低[1]。揀選方式逐漸向無人化、自動化方向發(fā)展，但目前想要實現(xiàn)高效率的無人化還有一定的技術(shù)瓶頸[2]。本文提出了一種人機協(xié)作智能揀選工作臺方法，大量重復(fù)的勞動由機器人完成，面對復(fù)雜的情況時則由人類完成任務(wù)。既發(fā)揮了人類靈活的決策能力，又利用了機器人完成重復(fù)的操作，降低了人類勞動強度。

在人機協(xié)作的過程中，一個重要的問題是如何讓機器人智能地理解人類，從而協(xié)助人類完成揀選任務(wù)。對人類的動作識別是讓機器人理解人類行為意圖的前提。基于此，利用Kinect視覺傳感器提取人類動作特征，使用支持向量機算法對特征進(jìn)行分類識別，最后實現(xiàn)對人類不同動作的識別。

1 揀選技術(shù)發(fā)展

揀選方式主要有人工揀選、半自動揀選、全自動揀選3種方案。人工揀選采用人到貨揀選方式，揀選過程中貨物不動，由工人到貨架前對貨物進(jìn)行揀選。人工揀選的大部分時間都浪費在作業(yè)人員的行走與尋找貨物的過程中。隨著技術(shù)的不斷發(fā)展，完全由人工揀選的場景越來越少。本文將詳細(xì)介紹目前發(fā)展迅速的半自動揀選和全自動揀選方式。

1.1 半自動揀選

半自動揀選采用貨到人揀選方式，在揀選的過程中工人基本不移動，貨物自動運輸?shù)綊x工人的面前被分類揀選。與人到貨揀選相比，貨到人揀選中作業(yè)人員的行走時間和尋找儲位的時間顯著降低，工人的勞動強度大幅度下降，節(jié)省了人力成本。同時，貨到人揀選采用立體存儲和密集存儲方式，可實現(xiàn)更高的存儲密度。目前，貨到人揀選技術(shù)發(fā)展最為迅速，已經(jīng)普遍應(yīng)用于電商、圖書、食品、醫(yī)藥、服裝等領(lǐng)域[3,4]。

貨到人揀選系統(tǒng)由存儲系統(tǒng)、運輸系統(tǒng)、揀選工作臺3部分組成。目前，大量的研究集中在對存儲系統(tǒng)和運輸系統(tǒng)的開發(fā)中，許多成熟的技術(shù)已經(jīng)在實際生產(chǎn)過程中應(yīng)用。主流的存儲和運輸方式有Miniload貨到人方案、類Kiva機器人貨到人方案、穿梭車貨到人方案、Autostore貨到人方案等[5]。

然而，對于專門針對揀選工作臺的研究卻極少。貨到人揀選工作臺是實現(xiàn)揀選系統(tǒng)與人交互的重要部分。除了滿足揀選作業(yè)的基本需求，主要的研究方向集中在對揀選工作臺功能的探索和方便工人揀選設(shè)計2個方面。現(xiàn)有的智能揀選工作臺采用電子標(biāo)簽、照相、稱重、快速輸送等一系列技術(shù)[6]，方便了工人在工作臺中的揀選操作。但工人仍需要進(jìn)行大量的重復(fù)性揀選，與揀選系統(tǒng)交互的智能性還不夠高，大部分的工作都是由人類完成，自動化程度有進(jìn)一步提升的空間。

1.2 全自動揀選

全自動揀選采用貨到機器人揀選方式，整個過程基本不需要人類參與。其與貨到人揀選相比，揀選工作臺中采用機器人替代人，由機器人完成揀選操作。先通過運輸系統(tǒng)將貨物輸送到工作臺，在工作臺中利用視覺系統(tǒng)來識別貨物，再控制機器人抓取識別到的貨物并放在指定位置。

雖然全自動無人化揀選是揀選技術(shù)的未來發(fā)展方向，但目前還只是在少量大型企業(yè)中應(yīng)用，未在實際中推廣[7]。主要原因是商品的形狀不規(guī)則、存放時存在相互遮擋，機器人實現(xiàn)自動識別與揀取的難度較大。除此之外，全自動生產(chǎn)線成本較高，揀選準(zhǔn)確性和可靠性也在一定程度上影響了揀選效率。正是由于這些因素的影響，貨到機器人揀選目前只能應(yīng)用在固定規(guī)格的貨物揀選場景中，對于不規(guī)則的貨物揀選還需要進(jìn)一步的研究。

1.3 人機協(xié)作揀選工作臺

貨到人由人工進(jìn)行揀選作業(yè)，相對傳統(tǒng)方式節(jié)省了工人的行走時間，但工人在工作臺仍進(jìn)行大量重復(fù)的勞動，面對較重的貨物時勞動負(fù)擔(dān)很大；貨到機器人由機器人自動揀選，由于貨物的不規(guī)則性，對機器人的視覺系統(tǒng)和夾具要求很高，難以得到廣泛的應(yīng)用。

針對貨到人揀選和貨到機器人揀選的不足，結(jié)合智能物流中的協(xié)同化發(fā)展趨勢[8,9]，提出了人機協(xié)作揀選工作臺的概念。人機協(xié)作揀選工作臺由協(xié)作機器人與人共同進(jìn)行揀選，機器人完成簡單物品的揀選，復(fù)雜的情況則由人類進(jìn)行處理。與貨到機器人揀選相比，揀選過程可進(jìn)行靈活調(diào)整，系統(tǒng)的柔性化程度更高，作業(yè)能力可進(jìn)行自主調(diào)節(jié)。協(xié)作機器人揀選工作臺如圖1所示。

圖1 協(xié)作機器人揀選工作臺

對人的動作識別是實現(xiàn)人機協(xié)作揀選過程中能順暢操作的前提條件。通過對人的動作識別，可提前預(yù)知人類操作意圖，既方便機器人協(xié)作人類進(jìn)行下一步操作，又能避免機器人與人發(fā)生碰撞，保證作業(yè)人員的安全和揀選作業(yè)的流暢性。

2 動作特征提取

2.1 Kinect骨骼跟蹤技術(shù)

Kinect V2是微軟公司推出的一款深度相機，由1個RGB攝像頭、1個紅外發(fā)射器、1個紅外接收器和數(shù)個麥克風(fēng)組成[10]。Kinect V2由飛行時間技術(shù)（Time of Flight，TOF）技術(shù)得到深度圖像。TOF技術(shù)通過探測設(shè)備自身發(fā)射紅外光，紅外光在遇到物體后發(fā)生反射，接收器接受反射光線，通過計算發(fā)射光線和接受光線的時間差就可得到被拍攝物體與探測器的距離，該距離即是物體的深度信息。由深度信息得到人體骨骼關(guān)節(jié)點三維坐標(biāo)，并由此得到骨骼圖。

在揀選作業(yè)中，工人往往站在工作臺前進(jìn)行操作，下半身處于被遮擋的狀態(tài)。在識別工人動作時，可將重點放在人體上半身的主要關(guān)節(jié)點上，則能減少無關(guān)骨骼點對動作的影響，方便算法對數(shù)據(jù)的處理，使系統(tǒng)運算時間減少，有利于動作的快速識別。而手指和指尖關(guān)節(jié)點在實際過程中容易被遮擋，導(dǎo)致數(shù)據(jù)出現(xiàn)跳動，誤差過大，故不宜將這2種關(guān)節(jié)點作為特征。綜上所述，選擇12個關(guān)節(jié)點作為原始特征，如圖2所示。

圖2 上半身骨骼圖

2.2 人體結(jié)構(gòu)向量構(gòu)建

選取合適的特征是進(jìn)行動作識別的基礎(chǔ)工作，結(jié)合揀選場景，所選取的特征應(yīng)滿足：

1）運動特征對不同類型的動作都能夠完整描述；

2）運動特征對不同的動作要有區(qū)分性；

3）應(yīng)盡量選取容易提取和容易處理的特征；

4）對于不同體型的人和不同的相機位置等外部無關(guān)因素來說，特征描述能保持穩(wěn)定，且對噪聲不敏感。

在選取特征之前，根據(jù)人體結(jié)構(gòu)，選取17組人體結(jié)構(gòu)向量，在這些結(jié)構(gòu)向量的基礎(chǔ)上進(jìn)行特征選擇。選取上肢與軀干部分結(jié)構(gòu)向量共11組，由上半身的各個關(guān)節(jié)點按照人體結(jié)構(gòu)依次連接而成；連接部分結(jié)構(gòu)向量共6組，由手腕關(guān)節(jié)分別和脊椎中心、肩部中心連接構(gòu)成。各人體結(jié)構(gòu)向量與人體骨骼關(guān)節(jié)點的對應(yīng)關(guān)系如表1所示。

表1 人體結(jié)構(gòu)向量表

2.3 特征向量夾角與模比值特征提取

1）基于向量角度的特征選擇

由于肢體運動是旋轉(zhuǎn)運動，可以使用向量的角度變化進(jìn)行描述。共選取11組人體向量間的角度信息作為特征，如表2所示。主要涉及左右手臂和軀干主體，其中θ1、θ2、θ3、θ6、θ7、θ8用于描述動作過程中左右手臂關(guān)節(jié)角度變化，θ4、θ5、θ9、θ10用于描述上肢相對于軀干的角度變化，θ11用于描述軀干的角度變化。

表2 人體結(jié)構(gòu)向量夾角表

2）基于向量模比值的特征選擇

肢體在運動時表現(xiàn)出一定的伸縮性，故向量間的模比值也是描述動作時不可忽略的重要參考值。為脊椎中心指向肩部中心的向量，是肩部中心和脊椎中心分別指向左手腕的向量，是肩部中心和脊椎中心分別指向右手腕關(guān)節(jié)的向量，利用模比值可描述在運動過程中腕關(guān)節(jié)相對于軀干的位置信息。

4組向量的模比值計算方法為

式中：mi（i=1，2，3，4）為向量相對于向量的模比值。

對一幀圖像中的人體姿態(tài)，綜合考慮向量角度與向量模比值特征，選取此15個特征參數(shù)來描述動作。用Ri表示第i幀的靜態(tài)特征，得到第i幀靜態(tài)姿態(tài)的15維描述向量為

3 基于支持向量機的動作識別算法

3.1 動作識別流程

動作識別過程實際就是對人體動作特征數(shù)據(jù)進(jìn)行處理并分類的過程[11]。本文使用了機器學(xué)習(xí)中的支持向量機算法（Support Vector Machine，SVM）對所選取的動作特征進(jìn)行分類，動作識別算法流程如圖3所示。

圖3 動作識別流程圖

3.2 支持向量機算法

作為監(jiān)督學(xué)習(xí)中的一種典型算法，SVM應(yīng)用十分廣泛，可用于模式識別、回歸分析及分類等眾多場景[12]。在解決小數(shù)據(jù)樣本、非線性分類以及高維模式分類問題中，SVM方法表現(xiàn)出獨特的優(yōu)勢。

對于線性不可分問題，可采用核函數(shù)進(jìn)行非線性變換，將原樣本從低維空間向高維空間中轉(zhuǎn)換，變線性不可分為線性可分。本文使用的徑向基核函數(shù)為

在實際數(shù)據(jù)集采集過程中，總會存在一些噪聲點，SVM為了把噪聲點也劃分正確，超平面會向另一類的樣本靠攏，使得劃分超平面的幾何間距變小，降低模型的泛化性能。SVM使用懲罰因子C平衡對數(shù)據(jù)樣本的擬合能力和預(yù)測能力。C越大，擬合能力越強、預(yù)測能力越弱，容易出現(xiàn)過擬合；C越小，模型復(fù)雜度越低、擬合能力越弱，容易出現(xiàn)欠擬合。將問題轉(zhuǎn)化成為優(yōu)化問題，通過調(diào)整懲罰因子C的值得到最優(yōu)的結(jié)果。

3.3 多分類支持向量機

基本SVM算法只能解決二分問題。對于多類別劃分，可在原算法的基礎(chǔ)上增加新的類別，構(gòu)建出多分類SVM算法。常用的方法有一對多法和一對一法。

對于含有k個類別的樣本數(shù)據(jù)，一對多法首先選定某1種類為二分類中的一種類，并定為正類；將其余種類自動歸為另一種類，定為負(fù)類。由此可得到k個二分類問題，即存在k個SVM分類器。分類時將k個分類器結(jié)果中的最大值作為分類結(jié)果；一對一法任意選取2個作為1組二分類問題的類別，并設(shè)計相應(yīng)的分類器，因此會產(chǎn)生k（k-1）/2個分類器。面對未知樣本數(shù)據(jù)時，每一個分類器對分類結(jié)果進(jìn)行投票，最后得票次數(shù)最多的類別就是該數(shù)據(jù)樣本的所屬類別。本文采用一對一法中的有向無環(huán)圖法。

4 算法訓(xùn)練與測試

4.1 數(shù)據(jù)集采集

在數(shù)據(jù)集采集過程中，Kinect固定在拍攝架上，距離地面垂直距離約為1.6 m，距離人體水平距離約2 m，向下傾斜30°對人體進(jìn)行拍攝。利用Kinect Studio V2.0軟件進(jìn)行采集，采集速率為30 幀/s，每一幀的數(shù)據(jù)包含36個坐標(biāo)值數(shù)據(jù)，依次為關(guān)節(jié)點0～11的x，y，z坐標(biāo)，單位為m。

針對揀選活動，本文定義4個揀選動作，分別是：右手拾取、右手移動、左手拾取、左手移動。在執(zhí)行動作時，為了方便對動作的描述和數(shù)據(jù)的切割，每個動作的持續(xù)時間為1 s左右。由5個人分別執(zhí)行4種揀選動作，每個動作重復(fù)5次。對于每個動作共有25組樣本，隨機選取其中20作為訓(xùn)練樣本，5組作為測試樣本。

4.2 基于粒子群算法的參數(shù)尋優(yōu)

SVM算法需要確定的參數(shù)有2個：懲罰因子C、徑向基核函數(shù)的參數(shù)γ。本文選用粒子群優(yōu)化方法（Particle Swarm Optimization，PSO）對參數(shù)組合（C，γ）進(jìn)行優(yōu)化，使算法達(dá)到最好的效果。優(yōu)化時需要確定的參數(shù)包括：懲罰參數(shù)C的范圍、核參數(shù)γ的范圍、局部搜索學(xué)習(xí)因子c1、全局搜索學(xué)習(xí)因子c2、初始化種群數(shù)量、最大進(jìn)化代數(shù)。

訓(xùn)練時取C∈[0.1，100]，γ∈[0.1，100]，初始化為c1=1.5，c2=1.7，種群數(shù)量設(shè)為20，最大進(jìn)化代數(shù)設(shè)置為200。PSO尋優(yōu)過程如圖4所示，仿真中第200代時達(dá)到最大迭代次數(shù)，進(jìn)化終止。此時最優(yōu)C=6.836 8，最優(yōu)γ=2.480 7，Accuracy=98.146 8%。

圖4 基于PSO算法的參數(shù)優(yōu)化過程

4.3 訓(xùn)練與測試

將優(yōu)化結(jié)果作為訓(xùn)練好的模型，對測試樣本進(jìn)行分類，每個動作有5個測試樣本，每個樣本有30個樣本點，故4個動作的測試樣本數(shù)為600個，分類得到的混淆矩陣如圖5所示。

圖5 SVM算法動作分類結(jié)果

從結(jié)果來看，4個動作在測試集上的識別率較高，都超過90%，滿足實際的準(zhǔn)確率需求。

4.4 結(jié)果與分析

由圖5可知，右手移動識別率最高，達(dá)到了97%，而右手拾取動作識別率最低，為92%。這是由于右手拾取動作在數(shù)據(jù)采集時可能會有一部分的站立不做動作，導(dǎo)致識別率相對較低。而且左手拾取與左手移動2個動作容易相互混淆，是因為2個動作在實際操作過程中是持續(xù)進(jìn)行的，動作銜接部分有相似之處，容易導(dǎo)致識別結(jié)果出現(xiàn)錯誤。

將本文使用的SVM算法與K最近鄰算法（K-Nearest Neighbor，KNN）對比，識別結(jié)果如表3所示。

表3 KNN算法與本文算法準(zhǔn)確率對比表

結(jié)果表明，本文算法在每個動作的識別準(zhǔn)確率上都優(yōu)于KNN算法，整體識別率達(dá)到了94.3%，相比KNN算法準(zhǔn)確率提高了7個百分點。

5 結(jié)論

本文面向物流運輸中的揀選作業(yè)，提出了一種智能人機協(xié)作工作臺方法，并針對人機協(xié)作過程中的動作識別問題進(jìn)行了詳細(xì)研究。

1）綜合揀選方式的發(fā)展和智能物流中的協(xié)同化趨勢，提出了人機協(xié)作揀選方法，利用協(xié)作機器人輔助人類在揀選臺進(jìn)行揀選作業(yè)；

2）為了實現(xiàn)人機協(xié)作中的動作識別，利用Kinect深度傳感器進(jìn)行動作特征提取，與普通彩色相機相比，Kinect深度相機對外部因素不敏感，對環(huán)境適應(yīng)性強，可滿足大部分工業(yè)場景需要；

3）使用支持向量機算法對特征進(jìn)行分類，在測試集上的準(zhǔn)確率達(dá)到94.3%，滿足實際需求。

本文所提出的動作識別方法為實現(xiàn)揀選工作臺中的人機協(xié)作進(jìn)行了一些基礎(chǔ)工作，未來的研究可針對人機協(xié)作中的任務(wù)分配等工作進(jìn)行。