機器人智能化吊裝技術研究

倪 濤 鄒少元 孔維天 黃玲濤 張紅彥 舒禮志

(吉林大學機械與航空航天工程學院， 長春 130022)

0 引言

在港口、碼頭和礦山等大型貨物吊運場合，傳統情況下需要吊運駕駛員和吊運指揮員配合完成遠距離吊裝操作，其裝卸安全和效率直接影響經濟效益。隨著人機交互技術的發展[1-3]，將機器人技術和人工智能技術結合成為發展趨勢。采用基于深度學習的人體肢體識別技術對吊運指揮人員吊裝指令肢體信號進行識別，可完成智能化吊裝操作。該方法無需吊運駕駛員的配合，可大大提升吊裝效率和吊裝工作的智能化水平。

現有人體行為識別技術主要有3種：①手動構建精細特征進行分類任務，主要有尺度不變特征(SIFT)[4]、方向梯度直方圖(HOG)[5]、梅爾倒頻譜(MFCC)[6]和費舍爾向量(FV)[7]等。該方法缺點是針對性較強，且通用性較差。②采用卷積神經網絡(CNN)進行人體行為識別可以自動提取圖像更深層次抽象特征[8-11]，例如，文獻[10]提出一種3D-CNN應用人體行為識別，該方法將擴展空間和時間肢體運動信息作為多通道輸入，缺點是訓練難度大。③循環神經網絡(RNN)應用于人體行為識別近年發展迅速[12-14]，RNN能夠有效提取肢體動作時空特征和圖像幀上下文信息，但是該方法最大的缺點是訓練數據很難獲取，且訓練容易產生過擬合現象。

為克服上述方法存在的問題，本文提出一種基于神經網絡集成學習方法的肢體動作識別智能吊裝方法。

1 系統組成

吊裝機器人肢體信號識別系統由機器人輔助吊裝控制模塊和肢體識別模塊兩部分組成，如圖1所示。首先采用大變焦網絡攝像頭采集吊運指揮人員肢體圖像，并使用TfPose提取人體18個關鍵骨架節點坐標，其中TfPose采用mobilenet-v2輕量化深度學習網絡框架來減少運算量以及參數量。肢體識別模塊作用是對TfPose采集人體骨架經處理得到骨架向量和RGB骨架圖，分別作為BP神經網絡和InceptionV3網絡的輸入，然后以BP神經網絡和InceptionV3網絡為基分類器，采用神經網絡集成學習方法確定最優化權重，得到一個吊裝指令肢體信號強分類器，完成吊裝指令肢體信號識別；機器人輔助吊裝控制模塊采用D-H法進行吊裝機器人正運動學分析和使用共形幾何代數方法求解其逆運動學，將肢體識別模塊識別吊裝指令肢體信號轉換為吊裝操作。

2 吊裝機器臂運動學分析

2.1 運動學D-H參數正解

吊裝機器人運動學分析采用D-H方法，D-H參數表現機器人機械臂相鄰連桿的位姿關系，該方法首先需要為機器人系統每個連桿建立獨立參考坐標系，并推導相鄰連桿間的齊次變換矩陣，最終構建吊裝機器人系統運動學方程。其中機器人系統幾何坐標關系如圖2所示，從圖2可以看出，卷揚系統(坐標系為{O5})固定于KUKA-KR16吊裝機器人小臂(坐標系為{O4})；參照文獻[15]進行運動學建模和分析，其中各參數定義如下：ai為連桿長度；αi為連桿扭轉角；di為關節偏移量；θi為關節角。

圖2 機器人坐標系簡圖

參考KUKA-KR16官方技術資料說明書，根據D-H分析法構建吊裝機器人各關節的D-H參數如表1所示。

表1中，a2=0.26 mm、a3=0.68 mm、a4=0.45 mm、d1=0.675 mm、d4=0.035 mm、d5=0.147 mm。按照該D-H表，吊裝機器臂的關節角θ2、θ3的工作范圍更新為：-125°<θ2<60°， -40°<θ3<244°。坐標系i相對于坐標系i-1定位變換方法為：繞i-1旋轉αi，沿i-1軸平移ai，再繞i軸旋轉θi，沿i軸平移di。參照文獻[16]將此變換串聯后得到矩陣

i-1Ti=Rot(i-1,αi)Trans(i-1,ai)Rot(i,θi)Trans(i,di)(i=1,2,3,4,5)

(1)

式(1)等價齊次變換矩陣為

(2)

從基座0到關節角3的齊次坐標變換矩陣為

0T3=0T11T22T3

(3)

關節角3到末端執行器的坐標變換為

3T5=3T44T5

(4)

代入表1的D-H參數，從基座坐標系{O0}到吊裝機械臂末端執行器(即卷揚系統)的坐標系{O5}的坐標變換為

(5)

其中

si=sinθici=cosθi

cij=cos(θi+θj)sij=sin(θi+θj)

由式(5)可得吊裝機器人末端空間位置坐標為

(6)

2.2 基于共形幾何代數的運動學逆解

吊裝機器臂逆運動學問題采用共形幾何代數方法[17-19]進行求解，將機器人系統歐氏空間向五維閔氏向量空間(e1,e2,e3,e0,e∞)擴展，其中e0=(e1-e+)/2表示坐標原點，e∞=e-+e+表示無窮遠點，e-為負無窮遠點，e+為正無窮遠點。吊裝機器臂的機構鏈圖以及共形幾何點P3關節點逆解示意圖如圖3所示，其中P0=e0。

圖3 機構鏈圖及共形幾何點關節點

基于共形幾何代數的運動學逆解具體求解方法如下：

(1)基座坐標系{O0}從z軸平移d1確定P1位置的公式為

(7)

(2)建立平面π01t和π12，其中π12定義為與x0y0平面平行且通過P1和P2兩點。通過平面π01t和π12可以確定P2的位置公式為

π01t=(P0∧P1∧Pt∧e∞)Ic

(8)

π12=e3+d1e∞

(9)

(10)

P2=S1∧π12∧π01t

(11)

參照文獻[18]由歐氏空間轉換到閩氏空間經驗公式，可得到P2位置公式為

(12)

其中

(3)通過點P3以點P2為球心、a3為半徑建立球面S2；同時通過點P3以點Pt為球心、Pt和P3兩點距離為半徑建立球面St。通過球面S2、St以及平面π01t三者的外積確定P3位置的公式為

P3=S2∧St∧π01t

(13)

(14)

(15)

參照文獻[18]由歐氏空間轉換到閩氏空間的經驗公式，得到P3位置公式為

(16)

(4)關節轉角求解

關節角θ1求解：關節角θ1為π01t與π0xz的夾角，由余弦定理可得θ1余弦函數為

(17)

(18)

關節角θ2求解：關節角θ2為線段L23(點P2和點P3的連線)和其在平面π12的投影線段Lproj夾角的余角，由余弦定理可得

(19)

(20)

其中

關節角θ3即線段P3Pt與線段P3PH之間的夾角，由余弦定理可得

(21)

(22)

圖5 吊裝機器臂及卷揚系統工作空間示意圖

其中

2.3 機器人工作空間分析

吊裝機械臂和卷揚機構正常工作需要保證卷揚機構位于吊裝物體的上方，同時還需要保證吊裝物體在攝像頭的視場范圍內。將視場焦點移至吊裝機器人末端坐標系{O5}原點處，設{O5}的z軸為視場角的角平分線，nt為{O5}的z軸在基坐標系{O0}的坐標向量，如圖4所示。則吊裝物體是否位于視場角范圍內判定式為

(23)

其中

式中θin——nt與{O0}z軸夾角

圖4 工作空間的視場范圍判斷示意圖

對吊裝機械臂和卷揚機構工作空間可視化效果如圖5所示，其中黑色區域為吊裝機械臂工作空間區域，綠色區域為卷揚機構工作空間區域。

3 肢體動作識別分類器構建

3.1 數據預處理

BP神經網絡輸入為骨架向量，InceptionV3網絡輸入為三維RGB骨架圖像。為了得到網絡輸入數據，首先使用大變焦網絡攝像頭對吊運指揮人員采集肢體圖像，通過TfPose獲取人體18個骨架坐標節點生成骨架向量；然后對骨架節點使用橢圓連接，并使用不同顏色著色以強化左右肢特征，剔除背景信息獲得人體RGB骨架圖。數據預處理過程如圖6所示。

圖6 數據預處理過程

圖7 基于神經網絡集成方法的吊裝機器人肢體識別實施方法

參考機器人吊裝指揮信號(GB 5082—1985)對9組待分類吊裝指令肢體信號進行訓練和識別，將提取的RGB骨架圖采用4種方式進行數據增強以擴充訓練數據：①采用-15°～15°隨機旋轉。②水平垂直兩個方向平移像素距離分別控制在圖像寬度和圖像高度的5%～10%。③0.75～0.9倍和1.1～1.25隨機縮放。④隨機初始化反射變換矩陣進行仿射變換。9組吊裝指令肢體信號每組采集1 000幅圖像，共計9 000幅原始圖像。每幅原始圖像使用上述4種數據增強方式各產生1幅原圖像副本，共得到45 000幅訓練數據。采用數據增強方式提升肢體動作識別分類器構建分類精度，能夠有效防止訓練過程中產生過擬合問題。

3.2 網絡架構

卷積神經網絡憑借其網絡深度和廣度，能夠提取更多圖像局部特征和深層抽象特征。BP神經網絡是一種多層感知神經網絡，能很好地提取數據淺層特征。為發揮卷積神經網絡和BP神經網絡優勢，參照文獻[20-22]采用多個基分類器使用集成學習方法構建分類性能更強的分類器，以BP神經網絡和InceptionV3網絡為基分類器，采用神經網絡集成方法確定2個網絡最優權重，完成對吊裝機器人肢體指揮信號分類任務，實施方法如圖7所示。肢體識別過程主要包括數據預處理模塊和神經網絡集成模塊。其中神經網絡集成模塊包括InceptionV3網絡遷移學習模塊、BP神經網絡模塊以及網絡集成模塊。

3.3 神經網絡集成方法

構建InceptionV3網絡和BP神經網絡2個基分類器分別提取RGB骨架圖和骨架向量肢體動作特征。針對InceptionV3網絡，首先使用ImageNet數據集在InceptionV3網絡的預訓練權重完成InceptionV3網絡卷積層參數的初始化，提升網絡性能的同時加快肢體動作識別分類器構建網絡訓練收斂速度。InceptionV3網絡訓練過程中設定參數包括：批大小為32、學習率0.001、動量大小0.9以及終止迭代次數1 000；針對BP神經網絡，對提取的骨架向量直接作為BP神經網絡輸入層，網絡訓練參數為：網絡隱含層個數為2個，分別提取骨架坐標的點線面特征(即淺層特征)、通過試湊法確定兩個隱含層節點個數分別為78和72、dropout概率為0.5以及終止迭代次數為1 000。

在完成InceptionV3網絡和BP神經網絡的分類器訓練后，采用神經網絡集成方法[23]確定兩個分類器最優權重，能夠更好地綜合兩個分類器性能以構建一個強分類器。假設InceptionV3網絡和BP神經網絡被賦予權值為ω1和ω2，滿足ω1、ω2≥0且ω1+ω2=1，假設網絡輸入x滿足p(x)分布，最終輸出為d(x)，第i個成員網絡fi輸出為fi(x)，通過兩個網絡加權平均完成神經網絡集成輸出為

(24)

圖9 9組吊裝指令肢體骨架提取效果

除第i個網絡fi外，剩余網絡在輸入x下的輸出為

(25)

網絡集成產生的泛化誤差為

(26)

參照文獻[23]采用GASEN-e方法完成InceptionV3網絡和BP神經網絡權重確定[23]。

4 實驗與結果分析

4.1 實驗環境

實驗主要依托KUKA-KR16機器臂、工業控制計算機以及大變焦網絡攝像頭，吊裝實驗平臺如圖8所示。

圖8 吊裝實驗平臺

其中工業計算機配置為intel i7-7700K處理器，運行內存8GB，為減小計算量將輸入圖像壓縮至320像素×240像素，采用CUDA9.0+CuDNN7并行計算架構對GTX980顯卡進行加速。以InceptionV3網絡和BP神經網絡為基分類器，采用神經網絡集成學習方法確定最優化權重，完成對吊裝信號肢體指令識別。最后將識別的肢體指令信號傳給機器人控制模塊完成吊裝操作。在Python集成開發環境PyCharm下，使用PyQt編寫軟件界面采用多線程編程將視頻實時預覽和肢體識別算法分離以實現肢體動作的實時識別，單幀圖像識別時間126 ms。InceptionV3和BP神經網絡的精度分別為0.926和0.906，分配優化權重精度為0.977，顯著提升了分類器的性能。

4.2 肢體識別結果

在室外強光、室內和室外暗光3種環境下完成9組吊裝指令肢體骨架提取，效果如圖9所示。從圖9中可以看出網絡在復雜環境背景下具有很好的提取效果。

9組吊裝指令分別為預備命令、向前運動、向后運動、吊鉤上升、吊鉤下降、向左運動、向右移動、吊鉤停止以及工作結束。對3.1節獲得的45 000幅圖像按照比例5∶3∶2分配給訓練集、驗證集和測試集，神經網絡集成學習方法分類結果的混淆矩陣如圖10所示。從圖10可以看出，對9組指揮信號平均識別精度達0.977，同時網絡具有很好的泛化能力，以吊鉤上升命令分析為例，雖然預備命令和吊鉤上升命令只有右手、右肘和右肩的輕微不同，二者識別率都為0.98。

圖10 9組吊裝指令分類結果混淆矩陣

吊裝機器人本體和6個關節定義如圖11所示，其中吊裝物體通過繩索纏繞在卷揚機構，卷揚機構則固定于A6軸，對應吊裝物體的吊裝上升和吊裝下降；A1軸運動對應吊裝機器人向左和向右運動；A2軸運動對應吊裝機器人向前和向后運動。

圖11 機器人本體及6個關節定義

5 結論

(1) 采用D-H法對吊裝機器人進行正運動學分析，以確定卷揚機構工作空間范圍，并使用共形幾何代數方法求解逆運動學，完成吊裝機器人從當前位置運動到指定位置的數學建模。

(2)由于OpenPose復雜度較高，以大變焦網絡攝像頭為圖像采集設備，采用TfPose完成吊運指揮員骨架提取，經數據處理得到骨架向量和RGB骨架圖，分別作為BP神經網絡和InceptionV3網絡的輸入。

(3)以InceptionV3和BP神經網絡為基分類器，采用神經網絡集成學習方法確定最優化權重，完成肢體識別，最后將識別的吊裝指令肢體信號通過UDP通信傳送給吊裝機器人控制模塊，完成吊裝操作，實現分類精度為0.977，顯著提升了分類器的性能，提高了吊裝工作效率。