基于接觸狀態感知的羊胴體后腿自適應分割控制方法

謝 斌 矯偉鵬 劉楷東 吳 競 溫昌凱 陳仲舉

(1.中國農業大學工學院,北京 100083; 2.中國農業大學現代農業裝備優化設計北京市重點實驗室,北京 100083;3.北京市農林科學院智能裝備技術研究中心,北京 100097)

0 引言

整羊胴體深度加工的基礎工序是四肢分割,良好的分割效果可以為消費者帶來更高的肉質品質,也可為供應商提供更好的市場競爭力[1]。但是,傳統的羊胴體分割大多仍然采用人工輔助機械的流水線作業方式,機械化程度較低,不可避免的出現分割效率低、分割損耗多、工作環境差、人力成本大、衛生安全隱患大等問題[2-4]。目前國內家畜分割裝備在肉品切塊分割工序中已得到應用,但還沒有實現智能化分割,并且不適用于去腿、肋排分割和剔骨等更為精細的肉類分割工序。為改善這種作業方式,自動化和機器人化越來越受到肉類行業公司關注。因此,自主研發羊胴體智能化分割機器人,實現羊胴體安全、高效、精準分割,已成為羊胴體加工業的重要研究內容[5-7]。

羊胴體后腿分割是一種柔順交互任務[8],該任務主要通過接觸狀態感知和控制來實現相應功能[9],其中力覺信息的獲取與利用是解決該問題的關鍵。MITSIONI等[10]針對多接觸操作任務,提出一種基于運動學圖像的接觸分類方法,將力覺時序數據轉換為圖像并輸入到神經網絡,在推和切的操作任務中識別準確率最高為87%,還具有一定的提升空間。STRAI?YS等[11]針對多介質軟組織的精確切割問題,提出一種基于二元介質分類器的閉環控制律,在柚子分割任務中的成功率為72%。目前的研究主要集中在力覺信息的分類識別上,但受限于可見性約束、操作空間約束與接觸操作多變,僅依靠分類信息不足以確保該任務的安全和有效。

在開展羊胴體后腿自主分割機器人研究時,為實現智能與精準分割,需融合模仿學習、深度學習[12-13]以及機器人運動控制等技術。WU等[14]提出一種基于動態運動基元的框架,使機器人能夠學習人類演示任務并將技能轉換為人機交互。GUIRE等[15]利用力位混合控制實現牛胴體剖分。本文需要分割的羊胴體后腿區域組織結構復雜,羊胴體尺寸多變,因此,上述方法在此復雜場景的適用性尚未得到驗證,需要結合實際分割特征開展系統的機器人分割控制研究。

針對羊胴體后腿骨肉邊界未知、尺寸多變和可見性約束限制造成的機器人自主分割精確度低與易受阻卡住的問題,本文提出一種基于接觸狀態感知的自適應分割控制方法。基于構建的LSTM-FCN深度時空神經網絡提取接觸類型特征,深度自編碼(Deep AutoEncoder,DAE)網絡提取接觸異常度特征,主成分分析法(Principal component analysis,PCA)提取接觸方向特征,從而實現接觸狀態多模態的實時感知。機器人通過動態運動基元(Dynamic movement primitives,DMP)模仿學習人類示教軌跡,生成目標關節運動,實現人機技能傳遞?；诮佑|狀態感知建立自適應分割控制方法,在不同接觸狀態下實現機器人關節運動的自主調節。最后對所構建的LSTM-FCN和DAE網絡進行訓練,評估網絡模型的性能,開展羊胴體后腿實際分割試驗,驗證自適應分割控制方法的有效性、泛化性和準確性。

1 材料與方法

1.1 試驗平臺與數據采集

1.1.1試驗平臺

搭建羊胴體后腿自適應分割試驗平臺如圖1所示,主要組成是羊后腿夾持固定系統、感知識別定位系統和機器人分割系統。

圖1 分割試驗平臺

羊后腿夾持固定系統包括多自由度固定臺架和雙手協調夾持機器人,多自由度固定臺架對羊胴體后腿胯骨區域進行固定,并能夠通過水平模組、垂直模組與回轉電機實現羊胴體在3個自由度上的任意移動;雙手協調夾持機器人用于夾持羊胴體后腿,實現兩條羊后腿向外側的拉扯動作,便于羊后腿的順利分割。

感知識別定位系統用于準確采集示教分割過程中刀具位姿數據,主要包括兩個Intel Realsense D435i深度相機和ArUco標記。機器人分割系統是主要的控制執行單元,該系統主要包括分割機器人、六維力傳感器和普通刀具。

此外,羊胴體后腿分割任務的操作模式有兩種:示教分割模式和機器人自主分割模式,如圖2所示。在示教分割模式下,將刀具從機器人末端拆卸下來,操作員手持刀柄操作刀具完成分割任務,相機通過識別定位ArUco標記采集分割刀具位姿數據,六維力傳感器采集分割過程的反饋力。在機器人自主分割模式下,刀具重新安裝在機器人末端,機器人通過學習人類示教軌跡規劃新的目標分割軌跡,根據控制算法在線調節分割軌跡與分割力大小,最終實現自適應分割。

圖2 羊胴體后腿分割操作模式

1.1.2數據采集

本文的接觸類型識別模型和接觸異常度估計模型均需要采集力覺時間序列數據,采集地點為中國農業大學工學院,采集設備為六維力傳感器,采集頻率為30 Hz,采集品種為波爾山羊。

接觸類型大致可以分為3類,分別為在空氣中、與硬介質接觸、與軟介質接觸。分割刀與羊胴體髖骨的接觸操作表示與硬介質接觸,在羊胴體后腿肉上的分割操作表示與軟介質接觸。人類手持分割刀具分別針對羊胴體髖骨和后腿肉采集六維分割力數據,在數據采集過程中,以不同的姿態、軌跡和施加力在兩種對象上執行分割操作,保證數據的多樣性,共計獲得的數據量為96 101。

接觸異常度估計模型需要采集人類示教分割羊胴體后腿數據,在人類示教分割模式下,采集力覺時序數據,共采集了1 880個示教分割數據樣本。

對采集到的力覺時序數據進行預處理,為消除六維力傳感器的高頻信號噪聲,采用卡爾曼濾波算法[16]處理數據。為提高模型的精度、收斂速度并增強其穩定性,對數據作歸一化處理。設置滑動窗口的時間步長為20,窗口重疊率為50%,采用半重疊滑動窗口重采樣分割數據,將重采樣后的力覺時序數據堆疊為三維數組。

構建接觸類型識別網絡數據集,對3種接觸類型的分類標簽采用One-Hot編碼,最終得到的數據集尺寸為(9 610,20,6)。構建接觸異常度估計網絡數據集,不需要進行數據標注,最終得到的數據集尺寸為(188,20,6)。

1.2 分割接觸狀態感知

羊胴體后腿分割接觸狀態是基于力覺信息感知得到的,接觸狀態包括3種特征:接觸類型、接觸異常度和接觸方向,本文通過LSTM-FCN網絡、DAE網絡和PCA方法提取3種接觸特征,實現接觸狀態多模態的實時感知。

1.2.1接觸類型識別模型

受到可見性約束的嚴重限制以及軟組織變形的不確定性,分割接觸類型無明顯的區分界限并且是高度可變的。由于該任務構型空間維度高、操作多變、接觸豐富,很難對接觸動力學用解析的方法進行描述與建模[17-18]。

為解決以上問題并使網絡模型適用于分割接觸類型特征的識別任務,將長短期記憶網絡(LSTM)[19]和全卷積神經網絡(FCN)[20]相結合,構建一種并行LSTM-FCN深度時空神經網絡,該網絡結構如圖3所示。

該網絡有效結合了FCN模型提取時序數據局部特征的優勢和LSTM模型善于學習時序數據長期依賴性的特點。LSTM-FCN模型一個顯著優勢是不需要復雜的特征工程和大量的數據預處理,避免手動提取特征。該網絡模型設計為并行結構,LSTM通道模塊能夠學習長期的時間動態信息,FCN通道模塊可以提取空間維度上的深層特征,因此LSTM-FCN模型能在兩個不同的視野中感知相同的時序數據輸入,在相同的訓練條件下提取雙倍的特征參數,從而有效獲取分割接觸過程的時空特征。

其中,全卷積模塊由3個堆疊的時序卷積塊組成,每個時序卷積塊都由1個一維卷積層、1個批量歸一化(動量為0.99,學習率為0.001)和1個ReLU激活函數組成,每個卷積層的濾波器大小分別為128、256、128,卷積核大小分別為8、5、3,最后在卷積塊后面使用全局平均池化以減少參數數量。

在長短期記憶通道模塊中,時序數據首先輸入到維度混洗層,經過維度混洗轉換后,數據集的隨機性增加,隨后經過具有10個隱藏層LSTM的處理,并采用Dropout避免模型出現過擬合,其參數設置為0.6。

最后通過Concat層將LSTM與FCN的輸出合并拼接,將拼接后的特征輸入到Softmax進行分類。

1.2.2接觸異常度估計模型

為了精準地調節分割力大小,需要獲取當前分割力與示教分割力之間的接觸異常度,機器人再根據接觸異常度來決定調節量。由于輸入數據與參數變化會影響簡單的有監督學習模型的性能,所以為了更深入地挖掘數據本身的特征與規律,提出一種深度自編碼網絡,用于接觸異常度的估計,這是一種無監督學習的神經網絡,網絡結構如圖4所示。

本文提出的DAE網絡是以編碼解碼網絡為總體框架,將LSTM與一維卷積相結合,左側為編碼階段,右側為解碼階段。DAE網絡可以挖掘數據內部更抽象的特征,通過在編碼器中加入多個LSTM單元,增強模型的長期記憶能力,深度編碼與解碼器能有效提取數據更深層次的特征。

該網絡通過學習重構人類示教分割的輸入數據,探索能夠簡要表征該數據的深層規律,最終計算得到重構誤差來表示接觸異常度,重構誤差是度量觀測數據和訓練數據偏離程度的評價指標,重構誤差的計算公式為

(1)

式中Re——重構誤差

M——一次訓練的總樣本數

yi——真實值

DAE網絡的工作原理如下:編碼器和解碼器網絡一共包括2個LSTM層、8個一維卷積層和10個Dropout層,Dropout層的丟棄率設置為0.2。數據集首先輸入到編碼器的LSTM層,學習輸入時間序列的向量表示,輸出維度依次變為3和1,然后再經過1個卷積層的升維和3個卷積層的逐層學習降維,得到一維的隱藏層。解碼器采用4次一維卷積操作,學習重構得到6維輸出數據,網絡具體結構參數如表1所示。

表1 DAE具體結構參數

其中,batch_size為批量大小,Conv1D Block表示卷積塊層,內部包含1個一維卷積和1個Dropout,總參數量為2 803,網絡模型小,運行速度快。

1.2.3接觸方向主成分分析

由于分割過程中六維力多變量之間的相關性,采用PCA對高維數據降維[21],對刀具坐標軸X、Y、Z的權重進行分配,根據權重決定機器人分割刀具的主要調節方向,本文PCA算法的實現流程如圖5所示。

圖5 PCA算法流程圖

(1)數據標準化。假設原始數據可以用m×n矩陣Am×n表示,表示為

(2)

式中m——對象個數

n——數據特征的維度

本文實時采集20個時間序列數據,即m=20,舍棄X、Y、Z坐標軸方向上的力矩數據,選取X、Y、Z方向上的力組成滑動窗口,即n=3。采用半重疊滑動窗口不斷地對輸入數據進行重采樣。然后對數據進行標準化處理得到矩陣B的元素,計算式為

(3)

sj——矩陣A的列向量方差

eij——矩陣A的元素

aij——矩陣B的元素

(2)計算相關系數矩陣C,并計算該矩陣的特征值λ1、λ2、…、λn及其對應的特征向量μ1、μ2、…、μn。

C=BTB/(m-1)

(4)

(3)計算累計方差貢獻率S,選取貢獻率最大的成分,方差貢獻率越大,該主成分越能表征原始數據信息。最后求得最大貢獻率成分的特征向量,并通過特征向量與原始數據計算得到3個坐標軸的權重ωj。貢獻率S和權重ωj的計算公式為

(5)

(6)

式中uj——矩陣C中第j列的特征向量

1.3 自適應分割控制

1.3.1羊胴體后腿分割步驟

羊胴體后腿分割實際上是將后腿與髖骨分離開,羊胴體髖骨結構如圖6所示,羊胴體髖骨由坐骨、恥骨和骼骨組成,左右兩側幾乎對稱,所以羊胴體左右后腿的分割工序是相似的。

圖6 羊胴體髖骨結構

考慮到羊胴體加工企業對羊胴體后腿分割工藝的實際需求,根據國家分割標準規劃羊胴體后腿分割軌跡,包括3個分割工序,分割工序1為分割刀沿著坐骨腹側面與恥骨切開肌肉與骨面的粘連;分割工序2為分割刀沿著坐骨結節、恥骨與關節連接處進行分割;分割工序3為分割刀沿著關節和骼骨向下分割,將羊后腿與髖骨分離開。

1.3.2示教分割軌跡學習

本文采用DMP模仿學習人類示教軌跡,泛化生成適用于任務需要的目標軌跡[22-23],通過逆向運動學生成機器人目標關節運動[24-25]。

根據DMP的原理進行示教軌跡學習和泛化試驗,該試驗的目的主要是為了驗證DMP在羊胴體后腿示教分割軌跡上的有效性和泛化性。

首先需要獲取人類示教分割軌跡,在人類示教分割模式下,根據上文中規劃的羊胴體后腿分割步驟執行分割操作,采集分割工序1、2、3的示教數據。然后運用DMP對采集的分割軌跡數據進行迭代學習,復現生成目標分割軌跡,再通過改變示教軌跡的起始位置和終點位置生成不同的軌跡。

比較不同分割工序下的示教、復現和泛化軌跡變化曲線,結果如圖7所示。通過對比發現,人類示教軌跡和DMP學習復現軌跡誤差很小,兩者幾乎擬合,并且DMP學習復現軌跡的變化曲線較平滑,表明DMP能夠有效學習人類示教軌跡,復現生成目標軌跡。從圖中看出,泛化軌跡的形狀、變化趨勢與示教軌跡相似,其能充分地表征示教軌跡信息,DMP可以根據不同的起終點位置得到符合不同任務需要的目標軌跡,驗證了DMP在羊胴體后腿示教分割軌跡上具有較好的泛化性能。

圖7 不同分割工序下的示教、復現和泛化軌跡

1.3.3自適應分割控制方法

基于接觸狀態感知的自適應分割控制方法有效結合了接觸類型、接觸異常度和接觸方向3因素特征,根據不同的接觸狀態自主調節機器人關節運動,確保機器人始終以合適的分割力和分割軌跡運動,基于接觸狀態感知的自適應分割控制流程圖如圖8所示。

圖8 自適應分割控制流程圖

(1)控制方法

本文提出一種機器人自適應分割控制方法,構造機器人關節力矩與反饋力、示教分割力之間的關系,計算式為

τ=JT(α1Fb-α2Ff)

(7)

式中τ——關節力矩

J——雅可比矩陣

Fb——六維力傳感器獲取的反饋力

Ff——示教分割力

α1——反饋力的調節因子

α2——示教分割力的調節因子

這兩個調節因子是由接觸類型、接觸異常度和接觸方向3因素構造組成,α1越小,機器人柔順性降低,系統剛性越強,α2越小,示教目標力作用越小,對外施加力越小,機器人更加柔順。

根據調整后的關節角速度和力矩的關系式,進一步計算得到經過調整后的機器人關節角,計算式為

(8)

(9)

θ1=θ+θ1dt

(10)

式中F——分割力D——阻尼矩陣

v——機器人末端速度

θ1——調整后的機器人目標關節角

θ是由已知的機器人末端位姿通過逆向運動學得到的關節角位置,然后再經過感知調節得到最終目標關節角位置θ1。隨后采用正向運動學獲取當前的機器人末端位姿,并將位姿信息重新輸入到動態運動基元中,不斷地更新動態運動基元中的參數。

(2)調節因子

在提出的自適應分割控制方法中,α1和α2兩個調節因子的求解和優化尤為重要。首先,采用LSTM-FCN模型實時檢測當前的接觸類型,根據接觸類型的不同識別結果,設置不同的控制策略。當在空氣中時,機器人不采用任何分割控制策略,只需按照規劃的分割軌跡運行即可,不需要施加額外的分割力。

當分割刀與硬介質接觸時,需要根據接觸異常度和接觸方向實時改變調節因子的值,適當減小分割力,從而避免分割刀受阻卡住或發生碰撞,其調節因子控制策略計算式為

(11)

α1中Re設置為定值-0.05,α2中Re為變量,γ為常量,設置為0.05,保證分割刀在檢測到硬介質接觸時能夠快速回調。

當分割刀與軟介質接觸時,為了最大限度地將羊髖骨上粘連的后腿肉分割下來,需要施加更大的分割力,從而減少分割殘留的羊后腿肉,其調節因子控制策略計算式為

(12)

由于在與軟介質接觸時,接觸異常度較小,重構誤差較小,所以將Re設置為固定值以提高調節速度。最后將α1和α2代入到式(7)中,即構成了完整的自適應分割控制方法。

2 結果與分析

2.1 網絡訓練與分析

本文的實驗是在Tensorflow深度學習框架下完成的,操作系統為Ubuntu 20.04.2 LTS,處理器為Intel Core i7-9850H,采用NVIDIA GEFORCE GTX 3060顯卡。在網絡訓練過程中,設置批量大小為32,學習率為0.001,選擇Adam算法作為優化器。

(1)LSTM-FCN網絡

在訓練LSTM-FCN網絡過程中,采用固定步長訓練迭代100輪,將上述經過預處理的9 610個數據樣本按照8∶1∶1的比例劃分為訓練集、測試集與驗證集,損失函數選用交叉熵損失函數。

將構建的羊胴體后腿分割接觸數據集輸入到LSTM-FCN網絡中訓練,訓練集與測試集的損失值變化曲線如圖9所示。隨著迭代次數的增加,訓練集和測試集的損失值都在下降,訓練集下降更快,最終均趨于穩定。

圖9 損失值變化曲線

經過100輪的迭代訓練,得到網絡模型在訓練集上預測的準確率為98.52%,在測試集上預測的準確率為97.36%,再用訓練好的網絡模型預測驗證集,得到其混淆矩陣,如圖10所示。

圖10 測試集的混淆矩陣

從混淆矩陣中可以看出,在驗證集上預測的準確率為98.44%,只有極少數識別錯誤的接觸類型,說明LSTM-FCN模型在羊胴體后腿分割數據集上具有較好的識別性能,識別準確性高。

(2)DAE網絡

在訓練DAE網絡過程中,采用固定步長訓練迭代200輪,損失函數選用均方誤差。

為驗證DAE模型的有效性,選擇多組不同的羊胴體后腿分割接觸類型數據,構建DAE網絡模型的驗證數據集,輸入到訓練好的模型中,計算得到其重構誤差,如圖11所示。

圖11 驗證集重構誤差

重構誤差最小為0,在400～600之間和700～800之間有3段重構誤差為0,說明其與示教訓練數據差異程度小,接觸異常度最小,其余部分的重構誤差變化明顯,重構誤差越大說明其與示教訓練數據差異越大,接觸異常度則越高。說明DAE模型能夠較好地估計接觸異常度,區分不同的接觸狀態。

2.2 自適應分割控制方法試驗驗證

為驗證自適應分割控制方法的有效性,在羊胴體后腿完整的分割過程中,對比有無自適應分割控制方法的分割效果,六維力與力矩變化曲線如圖12所示。

圖12 六維力與力矩變化曲線

與對照組相比,機器人在加入自適應分割控制方法后,每一個分割工序的六維力與力矩均減小,其中以Fy、Fz、Mx、Mz下降最為明顯,最大分割力下降幅度為29 N,最大力矩下降幅度為7 N·m,有效減小了分割過程阻力,修正效果顯著。

在整個羊胴體后腿的分割過程中,當實際任務軌跡或實際分割對象與任務規劃不相符時,自適應分割控制方法都在進行穩定有效的修正。試驗證明自適應分割控制方法作用于每一個分割工序,在完整的羊胴體后腿分割過程中是有效的。

2.3 羊胴體后腿分割結果

為驗證本文所提出的羊胴體后腿自適應分割控制方法的有效性,準備了7只羊胴體帶臀后腿,質量分別在5～6 kg、6～7 kg和7～8 kg區間內,每個區間分別有2、3、2個試驗樣本,其中一只6～7 kg羊胴體帶臀后腿用作人類示教分割樣本。

機器人首先采集人類示教分割軌跡和分割力,再根據示教軌跡規劃新的目標軌跡,然后機器人運動到分割工序1的起點,沿著規劃的分割軌跡進行分割,實時調節分割刀的位姿與受力,直到運動到終點位置,再依次執行分割工序2與分割工序3的分割任務,從而完成羊胴體左后腿的分割工序,羊胴體左右后腿的分割工序是對稱的,每個分割工序的分割效果和羊胴體后腿最終分割效果如圖13和圖14所示。

圖13 每個分割工序的分割效果

圖14 最終的分割效果

從圖13、14中可以看出,經過6次分割工序后,羊胴體髖骨與后腿已基本分離開,分割后的羊胴體后腿較完整,羊胴體髖骨上殘留的肉較少,大部分殘留肉的厚度小于3 mm,并且髖骨表面輪廓完整,分割過程中沒有骨屑殘留,并且沒有發生分割刀具與骨頭的碰撞事故,表明機器人規劃與調整后的目標分割軌跡與分割力合適且準確。

本文試驗選擇分割殘留率、最大殘留肉厚度作為羊胴體后腿分割的評價標準,分割殘留率定義為羊胴體髖骨殘留后腿肉的質量占分割后的兩只羊后腿總質量的比率,計算式為

(13)

式中r——分割殘留率

g——羊胴體髖骨上殘留后腿肉的質量

g1、g2——分割后羊胴體左、右后腿的質量

表2中的1～3組分別對應質量區間5～6 kg、6～7 kg、7～8 kg,質量由小到大排列,分析表2可知,平均最大殘留肉厚度為3.6 mm,隨著羊胴體質量增大,最大殘留肉厚度也變大,兩者呈現正相關的變化趨勢,1、2、3組分割殘留率的平均值分別為5.4%、4.9%、4.3%,分割殘留率與羊胴體質量呈現負相關。羊胴體每只后腿的分割時間為30 s,與項目前期調研中人工分割效率相近,但機器人可以在惡劣環境與大負載下長時間工作。

表2 分割結果

試驗結果表明,本文提出的自適應分割控制方法在不同尺寸羊胴體上的分割效果均較好,具有良好的泛化性和有效性,此外,試驗得到的最大殘留肉厚度與分割殘留率均較小,說明分割準確性較高,滿足羊胴體后腿分割要求。

3 結論

(1)針對羊胴體后腿自主分割精確度低與易受阻卡住的問題,提出了一種基于接觸狀態感知的羊后腿自適應分割控制方法,該方法通過LSTM-FCN網絡、DAE網絡和PCA方法提取3種分割接觸特征,實現接觸狀態多模態的實時感知。

(2)采集羊胴體后腿分割力覺時序數據,構建網絡訓練與驗證數據集,LSTM-FCN模型在驗證集上的識別準確率為98.44%,識別準確率較高,DAE模型能夠較好地估計驗證集樣本的接觸異常度,區分不同的接觸狀態。

(3)機器人基于自適應分割控制方法開展實際分割試驗,與對照組相比,最大分割力下降幅度為29 N,最大力矩下降幅度為7 N·m,證明本文方法的有效性;平均最大殘留肉厚度為3.6 mm,平均分割殘留率為4.9%,分割殘留率與羊胴體質量呈現負相關,證明本文方法具有良好的泛化性和準確性,并且整體分割效果較好,滿足羊胴體后腿分割要求。