采摘機器人動作技巧訓練研究與應用
——基于足球比賽標準動作檢測系統

王 蒙

(內蒙古醫科大學，呼和浩特 010110)

0 引言

我國是世界上獼猴桃和草莓等產量較高的國家，獼猴桃和草莓果實營養豐富、價值高，因此價格也較高；但在采摘期間這些類型的果實作物容易破損，給作物的種植造成較大的損失。目前，草莓和獼猴桃等易破碎作物的采摘主要采用人工作業的方式。這兩種作物采摘的時間集中，勞動強度較大，果實作物如果得不到及時的采摘，會影響果實的銷售。隨著科技的進步，利用采摘機器人代替人工采摘成為可能。由于工作環境變化大、干擾因素多，加上草莓和獼猴桃等果實容易破損，給采摘機器人的設計帶來了較高的難度。采用機器人動作技巧訓練的方法，不僅可以實現采摘機器人果實的快速定位，也可以使采摘機器人的動作達到最佳的姿態，從而降低果實破損率，對提高作物果實的采摘效率具有重要的現實意義。

1 足球比賽運動員動作檢測和采摘人訓練動作捕捉

足球屬于激烈對抗性的比賽，在比賽過程中，由于其動作較快，對球員標準動作的捕捉較為困難，而通過對視頻的處理，利用圖像的邊緣檢測方法，可以較為容易得實現快速動作的捕捉過程，如圖1所示。

圖1 足球比賽實況圖像

以實際比賽為例，在前鋒射球的瞬間，可以利用圖像邊緣檢測技術，去掉與球員動作無關的背景因素，保留身體部位的關鍵動作，從而實現關鍵動作的捕捉，如圖2所示。

圖2 足球比賽關鍵動作捕捉

對比賽實況進行圖像處理，可以得到射球瞬間各個球員的關鍵動作捕捉結果。對這些關鍵動作技巧進行標記，有助于球員的訓練，可以建立龐大的訓練數據庫，為球員大賽前的訓練提供技術依據，如圖3所示。

圖3 易破損果實作物采摘機器人動作訓練

在采摘機器人進行采摘過程中，很多作物的果實是非常容易破損的，為了提高作業效率、降低破損率，只能對采摘機器人進行反復的訓練，以最佳的動作姿態采摘果實，而最佳姿態可以采用圖像邊緣檢測技術對關鍵動作進行標記。

2 圖像特征提取算法和動作邊緣檢測捕捉技術

邊緣檢測是圖像特征提取的重要算法。在足球比賽視頻圖像的動作捕捉過程中，可以采用邊緣檢測算法將關鍵動作清晰表達。將其應用在采摘機器人的動作訓練過程中，可以對采摘最佳動作范圍進行特征提取，為動作訓練提供依據。邊緣檢測算法已經發展了很多經典的算子，如Sobel算子、Reborts算子、Log算子及Canny算子等。通過算法的對比，選用合適的算法進行圖像處理。

1)Reborts算子。Reboerts算子是典型的邊緣檢測算子，該算子采用的是局部差分的方法，在使用梯度進行搜索邊界時，其梯度算子是像素差，像素選擇的是對角方向上的。具體的表達式為

Gx=f(i,j)-f(i-1,j-1)

Gy=f(i-1,j)-f(i,j-1)

(1)

其中，f(i,j)表示像素點；G(x,y)表示梯度值。

卷積模版為

(2)

利用卷積算子和圖像運算后，可以得到圖像的梯度值，然后選擇合適的閾值。當梯度大于閾值時，則將f(i,j)判斷為邊緣點；如果小于該值，則判斷為非邊緣點，最后得到的邊緣圖像是一個二值圖像。這種算子對一般正常的圖像檢測效果較好，但對于具有傾角的圖像檢測效果不理想，存在很多漏檢的情況。因此，在邊緣檢測時還需要考慮更多的算子。

2)Sobel算子。Sobel算子在Reborts算子的基礎上對其模板進行了擴展，從而可以削弱噪聲的影響。其模版大小擴展成了3×3，即

圖像中的每個像素點與以上水平和垂直兩個卷積算子做卷積運算后，計算得到梯度幅值G(x,y)，然后選擇合適的閾值。當梯度大于閾值時，則將f(i,j)判斷為邊緣點；如果小于該值，則判斷為非邊緣點。Sobel算子相比其他算法在空間上更加容易實現，并且采用了局部平均的搜索方法，使其受到噪聲影響較小。如果對于檢測的精確度要求不高，則可以采用Sobel算法。

3)Log邊緣算子。Log邊緣檢測算法的精度更高一些，其集成了高斯算法和拉普拉斯算法。具體步驟如下：

(1)濾波。對圖像進行濾波處理，根據足球比賽動作和采摘機器人訓練動作的視覺特征，選取高斯函數作為濾波函數。其表達式為

其中，G(x,y)為一個圓對稱函數；σ為控制平滑作用的系數。

利用卷積的方法可以得到相對平滑的圖像，即

g(x,y)=f(x,y)·G(x,y)

(5)

(2)增強。對平滑圖像g(x,y)進行拉普拉斯運算，即

h(x,y)=▽2f(x,y)·G(x,y)

(6)

(3)檢測。邊緣檢測判據是二階導數的零交叉點(即h(x,y)=0的點)，并對應一階導數的較大峰值。高斯拉普拉斯算法對卷積模板又進行了擴展，其規模達到了5×5，具體如圖4所示。

圖4 高斯——拉普拉斯算子

高斯--拉普拉斯算子是將兩種濾波的方法結合到了一起，利用高斯平滑濾波方法和拉普拉斯銳化濾波方法可以首先將噪聲去除，然后再進行相關的邊緣檢測，從而達到較好的效果。

圖5為動作邊緣檢測和捕捉的基本流程。在輸入視頻動作圖像后，首先需要對動作進行不間斷的跟蹤，然后利用邊緣檢測算子進行圖像的邊緣檢測。如果捕捉到標準規法的動作，則對動作進行標記；如果沒有提取到特征，則選擇合適的算子重新進行邊緣檢測，直到提取到有效的特征，然后對動作特征進行標記，為動作訓練提供參考。

圖5 動作邊緣檢測和捕捉流程

3 采摘機器人動作訓練測試

為了驗證基于足球比賽標準動作檢測的在采摘機器人動作技巧訓練中的可行性，以足球比賽圖像標準動作的檢測算法為依據，對采摘機器人的動作進行捕捉，如圖6所示。

圖6 采摘機器人動作訓練

在草莓等易破碎果實的采摘過程中，需要對機器人采摘學習一定的動作技巧，才能使果實的破損率降低到最小。動作捕捉過程如圖7所示。

圖7 采摘機器人動作捕捉

當采摘機器人機械手以最短的路徑到達采摘目標時，采用邊緣檢測的方法記錄動作的具體位置坐標，然后再將機器人驗證該路徑反復訓練，最終實現采摘機器人的快速定位，如圖8所示。

圖8 采摘機器人動作定位

利用圖像檢測標定的位置，通過編程的方式可以使機器人以最快的速度達到最佳采摘狀態。為了驗證方案的可行性，對采摘機器人進行了實際采摘實驗，如圖9所示。

圖9 機器人采摘現場

為了驗證方案的可行性，對采摘機器人動作訓練前后的采摘破損率進行了驗證，從而得到了如表1所示的驗證結果。

表1 采摘破損率評估

測試結果表明：采用足球比賽球員標準動作邊緣檢測方法對采摘機器人動作進行捕捉的訓練方法是可行的，在訓練前后采摘機器人的采摘破損率有了明顯的改善，提高了采摘機器人的作業效率和精度。

4 結論

為了解決易破損果實作物的難采摘問題，將足球比賽動作邊緣檢測和特征捕捉方法引入到了采摘機器人的動作訓練過程中，從而使采摘機器人作業過程中達到最佳的采摘動作姿態。為了驗證方案的可行性，利用基于Log算子的邊緣檢測方法對采摘機器人動作訓練過程圖像進行了邊緣檢測，并得到了最佳動作姿態。對訓練前后的采摘破損率進行了統計分析，結果表明：采用該方案可以明顯地改善采摘過程的破損率問題，提高了采摘精度，為難采摘作物采摘機器人的研究提供了一種高效的設計方法。