采摘機器人視覺圖像檢測應用研究

羅 偉

(武漢學院，武漢 430079)

0 引言

隨著信息時代的到來和電腦、手機等多媒體終端的普及，多媒體為體育教學和運動員的訓練提供了極大的便利，只有運用先進的技術手段對教學進行改革，才能達到體育教學的最優效果。利用多媒體數據庫系統可以為學生提供更加生動形象的學習素材，從而提高學生的學習興趣，采用先進的多媒體系統還可以對多視頻進行實時分析，從而捕捉到優秀運動員的一些標準和極限動作，為教學和運動員的訓練提供素材。籃球運動捕捉系統具有較高的圖像特征提取能力，將其使用在采摘機器人的視覺系統的設計中，可有效提高系統的目標識別能力，提高自動化作業水平。

1 籃球動作捕捉系統及其在采摘機器人動作訓練中的應用

多媒體數據庫系統在運動員訓練和教學時具有很多優勢，采用多媒體數據庫系統可以對籃球的動作進行實時的捕捉，通過對比賽視頻幀的處理，得到優秀運動員在得分時的技巧動作。這種方式讓學習不再受地域的限制，可以全方位多層次的展開教學活動，使教學變得更加生動形象，使教與學都能達到最好的效果。以籃球動作捕捉系統為例，如圖1所示。

圖1 籃球動作捕捉系統Fig.1 The basketball action capturing system

利用該系統可以實時地對比賽視頻幀進行動作捕捉，并從動作特征中統計技術動作數據，從而獲得籃球技術動作的多媒體數據支持。采摘機器人在自主作業時，其最主要的環節是自主定位果實目標，這就需要依靠機器人自身強大的視覺系統。根據籃球動作捕捉系統的原理，采摘機器人的視覺系統也可以采用特征捕捉技術，對果實目標進行定位，從而實現自主作業，其設計流程如圖2所示。

在設計采摘機器人視覺系統時，可以依據籃球實時視頻的動作提取技術，對果實目標特征進行提取，最終實現機器人的自主果實定位，實現自主作業。

圖2 基于籃球動作捕捉的采摘機器人視覺系統設計Fig.2 Design of picking robot vision system based on basketball motion capturing

2 基于籃球動作捕捉的采摘機器人視覺圖像邊緣檢測

在籃球動作捕捉過程中，動作捕捉的對象往往是比賽的視頻序列，該序列是由比賽現場的攝像機獲取的一組隨著時間變化的圖像，根據一定的時間間隔可以得到圖像隨時間的變化關系，其表達式可以寫成

{f(x,y,t0),f(x,y,t1),…,f(x,y,tN-1)}

(1)

其中，N為總的幀數；t為采集圖像時對應的實時時刻，時間間隔為ti-ti-1。在沒有特殊要求的情況下，兩幅圖像的時間間隔是相同的，對于動態圖像的捕捉，可以得到比靜態圖上更加豐富的信息。在圖像捕捉過程中，最重要的環節是圖像的邊緣檢測，通過圖像邊緣檢測可以使圖像隱含的信息發掘出來，其基本步驟為：

1)濾波。在傳感器實時采集過程中，由于籃球動作的速度較快，難免會存在較多的噪聲，通過濾波可以將噪聲的影響降低到最小。

2)增強。利用梯度算法的原理，通過改變圖像的梯度，使圖像局部模糊的部分清晰化，以找到明顯的圖像邊緣。

3)檢測。由于圖像局部邊緣模糊，通過圖像邊緣檢測很難找到圖像的邊緣點，而通過梯度的設定閾值，可以對邊緣進行判斷，從而檢測到邊緣。

4)定位。精確確定邊緣的位置。

通過圖像濾波、圖像平滑處理、邊緣增強、邊緣定位及閾值分割等，可以檢測出圖像的邊緣，為動作數據的捕捉提供數據支持，其具體流程如圖3所示。

圖3 邊緣檢測的流程圖Fig.3 The flow chart of edge detection

邊緣檢測算法的主要目標是檢測到梯度變化的最大值，通過優化梯度值，對噪聲進行抑制，從而有效地找到邊緣的位置。邊緣檢測算子有很多，本次選用Canny算法。

Canny邊緣檢測算法在實際使用時，首先會對圖像進行濾波操作，然后對圖像的最大梯度值進行檢測，從而確定圖像的邊緣位置。在進行檢測時，采用先對圖像進行平滑處理，后對圖像進行求導，其二維高斯函數為

(1)

在某一方向n上是G(x,y)的一階方向導數為

(2)

(3)

(4)

其中，n為方向矢量；G為梯度矢量。將圖像f(x,y)與Gn作卷積，同時改變n的方向，當Gn·f(x,y)得到最大值時，邊緣檢測的方向與n正交。則

(5)

(6)

(7)

(8)

其中，A(x,y)為捕捉實時圖像(x,y)點處的邊緣強度；θ為捕捉實時圖像(x,y)點處的法向矢量。為了得到準確的圖像邊緣，需要提取局部梯度的最大值點，常用的方式是將G(x,y)使用一個閾值。

如圖4所示：為了對捕捉圖像進行邊緣檢測，需要得到圖像邊緣梯度的最大值，通過閾值的設定，保留高于閾值的點，將低于閾值的點全部設置為0，從而可有效地識別出圖像的邊緣，為果實目標信息的獲取提供數據支持。

圖4 采摘機器人果實目標邊緣檢測和識別流程

Fig.4 The target edge detection and recognition process of fruit picking robot

3 采摘機器人視覺圖像檢測系統測試

為了驗證籃球動作捕捉多媒體數據庫系統方案在采摘機器人視覺檢測系統中使用的可行性，利用機器人實驗測試的方法對方案進行驗證，首先對視覺系統的圖像處理進行測試，其測試場景如圖5所示。

圖5 采摘機器人視覺系統測試場景Fig.5 The test scenario of vision system of picking robot

為了驗證時間系統對復雜采摘環境的適應性，選取了夜間作業環境作為研究對象，受夜間光線的影響，采集得到的圖像往往含有較多的噪聲，首先對圖像進行濾波和增強處理，得到了如圖6所示的結果。

圖6 圖像增強后結果Fig.6 The effect after image enhancement

采用圖片平滑和增強處理后，圖像的背景噪聲有了明顯的降低，相對于背景部分，果實圖像更加突出，然后采用邊緣檢測算法，可以得到更加清晰的果實圖像，如圖7所示。

圖7 邊緣檢測后結果圖像Fig.7 The result image after edge detection

對圖像進行邊緣檢測后，成功地提取到果實的特征圖像，將背景部分繼續弱化，為采摘機器人果實目標的識別提供了較高質量的圖像。為了進一步驗證采摘機器人對目標識別的準確率，設計了采摘機器人果實采摘試驗，如圖8所示。

通過測試可以得到圖像的準確識別率和準確定位率，對5次測試結果進行了統計，得到了如表1所示的結果。

測試結果表明：采用本次設計的視覺檢測系統對果實圖像的準確識別率較高，且能夠準確地定位到果實，可以滿足高精度采摘的需求，從而驗證了方案的可行性。

圖8 采摘機器人實驗Fig.8 The experiment of picking robot表1 采摘機器人采摘性能測試Table 1 The picking performance test of picking robot %

4 結論

為了提高采摘機器人視覺系統的目標識別精度，提高自動化程度，將籃球動作捕捉系統引入到視覺系統的設計過程中，參考捕捉系統的邊緣檢測和動作特征提取方法，對視覺系統進行了改進，得到了具有較高精度的目標識別能力。對視覺系統的功能進行了驗證，結果表明：采用籃球動作捕捉技術對采摘機器人視覺系統進行改進后，其果實目標的識別能力較強，可在復雜的夜間環境下成功的將果實目標識別。對采摘機器人的果實識別率和準確定位率進行了測試，結果表明：其成功識別果實的概率較高，準確定位的能力較強，滿足了高精度采摘的需求。