采摘機器人動態果實目標檢測與跟蹤技術研究—基于云存儲

李 敏,馮亞麗,吳東林

(漯河食品職業學院 信息工程系,河南 漯河 462300)

0 引言

移動目標檢測與跟蹤是當前信息領域的前沿和熱點方向,融合了計算機科學、自動控制、機器視覺、圖像處理、模式識別及數學等多學科的先進技術。運動目標檢測和跟蹤技術可以對動態場景中的目標定位、識別和跟蹤,并在此基礎上分析和判斷目標的行為,實現運動目標的定位和識別。隨著現代化農業技術的不斷發展,采摘機器人被逐漸投入到農業生產過程中,受采摘作業環境的影響,采摘機器人的視覺系統往往不能發揮出最好的效果,如在有風的天氣,視覺系統如果沒有動態目標捕捉功能,很難實現對果實的采摘,進而影響采摘機器人的采摘效率和采摘精度。如果將動態目標檢測追蹤技術引入到采摘機器人的設計上,將會進一步提高采摘機器人對復雜采摘環境的適應能力。

1 基于云存儲的圖像處理技術

在采摘機器人視覺系統設計時,為了實現動態目標的捕捉,需要對大量的實時運動圖像進行處理,如果采用傳統的圖像處理方法,其計算效率慢、計算精度低。為有效處理圖像和視頻數據,可以借助互聯網搭建基于云存儲的圖像處理技術平臺,通過對圖像的特征抓取、特征訓練、分類學習,提高圖像的識別效率,其基本流程如圖1所示。

圖1 基于云平臺框架的圖像處理流程

在SSH安全協議框架下,可以借助物聯網搭建具有高存儲容量和高處理速度的圖像處理云平臺,如果不借助互聯網直接采用硬件形式搭建云平臺,可以采用硬件拓撲的方式,如圖2所示。

圖2 圖像處理云平臺硬件拓撲

基于云存儲的圖像處理系統以原始的果實圖像訓練為訓練集圖像,訓練集圖像可以通過分類器模型進行分類和標注,采摘機器人圖像處理系統只需對分類器進行學習,便可以對實時圖像進行分類和標注,便于機器人對于果實特征的提取和運動目標的匹配。云平臺系統框架采用硬件拓撲的形式,可以大大提高圖像處理速度,最終提高運動目標的跟蹤和處理效率。

2 基于云存儲的運動目標檢測和跟蹤技術

運動目標的檢測和跟蹤主要是根據目標信息,在運動序列圖像中對目標進行鎖定,目標的信息表達主要有特征視覺、特征統計和代數統計等。其中,特征視覺包括圖像邊緣、形狀和紋理等,特征統計包括直方圖和矩陣等,特征代數包括圖像矩陣等。目標特征表達提取完成后可以對目標進行相似性度量,然后再運到圖像幀中進行搜索,最后定位跟蹤。

相似性度量主要是根據運動目標的特征表達信息,通過一定的算法將目標信息和運動圖像各幀的信息進行匹配,常用的相似性度量方法有歐氏距離、加權距離等,最常用的是歐氏距離,這種方法也是最簡單的相似性度量方法。

在進行目標跟蹤時,由于運動目標會產生大量的圖像幀,直接對圖像場景的所有內容進行對比會產生大量的冗余信息處理。為了降低計算量、縮小搜索范圍,可以采用濾波的方法。Kalman濾波器是最常用的一種濾波器,可以對運動狀態的序列進行線性最小方程估計,通過觀測方程和狀態方程描述一個完整的運動動態過程,可以實時地預測目標的位置和速度。

在采摘機器人視覺系統設計時,采用基于特征匹配的跟蹤方法,可以通過運動目標的特征來進行跟蹤;采用目標特征進行搜索時,除了利用單一的目標特征外,還可以采用多目標特征。采摘機器人果實目標特征匹配過程主要有兩個方面組成,其中一個是特征提取,另一個是特征匹配。

1)特征提取。特征提取就是從原始的果樹圖像上對需要定位的果實進行特征提取,提取的特征需要簡單便于計算,且可以平移和旋轉操作等;提取的特征還需要尺縮效應不明顯,旋轉和平移操作后,目標特征不會發生變化。

2)特征匹配。特征匹配主要是利用提取的特征對運動過程中的果實進行匹配,匹配過程可以采用Kalman濾器。在進行匹配時,基于特征的各種算法具有明顯的優點,如在目標運動過程中被遮擋了一部分,也可以被成功識別出來。

在進行圖像識別處理時,以圖像顏色感知的色調、飽和度和亮度屬性k(k=1,2,…,m)來構建圖像函數,假設采摘機器人視覺系統采集的3幀圖像序列分別為fk-1(x,y)、fk(x,y)、fk+1(x,y),將第k和第k-1幀圖像進行差分,將第k+1與第i幀圖像進行差分,其計算模型為

(1)

(2)

其中,fd1(x,y)、fd2(x,y)為連續3幀圖像序列的幀差分后的結果。二次幀差分圖像運算為

YH(x,y)=fd2(x,y)Θfd1(x,y)=
{YH(x,y)YS(x,y)YI(x,y)}

(3)

運算規則定義為

(4)

其中,Y(x,y)為相與運算所得結果,表示運動目標移動區域fd1(x,y)、fd2(x,y)做相與運算結果所得區域,可以確定目標的移動區域和背景區域。對于運動目標的定位,需要計算目標區域的重心橫縱坐標,即

(5)

其中,OR為二值化圖像中的確定要跟蹤的運動目標區域,然后再根據相機的小孔成像原理,計算得到圖像點的高度,便可以得到目標在實際果樹上的具體位置,即轉換為大地坐標。

圖3所示為圖像特征提取訓練,在圖像處理過程中可以通過一定的智能算法對圖像集進行訓練,以提高果實目標圖像的提取效率,在進行圖像提取和匹配過程中,由于實時圖像的信息量非常龐大,因此可以借助于云處理平臺,采摘機器人整個運動目標檢測和跟蹤的流程如圖4所示。

圖3 圖像特征提取訓練

圖4 采摘機器人動態果實采摘流程

采用云存儲技術主要可以實現過圖像的特征提取、運動圖像幀的處理及圖像匹配等,通過追蹤運動果實,輸出果實的實時信息,為采摘機械手的定位提供可靠的數據。

3 采摘機器人果實運動目標跟蹤測試

基于云存儲的運動目標檢測跟蹤技術可以實時捕捉定位運動目標,如將其使用在采摘機器人控制系統上,那么在有風和較為惡劣的天氣條件,也可以對果實進行采摘。

為了驗證基于云存儲的運動目標檢測跟蹤技術在采摘機器人上使用的可行性,本次以果實運動目標的捕捉為例(見圖5),對其目標跟蹤定位的效率和準確性進行了測試。為了簡化實驗,先不在采摘機器人上安裝系統,直接采用基于云存儲技術的圖像處理平臺,對果實目標圖像進行處理,并對果實運動過程中不同的幀圖像進行跟蹤定位和捕捉,得到了如圖6所示的處理結果。

圖5 果實目標圖像

圖6 果實運動過程中圖像捕捉輸出

以實時輸出果實的位置信息為例,對運動圖像進行實時捕捉,由輸出結果可以看出:利用基于云存儲的圖像處理平臺可以成功地輸出果實運動過程的實時圖像,并對果實進行定位捕捉。果實在不同時刻的實時定位信息如表1所示。

表1 果實實時定位信息

以輸出結果標定的果實位置為例,選擇其中的一個果實作為目標信息輸出點,利用坐標轉換技術,將實時信息轉換成大地坐標后便可以讓采摘機器人按照實時位置信息定位,定位果實后進行采摘作業。由輸出結果可以看出:利用基于云存儲技術的圖像處理平臺可以成功捕捉運動目標的實時信息,可為采摘機器人提供準確的目標果實位置實時信息。

目標跟蹤定位時間對比如表2所示。對使用和不使用云存儲技術時平臺對于果實目標實時定位的時間進行了對比,結果表明:使用云存儲技術可以明顯地提高定位速度,這是由于云存儲技術可以大幅度提高平臺對于圖像的處理效率。

表2 目標跟蹤定位時間對比

為了進一步驗證基于云儲存技術的運動目標檢測和跟蹤的準確性,將使用云存儲技術平臺和不使用云存儲技術平臺的目標定位準確率進行了對比,如表3所示。多次對比發現:采用基于云存儲平臺技術后果實目標定位的準確率要高于不使用的情形,說明采用云平臺技術后不僅提供了實時圖像處理的速度,而且提高了計算精度。

表3 目標跟蹤定位準確率對比

4 結論

為了提高采摘機器人在有風環境內作業的適應能力,將運動目標檢測追蹤算法引入到了采摘機器人視覺系統設計上,并采用云存儲技術提高了圖像實時處理的效率。為了驗證方案的可行性,以運動果實的目標實時定位為例,對基于云存儲的采摘機器人動態果實目標定位系統進行了測試。測試結果表明:利用運動目標檢測追蹤算法可以成功定位運動果實,且采用云存儲技術的圖像處理速度較快、定位的精度較高,對于采摘機器人自主定位導航系統的設計具有重要的意義。