采摘機器人避障控制系統研究—基于ARM+DSP和視覺傳感器

吳東明,王麗娟

(焦作師范高等專科學校 計算機與信息工程學院,河南 焦作 454000)

0 引言

農業是經濟發展的基礎和保障,一直都備受各個國家的重視。目前,我國不斷通過通過加快農業機械化的方式,積極提升自身的現代農業水平。其中,農業機器人的出現和應用極大地改變了傳統耕作模式,給我國的現代農業發展帶來了全新改變。果實采摘作為農業種植中繁瑣度、復雜度最大的步驟,這類機器人發展潛力巨大。為此,基于ARM+DSP和視覺傳感器,結合圖像處理技術,設計了一套采摘機器人避障控制系統,能夠實現采摘機器人的實時避障和路徑規劃。

1 采摘機器人視覺系統

機器視覺系統一般由視覺傳感器、圖像采集卡、光源、PC機、目標工件和運動控制系統組成,如圖1所示。

圖1 機器視覺應用系統框架圖Fig.1 The framework of machine vision application system

目前,基于視覺的目標識別和產品檢測技術已經得到了深入的研究和廣泛的應用,如康耐視、美國國家儀器(NI)、基恩士等知名公司在機器視覺領域具有很深入的研究。機器視覺在商品包裝、零部件檢測、提取書本文字、水果分級、半導體行業及自動駕駛等等都已成功應用,其工作框架如圖2所示。

圖2 機器視覺系統工作框架圖Fig.2 The working frame diagram of machine vision system

機器視覺系統利用視覺傳感器,結合圖像處理、智能決策和智能控制,實現眼睛的視覺功能。其將目標對象的圖像Analog信號轉化為Digital信號,在智能決策模塊加入人類的情感,去處理和決策圖像,完成對目標對象的檢測和識別,實現讓機械看到世界的視覺功能。采摘機器人避障控制系統ARM+DSP雙核的總體設計方案,如圖3所示。

圖3 采摘機器人避障控制系統總體框架Fig.3 The overall framework of obstacle avoidance control system for picking robot

系統首先通過視覺傳感器獲取采摘機器人作業環境信息,通過圖像處理,實現對環境障礙物的檢測;通過3D建模等視覺差計算障礙物距離,然后進行避障規劃,驅動前進電機和轉向電機進行行駛控制,達到躲避障礙物、到達目的地的目標。

2 采摘機器人避障控制系統

2.1 系統總體方案設計

基于ARM+DSP和視覺傳感器的采摘機器人避障控制系統的主要任務是:在移動作業過程中,判斷前方是否有障礙物,是否可以正常前行。因此,需要完成圖像采集、圖像處理、數據通信及結果展現等功能。

由于數字圖像具有數據量大、精度高和耗時長的特點,需要具有強大運算能力的處理器進行圖像處理,因此本文采用了德州儀器公司生產的ARM+DSP雙核HiRel達芬奇SM320DM6446-HIREL系列處理器作為處理核心。達芬奇平臺是基于共享內存的嵌入式多處理(ARM、DSP、視頻前端和后端)環境,其關鍵是片內多通道的交換中心資源(Switch Central Resource SCR)。基于SCR的達芬奇平臺中的多個處理器可以實現典型的C/S結構,ARM系列處理器有體積小、可靠性高、外圍設備接口豐富的特點,能夠支持多路圖像采集,主要負責實時控制圖像采集和圖像處理。DSP系列處理器是一種經過專門設計、結構特殊的微處理器,具有專門的硬件乘法器,可以用來快速地實現各種數字信號處理算法,主要負責實時圖像采集和靜態圖像處理。采摘機器人避障控制系統總體框架如圖4所示。

圖4 ARM+DSP雙核的總體設計方案Fig.4 The overall design plan of ARM and DSP dual core

2.2 避障控制系統硬件設計

基于ARM+DSP和視覺傳感器的采摘機器人避障控制系統核心處理模塊采用了標準的達芬奇系統結構,主要包含ARM子系統、DSP子系統、圖像處理子系統、數據交換中心資源系統及外設等。系統硬件控制框架如圖5所示。

圖5 系統硬件控制框架Fig.5 The control framework of system hardware

視頻解碼模塊采用美國Fairchild Semiconductor的TMC22151AKHC視頻解碼芯片。該芯片是一款性能高、成本低、功耗低的混合信號解碼芯片,最高采樣率為18MHz,可以進行8、10bit并行處理,具有支持NTSC / PAL字段和基于NTSC幀的模擬信號解碼,CCIR-601/624(D1)、CVBS和YC的輸入,以及CCIR-601/624(D1)、RGB和YC的輸入等優點。TMC22151AKHC解碼的過程分為3個階段:①分離亮度和色度;②將內部產生的正弦和余弦波形,鎖定在脈沖解碼和解調的色度信號上,然后濾波色度信號以產生色差信號;③縮放亮度和顏色差異信號,將它們轉換為紅色、綠色和藍色分量視頻信號。 TMC22151AKHC解碼的過程示意如圖6所示。

圖6 TMC22151AKHC解碼的過程示意圖Fig.6 The schematic diagram of TMC22151AKHC decoding process

2.3 避障控制系統系統軟件設計

1)ARM+DSP雙核內部通信設計。達芬奇SM320DM6446平臺使用的是ARM+DSP雙核,內部需要通訊機制來協調程序的同步運行。內部通訊有中斷與查詢兩種方法。查詢方法會占用大量的系統資源,而且在實時性較差,因而在實際使用中采用了中斷方法。其原理是:兩個CPU通過來共享數據實現數據交互,首先一方通過發送中斷信號來通知對方取走數據,另一方進入中斷服務程序完成接收數據。ARM+DSP雙核內部通信程序流程如圖7所示。

圖7 ARM+DSP雙核內部通信程序流程圖Fig.7 The internal communication program flow chart of ARM+DSP dual core

2)圖像采集及處理軟件設計。首先ARM端發送啟動圖像采集指令到DSP端,DSP調用圖像采集函數,采集一幀圖像放入DDR2內存中,產生一個圖像采集完畢中斷到ARM;ARM端檢測到圖像采集完畢中斷之后,再次發送數據處理中斷到DSP,DSP對采集到的數據進行識別,將識別結果存入DDR2內存中,并啟動識別結束中斷通知ARM;ARM收到中斷之后讀取識別結果,通過以太網將結果發送到客戶端進行顯示。圖像采集與處理流程如圖8所示。

圖8 圖像采集與處理流程圖Fig.8 The flow chart of image acquisition and processing

3 避障控制策略的實現

采摘機器人在實際的作業中可能會經常會碰到障礙物,因此需要進行避障處理。采摘機器人避障控制系統是通過避免機器人在其路徑中與障礙物(其本質上是靜態的)碰撞來確定機器人從其工作空間中的當前位置到目的位置。本文進行的采摘機器人避障系統統一采用以下假設進行分析處理:

1)對于采摘機器人,當前位置和目標位置在給定的參考坐標系中是已知的。

2)采摘機器人可以從一組固定的動作中選擇給定時間內的任何移動策略。

3)采摘機器人分步執行其操作,直到氣機器人到達目標位置。

為滿足給定的假設,避障系統遵循以下原則:

1)首先,為了確定下一個目標位置,采摘機器人會嘗試將其前進方向與目標對齊。

2)在對準過程中,可能導致與前進道路中的障礙物碰撞,因此采摘機器人必須將其前進方向向左或向右轉動預定角度以避開障礙物。

3)若采摘機器人可以在沒有碰撞的情況下與目標位置對齊,那么將不需要進行避障。

4)如果向左或向右旋轉航向方向,則需要機器人圍繞z軸旋轉相同的角度;如果它被捆綁,則隨機打破。

圖9 采摘機器人從當前位置i到下一個位置Fig.9 Picking robot from the current location i to the next location

由圖9可以看出:采摘機器人下一個目標位置(xi(t+δt),yi(t+δt))的表達式為

xi(t+δt)=xi(t)+vi(t)cosθiδt

(1)

yi(t+δt)=yi(t)+vi(t)sinθiδt

(2)

當δt=1時,式(1)和式(2)可以轉換為

xi(t+1)=xi(t)+vi(t)cosθi

(3)

yi(t+1)=yi(t)+vi(t)sinθi

(4)

采摘機器人當前位置為(xi(t),yi(t)),下一個目標位置為(xi(t+δt),yi(t+δt)),這樣應首先考慮在兩點之間的連接不觸及地圖中的障礙物,如圖10所示。

圖10 采摘機器人避障示意圖Fig.10 The sketch of obstacle avoidance for picking robot

通過形成約束來最小化從當前位置到目標位置的總路徑長度,而不觸及障礙物;然后,根據目標函數fit1確定采摘機器人的軌跡長度。fit1計算公式為

fit1=

(5)

公式(5)為線性模糊的目標函數約束,可以防止采摘機器人與障礙物的碰撞,用于評估路徑中存在的障礙物。

4 實驗結果與分析

為了驗證基于ARM+DSP和視覺傳感器的采摘機器人避障控制系統的可行性,利用MatLab 7.0進行避障仿真實驗,結果如圖11所示。

圖11 仿真結果圖Fig.11 Simulation results diagram

圖11中,start為采摘機器人的起點,goal為采摘機器人的目的終點,黑色方框區域為障礙物,白色區域為采摘機器人可移動區域,黑色線路為采摘機器人避障過程中的路徑。由圖11可以看出:該避障控制系統可以實現避障和路徑規劃,且在避障過程中規劃的路徑耗時最少,運動代價最小;在整個移動過程中,成功避開所有障礙物,達到了目的終點,證明了該避障控制系統的有效性和可行性。

5 結論

以采摘機器人移動路徑中躲避障礙物為研究對象,設計了基于ARM+DSP和視覺傳感器的采摘機器人避障控制系統。系統采用視覺傳感器,利用圖像處理技術及躲避障礙物的策略,并利用MatLab 7.0進行避障路徑優化仿真驗證。實驗結果表明:該避障控制系統可以實現避障和路徑規劃,且在避障過程中規劃的路徑耗時最少,運動代價最小、證明了該避障控制系統的有效性和可行性。