視覺捕捉拾取機器人在水果分類系統中的應用

秦國防,秦明輝

(1.濟源職業技術學院,河南 濟源 459000;2.莫斯科國立大學,莫斯科 119991)

0 引言

隨著人工智能技術的快速發展,基于機器視覺的分揀技術已經成熟,之前很少有關于其應用于蘋果分選的研究。現代農業生產的蘋果迫切需要一種自動分類技術來降低勞動力需求,以提高分類效率和商業生產能力。為此,提出了一種基于視覺捕捉的拾取機器人水果分類系統,能夠根據蘋果直徑進行分類,可以大大提高蘋果分類效率。

1 水果分揀系統

1.1 視覺系統的組成

視覺系統是本文研究的拾取機器人分類系統的重要部分,由工業相機、圖像采集模塊、DSP處理器、光源、嵌入式智能控制模塊、待分類水果、執行單元和運動控制系統等組成。拾取機器人分類系統視覺框架,如圖1所示。

圖1 拾取機器人分類系統視覺框架圖

目前,視覺系統在目標識別和檢測中得到了廣泛的發展,如在自動駕駛、倉庫入庫分類管理、月球勘探機器人、水果分類、零部件檢測、視頻檢測、人臉識別等都有非常深入的研究。視覺系統工作框架如圖2所示。

圖2 機器視覺系統工作框架圖

本文研究的拾取機器人分類系統如圖3所示。

圖3 拾取機器人分類系統

1.2 視覺捕捉系統

視覺捕捉系統的工作原理:工業相機拍攝待分類水果的圖像,并通過圖像采集卡轉換為數字信號,再利用DSP數字處理器進行圖像處理,以提高圖片的分類特征;然后,嵌入式智能處理器獲取水果目標特征值,實現分類、坐標計算等;最后,根據分類判斷的結果及坐標,輸出拾取指令等。

本文采用識別捕捉模塊,通過調用API函數接口,對目標圖像進行信號處理,識別待分類水果的顏色,并調用相關API接口進行水果大小、坐標的判定。為了拾取方便,設定待分類水果目標的視覺窗口為x軸0～300mm,y軸0～200mm。通過串口助工具可以獲得待采摘水果的位置信息,如圖4所示。

圖4 待采摘水果的位置信息

2 拾取機器人框架設計

根據我國蘋果等級分類標準:75mm為優級,70～74mm為1級,65～69mm為2級。本文在研究過程中,設置了3種不同的機制進行分類,對于以上3個等級,需要執行器和程序進行微小的調整。拾取機器人由輸送機構、工業相機、圖像采集系統、控制部分和拾取機構等部件組成,如圖5所示。

1.傳輸帶 2.第二側板 3.第二出口 4.第二導桿 5.第二抓取機構 6.第二滑塊 7.第二連接 8.第二翻蓋 9.第二擋板10.第一抓取機構 11.工業相機 12.光源 13.圖像捕獲支持 14.圖像傳感器 15.導板 16.固定支架 17.分類容器

2.1 輸送機制

拾取機器人輸送機構由固定支架、傳輸帶、驅動單元、清潔器和導板組成。輸送機由聚氨酯制成,機寬200mm,深1.8mm,周長3 200mm。驅動單元使用0.18kW齒輪電機和Schneider ATV12H037M2換能器,可調速度為0.1～30m/min,緊急情況中包含一個停止按鈕。

2.2 圖像采集系統

為了在線獲取傳輸帶上連續移動的蘋果圖像,選擇了艾菲特公司的AFT-VD030SM/SC工業相機,該相機采用數字面陣CCD逐行掃描,分辨率為1 280×960像素。選擇的鏡頭是AFT-LCL5,焦距為50mm,Fextension管。線性光源及其控制器分別是AFT-LL86232W和AFT-ALP24150-01。另外,系統使用LIC-2KB02圖像采集卡,用于與DSP圖像處理器連接。

2.3 自動拾取步驟

水果分類系統自動拾取系統流程如圖6所示。在系統運行過程中,可以調節光源控制器,使圖像清晰穩定。使用空氣壓縮機將空氣壓力加壓至0.3MPa,啟動傳輸帶電機,并根據所需的分級速度調節速度。

圖6 水果分類系統自動拾取系統流程

工作時,一個待分級蘋果進入導板并觸發相機掃描蘋果,DSP圖像處理器從圖像采集卡獲取數據后分析圖像,并由嵌入式智能控制器將等級結果轉換為指令;繼電器啟動器接收到指令后,相應的閥門驅動氣缸的滑塊移動將蘋果拾取至對應等級的容器中。

3 工業相機和拾取機器人的標定

3.1 工業相機坐標系

工業相機坐標系如圖7所示。設目標作物坐標系Ow-XwYwZw中點P(Xw,Yw,Zw,1)T,那么點P在o-xyz中的坐標為(x,y,z,1)T,在圖像平面上投射的點為p,p在O0UV和O1XY坐標系的點分別為(u,v,1)T和(X,Y,1)T。

圖7 工業相機坐標系

進行工業相機的標定,若O1(u1,v1)在O0UV坐標系,其沿著X、Y軸的距離為dX、dY,則P點在O0UV和O1XY坐標系中的轉換方程為

(1)

根據相機成像原理,P(x,y,z,1)T和p(X,Y,1)T的比例關系為

(2)

其中,f為工業相機相距,s為比例因子。

采用旋轉矩陣R和平移矢量t表示目標作物坐標系Ow-XwYwZw和相機o-xyz之間的轉換關系,即

(3)

聯立式(1)和式(2),可以得到目標作物坐標系和像素坐標系的轉換關系為

(4)

其中,ax和ay分別為u和v軸上面的長度因子,M1和M2分別是工業相機的內參矩陣和外參矩陣。

3.2 工業相機參數標定

為了準確地實現各個坐標系之間的坐標轉換,采用棋盤法對工業相機進行了標定。標定板采用10×16個黑白方格組成,每個方格為10mm×10mm。標定板所在平面中Xw、Yw軸方向如圖8所示,Zw則垂直于平面朝上。

圖8 標定板坐標系

3.3 拾取機器人標定

在拾取機器人水果分類系統中,傳輸帶、拾取機器人和工業相機之間的關系如圖9所示。由于工業相機視野有限,為了獲取工業相機和采摘機器人的位姿關系,分別建立視野區域Wobj1和工作區間Wobj2兩個坐標系,實現工業相機坐標系Cam和拾取機器人Base兩個坐標系之間的轉換。

圖9 拾取機器人水果分類系統坐標系關系

在傳輸帶靜止的情況下,安裝標定板在工業相機視野內,然后調整標定板,讓其與傳輸帶運動方向一致,得到cam坐標系和視野區域Wobj1之間的位姿轉換關系為

(5)

Wobj2和Wobj1只是在x軸上移動了一點,故cam坐標系和視野區域Wobj2之間的位姿轉換關系為

(6)

且

(7)

t=X1

由此,可以求出工業相機坐標系Cam和拾取機器人Base之間的轉換矩陣為

(8)

4 實驗與結果分析

為了驗證基于視覺捕捉的拾取機器人在水果分類系統的有效性和可靠性,對2 000個蘋果進行分級實驗,將其分類為優級、1級和2級3類,分類結果及準確率如表1所示。

表1 實驗結果分析

從表1可以看出:系統分類準確率達到了93.6%,符合設計需求,且在分類過程中沒有對蘋果造成任何損壞,具有一定的有效性和可靠性。

5 結論

采用視覺算法和嵌入式控制技術,設計、實現和測試了基于視覺捕捉的拾取機器人在水果分類系統。實驗結果表明:系統分類準確率達到了93.6%,符合設計需求,且在分類過程中沒有對蘋果造成任何損壞,具有一定的有效性和可靠性。