氣電混合驅動全天候蘋果收獲機器人設計與試驗

趙德安 吳任迪 劉曉洋 張小超 姬 偉

(1.江蘇大學電氣信息工程學院， 鎮江 212013； 2.中國農業機械化科學研究院， 北京 100083)

0 引言

蘋果采摘屬于高度重復的體力勞動，適合機器人完成[1-3]。隨著收入水平的提高和飲食結構的調整，蘋果消費需求將持續增加[4]，蘋果生產機械化也顯得愈發重要，其中采摘機器人是蘋果生產機械化的關鍵技術之一。

綜合國內外文獻，大致有兩種方法來實現樹木果實采摘的機械化。第1種方法是使用搖動和捕獲裝置收獲果實。文獻[5]利用拖拉機振動器搖動柑橘樹來收獲柑橘，試驗中能夠在5 s內收獲72%的果實；文獻[6]利用由液壓驅動、并由拖拉機動力輸出裝置驅動振動器收割開心果，在50 mm的振幅和20 Hz的頻率下獲得95.5%的收獲率。此類采摘方法雖然效率高，但只適合堅果類果實的采摘，對蘋果、梨等果實易造成損傷，影響果實的商業價值[7]。第2種方法是采用機器人進行選擇性采摘，是將機器視覺系統和機械手結合起來，以便在盡可能不損傷果實的情況下摘取果實[8]。在采摘過程中，果實的識別定位最為重要，研究人員為了解決動態光照、遮擋和粘連等問題，使用了不同類型的傳感器以及與之配合的圖像處理技術[9]，比如彩色攝像頭、紅外攝像頭、激光測距儀等。文獻[10]利用機器視覺識別水果，激光測距傳感器確定距離，用末端執行器夾住并旋轉果梗分離果實。為了節約成本，文獻[11-12]使用機器視覺中的差分物體尺寸方法和雙目立體圖像方法確定末端執行器到果實的距離，并由此來建立果實的三維坐標。

以上方法都是在理想實驗室環境下進行的，未在實際環境下進行驗證，算法受自然光的干擾影響較大。為了減少自然光對識別的干擾，文獻[13-14]在夜間受控的人工照明下使用雙攝像頭立體裝置進行圖像采集，對蘋果園的作物進行產量估算。文獻[15]運用紅外攝像頭和彩色攝像頭識別樹冠內遮擋的綠色蘋果，使用投票方案從2個圖像中確定需要檢測的特征來提高準確率。除去基于顏色、形狀的識別，還有采用支持向量機或神經網絡的識別方法[16-18]。

除了機器人中的視覺系統，機械設計同樣影響采摘動作的準確性和采摘后果實的品質。文獻[19]將手工采摘方法作為候選抓取技術進行評估，利用在末端執行器上的力傳感器和慣性測量單元獲取三指動力抓握期間的正常接觸力以及圍繞前臂軸線的旋轉角度，針對每個蘋果品種開發出相對最佳的采摘方法。文獻[20]提出一個帶有真空驅動柔性抓手的7自由度機械臂，由硅膠漏斗和內置攝像頭組成的夾具能夠無損地抓取果實，可在一定程度上減少對目標形狀的依賴。文獻[21-22]提出一種多末端收獲機器人，每個手臂都裝有末端執行器，利用深度神經網絡在自然光下識別目標，通過動態調度系統協調4個機械臂，采摘速度為5.5 s/個。文獻[23]基于可見/近紅外光譜檢測技術設計了蘋果內部品質分級機械手，實現了在夾持蘋果的同時準確預測蘋果可溶性固形物的含量。

當前的果樹采摘機器人應用難點在于不穩定的視覺識別和低效的抓取動作。復雜環境對機器人搭載的視覺識別系統提出了很高的要求，魯棒性差的視覺識別限制了機器人的工作時長和范圍；現有采摘機器人的機械臂多由電機模塊組成，抓取時需要進行復雜的定位動作，導致抓取時間占整個采摘時間的比例很大。

本文討論采摘機器人快速柔性摘取蘋果的能力，快速且魯棒的視覺識別能力和能夠全天候長時間工作的能力。設計額外的氣動源可使采摘過程中機械臂能夠快速并柔性抓取蘋果，提高整體的采摘速度。采用深度神經網絡的視覺算法提高識別系統對變化光線和復雜環境的魯棒性，同時延長機器人的工作時間，以提高機器人的整體工作效率。

1 材料與方法

1.1 研究對象

本文設計的機器人需要全天候進行作業，所以其搭載的視覺系統目標是能夠識別各種環境下的蘋果，視覺算法需要有足夠的泛化性和魯棒性。

蘋果圖像采集地點是江蘇省徐州市豐縣大沙河鎮蘋果示范基地和山東省煙臺市蓬萊縣蘋果示范基地，采集時間為2018年10月24日13:00—20:00，采集時攝像頭的位置模仿末端執行器所在的高度和姿勢。試驗共采集圖像2 460幅，分辨率為640像素×480像素，其中訓練集1 600幅，驗證集860幅。

蘋果樹高度一般為3～5 m，直徑為1.5～3 m，并且呈主干形，蘋果分布均勻。設計的機械平臺需要能夠達到不同的高度，并且末端執行器需要無損地將蘋果從樹上分離。

為了使蘋果收獲機器人具有商用價值。本文的設計策略是以采摘效率和低成本為最高優先級，并將其作為評估整體性能的基準。

1.2 系統構成和流程

1.2.1整體系統組成

本文設計的蘋果收獲機器人由2自由度電動移動平臺和5自由度機械臂組成。機械臂包括1個手動調節升降平臺、3個電機控制的腰部和大小臂部分、氣動控制的小臂直動推桿及末端執行器部分、視覺識別部分、各個系統之間的通信部分以及整體控制中樞部分。機械臂內各部分間關系如圖1所示。

視覺系統負責目標蘋果的識別，包括攝像頭；氣動系統負責小臂直動推桿的升縮及末端執行器的柔性抓取，包括氣動直動推桿、Festo氣動裝置、紅外傳感器、壓力傳感器、割刀、抓手；電機系統負責機械臂的伺服控制，包括伺服驅動器、電機及轉動關節；通信系統將各個模塊產生的數據與主控機進行交互。

1.2.2整體系統流程

本文的蘋果收獲機器人整體系統的運行流程包含3個線程，分別是控制氣動裝置和顯示調試界面的氣動線程，控制電機驅動機械臂移動的電動線程，以及刷新視頻流和檢測蘋果的機器視覺線程，三者之間的協同工作如圖2所示。

圖1 整體系統構成

圖3 YOLO V3網絡結構

圖2 整體系統流程圖

當蘋果收獲機器人開始工作時，會同時啟動3個線程，其中電動線程的“等待目標坐標”和氣動線程的“等待目標對準”會阻塞直到條件滿足，首先進入搜尋狀態，此時機械臂以“Z”形往復運動，使得攝像頭的視野盡可能覆蓋有效的采摘范圍。當攝像頭視野中出現蘋果時，機械臂的轉速降低進入對準模式。當機械臂上的末端執行器對準蘋果之后，會啟動氣動裝置伸出末端執行器，此時末端執行器上的傳感器感應到目標之后抓緊目標，抓手的抓力隨著壓力傳感器的數值變化自動調節，使得能夠柔性抓取目標。抓到一定緊度后啟動割刀割斷果梗，接著收回末端執行器，抓手松開目標，使目標從輸送管送到果籃。至此，一次采摘的循環完成，機器人重新進入搜尋模式，繼續下一次采摘。

1.3 視覺系統

1.3.1識別網絡

為了讓視覺系統能夠檢測各種環境下的蘋果，具有足夠的魯棒性，讓視覺系統達到快速和魯棒的識別效果，選用深度卷積神經網絡YOLO V3[24]實現蘋果檢測。深度神經網絡能夠自適應地學習目標特征，實現端到端的目標檢測，并且已經被證明能夠檢測各種動態環境下的目標。對網絡模型進行修剪，具體結構如圖3所示。輸入的圖像通過卷積層提取特征，池化層降低維度，兩者交替放置得出輸出張量。由于檢測目標單一，不需要過深的神經網絡，相比于原算法，本文用VGG結構代替殘差網絡，并將輸出張量的尺寸由3種縮減為2種，網絡在第4層淺層網絡處提取信息與第11層深層網絡進行融合，最終輸出13×13和26×26兩種不同尺寸的預測張量。其目的是提高整體模型的召回率，使其能夠更好地檢測到蘋果粘連的情況。

設計了蘋果圖像采集試驗，用于網絡訓練和準確性驗證，采用PASCAL VOC數據集的格式并用LabelImg制作數據集。使用Darknet框架在GTX 1080 8G顯卡下進行訓練，訓練時采用64個樣本作為一個處理單元，使用BN(batch normalization)進行正則化，并且加入比例為0.5的丟棄層(dropout)，以保持每層提取特征的相互獨立，動量(momentum)設置為0.9，權值衰減(decay)設置為0.000 5，起始學習率(learning rate)設為0.001，并在每迭代4 000次后衰減0.1倍。

總計訓練12 000次，每100次輸出一次權值文件，其訓練模型基于驗證集計算出的平均準確率(mean average precision,mAP)隨迭代次數的變化如圖4所示，可以看出mAP穩定在92%。關于模型更具體的描述(如與其他算法的性能對比、實際測試集的評估和實際檢測圖像實例)參照文獻[24]。

1.3.2傳統機器視覺

雖然深度神經網絡具有較高的準確率和泛化能力，但是對計算力的要求較高，通常將其部署在并行計算能力強的GPU上運行，用額外的成本換取檢測效率的提高。本文采用神經網絡主要是為了應對動態變化的光照環境，但在實際試驗中在一定的時間段內環境光照不會發生劇烈變化，這時傳統的機器視覺算法也能夠得到穩定的檢測結果，并且會消耗更少的計算資源，加快檢測速度。

圖4 mAP隨迭代次數的變化曲線

本文傳統視覺算法流程分為4個步驟：①將所采集的RGB圖像轉換至HSV空間，提取H分量，設置閾值為紅色范圍并二值化，初步分割出蘋果區域。②用開運算消除細微的噪聲。③找到所有的連通區域。④利用最小外接矩形標注各個連通區域，其中面積最大的矩形框設為當前的主要目標。其具體流程如圖5所示。算法最終會得到矩形框的尺寸及其中心點。由于該算法僅利用目標顏色進行識別，實際計算量非常小，遠低于深度神經網絡的算法。

圖5 蘋果檢測步驟

1.3.3算法融合

為了利用前面2種算法的優勢，將兩者結合使用。視覺系統在運行時會根據當時環境的變化而切換算法，在復雜環境下啟用魯棒性更強的深度神經網絡，而在單一環境下啟用速度更快的傳統機器視覺。其中視覺系統的切換需要在兩者之間設計一個算法進行溝通，并以一定的閾值控制兩者的切換，閾值計算公式為

(1)

式中 (x、y)——目標中心坐標

w、h——目標外包矩形框的寬度和高度

其中下標1表示深度神經網絡輸出結果，下標2表示傳統機器視覺輸出結果。

這里將前者算法的檢測結果作為可靠數據，然后計算后者算法結果與前者的偏差，當偏差τ越大時，說明傳統機器視覺的結果越不可信。當τ大于τo時，會使用深度神經網絡的結果作為系統檢測結果，反之將傳統機器視覺的結果作為系統檢測結果，τo是二者切換的閾值，初始算法設為深度神經網絡算法。這樣的切換機制會在兩種情況下觸發：機器人工作10 min之后；末端執行器采摘失敗2次之后。具體流程如圖6所示。

圖6 視覺系統切換流程圖

1.4 機械系統

1.4.1機械臂

圖7 采摘機械手結構簡圖

機械結構是由5自由度的PRRRP機械臂和末端執行器構成，如圖7所示。第1個自由度由升降平臺控制，用來調節整體機器人的高度，以適應不同高度的果樹；第2個自由度由腰部電機控制，實現機械臂的x軸移動；第3和第4個自由度由大臂和小臂電機控制，實現機械臂的y軸移動；第5個自由度由氣動推桿控制，以實現末端執行器的伸縮。

機械臂在整個運動過程中負責將末端執行器對準目標蘋果，它會在視覺系統獲得目標坐標后開啟對準模式。因為視覺傳感器放置在末端執行器的中央位置，屬于手眼模式，由此視覺系統傳回的目標坐標是局部坐標。手眼模式的優勢在于機械臂基于局部坐標進行工作，可以不斷地進行位置的矯正判斷，相比于利用全局相機得到的精準坐標進行一次性定位，手眼模式對機械結構本身的精度要求很低，不會因為機械臂有稍微的磨損而無法正確地抓取到目標。

機械臂控制模型如圖8所示，視覺系統在獲得目標坐標(xt,yt)之后，計算目標到攝像頭圖像中心點的偏移ex、ey，由此可以計算出將目標對準中心點所需要的機械關節轉動角，轉換關系為

(2)

式中 Δθ1、Δθ2、Δθ3——腰部、大臂、小臂電機轉動角

k1、k2——機械臂的控制參數

Δd——將圖像中移動的像素距離調整為電機轉動角的系數

圖8 機械臂控制模型

1.4.2末端執行器

收獲機器人采摘流程中，對采摘蘋果品質影響最大的是末端執行器的機械結構。為了保護蘋果在采摘過程中不被損傷，需要使用具有柔性抓取能力的抓手，本文使用的末端執行器的機械機構如圖9所示。末端執行器由兩個氣動裝置驅動，第1個氣動裝置負責抓手的張開和閉合，第2個氣動裝置負責割刀的圓周運動以割開果梗；同時上面附有3個傳感器：抓手同軸心的攝像頭、2個抓手內側的紅外光電傳感器和壓力傳感器。

圖9 末端執行器機械機構

抓取蘋果分3個步驟：

(1)當采摘流程進入抓取蘋果階段時，接收到機械臂對準目標的信號之后，直動推桿的啟動裝置持續伸出末端執行器，此時抓手上的紅外光電傳感器檢測到抓手目標存在后停止直動推桿的伸縮，并激活末端執行器上的第1個氣動裝置合并抓手，此時合并壓力會隨著壓力傳感器傳回壓力的逐漸增大而逐漸減小，其關系式[25]為

p=k3/(f+s)2

(3)

式中k3——氣壓公式的參數

f——壓力傳感器轉換的壓力

s——從啟動氣動裝置開始的時間

p——供給氣動裝置的氣壓

直到p為零時，完全抓住目標。

(2)激活第2個氣動裝置啟動割刀割斷果梗，使蘋果與樹分離。

(3)收回直動推桿，回到其初始位置激活第1個氣動裝置張開抓手釋放蘋果，讓蘋果順著回收管道成功回收，其具體流程如圖10所示。

圖10 末端執行器抓取流程圖

2 試驗與結果分析

2.1 測試環境

蘋果收獲機器人試驗地點位于實驗室內。試驗對象是一棵高度仿真的蘋果樹，有錯落的樹枝、大量的樹葉和顏色質地不同的蘋果分布設置，蘋果樹和真實果樹尺寸一致，如圖11所示。

圖11 收獲機器人試驗圖

除了以上介紹的機械部分，試驗中的硬件包含負載機器人的底盤平臺、提供動力的移動電源和提供氣壓的空壓機、控制電機的伺服驅動器、控制氣動的伺服定位控制器、輔助照明光源等。機器人硬件組成如表1所示。

表1 試驗硬件

工控機CPU為Intel Core i7-7700HQ，內存8 GB，操作系統為Windows XP，使用編譯器為Visual Studio 2010，編譯語言為C++，人機交互界面使用MFC框架，使用的庫包括OpenCV3.4、Festo SDK、臺達SDK。其中視覺系統中深度神經網絡運行在Intel CPU的集成顯卡中，運用openMP進行加速檢測，傳統方法也同樣運行在CPU上。

2.2 視覺試驗

視覺試驗單獨測試視覺系統中2種算法的運行時間和用以調整機械臂對準模式下的運行頻率。先改變運行邏輯單獨測試2種算法，測試2種算法在白天和黑夜環境下的運行時間。將攝像頭對準目標持續檢測3 min，收集算法的運行時間，計算出平均檢測單幅圖像所需的時間。為了實現在空曠環境下夜間識別的測試，使用黑色的幕布吸收光線來模擬夜間環境，以避免墻壁反光造成的二次光源。試驗環境如圖12所示。

圖12 黑夜模擬環境

試驗結果表明，傳統機器視覺運行時間白天為10 ms，黑夜為9 ms，深度神經網絡白天為60 ms，黑夜為55 ms。由于白天背景復雜，算法運行時間普遍比黑夜長，傳統算法的效率約為深度神經網絡算法的6倍。

為了模擬果園環境下的視覺識別，分別在白天和夜晚進行視覺系統試驗，其檢測結果和人工檢測結果進行對比，人工檢測的目標限定為離末端執行器80 cm的可摘取蘋果。

打開機械臂掃描模式，每隔10 s將攝像頭采集的圖像及其檢測結果保存到工控機中，持續采集3 min，讓機器人掃描到大部分采摘區域。試驗共進行5次，從14:00開始，到22:00結束，將每次檢測蘋果的個數除以人工從圖像計數得到的個數作為試驗的準確率，結果如表2所示。

可以看出整體視覺檢測時間都較短，白天由于光照的復雜性，會采用深度神經網絡作為主要的檢測算法，檢測時間較長，同時準確率因為不同時間段光照的變化而不同；黑夜在輔助光源下檢測時，單調的背景使得傳統機器視覺也能適用，檢測時間大幅下降，并且準確率得到提高。本次試驗得到系統總體識別準確率為94.14%，白天單幅圖像平均檢測時間為66 ms，夜間單幅圖像平均檢測時間為11 ms，總體單幅圖像檢測時間為44 ms。

表2 視覺試驗結果

2.3 采摘試驗

蘋果收獲機器人需要評估采摘率和采摘時間2個參數，采摘率為收獲的蘋果占采摘范圍內可視蘋果總數的比例；采摘時間為采摘單個蘋果需要的平均時間，包括各個工作環節的時間。

進行采摘試驗之前，在仿真樹的一面上隨機掛好蘋果。然后讓機器人進入自動采摘模式，采摘蘋果的同時在后臺記錄各個階段的運行時間，進行4次試驗，其中第4次為夜間試驗，每次試驗蘋果懸掛的位置隨機，仿真樹也會旋轉一定角度。試驗結果如表3所示，表中平均時間是指采摘單個蘋果所用時間的平均值。

表3 采摘試驗結果

由表3可知，單個蘋果采摘時間為7.81 s，采摘率為81.25%。占用時間較長的是對準和抓取階段，其中對對準階段用時影響最大的是視覺識別的刷新速度和機械臂的轉動精度，對抓取階段用時影響最大的是直動推桿的移動速度。相比于電動推桿，氣動直動推桿動作迅速，能夠顯著縮短采摘時間。在整個抓取動作中，涉及到推桿的伸出和縮回，抓手的張開與閉合還有割刀的劃動，這些動作全部由氣動實現需要2.69 s，對比文獻[26]電動機器人的6 s，效率提高了近1倍。

相比于電動推桿驅動機器人[26]15.4 s的單個蘋果抓取時間，本文機器人抓取時間降低了48%。

所以采用的實時視覺系統和以氣動作為動力的抓取系統對整體采摘時間有極大的優化作用。

3 結論

(1)設計了能夠自動識別并采摘的蘋果收獲機器人。闡述了整體系統構成、機械系統和視覺系統的設計，并針對視覺系統的識別能力、機器人的采摘效率和采摘速度進行試驗。

(2)相比于純電動機器人，基于氣電混合動力的機械臂設計使采摘效率得到大幅提升。視覺系統中2種算法的切換模式提高了系統對光線變化和復雜環境的魯棒性，機器人在不影響實時性的條件下增加了工作時長，同時搭載的輔助照明增加了機器人夜間工作的能力。

(3)視覺試驗和采摘試驗表明，視覺系統的總體識別準確率為94.14%，時間為44 ms；采摘單個蘋果平均需要7.81 s，采摘率為81.25%，視覺系統和末端執行器的優化縮短了整體的采摘時間。