基于視覺的茭白自動分級包裝設備研究與開發*

張文蓉，王朋，鐘鳴，黃博，曹景軍，柴秀娟

(1.中國農業科學院農業信息研究所，北京市，100081；2.農業農村部農業大數據重點實驗室，北京市，100081；3.哈爾濱工業大學(威海)，山東威海，264209)

0 引言

茭白是一種較為常見的水生蔬菜，肉質鮮嫩，營養豐富，受到大量消費者的喜愛。茭白收割期較短，若過期不采或是采收后擱置太久，均會導致茭白品相變差，降低商品價值。茭白按照大小、形狀、顏色、病蟲害情況和老化程度等外觀特征分級后銷售可增加附加值，提高其市場競爭力。目前，國內茭白的采收、品質分級、包裝等作業均由人工完成，導致在茭白成熟的季節需要大量勞動力。這種人工分級包裝方式勞動力消耗大，且成本較高、效率較低。另一方面，人工對品質的判斷有主觀差異性會導致分類不一致，且人工易疲勞，易出現失誤，會導致分類的錯誤。從長遠看，人工分級包裝的方式越來越不能滿足茭白市場日益擴大的需求。因此，亟需開發一種茭白自動分級分揀包裝設備，統一品質分級標準，提高茭白分揀包裝時效，降低對人力資源的依賴和需求，保證采收后的新鮮茭白及時輸入市場。

20世紀80年代，國外開始利用計算機視覺技術對果蔬品質進行自動檢測和品質分級[1-3]。隨著視覺處理技術和傳感器技術的快速發展，國內開始著手相關研究，起步相對較晚。綜合國內外現有研究成果，主要集中在蘋果[4-5]、柑橘[6-7]、臍橙[8-10]、哈密瓜[11]、大棗[12]、番茄[13]、馬鈴薯[14-15]等外觀呈圓形的果蔬上[16-18]，且多數停留在算法研究和實驗室模擬研發階段，能應用于實際場景的智能分級裝備并不多見。在外觀呈長條形的果蔬方面研究較少，如黃瓜[19-20]、胡蘿卜、蓮藕[21]等。目前，暫無對茭白品質分級的研究和分級分揀裝備的研發，故該方向的研究具有較大的挑戰性。且茭白因形狀各異、直徑變化大、圓度不好等因素，在分料的過程中不易被約束，給分級分揀設備的設計帶來較大困難。

鑒于此，本文開發了一款基于機器視覺的茭白自動分級包裝設備，農戶僅需將采摘后的新鮮茭白放入料箱中，設備即可利用計算機視覺技術對每根茭白進行分級并自動完成分揀包裝工作。以期降低農戶的勞動強度，減少對人力資源的高密度需求，保證分級標準的長期穩定性，為茭白產業的智能化發展提供技術支撐。

1 總體結構

根據人工分揀包裝茭白的過程，完成茭白的分級包裝任務，需要對單根茭白進行品質分級，判定單根茭白屬于哪類品質。再根據品質類別，將單根茭白放入不同類別的包裝箱內。故茭白自動分級裝備需要完成分離出單根茭白、單根茭白品質分級、單根茭白的分揀裝箱三個步驟。據此，設計了一款茭白自動分級分揀包裝設備，總體結構示意圖如圖1所示，主要由上料模塊、品質分級模塊、分揀包裝模塊三部分組成。上料模塊將采收茭白通過分料移送機構實現逐根分離，并以一定間距依次輸入規整機構。傳送帶將規整完畢后的茭白送入品質分級模塊。品質分級模塊通過機器視覺技術，自動對茭白進行精準品質分級。分揀包裝模塊將分級完成后的茭白根據不同的品級在機械臂的幫助下分揀到對應的包裝箱。

圖1 整機結構示意圖Fig.1 Mechanism diagram of equipment

2 設備主要功能模塊

2.1 上料模塊

上料模塊主要由上料箱、分料移送機構和規整機構組成，如圖2所示。設置分料移送機構主要是為了分離單根茭白，以免多根茭白交錯疊加影響品質分級的結果。待分級分揀的茭白長度決定了上料箱、分料移送機構、規整機構、傳輸帶及包裝箱的基本尺寸。本文研究的茭白長度為32～35 cm，上料箱的寬度略寬于茭白長度，設計為38 cm。茭白整體上一端較粗(頭部)，另一端是較細(尾部)。將采收后的茭白放入上料箱，且頭尾順序一致，通過上料箱底振動電機的震動作用將上料箱中的茭白有序移至出料口。分料移送機構緊挨出料口，該機構由分料移送帶、激光傳感器和步進電機組成。步進電機驅動分料移送帶運動，將出料口位置的茭白逐步分離成單根模式，茭白傳輸軌跡如圖2中紅色虛線所示。分料移送帶傾斜的角度可以根據實際情況進行調整。規整機構修正茭白從分料移送帶上自由下落至傳送帶上出現的位置偏差，將單根茭白居中對齊，并以合理的間隔送至傳送帶上。

圖2 上料模塊結構示意圖Fig.2 Feeding module mechanism diagram

2.2 品質分級模塊

傳送帶將規整居中的茭白依次送至品質分級模塊中，如圖3所示。圖中紅色虛線為茭白運輸軌跡。圖中工業攝像頭對視場內的單根茭白進行圖像采集獲取茭白表型特征。根據機器學習獲得的分級模型，判斷茭白的品級，并將品級的結果傳遞給分揀包裝模塊中的機械臂。完成分級后的茭白由傳送帶輸送至末端規整槽中，兩端規整機構將茭白夾正居中，等待機械臂分揀。規整槽的設置主要是為了分揀包裝過程中茭白排列整齊有序。為節省茭白分揀整個過程的時長，傳輸帶的長度不宜過長，且需與前后機構進行速度和時間上的匹配。

圖3 品質分級模塊Fig.3 Quality grading module

2.3 分揀包裝模塊

如圖4所示，設備分揀包裝模塊設有分揀機械臂，機械臂由四個步進電機驅動，分別控制機械爪開合(H)、升降(Y)、進退(X)，旋轉(R)4個自由度。圖中設有兩個包裝箱對應優質、劣質兩類茭白品級。包裝箱底各由一個步進電機驅動，控制左箱旋轉(B1)、右箱旋轉(B2)，達到茭白自動、正反、毗鄰堆疊的要求。在旋轉支撐機構的作用下包裝箱會根據茭白的粗細頭方向，判斷是否需要使箱體旋轉180°，從而使包裝箱中同一層茭白的粗細頭朝向一致。根據茭白的長度及包裝的要求確定包裝箱尺寸。根據茭白的寬度，確定機械爪的開、合尺寸分別為70 mm和15 mm。6個步進電機協同運動，驅動機械臂根據分級結果將單根茭白放入對應的包裝箱中，待包裝箱裝滿后可直接打包運輸。控制Y軸方向運動的電機需具備抱閘功能，防止斷電后機構受重力影響產生運動，其他電機滿足力矩和速度要求即可。

圖4 茭白分揀包裝模塊Fig.4 Sorting and packing module for Zizania

根據機械臂的運動軌跡，升降動作與機械爪開合動作是分動的，進退動作與旋轉動作是聯動的，故茭白整個分揀包裝時間

t(x,y)=tH+tY(y)+max(tR,tX(x))

(1)

式中：tH——機械爪開合時間；

tR——機械臂旋轉時間；

tY——機械臂升降時間(Y軸運動時間)，受y坐標的影響；

tX——機械臂進退時間(X軸運動時間)，受x坐標的影響。

由式(1)知，為提高設備分揀包裝的時效，需盡量減少機械臂各自由度的時間，且需注意tR，tX之間的時間協調。

3 設備控制系統及品質分級系統研究

3.1 運動控制系統

鑒于茭白自動分級分揀包裝設備的實際應用環境，選用研華科技ARK-3520P型號的工控機。該款工控機是i7處理器，WIN7 64位操作系統，具備靈活的擴展PCI，運行穩定可靠，適宜長時間工作。工控機負責設備整體運動控制和圖像識別品質等級，實現三大模塊的信號傳遞和閉環控制，完成設備啟動、分料、傳輸、分級、分揀包裝、停機及報警燈和顯示屏的控制功能等。運動控制卡作為硬件交互核心[22]，根據各激光傳感器反饋信息，驅動步進電機協調運行，實現各環節動作有序進行。根據品級結果指導分揀包裝流程，規整機構的激光傳感器檢測到茭白后進行茭白夾正居中，從品質信息隊列得到品質信息，計算茭白放置的箱號和位置，機械臂收到信息后完成茭白的分揀和裝箱動作。

上料機構的振動電機通過調速器間接控制，調速器預設定速度后，工控機控制其振動。規整機構由直流電機驅動，直流電機采用正負限位反饋，由直流電機驅動器預設定轉速，工控機控制其正反向運動。控制流程圖如圖5所示。

圖5 控制流程圖Fig.5 Control flow graph

3.2 品質分級系統

該設備集成了基于機器視覺的茭白品質分級算法，利用深度學習技術對茭白大小、形狀、顏色、局部區域特征、病蟲害情況和老化程度等表型特征進行品質分級。選用邁德威視MV-GE200GC-T型號的工業相機，分辨率為1 600×1 200，RJ45千兆以太網接口，適用WINXP、WIN7/8/10 32&64位系統、Linux和ARM Linux驅動等操作系統。如圖3中，工業相機安裝在傳輸帶的正上方，調整合適的高度以獲得最好的視覺效果。工業相機與工控機進行通訊，相機采集的圖片傳給工控機，輸入到品質分級模型，分級模型提取待檢測圖像的深度特征，從而確定茭白所屬等級，并將分級的結果傳給傳感器，指導機械臂的后續操作。

品質分級系統的軟件部分主要分為數據集的創建、訓練模型的搭建及算法部署與運行，如圖6所示。在基本完成組裝的茭白分揀裝備上，啟動視覺系統，模擬裝備運行時的狀態、手工放置茭白在圖像采集區域，使用工業相機拍攝視野中的茭白圖像，且保證采集圖像過程中的分辨率。采集完成的數據集中，根據人工分級的標準，給對應的圖像賦予優質、劣質的標簽。將其中90%作為訓練集，10%作為測試集。

圖6 茭白品質分級示意圖Fig.6 Schematic diagram of Zizania quality classification

應用Facebook開源的深度學習框架Pytorch實現深度卷積神經網絡模型。將被廣泛使用的特征提取網絡ResNet作為模型的主干網絡，考慮算法模型運行環境為邊緣計算設備，實現一個輕量級18層的ResNet二分類模型，模型輸入是茭白圖像，輸出為圖像中茭白的等級。使用訓練集訓練模型預測輸入圖像中茭白的優劣，最終在測試集的預測準確度達到95.62%以上。保存此時模型的權重，以部署到邊緣計算設備上。

在裝備運行過程中，當傳送帶將茭白送至圖像采集區域時，觸發拍照信號，工業相機對其正下方的茭白采集一幀圖像作為視覺算法的輸入。在輸入深度卷積神經網絡之前，首先對其進行預處理，包括分辨率變換至512×512，直方圖均衡化等。將變換后的圖像輸入基于ResNet18的輕量級二分類模型，輸出預測結果1或0，即代表對應茭白品質的等級為優與劣，將此信息傳送至機械臂，指導其將當前茭白放至指定位置。

3.3 機械臂協同控制

機械臂運動為四軸聯動方式，通過協調機械爪開合(H)、升降(Y)、進退(X)、旋轉(R)4個自由度的配合運動，穩定高效完成茭白分揀包裝動作。以機械臂升降運動的驅動電機為例進行分析，已知機械臂垂直運動部分的質量m=2.32 kg，齒輪分度圓半徑r=22.5 mm，垂直運動需滿足豎直方向最大加速度a=1 m/s2，最大速度v=1 m/s。電機最大轉速

(2)

電機負載最大時為帶動機械臂向上運動達到1 m/s2加速度的瞬間，此時電機需要承受外力

F=m×g+m×a=25.056 N

(3)

電機提供力矩

(4)

乘以安全系數S=2，電機在最大轉速時需要提供2M=1.128 N·m力矩。參考圖7中的步進電機矩頻曲線可知選擇CL57 57CME21X型號步進電機，在DC36V供電下，當轉速為424 r/min時可提供1.4 N·m力矩，可以滿足使用需求。

圖7 步進電機矩頻特性圖Fig.7 Torque frequency characteristic diagram of stepping motor

機械臂4個自由度正方向如圖4所示，H軸最大(最小)位置代表手臂完全張開(閉合)，Y軸最大位置略高于規整槽上茭白的最高點，最低位置可達包裝箱底部，X軸最大(最小)位置可達包裝箱內前(后)邊緣，R軸最大(最小)位置為機械臂相對圖4位置向左(右)轉動90°。圖4為各軸起始位置，表1為各軸最大、最小和起始位置坐標值。

表1 各軸起始位置及極限位置坐標Tab.1 Initial and limit position coordinates

如圖8、圖9為將茭白從后規整槽分揀至右側B2箱，X=150 mm，Y=250 mm位置時，各軸協同運動的位置、速度隨時間變化的曲線。各軸均為勻加速運動，在速度拐點處，由運動控制卡自動調節加速度，避免在此點出現過大加速度現象。

圖8 四軸機械臂位置曲線Fig.8 Position curve of four-axis manipulator

圖9 四軸機械臂速度曲線Fig.9 Speed curve of four-axis manipulator

圖8中，在0～0.6 s時間內，Y軸與H軸協作，機械臂夾爪抓起茭白。在0.6～1.4 s時間內，X軸與R軸協作，機械臂向右側旋轉，且X軸從中間位置(230 mm)向150 mm位置運動，1.4 s時機械臂已完全轉至初始位置右側。在1.4～2.1 s時間內，Y軸與H軸協作，將機械臂抓起的茭白放至X=150 mm，Y=250 mm位置。在2.1～2.7 s時間內，Y軸與X軸協作，使兩軸同時回到起始位置。當時間為2.7 s時，Y軸已達最高點，高于箱壁高度。在2.7～3.5 s時間內，R軸回到起始位置。至此，完成一次分揀裝箱動作。

4 試驗與分析

桐鄉市氣候溫暖濕潤、生態良好，是我國茭白盛產地之一，桐鄉市“董家茭白”已入選嘉興首批名牌農產品。現階段仍以人工進行茭白的分級、分揀和包裝，工作現場如圖10所示。為保證茭白鮮嫩可口，每年春秋兩季茭白成熟后會亟需大量的勞動力來盡快完成茭白的分揀包裝。圖中均是年齡較大的工作人員，這正是目前農村勞動力的真實情況，勞動力數量不足，且老齡化嚴重，工作時長和工作效率都無法持續保證。

圖10 茭白人工分揀現場Fig.10 Sorting scene of Zizania by labour

茭白采收后獨立成根，外有莖葉包裹，為便于包裝運輸，農戶將其切割成同等長度。根據農戶對茭白的品質分級標準，一般分為優質和劣質兩大類。優質茭白形狀規則，肉質肥厚，局部區域特征明顯，如圖11所示。劣質茭白一般有老化、形狀不規則、病蟲害與尺寸過小等各種不同的情況，如圖12所示。

圖11 優質茭白樣品Fig.11 Good Zizania

(a)老化

采用如圖13所示的樣機，對11月份桐鄉市董家合作社雙季茭白進行自動分級、分揀測試，現場測試如圖14所示，主要是對茭白分揀包裝的效率及品質分級的準確性進行試驗。

圖13 茭白自動分級包裝樣機Fig.13 Prototype of automatic sorting and packaging of Zizania

圖14 樣機現場測試圖Fig.14 Prototype test graph

由于茭白置于包裝箱中的位置不同，機械臂的Y軸和X軸運動距離會有較大差別，會導致每根茭白的分揀時間略有不同。最上層茭白的分揀時間相較最底層甚至會相差1.5 s左右。故為取得設備的平均分揀效率，需以整箱茭白為單位，記錄一整箱茭白分級包裝的時長，然后除以整箱茭白數量獲得平均效率。為避免茭白被分揀到不同包裝箱導致的位置不同引起的時間誤差，試驗選定相同品質的茭白進行試驗。選定10箱優質茭白，每箱有茭白72根，試驗時暫時關閉品質分級系統，指定所有茭白放入優質包裝箱中。品質分級系統的暫停不會影響設備的運行時間，因為工業相機的拍照及品質模型處理時長都是毫秒級的，是隨著傳輸帶上茭白運輸同時進行的，并不會延長整個硬件運行時長。根據設備包裝箱的大小，分揀包裝后的整箱茭白共8層，一層為9根且頭尾一致，每層茭白頭尾交替放置。待完成以上試驗準備后，人工將每箱優質茭白頭尾一致的放入上料箱，并對系統進行初始化設定，點擊顯示屏上的“開始”，設備開始工作，此時開始計時，記錄整箱茭白分揀的時長。按此試驗步驟，共進行10箱茭白分揀包裝效率測試試驗，結果記錄如表2所示。

表2 茭白分揀包裝試驗結果Tab.2 Test result of Zizania packaging

根據現場10箱優質茭白的測試結果顯示分級包裝效率平均為3.04 s/根，每箱分揀的總時間誤差在±20%以內。茭白自動分級分揀設備類似流水線工作模式，時間取決于最耗時環節的時長。最耗時環節是機械臂分揀包裝的時長，茭白分揀至箱中不同位置的耗時可由圖8、圖9的協同運動關系推導出，對每個位置的分揀時間進行預測并取總平均值，可知分揀包裝理論值為3 s/根。測試的平均效率基本和理論預測值相符。

再進行茭白品質分級的準確性進行試驗，需隨機選取10箱茭白，即有優質茭白也有劣質茭白，每箱有茭白72根。設備操作跟上述試驗類似，但此時需開啟品質分級系統，設備正常運行進行自動分級分揀。待每箱茭白分揀完成后，記錄每箱茭白分級錯誤的茭白個數，再結合茭白總數進行準確率計算，結果如表3所示。

表3 茭白品質分級試驗結果Tab.3 Test result of Zizania grading

表3中數據顯示設備品質分級的準確率為97.2%～100%，可見此基于機器視覺的ResNet18輕量級二分類模型在實際落地應用中的效果良好。當然也可將分類錯誤的茭白圖像增加到模型的訓練集合，進一步優化分級效果。

根據桐鄉市董家合作社實際工作現場數據顯示，6名工人工作2.5 h，完成2 000 kg茭白的分級分揀裝箱工作，其人工分揀平均效率約3.3 s/根。盡管人工分揀效率與設備分揀相差不大，但人工每日正常工作時長在8 h左右，設備正常可全天工作，1臺設備的工作總量大于3人工作總量。另一方面，人工長時間工作易疲倦導致分揀效率明顯降低，且易出現失誤，導致分類錯誤。此外，人工對優質、劣質茭白判斷的主觀差異性會導致分類的不一致性。而自動分揀包裝設備因其規范化、統一化，可有效避免這類差異性，并降低錯誤率。采用自動識別系統，利于建立統一的分級標準。可見，設備在長期運行中，識別的準確性，分揀的穩定性，均遠優于人工，因此在實際應用中自動分級分揀設備具有明顯優勢。

5 結論

1)針對人工進行茭白分揀中存在的勞動力不足、分揀效率不高，且分級標準不完全統一等問題，開發了一種基于機器視覺的茭白自動分級分揀包裝設備。利用ResNet18輕量級二分類模型實現對優質茭白、劣質茭白的品質分級，識別準確率為95.62%。且設備分揀包裝效率為3 s/根。滿足自動分級分揀設備在實際應用中對茭白品質等級的識別準確率及分揀效率的要求。

2)試驗中，品質分級系統識別準確率97.2%～100%，可增加訓練集進一步提高準確率。試驗是在單傳輸帶、單機械臂情況下進行，可通過增加傳送帶和機械臂數量，并行處理提高分揀效率，或采用機械臂以外的分揀方式來提高裝備的分揀包裝效率。

3)設備通過機器視覺技術，自動對茭白品質進行精準分級，減少人工分類差異性和疲勞失誤率，利于建立統一的分級標準，有助于形成標準化的茭白分級產品。可見，自動分級分揀設備替代人工分揀包裝是必然的趨勢，是我國未來茭白集約化、規模化、智能化生產的發展方向。