基于機器視覺的番茄分選實驗臺系統設計*

馬 博 ，李 丹 ，代丹丹 ，李川江 ，胡昊天

（1.新疆工程學院機電工程學院，新疆 烏魯木齊 830023；2.航天科技控股集團股份有限公司，黑龍江 哈爾濱 150060）

0 引言

我國是番茄生產及加工大國，其中新疆具有光照充足、晝夜溫差大、土地含沙量高等天然優勢，因此，新疆所種植出來的番茄質量較高。優質的原料資源加上較低的加工成本使得新疆番茄產業發展前景非常可觀[1-2]。

目前，在新疆的番茄加工企業中對于原料分選主要依靠人工，分選后蟲洞、霉斑、青背及黃暈殘留等問題依然存在，人工分選不僅成本高且分選質量難以得到保證。而機器視覺系統能有效克服由于工人的視覺疲勞、精神倦怠和工作素質參差不齊等因素造成的工作效率低、不合格番茄殘留多等問題。更重要的是，高效地識別各種不合格番茄后能有效地提高番茄加工質量[3-5]。因此，本文設計一種能夠對含有蟲洞、霉斑、青背及黃暈等不合格番茄進行識別的實驗臺系統，通過機器視覺技術實現對不合格番茄進行識別并剔除。

1 系統整體方案

實驗臺主體為自動分選單元，通過CCD 工業相機采集圖像，由上位機視覺軟件對目標進行識別，并通過下位機驅動氣爪完成分選，番茄分選工作流程如圖1所示。

圖1 番茄分選工作流程

1）分選單元：輸送機構采用雙平帶輸送，圖像采集區域設置CCD 相機（MV-EM120M 工業相機）、光源及SB03-1K 型紅外傳感器，氣爪完成分選動作，分選單元模型如圖2所示。

圖2 分選單元模型

2）上位機：基于LabVIEW 編寫視覺識別軟件，包括視覺框架、對番茄（蟲洞、霉斑、青背及黃暈等不合格問題）識別的圖像處理程序以及上下位機通信的串口通信程序。

3）下位機：S7-200 型PLC 控制器通過串口通信接口接收到上位機的分選識別信號，并由繼電器控制。當不合格番茄到達了分選區域后，氣爪回路動作完成分選任務。

2 上位機視覺識別軟件

圖像處理是機器視覺的核心，CCD 相機從圖像采集區域完成番茄圖像采集，采集到的灰度圖像經由LabVIEW 程序處理，并輸出識別結果，合格則顯示“OK”通過，不合格則顯示“NG”抓取剔除。該過程依賴于視覺框架對圖像處理程序的調用。

2.1 視覺框架

視覺框架的主要功能包括對視覺識別程序的調用以及執行用戶操作指令。視覺框架的前面板是軟件的主要交互界面，它被細分為識別結果顯示區域和參數設置區域。

識別結果顯示區域主要負責實時展示由CCD相機采集的番茄原始圖像以及經過檢測后的圖像。在檢測后的圖像上，將顯示番茄的識別結果，包括合格（OK）或不合格（NG）。對于不合格（NG）的番茄，該區域還能夠對缺陷進行定位，并計算出缺陷面積大小。

參數設置區域則是為了確保軟件能夠準確地檢測出番茄的各種缺陷。這個區域配備了一個調整檢測參數的面板，提供了多項功能選擇以及參數輸入，包括相機COM口、二值化上下、顆粒濾波類型、顆粒濾波上下限等。通過這些功能的設置和調整，可以顯著提高檢測結果的質量和可靠性。

此外，前面板還提供了常用的功能按鈕，包括打開/關閉相機、采集圖像、連續采集、保存參數、載入參數、運行一次、自動運行、一鍵運行和停止等功能。這些功能按鈕方便用戶對軟件進行控制，從而簡化操作流程。

2.2 視覺識別程序

基于缺陷檢測的原理，本系統將不合格番茄上的蟲洞、霉斑、青背及黃暈等問題視作缺陷進行檢測，有缺陷的番茄即為不合格，無缺陷的番茄則為合格。由此對圖像處理流程做出分析：采集到的原始圖像需要先預處理，得到灰度圖像后再進行圖像處理，采用閾值分割法對背景和缺陷進行圖像分割，分割得到二值圖像后再做形態學處理，提取缺陷特征，最后將缺陷特征掩模在原圖上顯示從而得到識別結果[6-7]。圖像處理流程如圖3所示。

圖3 圖像處理流程

1）預處理與圖像分割。為保證設備運行速度，本文采用MV-EM120M 工業相機采集目標的灰度圖像，得到的灰度圖像為f(x,y)，選擇灰度閾值為T，則圖像閾值分割方法可表示為：

其中，g(x,y)為分割后的圖像即二值圖像。這樣目標和背景之間的邊界得以區分，再通過去除邊界移除背景便提取出了目標的二值圖像。圖像分割程序如圖4所示。

圖4 圖像分割程序

2）形態學處理。如若目標表面存在缺陷（蟲洞、霉斑、青背及黃暈等），則會在目標的二值圖像中形成孔洞，該孔洞即為需要提取的特征。設填充孔洞后的圖像為g1(x,y)，將其與g(x,y)運行減運算可表示為：

其中，g2(x,y)即為缺陷的二值圖像。此時，g2(x,y)二值圖像中目標邊界和個別區域可能殘留少量噪聲顆粒，邊界殘留顆粒可以通過腐蝕運算去除，腐蝕運算過程可表示為：

其中，A為缺陷二值圖像，B是結構元素，將結構元素B（如圖5 所示）相對于集合A進行平移，只要平移后結構元素都包含在集合A中，則這些位移z的點的集合即為腐蝕結果[8]。

圖5 結構元素

個別區域殘留的噪聲顆粒，其面積遠小于缺陷特征，因此可以對顆粒面積設定合適的閾值，通過顆粒濾波進行濾除。經過腐蝕和顆粒濾波后便得到了缺陷特征的二值圖像。上述形態學處理程序如圖6所示。

圖6 形態學處理程序

3）特征提取與原圖掩模。將形態學處理后的缺陷特征二值圖取反后掩模在原圖上，即可在人機界面上觀測到識別結果，同時在識別結果輸出節點接入串口通信程序以便下位機接收信號。特征提取與掩模程序如圖7所示。

圖7 特征提取與掩模程序

將上述圖像處理過程封裝為一個子VI，從視覺框架中進行調用，由此即完成了基于LabVIEW 的視覺識別軟件的搭建。

3 下位機PLC控制系統

PLC 控制器控制并驅動傳送帶輸送待檢測番茄依次經過CCD 相機的圖像采集區和氣爪的分選區。番茄經過圖像采集區后，視覺識別軟件把番茄的識別結果以布爾值的形式通過串口發送至下位機PLC 控制器。在此過程中由繼電器完成電平轉換，該信號與分選區位置傳感器的反饋信號共同作為控制氣爪動作的指令，即布爾值為False，且位置傳感器輸出反饋則氣爪抓取；反之，布爾值為True，氣爪不動作，合格番茄通過[9-10]。下位機控制功能如下：

1）按下啟動按鈕SB1，電動機Y0 運轉，驅動傳送帶輸送番茄。按下停止按鈕SB2，輸送帶停止。

2）傳送帶工作時，當番茄到達圖像采集區域，光電傳感器SQ1 觸發，CCD 相機采集圖像，視覺識別軟件向PLC控制器發送識別結果。

3）當番茄到達分選區域時，光電傳感器SQ2 觸發，若上位機識別結果為False，傳送帶停止運行，氣爪開關SB3 觸發，氣爪Y1 抓取，待氣爪Y1 復位后傳送帶繼續運行；若識別結果為True，傳送帶持續運行。表1 為硬件對應的I/O地址分配表。

表1 I/O 地址分配

4 實驗分析與總結

對缺陷類型、形狀、大小、位置不同的番茄進行實驗，識別結果如圖8所示。

圖8 中，左側為CCD 相機采集的原圖，右側為識別結果，兩組樣本的識別結果均顯示為NG 即不合格。從實驗結果可以看出，本系統不僅能夠正確識別出不合格番茄，還能準確定位缺陷位置，并計算出缺陷面積大小，這為下位機的分選決策提供了可靠依據，進而保證了不合格番茄能被有效剔除。

圖8 實驗測試結果

本實驗臺系統實現了番茄合格與否的視覺識別及分選單元的分選過程。但在實際應用時還需要進行更為全面的考慮，例如：不同環境下的打光方案；多角度采集圖像；提高圖像采集速度與清晰度；大量實驗數據優化算法和參數；分選機構的高效動作等。