基于機器視覺的汽車零部件自動分揀系統設計

賈科

（長春一汽車國際物流有限公司，長春 130000）

主題詞：機器人 機器視覺 自動分揀

1 前言

在“中國制造2025”的背景下，各大企業都在以智能制造為主線踐行轉型升級之路。智能化工廠是智能制造的核心之一，其基礎是工廠各環節實現高級自動化，并在此基礎上實現智能化組網和數據交互[1]。但目前企業生產物流中的汽車零部件存儲倉庫的零部件分包并沒有實現高級自動化[2]，這是由于種類繁雜的零部件在正式進入生產線前，訂單提前準備期較短、轉換包裝任務工作量不統一，多以人工進行汽車零部件的轉換包裝分揀操作。這類轉換包裝操作存在勞動強度大、勞動成本高、勞動密集程度高、差錯率居高不下、人員因素不可控的問題[3]。因此迫切需要在汽車零部件轉換包裝分揀類物流環節中采用自動化技術。采用自動化分揀技術更有利于保障零部件訂單及時、精確配送和物流成本的控制。郭曉輝和Amin Nasiri 進行了自動分揀系統和基于機器視覺深度學習的自動分揀研究項目，這些項目結論表明自動分揀系統的生產效率可提高50%[4-5]，這為“智慧物流支撐智能化工廠”這一目標的實現奠定了關鍵技術基礎。

為了規避汽車產前零部件需要通過人工轉換包裝、分揀，在操作過程中勞動重復性高、勞動強度大、人工成本高的缺點，提升效率，降低成本，現以本系統方案為例，簡述基于機器視覺的汽車零部件自動分揀系統設計。

2 系統方案設計

2.1 系統總體組成

本系統的構成主要可分為3部分。

(1)工業機器人

(2)抓取裝置

(3)視覺識別裝置

具體構成如圖1所示。

圖1 系統整體構成

該系統采用的是標準6 自由度工業機器人，能夠應用于通用的工業現場。抓取裝置采用通用吸盤，適用于金屬及非金屬汽車零部件，能夠完成無序排列的抓取操作。視覺識別裝置的任務是完成零部件的識別及完成6軸機器人在正式抓取汽車零部件前的引導工作。視覺識別裝置的集成控制系統可分成3部分，分別是：

(1)機器人通訊

(2)抓取裝置

(3)控制及視覺圖像處理

該系統的空間布局如圖2所示。

圖2 系統空間布局

2.2 系統方案論證

本系統在集成過程中曾制定過3套不同的集成實施方案，通過對生產效率、生產成本、人工成本、開發難易程度4個維度進行分析與充分討論，找出最優方案，如表1所示。

（1）方案1 是本系統最終的實施方案，依靠機器視覺分揀和目前市場上已十分成熟的視覺開發軟件開發；

（2）方案2 依靠機器視覺分揀和自主開發的視覺軟件開發；

（3）方案3 采用的是機器視覺結合非工業機器人的方案。

3 種方案各有優劣，方案1 是采用購買成熟軟件產品并在此基礎上進行2次開發的方式，因此項目實施的速度較快，適合于對人工效率提升要求較為迫切、且對項目實施的時間周期要求較為嚴格的企業；方案2適合自身具備較強軟件開發能力、且對項目實施周期較為寬容的企業；方案3中由于采用了已定型的產品，并直接應用于生產不進行任何修改，因此適用于對項目實施速度有嚴格要求，但是對于人工效率提升方面要求不高、揀選零件單一、未來2次開發困難的企業。

通過方案論證，方案1的綜合指標最優，最適合本案例的企業環境。

表1 方案論證

在視覺設備選型方面，2D 視覺設備與3D 視覺設備可達到的圖像信息采集效果相同，但是2者在圖像采集、圖像信息采集后的數據處理以及軟件系統2次開發升級方面存在較大差異。

在硬件投資方面，2D設備由于只能對平面上物體的輪廓進行識別，無法測量與被觀察物體之間的距離信息。但在實際的零件抓取過程中，系統需要確定被抓取零件與視覺設備之間的3維數據，以便確定零件位置與當時的擺放姿態，進而引導自動化設備進行抓取操作。為達到理想效果，需要將2D 設備與其他設備進行配合使用。因為2D 視覺設備制造工藝簡單，應用技術的復雜程度較低，因此在硬件采購方面較為便宜，其采購成本大約是3D視覺設備的50%。但由于2D設備在對汽車零部件距離判斷方面的缺陷，在具體應用的環境中還需要配合1 套距離測量設備一同應用，以此實現對抓取零件的距離測量及對零件當前擺放姿態的實時判斷。綜合對比以上2種硬件的當前市場價格，2D視覺設備+測距設備的采購總成本大約為3D視覺設備的60%～65%。

在軟件開發方面，3D 視覺設備在數據處理、接口調用方面均有較為成熟的基礎算法與調用機制，因此僅需在現有程序基礎上進行簡單的2次開發與程序升級操作，即可滿足汽車產前零部件領域的零件抓取操作的技術要求，可節約大量的開發成本。2D視覺設備在汽車產前零部件方面目前存在的成熟的算法較少，如需將其使用在汽車產前零部件領域則需要大量的程序開發以及設備調試操作，系統開發成本較高。

在對數據的處理速度方面，配套3D 視覺設備的基礎算法、接口程序、調用機制目前在市場上均已實現了高度的集成化，可以直接進行程序復用。但配套2D視覺設備的相關程序均較為分散，集成化程度低，因此在進行數字圖像處理的速度方面，3D設備占有較為明顯的應用優勢。

綜合以上各種因素，選擇3D 視覺設備進行應用是目前的最優方案（如表2所示）。

表2 設備選型

3 視覺識別裝置的核心技術

本系統視覺識別裝置采用Halcon 軟件完成圖像處理，該軟件包具有成熟的圖像處理算法，并采用IDS雙目視覺識別設備與計算機系統組成視覺識別裝置的硬件平臺。基于HDevelop 的開發環境能夠兼容Windows 操作系統，利用HDevelop 的開發環境，并選用其標準程序算法作為開發基礎，開發后程序的輸出數據可以通過Windows操作系統向后端的6軸機器人的控制系統進行輸出。

3.1 基于Halcon的零件識別

本系統的核心技術是基于視覺的零部件識別，識別過程主要可以分為2個過程，首先是獲得要抓取零部件的模板，即首先通過訓練使系統明確執行任務的抓取目標；然后當系統明確模板后進行在線的目標匹配，在眾多的目標中獲取要抓取的零件。

3.1.1 零件離線建模

獲取零件模板可通過離線建模的方式完成。如圖3為零件實物圖，其離線建模過程是首先讀取零件的點云模型，并通過圖像分割將識別目標與背景圖像進行分離，然后將感興趣區域生成零件的表面點云模板。

通過視覺識別設備采集模型點云數據，將采集得到的數據利用threshold算子去除場景背景，該步驟可以加速后續的處理速度。然后利用reduce_domain 算子提取得到目標識別定位過程中的感興趣區域。最后利用create_surface_model 算子生成模型的表面模板如圖4所示。

圖3 零件實物

圖4 零件點云模板

3.1.2 零件在線檢測

通過視覺識別設備拍照獲零件所處環境的圖片如圖5 所示。本次試驗放入1 種干擾零件，用以說明模板匹配的效果，首先是通過在線拍照獲取零件的點云圖像，移除背景圖像其效果如圖6所示，其主要目的是為了提高零件表面點云模板的速度和魯棒性。

圖5 零件及背景

圖6 零件點云效果

3.1.3 外部光污染干擾的去除

通過深度相機實時采集場景點云數據并去除背景。在實際使用過程中，存在外部的干擾光源可能會使圖像的成像背景產生干擾，這些干擾光源主要來自于建筑物室內原有的照明系統、工藝車輛在途徑操作區域時的車燈光以及外部的自然可見光。這些外部光污染可能會使采集到的零件圖像背景產生模糊、混沌的效果，進而導致零件邊緣輪廓模糊、不易捕捉零件形狀。針對此種情況，在軟件處理時采用深度相機實時采集并去除背景的方式，即數據庫在初次記錄某種零件信息時，會首先對此種零件的外形進行多種角度（左視圖、右視圖、正面視圖、背面視圖、俯視圖、仰視圖及部分含有一定偏離視角的視圖共10種以上）的拍攝，并將拍攝的形狀信息錄入數據庫系統中。機器視覺系統在進行圖像采集時也會利用自帶的強光源近距離對零件進行打光。由于各種光源打在金屬零件表面所形成的點云與空曠背景中形成的點云存在較大差別，因此系統對形成的點云分布形狀進行記錄并去除其余背景圖像僅保留此點云形狀。則在此過程中可有效去除由外接光源引起的干擾，再利用find_surface_model 算子完成對表面模板和場景點云之間的相互配準，將視覺識別設備到場景點云表面的距離作為篩選條件如圖7所示

圖7 優先抓取零件點云效果

如以上系統在實際使用中處于相對獨立的區域且能夠遠離干擾光源，其成像效果將會更好。

3.2 建立視覺識別設備與機器人的空間關系

通過圖像處理，系統會得出某一零件的優先抓取位置，但是這個位置是視覺識別設備中的位置，工業機器人并不知道這個參數的具體含義，因為視覺識別設備和機器人所處的參考系不同，所以需要建立視覺識別設備與機器人的關系模型。

目前，通常采用手眼標定的方式完成視覺識別設備與機器人末端的關系的建立。其具體過程如圖8所示，其中的手眼標定算法[6]在市場上已比較成熟，精確度較高，實現過程簡單。完成標定后機器人即可獲知抓取目標零件的擺放姿態與位置信息。

圖8 視覺識別設備與機器人手眼標定過程

4 抓取裝置、機器人與系統集成

4.1 抓取裝置設計

本系統所選用的抓取裝置是工業吸盤，通過計算機系統控制繼電器的通斷，間接控制吸盤進行吸取或者關斷吸取。氣源將氣體通過電磁閥輸送給真空發生器，真空發生器連接工業吸盤，在真空作用下，吸盤即可吸取零件。由于電磁閥不能夠與計算機系統直接連接，因此需要通過繼電器進行驅動，其工作原理如圖9所示。

圖9 抓取裝置工作原理

本系統抓取裝置設計時充分考慮應用場景的切換，在此建議采用工業吸盤作為抓取設備，其應用靈活，可根據零件大小切換吸盤尺寸，而且不用更改氣路和電路連接系統，在實際應用中成功率極高（幾乎可達100%），吸盤測試效果如圖10所示。

圖10 抓取裝置效果

4.2 機器人與系統連接

工業機器人通過標準的Ethernet/IP 通訊協議能夠實現與計算機系統的“無縫銜接”。機器人僅需獲得從計算機系統中傳輸過來的坐標參數和邏輯指令。機器人的運動軌跡則由機器人本體控制系統利用之前傳輸過來的坐標參數和邏輯指令計算出最優抓取路徑然后對抓取設備進行控制，自動分揀系統如圖11所示。

圖11 自動分揀系統

5 結論

隨著汽車工業自動化技術逐漸成熟，汽車零部件物流環節過程中的“使用自動化機器設備替換人工操作”這一趨勢勢必成為汽車產前零部件行業領域內的共識。在此系統建設中集成了多項工業技術手段。基于工業機器人與機器視覺系統相集成的應用也將為工廠后續的非標準開發提供硬件平臺，達到一次投入多次應用的效果，能夠有效控制生產成本與物流成本，減少人員的重復性及高強度操作，提高生產效率，有益效果突出。同時也與我國工信部提出的企業“兩化融合”戰略方針、推動傳統行業企業轉型升級這一目的相一致。

本系統是基于企業現有需求進行設計，能夠實現本系統的功能目標。未來在本系統基礎上可繼續開發網絡互聯接口，與汽車制造主機廠中控中心進行組網開發，奠定了智慧工廠的平臺基礎。