基于自動圖像識別的工業(yè)智能坡口機器人研究

張 碩，劉世鵬，張華龍

（河北經(jīng)貿(mào)大學(xué) 河北 石家莊 050000）

1 引言

自動圖像識別的工業(yè)智能坡口機器人使用雙攝像機立體視覺系統(tǒng)采集待加工的零件圖像，由圖像識別算法進行識別，可應(yīng)對復(fù)雜的環(huán)境光照條件，獲得零件的類型和尺寸等信息，引導(dǎo)機器人進行坡口加工作業(yè)，可取得良好的加工效果，未來將廣泛應(yīng)用于工業(yè)先進制造等領(lǐng)域。

2 系統(tǒng)構(gòu)成

2.1 硬件構(gòu)成

坡口機器人硬件部分主要由ABB六軸機器人、工業(yè)相機、火焰切割槍、控制臺、坡口切割/焊接工作臺組成，各部分功能如下。

ABB六軸機器人：在機械臂頂端安裝旋轉(zhuǎn)機架，可同時安裝工業(yè)相機和火焰切割槍，機械臂負責(zé)攜帶工業(yè)相機到指定位置進行拍照，還負責(zé)攜帶等離子切割槍到指定位置進行坡口加工。

工業(yè)相機：安裝在機械臂頂端的旋轉(zhuǎn)機架上，負責(zé)對待加工的工件進行拍照。

火焰切割槍：安裝在機械臂頂端的旋轉(zhuǎn)機架上，負責(zé)對工件進行坡口切割。

控制臺：內(nèi)置上位機總控軟件和圖像識別算法庫，負責(zé)對工業(yè)相機采集的圖像進行識別處理，并控制ABB機器人進行指定動作。

坡口切割/焊接工作臺：用來放置待加工的板材零件。本系統(tǒng)無需指定零件的擺放位置，零件可以任意擺放，只要不超出工作臺范圍即可正常加工，見圖1。

圖1 硬件組成

2.2 軟件構(gòu)成

坡口機器人軟件部分主要包括圖像識別核心算法庫和上位機總控軟件，各部分功能如下。

圖像識別核心算法庫：對工業(yè)相機采集到的圖像進行識別處理，包括零件定位、類型識別、輪廓提取、尺寸計算等功能。

上位機總控軟件：對機器人作業(yè)的整體流程進行控制，以及與操作人員的人機交互。

3 作業(yè)流程

本項目中的坡口機器人能夠記錄加工過的零件類型，在同類型零件出現(xiàn)時，可以自動識別并套用相應(yīng)的加工參數(shù)；能夠識別從未加工過的零件類型，通過后臺算法獲得新零件的加工參數(shù)。機器人系統(tǒng)內(nèi)置了兩種作業(yè)模式：“工作模式”和“學(xué)習(xí)模式”。

工作模式：工業(yè)相機拍攝零件圖像之后，圖像識別程序通過比對庫存模板，確認(rèn)是否已加工并記錄過的零件類型，若是則觸發(fā)正常“工作模式”，通過圖像對零件位置進行定位，并控制割炬進行加工。

學(xué)習(xí)模式：工業(yè)相機拍攝零件圖像之后，圖像識別程序通過比對庫存模板，確認(rèn)是否已加工并記錄過的零件類型，若未加工過則觸發(fā)“學(xué)習(xí)模式”，對未處理過的零件類型進行學(xué)習(xí)。機器人系統(tǒng)通過計算零件尺寸、保存圖像模板、記錄類型參數(shù)等步驟，對新零件的信息進行分析和記錄。學(xué)習(xí)模式處理完成后，新零件信息入庫，即可按照正常“工作模式”進行加工處理。

4 系統(tǒng)特點

根據(jù)產(chǎn)品特點，需要切割的板材厚度大部分在6～30 mm，采用火焰切割的方式，能夠解決鋼板厚度大、工件異性、弧形等坡口加工問題，既提高工件的切割質(zhì)量和加工效率，還增加了產(chǎn)品的經(jīng)濟效益。本項目主要由一套ABB工業(yè)機器人及控制系統(tǒng)、一套計算機視覺系統(tǒng)、一套火焰切割槍、一套自動點火設(shè)備、兩套坡口切割工作臺、一套安全護欄以及一套電氣控制系統(tǒng)構(gòu)成[1]。

5 核心技術(shù)

5.1 工件圖像目標(biāo)區(qū)域提取

系統(tǒng)通過工業(yè)相機獲取工件的灰度圖和深度圖。由于現(xiàn)場進行工件圖像采集的環(huán)境比較嘈雜且存在灰塵，通過工業(yè)相機獲取的圖像含有部分噪聲，將其進行去噪處理，增強其邊緣信息等特征，并對工件深度圖進行灰度化處理，提取工件圖像的目標(biāo)區(qū)域[2]。

5.1.1 灰度圖預(yù)處理

空氣中存在的粉塵、雜質(zhì)以及采集系統(tǒng)周圍的高頻干擾，可能使得工業(yè)坡口機器人采集到的圖像含有噪聲，這時就會造成圖像里面有用的信息比例下降，所以我們需要對工件的原始圖像進行灰度去噪處理。經(jīng)過處理后的工件圖像，其邊緣特征較模糊，因此需要對圖像進一步處理。

5.1.2 圖像平滑濾波

對工件圖像進行平滑處理后，其效果更加清晰。通過降低噪聲，去除其他對圖像信息不利的因素，可有效防止工件圖像模糊。根據(jù)相機收集到的灰度圖像背景存在的碎屑、空氣中的粉塵等問題，系統(tǒng)采用高斯濾波算法對工件圖像進行平滑濾波處理。

5.1.3 工件圖像增強處理

經(jīng)過去噪的灰度圖，其邊緣信息可能較模糊，呈現(xiàn)亮暗的現(xiàn)象。此時需要將圖像先進行灰度歸一化處理，再進行直方圖均衡化處理，使圖像信息更加明顯。通過實驗獲得的效果圖見圖2、圖3。

圖2 均衡化處理效果圖

圖3 均衡化處理直方圖

5.2 工件邊緣輪廓提取

工件邊緣輪廓是描繪圖像中物體外形的線條。對工件的目標(biāo)區(qū)域進行邊緣算子檢測，可以獲取其邊緣輪廓信息。將雙攝像機捕獲的圖像進行拼接，可獲得較為完整的工件邊緣圖像。

5.2.1 輪廓提取流程

工件的輪廓信息在圖像處理以及無限追蹤中占據(jù)重要地位。工件輪廓提取我們采用灰度圖像閾值分割技術(shù)，得到物體的二值圖像，利用圖像梯度算子進行工件輪廓建模分析，以獲取工件的邊緣信息，并通過灰度圖與深度圖的對比，獲取最后輪廓。

5.2.2 邊緣提取

合理使用邊緣算子對工件輪廓圖像進行提取。根據(jù)工件種類及作業(yè)場景不同，我們需要為不同的邊緣輪廓匹配合適的邊緣梯度算子，本項目主要采用Canny算子，不容易受噪聲影響，且檢測到邊緣定位較為準(zhǔn)確，圖像輪廓較為完整。

5.2.3 最佳輪廓確定

工件圖像經(jīng)過深度處理后，可以進行平滑預(yù)處理獲取工件目標(biāo)輪廓信息，利用Canny邊緣算子求出工件的法線，選擇合適的工件模型，工件輪廓的邊緣點即為梯度的極大值點。并進行工件內(nèi)輪廓的掃描，收集圖像的邊緣點集信息，將取得的工件邊緣信息進行繪制，便可確定工件的最佳輪廓。

5.3 視覺標(biāo)定

自動圖像識別的工業(yè)智能坡口機器人，通過相機采集工件圖像后，需要將工件圖像信息轉(zhuǎn)化為視覺坐標(biāo)軸信息，對工件的坡口加工部分進行視覺標(biāo)定，降低由于深度相機的畸變參數(shù)過高導(dǎo)致系統(tǒng)誤差，引起工件切割錯誤，影響產(chǎn)品質(zhì)量。經(jīng)過視覺標(biāo)定，機器人可鎖定工件位置并進行目標(biāo)追蹤，無需人為干預(yù)便可完成坡口加工作業(yè)。

5.3.1 基于張正友方法的相機標(biāo)定

傳統(tǒng)的相機標(biāo)定方法或精度不高，或價格昂貴，采用張正友方法的相機標(biāo)定策略進行圖像特征區(qū)域的提取，獲得對應(yīng)深度相機的圖像參數(shù)，既降低了項目開銷又提高了標(biāo)定精度，因此本項目采用此種方法進行相機標(biāo)定。

5.3.2 機器人機械臂與相機關(guān)系標(biāo)定

系統(tǒng)經(jīng)過相機標(biāo)定后，深度相機既可通過坐標(biāo)系來控制機器人的機械臂運動，進行坡口加工作業(yè)。還能定位工件在坐標(biāo)系中的位置，計算相應(yīng)參數(shù)，變換坐標(biāo)軸，將位置信息傳遞給機器人，控制機械臂完成相應(yīng)作業(yè)。

5.4 工件輪廓拼接與匹配

為獲取較為完整的工件輪廓圖，系統(tǒng)采用雙攝像機進行多角度圖像采集，以獲取不同角度的工件圖，對這些工件圖進行輪廓提取，利用圖像拼接技術(shù)，可獲得切割平臺輪廓圖。

5.4.1 拼接與匹配流程

利用上述方法，我們可獲得多張具有重疊區(qū)域的圖像，采用工件拼接技術(shù)獲取完整的工件輪廓圖，并利用CAD工件圖進行圖像識別，構(gòu)建標(biāo)準(zhǔn)模型輪廓圖，獲取工件切割軌跡。

5.4.2 工件拼接與匹配

系統(tǒng)利用雙攝像機進行視覺變換，在不同位置進行拍攝，并將工件的重疊區(qū)域進行拼接，獲取完整的工件輪廓信息，并與CAD模板進行匹配。

6 可行性分析

工件的坡口加工采用傳統(tǒng)方式，其加工質(zhì)量差、效率低，人工成本較大。采用半自動方式，在某些流程中依然需要人工操作，其加工效率得不到保證。隨著人工智能技術(shù)的不斷發(fā)展，將計算機視覺應(yīng)用于工件的坡口加工，通過設(shè)計高級圖像識別算法，代替人工操作，可提高產(chǎn)品的質(zhì)量和加工效率。本系統(tǒng)利用機器視覺應(yīng)用，采用工業(yè)深度相機進行圖像采集，使機器人擁有了“眼睛”，利用圖像識別技術(shù)分析圖像信息，使機器人擁有了“大腦”。智能坡口機器人具有零件自動定位功能、類型自動識別功能、參數(shù)自動適配功能、全自動坡口切割功能，可滿足任意形狀工件的坡口加工需求[3]。

7 結(jié)語

本文主要研究自動圖像識別的工業(yè)智能坡口機器人，包括硬件部分、軟件部分、作業(yè)流程、系統(tǒng)特點、核心技術(shù)、可行性分析，對項目進行了理論分析和實驗證明，驗證了項目的可行性。隨著計算機視覺、深度學(xué)習(xí)、機械自動化技術(shù)的不斷成熟，自動圖像識別的工業(yè)智能坡口機器人將更廣泛應(yīng)用于工業(yè)先進制造領(lǐng)域。