深度學習在工業機器人視覺拋磨系統的應用研究

李光雷，崔亞輝，王利花，孟 磊

（1.西安理工大學，陜西 西安 710048；2.南京工業職業技術大學，江蘇 南京 210023）

1 引言

復雜曲面拋磨作業是汽車、水暖衛浴、航空等產品制造中的精加工步驟，其對產品的最終質量和成本有重要影響。目前，基于技術及成本考量，國內中小型制造企業仍多采用傳統的手工方式對工件進行拋磨作業。采用去除→測量→再去除→再測量的試湊加工方式，加工質量高度依賴于操作人員的經驗[1]。在以人為本和機器換人的大環境下，傳統模式已越來越不適應制造產業的發展。同時，隨著部分制造行業的轉型升級，其對復雜曲面拋磨作業的加工質量、自動化程度要求越來越高，傳統的作業模式還存在工作環境惡劣、加工一致性差等缺點，已成為制約部分中小型制造企業提高加工工藝和產品質量的瓶頸。

基于機器人的視覺拋磨系統，如圖1所示。主要由工業機器人、視覺系統、多維力傳感器、拋磨工具、上位機等構成。具有靈活性高、通用性強、易于擴展、一致性好等優點[2]。

圖1 智能拋磨系統結構圖Fig.1 Structure Diagram of Intelligent Grinding System

拋磨作業的主要參數包括拋磨點提取、磨削速度、拋磨深度等。工藝流程，如圖2所示。目前國內外關于工業機器人拋磨系統的研究已經很多。文獻[3]基于工業機器人拋磨系統中，砂帶因磨損導致拋磨效率降低，加工一致性降低等問題，提出基于提高拋磨速度的補償策略及其機制，該策略克服了傳統的線性提速補償策略與砂帶非線性磨損之間的矛盾。

圖2 基于深度學習的工業機器人視覺拋磨系統工藝流程圖Fig.2 Process Flow Diagram of Industrial Robot Vision Polishing System Based on Deep Learning

文獻[4]提出一種基于特征值坐標的機器人局部拋磨定位方法，該方法基于協方差矩陣，建立各點相對于旋轉和平移坐標變換不變的特征值坐標，以此直接搜索拋磨零件的設計曲面，生成對應點對，進而將各點主軸取向歸一化，給出一種計算測量數據和模型曲面間坐標變換的方法，實現機器人到復雜曲面指定拋磨區域的準確定位。

文獻[5?6]提出通過葉片的區域劃分來定義每個區域對應的特征點，獲取工件與模型之間的形狀和坐標差異，然后基于標定結果的差異進行實際工件的位置和外形的擬合重構，從而得到待打磨區域模型。當前這方面的研究大多基于拋磨軌跡、離線編程、拋磨姿態優化、夾具設計等。關于待拋磨點位識別的研究不多。

傳統的基于視覺的機器人拋磨系統主要有兩種，主要包括基于激光掃描的立體視覺和基于特征點的三維重構兩種方式。基于模型的視覺拋磨系統是利用三維掃描儀對工件進行掃描以獲得點云數據，再對點云數據進行處理得到工件的三維模型，將得到的模型導入離線編程軟件，在軟件中選定拋磨區域，生成拋磨軌跡和路徑，然后由離線編程軟件將程序數據同步到工業機器人進行拋磨作業［7?10］。

基于特征點的機器人拋磨系統也是利用三維掃描系統掃描出待拋磨工件的點云數據，將點云數據導入建模軟件擬合出模型，將重構出的模型與工件的設計模型進行比對，出入部分即是待拋磨的區域，然后將待拋磨區域數據導入工業機器人離線編程軟件進行離線編程，最后將程序數據導入工業機器進行拋磨作業［11?12］。由上可以看出，基于工業機器人拋磨系統的關鍵是被提取出待拋磨區域，傳統的拋磨區域識別方法受制于點云數據量較大、運算復雜，識別準確率和速度都受到一定限制。

本研究正是基于此背景，對基于神經網絡的深度學習對異常區域識別進行研究，介紹了機器人視覺拋磨系統構成，對基于深度學習的識別算法進行了介紹，并結合工業相機拍攝的金屬表面進行識別，對識別后的數據進行分析，最后對提出的方法進行了驗證，取得較好的實驗效果。

2 基于深度學習的神經網絡算法對待拋磨區域數據的識別和提取

近年來，隨著深度學習在視覺領域的蓬勃發展。利用卷積神經網絡對圖像進行分類，以及對圖像中目標進行識別定位成為比較前沿的技術。神經網絡的構建是進行目標識別的基礎，典型的神經網絡主要有輸入層，中間層和輸出層組成。

為讓構建的神經網絡系統能夠識別出典型的拋磨數據，需要用一定數量的具有典型待拋磨特征的工件對系統進行訓練，考慮到系統運行速度和識別準確性，本研究選取50張（400×600）像素的鋁型材做為訓練樣本，使用預訓練過的卷積神經網絡作為主干，來提取底層特征信息，因此這些特征由于經過這些數據集的訓練過而具有較好的底層特征識別能力。

用具體的例子來說，訓練的神經網絡將樣本基礎特征組成更高級的特征，比如鋁型材表面的砂眼、坑洞、擦花、橘皮、碰傷、凸粉、涂層開裂等，直到最底層將這種具有上述特征的表面識別為瑕疵，即待拋磨區域。

因此，即使對圖像進行平移、縮放、旋轉，系統依舊能提取出點、線、面等基礎特征，在最底層將其識別為待拋磨區域，并輸出數據給機器人系統，作為機器人的坐標數據。

本研究所采用的圖片素材為2018年廣東工業智造大數據創新大賽的鋁型材表面瑕疵數據庫。在構建好神經網絡以后，利用所構建的神經網絡對待識別圖像進行識別效果，如圖3所示。

由圖3可以看出，構建的神經網絡算法可以較好的識別出鋁型材圖片的瑕疵信息，并且可以顯示識別的準確率和待拋磨區域坐標信息。沒有識別到瑕疵數據的圖片則未作處理，前述圖片識別后的坐標信息，如表1所示。

圖3 基于深度學習構建神經網絡識別出的待拋磨區域數據Fig.3 Deep Learning Based Neural Network to Identify the Area to be Polished

通過上面的表格可以看出，在經系統識別的12張圖片中，基于深度學習的神經網絡算法可以較好的識別出待拋磨數據。表1中第二列的位置信息里面方括號內四位數字中的前兩位表示識別矩形框的左上角坐標，后兩組數據表示矩形方框的長和寬，此數據可以直接在離線編程時作為工業機器人的運動參數，大大減少試教工工作量和試教效率。

由表1還可以看出，第1，2，3，7分別有兩個矩形方框，表示本算法在這4個圖中分別識別出兩塊需要拋磨的異常區域，這兩塊區域具有前述瑕疵特征中的任意兩張。第三列表示系統識別的準確率，通過前期訓練的識別器對每一張圖片的各個區域進行比對，識別率越高，表明訓練的識別器準確性好，誤差越低。

表1 神經網絡識別出的異常區域數據和識別率Tab.1 Data and Recognition Rate of Anomalous Regions Identified by Neural Networks Constructed

3 實驗驗證與分析

為了對所提出的基于深度學習的機器人視覺拋磨系統在實際拋磨加工中的有效性進行驗證，以工業機器人為平臺搭建了智能拋磨工作站。工作站以現代重工業工業機器人為基礎平臺，其末端負載為250kg，工作范圍為3.3m，重復定位精度為0.23mm。實驗中選用Astra Pro鏡頭為圖像采集設備，以汽車鈑金件常用鋁型材為待識別和拋磨工件，對其進行特征提取。拋磨設備目數為240目，拋磨設備線速度為16.3m∕s。

以常見的異常特征為訓練樣本，訓練了神經網絡，搭建好的工作站，如圖4所示。

圖4 基于深度學習的工業機器人視覺拋磨系統Fig.4 Deep Learning?Based Vision Polishing System for Industrial Robots

通過相機對目標區域進行拍攝，采集到目標區域的圖像信息。將圖像信息導入由Matlab構建的神經網絡系統，進行識別，識別出的待拋磨區域的坐標信息，將坐標信息和目標工件的模型導入機器人離線編程軟件。

通過坐標變換，將神經網絡系統識別出的待拋磨區域坐標數據轉換為大地坐標系下的坐標數據，通過離線變成軟件實現對拋磨軌跡的離線編程，為保證拋磨效果，盡量將拋磨工具所受的法向力與拋磨工件垂直，如圖5所示。

圖5 離線拋磨軌跡編程Fig.5 Off?Line Grinding Track Programming

最后，將優化后的程序通過離線編程軟件同步方式導入到工業機器人系統，在工作站完成工具坐標系、工件坐標系的創建、坐標轉換、系統標定和部分點位示教與修正，即可開始拋磨作業。對照組為采用傳統目視檢測異常區域，手動試教工業機器人進行拋磨作業。兩種方法拋磨效果，如圖6所示。兩種拋磨方式測得的粗糙度平均值分別為0.625μm和0.326μm。采用基于深度學習的拋磨系統在表面粗糙度和加工效果一致性方面均好于對照組。

圖6 傳統機器人拋磨和基于深度學習的工業機器人拋磨Fig.6 Traditional Robot Grinding and Deep Learning Based Industrial Robot Grinding

可以看出，基于深度學習的工業機器人拋磨系統能夠準確、快速地識別出待拋磨區域，識別出的拋磨區域坐標信息準確，磨拋后的汽車左前門表面，磨拋軌跡均勻，過渡圓滑，無棱角和過磨、欠磨現象，并且拋磨一致性較好，加工工藝滿足拋磨作業要求[13]。

4 結語

研究了基于深度學習的工業機器人視覺拋磨系統。對現有拋磨系統進行改進完善，通過引入工業相機、深度學習算法實現系統的升級改造，實現了對異常區域的和待拋磨區域的智能識別，基于該方法能夠獲取待拋磨區域的坐標數據，采用離線仿真軟件完成機器人打磨軌跡的自動規劃。

同時借助人工對部分特殊區域進行輔助優化，完成了智能拋磨系統的離線編程，該方法可以實現對典型鈑金件異常區域的自動識別、提取，通過系統集成，對待拋磨區域實現離線編程，實現了拋磨過程的自動化、智能化，減少了人工干預，保證了拋磨效果的一致性和準確性。