機器視覺在工業生產線上的應用實現*

劉振宇，李中生，2，，馮柏潤，郭名坤，趙 雪

（1.沈陽工業大學 信息科學與工程學院，遼寧 沈陽110870；2.新松機器人自動化股份有限公司，遼寧 沈陽110168；3.空軍駐沈陽地區軍事代表室，遼寧 沈陽110016；4.沈陽防銹包裝材料有限責任公司，遼寧 沈陽110084）

機器視覺系統是指通過視覺圖像獲取裝置獲取被測目標的圖像信號，經過專用的圖像處理軟件系統，根據圖像像素的顏色、亮度等信息，進行目標特征的檢測提取、分析判別，進而根據判別的結果來控制現場的設備動作。機器視覺向批量生產線、大型機械制造業、精密裝配行業等各個應用領域的滲透，帶來了對機器視覺需求的提升，也決定了機器視覺將由過去單純的數據采集、傳遞、判斷動作，逐漸朝著開放性的方向發展。這一趨勢也預示著機器視覺與人工智能技術、機器人技術、自動化技術、智能控制技術等的進一步相結合，促進工業生產過程智能化、自動化、機器人化是時代發展的必然趨勢[1]。

制造業是機械產品的重要工業部門，是衡量一個國家工業化程度的重要標志。隨著科學技術的發展以及生產自動化程度的逐步提高，從機械設備加工的焊縫跟蹤、精密裝配作業、食品和醫藥灌裝等大型生產線、高樓大廈窗戶的自動擦洗、惡劣環境下的清洗工作，再到國防武器裝備制造等，采用傳統技術方法的生產過程已無法滿足人們對生產效率、產品質量等越來越高的要求[2]。針對當前生產過程中零件尺寸跨度大、裝配效率低、檢測一致性差、自動化和智能化程度低的狀況，將機器視覺引入到工業生產過程中來，即機器在無人干預的條件下，通過分析采集的圖像數據，對零部件進行識別、定位，從而實現對零件的抓取、檢測、裝配等作業過程是大勢所趨。參考文獻[3]中提到在對印制電路板（PCB）上焊點實時檢查中，首先是對獲得的圖像進行預處理以減少圖像的噪聲，然后根據上焊點典型的幾何特征進行分類，從而判斷焊點的質量是否合格。2002年，LAHAJNAR F[4]利用機器視覺系統檢測電路板。該系統應用兩個長焦相機，并采用亞邊緣檢測技術和對系統進行半自動校準，精確測量出電路板的幾個尺寸參數，且機器視覺系統能夠很好地跟蹤電路板的生產過程，檢測每一個電路板，并分揀出次品。2006年，合肥工業大學針對球柵陣列BGA（Ball Grid Array）封裝形式的半導體芯片進行了BGA全自動植球機視覺檢測和自動對準控制技術的研究，從而利用機器視覺技術解決了BGA植球機存在的無法精確定位和準確檢測兩大突出難題[5]。

在日本、歐美等一些發達國家和地區，機器視覺在機械、食品、醫藥等生產領域的應用已經相當普及，但國內視覺技術在實際的生產線應用較少，在技術水平上也與國外存在較大的差距。根據目前我國的市場需求狀況和相關技術研究，將機器視覺與工業生產的有機結合有著十分重要的意義。本文搭建硬件系統平臺，成功地將機器視覺引入到工業生產線上，實驗結果表明，機械手對工件的抓取成功率達到了100%，為我國實現工業生產智能化積累了經驗。

1 總體結構

本實驗為了滿足自動化生產的需要，將機器視覺與工業生產結合起來，設計并搭建了圖1所示的基于單目視覺的工業機器人視覺抓取系統實驗平臺。該實驗平臺主要組成部分包括：新松6軸SRH6工業機器人，機器人參數如表1所示；DALAS公司生產的GM1400千兆以太網工業相機，具體參數如表2所示；工件放置臺、控制機、Vmax=1 m/s的皮帶傳送帶、攝像機支架和光源等硬件。

圖1 基于機器視覺的工業機器人抓取系統實驗平臺

表1 SRH6工業機器人相關參數

表2 GM1400千兆以太網工業相機參數值

本實驗系統基本流程如圖2所示。首先對生產線上的工件建立特征庫，然后由工業相機對進入工作區的工件進行圖像采集，軟件對采集到的數字圖像進行處理分析，匹配成功后對其識別定位，再利用坐標變換得到工件的空間位置，最后由機械人控制機械手來完成工件的抓取并將其放置到放置臺上。

圖2 實驗原理流程圖

2 模式識別

2.1 攝像機標定

攝像機標定是視覺系統開發的關鍵步驟，它的基本任務之一就是通過對從攝像機采集到的圖像進行處理，以獲得三維空間中物體的幾何信息，并由此重建和識別物體[6]，是機器視覺在工業生產線上得以應用的一個必要前提。攝像機標定目的在于建立圖像像素坐標與空間位置之間的相互關系。針孔模型是攝像機模型中最簡單的模型，本系統以小孔成像為標定算法模型，采用了張正友標定法。只需要拍攝2張相片，并根據圖像點之間對應關系即可標定出攝像機內參數與外參數[7]。

為提高標定的精度，本實驗采集了7幅1280×960的高質量圖像，并開發了圖3所示的攝像機標定界面，標定結果為：攝像機參數fx=2 241.151 0，fy=2 213.049 5，u0=681.865 39，v0=478.601 21；攝像機畸變參數k1=0.053 131，k2=0.944 376，p1=0.001 223，p2=0.001 319。

圖3 攝像機標定實驗結果

2.2 圖像處理

2.2.1 相機光源

相機光源在機器視覺系統中起著重要的作用。好的光源可以增加其零件的對比度，增加其期望的目標視域，模糊其不期望的目標視域。理想的光源也可以減輕其后續實驗處理壓力，否則會給實驗結果造成誤解，帶來不必要的麻煩。如相機的花點和過度曝光會隱藏許多重要信息；陰影會引起邊緣的誤檢；信噪比的降低以及不均勻的照明會增加圖像處理的閾值選擇的困難。經過大量實驗驗證，本實驗選用了能夠獲取工件的特征信息較大的前置恒光源，放置在待測物前方的光源，這種光源方式稱為“前光式照明”，如圖4所示。

圖4 前光式照明光源

2.2.2 高斯濾波

鏡頭模糊、光照條件、空氣雜物的干擾使拍攝的圖像難免存在噪聲影響，從而使圖像出現模糊不清或者雜質現象，因而進行圖像濾波處理是必須進行的步驟。目前使用較為廣泛的濾波方式主要有均值濾波、中值濾波以及高斯濾波。經過試驗對比，本實驗選擇高斯濾波。

高斯濾波器是一種線性平滑濾波器，是根據高斯函數的形狀來決定所選擇的權值的大小。高斯分布參數的坐標決定了高斯濾波器的寬度。為了求取二維高斯函數的權值，其二維高斯函數首先進行離散化處理，高斯函數的最佳逼近由二項式展開系數決定，展開式可由楊輝三角形法來確定，其模板的取值如式（1）所示。

其中，σ決定了高斯濾波模板的寬度，σ越大，其作用域越寬，即利用這一模板的窗口越大。

2.2.3 特征匹配

特征匹配即從已建立的模型特征數據庫中查找出與目標相匹配的數據模型的過程。應用比較廣泛的主要有灰度直方圖匹配和輪廓匹配。

（1）灰度直方圖匹配

灰度直方圖是灰度級的函數，它表示圖像中具有每種灰度級的像素的個數，反映圖像中每種灰度出現的頻率。如圖5所示，灰度直方圖的橫坐標是灰度級，縱坐標是該灰度級出現的頻率，是圖像最基本的統計特征。

圖5 工件及其直方圖

（2）輪廓匹配

數字圖像的最基本特征就是物體圖像的邊緣輪廓。在一幅數字圖像中，圖像的邊緣有如下3個方面主要特點：①圖像邊緣部分的像素灰度值呈不連續性變化；②圖像邊緣兩側具有不同的紋理特征；③圖像邊緣處的像素灰度值具有明顯的方向性特征。輪廓匹配正是基于圖像中工件的邊緣特征來識別圖像。與直方圖匹配的實驗對比，輪廓匹配能夠在極大程度上減少數據計算量的基礎上保留數字圖像最重要的結構屬性，同時剔除不相關的次要信息。本實驗對工件識別的輪廓特征如圖6所示。

圖6 工件及其邊緣輪廓

2.3 目標定位

工件得到識別之后進行抓取，為了能夠讓吸盤機械手精準地抓取工件，需要對其進行定位，即確定工件的幾何中心。求取工件的質心過程如下：

首先用矩陣描述區域的形狀特征，對于大小為M×N的數字圖像f（i，j），其（p+q）階矩定義為：

其中，f（i，j）相當于一個像素的質量；Mpq為不同p、q值下圖像的矩。然后用中心矩求取質心，零階矩M00是區域密度的總和：

一階矩M10為圖像對j軸的慣性矩；M01為圖像對i軸的慣性矩：

然后用一階矩M10和M01分別除以零階矩M00，得到的就是物體的質心坐標：

在生產線上任意取一組（5個）模板進行測量，由式（5）計算得出，該組工件的質心坐標即旋轉角度如表3所示。

表3 傳送帶工件中心坐標及姿態

3 工件抓取

本實驗采用新松公司SRH6機器人工業機器人操作吸盤機械手進行抓取動作。拍攝運動物體時，拍攝目標與攝像系統之間存在相對運動，極易形成拖影。對于尺寸測量的項目，拖影對測量精度會有嚴重影響，在這種情況下，就會要求拖影長度盡可能短，本實驗要求拖影不超過1/3像素。在硬件固定的情況下，直接影響拖影長度的參數是物體的運動速度和曝光時間。一般情況下滿足以下條件即可保證測量精度：物體運動速度Vp×曝光時間Ts＜允許最長拖影s單位系統精度。

根據選取的相機，曝光時間為22μs～1 000 ms，確定的測量精度為0.937 5 mm/像素，可以得到物體的運動速度Vp，即傳送帶Vmax為42.613 m/s。結合實際情況，設定傳送帶速度為0.3 m/s。

根據工件的質心坐標，機器人控制吸盤機械手能夠準確地在傳送帶上抓取物體，實驗驗證，抓取率為100%。實驗效果如圖7所示。

本文利用工業相機對工件進行圖像采集，然后對圖像進行分析處理，識別出工件位置，從而引導機器人對工件進行抓取，實驗驗證抓取效果精確有效。將機器視覺成功應用到工業生產線上，從而驗證了算法的有效性和正確性，為后續的機器人碼垛打下了基礎，為工業生產線的分揀積累了經驗和數據，為實現工業生產自動化、智能化提出了解決方案，有良好的應用前景。

圖7 實驗效果

[1]RAO A R.Future directions in industrial machine vision：a case study of semiconductor manufacturing applications[J].Image and Vision Computing，1996（14）：3-19.

[2]ALDRICH C，MARAIS C，SHEAN B J，et al.Online monitoring and control of froth flotation systems with machine vision：a review[J].International Journal of Mineral Processing，2010，96（1-4）：1-13.

[3]KIM T H，CHO T H，MOON Y S，et al.Visual inspection system for the classification of solder joints.Pattern Recognition，1999，（32）：565-575.

[4]LAHAJNARF，BERNARD R，PERNUS F，et al.Machine vision system for inspecting electric plates[J].Computers in Industry，2002，47（1）：113-122.

[5]郭建強.BGA全自動植球機視覺檢測和自動對準 控制技術研究[D].合肥：合肥工業大學，2006.

[6]陳天飛，馬孜，李鵬，等.一種基于非量測畸變校正的攝像機標定方法[J].控制與決策，2012，27（2）：243-251.

[7]HEMAYED E A.survey of camera self-calibration[J].Proceedings of the IEEE Conference on Advanced Video and Signal Based Surveillance，2003.