面向薯片生產線上殘次品篩選的視覺檢測定位

應偉軍，范興鐸，李映平

（浙江農林大學暨陽學院，浙江 諸暨311800）

0　引言

近年來，機器人技術在食品行業中得到了廣泛應用，特別是一些自動化要求較高的食品行業。在薯片生產企業中，由于機器人技術的應用，不僅提高了薯片的生產效率，降低了勞動力成本，還有效保證了食品的安全，為企業帶來了更大的經濟效益。但在薯片質檢崗位上，依然采用人工的方式進行薯片殘次品的檢查和剔除，其主要原因是目前大多數工業機器人仍利用“示教-再現”的方式，控制機器人完成點到點的工作[1-3]。人工質檢薯片的方式不僅費時耗力，而且長時間工作會導致眼部不適，據報道人工檢測最多只能夠達到80%的有效性。針對以上問題，本文旨在研究一種薯片生產線上殘次品篩選的視覺檢測定位系統。由工業機器人和視覺系統來協調完成薯片殘次品篩選的工作。

1　殘次品篩選系統工作流程

本文設計的薯片殘次品篩選系統工作流程如下，首先進行攝像機標定，完成世界坐標系和圖像像素坐標系之間的轉換；接著開啟系統進行工作，薯片圖像由工業相機采集，通過圖像采集卡將采集的圖像信號轉換成數字信號傳輸給計算機，計算機通過OpenCV對圖像進行預處理。預處理結束后，進行薯片殘次品的識別和定位，并將定位坐標傳輸給工業機器人，由工業機器人完成拾取薯片殘次品的拾取工作[4-5]。具體流程如圖1所示。

圖1　篩選系統工作流程

2　攝像機標定

攝像機標定是視覺系統實現測量工作的基礎，要讓機器人根據視覺信息完成目標動作，必須完成像素坐標系（Ouvuv），世界坐標系（O-XwYwZw）之間的轉換，使圖像中的點跟與工作平面中的點對應起來，這就要進行攝像機的標定，實現坐標系在世界坐標系下的統一[6]。其坐標關系如圖2所示。

（1）攝像機坐標系與世界坐標系之間的關系

攝像機坐標系與世界坐標系之間的關系可通過旋轉矩陣和平移矢量來描述，具體關系式如下：

其中（x，y，z）為攝像機坐標系，（Xw，Yw，Zw）為世界坐標系，R為3×3的正交旋轉矩陣，T為3×1的平移矢量。

（2）圖像坐標系與攝像機坐標系之間的關系

圖像坐標系與攝像機坐標系之間可通過數學相似三角形相關原理獲得：

其中（X，Y）為圖像坐標系，f為焦距。圖像坐標系與像素坐標系之間的轉換關系[7]

圖像坐標系與像素坐標系之間的轉換關系如下式所示：

其中（u0，v0）為圖像坐標系原點，sx，sy為單位長度上的像素數量。

由以上（1）、（2）、（3）所得世界坐標系與像素坐標系之間的關系為：

3　薯片圖像預處理

通過視覺進行薯片殘次品識別定位之前需要進行薯片圖像預處理工作。預處理主要包括圖像濾波去噪和二值化處理。在圖像采集過程中，雖然薯片顏色與工作臺面的顏色有較大的區別，但薯片的圖像質量依然會受到照射光源強弱和光線均勻性、工作臺面平整度和反光等因素的影響，而這些干擾因素將會大大降低圖像質量，因此本文通過OpenCV視覺庫采用圖像雙邊濾波的方法進行圖像降噪處理，盡可能減少干擾信號。接著將對圖像進行二值化處理，本文采用了動態閾值尋找最佳二值化圖，大大縮短了二值化處理的工作量。其主要代碼如下所示：

//雙邊濾波

bilateralFilter（srcImg，filterImg，30，25*2，25/2）；

//灰度圖像

cvtColor （filterImg，grayImg，COLOR_BGR2GRAY）；

//動態二值化處理

for（int i=100；i<254；i+=2）

{

waitKey（200）；

threshold （grayImg， thresholdImg， i， 255，THRESH_BINARY_INV）；

imshow（"二值圖像"，thresholdImg）；

}

通過二值化處理后的圖像如圖所示，圖3為薯片殘次品原圖，圖4為薯片殘次品二值化圖。

圖3　為薯片殘次品原圖

圖4　薯片殘次品二值化圖

4　薯片殘次品的識別與定位

目標對象的識別方法通常分為兩類：相關性匹配法與特征匹配法。相關性匹配法通過比較待測圖像和模板圖像之間的相關性來判斷目標對象，其最經典的方法是逐點匹配法，逐點匹配法通過對待測圖像和模板圖像進行逐行逐列掃描匹配實現。這種方法抗干擾能力強，能夠勝任較復雜的外界環境，但也使得該匹配方法的計算量大大增加，圖像處理耗時、效率低下，因此相關性匹配法適用于響應速度慢、而匹配精度要求高的場合。特征匹配法僅匹配待測圖像和模板圖像的個別或某些特征，比如周長、面積、特征角點、圖片質量等。因此大大減少了計算量，提高了圖像處理的效率，保證了圖像識別實時性，但由于匹配特征少，使得特征匹配法的抗干擾能力差。所以特征匹配法適用于外界干擾較小并要求響應速度快的場合[8]。

在薯片生產線中，工作臺面與薯片顏色區別較大，工作臺面無其他雜物，相機與室內光源比較穩定，因此在薯片殘次品識別中外界干擾較少。此外，相機需要捕捉移動中的薯片輪廓，進行圖像處理，并將處理結果傳送給工業機器人進行薯片殘次品的拾取，因此在保證硬件設備響應速度前提下，圖像處理環節中也應具有較高的實時性。根據實際情況，本文選擇特征匹配法中的面積匹配進行薯片殘次品識別。選用面積匹配法，其原因在于：（1）薯片生產中，具有嚴格配方和工藝流程，并且通過同一模具生產，因此生產出來的完整薯片間的面積差較小；（2）薯片殘次品篩選中，目的為了篩選缺口大的殘次品，較小缺口和微小變形的薯片視為合格品；（3）面積匹配法算法簡單、效率高、實時性好，保證識別精度前提下，提高薯片圖像處理實時性，為后續提高定位速度提供保證。圖5為本文薯片殘次品識別流程圖。

圖5　薯片殘次品識別流程圖

面積匹配法主要通過OpenCV進行圖像輪廓識別，再進行輪廓內像素點計算，計算所得像素點與預設值進行比較，若計算結果小于預設值即可判定為薯片殘次品。具體方法如下：

假設圖像的長和寬分別為M、N，像素值為P（i，j），P（i，j）的值只能為 0 或者 1，i為像素坐標的橫坐標，j為像素坐標的縱坐標，則對于二值化圖像而言，圖像的面積為：

其中A表示薯片像素點面積。

本文通過實驗視覺系統對100片完整薯片進行面積測量，并通過像素尺寸和物理尺寸的轉換，可得薯片面積在185 mm2～193 mm2之間，面積幅度較小，這與薯片尺寸相符。因此通過實驗數據和廠方要求，將薯片合格品面積設定為大于等于180 mm2.

本文薯片殘次品定位方法采用質心定位，薯片殘次品質心坐標可表示為：

式中，u，v表示質心點坐標。

其主要代碼如下所示：

//尋找輪廓

vector＜vector＜Point＞＞ contours；

vector＜Vec4i＞ hierarcy；

findContours （thresholdImg，contours，hierarcy，RETR_TREE，CHAIN_APPROX_SIMPLE）；

//求輪廓面積

double value_contour=contourArea（contours[1]，false）；

//計算輪廓的質心，畫出質心，實心圓

circle（ filterImg，mc[1]，6，Scalar（ 0，255，0），-1，8，0）；

薯片殘次品識別和質心定位圖如圖6所示。

圖6　薯片識別定位圖

5　實驗

5.1　系統搭建

薯片殘次品篩選系統主要由Staubli-TX90XL工業機器人、康耐視7200型號工業相機、編碼器、傳送帶組成。實驗設備場景如圖7所示。

圖7　實驗設備場景圖

5.2　實驗步驟及結果分析

本實驗首先進行攝像機標定，完成世界坐標系和像素坐標系之間的轉換；接著利用OpenCV視覺庫對圖像進行預處理，預處理包括雙邊濾波、動態二值化處理，本文所提的動態二值化處理能夠幫助快速得到最好的二值化效果圖；然后通過特征匹配法中的面積匹配進行薯片殘次品的識別，并進行定位。

識別定位實驗分為兩部分，第一部分是流水線的視覺檢測區域內隨機擺放了薯片殘次品，記錄視覺識別的殘次品質心位置和實際質心位置并進行比較，觀察其誤差值。第二部分是將含有10片殘次品的一些薯片隨意放置在流水線上，如圖8所示。流水線上薯片依次通過工業相機檢測，觀察工業機器人殘次品拾取完成率。

圖8　薯片殘次品識別定位實驗圖

第一部分視覺識別定位實驗中，視覺識別的殘次品質心位置和實際質心位置如下表所示，并通過差。通過實驗得到質心位置偏差均小于2 mm，能夠滿足工業機器人拾取要求。

第二部分實驗是流水線上薯片依次通過工業相機檢測，觀察工業機器人殘次品拾取完成率。實驗結果表明，本文設計的薯片殘次品識別定位系統均能識別10片殘次品薯片并進行定位，工業機器人也能完成相應拾取工作。

6　結束語

本文提出了一種薯片殘次品視覺檢測方案，采用Open CV視覺庫進行殘次品的識別定位，實驗結果表明本文所提方案具有一定可行性和可靠性，實現方便，效率高。但由于本系統的實驗次數少，未進行工廠長時間運行檢驗，因此離實際投產使用還需要一段時間。

參考文獻：

[1]屠海斌.基于機器視覺的搬運機器人系統研究與軟件實現[D].南京：東南大學，2015.

[2]周 娜.基于單目視覺的攝像機定位技術研究[D].南京：南京航空航天大學，2007.

[3]謝 云，楊宜民.基于單目視覺的自主足球機器人自定位研究[J].電路與系統學報，2006，11（1）：29-34.

[4]林 琳.機器人雙目視覺定位技術研究[D].西安：西安電子科技大學，2009.

[5]梁 冰，洪炳銘，曙 光.基于視覺與行為模型的機器人目標跟蹤[[J].通信學報，2004，25（1）：92-99.

[6]何 濤，趙燕偉，陳 建.面向單向器星輪自動化裝配的視覺檢測定位[J].計算機測量與控制，2015，23（5）：1460-1463.

[7]張憲民.機器人技術及其應用[M].北京：機械工業出版社，2016：172-176.

[8]壽開榮，鐘鵬飛，陳 昆.基于機器視覺的鋸條自動化裝盒系統設計[J].計算機測量與控制，2015，23（12）：4060-4063.