一種智覺圖像智能識別分揀方法及裝置

黃和平

(樂清兆泰機電有限公司，浙江 溫州 325011)

0 引言

在智能制造自動化高速加工行業，往往需要對產品表面進行高速智能識別與檢測。現有的機器視覺檢測識別基本上是在靜態下具有較佳的效果，針對視覺動態圖像檢測，人們研發出上百種軟件識別方法、高速高精度的硬件手段，對圖像進行預處理、前處理、后處理技術進行圖像邊緣識別與分割，特別是高速自動化的使用中，效果不是很理想，總會產生誤判和漏判產生，檢測效果達不到零錯判零漏檢，達不到100%的識別要求，機器視覺圖像檢測存在兩大方面的問題：

1) 實現運動物體檢測的方法主要包括：① 背景差分法：不適用于攝像頭運動的情況；② 光流法：能檢測獨立運動的圖像，可用于攝像頭運動的情況，但計算復雜耗時，較難實現實時監測。

2) 較快運動物體圖像模糊，即便對圖像的動態表面分析處理，都會使得圖像識別錯判、漏判的發生，為了解決這樣的問題，適應多種場合進行圖像的動態表面分析處理應用，人們希望濾波函數是動態的、可調節的、可自我學習的。設計這樣的濾波器是非常困難的，到目前還沒有圖像的動態表面的濾波器產生。

3) 針對以上技術問題，筆者設計了一種簡單、可靠、效率高的智能圖像智能識別分揀方法及裝置來解決這些類似問題。

1 系統裝置結構原理設計

如圖1所示，一種智覺圖像智能識別分揀裝置：主要由在輸送軌道(7)上被測件(8)移動路線的位置上方分別設置有至少一組LED燈(6)，LED燈(6)的軸心上方設置有CCD相機(1)，CCD相機(1)通過USB連接線(4)與PC機(5)連接，USB連接線(4)的兩端分別設置有一個消磁環；PC機(5)連接有觸摸屏(9)，PC機(5)與PLC控制器(12)連接，PLC控制器(12)的輸出端分別與多個電磁閥(16)對應連接，各個電磁閥(16)再與對應的吹氣閥(17)及機械手(18)連接，各個吹氣閥(17)及機械手(18)設置在輸送軌道(7)旁邊構成。

1) 可視化檢測設置：

在顯示屏上沿著輸送軌道(7)的輸送方向依次布置有4個檢測區，依次是左檢測區(21)、主檢測區(22)、副檢測區(23)和右檢測區(24)，該4個檢測區均處于CCD相機(1)的攝像范圍及LED燈(6)的照射范圍之下；在主檢測區(22)、副檢測區(23)和右檢測區(24)位置的軌道外側分別對應設置有吹氣口一(25)、吹氣口二(26)及吹氣口三(27)，吹氣口一(25)、吹氣口二(26)及吹氣口三(27)分別與各自的吹氣閥(17)連通，三組吹氣閥(17)分別與控制機構連接。

被測件(8)為雙金時的正反面設置方式是，正面設置為光潔面或光潔面上刻有與雙金相同顏色的文字；

2) 智覺圖像智能識別分揀方法依賴于上述的結構的智能識別步驟包括：

步驟1： CCD相機獲取輸送軌道上的被測件朝上一面的表面圖像傳輸給PC機進行緩存；

步驟2：PC機利用預存的圖像處理程序通過圖像邊緣檢測高速數字濾波器緩存獲取圖像數據；

步驟3：判斷上表面為正面的被測件沿輸送軌道正常向前移動，進入下一步的焊接及裝配工序；判斷上表面為反面的被測件則由PC機發送剔除信息給PLC控制器。

2 裝置結構圖說明

圖1是實施裝置的結構示意圖；

圖2是實施裝置中的吹氣分揀部分示意圖；

圖3本實施裝置被測件是雙金時的正反面設置示意圖；

圖4是本實施裝置中的觸摸屏顯示及操作分區設定的示意圖。

圖1-圖4中，1為CCD相機；2為消磁環A；3為消磁環B；4為USB連接線；5為PC機；6為LED燈；7為輸送軌道；8為被測件；9為觸摸屏；10為控制盒；11為輸出端子；12為PLC控制器；13為單片機控制板；14為電源插線；15為信號線；16為電磁閥；17為吹氣閥；18為機械手；19為電源接線；20為串口線；21為左檢測區；22為主檢測區；23為副檢測區；24為右檢測區；25為吹氣口一；26為吹氣口二；27為吹氣口三；22為正反面顯示區域；221為反面圖像；222為正面圖像；23為檢測區域；231為左檢測窗口；232為主檢測窗口；233為副檢測窗口；234為右檢測窗口；24為參數設定區域；241為設定按鈕；242為吹氣窗口區域設定；243為檢測區域設定；244為到位區域設定；245為有效灰度設定；25為系統顯示區域；251為有效比例灰度顯示；252為有效黑點顯示；253為系統當前狀態和正反面顯示；254為吹氣狀態、有效吹氣數和二次吹氣數顯示；26為操作區域。

圖1 裝置結構示意圖

圖2 吹氣分揀部分示意圖

圖3 被測件正反面設置示意圖

圖4 觸摸屏顯示及操作分區設定的示意圖

3 圖像邊緣檢測高速數字濾波器智能識別分揀方法步驟

如圖1-圖4所示，智覺圖像智能識別分揀方法，設計圖像邊緣檢測高速數字濾波器置于PC機(5)內部，包括對預存圖像邊緣數字化處理識別程序中，圖像邊緣數字化處理識別程序及其過程是：

1) 讀入圖像-高斯平滑圖像[1]

用高斯一階導數濾波器對讀入圖像進行濾波，即用高斯函數對圖像f(x,y)進行濾波得到平滑圖像數據矩陣，f(x,y)分別是圖像像素坐標，則有：

S(x,y)=f(x，y)·G(x，y,σ)

(1)

式(1)為高斯濾波函數G(x,y,σ)與原始圖像f(x,y)經進行卷積處理，濾波后得到一個平滑的圖像S(x,y)；G(x,y,σ) 中的σ是指定標準偏差[2]。

高斯濾波函數為：

(2)

Gx,y,σ為二維高斯函數，在某一方向n上是Gx,y的一階方向導數，則：

(3)

式(3)中的n是方向矢量，▽G是梯度矢量，將圖像fx,y與Gn作卷積，同時改變n的方向，則Gn·f(x,y)取得最大值時的n就是正交于檢測邊緣的方向；σ取值范圍為0.3～3。

2) 計算濾波后圖像的梯度幅值和梯度方向[3]

分別按照下式計算梯度幅值M和方向角A：

M=‖fx,y·Gx,y,σ‖

(4)

(5)

范數所滿足的條件有：

① ‖x‖≥0，且‖x‖=0當且僅當x=0；

② ‖ax‖=|a|·‖x‖ 其中a為線性空間對應的數域中的數；

③ ‖x+y‖≤‖x‖+‖y‖。

其中：M為梯度幅值，A為方向角。

3) 對梯度幅值進行非極大值仰制

選擇梯度幅值對比的鄰近像素點，進行非最大值抑制處理過程是：算法追蹤所有細化幅值圖像的屋脊帶的脊的頂部，并將所有不在脊的頂部的像素設為0，僅保留幅值局部變化最大的點，以便在輸出中給出一條細線，產生細化寬度為1個像素點寬度的邊緣，將梯度幅值比梯度方向上鄰近點梯度幅值大的像素點檢測為邊緣點，非最大值圖像邊緣點即為在方向角A上使M取得局部極大值的點，如下式：

Ni,j=NMSMi,j,ci,j=Sectorθi,j

(6)

非極大值抑制幅值圖像為Ni,j、梯度角為θi,j、扇區值c(i,j)，4個扇區的標號分別為0到3，對應著33鄰域內的4種可能組合。

4) 雙門限檢測得到圖像邊緣

通過最大熵算法來獲得Canny算法的高門限閾值并據此求出低門限值，減少假邊緣數量的典型方法是對Ni,j使用一個閾值，將低于閾值的所有值賦零值，對非極大值抑制幅值進行閾值化的結果是一個圖像I(i,j)的邊緣陣列，閾值化后得到的邊緣陣列仍然有假邊緣存在，利用累計統計直方圖得到一個高閥值T1，然后再取一個低閥值T2，設定：

(7)

如果圖像信號的響應大于高閥值，那么一定是邊緣；如果低于低閥值，那么一定不是邊緣；如果在低閥值和高閥值之間，就看其8個鄰接像素有沒有大于高閥值的邊緣，如果有，那么是邊緣，否則不是邊緣。

5) 邊界尋跡及低灰度混合連接圖像邊緣

把以上非極大值仰制的邊緣點給出的脊的頂部一條細線作為邊界尋跡；采取將一條細線周圍檢測邊緣寬度的3-11Pix的有效低灰度包圍起來進行連接，形成邊界尋跡及低灰度混合連接圖像邊緣。

有效低灰度是指大于25Pix且在0～255灰階中占有一定比例，且占有有效最高灰階的10%～60%范圍，將低于25Pix且在0～255灰階中沒有占有一定比例未達到10%以上比例的去除。

有效低灰度=最近有效灰度+(10%～60%)調節部分灰度。

6) 混合連接圖像邊緣二值化，求取判斷產品正反面的規則

圖像本身像素由不同灰度的像素組成，灰度值本身存在利用最大和最小函數分別寄存周邊的極大灰度值H和極小灰度值L，灰階門限是軟件界面上可調節部分，也就是設定一個灰階值大于等于這個值得將此灰階值重新置位255，小于此門限灰階值得重新置位為0，實現對圖像進行需要的二值化圖像，完成以下邊沿提取后，利用二值化灰階處理方式，有兩種判斷方式及相應的標準。

實施方案如下：

二值化灰階后的混合連接圖像邊緣的高低灰度面積或周長；先獲取當前圖片的最高灰度H與最低灰度L即：

(8)

K代表計算的各極值的個數，式(8)也是求和取平均的公式。

根據兩灰度的差值平均設定一個合適的灰階門檻，計算出檢測區域二值化后的二值像素面積SH、SL，對處理過后的梯度圖像用雙閾值算法連接，有效最高灰階M的范圍為10%～60%，得到邊緣圖像。

對于一個圖像區域，其面積SH或SL是圖像區域中有效像素點數，則有判斷產品正反面的混合連接圖像邊緣的高低灰度面積參數公式為：

SL=Sum(L1+L2+L3...+LK)

(9)

SH=Sum(H1+H2+H3...+HK)

(10)

A=SL+SH

(11)

邊緣面積灰階為：

用于暗點或陰影判斷時：K=SL/SL+SH

用于亮點或亮影判斷時：K=SH/SL+SH

其中的SH和SL分別為有效像素數量和代表有效像素面積值；有效像素面積則代表整個檢測方框的像素數量。

根據產品正反面圖像灰階面積比例檢測系數K，判斷邊緣圖像正反面，其中60%≥K≥10%，用于暗點或陰影判斷，判斷為反面，當K大于等于反面標識比例，則判定此時檢測面為產品反面，否則此時檢測面為產品正面。

4 工作裝置智能識別分揀方法過程

智覺圖像智能識別分揀方法在PC機(5)內部預存圖像邊緣數字化處理識別程序中，包括檢測時機的設置及正反面判斷，其過程如下：

1) 檢測區域包括監控輸送軌道(7)的左檢測窗口(231)、主檢測窗口(232)、副檢測窗口(233)和右檢測窗口(234)，當2個產品頭尾相連時軟件會智能在左檢測窗口(231)和副檢測窗口(233)同時識別并處理，實現連續產品的分界線的分辯檢測。

2) 對于上述的各個檢測窗口，當圖像設定檢測區域 ≥ 2/3方框檢測到與背景色有異的灰度值時，判定雙金已進入檢測區域。

3) 左檢測窗口( 231 )對產品的檢測為在線檢測，左檢測窗口( 231 )和副檢測窗口(233)均采用到位有效像素點檢測，到位有效像素點區域的面積根據實際調節設定，判斷依據為設定區域的面積 ≥ 100個像素，在產品進入即開始產品正反面檢測，在主檢測窗口(232)的區域前端設置有吹氣口一(25)，在產品頭部進入左檢測窗口(231)時不檢測，當產品的尾部進入左檢測窗口(231)，尾部的有效像素點面積 ≥ 100個像素，給出產品運行到位的信號，主檢測窗口(232)開始檢測，主檢測窗口(232)依據有效灰度點檢驗產品上表面，判斷為正面產品正常通過，當判斷為反面產品時，產品的頭部已進入副檢測窗口(233)，該副檢測窗口(233)的區域前端設置有吹氣口二(26)，當產品的頭部有效像素點面積 ≥ 100個像素，給出產品運行到位的信號，開始檢測，判斷為反面朝上則吹氣，吹掉反面產品，判斷為正面朝上則不吹氣，正面產品正常通過。進入右檢測窗口(234)時，右檢測窗口(234)的區域另外設置有吹氣口三(27)，系統再一次判斷，判斷為反面朝上則吹氣，吹掉反面產品，判斷為正面朝上則不吹氣，正面產品正常通過。

4) 副檢測窗口(233)判斷產品是否離開吹氣口，判斷標準為：產品的有效像素點≥檢測窗口豎向高度的50%，橫向有效像素點≥3個點相連成一排，則產品經過了吹氣口離開，離開左檢測窗口區不檢測。

5) 設定反面產品有效像素的下限值，左檢測窗口(231)反面產品幀黑顯示，有效黑點≥ 有效像素的下限值，判斷為反面產品，此為第1個反面判斷條件；產品進入主檢測窗口(232)，主檢測窗口(232)中的產品上中下部顯示的黑點≥50%，主檢測窗口的長度距離時，判斷為反面產品，此為第2個反面判斷條件；檢測反面有效比例k，滿足反面有效比例k，判斷為反面產品，此為第3個反面判斷條件。

5 應用實例與效果評析

1) 實施例1

雙金置于輸送軌道移動速度25個/min，經過CCD相機視覺下，將本智能識別方法用于動態檢測雙金有字面的識別，檢測項目及參數分別是：在原始圖中，利用像素尺寸為752×480 Pix；幀率為MAX60F/S的CCD，對連續運動的雙金有字面通過動態檢測和程序，得到邊界尋跡及低灰度混合連接圖像邊緣，在邊界尋跡及低灰度連接混合圖中，高斯濾波器的標準方差設置為3，檢測邊沿最大寬度設置為11 Pix；二值化圖中，邊沿寬度選擇≥3，在直方圖中，利用本檢測方法得到雙金有字面的檢測參數：有效像元數為56 672 Pix，最高有效灰度是255 Pix，最低有效灰度是94 Pix；高灰度面積SH為42 852 Pix，低灰度面積SL為13 820 Pix，檢測比例K為0.2～0.42，利用檢測比例K經過1 500萬產品的檢測，雙金有字面的百萬合格率為100%。

2) 實施例2

幀率為MAX60F/S的CCD，對連續運動的雙金無字面通過動態檢測和程序，得到邊界尋跡及低灰度混合連接圖像邊緣，在邊界尋跡及低灰度連接混合圖中，高斯濾波器的標準方差設置為3，檢測邊沿最大寬度是7 Pix；二值化圖中，邊沿寬度選擇≥3，在直方圖中，利用本檢測方法得到雙金無字面的檢測參數：有效像元數為56 672 Pix，最高有效灰度是248 Pix，最低有效灰度是140 Pix；高灰度面積SH為56 464 Pix，低灰度面積SL為208 Pix，檢測比例K為0.68～0.8，利用檢測比例K經過1 600萬產品的檢測，雙金無字面的百萬合格率為100%。

一種智覺圖像智能識別分揀方法及裝置結構簡單，采用具有CCD相機+PC+PLC+可視化觸摸窗口+軌道氣吹硬件與圖像邊緣數字化處理模型，適應了在線高速攝像快速識別和分揀，能夠保證 100% 的識別和分揀，自動化智能化水平高，顯著提高了工作效率和質量。該一種智覺圖像智能識別分揀方法及裝置已獲得了國家發明專利。

參考文獻:

[1] 劉仁云，孫秋成，王春艷. 數字圖像中邊緣檢測算法研究[M]. 北京:科學出版社,2015.

[2] 汪岳. 基于邊緣檢測經典算法的改進與研究[D]. 合肥：安徽大學，2012.

[3] 馮伍，張俊蘭，苗秋瑾.幾種典型邊緣檢測算子的評估[J]. 電子設計工程, 2011,19(4):131-133.