基于HALCON的印花鞋面剪裁圖像處理系統設計

，

(東華大學 機械工程學院，上海 201620)

0 引言

隨著國內外鞋面剪裁系統逐漸成為一系列具有智能化、自動化、可視化的多功能數控集成系統。機器視覺代替人眼對目標進行識別愈發廣泛，部分剪裁切割機擁有專業的機器投影軟件對切割對象進行定位切割，但由于其系統功能相對單一且有局限性，對于不同圖案印花鞋面不能進行有針對性的輪廓剪裁。而多數制鞋廠還在利用人工剪裁和模具切割鞋面，造成人員浪費且工作效率低。

針對以上問題，本文提出將機器視覺技術運用于運動鞋面剪裁系統。利用HALCON圖像處理軟件平臺，將經過一定圖像處理的標準印花鞋面圖像作為模板與實時拍攝得到的待剪裁鞋面圖像進行圖像匹配，從而得到印花鞋面的剪裁輪廓信息。先對標準印花鞋面進行圖像采集，再利用中值濾波方法對其進行圖像去噪以減少成像設備與外部環境等噪聲干擾，進行閾值分割得到二值圖像，利用連通區域面積篩選得到標準印花區域，再對印花區域圖像進行Canny邊緣檢測得到標準印花輪廓作為特征空間建立帶有旋轉縮放的模板。對待剪裁印花鞋面進行圖像采集，并同樣進行中值濾波進行圖像去噪，利用金字塔分層搜索策略以及Hausdorff距離作為相似性度量，尋找帶尺寸形狀模板最佳匹配仿射變換得到待剪裁印花鞋面的剪裁輪廓信息，為接下來控制系統進行印花鞋面剪裁提供剪裁信息。

1 系統總體設計

印花鞋面剪裁圖像處理系統包括圖像采集、圖像預處理、邊緣檢測、圖像匹配等部分，如圖1所示。本文印花鞋面剪裁圖像處理系統利用德國MVtec公司研發的HALCON機器視覺算法包實現，利用其集成開發環境與靈活的構架可大大縮短圖像處理開發周期、且穩定性高等特點。

圖1 印花鞋面剪裁圖像處理流程圖

2 印花鞋面圖像采集及預處理

2.1 圖像采集

圖像采集是圖像處理的第一步，是將數字圖像由彩色RGB圖像轉化為灰度圖像[1]，則得到的灰度圖像為:

f(x,y)=0.299R(x,y)+0.587G(x,y)+0.114B(x,y)

(1)

其中:R(x,y)、G(x,y)、B(x,y)分別為彩色圖像中各像素點紅、綠、藍的值。如圖2所示為采集得到的鞋面灰度圖像。

圖2 印花鞋面灰度圖像

2.2 圖像去噪

數字圖像常包含圖像噪聲，圖像噪聲會使圖像質量下降，掩蓋圖像的重要信息。數字圖像在傳輸過程中常受到外部環境噪聲干擾等影響，圖像去噪可有效減少數字圖像中噪聲的影響。每幅圖像都包含某種程度的噪聲，其實噪聲可是看作是由多種原因造成的灰度值的隨機變化[2]，是一種平穩的隨機過程[3]。

圖像去噪常用的方法有均值濾波、高斯濾波、鄰域平均法、中值濾波、小波去噪等。由于接下來要進行邊緣檢測，需要在良好的去噪效果下保留比較完整的邊緣信息，所以本文采用中值濾波進行圖像去噪處理。中值濾波在去噪的同時能保留更好的邊緣輪廓信息[4]。

中值濾波是一種非線性濾波技術，其基本原理是把數字圖像中每一像素點的灰度值設為該點的一個鄰域內所有像素點灰度值的中值。通過使用隨機選擇算法，中值可以在線性時間內算出來[5]。將鄰域灰度差值較大的像素改取為與像素值接近的值，從而消除孤立的噪聲點，對去除椒鹽噪聲非常有效，可以達到既平滑噪聲又保護圖像邊緣信息的目的。設原始圖像為f(x,y)，二維模板窗口為W，窗口中的坐標為(i,j)，則經中值濾波處理后的圖像為:

g(x,y)=Med

(2)

首先排列圖像中像素點強度的大小，再利用排序好的像素點的集合的中值作為二位模板窗口中間點的新值。一般利用像素點為奇數的窗口來計算圖像中值，若為偶數像素點窗口時，則取其中間兩點的平均值作為其像素點的中值。

在HALCON中實現中值濾波采用median_image算子。如圖3所示，中值濾波后的圖像有效去除了圖像噪聲，并保留了邊緣的銳利程度。

圖3 圖像去噪局部圖

2.3 印花圖形定位

在圖像進行上述處理后，為了得到圖像中印花部分的信息，需要對濾波后的圖像進行印花部分的定位，如圖4所示。本文印花圖形定位步驟如下：

1)將圖像進行閾值分割。圖像分割就是提取圖像中與感興趣物體相對應的那些區域，以一幅圖像作為輸入，返回一個或多個區域或亞像素輪廓作為輸出[6]。閾值分割是利用圖像的閾值進行分割，利用閾值作為一個圖像像素灰度的臨界值，將圖像區分得到不同的區域。由于圖像像素灰度值是圖像自身的屬性，所以當圖像中感興趣的物體所在的區域與圖像的背景灰度值差距較大時可以利用閾值分割以提取圖像中感興趣的區域。閾值分割方法計算量小、易實現，且簡化了圖像的復雜程度。在HALCON中采用bin_threshold算子實現。

2)提取連通區域。閾值分割后得到是多個區域，而圖像中感興趣的目標一般為相互連通的像素集合。而為了獲得獨立的每一個區域，需采用connection算子計算分割后所得區域內所包含的所有連通區域。如圖4(b)，對圖像進行連通區域后，目標區域與不相關的區域被區分開。

3)通過區域面積篩選得到相應印花區域。其中面積計算采用area_center算子，篩選面積區域采用select_shape算子。

圖4 印花圖形定位

3 邊緣檢測

3.1 邊緣檢測基本方法

圖像邊緣是指其一定范圍內像素灰度發生明顯變化的像素的集合，是圖像的最基本的特征之一。圖像邊緣往往對應真實景物等目標的邊緣，最能反映圖像中景物的特征，正如人類的視覺系統也是根據目標邊緣識別的。邊緣也是位置的標志，且圖像邊緣受到遮蔽、非線性光照等的影響很小，因此邊緣也是圖像匹配中的重要特征。

邊緣檢測則是達到標識數字圖像亮度發生明顯變化的地方的目的，不僅可以大幅度減少數據量，且可以去除不必要的信息，并保留圖像的基本屬性。邊緣檢測的方法一般可分為兩種：圖像的一階微分方法和二階微分方法。

圖像的一階微分邊緣檢測方法是利用梯度來檢測局部特征的顯著變化，正如函數變化程度需用一階導數表示[7]。對于連續函數f(x,y)，其在點(x,y)處梯度定義為：

(3)

梯度是一個矢量，函數的梯度方向是導數取最大的方向，用θ(x,y)表示梯度方向為:

(4)

梯度θ(x,y)的幅度為:

(5)

圖像的二階微分邊緣檢測方法是利用圖像灰度的二階導數的零交叉點來精準確定邊緣點位置，相當于拉普拉斯算子過零。拉普拉斯值定義為:

(6)

但利用拉普拉斯算子進行邊緣檢測呈各向同性，且對較細的線和孤立點檢測效果較好，但常出現雙像素邊緣。本文采用一階導數對圖像進行邊緣提取。

3.2 Canny邊緣檢測

對于運動鞋面圖像有物體干擾紋理，需對信號先進行平滑處理以抑制噪聲，可以通過圖像與平滑濾波進行卷積實現，設平滑濾波脈沖為h(x,y)，則圖像平滑后的圖像為:

g(x,y)=f(x,y)?h(x,y)

(7)

后可利用一階導數對平滑后的圖像進行邊緣提取，根據式(3)與式(7)得平滑后圖像的梯度為:

▽g(x,y)=▽[f(x,y)?h(x,y)]

(8)

而利用卷積的特殊運算特性，平滑后圖像的梯度有:

▽g(x,y)=▽[f(x,y)?h(x,y)]=f(x,y)?▽h(x,y)

(9)

即可得到邊緣檢測過程可以利用原圖像與平滑濾波的一階微分的卷積運算實現。Canny邊緣檢測給出最優邊緣檢測的3個評價準則：低錯誤率、高定位性和最小響應。其中低錯誤率是指邊緣檢測要保證檢測的高質量性，減少圖像每個邊緣點的錯誤檢測和漏檢的可能性，保證其圖像輸出信噪比最大化。高定位性是要保證檢測得到的邊緣與真實邊緣盡量靠近，使得到的邊緣方差最小。最小響應為保證得到有且只有一條邊緣，去除多種響應的可能。Canny使用變分法，最優檢測到近似于高斯函數的一階導數，則可選擇高斯平滑濾波器卷積降噪[8]。Canny邊緣檢測算法如下：

1)利用高斯濾波平滑圖像。

2)利用一階微分邊緣檢測方法計算梯度矢量。

3)用梯度的幅值進行非極大值抑制。即在梯度方向上比較鄰域像素梯度幅值，去除鄰域內梯度幅值的非極大點，使得邊緣寬度變細。

4)利用滯后閾值進行檢測和連接邊緣。由于去除非極大點仍會使圖像包含一些由噪聲與紋理等導致的假邊緣，需利用滯后閾值方法(高、低兩閾值)約束。保留幅值超過高閾值的像素作為邊緣像素，去除低于低閾值的像素，而幅值在高低閾值間的像素則只有與被保留的邊緣像素相鄰時才會被保留，直至邊緣像素間無斷點為止。

在HALCON中實現Canny邊緣檢測采用edges_sub_pix算子，邊緣檢測后圖像如圖5所示。

圖5 Canny邊緣檢測圖像

4 印花圖像匹配

圖像匹配是印花鞋面剪裁過程中的重要環節，對標準印花鞋面與未進行識別的印花鞋面進行匹配，通過標準鞋面印花與實時采集的鞋面印花的匹配程度來判斷鞋面是否符合剪裁標準，并得到剪裁輪廓信息。

4.1 圖像匹配

圖像匹配是通過一些算法在兩幅及以上的圖像之間識別共同目標的過程[9]。但由于目標物體類型較為特別且經常會發生變化，例如圖像在不同光照條件、不同時間、不同傳感器、不同視角下等外界條件的改變。為更好地識別出目標物體，可通過目標物體內容、灰度、結構、紋理和特征等要素建立多幅圖像的關系來找尋相似要素的方法。為更為方便描述，在兩幅圖像進行匹配時，可將其中一幅圖像作為匹配模板圖像，另一幅圖像作為目標匹配圖像。設兩幅待匹配圖像分別為f1(x,y)和f2(x,y)，f1(x,y)作為匹配模板圖像，f2(x,y)為目標匹配圖像。則兩幅圖像間的變換關系利用數學定義為:

f2(x,y)=g(I(f1(x,y)))

(10)

其中:g為一維的灰度變換，I為二維的坐標變換。

圖像匹配會受到傳感器噪聲與使用、成像視角和光照變化、目標變形和移動等因素影響，為解決以上問題，因此圖像匹配算法基本由以下要素組成：

1)特征空間。由參與匹配的圖像特征組成的特征集，例如圖像中提取的點、線、顏色、圖像之間的空間關系等。特征空間決定了匹配的性能、數據量、算法執行效率等，優秀的特征選擇可降低不確定因素對圖像匹配的影響。

2)相似性度量。用來度量待匹配特征間的相似性的指標，例如相關度量、距離函數和概率度量等。

3)圖像變換類型。指圖像匹配中的圖像進行的幾何變換，即圖像中像素點的幾何位置變化，例如平移變換、比例變換、旋轉變換等。使匹配圖像與待匹配圖像像素點間達到一一對應。

4)搜索策略。用于提高搜索效率的策略，用適合的方法在搜索空間內找出變換參數的最優值，使圖像變換后得到最大相似性。在圖像匹配中只利用相似性度量進行匹配的計算量巨大且速度慢，其算法的復雜度為O(whn)，其中w和h分別為圖像的寬度和高度，n為匹配模板像素點的數量，通過合適的搜索策略可以改變其算法復雜度。

4.2 基于形狀的模板匹配

圖像匹配方法可分為兩大類，基于灰度的匹配和基于特征的匹配。基于灰度的匹配是利用統計相關的方法搜索圖像信號間的相關性的匹配方法。但基于灰度的圖像匹配計算量較大、效率較低，本文并不采用。基于特征的匹配是利用兩幅或多幅圖像的特征進行參數描述的匹配方法，常用的特征為點、邊緣、區域等特征。基于特征的匹配計算量較小、且提高了匹配的精準度。

本文采用基于特征的模板匹配，即以標準圖像為模板，待匹配圖像中尋找標準圖像特征相似的特征的匹配。特征空間采用邊緣檢測得到的亞像素輪廓。相似性度量采用Hausdorff距離，可以很好的避免圖像混亂和遮擋情況。設模板圖像邊緣點集為A，待匹配圖像邊緣點集為B，則Hausdorff距離定義為:

(11)

Hausdorff距離其實是標準模板圖像邊緣與最近的匹配圖像邊緣間的最大距離以及匹配邊緣與最近的模板邊緣間的最大距離的最大值，即h(A,B)與h(B,A)的最大值。且Hausdorff距離度量遵循匹配模板圖像與目標圖像越相似，其值越小的原則。

圖像變換類型采用仿射變換，在圖像匹配過程中，待匹配圖像由于攝像機與物體間的距離變化，會導致圖像中物體發生明顯的尺寸變化。物體的位置不能通過簡單的平移和旋轉變換來表示，可用仿射變換表示。仿射變換由平移、縮放、旋轉這些基本變化構造而來。若原始坐標為(x,y)，則仿射變換表示如下:

(12)

其中:a11、a12、a21和a22表示線性變換，a13和a23表示平移部分，齊次坐標。

搜索策略采用金字塔分層搜索策略，金字塔是由粗到精的加速搜索算法，以在不同尺度上尋找物體。為提高搜索速度可以在匹配模板圖像與目標圖像間的點的集合中得到匹配模板圖像的大致位置，再利用間隔更小的點的集合在已經得到的大致位置中進一步搜索得到精準的結果。但對圖像進行二次抽樣可能會使圖像結果產生鋸齒甚至丟失匹配模板圖像的實例，且對圖像直接縮小過大的比例不如使圖像多次縮小較小的比例的效果優秀。所以可以建立目標圖像與匹配模板圖像多次縮小較小比例而形成類似于金字塔的數據結構。圖像金字塔是以金字塔結構逐層分辨率降低且源于同一圖像的集合。金字塔第一層即最底層為待處理圖像，隨層數越高，其圖像尺寸和分辨率越低。為確定匹配位置，需在金字塔頂層進行模板的相似性度量，并通過匹配分值進行加速搜索。圖像金字塔搜索方法如下，選擇適當層數的圖像金字塔，在金字塔頂層進行完整匹配，將匹配的實例映射到金字塔的下一層以確定新的搜索區域，對新的搜索區域進行匹配，循環上述搜索直至映射到圖像金字塔第一層。通過金字塔分層搜索可以合理減小搜索區域、減少運算量并加速了搜索[10]。

圖6 圖像模板匹配流程圖

圖6為基于特征的圖像模板匹配流程圖，其算法關鍵算子如下：

1)創建模板。使用XLD創建帶有縮放的匹配模板，在HALCON中采用create_scaled_shape_model_xld算子實現。

2)保存模板。在HALCON中采用write_shape_model算子實現。

3)讀取模板。讀取上述保存好的模板，在HALCON中采用read_shape_model算子實現。

4)尋找模板。尋找單個帶尺寸形狀模板最佳匹配，得到圖像中模板的點、位置、角度、尺度和匹配值，在HALCON中采用find_scaled_shape_model算子實現。

5)獲取模板輪廓。并選擇對應金字塔層數，在HALCON中采用get_shape_model_contours算子實現。

6)歷遍圖像進行圖像變換。其中單匹配計算剛性變換矩陣利用vector_angle_to_rigid算子實現。增加放縮到2D齊次仿射變換矩陣、實現仿射變換，利用hom_mat2d_scale算子和affine_trans_contour_xld算子實現。循環使用for...endfor算子實現。

如圖7所示，通過模板圖像得到匹配圖像的剪裁輪廓信息。

圖7 匹配圖像的剪裁輪廓圖像

4.3 實驗數據與分析

利用上述圖像匹配方法進行HALCON軟件實驗，通過對多個未剪裁鞋面與標準鞋面圖像進行匹配，如表1所示為部分鞋面圖像匹配率和匹配時間。

由表1可以得出圖像匹配率基本都在98.8%以上，且匹配時間不超過0.13 s。其平均匹配率為98.88%，平均匹配時間為0.109 8 s，適用于印花鞋面剪裁圖像處理系統要求。

表1 部分鞋面圖像匹配率和匹配時間

5 總結

本文利用HALCON軟件對大量未剪裁印花鞋面進行模板匹配實驗，其匹配率達98.8%，不超過0.13 s便可匹配得到印花輪廓信息。

本文針對印花鞋面剪裁技術不完善效率低下等，將機器視覺技術運用到制鞋生產線中的鞋面剪裁環節，實現對印花鞋面自動匹配篩選得到匹配率和效率較高的鞋面剪裁輪廓信息，并完成具有自動化、智能化的鞋面剪裁生產線系統中的關鍵技術研究。對制鞋業未來全部實行全自動化生產流水線具有一定的應用價值。