分水嶺算法耦合感興趣區域識別的智能機械手工件定位*

李培豐，喬良才

(1.中國礦業大學 信息與電氣工程學院，江蘇 徐州　221000；2.江蘇省徐州技師學院 機械工程學院，江蘇 徐州　221000；3 .徐州工程學院 信電工程學院，江蘇 徐州　221002)

?

分水嶺算法耦合感興趣區域識別的智能機械手工件定位*

李培豐1,2，喬良才3

(1.中國礦業大學 信息與電氣工程學院，江蘇 徐州221000；2.江蘇省徐州技師學院 機械工程學院，江蘇 徐州221000；3 .徐州工程學院 信電工程學院，江蘇 徐州221002)

摘要：為了解決基于圖像處理技術的工件定位技術嚴重依賴機械定位與缺乏視覺功能而導致算法的自適應與定位精度不佳等不足，文章提出一種基于圖像處理的智能機械手定位算法，并對其中的圖像處理算法進行研究和實現。首先，根據經驗值設定感興趣區域，并實時計算像素灰度平均值，判斷是否存在材料工件；然后將閾值控制嵌入分水嶺算法中，避免過渡分割，凸顯材料工件區域，計算出材料工件中心點坐標；并引入強度變化閾值和最小允許距離，基于Harris角點檢測算法，刷選出最佳角點，定位材料工件的邊角坐標，從而計算材料工件旋轉角度。最后編程實現文中算法。實驗測試表明：并與當前技術相比較，文中算法定位精度更高，可以應用于智能機械手的視覺定位系統。

關鍵詞：機械手；分水嶺；Harris角點；灰度平均值；圖像處理

0引言

為了提高生產效率，很多工廠引入了機械臂，來代替人工作業，以提高了生產效率。然而，機械臂本身并不帶有人眼功能，缺乏視覺功能，使其適應變化能力較差。因此，需要開發出帶視覺功能的機械手，適應環境的變化。

目前，將圖像處理、模式識別、計算機視覺運用于工業機械機器視覺的應用案例有很多，有目標定位類、顏色識別類、形態特征測量類等等[1-2]。機械手的視覺功能屬于目標定位類。當前基于圖像處理的視覺目標定位技術，主要有兩種：基于灰度特征、基于形態特征。基于灰度特征進行定位，主要依賴于圖像目標的灰度值大小，而灰度值受成像采集時外界光源的影響[3]。如果外界光源穩定，則成像灰度值穩定，使得該技術的定位效果也穩定；但是工業工程環境的光源往往是不穩定的。基于形態特征進行定位，也就是模板匹配，提取目標形態特征，與模板特征比較，距離最近的，即是定位目標[4]。但是模板匹配，受目標形態大小和旋轉角度影響較大。在工業工程環境中，待定位目標往往不能保證沒有角度上的旋轉，因此基于形態特征的模板匹配方法也是不穩定的[5]。

為了解決上述不足，本文賦予機械手視覺功能。提出了基于圖像處理的智能機械手工件定位算法。本文通過采用先粗定位、后細定位的形式完成機械手精確抓取工件。根據不同工件在軟件里自動生成了ROI區域(Region of Interest，感興趣區域)，縮小搜索范圍，提高算法效率，即粗定位。再利用分水嶺算法對弱邊緣的良好分割效果，規避了不穩定光源的影響，提高定位精度與穩定性，即細定位，從而使得機械手能夠準確判別材料的存在，并準確定位工件中心；并利用強度變化閾值和最小允許距離，聯合Harris角點檢測，使得機械手能夠適應帶有旋轉角度的工件定位，增強其自適應性。

1本文算法設計

圖1　本系統架構圖

本文算法的目標是：①判斷視野中是否有材料工件。②定位材料工件，計算中心點坐標。③檢測材料工件兩個頂點，計算材料工件旋轉角度。得到這三個結果，以信號的形式傳遞給機械手，機械手就能準確定位。使得機械手就具備了視覺功能，能應對工程環境的變化。首先，算法從采集圖像開始，先進行灰度化、ROI區域灰度值提取處理，計算出平均灰度值，以經驗值為標準，評判視野中是否存在材料工件。然后，算法采用分水嶺圖像分割方法，分割出材料工件，在此基礎上，再用閾值分割，進一步分割出材料工件，并標注出目標輪廓，計算材料工件中心坐標點。最后，基于Harris角點檢測，并引入方向強度變化閾值和最小應允距離優化角點檢測，計算出材料工件旋轉角度。本文算法流程見圖1。

1.1基于ROI與灰度均值的材料工件識別檢測

首先材料工件位置可確定在視野中部，故無需對整個圖像進行處理，只需劃定ROI區域，保證目標在ROI區域內。將ROI區域定在1/4寬到3/4寬，1/4高到3/4高處。在本文中ROI區域為圖像處理算法處理的區域；而圖像中非ROI區域不做圖像處理。ROI的劃定依據就是來自后臺數據庫對應工件的標準值。該值在開發初期經過大量樣本特征學習而確定，并經過大量盲測驗證通過。不同工件對應不同的標準值，軟件根據不同工件型號從后臺數據庫中自動調出對應的標準值。經過大量材料工件測試后，材料工件出現在圖像中的大體范圍，這個范圍也就是ROI區域,。

以圖2為例，由于所需定位材料工件是白色，背景是黑色，白色灰度值高于黑色灰度值。故如果存在材料工件，ROI區域整體灰度值偏高，而如果不存在材料工件，如圖3所示，ROI區域整體灰度值偏低，以此依據來實現視野中材料工件有無的判斷。本算法通過提取ROI區域，計算ROI區域灰度平均值。對于本文研究的工件，軟件從后臺數據庫中自動調出對應的標準值，確定以經驗值超過200，判定材料工件存在，低于50，判定材料工件不存在。區域灰度平均值為：

(1)

式中m×n矩陣中元素代表圖像矩陣中灰度值，對該矩陣元素求和求平均值，即求得圖像該區域灰度均值。

如圖4、圖5所示，分別為有材料工件和無材料工件的情況下，視野中ROI區域展示。

圖2　有材料工件圖像

圖3　無材料工件圖像

圖4　有材料工件圖像ROI

圖5　無材料工件圖像ROI

1.2基于分水嶺算法的材料工件定位

分水嶺算法對微弱邊緣具有良好的分割效果，可以銳化出圖像目標表面灰度、噪聲變化，可以得到封閉連續邊緣，它是把圖像視為測地學上的拓撲地貌，每個點灰度值看作該點的海拔高度，局部極小灰度值為集水盆，集水盆的邊界看作分水嶺[6-7]。由于本文研究對象的邊緣存在微弱特性，即與背景難以分辨，故采用分水嶺分割算法。分水嶺的計算過程是迭代標注的過程，首先對各個像素灰度值進行高低排列，然后由低到高進行注水淹沒，每個極小值采用先進先出的方式進行標注，分水嶺變換得到集水盆之間的邊界，即圖像目標與背景的邊緣信息[8]。其以梯度圖像為算法的輸入，因為梯度圖像更能凸顯圖像邊緣差異。梯度圖像的求解模型為：

grad(f(x,y))=

(2)

其中，grad(f(x,y))為梯度圖像中坐標(x,y)處的梯度值，f(x,y)為灰度圖像中坐標(x,y)處的灰度值。分水嶺算法處理的輸入為梯度圖像。

為降低分水嶺算法的過渡分割，本文加入自動閾值分割，該閾值根據最大類間理論，分別與圖像灰度最高值與最低值進行方差計算，以方差達到極大值時的閾值為處理結果。該過程由編程實現，自動在軟件后臺運行生成結果，無需人工干預。對于本文特定的工件，確定閾值為219，從而消除灰度的微小變化產生的過渡分割，如式(3)所示：

G(x,y)=max(grad(x,y),yu)

(3)

式中yu為過分割控制閾值，G(x,y)為處理后的(x,y)坐標灰度值。

分割得到包含材料目標的區域后，計算其中心點坐標：

(4)

式中m,n為目標出現區域長、寬；(Dx,Dy)為中心點坐標,(i,j)為圖像中某點。

以圖6為待處理目標，通過分水嶺算法分割后，結果見圖7。依圖可知，該技術有效將目標分割出來。為了進一步精確分割，在此基礎上，進行閾值分割。因為此時經過了分水嶺分割，圖像中目標已經非常明顯。經過閾值分割，閾值定為200，得二值化圖，如圖8所示。最后為了展示出分割的精確效果，將分割結果描紅在目標輪廓上，如圖9所示。

圖6　原圖

圖7　分水嶺分割效果圖

圖8　閾值分割圖

圖9　定位結果圖

1.3基于Harris角點的材料工件旋轉角度計算

角點是兩條邊緣的交點，與位于相同強度區域的點不同，與物體輪廓上的點也不同，物體輪廓上的點難以在其他圖形的相同物體上精確定位[9]。本文測量材料工件旋轉角度，采用在材料工件上抓取兩點后連線計算角度，故采用基于檢測角點的方法。

Harris角點檢測，為了定義圖像中的角點，計算特征點周圍小窗口內方向性平均變化，如式(5)所示：

R=∑(I(x+u,y+v)-I(x,y))2

(5)

式中R為方向性平均變化值，(u,v)為偏移向量。這是檢測某點各個方向的變化強烈。然后計算垂直方向的變化是否強烈，兩個條件同時滿足則判為角點。

一般Harris角點檢測往往會檢測出較多角點[10-11]，如圖10所示。為此，本文利用強度變化閾值和最小允許距離這兩個指標來篩選出最佳角點。強度變化閾值即評判角點等級，評判方向強度變化是否足夠強烈。通過強度變化閾值來控制檢測閾值，避免角點過檢；而最小距離為兩個角點之間的允許距離，若在一定距離內出現兩個角點，則剔除方向強度變化較小的值。通過利用最小允許距離來控制兩個角點的最小距離，從而控制角點的數量。引入這兩個值后，Harris角點檢測精準檢測出本文角點目標如下圖11所示。

圖10　角點檢測結果

圖11　角點檢測優化圖

2實驗與討論

利用VS2010平臺測試本文技術的定位性能。同時，為了體現本文方案的先進性，將當前定位性能較好的視覺定位技術視為對照組，分別為：文獻[3]與文獻[4]，其中，文獻[3]是基于灰度特征的視覺定位技術，文獻[4]是基于模板匹配的視覺定位方法。實驗參數設置如下：灰度分割閾值統一設置為179。以圖12為測試樣本，利用本文技術與對照組方案對其完成定位，結果見圖13～圖17。

圖12　原圖

圖13　閾值分割效果圖

圖14　基于閾值分割的定位效果圖

圖15　待處理圖

圖16　模板匹配效果圖

圖17　本文定位效果圖

依圖可知，本文算法的定位準確度最高，精準定位出材料工件輪廓、中心坐標點、兩個角點，見圖17。主要是因為本文采用了ROI提取、平均灰度值判斷材料工件是否存在；并利用分水嶺分割定位材料工件輪廓位置和中心點坐標；采用harris角點檢測定位材料工件頂點、計算旋轉角度，為機械手提供了良好穩定的視覺功能。而對照組文獻[3]的視覺定位方案由于圖像灰度依賴于環境光線，當光線過強或過弱，會出現過分割或欠分割，使其只分割出，部分目標見圖13，導致其定位精度不高，見圖14，有一部分目標沒檢測出。而對照組文獻[5]視覺定位方案在圖像目標出現旋轉角度時往往沒有很好的耦合性，在對圖12進行水平翻轉后得到圖15，即使材料工件存在與原目標不同的旋轉角度，利用基于模板匹配的視覺定位處理圖15，結果見圖16，沒有對材料工件輪廓定位準確，明顯存在偏移。可見基于模板匹配的視覺定位沒有很好的耦合性，其定位效果沒有考慮角度的變化。

為了對三組算法展開進一步對比，在光源不穩定的條件下進行測試其定位性能。挑選100個材料工件進行定位，每個分別用三組算法定位，最終統計結果如表2。依圖可知，本文算法的定位準確度要顯著優于2個對照組。原因是文獻[3]主要依賴圖像灰度值，易受成像采集時外界光源的影響，在外界光源穩定，其成像灰度值不穩定，導致其定位精度較低；而文獻[4]一種模板匹配技術，受目標形態大小和旋轉角度影響較大。

表1　定位精度對比測試

3結論

為了實現對機械手提供視覺功能，本文從檢測目標有無、定位目標坐標和輪廓、檢測目標角點和旋轉角度三個方面展開研究，用圖像處理的方法將這三個問題逐一解決。運用ROI與平均灰度值特征，實現材料工件有無檢測；運用分水嶺算法，實現材料工件定位；運用Harris角點檢測，實現材料工件旋轉角度的計算。實驗測試表明：并與當相關前技術相比較，本文算法能夠適應帶有旋轉角度的工件定位，降低了外界光源的影響，從而擁有更高的自適應性與定位精度。

[參考文獻]

[1] 袁清珂, 張振亞, 吳暉輝. 基于機器視覺系統的自動檢測系統設計與開發[J]. 組合機床與自動化加工技術，2014(11)：119-121.

[2] Zhaoyang Wang, Hien Kieu, Hieu Nguyen. Digital image correlation in experimental mechanics and image registration in computer vision: Similarities, differences and complements [J]. Optics and Lasers in Engineering, 2014, 38(65): 18-27.

[3] 李煊. 基于單目視覺的水下圖像分割及目標定位技術研究 [D]. 哈爾濱：哈爾濱工程大學，2013.

[4] 周麗莎. 基于模板匹配的視覺定位技術研究與應用[D]. 大連：大連理工大學，2012.

[5] Hong Song, Qingjie Zhao, Yinghong Liu. Splitting touching cells based on concave-point and improved watershed algorithms[J]. Frontiers of Computer Science, 2014, 8 (1): 156-162.

[6] X XIAO, B BAI, N XU. Adaptive striping watershed segmentation method for processing microscopic images of overlapping irregular‐shaped and multicentre particles[J]. Journal of Microscopy, 2015, 258 (1): 1214-1223.

[7]Noori H, Saryazdi S. A bilateral image inpainting [J]. IJST Trans Electr Eng，2011, 25(E2)：95-108.

[8] Y Kuang, L Zhang, Z Yi. An Adaptive Rank-sparsity K-SVD Algorithm for Image Sequence Denoising [J]. Pattern Recognition Letters，2014, 33(17)：1021-1032.

[9] 王瑞.一種自適應Harris角點檢測算法[J]. 火力與指揮控制, 2015,18(15)：42-47.

[10]JEhmann, TPappas, DNeuhoff. Structure Texture similarity metrics for image analysis and retrieval [J]. IEEE Transactions, 2013, 22(7): 2545-2258.

[11] Xu X Y, Xu S Z, Jin L H .Characteristic Analysis of Otsu Threshold and Its Applications. Pattern Recognition [J]. IEEE Transactions , 2011, 2(1):124-128.

(編輯趙蓉)

The Research and Application on the Intelligent Manipulator Location Based on Image Processing

LI Pei-feng1, 2，QIAO Liang-cai3

(1.College of Information and Electrical Engineering, China University of Mining and Technology, Xuzhou Jiangsu 221000, China; 2.College of Mechanical Engineering，Xuzhou Technician College of Jiangsu Province, Xuzhou Jiangsu 221000, China)

Abstract：In order to solve the current workpiece positioning technique based on image processing techniques are heavily dependent on mechanical positioning and algorithm of adaptive resulted from the lack of visual function and poor positioning accuracy is insufficient, this paper puts forward a kind of intelligent robot localization algorithm based on image processing, and the image processing algorithm are studied and implemented. First of all, according to the standard value setting interest area, and real-time computing pixel grayscale average, to determine whether there is material artifacts; Then embedding threshold control in the watershed algorithm, avoid transition segment, highlight material artifacts area, calculate the material workpiece center coordinates; And introduce threshold intensity change, and the minimum allowed distance based on Harris corner detection algorithm, brush chooses the best Angle of point, positioning material workpiece coordinates at the edges, thus the material workpiece rotation Angle is calculated.This algorithm is realized by programming. Experiment and test show that compared with current technology, the algorithm is higher location accuracy, can be applied to intelligent robot vision positioning system.

Key words：manipulator; watershed; harris corner; grayscale average; image processing

中圖分類號：TH164;TG659

文獻標識碼：A

作者簡介：李培豐(1981—)，男，江蘇建湖人，江蘇省徐州技師學院講師，碩士，研究方向為計算機應用、物聯網與通信技術，(E-mail)lipeifeng1981zg@sina.com。

*基金項目：江蘇省科技支撐計劃項目(BE2011235); 江蘇省自然科學基金 (Bg2012196); 江蘇省科技成果轉化專項資金資助項目(BA2010137)

收稿日期：2015-09-15;修回日期：2015-10-16

文章編號：1001-2265(2016)02-0118-04

DOI:10.13462/j.cnki.mmtamt.2016.02.034