基于機器視覺的紗籠紗桿快速定位方法

張文昌，單忠德，盧 影

(1. 機械科學研究總院集團有限公司 先進成形技術與裝備國家重點實驗室，北京 100083；2. 北京機科國創輕量化科學研究院有限公司，北京 100083)

紡織染整工藝自動化過程需要對筒子紗進行多次移載，其載具主要采用大尺寸(直徑為1～3 m)紗籠形式，紗籠上設計有密集排布的細長紗桿(幾十根至上百根)，在使用過程中紗桿易變形，需要頻繁進行校對，且紗籠在各工藝工位移載時存在定位誤差，對機器人實現紗桿上筒子紗、鎖扣等工件的自動化取放帶來了極大的困難。目前，紗桿校正以人工為主，并通過末端夾持器的優化設計提高取放容錯能力[1]，120根紗桿的紗籠校對時間需要半個小時，且受人為因素影響校正可靠性差，工業生產中自動取放成功率不是很理想。

機器視覺作為非接觸、高精度檢測手段，一直是國內外學者的研究熱點，廣泛用于質量檢測[2-3]、目標識別定位[4-5]、自動化裝配[6-7]等行業。特別地，將視覺用于機器人的機器人視覺，顯著提升了裝備的自動化水平：如Gu等[8]針對宇航輔助機器人抓取需求提出基于區域匹配和像素偏置的雙目視覺定位方法，該方法識別效率高，顯著提高了機器人對目標抓取的靈活性；Kuo等[9]提出通過標定好的單目相機結合機器人末端運動學，實現機器人末端姿態的檢測方法，用于機器人編碼器無效場景下的機器人末端定位；Frank[10]提出通過相機的二維圖像數據實現圓柱目標的三維定位方法，從而引導機器人對圓柱目標的空間抓取操作；Romulo等[11]在協同式自主機器人應用方面，在每個機器人上安裝1個相機，通過同時采集的圖像對，實現目標的空間定位；季旭全等[12]針對大型星載設備的裝配問題，采用機器學習和雙目視覺實現裝配體之間的位置測量，從而引導機械臂完成裝配作業。針對紗籠紗桿定位問題，紗桿密集排布及使用過程中易變形的特點給視覺定位帶來了新的挑戰，若采用單次拍照識別定位所有紗桿的模式，由于紗籠尺寸太大，大范圍光照環境的一致性難以保證，紗桿識別成功率低，且定位精度不高；若對紗籠上的所有紗桿逐個進行拍照定位，由于紗籠紗桿數量較多，必然對生產節拍產生較大影響，從而影響生產效率。

考慮到紗桿固定于紗籠上，可將紗籠上的密集紗桿看作一個剛體處理，雖然紗桿易變形，但其變形周期較長，一般數周或數月累計的形變量才會對生產造成影響。鑒于這些特點，本文提出一種離線檢測與在線檢測相結合的機器人視覺定位方法，離線檢測單元在非生產時間進行，結合機器人動作逐個對紗籠上所有紗桿進行檢測定位，并將所有紗桿的位置信息記錄在數據庫中，離線檢測單元根據實際工藝不定期對紗籠進行檢測；在線檢測單元在生產過程中通過檢測少數紗桿，并結合離線檢測的紗桿位置信息采用最小二乘法計算得到紗籠的整體位姿偏移，然后根據紗籠位姿偏移計算得到所有紗桿的位置信息，從而引導機器人完成紗桿上工件的取放作業。針對紗桿識別可能失敗的情況，結合實際應用提出了紗桿識別失敗時的解決方案，并對在線檢測的檢測成功率進行分析，最后通過現場實驗驗證所提方法的有效性。

1 紗籠紗桿機器人視覺系統構建

1.1 機器人視覺檢測系統組成

紗籠紗桿機器人采用手眼(eye-in-hand)視覺控制方式，視覺攝像頭安裝在機器人末端，用于對紗桿的拍照定位，如圖1所示。生產工藝過程中，紗籠隨托盤進入相應的機器人工位，機器人在視覺系統引導下，完成紗籠紗桿上工件的取放作業。

圖1 紗籠紗桿視覺機器人Fig.1 Vision robot of yarn-bars on yarn-cage. (a) General design structure; (b) Local structure

1.2 視覺檢測系統標定

相機標定是視覺定位系統的關鍵，由于被測紗籠處于固定平面，紗籠紗桿機器人視覺系統可簡化為二維測量系統。結合實際應用，相機標定以機器人坐標系作為世界坐標系，忽略鏡頭畸變及安裝誤差的影響，采用線性方法對相機進行標定。分別建立圖像像素坐標系O-UV和平行于機器人坐標系的機器人末端工具坐標系O-XY，如圖2所示。

圖2 成像模型Fig.2 Imaging model

點P在O-XY坐標系下坐標記為[X，Y]T，其成像點Q在O-UV坐標系下坐標記為[U，V]T，則有：

(1)

式中：λ為圖形坐標系單像素尺寸，mm；θ為2個坐標系之間的旋轉角度，rad；Tx和Ty為2個坐標系之間x和y向的偏移量，mm。

在eye-in-hand機器人視覺系統下，點P在機器人坐標系下的坐標(僅考慮x和y方向)為

(2)

式中，[xr，yr]T為當前機器人坐標。將式(2)代入式(1)得

(3)

視覺系統標定即對λ、θ、Tx和Ty的標定。采用文獻[6] 的標定方法，將單點標靶固定放置在相機下方，通過機器人運行9個位置得到9組樣本，采用最小二乘法線性擬合，即可計算得到相機參數λ和θ。由于紗籠紗桿機器人不具備旋轉功能，工程應用時Tx和Ty通過示教得到。

1.3 紗籠紗桿識別與定位

由于紗桿桿尖特征較為突出，視覺中桿尖識別圖像處理過程采用經典的圖像識別與定位流程，主要包括平衡去噪、圖像銳化、圖像分割，以及幾何特征分析4個環節，對于圖像處理后的二值圖像，通過連通域的長度、寬度、面積，以及圓度特征進行桿尖的識別，得到桿尖Q的圖像坐標[U，V]T，如圖3所示。

圖3 紗桿識別Fig.3 Yarn-bar recognition

將識別結果代入式(3)，即可計算得到紗桿桿尖在機器人坐標系下的坐標。

2 紗籠紗桿離線檢測

紗桿易變形，需要頻繁進行校對，因此，需要建立紗籠紗桿數據庫，記錄紗籠紗桿的位置信息。離線檢測即在生產線非工作時間，通過控制機器人使得攝像頭處于紗桿上方，然后拍照識別紗桿，以這種方式逐個對紗籠上所有紗桿進行定位檢測并將檢測結果記錄到數據庫中。受工藝等因素影響，紗桿特征不能保證完全一致，加上光線條件不均衡，視覺系統對紗桿識別難以實現100%的成功率，針對識別失敗的情況，采用人工輔助的方式進行校準，如圖4所示。

圖4 手動選擇紗桿特征Fig.4 Manual selection of yarn-bar

紗籠上紗桿數量記為n，紗桿位置記為Pi(i=1,2,…,n)。離線檢測整體流程如圖5所示。

3 紗籠紗桿在線檢測

(4)

式中：P′i為第i號紗桿當前位置；Pi為第i號紗桿離線檢測時記錄的位置。

在線檢測在自動化生產過程中進行，通過檢測少數幾個紗桿計算得到當前紗籠相對于與離線檢測時的位姿偏差，結合該紗籠在離線檢測時數據庫中的紗桿位置信息，計算得到紗籠上所有紗桿的當前位置，從而引導機器人完成相應的取放作業。

3.1 在線檢測算法

圖6示出在線視覺系統結合機器人對預先選定的m(2

圖6 在線視覺示意圖Fig.6 Online detection view

記U={a1,a2,…，ak}(k≤m)表示檢測成功的k個紗桿，建立誤差函數：

(5)

式中：Qai=[Xai，Yai]T(1≤i≤k)，為第ai號桿的在線檢測結果；εai=[εxai，εyai]T，為第ai號桿實測位置與計算位置的偏差，包括x向偏差和y向偏差。采用高斯牛頓法，將誤差寫成

(6)

將初始參數C0=[0，0，0]代入到誤差函數，則只要k≥2即可通過最小二乘法解得：

(7)

經j(一般取j=3即可)次迭代收斂后，即可得到最終結果：

C≈Cj=Cj-1+ΔCj-1

(8)

在線檢測流程如圖7所示。

圖7 在線檢測流程Fig.7 Online detection flow

3.2 在線檢測紗桿選擇分析

通過最小二乘法進行平面二維點匹配，從而得到二者之間的旋轉平移關系，以所計算的二維點數據對之間的誤差平方和最小作為優化指標，理論上最少只需要2組數據對即可，但針對紗籠紗桿定位問題，由于機械系統、電控系統、視覺測量系統等各環節均存在誤差，在線檢測時選定的紗桿數目和位置對測量精度有一定的影響，其影響滿足如下規律。

1)紗桿數目：識別出的紗桿數目越多，其結果魯棒性越好。

2)紗桿位置：識別出的紗桿位置相互之間距離越大，其結果魯棒性越好。

綜合考慮，在線檢測時應盡量選擇外圍紗桿，且結合生產節拍的要求，盡量選擇更多的紗桿進行檢測。

此外，實際工程應用中，視覺系統對紗籠上紗桿的定位檢測不可能100%成功，即存在誤識別與識別失敗的情況。檢測m個紗桿，其中k個檢測成功，雖然k≥2時即可實現紗籠的整體位姿偏差計算，但需要結合實際生產中紗籠定位成功率、定位精度等具體工況，選擇k的最小條件。

4 實驗測試與應用驗證

采用實際生產中典型規格紗籠紗桿拆裝鎖扣機器人進行實驗，對本文所提方法進行驗證。鎖扣機器人重復定位精度為±0.5 mm，紗籠直徑為2 m，紗桿個數為120，其布局如圖8所示。

圖8 120個紗桿布局Fig.8 Structure of 120 yarn-bars

4.1 離線檢測測試

按照第3節所述流程對該紗籠120個紗桿進行定位檢測，如圖9所示。

圖9 離線檢測實驗照片Fig.9 Offline detection photo

離線檢測整個工藝過程約需5 min完成，其中有 8個紗桿識別失敗，通過人工輔助校準完成。離線檢測完成后的數據記錄到紗籠數據庫中。

為直觀觀測離線檢測的效果，每個紗桿檢測后，機器人運行至校準位置，并拍照確認，如圖10所示。圖中十字線為基準線，圖10(a)為校準時采集的照片，圖10(b)為校準后機器人根據校準位置調整偏差后再次采集的照片。120個紗桿在檢測后均達到了圖10所示效果，即所有紗桿定位結果準確可靠。

圖10 離線檢測效果比對圖Fig.10 Contrasting figures of offline detection. (a) Picture for error detection and correction; (b) Picture after correction

4.2 在線檢測測試

在線檢測選定檢測紗籠外圍的6個紗桿，為驗證在線檢測的有效性，人為使紗籠產生一定的偏差。6個紗桿定位檢測總共耗時約17 s，結果如表1所示。

表1 在線檢測數據Tab.1 Online detection data

通過第3.1節所述方法，計算紗籠整體相對于離線數據偏差：

C=[-0.000 55，6.93，0.46]T

(9)

為驗證在線計算結果的準確性，采用離線檢測的模式檢測所有紗桿的實際位置，以在線檢測計算位置與實際位置的距離偏差作為誤差衡量依據，結果如表2所示?？芍?，120個紗桿的位置誤差最大誤差為0.75 mm，平均誤差為0.4 mm。

按照在線檢測結果引導機器人完成鎖扣的安裝，120個紗桿鎖扣安裝全部成功。紗籠鎖扣安裝總共耗時約為45 min，在線視覺檢測時間為17 s，所占節拍僅為0.63%，基本可以忽略。

由于視覺系統對紗籠上紗桿的定位檢測不可能100%成功，從識別出的結果中分別抽取2、3、4、5個紗桿各3組，進行紗籠的定位計算，并進行誤差分析，結果如表3所示?？梢钥闯?，按照實驗所選的 6個紗桿進行在線檢測，識別出的紗桿數目不小于3時，能夠得到較高的在線檢測精度。

4.3 在線檢測紗籠成功率分析

實際生產中，結合實驗結果以k≥3作為紗籠定位成功的判定條件，紗桿識別成功率記為Pg，紗籠的定位成功率為Pl，依據本文實驗條件，則

表2 在線檢測誤差Tab.2 Error of online detection

表3 少桿數紗桿在線定位檢測結果Tab.3 Online positioning detection data of yarn-bars with few count

(10)

根據離線檢測信息，120個紗桿中8個檢測失敗，即實驗中紗桿的檢測成功率為93.33%，代入式(10)，得到在實驗條件下，在線檢測紗籠定位成功率為99.974%，即平均約4 000個紗籠識別失敗1次。 在實際工藝生產中，單個紗籠生產節拍一般不低于30 min，即每天不超過50個紗籠，實驗中的在線檢測成功率可實現不低于80 d的正常生產。

實驗結果表明了本文所提方法的有效性和實用性。目前基于本文所提方法開發的鎖扣拆裝機器人視覺系統在染色工廠的自動化生產線上得到應用，使用效果良好。

5 結 論

本文結合紡織印染行業紗籠紗桿的特點，提出一種基于機器視覺的離線檢測與在線檢測相結合的紗籠紗桿快速定位方法，得到如下主要結論：

1)離線檢測單元在非生產時間進行，不占用生產節拍，結合機器人動作對紗籠上所有紗桿進行檢測定位，并將所有紗桿的位置信息記錄在數據庫中，借助人機協同，離線檢測速度快，檢測結果準確可靠。

2)在線檢測單元在生產過程中進行，通過檢測少數紗桿，結合離線檢測的紗桿位置信息，采用最小二乘法計算得到紗籠的整體位姿偏移，并計算每個紗桿的位置從而引導機器人完成紗桿上工件的取放作業。根據現場實驗條件選定6個紗桿，只要成功檢測3個紗桿即可實現紗籠紗桿高精度定位檢測，檢測速度快，僅占用生產節拍的0.63%，紗籠檢測定位成功率高達99.974%，魯棒性強，具有顯著的工程實用價值。